以下本発明の実施の形態について、図面を参照しながら説明する。なお、各図面において、同じ構成要素については同じ符号が用いられている。
実施の形態では、壁一面の大部分が画面となる超大画面ディスプレイを利用して1人以上の視聴者がそれぞれ異なるウィンドウで異なるコンテンツを視聴することのできるコンテンツ視聴システムについて説明する。
実施の形態におけるコンテンツ視聴システムは、各視聴者が所望の音響効果を得られる視聴範囲に基づいた情報を各視聴者に対して提示することのできるコンテンツ再生装置を備えている。
図1は、実施の形態におけるコンテンツ視聴システム10の外観を示す図である。
図1に示すように、コンテンツ視聴システム10は、ディスプレイ106と、スピーカ装置105と、コンテンツ再生装置100とを備える。
ディスプレイ106は、コンテンツ視聴システム10が設置された部屋の1つの壁の大部分を覆う大きさの表示装置である。ディスプレイ106の表示領域は、1枚または複数枚のディスプレイパネルにより構成されており、その大きさは、例えば横10m×縦5m程度の大きさである。
スピーカ装置105は複数のスピーカを有する。本実施の形態において、スピーカ装置105は、第一スピーカ(SP[1])から第nスピーカ(SP[n])までのn個のスピーカを有している。
コンテンツ再生装置100は、ディスプレイ106に1以上のコンテンツを表示させることができ、かつ、当該1以上のコンテンツの音声をスピーカ装置105に出力させることのできる装置である。
図1では、2人の視聴者(第一視聴者112A、および第二視聴者112B)が、互いに異なるコンテンツを視聴している。
具体的には、第一視聴者112Aは、第一視聴ウィンドウ1101に表示されたサッカー中継を視聴している。また、第二視聴者112Bは、第二視聴ウィンドウ1201に表示されたニュース映像を視聴している。
また、各ウィンドウには、複数のスピーカのうちの1以上のスピーカが割り当てられている。つまり、各コンテンツおよび各視聴者には、1以上のスピーカが割り当てられている。各視聴者は、自身の所望する音響効果で再生された音声を聴いている。
例えば、第一視聴者112Aは、第一視聴ウィンドウ1101に割り当てられた2以上のスピーカによるサラウンド音響(例えば、第一視聴者112Aの前方の3つのスピーカによるバーチャルサラウンド音響)で、当該サッカー中継の音声を聴いている。
また、例えば、第二視聴者112Bは、第二視聴ウィンドウ1201に割り当てられた2以上のスピーカによるステレオ音響で、当該ニュース映像の解説音声を聴いている。
なお、第一視聴者112Aは、第一コントローラ104aを操作することにより、音響効果の切り替え等を行うことができる。また、第二視聴者112Bは、第二コントローラ104bを操作することにより、音響効果の切り替え等を行うことができる。
また、図1では、ディスプレイ106の左右の辺と下辺とに沿って複数のスピーカが配置されているが、複数のスピーカの配置位置は図1に示すものに限られない。
例えば、図1に示す各位置に加えて、視聴者の側方および後方に複数のスピーカが配置されてもよい。
また、コンテンツ視聴システム10を利用する視聴者は、第一視聴者112Aおよび第二視聴者112Bの2人でなくてもよく、3人以上でもよく、1人でもよい。
図2は、実施の形態におけるコンテンツ視聴システム10の主要な構成を示すブロック図である。
図2に示すように、コンテンツ視聴システム10は、上述の各構成要素に加え、位置情報取得装置101と、コンテンツ送信装置102と、放送受信アンテナ103とを備える。
また、図2に示すように、コンテンツ再生装置100は、位置算出部107と、コンテンツ受信部108と、赤外線受光部109と、音声出力制御部110と、映像出力制御部111と、シミュレーション部150と、コンテンツ表示制御部200とを備える。
なお、コンテンツ再生装置100が有する構成要素のうち、例えば、位置算出部107と、音声出力制御部110とは、コンテンツ再生装置100が備えなくてもよい。例えば、これら構成要素は、外部装置としてコンテンツ再生装置100に接続されていてもよい。
第一コントローラ104aおよび第二コントローラ104bは、上述のように、各視聴者がコンテンツ再生装置100を制御したり、コンテンツ再生装置100に対して様々な設定値を入力したりする装置である。
各コントローラは、本実施の形態においては、赤外線によりコンテンツ再生装置100に制御信号を送信するリモートコントローラである。
なお、コントローラは視聴者ごとに一台用意される。つまり、N人の視聴者がコンテンツ視聴システム10を同時に利用する場合、N台のコントローラが用意される。
また、以下、「視聴者」という場合、第一視聴者112Aおよび第二視聴者112Bを含む複数の視聴者のうちの1人を意味し、「コントローラ」という場合、第一コントローラ104aおよび第二コントローラ104bを含む複数のコントローラのうちの1つを意味する。
各コントローラには、製造時に固有のコントローラIDが各々割り当てられている。さらに、各視聴者はコンテンツ視聴システム10の利用中は、コントローラを常に携帯しているものとする。従って、本実施の形態において、コントローラIDは個々の視聴者を示す視聴者IDとしても利用される。
つまり、本実施の形態においては、第一視聴者112Aの視聴者IDとして、第一コントローラ104aのコントローラIDが使用され、第二視聴者112Bの視聴者IDとして、第二コントローラ104bのコントローラIDが使用される。
各コントローラは、コンテンツ再生装置100に対して制御信号を送信する際、制御信号と共にコントローラIDを送信する。コンテンツ再生装置100は、コントローラIDを確認することで、複数のコントローラの内いずれのコントローラから発せられた制御信号かを確認することができる。
結果として、コンテンツ再生装置100は、受け取った制御信号が、複数の視聴者の内いずれの視聴者から発せられた制御信号かを確認することができる。
なお、本実施の形態では、視聴者がコンテンツ再生装置100の制御等を行う装置として、上記のように赤外線通信を行うコントローラが採用されている。しかし、キーボードまたはポインティングデバイスなどの他の種類の入力装置が採用されてもよい。
また、各コントローラにコントローラIDを割り当てるタイミングは、工場出荷時でなくてもよい。当該タイミングは、コンテンツ視聴システム10の初期設定時、または、コントローラの電源を入れる都度であってもよい。
赤外線受光部109は、本発明のコンテンツ再生装置における受付部の一例であり、第一コントローラ104aおよび第二コントローラ104bか送信される制御信号を受信する装置である。
位置情報取得装置101は、視聴者の位置を特定するための情報を取得する装置であり、無線アンテナと、第一コントローラ104aおよび第二コントローラ104bとから構成される。
つまり、本実施の形態では、第一コントローラ104aおよび第二コントローラ104bは、位置情報取得装置101の構成要素としても機能する。具体的にはこれらコントローラは、自身を携帯する視聴者の位置情報取得のためカメラを備える。
視聴者は、上述のように、コンテンツ視聴システム10の利用中にコントローラを常に携帯している。そのため、位置情報取得装置101は、各コントローラが備えるカメラ機器が撮影した画像とコントローラIDとを取得することで、複数の視聴者のそれぞれの位置を判断することができる。つまり、位置情報取得装置101は、複数の視聴者のそれぞれの位置を特定するための情報を取得することができる。
位置算出部107は、位置情報取得装置101により取得された情報に基づいてディスプレイ106に対する視聴者の相対位置を算出する装置である。
位置算出部107は、現在視聴位置決定部204などから視聴位置計測要求情報900を受信すると、視聴者ID901が示す視聴者のディスプレイ106に対する相対位置を算出し、算出結果を視聴位置情報1000として返す。
なお、視聴位置計測要求情報900および視聴位置情報1000については、図8および図9を用いて後述する。
本実施の形態では、以下のようにして位置算出部107がディスプレイ106に対する視聴者の相対位置を算出する。なお、具体例として、第一視聴者112Aの位置を算出する際の位置算出部107の処理の概要を説明する。
第一視聴者112Aがある位置に存在する場合、第一コントローラ104aのカメラにより、その位置から撮影されたディスプレイ106の画像が取得される。
第一コントローラ104aは、撮影した画像を位置情報取得装置101に送信する。位置情報取得装置101は、無線アンテナを介して当該画像を取得し、位置算出部107に出力する。
位置算出部107は位置情報取得装置101経由で受信した画像に含まれる、ディスプレイ106の全体または部分の、画像全体における位置および大きさなどから、第一コントローラ104aのディスプレイ106に対する相対位置を算出する。
位置算出部107は、このようにして得られたディスプレイ106に対する第一コントローラ104aの相対位置を、第一視聴者112Aのディスプレイ106に対する相対位置と特定する。
なお、リモートコントローラによる撮影されたテレビの画像に基づいて、リモートコントローラの当該テレビに対する相対位置を算出する方法については、例えば、特開2006−166295号公報(特許文献1)「制御システム及びこのシステムに適合する被制御装置並びに遠隔制御装置」に開示されている。
位置算出部107がディスプレイ106に対する視聴者の相対位置を算出する方法として、その他にも以下の方法がある。
例えば、各コントローラとディスプレイ106にGPS(Global Positioning System)機器を取り付ける。各コントローラは自身に備えられたGPS機器で計測した位置情報をコントローラIDと共に位置情報取得装置101に送信する。
位置算出部107は、位置情報取得装置101経由で受信したそれぞれのコントローラIDおよび位置情報と、ディスプレイ106に備えられたGPS機器で計測された位置情報とから各コントローラIDが示すコントローラのディスプレイ106に対する相対位置を算出する。さらに、算出したそれぞれの相対位置をディスプレイ106に対する各視聴者の相対位置と特定する。
もちろん、上に2つの手法を組み合わせた方法やそれ以外の方法で、位置情報取得装置101および位置算出部107は、各視聴者のディスプレイ106に対する相対位置を計測および算出してもよい。
また、位置情報取得装置101は、視聴者の位置を特定するための情報を取得できればよく、そのための機能的な構成は、上に挙げた例に限るものではない。
コンテンツ送信装置102は、コンテンツデータをコンテンツ再生装置100へ送信する装置である。コンテンツ送信装置102が送信したコンテンツデータは、コンテンツ受信部108が受信する。コンテンツ送信装置102は、例えば、ネットワークを介してコンテンツ再生装置100に接続されるコンテンツ配信サーバでもよく、DVDドライブなどのメディア再生装置でもよい。もちろん、これらに限るものではない。
また、コンテンツ送信装置102がDVDライブなどのメディア再生装置の場合、コンテンツ送信装置102はコンテンツ再生装置100に含まれてもよい。
放送受信アンテナ103は、コンテンツデータを含む放送波を受信するアンテナである。受信した放送波は、コンテンツ受信部108へ送信される。
なお、コンテンツ視聴システム10において、コンテンツ送信装置102と放送受信アンテナ103は、少なくともどちらか一方が備えられていればよく、必ずしも両方が備えられる必要はない。
コンテンツ受信部108は、コンテンツ送信装置102からコンテンツデータを受信する。もしくは、放送受信アンテナ103から受信した放送波を復調しコンテンツデータを受信する。
コンテンツ受信部108は、受信したコンテンツデータの映像部分を映像出力制御部111に送信し、コンテンツデータの音声部分を音声出力制御部110に送信する。なお、コンテンツ受信部108は、映像出力制御部111および音声出力制御部110それぞれが求める入力形式にコンテンツデータの映像部分および音声部分を変換し、それぞれに送信する。
例えば、受信したコンテンツデータが暗号化されていれば復号し、圧縮されていれば非圧縮形式に変換する。なお、コンテンツ受信部108は、同時に複数のコンテンツデータを受信してもよく、この場合、コンテンツデータごとに前記変換の処理を行う。
スピーカ装置105は、音声を再生する装置であり、上述のようにSP[1]〜SP[n]の複数のスピーカを有している。
音声出力制御部110は、コンテンツ受信部108が受信したコンテンツの音声をスピーカ装置105に出力する装置である。さらに、視聴者が所望の音響効果で聴き取れるよう、スピーカ装置105が有する各スピーカに対して出力する音声の割り当てや出力特性を制御する。
コンテンツ受信部108が複数のコンテンツデータを受信した場合は、後述する割当テーブル121を参照して各コンテンツに対して割り当てるスピーカを決定したり、コンテンツごとに音響効果を変えたりする。
シミュレーション部150は、コンテンツ表示制御部200から、後述する図6に示す音響効果シミュレート要求情報700を受信し、所望の音響効果リスト702に設定された音響効果ごとに、事前設定されたシミュレート範囲内において視聴者に対して指定された音響効果を再現できる範囲があるかをシミュレーション演算により求める処理部である。
つまり、シミュレーション部150は、視聴者があるコンテンツを視聴する場合、その視聴者が当該コンテンツの音声を所定の音響効果で聴き取り可能な、所定の範囲内における当該視聴者の存在範囲である視聴可能範囲を求める処理部である。
なお、シミュレーション部150は、本発明のコンテンツ再生装置における視聴可能範囲演算部の一例である。
以下、シミュレーション部150が行う処理の概要を説明する。
シミュレーション部150は、シミュレーションに必要な静的な情報を取得する。静的な情報とは、スピーカ装置105が有する複数のスピーカの数、位置、および特性、並びに、コンテンツ視聴システム10が設置されている部屋の形状、各種の寸法、および、壁の材質などである。
なお、当該部屋の形状等の情報は、本発明のコンテンツ再生装置が視聴可能範囲の演算に用いる、所定の範囲の大きさを示す情報の一例である。
これら静的な情報は、例えば、コンテンツ視聴システム10が設置される際、または、コンテンツ視聴システム10の起動時などに、オペレータまたは視聴者によりシミュレーション部150に入力され、シミュレーション部150が備える不揮発性記憶媒体(図示せず)に格納される。これにより静的な情報がシミュレーション部150に設定される。
なお、このとき設定される、部屋の形状および寸法等により、全体のシミュレート範囲が決定される。
シミュレーション部150は、さらに、シミュレーションに必要な動的な情報を取得する。動的な情報とは、コンテンツ再生装置100が再生するコンテンツから取得される、当該コンテンツの音声の再生において提供可能な1以上の音響効果それぞれの必要チャネル数、および、当該1以上の音響効果の種類の中から視聴者に選択された音響効果の種類などである。また、コンテンツ視聴システム10を同時に利用する視聴者が複数存在する場合、シミュレーション部150は、視聴者の人数および位置、並びに、視聴者ごとのウィンドウに割り当てられたスピーカの個数および位置等を動的な情報として取得する。
視聴者の数および位置とスピーカとの対応関係を示す情報は、割当テーブル121として音声出力制御部110により保持されている。音声出力制御部110の構成については、図4を用いて後述する。
例えば、第一視聴者112Aのみが、コンテンツ視聴システム10を利用する場合、シミュレーション部150は、例えば位置算出部107から、視聴者は1人であることを示す情報を取得する。また、シミュレーション部150は、音声出力制御部110に保持された割当テーブル121を参照することで、例えば、スピーカ装置105が有する全てのスピーカを、第一視聴者112Aに対して使用可能なスピーカとして割り当てる。
また、第一視聴者112Aが視聴するコンテンツが、例えば、モノラル、ステレオ、およびサラウンドのそれぞれでの音声再生が可能な場合、シミュレーション部150は、これら3種類の音響効果を示す情報および必要チャネル数を、当該コンテンツから取得する。
シミュレーション部150は、これら各種の情報を用い、これら3種類の中の1種類以上の音響効果が再現可能な領域を算出する。例えば、サラウンドでの音声再生に用いる複数のスピーカそれぞれから出力される音声(壁での反射音を含む)の伝達領域および、当該領域内の各位置での音声レベル等を算出することなどにより、第一視聴者112Aが、サラウンド音響の効果を得られる範囲を算出する。
このようにして得られた、音響効果ごとのシミュレート結果を示す情報は、音声出力制御部110へ送信される。
なお、このような音場のシミュレーションに関する技術として、例えば、特許第3482055号公報「高精度音線追跡装置および高精度音線追跡方法」(特許文献3)、および、特開2003−122374号公報「サラウンド音響生成方法、その装置およびそのプログラム」(特許文献4)に開示されている。
音声出力制御部110は、音響効果シミュレート要求情報700の視聴者ID701の値を、後述する図7に示す視聴可能範囲情報800の視聴者ID701に格納する。
音声出力制御部110はさらに、シミュレーション部150から取得した音響効果ごとの音響効果シミュレート結果のうち、所望の音響効果リスト702に設定された音響効果に対応する音響効果シミュレート結果を視聴可能範囲リスト802に格納する。
音声出力制御部110は、このようにして生成した視聴可能範囲情報800をコンテンツ表示制御部200へ送信する。
映像出力制御部111は、コンテンツ受信部108が受信したコンテンツデータの映像部分を加工する装置である。具体的には、コンテンツ受信部108は、当該映像部分に対して解像度やアスペクト比を変更したり、彩度調整などの画像効果を適応したりする。
映像出力制御部111が加工したコンテンツデータの映像部分はコンテンツ表示制御部200に送信され、ディスプレイ106に表示される。コンテンツ受信部108が複数のコンテンツデータを受信した場合は、コンテンツデータごとに加工する内容を変えてもよい。
コンテンツ表示制御部200は、ディスプレイ106に表示する内容を制御する装置である。コンテンツ表示制御部200は、映像出力制御部111が加工したコンテンツの映像を表示するためのウィンドウを生成し、ウィンドウ内に前記コンテンツの映像を表示する。さらに、ディスプレイ106に対する視聴者の相対位置などに基づき、視聴者が所望の音響効果を得られる視聴位置に基づく情報をディスプレイ106に表示する。
つまり、ディスプレイ106には、コンテンツ表示制御部200から出力される1以上のコンテンツの映像および各種の情報が表示される。
図3は、実施の形態におけるコンテンツ表示制御部200の主要な構成を示す図である。
図3に示すように、コンテンツ表示制御部200は、視聴ウィンドウ決定部201と、基準視聴範囲決定部202と、ウィンドウ表示可能範囲決定部203と、現在視聴位置決定部204と、表示制御部205とを備える。
視聴ウィンドウ決定部201は、一人の視聴者とディスプレイ106に表示された1つのウィンドウとを対応付ける。また、複数の視聴者が存在する場合、複数の視聴者と複数のウィンドウとを1対1で対応付ける。以降、視聴ウィンドウ決定部201が視聴者と対応付けたウィンドウを視聴ウィンドウと表記する。
基準視聴範囲決定部202は、後述する図6に示す音響効果シミュレート要求情報700をシミュレーション部150に送信し、音声出力制御部110から、後述する図7に示す視聴可能範囲情報800を受信する。
基準視聴範囲決定部202はさらに、受信した視聴可能範囲情報800から視聴者が所望の音響効果を得られる視聴可能範囲を決定する。以降、基準視聴範囲決定部202が決定した視聴範囲を基準視聴範囲と表記する。
つまり、N個の音響効果に対応するN個の視聴範囲の中から、基準視聴範囲決定部202により、1〜N個の視聴範囲が基準視聴範囲と決定される。
ウィンドウ表示可能範囲決定部203は、基準視聴範囲内に視聴者が位置すると仮定した場合に視聴ウィンドウを表示可能なディスプレイ106上の範囲を決定する。以降、ウィンドウ表示可能範囲決定部203が決定したディスプレイ106上の範囲をウィンドウ表示可能範囲と表記する。
現在視聴位置決定部204は、位置算出部107が算出した視聴者のディスプレイ106に対する相対位置に基づき、現在の視聴者の位置を決定する。以降、現在視聴位置決定部204が決定した視聴者の位置を現在視聴位置と表記する。
表示制御部205は、本発明のコンテンツ再生装置における提示制御部の一例である。表示制御部205は、現在視聴位置および基準視聴範囲などに基づき、視聴者が所望の音響効果を得られる視聴可能範囲に基づく情報をディスプレイ106に表示する。また、表示制御部205は、映像出力制御部111が加工した映像をウィンドウ内に表示するなど、ディスプレイ106に表示するウィンドウの表示制御全般を行う。
図4は、実施の形態における音声出力制御部110の主要な構成を示す図である。
図4に示すように、音声出力制御部110は、記憶部120と、割当部122と、出力部123とを備える。
記憶部120は、割当テーブル121を記憶している記憶装置である。
割当部122は、割当テーブル121を参照し、スピーカ装置105が有する複数のスピーカの中から、例えば視聴者に選択された音響効果に応じて、当該視聴者に割り当てるスピーカを選択する処理部である。なお、割当部122は、後述する図7に示す視聴可能範囲情報800の生成も行う。
出力部123は、割当部122から受け取る割当結果に基づき、当該視聴者により指定された音響効果に応じた音声を各スピーカに選択的に出力する処理部である。
図5は、割当テーブル121のデータ構成例を示す図である。
図5に示すように、割当テーブル121には、視聴者の人数ごとに、それぞれの視聴者に割り当てるスピーカの識別子が登録されている。
なお、割当テーブル121の“視聴者”欄の“a”および“b”は、それぞれ視聴者に割り振られる識別子である。また、視聴者が複数存在する場合、ディスプレイ106に向かって右側の視聴者から“a”、“b”、・・・の順で識別子が割り当てられる。
例えば、コンテンツ視聴システム10を利用する視聴者が第一視聴者112Aのみである場合、第一視聴者112Aが、割当テーブル121における“a”であり、SP[1]〜SP[n]の全てのスピーカが割り当てられる。
また、例えば、コンテンツ視聴システム10を利用する視聴者が2人であり、図1に示すように、ディスプレイ106に向かって右から、第一視聴者112A、第二視聴者112Bの順に存在する場合を想定する。この場合、第一視聴者112Aが、割当テーブル121における“a”であり、第二視聴者112Bが、割当テーブル121における“b”である。
また、この場合、第一視聴者112Aに割り当てられるスピーカはSP[1]〜SP[m]であり、第二視聴者112Bに割り当てられるスピーカはSP[m+1]〜SP[n]である。なお、nとmとは、n>mの整数であるが、それぞれ具体的な数値には限定されない。例えば、n=20のとき、m=10であってもよく、m=12であってもよい。
シミュレーション部150は、この割当テーブル121を参照し、各視聴者に割り当てられるスピーカの組み合わせを特定する。さらに特定した組み合わせにおける各スピーカの位置等を音響効果シミュレートに用いる。なお、シミュレーション部150は、割当テーブル121に示されるスピーカの組み合わせによっては、所定の音響効果に対応する視聴可能範囲は存在しない旨の結果を出力する場合もある。
なお、割当部122およびシミュレーション部150は、割当テーブル121に示される情報をそのまま使用するのではなく、割当テーブル121に示される情報を基に、例えば視聴者の視聴位置に応じて当該視聴者に割り当てるスピーカの個数を増減させてもよい。
また、図5に示す割当テーブル121のデータ構成は一例であり、視聴者とスピーカ群との組み合わせは他の組み合わせであってもよい。
例えば、複数の視聴者に向けたそれぞれの音声の干渉を極力なくすように、各視聴者に割り当てるスピーカ群の間に、誰にも割り当てられない1以上のスピーカが存在してもよい。例えば、“a”にSP[1]〜SP[m]を割り当てた場合、“b”にSP[m+2]〜SP[n]を割り当ててもよい。
また、本実施の形態では、あるスピーカがいずれかの視聴者に割り当てられた場合、その視聴者がコンテンツの視聴を終えるまでは、その視聴者(つまり、そのコンテンツ)専用のスピーカとして使用される。しかし、例えば、時分割で互いに異なるコンテンツの音声を出力することのできるスピーカであれば、当該スピーカは、複数の視聴者(つまり、複数のコンテンツ)に共用されるスピーカとして使用されてもよい。
図6は、音響効果シミュレート要求情報700のデータ構成例を示す図である。
図6に示すように、音響効果シミュレート要求情報700は、視聴者ID701と所望の音響効果リスト702とを有する。
音響効果シミュレート要求情報700は、後述する図12のS304において、視聴者が、自身が携帯するコントローラを用いて選択した所望の音響効果に基づいて基準視聴範囲決定部202が生成する情報である。
基準視聴範囲決定部202は、音響効果シミュレート要求情報700をシミュレーション部150に送信する。これにより、基準視聴範囲決定部202は、シミュレーション部150に対して、視聴者ID701が示す視聴者が所望する音響効果(所望の音響効果リスト702に掲載された音響効果)を得られる視聴可能範囲をシミュレートすることを要求する。
視聴者ID701は、視聴者を識別するためのIDである。本実施の形態では、視聴者が持つコントローラに割り当てられたコントローラIDが設定される。
所望の音響効果リスト702は、後述する図12のS304において視聴者がコントローラを用いて選択した所望の音響効果のリストである。
なお、視聴者が所望する音響効果に優先度を付けた場合、所望の音響効果リスト702の第1の音響効果に最も優先度の高い音響効果を設定し、第Nの音響効果に最も優先度の低い音響効果を設定する。このように所望の音響効果リスト702に優先度の順に音響効果を格納することで別途優先度情報を格納する必要がない。
図7は、視聴可能範囲情報800のデータ構成例を示す図である。図7において、視聴可能範囲情報800は、視聴者ID701と視聴可能範囲リスト802とを含む。
視聴可能範囲情報800は、音声出力制御部110が、シミュレーション部150による音響効果シミュレーションの結果に基づいて生成する情報である。
シミュレーション部150は、基準視聴範囲決定部202などから音響効果シミュレート要求情報700を受信すると、事前設定されたシミュレート範囲内に、視聴者ID701が示す視聴者に対し所望の音響効果リスト702に含まれる音響効果を再現できる範囲(視聴可能範囲)をシミュレートする。シミュレーション部150はさらに、その結果を、音響効果シミュレート要求情報700とともに、音声出力制御部110に送信する。音声出力制御部110は、その結果に基づいて、音響効果とその音響効果を得られる範囲を示した座標の組にして視聴可能範囲リスト802に格納する。
なお、これら組の視聴可能範囲リスト802への格納順は、所望の音響効果リスト702に格納された音響効果の順に合わせられる。格納順がこのように合わせられることにより、視聴可能範囲リスト802の第1の音響効果が最も優先度の高い音響効果となり、第Nの音響効果が最も優先度の低い音響効果となる。つまり、所望の音響効果リスト702に設定された優先度を示す情報を失うことがない。
視聴可能範囲情報800の視聴者ID701には、音響効果シミュレート要求情報700に含まれる視聴者ID701と同じ値を音声出力制御部110が格納する。
本実施の形態では、シミュレート範囲は、3次元空間であり、上述のように、オペレータまたは視聴者によりシミュレーション部150に入力された、コンテンツを視聴する部屋の空間全体を構成する各種の寸法等の値により決定される。
但し、シミュレート範囲は、コンテンツ再生装置100の製造時に予め設定しておいてもよいし、コンテンツを視聴する部屋の空間全体に限らず部屋の一部としてもよい。
視聴可能範囲リスト802の視聴可能範囲は、シミュレート範囲の3次元空間の底面、つまり、シミュレート範囲の3次元空間と高さが0の平面とが交わる2次元平面上の座標点の組、もしくは円の中心点と半径の組から構成される。
視聴可能範囲リスト802の視聴可能範囲の座標点を結んだ範囲内、もしくは円の中心点と半径の組で表される円の範囲内が、音響効果を得られる範囲を示す。
例えば、図7において、視聴者ID701の示す視聴者が、所望の音響効果リスト702に含まれる第1の音響効果を得られる範囲は、(X1座標、Y1座標)から(XN座標、YN座標)までの各座標を結んだ範囲内である。
また、当該視聴者が、所望の音響効果リスト702に含まれる第Nの音響効果を得られる範囲は、中心点Oで半径Rの円内である。
視聴可能範囲リスト802の視聴可能範囲を3次元空間の座標点ではなく2次元平面上の座標点で表すことにより、音響効果シミュレート結果が正確に反映されない場合もある。
しかし、後述する図9に示す視聴位置座標1002と視聴可能範囲リスト802の視聴可能範囲を比較する際の演算処理を簡易化することができる。さらに、視聴者に所望の音響効果を得られる視聴可能範囲を提示する際にも、より視聴者が理解しやすい形式で提示することができる。
但し、より正確に音響効果シミュレート結果をコンテンツ視聴システム10に反映させるため、座標点の表記形式や視聴者への提示方法などすべてを3次元空間で処理してもよい。この場合、視聴可能範囲リスト802の視聴可能範囲は、3次元空間上の座標点の組もしくは球の中心点と半径の組から構成される。
この場合、後述する図9に示す視聴位置情報1000の視聴位置座標1002も、3次元空間上の座標点の組もしくは球の中心点と半径の組から構成される。もちろん、視聴位置座標1002と視聴可能範囲リスト802の視聴可能範囲の表現方法は、本実施の形態で挙げた例に限らず、コンテンツ再生装置100ごとに最適な方法を取ってもよい。
なお、視聴可能範囲リスト802の視聴可能範囲を表すための2次元平面上の原点は、シミュレート範囲の中からシミュレーション部150が自動的に決定する。
なお、音響効果シミュレートの結果、ある音響効果が得られる視聴可能範囲が存在しなかった場合、視聴可能範囲リスト802に記載しないことにしてもよいし、視聴可能範囲リスト802の視聴可能範囲に原点(0、0)のみを格納してもよい。また、予め定めた、視聴可能範囲が存在しないことを示す他の情報を格納してもよい。つまり、基準視聴範囲決定部202に対し、音響効果が得られる視聴可能範囲が存在しないことを伝達できる方法であればよい。
図8は、視聴位置計測要求情報900のデータ構成例を示す図である。図8において、視聴位置計測要求情報900は、視聴者ID901を含む。
視聴位置計測要求情報900は、現在視聴位置決定部204が、視聴者ID901が示す視聴者のディスプレイ106に対する相対位置の演算を位置算出部107に対して要求するために生成し送信する情報である。
視聴者ID901は、ディスプレイ106に対する相対位置の演算対象となる視聴者の識別子である。本実施の形態では、上述のように、視聴者が持つコントローラに割り当てられたコントローラIDが設定される。
図9は、視聴位置情報1000のデータ構成例を示す図である。図9において、視聴位置情報1000は、視聴者ID901と視聴位置座標1002とを含む。
視聴位置情報1000は、位置算出部107が視聴者のディスプレイ106に対する相対位置演算結果に基づき生成する情報である。
位置算出部107は、現在視聴位置決定部204などから視聴位置計測要求情報900を受信すると、視聴者ID901が示す視聴者のディスプレイ106に対する相対位置を、位置情報取得装置101から得られる値を用いて算出し、その結果を視聴位置座標1002に格納する。
視聴者ID901には、視聴位置計測要求情報900に含まれる視聴者ID901と同じ値を位置情報取得装置101が格納する。
視聴位置座標1002には、視聴者の位置を2次元平面上の座標点として表した値が格納される。視聴位置座標1002に示される座標点を含む2次元平面は、音声出力制御部110が視聴可能範囲リスト802の視聴可能範囲を表すために用いる2次元平面と同じ平面を用いる。2次元平面上の原点も同様に同じ原点を用いる。
これにより、視聴位置座標1002と視聴可能範囲リスト802とが同じ2次元平面上の座標点として表され、両者を比較することが容易になる。
図10は、基準視聴範囲情報1900のデータ構成例を示す図である。図10において、基準視聴範囲情報1900は、視聴者ID701と基準視聴範囲リスト1902とを含む。
基準視聴範囲情報1900は、基準視聴範囲決定部202が視聴可能範囲情報800に基づいて生成する情報である。
基準視聴範囲決定部202は、上述のように音響効果シミュレート要求情報700をシミュレーション部150へ送信し、音響効果シミュレートの結果を含む視聴可能範囲情報800を音声出力制御部110から受信する。
そして、基準視聴範囲決定部202は受信した視聴可能範囲情報800から基準視聴範囲情報1900を生成する。
視聴者ID701には、視聴可能範囲情報800に含まれる視聴者ID701と同じ値を基準視聴範囲決定部202が格納する。
なお、本実施の形態では、基準視聴範囲リスト1902には、基準視聴範囲決定部202が、視聴可能範囲情報800内の視聴可能範囲リスト802に含まれる音響効果と座標リストの組をそのまま格納する。
例えば、図7に示すように視聴可能範囲リスト802に、第1の音響効果と第1の視聴可能範囲の組から第Nの音響効果と第Nの視聴可能範囲の組までが格納されている場合、それらがそのまま第1の音響効果と第1の基準視聴範囲の組から第Nの音響効果と第Nの基準視聴範囲の組となる。
なお、基準視聴範囲決定部202が、視聴可能範囲リスト802から基準視聴範囲リスト1902を生成する方法はこれに限らず、その他の方法でもよい。例えば、最も優先度の高い第1の音響効果と第1の視聴可能範囲の組から生成した第1の音響効果と第1の基準視聴範囲の組のみを基準視聴範囲リスト1902に格納してもよい。
このように、最も優先度の高い第1の音響効果と第1の視聴可能範囲の組のみを基準視聴範囲とすることで、第一視聴者112Aが最も優先度の高い音響効果に対応する基準視聴範囲に基づく情報の提示のみを要望した場合にもコンテンツ再生装置100は対応することができる。
また、視聴可能範囲リスト802から基準視聴範囲リスト1902を生成する方法はその他にも存在する。例えば、最も優先度の低い第Nの音響効果と第Nの視聴可能範囲の組から第1の音響効果と第1の基準視聴範囲の組を生成し、この組のみを基準視聴範囲リスト1902に格納してもよい。
このように、最も優先度の低い第Nの音響効果と第Nの視聴可能範囲の組のみを基準視聴範囲とすることで、音響効果が何であるかに係らず視聴ウィンドウで再生されるコンテンツを視聴できる最大限の視聴範囲に関する情報の提示を行うことができる。つまり、第一視聴者112Aがこのような情報の提示を要望した場合にもコンテンツ再生装置100は対応することができる。
図11は、ウィンドウ表示可能範囲情報2000のデータ構成例を示す図である。図11において、ウィンドウ表示可能範囲情報2000は、視聴者ID701とウィンドウ表示可能範囲リスト2002とを含む。
ウィンドウ表示可能範囲情報2000は、ウィンドウ表示可能範囲決定部203が基準視聴範囲情報1900に基づいて生成する情報である。
視聴者ID701には、基準視聴範囲情報1900に含まれる視聴者ID701と同じ値をウィンドウ表示可能範囲決定部203が格納する。
ウィンドウ表示可能範囲リスト2002には、ウィンドウ表示可能範囲決定部203が、基準視聴範囲情報1900の基準視聴範囲リスト1902に含まれるそれぞれの基準視聴範囲から生成したウィンドウ表示可能範囲を、対応する音響効果と共に格納する。
つまり、ウィンドウ表示可能範囲決定部203は、第1の基準視聴範囲から生成したウィンドウ表示可能範囲を第1のウィンドウ表示可能範囲として第1の音響効果と共に格納し、第2の基準視聴範囲から生成したウィンドウ表示可能範囲を第2のウィンドウ表示可能範囲として第2の音響効果と共に格納する。ウィンドウ表示可能範囲決定部203はさらに、第Nの基準視聴範囲に対応する第Nのウィンドウ表示可能範囲まで生成しウィンドウ表示可能範囲リスト2002に格納する。
ここで、ウィンドウ表示可能範囲決定部203は、まず、基準視聴範囲リスト1902に含まれる1以上の基準視聴範囲の中から対象基準視聴範囲を選定する。さらに、対象基準視聴範囲内のある座標点上に視聴者ID701が示す視聴者が位置すると仮定し、この座標点上の視聴者に対応する視聴ウィンドウを表示すべきディスプレイ106上の範囲を決定する。
ウィンドウ表示可能範囲決定部203は、この動作を対象基準視聴範囲内のすべての座標点に対して繰り返し、対象基準視聴範囲内の座標点ごとに決定されたディスプレイ106上の範囲をすべて合わせた範囲をウィンドウ表示可能範囲とする。
その後、他の基準視聴範囲を対象基準視聴範囲として選定し同様の処理を行う。これにより、図11に示すように、第1の基準視聴範囲から第Nの基準視聴範囲までに対応する、第1のウィンドウ表示可能範囲から第Nのウィンドウ表示可能範囲までを生成する。
なお、ある座標点上の視聴者に対して視聴ウィンドウを表示すべきディスプレイ106上の範囲とは、例えば、当該座標点の視聴者に対して正面に視聴ウィンドウが表示されるディスプレイ106上の範囲である。
具体的には、ウィンドウ表示可能範囲決定部203は、ディスプレイ106の表示範囲を高さ方向の軸とそれに垂直な横軸とで表される2次元平面上で定義する。また、視聴者の目線の高さと一致する横軸上で、視聴者が位置すると仮定した座標点とディスプレイ106の距離とが最短となる点を求める。さらに求めた点が視聴ウィンドウの重心となるような視聴ウィンドウの表示範囲を、当該視聴者に対応するウィンドウ表示可能範囲として決定する。
なお、視聴者の目線の高さは、予め、「床から160cm」などの値が設定されていてもよく、視聴者ごとに異なる値が用いられてもよい。
また、ある座標点上の視聴者に対して視聴ウィンドウを表示すべきディスプレイ106上の範囲はこれに限らない。その他にも例えば、視聴者の視野の広さに応じて決定してもよい。また、視聴者がコントローラを用いてウィンドウ表示可能範囲決定部203に対して任意の位置を設定してもよい。
次に、実施の形態において、第一視聴者112Aがコンテンツの視聴開始を要求し、コンテンツ再生装置100が第一視聴者112Aの所望する音響効果を得られる視聴範囲に基づいた情報を提示し、提示された情報に従って第一視聴者112Aが所望の音響効果を得られる視聴位置に移動してコンテンツの視聴を開始するまでの動作について図12を用いて説明する。
まず、第一視聴者112Aが第一コントローラ104aのコンテンツ表示ボタンを押下し、コンテンツの視聴開始を要求する。赤外線受光部109は、当該ボタンの押下を検出する(S301)。同時に、コンテンツ受信部108がコンテンツの受信を開始し、映像出力制御部111が、受信したコンテンツの映像部分を加工して表示制御部205に送信する。さらに、音声出力制御部110が、受信したコンテンツの音声部分を初期設定された方法で出力するようスピーカ装置105を制御する。
次に、表示制御部205がコンテンツを表示するためのウィンドウを初期設定された位置でディスプレイ106に表示する(S302)。さらに、表示制御部205は、表示したウィンドウに固有のウィンドウIDを割り当てる。このウィンドウIDはディスプレイ106に表示されたウィンドウ間で固有とする。
なお、ウィンドウを表示する初期位置は、例えば、コンテンツ再生装置100利用前に、第一視聴者112Aが第一コントローラ104aを用いて表示制御部205に設定している。但し、コンテンツ表示制御部200の製造時に当該初期位置が設定されていてもよい。典型的には、ウィンドウが視聴者の正面に表示される位置が当該ウィンドウの初期位置として設定される。
次に、視聴ウィンドウ決定部201が、第一視聴者112AとS302で表示したウィンドウとを対応付け、対応付け結果を保持する(S303)。その結果、ウィンドウに表示するコンテンツと第一視聴者112Aも対応付けられる。
本実施の形態では、視聴ウィンドウ決定部201は、第一視聴者112Aが持つ第一コントローラ104aに割り当てられたコントローラIDと、S302でウィンドウに割り当てたウィンドウIDとを関連付けることで、第一視聴者112AとS302で表示したウィンドウを対応付ける。視聴ウィンドウ決定部201はさらに、当該コントローラIDと当該ウィンドウIDの対応付け情報を保持する。
S303以降では、S302で表示したウィンドウに対する操作は、当該ウィンドウに対応付けられた第一コントローラ104aからのみ受け付ける。上で述べたように、S303で視聴ウィンドウ決定部201が視聴者に対応付けたウィンドウを視聴ウィンドウと表記する。
なお、ある視聴ウィンドウが視聴者の操作などにより閉じられたとき、視聴ウィンドウ決定部201は、閉じられた視聴ウィンドウのウィンドウIDと、そのウィンドウIDに対応付けられていたコントローラIDとの対応付けを解除する。
次に、第一視聴者112Aが第一コントローラ104aを用いて視聴ウィンドウで視聴するコンテンツに対する所望の音響効果を選択する。基準視聴範囲決定部202は、第一視聴者112Aが選択した音響効果の種類を示す情報である音響効果情報を受信する(S304)。
なお、選択可能な音響効果の数が複数ある場合、第一視聴者112Aは1つ以上の音響効果を選択可能である。さらに、選択可能な音響効果の数が複数ある場合、第一視聴者112Aは各音響効果に対して優先度を設定可能である。
また、第一視聴者112Aが選択可能な音響効果は、S303で第一視聴者112Aに対応付けられたコンテンツに応じて変わる。例えば、あるコンテンツを再生する場合、モノラル音響とステレオ音響、サラウンド音響が選択可能であるが、他のコンテンツを再生する場合、モノラル音響とステレオ音響とが選択可能となる。
なお、第一視聴者112Aが選択可能な音響効果は、コンテンツ視聴システム10を利用中の視聴者の数に応じて変えてもよい。例えば、視聴者が第一視聴者112Aの1人である場合は、モノラル音響とステレオ音響が選択可能であるが、第一視聴者112Aに加え第二視聴者112Bがコンテンツ視聴システム10を利用中である場合、モノラル音響とステレオ音響に加え、第一視聴者112Aが視聴するコンテンツの音声が第二視聴者112Bに聴こえないようにする音響効果などが選択可能となってもよい。また、この場合、第二視聴者112Bは、第二視聴者112Bが視聴中のコンテンツの音声が第一視聴者112Aに聴こえないようにする音響効果が選択可能であってもよい。
本実施の形態では、第一視聴者112Aは、所望の音響効果として優先度の高い順に、サラウンド音響、ステレオ音響、モノラル音響の3つを選択するものとする。
なお、S304で第一視聴者112Aが第一コントローラ104aを用いて、視聴ウィンドウに表示されるコンテンツに対する所望の音響効果を選択する代わりに、コンテンツ再生装置100が、自動的にコンテンツに対する所望の音響効果と音響効果ごとの優先度とを決定してもよい。
次に、基準視聴範囲決定部202が、S304で第一視聴者112Aが選択した音響効果情報に基づき音響効果シミュレート要求情報700を生成し、シミュレーション部150に送信する(S305)。
ここで、基準視聴範囲決定部202は、シミュレーション部150に送信する音響効果シミュレート要求情報700の視聴者ID701には、第一視聴者112Aが持つ第一コントローラ104aのコントローラIDを設定する。また、所望の音響効果リスト702には、第一視聴者112Aが設定した優先度に基づき、第1の音響効果としてサラウンド音響、第2の音響効果としてステレオ音響、第3の音響効果としてモノラル音響を設定する。
なお、S305において、基準視聴範囲決定部202は、音響効果シミュレート要求情報700の所望の音響効果リスト702に、第一視聴者112Aが設定した最も優先度の高い音響効果のみを第1の音響効果として設定してもよい。この場合、シミュレーション部150は、最も優先度の高い音響効果以外の音響効果に関する音響効果シミュレートを行う必要がなく、音声出力制御部110の処理時間を短縮できる。
次に、シミュレーション部150が、基準視聴範囲決定部202から受信した音響効果シミュレート要求情報700に基づいて第一視聴者112Aが所望の音響効果を得られる視聴範囲をシミュレートする(S306)。シミュレーション部150はさらに、シミュレート結果を音声出力制御部110に送信する。音声出力制御部110は受信したシミュレート結果に基づき視聴可能範囲情報800を生成して基準視聴範囲決定部202に送信する。
次に、基準視聴範囲決定部202が音声出力制御部110から視聴可能範囲情報800を受信する。さらに、基準視聴範囲決定部202と、ウィンドウ表示可能範囲決定部203と、現在視聴位置決定部204と、表示制御部205とが連携して、視聴可能範囲情報800に基づいて第一視聴者112Aが所望の音響効果を得られる視聴可能範囲に基づく情報を第一視聴者112Aに提示する(S307)。
第一視聴者112Aは、提示された情報に従って所望の音響効果を得られる視聴位置に移動する。
最後に、音声出力制御部110が第一視聴者112Aに対して、第一視聴者112Aが所望する音響効果を出力するようスピーカ装置105を制御する(S308)。
このとき、音声出力制御部110は、基準視聴範囲決定部202から基準視聴範囲情報1900を取得し、表示制御部205から第一視聴者112Aの現在視聴位置の座標を取得する。そして、第一視聴者112Aの現在視聴位置が、基準視聴範囲リスト1902の第1の基準視聴範囲から第Nの基準視聴範囲までのいずれに収まっているか順に確認する。この確認の結果、最初に収まっている基準視聴範囲に対応した音響効果を出力するようスピーカ装置105を制御する。
次に、図12のS306における動作の詳細を、図13を用いて説明する。
まず、シミュレーション部150が基準視聴範囲決定部202から音響効果シミュレート要求情報700を受信する(S401)。
次に、シミュレーション部150が、視聴ウィンドウ決定部201が保持する、第一視聴者112Aとウィンドウとの対応付け情報を取得し、ウィンドウに対応付け済みのコントローラIDのリストを取得する(S402)。
次に、シミュレーション部150が、第一視聴者112A以外の視聴者が存在するか判断する(S403)。ここで、本実施の形態においては、視聴者を示す視聴者IDとして当該視聴者が携帯するコントローラのコントローラIDが用いられている。つまり、S402で取得された、ウィンドウに対応付け済みのコントローラIDは、コンテンツ視聴システム10を利用中の視聴者を示す。
また、第一視聴者112Aを示すコントローラIDは、S401で受信した音響効果シミュレート要求情報700の視聴者ID701に格納されている。従って、S403においてシミュレーション部150は、S402で取得したウィンドウに対応付け済みのコントローラIDのリストの中に、当該視聴者ID701に格納された第一視聴者112Aを示すコントローラID以外の値が存在するか確認する。
この確認の結果、第一視聴者112Aを示すコントローラID以外の値が存在した場合、シミュレーション部150は、第一視聴者112A以外の視聴者(以下、「他の視聴者」という。)が存在すると判断し(S403でYES)、第一視聴者112Aを示すコントローラID以外の値が存在しない場合、シミュレーション部150は、他の視聴者が存在しないと判断する(S403でNO)。
S403において、他の視聴者が存在すると判断した場合(S403でYES)、シミュレーション部150は、第一視聴者112Aおよび他の視聴者の現在視聴位置を取得する(S404)。
そのためにまず、シミュレーション部150は、第一視聴者112Aを示すコントローラIDを視聴者ID901に格納した視聴位置計測要求情報900を生成して位置算出部107へ送信する。
シミュレーション部150はさらに、S402で取得したウィンドウに対応付け済みのコントローラIDのリストの中から、他の視聴者を示すコントローラIDを1つ選択し、このコントローラIDを視聴者ID901に格納した視聴位置計測要求情報900を生成して位置算出部107へ送信する。
なお、1つの視聴位置計測要求情報900に、第一視聴者112Aを示すコントローラIDと、他の視聴者を示すコントローラIDとを含ませてもよい。
これら視聴位置計測要求情報900を受信した位置算出部107は、第一視聴者112Aの視聴位置を算出し、それぞれの結果を視聴位置情報1000に格納してシミュレーション部150に送信する。さらに、他の視聴者についても視聴位置を算出し、その結果を視聴位置情報1000に格納しシミュレーション部150に送信する。
これら視聴位置情報1000を受信した音声出力制御部110は、これらの視聴位置座標1002から第一視聴者112Aおよび他の視聴者の現在視聴位置を取得する。
なお、シミュレーション部150は、S403において、第一視聴者112A以外の視聴者が存在しないと判断した場合(S403でNO)、下記のシミュレート処理を実行する。
シミュレーション部150は、S401で受信した音響効果シミュレート要求情報700の所望の音響効果リスト702に設定された音響効果ごとに、事前設定されたシミュレート範囲内において視聴者ID701が示す視聴者、つまり、第一視聴者112Aに対して、指定された音響効果を再現できる範囲があるかシミュレートする(S405)。
本実施の形態では、コンテンツを視聴する部屋の空間全体において第一視聴者112Aに対して、サラウンド音響効果、ステレオ音響効果、モノラル音響効果それぞれについて再現できる範囲があるかシミュレートする。
なお、このシミュレーションには、上述のように、静的な情報である、コンテンツ視聴システム10が設置されている部屋の形状等、および、動的な情報である第一視聴者112Aが選択した音響効果の種類(サラウンド音響効果等)が用いられる。
ここで、コンテンツ視聴システム10を利用する視聴者として第一視聴者112Aおよび他の視聴者が存在する場合、シミュレーション部150は、S404で取得した第一視聴者112Aおよび他の視聴者の現在視聴位置を、音響効果シミュレーションのパラメータとして利用する。
具体的には、シミュレーション部150は、第一視聴者112Aおよび他の視聴者の視聴位置から、第一視聴者112Aが、他の視聴者との関係において、ディスプレイ106に向かって右側か左側かを判断する。さらに、第一視聴者112Aが右側と判断した場合、割当テーブル121(図5参照)から、視聴者“a”に割り当てられるスピーカの個数および位置を特定する。また第一視聴者112Aが左側と判断した場合、割当テーブル121から、視聴者“b”に割り当てられるスピーカの個数および位置を特定する。
シミュレーション部150は、このように特定した、第一視聴者112Aに割り当てられるスピーカの個数および位置を、第一視聴者112Aについての音響効果シミュレート(S405)に用いる。
なお、シミュレーション部150は、音響効果シミュレートを簡単にするため、例えば、第一視聴者112Aについての音響効果シミュレートを行う場合、他の視聴者の視聴位置およびその周辺範囲を音響効果シミュレート対象の範囲から除外してもよい。また、シミュレーション部150は、音響効果シミュレート対象の範囲を第一視聴者112Aの周辺範囲に限定してもよい。このようにシミュレート対象の範囲を狭めることで、シミュレーション部150における演算処理の効率が向上する。
次に、シミュレーション部150は、音声出力制御部110にシミュレート結果を送信する。音声出力制御部110は、このシミュレート結果に基づき視聴可能範囲情報800を生成し、基準視聴範囲決定部202へ送信する(S406)。
本実施の形態では、S401で受信した音響効果シミュレート要求情報700の所望の音響効果リスト702に格納された音響効果の順序に従い、視聴可能範囲情報800の視聴可能範囲リスト802には、第1の音響効果としてサラウンド音響を示す情報、第2の音響効果としてステレオ音響を示す情報、第3の音響効果としてモノラル音響を示す情報を格納する。
視聴可能範囲情報800の視聴者ID701には、S401で受信した音響効果シミュレート要求情報700の視聴者IDと同じ値、つまり第一視聴者112Aが持つ第一コントローラ104aのコントローラIDを格納する。
次に、図12のS307における動作の詳細を、図14を用いて説明する。
まず、基準視聴範囲決定部202が音声出力制御部110から視聴可能範囲情報800を受信する(S501)。
次に、基準視聴範囲決定部202が、S501で受信した視聴可能範囲情報800の視聴可能範囲リスト802を参照し、視聴可能範囲が存在するか否か判断する(S502)。
S502において視聴可能範囲が存在しないと判断した場合(S502でNO)、表示制御部205が、第一視聴者112Aに対し視聴可能範囲が存在しないことを提示する(S510)。
本実施の形態では、視聴可能範囲が存在しないことを表示制御部205がディスプレイ106に文字や画像で表示して提示する。しかし、その他にも例えば、表示制御部205の指示により、音声出力制御部110がスピーカ装置105を用いて通知音を鳴らすなど音で提示してもよい。また、例えば、表示制御部205の指示により、コンテンツ再生装置100に有線または無線で接続された照明装置(図示せず)を用いて照明を点滅させるなど照明で提示してもよい。
S502において、基準視聴範囲決定部202が、視聴可能範囲が存在すると判断した場合(S502でYES)、基準視聴範囲決定部202は、視聴可能範囲情報800に含まれる視聴可能範囲リスト802から基準視聴範囲を決定し、基準視聴範囲情報1900を生成する(S503)。
本実施の形態では、基準視聴範囲情報1900の視聴者ID701には第一コントローラ104aのコントローラIDを格納し、基準視聴範囲リスト1902には、第1の音響効果にサラウンド音響を示す情報、第1の基準視聴範囲に第1の視聴可能範囲、第2の音響効果にステレオ音響を示す情報、第2の基準視聴範囲に第2の視聴可能範囲、第3の音響効果にモノラル音響を示す情報、第3の基準視聴範囲に第3の視聴可能範囲を格納する。
次に、現在視聴位置決定部204が、位置算出部107に視聴位置計測要求情報900を送信して第一視聴者112Aのディスプレイ106に対する相対位置の演算を要求する。
現在視聴位置決定部204は、その演算結果を視聴位置情報1000として受信し、受信した視聴位置情報1000に基づき第一視聴者112Aの現在視聴位置を決定する(S504)。
なお、S404において、第一視聴者112Aの現在視聴位置を取得している場合、S504の処理は省略される。
本実施の形態では、現在視聴位置決定部204は、受信した視聴位置情報1000に含まれる視聴位置座標1002を第一視聴者112Aの現在視聴位置とする。但し、視聴位置座標1002の誤差を考慮し、視聴位置座標1002が示す位置を含めた一定の範囲を第一視聴者112Aの現在視聴位置と決定してもよい。
現在視聴位置決定部204が、視聴位置計測要求情報900の視聴者ID901に格納する値は、S501で受信した視聴可能範囲情報800の視聴者ID701に格納された値とすればよい。
次に、表示制御部205が、S503で基準視聴範囲決定部202が生成した基準視聴範囲情報1900の基準視聴範囲リスト1902の第1の基準視聴範囲と、S504で決定した第一視聴者112Aの現在視聴位置とを比較する。表示制御部205は、この比較により、基準視聴範囲内に第一視聴者112Aの現在視聴位置が収まっているか否か判断する(S505)。
S505において、第1の基準視聴範囲内に第一視聴者112Aの現在視聴位置が完全に収まっていれば(S505でYES)、表示制御部205が、所望の音響効果が得られる視聴可能範囲内に位置していることを第一視聴者112Aに対し提示する(S511)。
本実施の形態では、第一視聴者112Aが所望の音響効果が得られる視聴可能範囲内に位置していることを表示制御部205がディスプレイ106に文字や画像で表示して提示する。しかし、その他にも例えば、表示制御部205の指示により、音声出力制御部110がスピーカ装置105を用いて通知音を鳴らすなど音で提示してもよいし、表示制御部205の指示により、図示しない照明装置を用いて照明を点滅させるなど照明で提示してもよい。
なお、基準視聴範囲内に第一視聴者112Aの現在視聴位置が一部でも収まっている場合にS511が実行されてもよい。この場合、前記基準視聴範囲内に第一視聴者112Aの現在視聴位置が全く収まっていない場合のみS506が実行される。
本実施の形態では、S505において、基準視聴範囲内に第一視聴者112Aの現在視聴位置が一部でも収まっていない場合(S505でNO)、表示制御部205は、第一視聴者112Aを所望の音響効果が得られる視聴範囲内へ誘導する移動指示情報を、第一視聴者112Aに対し提示する(S506)。
この移動指示情報は、本実施の形態においては、後述する図16、図17、および図19に示す移動指示文字1102と、移動指示画像1103と、移動指示俯瞰図1104から構成される。
第一視聴者112Aは、移動指示情報に従うことで所望の音響効果を得られる視聴位置へ移動することができる。但し、移動指示情報はこれらに限らず、表示制御部205の指示により、図示しない照明装置に当該視聴可能範囲を照明で照らさせるなどしても同様の効果を得られる。
次に、ウィンドウ表示可能範囲決定部203が、S503で基準視聴範囲決定部202が生成した基準視聴範囲情報1900に基づきウィンドウ表示可能範囲を決定し、ウィンドウ表示可能範囲情報2000を生成する(S507)。
本実施の形態では、サラウンド音響効果で視聴可能な範囲である第1の基準視聴範囲に対するウィンドウ表示可能範囲が第1のウィンドウ表示可能範囲となる。ステレオ音響効果で視聴可能な範囲である第2の基準視聴範囲に対するウィンドウ表示可能範囲が第2のウィンドウ表示可能範囲となる。モノラル音響効果で視聴可能な範囲である第3の基準視聴範囲に対するウィンドウ表示可能範囲が第3のウィンドウ表示可能範囲となる。
次に、表示制御部205が、S507でウィンドウ表示可能範囲決定部203が生成したウィンドウ表示可能範囲情報2000に基づき、ウィンドウ表示可能範囲をディスプレイ106に表示する(S508)。
但し、ウィンドウ表示可能範囲リスト2002の第1のウィンドウ表示可能範囲が最も前面に表示されるようにし、次に第2のウィンドウ表示可能範囲が前面に表示されるようにし、第3のウィンドウ表示可能範囲が最も背面に表示されるようにする。
ディスプレイ106に表示されたウィンドウ表示可能範囲の例は、図16、図17、および図19を用いて後述する。
次に、第一視聴者112Aが、S506で提示された移動指示情報とS507でディスプレイ106に表示したウィンドウ表示可能範囲に従って移動すると、表示制御部205は、視聴ウィンドウが、移動する第一視聴者112Aに追従するよう視聴ウィンドウの表示位置を変更する(S509)。
第一視聴者112Aは、自身に追従する視聴ウィンドウがS507でディスプレイ106に表示されたウィンドウ表示可能範囲内に収まるよう移動することで、第一視聴者112Aが所望する音響効果を得られる視聴位置に移動することができる。
このように、表示制御部205は、視聴ウィンドウが、移動する第一視聴者112Aに対して常に正面に表示されるよう視聴ウィンドウの表示位置を変更する。
具体的には、表示制御部205は、ディスプレイ106を高さ軸とそれに垂直な横軸で表される2次元平面と定義した場合の、第一視聴者112Aの目線の高さと一致する横軸上で、第一視聴者112Aとディスプレイ106との間の距離とが最短となる点が、視聴ウィンドウの重心となるよう視聴ウィンドウを表示する。これにより、第一視聴者112Aに対して正面に視聴ウィンドウが表示される。
なお、表示制御部205は、S509のタイミングに限らず、また第一視聴者112Aだけに限らず、すべての視聴者について視聴位置が変わっていないか定期的に確認する。その確認の結果、ある視聴者の視聴位置が変わった場合、表示制御部205はさらに、当該視聴者に対応する視聴ウィンドウが当該視聴者の正面に位置するよう視聴ウィンドウの表示位置を変更する。
そこで表示制御部205は、それぞれの視聴者が移動したことを検知するため、S303(図12参照)において視聴ウィンドウに対応付けられたすべての視聴者に対し、定期的な間隔で、視聴位置を位置算出部107から取得する。
表示制御部205はさらに、ある視聴者について、位置算出部107から取得した最新の視聴位置と、その1つ前に取得した視聴位置とを比較し、その差が事前に設定した閾値以上である場合、当該視聴者が移動したと判断する。
視聴位置の比較に用いる閾値と位置算出部107から視聴位置を取得する間隔とは、位置算出部107の計測精度などを考慮してコンテンツ再生装置100の製造時に表示制御部205に設定してもよいし、第一視聴者112Aが第一コントローラ104aを用いて表示制御部205に設定してもよい。
表示制御部205は、位置算出部107からそれぞれの視聴者の視聴位置を取得するため次の手順を踏む。まず、表示制御部205が、視聴ウィンドウ決定部201から複数のウィンドウそれぞれに対応付け済みのコントローラIDのリストを取得する。次に、表示制御部205は、取得したリスト内のコントローラIDを1つ選択し、これを視聴者ID901に格納した視聴位置計測要求情報900を表示制御部205が生成し、位置算出部107へ送信する。
次に、この視聴位置計測要求情報900を受信した位置算出部107は、指定されたコントローラIDに対応する視聴者の視聴位置を算出し、その結果を視聴位置情報1000に格納して表示制御部205に送信する。
この視聴位置情報1000を受信した表示制御部205は、指定したコントローラIDに対応する視聴者の視聴位置を、視聴位置座標1002から取得する。以上を、複数のウィンドウそれぞれに対応付け済みのコントローラIDのリストに記載のすべてのコントローラIDについて繰り返す。
なお、S509において第一視聴者112Aが移動した後、表示制御部205が自動的に視聴ウィンドウの表示位置を変更しなくてもよい。例えば、第一視聴者112Aが第一コントローラ104aを用いて、視聴ウィンドウを表示すべきディスプレイ106上の位置を表示制御部205へ指定し、表示制御部205が第一視聴者112Aに指定された位置へ視聴ウィンドウを移動しても同様の効果が得られる。
なお、S509において表示制御部205は、ウィンドウ表示可能範囲外に視聴ウィンドウが移動しないよう制御してもよい。これにより、第一視聴者112Aが所望の音響効果を得られる位置を越えて移動した場合でも視聴ウィンドウが移動することはない。これにより、第一視聴者112Aは視聴ウィンドウが移動する範囲によっても所望の音響効果を得られる視聴範囲を知ることができる。
さらに、第一視聴者112Aの移動範囲を事実上制限することにより、第一視聴者112Aに対する音響効果によって第二視聴者112Bなど他の視聴者が得られている音響効果を妨げることがない。
なお、移動指示情報およびウィンドウ表示可能範囲などの、コンテンツ表示制御部200が、第一視聴者112Aを所望の音響効果を得られる視聴位置へ誘導するために第一視聴者112Aに対して提示した情報は、S509を実行した後、または、S308を実行した後に自動的に提示を終えてもよい。
また、第一視聴者112Aが第一コントローラ104aを用いて提示の終了をコンテンツ表示制御部200へ指示してからこの提示を終えてもよい。これは、図14に示す動作で提示した情報に限らず、他の図で示す動作で提示した情報に関しても同様である。
図12のS307における動作は、図14に示す各処理ステップではなく、図15に示す各処理ステップによって構成されてもよい。図15は、図14のS508とS509とを、S601に置き換えたものである。
以下に、S601について説明する。なお、図15におけるS601以外の処理は、図14における同じ符号を用いた処理と同じであるため説明は省略する。
S507の実行後、表示制御部205は、S507でウィンドウ表示可能範囲決定部203が生成したウィンドウ表示可能範囲情報2000に基づき、ウィンドウ表示可能範囲リスト2002の第1のウィンドウ表示可能範囲内に第一視聴者112Aに対応する視聴ウィンドウの少なくとも一部が表示されるように、視聴ウィンドウをディスプレイ106に表示する(S601)。
具体的には、第1のウィンドウ表示可能範囲内に当該視聴ウィンドウの重心が収まるよう視聴ウィンドウをディスプレイ106に表示する。
第一視聴者112Aは、S506で提示された移動指示情報を参考に、S601でディスプレイ106に表示された視聴ウィンドウが正面に見える位置へ移動する。結果、第一視聴者112Aは、所望の音響効果が得られる視聴位置へ移動する。
図16は、表示制御部205が、図14のS506でディスプレイ106に表示する移動指示情報と、図14のS508でディスプレイ106に表示するウィンドウ表示可能範囲1105の例を示す図である。
第一視聴ウィンドウ1101は、第一視聴者112Aに対応付けられた視聴ウィンドウである。移動指示情報は、移動指示文字1102と、移動指示画像1103と、移動指示俯瞰図1104とから構成される。
移動指示文字1102は、第一視聴者112Aが所望する音響効果、具体的には第1の音響効果であるサラウンド音響効果を得られる視聴位置へ移動する方向を指示する文字列を提示する。また、図示するように、現在、第一視聴者112Aが得られている音響効果に関する情報や、第一視聴者112Aが所望する音響効果に関する情報を提示してもよい。
移動指示画像1103は、第一視聴者112Aが所望する音響効果を得られる視聴位置へ移動する方向を指示する画像であり、例えば図16に示すように矢印である。
移動指示俯瞰図1104は、第一視聴者112Aが所望する音響効果を得られる視聴位置へ移動する方向を指示する画像であり、特にコンテンツを視聴する部屋の俯瞰図を用いる点に特徴を有する。
図16において、移動指示俯瞰図1104は、コンテンツを視聴する部屋を上から見下ろした図であり、同図内の上部が、ディスプレイ106が配置された位置にあたる。
移動指示俯瞰図1104には、現在の第一視聴者112Aの位置を示す現在視聴位置1104Aと、第一視聴者112Aが所望の音響効果を得るために移動すべき視聴位置を示す移動先視聴位置1104Bとが示される。
図16において、ウィンドウ表示可能範囲1105は、第1のウィンドウ表示可能範囲であるサラウンド再生可能範囲1105Aと、第2のウィンドウ表示可能範囲であるステレオ再生可能範囲1105Bと、第3のウィンドウ表示可能範囲であるモノラル再生可能範囲1105Cとから構成される。
表示制御部205は、図示するようにウィンドウ表示可能範囲1105を、楕円形など、第一視聴者112Aが提示内容を理解しやすい形に整形してからディスプレイ106に表示してもよい。さらに、表示制御部205は、基準視聴範囲内に第一視聴者112Aが位置したときに得られる音響効果に関する情報を、ウィンドウ表示可能範囲1105と共に文字または画像で提示してもよい。
例えば、サラウンド再生可能範囲1105Aの表示に重なるよう文字列「サラウンド再生可能範囲」をディスプレイ106に表示する。さらに、表示制御部205は、視聴者が認識しやすいようウィンドウ表示可能範囲ごとにディスプレイ106に表示する色や形を変えてもよい。例えば、表示制御部205は第1のウィンドウ表示可能範囲を楕円形の赤色で表示し、第2のウィンドウ表示可能範囲を長方形の青色で表示してもよい。
図17は、表示制御部205が、図14のS506でディスプレイ106に表示する移動指示情報と、図14のS508でディスプレイ106に表示するウィンドウ表示可能範囲1105の別の例を示す図である。
図17に示すディスプレイ106の表示内容は、図16に示すディスプレイ106の表示内容と比べると、第二視聴者112Bに対応付けられた第二視聴ウィンドウ1201が追加されている。
例えば、第一視聴者112Aが、コンテンツを視聴中に、第二視聴者112Bが、ディスプレイ106に向かって左から、ディスプレイ106の前方に現れた場合を想定する。
このとき、シミュレーション部150は第二視聴者112Bへ再現している音響効果が妨げられることのないよう、第一視聴者112Aに対する音響効果シミュレートを行う。
具体的には、シミュレーション部150は、割当テーブル121(図5参照)を参照し、第一視聴者112Aを視聴者“a”、第二視聴者112Bを視聴者“b”と決定する。シミュレーション部150はさらに、割当テーブル121に示される“a”に対応するスピーカの個数および位置等を用いて第一視聴者112Aについての音響効果シミュレートを実行する。
その結果として、ウィンドウ表示可能範囲1105は図16と比較して、狭くなっており、さらに第二視聴ウィンドウ1201から離れた、ディスプレイ106の右側に片寄っていることがわかる。
次に、実施の形態において、図12に示される動作の後、第一視聴者112Aがコンテンツ視聴中に移動した場合のコンテンツ再生装置100の動作について図18を用いて説明する。
まず、表示制御部205は、第一視聴者112Aの視聴位置が変化したか否かを判断する(S1501)。なお、図14のS509における説明で述べたように、表示制御部205は、すべての視聴者に対して視聴位置が変わっていないか定期的に確認しており、S509の確認動作とS1501の確認動作とは共通の動作である。
視聴位置が変化していない場合(S1501でNO)、その後も継続して定期的に第一視聴者112Aの視聴位置が変化していないか確認する。視聴位置が変化した場合(S1501でYES)、コンテンツ再生装置100は、第一視聴者112Aが所望の音響効果を得られる視聴可能範囲に基づく情報を第一視聴者112Aに提示する(S307)。
例えば、部屋のおよそ中央に立っており、サラウンド音響効果を得ていた第一視聴者112Aが、部屋の右側の壁の近くまで移動した場合、図16に示すような、移動指示文字1102およびウィンドウ表示可能範囲1105等が、ディスプレイ106に表示される。
なお、例えばコンテンツ表示制御部200が、第一視聴者112Aについて先に求められている音響効果シミュレート結果(図12のS306の結果)を記憶している。コンテンツ表示制御部200は、記憶している当該音響効果シミュレート結果を用いて上記の表示制御を実行する。
また、コンテンツ表示制御部200は、先の音響効果シミュレート結果を使用しなくてもよい。例えば、コンテンツ表示制御部200は、シミュレーション部150等により再度実行された音響効果シミュレートに係る処理(図12におけるS305およびS306)の結果を使用し、上記の表示制御を行ってもよい。
また、第一視聴者112Aの視聴位置が変化した場合に、視聴範囲に基づく情報の表示(S307)を実行するか否かは、例えば、第一視聴者112Aが第一コントローラ104aを用いてコンテンツ再生装置100に設定可能であってもよい。
なお、図18における、視聴範囲に基づく情報の表示(S307)で、第一視聴者112Aに提示した移動指示情報やウィンドウ表示可能範囲は、例えば第一視聴者112Aの移動を終え静止したタイミングで提示を終える。
これにより、第一視聴者112Aが移動している間のみ移動指示情報やウィンドウ表示可能範囲が提示される。但し、提示を終えるタイミングは、第一視聴者112Aが第一コントローラ104aを用いてコンテンツ再生装置100に設定可能であってもよい。
コンテンツ再生装置100は、図18で示すように第一視聴者112Aがコンテンツ視聴中に移動した場合にも第一視聴者112Aが所望する音響効果に基づいた情報を提示する。これにより、第一視聴者112Aがコンテンツ視聴中に移動する場合にも、第一視聴者112Aは、所望する音響効果を得られる視聴可能範囲を容易に知ることができ、所望の音響効果を得られる視聴可能範囲へ容易に移動することができる。
図19は、図12に示す動作の後、第一視聴者112Aがコンテンツ視聴中に移動した場合に、表示制御部205が図14のS506でディスプレイ106に表示する移動指示情報と、図14のS508でディスプレイ106に表示するウィンドウ表示可能範囲1105の例を示す図である。
図19に示すディスプレイ106の表示内容は、図17に示すディスプレイ106の表示内容と比べると、第一視聴ウィンドウ1101の代わりに、移動前の第一視聴ウィンドウ1301と移動後の第一視聴ウィンドウ1302が追加されている。また、図19は、図17と比べ移動指示文字1102の提示内容に特徴を有する。
図19において、移動指示文字1102は、第一視聴者112Aが所望する音響効果を得られる視聴位置へ移動する方向を指示する文字列に加え、第一視聴者112Aが得られる音響効果が変化したこと、および変化した音響効果に関する情報を提示している。
次に、実施の形態において、図12に示す動作の後、第一視聴者112Aがコンテンツ視聴中にコンテンツに対する所望の音響効果を変更した場合のコンテンツ再生装置100の動作について図20を用いて説明する。
まず、第一視聴者112Aがコンテンツの視聴中に、第一コントローラ104aを用いて何らかの音響効果を選択した場合を想定する。この場合、基準視聴範囲決定部202は、第一視聴者112Aの選択に基づく音響効果情報を赤外線受光部109を介して受信する。基準視聴範囲決定部202はさらに、この音響効果情報を参照し、図12のS304で第一視聴者112Aがコンテンツの視聴前に選択した音響効果から変更されたか否かを判断する(S1601)。
音響効果が変更されていない場合(S1601でNO)、動作を終了する。音響効果が変更された場合(S1601でYES)、コンテンツ再生装置100は、第一視聴者112Aが所望の音響効果を得られる視聴範囲に基づく情報を第一視聴者112Aに提示する(S307)。
なお、この表示制御は、図18に示す処理と同じく、コンテンツ表示制御部200が、既に得られている先の音響効果シミュレート結果を用いて実行してもよく、再度実行された音響効果シミュレートの結果を用いて実行してもよい。
コンテンツ再生装置100は、図20で示すように第一視聴者112Aがコンテンツ視聴中にコンテンツに対する所望の音響効果を変更した場合にも、第一視聴者112Aが所望する音響効果に基づいた情報を提示する。
これにより、第一視聴者112Aは、所望の音響効果を変更したことにより、所望の音響効果を得られる視聴範囲が変化したこと、および所望の音響効果を得られる視聴範囲を容易に知ることができ、所望の音響効果を得られる視聴範囲へ容易に移動することができる。
次に、実施の形態において、図12に示す動作の後、第一視聴者112Aに対応する視聴ウィンドウ以外の視聴ウィンドウの(以下、「他の視聴ウィンドウ」という。)状態が変化した場合のコンテンツ再生装置100の動作について図21を用いて説明する。
まず、表示制御部205は、常に、他の視聴ウィンドウの状態が変化していないか確認する(S1701)。他の視聴ウィンドウの状態が変化していない場合(S1701でNO)、引き続き他の視聴ウィンドウの状態の確認を続ける。
他の視聴ウィンドウの状態が変化した場合(S1701でYES)、コンテンツ再生装置100は、S305、S306、およびS1702を実行する。但し、S305およびS306は、図12における同じ符号の動作を指すため、説明は省略する。
なお、他の視聴ウィンドウの状態が変化した場合とは、例えば、第二視聴者112Bがコンテンツの視聴を中止した場合である。この場合、その時点までディスプレイ106に表示されていた第二視聴ウィンドウ1201は閉じられる。つまり、第二視聴ウィンドウ1201の大きさがゼロに変更される。
また、この場合、コンテンツ視聴システムを利用する視聴者は第一視聴者112Aのみになり、第一視聴者112Aおよび第一視聴ウィンドウ1101に割り当てられるスピーカの組み合わせは変化することになる(図5参照)。そのため、コンテンツ再生装置100は、第一視聴者112Aについての音響効果シミュレートに係る処理および視聴範囲に基づく情報の提示を、新たな条件(変更後のスピーカの組み合わせに示されるスピーカの個数および位置など)を用いてやり直す(図21におけるS305、S306、およびS1702)。
また、第二視聴者112Bが移動することにより、第二視聴ウィンドウ1201が移動した場合、第一視聴ウィンドウ1101を表示可能な領域が変化することになる。従って、この場合も、コンテンツ再生装置100は、第一視聴者112Aについての音響効果シミュレートに係る処理および視聴範囲に基づく情報の提示を新たな条件でやり直してもよい。
この場合、例えば、シミュレーション部150が、割当テーブル121に示される情報を基に、移動後の第二視聴者112Bの位置と、その時点での第一視聴者112Aとの位置関係に応じて第一視聴者112Aに割り当てるスピーカの個数を調整(増加または削減)する。また、この調整後のスピーカの個数等を用いて新たに音響効果シミュレート(S306)を実行する。
このように、他の視聴ウィンドウの状態が変化した場合、その変化が微少な場合を除き、ほとんどの場合で、第一視聴者112Aが所望するN個の音響効果それぞれについての視聴可能範囲が変化し得る。すなわち、視聴可能範囲に基づき決定される基準視聴範囲も変化し得る。
次に、図21のS1702における動作の詳細を、図22を用いて説明する。但し、図22においてS501、S503、およびS507は、図14における同じ符号の動作を指すため、説明は省略する。
まず、コンテンツ再生装置100は、S501とS503を実行する。次に、表示制御部205は、基準視聴範囲が変化したことを第一視聴者112Aに提示する(S1802)。
本実施の形態では、基準視聴範囲が変化したことを表示制御部205がディスプレイ106に文字で表示して提示する。S1802における提示例を図23の視聴環境変更通知文字1404に示す。図23の説明の詳細は後述する。
なお、S1802における第一視聴者112Aに対する提示方法は、その他にも例えば、画像を用いて提示してもよいし、表示制御部205の指示により、音声出力制御部110がスピーカ装置105を用いて通知音を鳴らすなど音で提示してもよい。また、表示制御部205の指示により、図示しない照明装置を用いて照明を点滅させるなど照明で提示してもよい。
次に、ウィンドウ表示可能範囲決定部203は、S507を実行する。
次に、表示制御部205は、ウィンドウ表示可能範囲決定部203がS507で生成したウィンドウ表示可能範囲情報2000のウィンドウ表示可能範囲リスト2002を参照し、1つ前に生成したウィンドウ表示可能範囲と比べ変化した範囲があるか否か確認する(S1803)。
なお、サラウンド等の音響効果に対応する基準視聴範囲が変化するため、その基準視聴位置に対応するウィンドウ表示可能範囲も原則として変化する。しかし、基準視聴位置の変化量が微少である場合など、変化しないウィンドウ表示可能範囲が存在する場合もある。そのため、この判断処理(S1803)が実行される。
S1803において、変化したウィンドウ表示可能範囲が存在しない場合(S1803でNO)、処理を終了する。
S1803において、変化したウィンドウ表示可能範囲が存在する場合(S1803でYES)、表示制御部205は、ウィンドウ表示可能範囲が変化したことを第一視聴者112Aに提示する(S1804)。
本実施の形態では、ウィンドウ表示可能範囲が変化したことを表示制御部205がディスプレイ106に文字で表示して提示する。S1804における提示例を図23の視聴環境変更通知文字1404に示す。図23の説明の詳細は後述する。
なお、S1804における第一視聴者112Aに対する提示方法は、その他にも例えば、画像を用いて提示してもよいし、表示制御部205の指示により、音声出力制御部110がスピーカ装置105を用いて通知音を鳴らすなど音で提示してもよい。また、表示制御部205の指示により、図示しない照明装置を用いて照明を点滅させるなど照明で提示してもよい。
次に、表示制御部205が、変化したウィンドウ表示可能範囲に合わせて第一視聴者112Aに対応する視聴ウィンドウのサイズを変更する(S1805)。このとき、表示制御部205は、第1のウィンドウ表示可能範囲から第Nのウィンドウ表示可能範囲までの内、第一視聴者112Aに対応する視聴ウィンドウの重心が収まっているウィンドウ表示可能範囲のサイズに合わせて視聴ウィンドウのサイズを変更する。
表示制御部205は、ウィンドウ表示可能範囲が拡大していれば視聴ウィンドウを拡大し、ウィンドウ表示可能範囲が縮小していれば視聴ウィンドウを縮小する。また、表示制御部205が視聴ウィンドウのサイズを変更する場合、なるべく第一視聴者112Aが視聴位置を移動せずとも視聴ウィンドウが第一視聴者112Aの正面に位置するようサイズを変更する。例えば、視聴ウィンドウの重心の位置を保ったままサイズを変更したり、視聴ウィンドウの1つの角の位置を固定したままサイズを変更したりする。
なお、S1805を実行した後、コンテンツ再生装置100は、例えば図15に示されるS506、S508を順に実行し、第一視聴者112Aが拡大された視聴ウィンドウの正面へ位置しやすいよう誘導してもよい。
コンテンツ再生装置100は、図21で示すように第一視聴者112Aに対応する視聴ウィンドウ以外の視聴ウィンドウの状態が変化した場合にも第一視聴者112Aが所望する音響効果に基づいた情報を提示する。これにより、第一視聴者112Aは、所望の音響効果を得られる視聴範囲が変化したこと、および所望の音響効果を得られる視聴範囲を容易に知ることができ、所望の音響効果を得られる視聴範囲へ容易に移動することができる。
さらに、第一視聴者112Aは、視聴ウィンドウのサイズが変更できることも容易に知ることができ、コンテンツ再生装置100は、自動的に視聴ウィンドウのサイズを変更することもできる。
図23は、図12に示す動作の後、第一視聴者112Aに対応する視聴ウィンドウ以外の視聴ウィンドウの状態が変化した場合に、表示制御部205が図22のS1802とS1804でディスプレイ106に表示する情報の例を示す図である。
拡大前の第一視聴ウィンドウ1401は、表示制御部205がサイズを拡大する前の第一視聴者112Aに対応する視聴ウィンドウである。拡大後の第一視聴ウィンドウ1402は、表示制御部205がサイズを拡大した後の第一視聴者112Aに対応する視聴ウィンドウである。閉じられた第二視聴ウィンドウ1403は、表示制御部205により閉じられた第二視聴者112Bに対応する視聴ウィンドウが表示されていた位置を示す。
視聴環境変更通知文字1404は、図22のS1802とS1804において表示制御部205がディスプレイ106に表示した、基準視聴範囲およびウィンドウ表示可能範囲が変更したこととを通知する文字列である。
図23において視聴環境変更通知文字1404は、さらに、第一視聴者112Aが現在得られている音響効果に関する文字列、視聴ウィンドウが拡大できることを示すサイズ変更に関する文字列を含む。
なお、本実施の形態では、第一視聴者112Aに対するコンテンツ視聴システム10の動作を取り上げたが、第一視聴者112Aに限らず第二視聴者112Bなど、その他の視聴者に対してもコンテンツ視聴システム10は同様の動作を行う。
また、本実施の形態では、音響効果シミュレーションに関する処理をシミュレーション部150が行ったが、音声出力制御部110、または、基準視聴範囲決定部202などコンテンツ表示制御部200の構成要素が行っても同様の効果が得られる。
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)上記のコンテンツ再生装置100は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。
前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、コンテンツ再生装置100は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)コンテンツ再生装置100を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)コンテンツ再生装置100を構成する構成要素の一部または全部は、コンテンツ再生装置100に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。