JP6875484B2 - コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システム - Google Patents

Description

本発明は、音声による演出を行うコンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムに関する。

出願人は、ゲームプログラム及びゲームサービスを開発し、頒布している。近年では、ゲーム専用機向けのゲームプログラムより、スマートフォン向けのゲームプログラムあるいはゲームサービスの需要が増えている。このようなゲームは、ゲームキャラクタ（以下、単に「キャラクタ」と略）がユーザの操作に従って動くアクションゲームの要素のみならず、キャラクタが対話することでストーリーが進行するノベルゲームの要素、アニメーション動画、ｗｅｂブラウザ等の機能要素を統合した、複合的なコンテンツ再生機能を有する、コンテンツ再生サービスとしての側面を有する。

このようなスマートフォン向けのゲームが成熟していくに連れて、ゲームの背景音楽（ＢＧＭ：Background Music、類似語として劇伴、サウンドトラック等）及び効果音を含めた「サウンド（sound）」が、ユーザをゲームの世界観に惹き込むための重要な演出要素として、多くのユーザに認知され始めている。またこのような需要に対し、出願人を含む多くのゲームメーカが、ゲームサウンドの高品質化に力を入れている。

特許文献１には、音声再生オブジェクトの生成と破壊が繰り返されることでＣＰＵの演算処理負荷が大きくなった場合でも、音声再生の処理効率を向上させることができるプログラム、情報処理装置、及び情報処理方法が開示されている。

特許第６４８２７１２号公報

今日、スマートフォンはゲーム専用機を上回る普及率に達しており、市場規模の観点から見るとゲーム専用機に代わるゲーム実行環境として極めて重要である。しかしながら、パソコンに比肩する演算能力を有し、なおかつ小型化及び高密度化を実現するスマートフォンの内蔵スピーカは小口径であり、大口径のスピーカやヘッドフォンに比べると再生能力は不足すると言わざるを得ない。

その一方で、スマートフォンはヘッドフォンや外部オーディオ機器を接続するための手段が複数存在するので、音質に拘るユーザは自発的にスマートフォンにヘッドフォン等を接続して、ゲームを楽しんでいる。すなわち、内蔵スピーカで再生されるゲームサウンドと、ヘッドフォン等の外付け音響機器（External Sound Devices）で再生されるゲームサウンドの印象は、再生される高音領域と低音領域の幅、音の細かいニュアンスの再現性の違いなどから生じる、迫力や臨場感の点で大きく異なっている。
以上のことから、コンテンツ再生環境としてのスマートフォンにおいて、内蔵スピーカには内蔵スピーカに適したサウンド環境を、外付け音響機器には外付け音響機器に適したサウンド環境を、それぞれ実現することが望ましい。

本発明は係る課題に鑑みてなされたものであり、サウンドの出力先に応じて、サウンドファイル、イコライザやミキサ等の設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする、コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムを提供することを目的とする。

上記課題を解決するために、本発明のコンテンツ再生プログラムは、１以上のサウンドファイルを読み込んで、サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御機能と、サウンド演出制御機能により出力されるオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御機能と、音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出機能と、外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理機能と、をコンピュータに実現させる。
更に、本発明のコンテンツ再生プログラムは、音声デバイス情報において、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一定義ファイルまたは第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな音声デバイスに適したサウンドファイルを選択して、サウンド演出制御機能に読み込ませる音声デバイス制御機能をコンピュータに実現させる。

本発明により、サウンドの出力先に応じて、サウンドファイル、イコライザやミキサ等の設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする、コンテンツ再生プログラム、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生システムを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施形態に係るコンテンツ再生装置と周辺環境を示す概略図である。 コンテンツ再生装置のハードウェア構成を示すブロック図である。 コンテンツ再生装置のソフトウェア機能を示すブロック図である。 ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部の処理の流れを示すフローチャートである。 音声デバイス変更トリガを検出した時における、コンテンツ再生処理部の処理の流れを示すフローチャートである。 ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。 ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。 ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部の処理の流れを示すタイミングチャートである。 音声デバイスが外部オーディオ機器と内蔵スピーカである場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。 本発明の第二の実施形態に係るコンテンツ再生装置と周辺環境を示す概略図である。

ゲームにおけるサウンドは、ＢＧＭを鳴らしながらゲームの効果音やキャラクタの台詞を同時に再生する等、複数の音源が同時に発音している。つまり、ゲームにおけるサウンドの処理には、複数のデジタルオーディオファイルをデコードしてデジタルオーディオストリームデータに変換し、それらにイコライジング処理を施し、さらに適切なミキシング処理を施す、という処理が必要になる。ゲーム開発においてこのような複雑な処理を実装することは時間と費用が嵩む。一方で、サウンドの処理は定型的な処理であるため、特許文献１に開示されるように、出願人を含む多くのゲームメーカは、サウンドの処理をサードパーティ製のサウンドミドルウェアに任せている。

従来のコンシューマゲームは、ＴＶ等の優れたコンテンツ再生環境が固定的に設けられていることを前提として制作されており、スマートフォンやタブレットＰＣ等の端末特有の、内蔵スピーカと外付け音響機器を選択的に利用できるコンテンツ再生環境を想定していない。また、スマートフォンやタブレットＰＣ等においても、内蔵スピーカと外付け音響機器の切り替えを検出して、自動でサウンドファイルの選択やイコライザを自動的に切り替える機能を有するゲームは未だ制作されていない。

そこで本発明は、ゲームシステムがサウンドの再生環境（内蔵スピーカかそれとも外付け音響機器か）を監視し、最終的なサウンドの出力先に応じて、適したサウンドファイルとイコライザやミキサ等のＤＳＰ設定を選択することにより、ゲーム製作者の意図した音響により近い再生を可能にする。

本発明によれば、例えば、ヘッドフォン使用時のイコライザ設定（例えば重低音を強調したもの）と、内蔵スピーカ使用時のイコライザ設定（例えば中高域を強調したもの）を別々に用意する。ユーザが内蔵スピーカを使用する場合は、全体の中高域を強調して、ノイズ環境下でも聞き取りやすいサウンド再生イコライジングを選択することができる。また、ユーザがヘッドフォンやイヤフォンを使用する場合は、ＢＧＭの重低音を強調したサウンド再生イコライジングに動的に切り替えることができる。

また同様に、ヘッドフォン使用時の音源ファイル（例えば重低音を含んだもの）と、内蔵スピーカ使用時の音源ファイル（例えば高音のみでメロディーを構成したもの）を別々に用意する。これにより、ユーザが内蔵スピーカを使用する場合は、全体の高音を強調してノイズ環境下でも聞き取りやすいサウンドファイルと、キャラクタのボイスを強調したイコライザ設定やミキサ設定を選択することができる。

［第一の実施形態：コンテンツ再生装置１０１：全体構成］
図１は、本発明の第一の実施形態に係るコンテンツ再生装置１０１と周辺環境を示す概略図である。
スマートフォンはゲームプログラムを読み込んで、コンテンツ再生装置１０１として機能する。ユーザはコンテンツ再生装置１０１のタッチパネルディスプレイ１０１ａを操作して、ゲームに興じる。

図１に示すように、コンテンツ再生装置１０１は、サーバ１０２からインターネット１０３経由で、広域無線通信の基地局１０４あるいはは無線ＬＡＮルータ１０５を通してゲームプログラムをダウンロードして、実行する。
コンテンツ再生装置１０１は、ゲームプログラムを実行すると、内蔵スピーカ１０６でゲームコンテンツにおける音声や音楽等のサウンドを発する。また、ヘッドフォン１０７、スピーカやアンプ等の外部オーディオ機器が有線であるケーブル１０８または無線で接続されている場合には、これらの外部オーディオ機器から同様にサウンドを発する。

［第一の実施形態：コンテンツ再生装置１０１：ハードウェア構成］
図２はコンテンツ再生装置１０１のハードウェア構成を示すブロック図である。
周知のコンピュータであるコンテンツ再生装置１０１は、バス２０９に接続されているＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＬＣＤ等である表示部２０４、静電式タッチパネルである操作部２０５、広域無線通信部２０６、無線ＬＡＮインターフェース２０７、及び不揮発性ストレージ２０８を備える。
バス２０９にはこの他に、ＤＳＰ２１０、Ｄ／Ａ変換器２１１、ＵＳＢまたはＬｉｇｈｔｎｉｎｇ（登録商標）等のシリアルインターフェース（以下「シリアルＩ／Ｆ」と略）２１２、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信部２１３が接続されている。

不揮発性ストレージ２０８には、ゲームのＢＧＭ、ゲームの効果音、キャラクタの台詞等が収録された複数のサウンドファイルが格納されている。これら複数のサウンドファイルは、ＤＳＰ２１０及び／またはＣＰＵ２０１に読み込まれてデコードされる。デコードされたサウンドデータストリームは、イコライジングが施され、ミキシングするデジタル信号処理が行われた後、現在アクティブな音声デバイスに送られる。

例えば、現在アクティブな音声デバイスが内蔵スピーカ１０６であれば、複数のサウンドファイルがＤ／Ａ変換器２１１に送られる。現在アクティブな音声デバイスが外部アナログヘッドフォン２１４であれば、複数のサウンドファイルがＤ／Ａ変換器２１１に送られ、外部オーディオ端子２１５からアナログオーディオ信号が出力される。なお、外部オーディオ端子２１５（ミニステレオジャック）には図示しないスイッチが内蔵されており、このスイッチのオン・オフ状態がバス２０９を通じて稼働するＯＳ等のプログラムによって把握される。

また、現在アクティブな音声デバイスが外部デジタルヘッドフォン２１６であれば、複数のサウンドファイルがＵＳＢまたはＬｉｇｈｔｉｎｇ（登録商標）であるシリアルＩ／Ｆ２１２に送られる。外部デジタルヘッドフォン２１６はＤ／Ａ変換器２１７を内蔵し、Ｄ／Ａ変換器２１７はヘッドフォンユニット２１８を駆動する。

現在アクティブな音声デバイスがＢｌｕｅｔｏｏｔｈ（登録商標）ヘッドフォンやＢｌｕｅｔｏｏｔｈ（登録商標）オーディオインターフェース等の近距離無線オーディオ機器２１９であれば、複数のサウンドファイルが近距離無線通信部２１３に送られる。近距離無線オーディオ機器２１９は近距離無線通信部２２０とＤ／Ａ変換器２２１を内蔵する。近距離無線通信部２２０は近距離無線通信部２１３から受信した電波からデジタルオーディオデータを復調する。復調されたデジタルオーディオデータはＤ／Ａ変換器２２１によってアナログ信号に変換され、Ｄ／Ａ変換器２２１はヘッドフォンユニット２２２を駆動する。

［第一の実施形態：コンテンツ再生装置１０１：ソフトウェア機能］
図３はコンテンツ再生装置１０１のソフトウェア機能を示すブロック図である。
ＯＳである入出力制御部３０１は、操作部２０５の操作情報を解釈し、必要に応じてコンテンツ再生処理部３０２に操作情報を引き渡す。
また、入出力制御部３０１は、コンテンツ再生処理部３０２が出力する画面表示データを表示部２０４に引き渡す。

入出力制御部３０１は、複数のアプリケーションプログラムのフォアグラウンド／バックグラウンド実行を管理し、フォアグラウンドに指定されたプログラムにはその旨を示すトリガを与える。なお、ここで、フォアグラウンド状態とは、タッチパネルディスプレイに表示され、ユーザが操作可能なアプリケーションプログラムを指し、バックグランド状態とは、他のアプリケーションと同時実行しているものの直接的に操作できない他のアプリケーションプログラムを指す。

コンテンツ再生処理部３０２は、ゲームプログラムの本体である。
コンテンツ再生処理部３０２は、シナリオデータ等に基づくゲームキャラクタの表示部２０４への表示と動作の制御、動画ファイルの再生、サウンドファイルの再生、テキストデータの表示等、種々のコンテンツをユーザの操作等に応じた表示部２０４へ表示または再生を実行する。

コンテンツ再生処理部３０２は、初期化処理部３０３と音声デバイス制御部３０４を含む。
初期化処理部３０３は、コンテンツ再生処理部３０２の起動時とフォアグラウンド復帰時に、ＯＳである入出力制御部３０１からのトリガに呼応して起動され、所定の処理を実行する。
音声デバイス制御部３０４は、初期化処理部３０３からのトリガと、入出力制御部３０１の機能の一部である音声デバイス変更検出部３０５からのトリガを受けると、音声デバイスの確認を行い、サウンド演出制御部３０６に適切な定義ファイルの指定を行う。

図３中、第一定義ファイル３１０は現在アクティブな音声デバイスが内蔵スピーカ１０６である場合に使用する定義ファイルである。第二定義ファイル３１１は現在アクティブな音声デバイスが内蔵スピーカ１０６以外である場合に使用する定義ファイルである。

入出力制御部３０１は、その機能の一部として、音声デバイス変更検出部３０５と、音声デバイス確認処理部３０７を含む。
音声デバイス変更検出部３０５は、音声データ経路制御部３０８をポーリングして、音声デバイスの変更を検出し、トリガを生成する。
音声デバイス確認処理部３０７は、コンテンツ再生処理部３０２の音声デバイス制御部３０４から送られる音声デバイス情報の要求に応じて音声データ経路制御部３０８にアクセスして、現在アクティブな音声デバイス情報を取得し、要求元である音声デバイス制御部３０４に送る。

サウンドミドルウェアであるサウンド演出制御部３０６は、コンテンツ再生処理部３０２から指定された定義ファイルを読み込んだ上で、コンテンツ再生処理部３０２から発される命令に従い、サウンドファイル群３０９から必要なサウンドファイルを読み出す。そして、読み出したサウンドファイルのデコード及び再生処理、サウンドストリームデータに対するイコライジング処理を実行する。これらの処理は、図２に示すＣＰＵ２０１及びＤＳＰ２１０の演算リソースを利用して実現される。サウンド演出制御部３０６は、これらの演算処理の結果として、統合サウンドストリームデータを生成する。

サウンド演出制御部３０６が出力する統合サウンドストリームデータは、ＯＳの機能の一部である音声データ経路制御部３０８に送られる。
音声データ経路制御部３０８は、現在アクティブな音声デバイスに対し、選択的に統合サウンドストリームデータを送る。外部音声デバイスが何も接続されていない時は、Ｄ／Ａ変換器２１１を通じて内蔵スピーカ１０６に統合サウンドストリームデータを送る。但し、ＯＳの機能によってミュートが設定されている場合は、内蔵スピーカ１０６に対する統合サウンドストリームデータの出力は行わない。

図３に示すように、音声データ経路制御部３０８には、複数の外部音声デバイスが接続され得る。
外部アナログヘッドフォン２１４は、ミニステレオジャックよりなる外部オーディオ端子２１５に接続される。音声データ経路制御部３０８から出力される統合サウンドストリームデータは、Ｄ／Ａ変換器２１１に送られて、アナログオーディオ信号に変換される。Ｄ／Ａ変換器２１１から出力されるアナログオーディオ信号は、外部オーディオ端子２１５を通じて、外部アナログヘッドフォン２１４に出力される。外部オーディオ端子２１５にはスイッチが内蔵されており、このスイッチのオン・オフ状態は、音声データ経路制御部３０８によって把握される。

外部デジタルヘッドフォン２１６は、シリアルＩ／Ｆ２１２に接続されている。音声データ経路制御部３０８から出力される統合サウンドストリームデータは、シリアルＩ／Ｆ２１２を通じて外部デジタルヘッドフォン２１６に内蔵されるＤ／Ａ変換器２１７に送られて、アナログオーディオ信号に変換される。Ｄ／Ａ変換器２１７から出力されるアナログオーディオ信号は、アナログヘッドフォンユニット２１８に出力される。

Ｂｌｕｅｔｏｏｔｈ（登録商標）ヘッドフォンやＢｌｕｅｔｏｏｔｈ（登録商標）オーディオインターフェース等の近距離無線オーディオ機器２１９は、近距離無線通信部２１３と無線通信にて双方向通信が確立される。その上で、音声データ経路制御部３０８から出力される統合サウンドストリームデータは、近距離無線通信部２１３から近距離無線オーディオ機器２１９に内蔵される近距離無線通信部２２０を経てＤ／Ａ変換器２２１に供給され、Ｄ／Ａ変換器２２１によってアナログオーディオ信号に変換される。Ｄ／Ａ変換器２２１から出力されるアナログオーディオ信号は、アナログヘッドフォンユニット２２２あるいは図示しないオーディオアンプ等に出力される。

Ａｎｄｒｏｉｄ（登録商標）やｉＯＳ（登録商標）等のスマートフォン用ＯＳは、マルチタスクＯＳであり、複数のアプリケーションプログラムを同時に実行可能である。その一方で、ユーザが直接操作可能なアプリケーションプログラムはタッチパネルディスプレイに表示されるが、他のプログラムは一部の例外を除いて表示されないので直接操作することができない。
なお、既に述べたように、タッチパネルディスプレイ全面に表示され、操作可能なアプリケーションプログラムをフォアグラウンド状態と呼び、同時実行しているものの直接的に操作できない他のアプリケーションプログラムをバックグラウンド状態と呼ぶ。

本発明の実施形態に係るコンテンツ再生装置１０１を実現するコンテンツ再生処理部３０２はゲームプログラム本体であり、種々の操作が可能なフォアグラウンド状態ではサウンド出力を行うが、逆に、種々の操作が不可能なバックグラウンド状態では、ＢＧＭ鑑賞機能を装備するゲームプログラム等、一部の例外を除き、基本的にはサウンド出力を行わない。
また、コンテンツ再生処理部３０２は、起動時と、バックグラウンド状態からフォアグラウンド状態への復帰時に、それまでサウンド出力を行わなかった状態から、サウンド出力を行う状態に変化する。したがってコンテンツ再生処理部３０２は、これらの状況においてサウンド出力を実行する音声デバイスを確認する必要がある。そこでコンテンツ再生処理部３０２は、起動時とフォアグラウンド状態への復帰時に音声デバイスのチェックを行い、定義ファイルに基づいて音声デバイスに適したサウンドファイルを用いてサウンド演出制御部３０６の設定を行う。また、フォアグラウンド状態において音声デバイスが変更された際にも、定義ファイルに基づいて変更された音声デバイスに適したサウンドファイルを用いたサウンド演出制御部３０６の設定を行う。

［第一の実施形態：コンテンツ再生装置１０１：全体の処理の流れ］
図４は、ゲーム起動時及びフォアグランド復帰における、コンテンツ再生処理部３０２の処理の流れを示すフローチャートである。
処理を開始すると（Ｓ４０１）、コンテンツ再生処理部３０２は初期化処理部３０３を起動して、所定の初期化処理を実行する（Ｓ４０２）。
その後、コンテンツ再生処理部３０２は初期化処理部３０３を通じて音声デバイス制御部３０４を起動する。
音声デバイス制御部３０４は、現在アクティブな音声デバイスを確認するために、入出力制御部３０１の音声デバイス確認処理部３０７に、現在アクティブな音声デバイス情報を問い合わせる（Ｓ４０３）。

もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６であれば（Ｓ４０４のＹＥＳ）、コンテンツ再生処理部３０２は第一定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ４０５）。
もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６以外であれば（Ｓ４０４のＮＯ）、コンテンツ再生処理部３０２は第二定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ４０６）。
以上で、ゲーム起動時及びフォアグランド復帰時の一連の処理を終了する（Ｓ４０７）。

図５は、音声デバイス変更トリガの検出時における、コンテンツ再生処理部３０２の処理の流れを示すフローチャートである。
音声デバイス制御部３０４が、音声デバイス変更検出部３０５が発するトリガを検出した場合には（Ｓ５０１）、コンテンツ再生処理部３０２は音声デバイス制御部３０４を起動する。
音声デバイス制御部３０４は、現在アクティブな音声デバイスを確認するために、入出力制御部３０１の音声デバイス確認処理部３０７に、現在アクティブな音声デバイス情報を問い合わせる（Ｓ５０２）。

もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６であれば（Ｓ５０３のＹＥＳ）、コンテンツ再生処理部３０２は第一定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ５０４）。
もし、問い合わせの結果、現在アクティブな音声デバイスが内蔵スピーカ１０６以外であれば（Ｓ５０３のＮＯ）、コンテンツ再生処理部３０２は第二定義ファイルをサウンド演出制御部３０６に読み込むよう指示する（Ｓ５０５）。

以上で、音声デバイス変更トリガの検出時の一連の処理を終了するが（Ｓ５０６）、図５のステップＳ５０２〜Ｓ５０５の処理は、ゲーム起動時及びフォアグラウンド復帰時における図４に示すステップＳ４０３〜Ｓ４０６の処理と同じである。すなわち、ゲーム起動時及びフォアグラウンド復帰時（図４）と音声デバイス変更トリガの検出時（図５）の処理は、ステップＳ４０２に示す初期化処理を除くと同じ処理になる。

図６は、ゲーム起動時及びフォアグラウンド復帰時における、コンテンツ再生処理部３０２の処理の流れを示すタイミングチャートである。図４に対応する。また、この図６は例えばＡｎｄｒｏｉｄ（登録商標）とｉＯＳ（登録商標）で実行されうる処理を含む。
ユーザが操作部２０５を操作することにより（Ｓ６０１）、操作部２０５から生成される操作情報は、ＯＳである入出力制御部３０１によってゲーム起動処理またはフォアグラウンド復帰処理となる（Ｓ６０２）。

入出力制御部３０１からゲーム起動処理またはフォアグラウンド復帰処理によって発生するトリガは、コンテンツ再生処理部３０２に送られる。このトリガは、コンテンツ再生処理部３０２の内部で初期化処理部３０３に送られる。更にこのトリガは、初期化処理部３０３から音声デバイス制御部３０４に転送される。
入出力制御部３０１から初期化処理部３０３を通じてトリガを受信した音声デバイス制御部３０４は、入出力制御部３０１の音声デバイス確認処理部３０７に音声デバイス確認処理を指示する（Ｓ６０３）。

音声デバイス確認処理部３０７は、音声データ経路制御部３０８に問い合わせを行う。音声デバイス確認処理部３０７は、音声データ経路制御部３０８から取得した音声デバイス情報に基づいて音声デバイス確認処理を行い、現在アクティブな音声デバイスを示す音声デバイス情報を音声デバイス制御部３０４に返送する（Ｓ６０４）。
音声デバイス制御部３０４は、音声デバイス確認処理部３０７から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定する。そして、サウンド演出制御部３０６に指定した定義ファイルの読み込みを指示する（Ｓ６０５）。

サウンド演出制御部３０６は音声デバイス制御部３０４から指定された定義ファイルを読み込み、サウンドファイル名、イコライザ設定、ミキサ設定等を行う（Ｓ６０６）。そして、音声デバイス制御部３０４からの要求に従いサウンド処理を開始する（Ｓ６０７）。

図７は、ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部３０２の処理の流れを示すタイミングチャートである。但し、図７は例えばスマートフォンのＯＳがＡｎｄｒｏｉｄ（登録商標）の場合を含む。
ゲームプログラム本体であるコンテンツ再生処理部３０２はコンテンツ再生処理を実行し続けている。この時、コンテンツ再生処理部３０２の音声デバイス制御部３０４はコンテンツ再生処理に伴ってサウンド演出制御部３０６にサウンド処理命令を発行し続ける（Ｓ７０１）。サウンド演出制御部３０６はこれを受けて、サウンド処理を実行し続ける（Ｓ７０２）。
そのような状況において、入出力制御部３０１の音声デバイス変更検出部３０５は音声データ経路制御部３０８に対して、音響機器の着脱等の変化をリアクティブ（Reactive）に検出する（Ｓ７０３）。

・アナログヘッドフォンのミニステレオプラグがミニステレオジャックに差し込まれた、
・外部デジタルヘッドフォン２１６がシリアルＩ／Ｆ２１２に接続された、
・近距離無線オーディオ機器２１９がペアリング処理を完遂した、
・或いはこれら外部オーディオ機器が取り外された
の、何れかが行われたことにより、音声データ経路制御部３０８が音声デバイスの変更処理を行うと（Ｓ７０４）、音声デバイス変更検出部３０５はこの変更処理を検出し、音声デバイス変更トリガをコンテンツ再生処理部３０２の音声デバイス制御部３０４へ送信する（Ｓ７０５）。その後、音声デバイス変更検出部３０５は再び音響機器の着脱等の変化をリアクティブに検出する（Ｓ７０６）。

コンテンツ再生処理部３０２の音声デバイス制御部３０４は、音声デバイス変更検出部３０５からトリガを受信すると、入出力制御部３０１の音声デバイス確認処理部３０７に音声デバイス確認処理を指示する（Ｓ７０７）。
音声デバイス確認処理部３０７は、音声データ経路制御部３０８に問い合わせを行う（Ｓ７０８）。音声データ経路制御部３０８は音声デバイス確認処理部３０７に対し、音声デバイス名を回答する（Ｓ７０９）。
音声デバイス確認処理部３０７は、音声データ経路制御部３０８から音声デバイス名を取得すると、コンテンツ再生処理部３０２の音声デバイス制御部３０４へ音声デバイス名を返送する（Ｓ７１０）。

音声デバイス制御部３０４は、音声デバイス確認処理部３０７から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定し、サウンド演出制御部３０６に指定した定義ファイルの読み込みを指示する（Ｓ７１１）。
サウンド演出制御部３０６は音声デバイス制御部３０４から指定された定義ファイルを読み込むと、サウンドファイル名、イコライザ設定、ミキサ設定等の再設定を行う（Ｓ７１２）。再設定が完了したら、サウンド演出制御部３０６は新たな設定に基づくサウンド処理を実行する（Ｓ７１３）。

図８は、ゲームがフォアグラウンド動作中に音声デバイスが切り替わった時の、コンテンツ再生処理部３０２の処理の流れを示すタイミングチャートである。但し、図８は例えばスマートフォンのＯＳがｉＯＳ（登録商標）の場合を含む。
ゲームプログラム本体であるコンテンツ再生処理部３０２はコンテンツ再生処理を実行し続けている。この時、音声デバイス制御部３０４はコンテンツ再生処理に伴ってサウンド演出制御部３０６にサウンド処理命令を発行し続ける（Ｓ８０１）。サウンド演出制御部３０６はこれを受けて、サウンド処理を実行し続ける（Ｓ８０２）。
そのような状況において、入出力制御装置３０１の音声デバイス変更検出部３０５は音声データ経路制御部３０８に対して、音響機器の着脱等の変化をリアクティブに検出する（Ｓ８０３）。

・アナログヘッドフォンのミニステレオプラグがミニステレオジャックに差し込まれた、
・外部デジタルヘッドフォン２１６がシリアルＩ／Ｆ２１２に接続された、
・近距離無線オーディオ機器２１９がペアリング処理を完遂した、
・或いはこれら外部オーディオ機器が取り外された
の、何れかが行われたことにより、音声データ経路制御部３０８が音声デバイスの変更処理を行うと（Ｓ８０４）、音声デバイス変更検出部３０５はこの変更処理を検出し、音声デバイス変更トリガ及び音声デバイス情報を音声デバイス制御部３０４へ送信する（Ｓ８０５）。その後、音声デバイス変更検出部３０５は再び音響機器の着脱等の変化をリアクティブに検出する（Ｓ８０６）。

コンテンツ再生処理部３０２の音声デバイス制御部３０４は音声デバイス変更検出部３０５から音声デバイス変更トリガ及び音声デバイス情報を受信すると、音声デバイス変更検出部３０５から報告された返り値である音声デバイス情報を以て、使用する定義ファイルを判定し（Ｓ８０７）、サウンド演出制御部３０６に指定した定義ファイルの読み込みを指示する（Ｓ８０８）。

サウンド演出制御部３０６は音声デバイス制御部３０４から指定された定義ファイルを読み込むと、サウンドファイル名、イコライザ設定、ミキサ設定等の再設定を行う（Ｓ８０９）。再設定が完了したら、サウンド演出制御部３０６は新たな設定に基づくサウンド処理を実行する（Ｓ８１０）。

［第一の実施形態：コンテンツ再生装置１０１：設定例］
図９Ａは、音声デバイスが外部オーディオ機器である場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。
例えば、ヘッドフォン使用時のイコライザ設定では、図９Ａのように１２５Ｈｚを中心に中低域を強調すると共に、８ｋＨｚ以上を強調するゲインにて設定する。この設定により、高音から低音までを格好良く再生することができる。

図９Ｂは、音声デバイスが内蔵スピーカ１０６である場合における、イコライジングの設定例をグラフィックイコライザの形態で示す概略図である。
一方で、内蔵スピーカ１０６使用時のイコライザ設定では、図９Ｂのようにキャラクタの音声を強調するべく、５００Ｈｚ及び１ｋＨｚを中心に中音域を強調したゲインにて設定する。この設定により、キャラクタのボイスの魅力を内蔵スピーカ１０６でも的確に再生することができる。

また、図示はしないが、音声デバイスが外部オーディオ機器である場合と、内蔵スピーカ１０６である場合とでは、異なるミキサの設定を用いることが望ましい。
汎用機器であるスマートフォンの内蔵スピーカ１０６の性能は、ヘッドフォン等の音声再生に特化した専用機器に比べて低い場合が多い。このため、スマートフォンの内蔵スピーカ１０６で再生されるゲームサウンドと、ヘッドフォン等の外付け音響機器で再生されるゲームサウンドの印象は、再生される高音領域と低音領域の幅、音の細かいニュアンスの再現性の違いなどから生じる、迫力や臨場感の点で大きく異なっている。

戦闘ゲームにおいて複数のキャラクタが敵キャラクタに攻撃を仕掛ける際に、技の名称（技名）を叫ぶシチュエーションがある。メインキャラクタの音声は大きな音量で発音させ、他のキャラクタの音声はメインキャラクタよりも小さな音量で発音させる。この時、他のキャラクタの音量を、ゲーム上の戦闘フィールドにおける距離に応じて変化させることで、ゲームに臨場感を与えることが可能になる。
しかし、内蔵スピーカ１０６ではこの臨場感を再現することが困難であるばかりでなく、キャラクタの音声を小さくし過ぎてしまうとＢＧＭ等の他のサウンドに埋もれる可能性が高い。

そこで、音声デバイスが外部オーディオ機器である場合は、サブキャラクタの音量を戦闘フィールドにおける距離に応じて変化させる。一方、音声デバイスが内蔵スピーカ１０６である場合は、サブキャラクタの音量を戦闘フィールドにおける距離によらず、一律にメインキャラクタの音量の例えば７０％程度に固定化する。

［第二の実施形態：コンテンツ再生装置１０１：全体構成］
例えば、広域無線通信の規格が現在の４Ｇから５Ｇと呼ばれる第５世代移動通信システムに代わると、単位時間当たりの通信データ量が拡大すると共に、通信の遅延（Latency：レイテンシ）も低減することが期待できる。そのような通信環境が実現すると、スマートフォン上のゲームアプリケーションプログラムも軽量化され、大半の処理をサーバ１０２上で実行し、画面データ等の演算結果がリアルタイムでサーバ１０２からスマートフォンに送信される環境が現実化すると考えられる。
このようなゲーム環境になると、本発明の第一の実施形態に係るコンテンツ再生装置１０１の一部の機能、例えば音声デバイス制御部３０４の機能をサーバ１０２に移設することも可能である。

図１０は本発明の第二の実施形態に係るコンテンツ再生装置１００１と周辺環境を示す概略図である。
スマートフォンはゲームプログラムを読み込んで、コンテンツ再生装置１００１として機能する。
ゲームプログラムは、コンテンツ再生制御サーバ１００２からインターネット１０３経由で、広域無線通信の基地局１０４あるいはは無線ＬＡＮルータ１０５を通してゲームプログラムをダウンロードして、実行される。
スマートフォンは、内蔵スピーカ１０６でゲームコンテンツにおける音声や音楽等のサウンドを発する。また、外部のヘッドフォンで同様にサウンドを発する。

図１０に示すように、コンテンツ再生制御サーバ１００２は、音声デバイス制御部３０４を内包しているものとする。
音声デバイス制御部３０４は、コンテンツ再生装置１００１から音声デバイス変更検出部３０５が音声デバイスの接続状態に変化が生じたことを検出したことを示すトリガを受信すると、コンテンツ再生装置１００１の音声デバイス確認処理部３０７に問い合わせ要求を送信する。そして、音声デバイス確認処理部３０７から受信した音声デバイス情報に応じた定義ファイルを、サウンド演出制御部３０６に読み込ませる制御指示を、コンテンツ再生装置１００１に送信する。

音声デバイス制御部３０４がコンテンツ再生制御サーバ１００２に存在するため、コンテンツ再生装置１００１は単体ではコンテンツ再生機能を完全には実現することができない。コンテンツ再生装置１００１はコンテンツ再生制御サーバ１００２と通信することで、コンテンツ再生機能を有するコンテンツ再生システム１００３となる。
以上の構成で、コンテンツ再生システム１００３は第一の実施形態に係るコンテンツ再生装置１０１と同様の作用効果を得ることが可能である。

以上、第一の実施形態にて説明したコンテンツ再生装置１０１及び第二の実施形態にて説明したコンテンツ再生システム１００３はそれぞれ、サウンド演出制御部３０６、音声データ経路制御部３０８、音声デバイス変更検出部３０５、音声デバイス確認処理部３０７及び音声デバイス制御部３０４を具備する。これらサウンド演出制御部３０６が実現するサウンド演出制御機能、音声データ経路制御部３０８が実現する音声データ経路制御機能、音声デバイス変更検出部３０５が実現する音声デバイス変更検出機能、音声デバイス確認処理部３０７が実現する音声デバイス確認処理機能、音声デバイス制御部３０４が実現する音声デバイス制御機能は、スマートフォン等のコンピュータにおいてコンテンツ再生装置１０１を構成するコンテンツ再生プログラムによって実現される。

また、コンテンツ再生処理部３０２は、所望のコンテンツを再生するコンテンツ再生処理機能を実現し、入出力制御部３０１はコンテンツ再生処理機能から発生する画面情報を表示部に送信すると共に、操作情報を受け、コンテンツ再生処理機能の起動処理、停止処理、フォアグラウンド実行処理及びバックグラウンド実行処理を行う入出力制御機能を実現する。また、初期化処理部３０３は、入出力制御機能がコンテンツ再生処理機能の起動処理及び／またはフォアグラウンド実行処理を行ったことを検出して、音声デバイス制御機能にトリガを送信する初期化処理機能を実現する。

なお、本発明の実施形態に係るコンテンツ再生装置１０１及びコンテンツ再生システム１００３では、サウンドファイルの選択、イコライザ設定、ミキサ設定を音声デバイスに応じて切り替えるが、変更する設定はこれに限らない。例えば、エコーやディレイ、コーラス等のサウンドエフェクトも音声デバイスに応じて変更可能にしてもよい。

また、図３では内蔵スピーカ１０６の用途である第一定義ファイル３１０と、内蔵スピーカ１０６以外の用途である第二定義ファイル３１１を開示したが、定義ファイルの数はもっと多くてもよい。例えば、市販のヘッドフォンの周波数特性に応じた定義ファイルを用意し、任意の手段でヘッドフォンの機種名を取得したらそれに応じて最適な定義ファイルを選択する構成にしてもよい。

更に、本発明の実施形態に係るコンテンツ再生装置１０１及びコンテンツ再生システム１００３では、スマートフォンを対象に説明したが、本発明が実施可能なデバイスはスマートフォンに限られない。本発明は音声再生デバイスを接続可能なデジタルデバイスであれば、携帯型ゲーム機やパーソナルコンピュータ等でも実施可能である。

本発明の実施形態では、コンテンツ再生装置１０１及びコンテンツ再生システム１００３と、これを実現するコンテンツ再生プログラムを開示した。
コンテンツ再生処理部３０２は、起動時と、バックグラウンド状態からフォアグラウンド状態への復帰時に音声デバイスのチェックを行い、音声デバイスに適した設定を行う。また、フォアグラウンド状態において音声デバイスが変更された際にも、変更された音声デバイスに適した設定を行う。これにより、音声デバイスに応じてゲーム製作者の意図した音響により近い再生が可能になる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…コンテンツ再生装置、１０１ａ…タッチパネルディスプレイ、１０２…サーバ、１０３…インターネット、１０４…基地局、１０５…無線ＬＡＮルータ、１０６…内蔵スピーカ、１０７…ヘッドフォン、１０８…ケーブル、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…表示部、２０５…操作部、２０６…広域無線通信部、２０７…無線ＬＡＮインターフェース、２０８…不揮発性ストレージ、２０９…バス、２１０…ＤＳＰ、２１１…Ｄ／Ａ変換器、２１２…シリアルインターフェース、２１３…近距離無線通信部、２１４…外部アナログヘッドフォン、２１５…外部オーディオ端子、２１６…外部デジタルヘッドフォン、２１７…Ｄ／Ａ変換器、２１８…ヘッドフォンユニット、２１９…近距離無線オーディオ機器、２２０…近距離無線通信部、２２１…Ｄ／Ａ変換器、２２２…ヘッドフォンユニット、３０１…入出力制御部、３０２…コンテンツ再生処理部、３０３…初期化処理部、３０４…音声デバイス制御部、３０５…音声デバイス変更検出部、３０６…サウンド演出制御部、３０７…音声デバイス確認処理部、３０８…音声データ経路制御部、３０９…サウンドファイル群、３１０…第一定義ファイル、３１１…第二定義ファイル、１００１…コンテンツ再生装置、１００２…コンテンツ再生制御サーバ、１００３…コンテンツ再生システム

Claims (6)

1. コンピュータに、
   １以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御機能と、
   前記サウンド演出制御機能により出力されるオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御機能と、
   前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出機能と、
   外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理機能と、
   前記音声デバイス情報において、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、前記第一定義ファイルまたは前記第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記サウンド演出制御機能に読み込ませる音声デバイス制御機能と、
   を実現させるためのコンテンツ再生プログラム。
2. 前記音声デバイス変更検出機能は、前記音声データ経路制御機能を監視して、前記音声データ経路制御機能に接続される前記音声デバイスの接続状態に変化が生じたことを検出する機能であり、
   前記音声デバイス制御機能は、前記音声デバイス変更検出機能により前記音声デバイスの接続状態の変化が検出されたことを示すトリガを受信して、前記音声デバイス確認処理機能に問い合わせ要求を送信し、前記音声デバイス確認処理機能から受信した前記音声デバイス情報に応じた前記第一定義ファイルまたは前記第二定義ファイルを前記サウンド演出制御機能に読み込ませる機能である、
   請求項１に記載のコンテンツ再生プログラム。
3. 更に、所望のコンテンツを再生するコンテンツ再生処理機能と、
   前記コンテンツ再生処理機能から発生する画面情報を表示部に送信すると共に、操作情報を受け、前記コンテンツ再生処理機能の起動処理、停止処理、フォアグラウンド実行処理及びバックグラウンド実行処理を行う、入出力制御機能と、
   前記入出力制御機能が前記コンテンツ再生処理機能の起動処理及び／またはフォアグラウンド実行処理を行ったことを検出して、前記音声デバイス制御機能にトリガを送信する初期化処理機能と、
   を実現させるための、請求項２に記載のコンテンツ再生プログラム。
4. １以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御部と、
   前記サウンド演出制御部により出力されるオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御部と、
   前記音声データ経路制御部を監視して、前記音声データ経路制御部に接続される前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出部と、
   外部から受信した問い合わせ要求に従い、前記音声データ経路制御部に接続されているアクティブな前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理部と、
   前記音声デバイス変更検出部が前記音声デバイスの接続状態に変化が生じたことを検出したことを示すトリガを受信して、前記音声デバイス確認処理部に問い合わせ要求を送信し、前記音声デバイス確認処理部から受信した前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御部に読み込ませる音声デバイス制御部と、を備え、
   前記サウンド演出制御部は、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一または第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記オーディオデータストリームを出力する
   コンテンツ再生装置。
5. １以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出ステップと、
   前記サウンド演出ステップが出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御ステップと、
   前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出ステップと、
   外部から受信した問い合わせ要求に従い、前記オーディオデータストリームが送出される前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理ステップと、
   前記音声デバイスの接続状態に変化が生じたことを示すトリガと前記音声デバイス情報を受信して、前記サウンド演出ステップにおいて、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一または第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記オーディオデータストリームを出力するステップと、を含む
   コンテンツ再生方法。
6. コンテンツ再生装置と、前記コンテンツ再生装置を制御するコンテンツ再生制御サーバとを有するコンテンツ再生システムであって、
   前記コンテンツ再生装置は、
   １以上のサウンドファイルを読み込んで、前記サウンドファイルをデコードし、イコライジングを施し、ミキシングする信号処理を行い、オーディオデータストリームを出力するサウンド演出制御部と、
   前記サウンド演出制御部が出力するオーディオデータストリームを所望の音声デバイスに選択的に送出する音声データ経路制御部と、
   前記音声データ経路制御部を監視して、前記音声データ経路制御部に接続される前記音声デバイスの接続状態に変化が生じたことを検出する音声デバイス変更検出部と、
   外部から受信した問い合わせ要求に従い、前記音声データ経路制御部に接続されているアクティブな前記音声デバイスの音声デバイス情報を取得する音声デバイス確認処理部と、を具備し、
   前記コンテンツ再生制御サーバは、
   前記コンテンツ再生装置から、前記音声デバイス変更検出部が前記音声デバイスの接続状態に変化が生じたことを示すトリガを受信して、前記コンテンツ再生装置の前記音声デバイス確認処理部に問い合わせ要求を送信し、前記音声デバイス確認処理部から受信した前記音声デバイス情報に応じた定義ファイルを、前記サウンド演出制御部に読み込ませる音声デバイス制御部と、を備え、
   前記コンテンツ再生装置の前記サウンド演出制御部は、現在アクティブな音声デバイスが内蔵スピーカの場合には、内蔵スピーカ用に調整された第一定義ファイルを読み込み、現在アクティブな音声デバイスが内蔵スピーカ以外であれば、外部オーディオ機器用に調整された第二定義ファイルを読み込み、起動時とフォアグラウンド状態への復帰時及びフォアグラウンド状態において音声デバイスが変更された時に、第一定義ファイルまたは第二定義ファイルに基づいて、サウンドファイル群から現在アクティブな前記音声デバイスに適したサウンドファイルを選択して、前記オーディオデータストリームを出力する
   コンテンツ再生システム。

Images