JP4294712B1 - 音声処理装置、音声処理方法、ならびに、プログラム - Google Patents

Abstract

【課題】ユーザの聴取環境に急激な変化があった場合でも、その環境に合わせて適切に音声を再生するのに好適な音声処理装置、音声処理方法、ならびにプログラムを提供することを目的とする。
【解決手段】携帯ゲーム機において、ヘッドホンから音声が出力されているときに、所定の時間以上ユーザの操作が検出されないと、制御部２０５は、公共の場において、ユーザが携帯型ゲーム機を操作できない状況にあるものと推測し、ユーザが退屈しないように、音声データを所定の順序にしたがって再生するよう再生部２０２を制御する。一方、スピーカから音声が出力されているときに、所定の時間以上ユーザの操作が検出されないと、プライベートな場において、ユーザが携帯型ゲーム機を操作できない状況に置かれているものと制御部２０５は推測し、プライバシーを考慮して、現在再生中の音声データの音量を下げて再生するよう再生部２０２を制御する。
【選択図】図３

Description

ユーザの聴取環境に急激な変化があった場合でも、その環境に合わせて適切に音声を再生するのに好適な音声処理装置、音声処理方法、ならびにプログラムに関する。

電車内などの公共の場でプレイヤーが携帯ゲーム装置でゲームをプレイしている場合、電車が突然混雑するなど、プレイヤーの置かれた環境が激変して、ゲームのプレイができないことがある。このとき、プレイヤーは現在プレイ中のシーンのＢＧＭを聞き続けなければならず、退屈な時間を過ごすこととなる。

一方、家などのプライベートな場で、プレイヤーが携帯ゲーム装置でゲームをプレイしているときに急な訪問者があったり、電話がかかってくるなど、ユーザの置かれた環境が激変して、ゲーム装置を放置しなければならないことがある。このとき、ゲームで再生されている音声が第三者に聞かれてしまうなど、プライバシー上の問題が生じる。

一方、ユーザが置かれた環境に応じて音声処理を切り替える技術は、例えば、特許文献１に開示されている。
特許第３８５４２６３号公報

特許文献１は、カラオケが行われている環境を適切に推測して、環境に応じてカラオケを行うのに好適なカラオケ装置について記載している。このカラオケ装置は、マイクから受け付けたプレイヤーの歌声を含む音声データの入力と、あらかじめ記憶された伴奏の音声データと、を混合して音声データを出力する。このとき、マイクから受付けた音声データに、伴奏の音声データの成分が高い強度で含まれていると、スピーカから音声が出力されているものと判定し、音声データが混合される割合を小さく（即ち、マイクの感度を低く）する。また、スピーカから音声が出力されていない場合にはヘッドホンなどを用いているものと推定して、大きな声で歌う必要がないように、音声データが混合される割合を大きく（即ち、マイクの感度を高く）する。

したがって、例えば、特許文献１に開示する技術をさらに発展させて、ユーザの聴取環境が激変した場合にも、適切な再生を行うことで、ユーザが退屈したり、プライバシー上の問題が生じたりしないような技術が強く求められている。

本発明は以上のような課題を解決するためのものであり、ユーザの聴取環境に急激な変化があった場合でも、その環境に合わせて適切に音声を再生するのに好適な音声処理装置、音声処理方法、ならびにプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る音声処理装置は、記憶部と、再生部と、検出部と、判定部と、制御部とを備える。

ここで、記憶部は、複数の音声データを記憶する。典型的には、メモリカード等の情報記録媒体が記憶部として機能し、当該メモリカード等が複数の音声データを記憶する。ここで、当該音声データは、ゲームアプリケーション用のＢＧＭ等である。即ち、本願発明に係る音声処理装置は、典型的には携帯型のゲーム装置として実現される。なお、ネットワークを介して一時的にゲーム装置のハードディスク等に音声データがダウンロードされた場合には、当該ハードディスク等が記憶部に相当することとなる。

再生部は、記憶された複数の音声データのうちいずれかを再生して、ヘッドホン（イヤホンを含む）もしくはスピーカに出力する。ここで、ゲーム装置に接続されたステレオ装置やテレビジョン装置のスピーカのほか、ヘッドホンなどから、ゲームのＢＧＭが聞こえることとなる。

検出部は、ユーザの操作を検出する。即ち、例えば、ユーザがゲーム装置のタッチスクリーンを押圧した場合は、押圧されたタッチスクリーンの座標を検出する。また、ユーザがゲーム装置のコントローラボタンを押圧した場合は、どのボタンが押圧されたかを検出する。

判定部は、再生部による出力先がヘッドホンかスピーカかを判定する。ユーザの周囲の環境を推測するために出力先が判定される。即ち、ユーザが公共の場でゲーム装置でゲームをプレイしている場合は、周囲に迷惑をかけないようにヘッドホンを装着し、ヘッドホンに出力された音声を聞いていることが想定される。一方、プライベートな場でゲームをプレイしている場合は、スピーカから音声を出力することが想定される。

制御部は、検出部が所定の時間ユーザの操作を検出しない場合、判定された出力先が
（a）ヘッドホンであれば、当該音声データの再生が完了する毎に、次に再生部が再生すべき音声データを所定の順序で決定し、
（ｂ）スピーカであれば、出力音量を所定の大きさに下げる、
ように、再生部を制御する。

ヘッドホン出力時に、電源が落とされずに、ユーザの操作が所定の時間以上検出されない場合は、ユーザは公共の場において、ゲームをプレイしたいにも関わらず、環境が激変して、ゲームをプレイできない状態にあることが想定される。ここで、環境の激変とは、例えば、電車の車内が急激に混雑したような場合である。このような場合、記憶される複数のＢＧＭの中から、所定の順序でＢＧＭを流すようにして、ユーザを退屈させないようにする。

一方、スピーカに音声を出力しているときに、電源が落とされずに、ユーザの操作が所定の時間以上検出されない場合は、家などのプライベートな場において、不意の来客があったり、電話が掛かってきたり、その場を離れなければならない状況がユーザに起きたことが想定される。このような場合、ユーザのプライバシーを考慮して、訪問者や電話の相手にゲームの音が聞こえないように、出力音量を下げるようにする。これにより、ユーザがプレイしていない間の消費電力を抑えることも可能となる。

本発明によれば、ゲーム装置でプレイしているユーザが、音声をヘッドホンで楽しんでいるか、またはスピーカで楽しんでいるかを適切に推測し、これに応じて、ユーザの聴取環境が激変した場合でも、ユーザが退屈したり、プライバシー上の問題を生じないように音声出力を制御する。

また、本発明の音声処理装置は、音声の入力を受け付ける音声受付部をさらに備える。即ち、音声受付部は、ユーザの声を含む環境音を入力するためのマイクである。

判定部は、受け付けられた音声の入力に、再生部により出力される音声が成分として含まれる強度を取得し、当該強度が所定の値以上であればスピーカを出力先と判定し、当該強度が当該所定の値未満であれば、ヘッドホンを出力先と判定する。

即ち、スピーカから音声出力がされている場合は、ＢＧＭの音声が環境音として入力されることとなる。一方、ヘッドホン等を利用している場合には、ＢＧＭの音声は環境音となることは（ヘッドホンからの音漏れがない限り）ない。そこで、マイクから入力された環境音に、ＢＧＭの音声データの成分がどの程度含まれているかを調べ、その強度が大きければ、スピーカを用いてプレイしており、小さければ、ヘッドホン等を利用してプレイしていると推測する。

これにより、ヘッドホンがヘッドホン端子に接続されていることをハードウェア的に検出できない場合でも、ヘッドホンが利用されているか否かを判定することが可能となる。

また、本発明の音声処理装置は、ヘッドホンのヘッドホン端子への接続の有無を検知する検知部をさらに備える。即ち、検知部はハードウェア的に、ヘッドホン端子にヘッドホンが接続されているか否かを検知することができる。

判定部は、ヘッドホンの接続が検知されれば、ヘッドホンを出力先として判定し、ヘッドホンの接続がないと検知されれば、スピーカを出力先として判定する。即ち、ハードウェア的にヘッドホンの接続が検知可能な場合は、判定部はその検知内容に応じて、音声の出力先を判定する。

また、本発明の音声処理装置において、再生すべき音声データの所定の順序とは、ランダムな順序、予めユーザが定めたプレイリストの順序、または、過去に再生された回数の少ない音声データの順序、の少なくともいずれかを含む。即ち、ヘッドホンを利用してゲームをプレイしている際に、聴取環境の激変によって、ゲーム装置を操作できなくなった場合、ゲーム装置はランダムにＢＧＭを選曲するばかりでなく、ユーザが選曲した順番にプレイするようにしてもよい。あるいは、各ＢＧＭを過去に再生した回数を記憶しておき、回数の少ない曲の順番で再生するようにしてもよい。

また、本発明の他の観点に係る音声処理方法は、記憶部、再生部、検出部、判定部、制御部とを備える音声処理装置による音声処理方法であって、再生工程、検出工程、判定工程、制御工程、とを備える。
ここで、記憶部は複数の音声データを記憶する。

一方、再生工程では、再生部が、記憶された複数の音声データのうちいずれかを再生して、ヘッドホンもしくはスピーカに出力する。
検出工程では、検出部がユーザの操作を検出する。
判定工程では、判定部が、再生工程における出力先がヘッドホンかスピーカかを判定する。
制御工程では、制御部が、検出工程において所定の時間ユーザの操作を検出しない場合、判定された出力先が
（a）ヘッドホンであれば、当該音声データの再生が完了する毎に、次に再生部が再生すべき音声データを所定の順序で決定し、
（ｂ）スピーカであれば、出力音量を所定の大きさに下げる、
ように、再生部を制御する。

また、本発明の他の観点に係るプログラムは、コンピュータを、上記の音声処理装置として機能させるように構成する。

また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。

ユーザの聴取環境に急激な変化があった場合でも、その環境に合わせて適切に音声を再生するのに好適な音声処理装置、音声処理方法、ならびにプログラムを提供することができる。

（実施形態）
図１は、本発明の実施形態の１つに係る音声処理装置が実現される典型的な携帯型のゲーム装置の概要構成を示す模式図である。以下、本図を参照して説明する。

ゲーム装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory) １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェイス１０４ と、入力部１０５と、外部メモリ１０６と、画像処理部１０７ と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、を備える。

ゲーム用のプログラムおよびデータを記憶した外部メモリ１０６（詳細は後述）をインターフェイス１０４に接続されたスロット（図示せず）に装着して、ゲーム装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態の音声処理装置が実現される。

ＣＰＵ １０１は、ゲーム装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。 ＣＰＵ １０１は、クロック（図示せず）を備えており、クロックの生成する信号に同期して、周辺機器が動作する。

ＲＯＭ １０２は、電源投入直後に実行されるＩＰＬ（Initial Program Loader）を記憶する。このＩＰＬをＣＰＵ １０１が実行することにより、外部メモリ１０６に記録されたプログラムがＲＡＭ １０３に読み出され、ＣＰＵ １０１による実行が開始される。
また、ＲＯＭ １０２にはゲーム装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。

ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、例えば、ゲームカートリッジなどの外部メモリ１０６から読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータ等が保持される。

インターフェイス１０４を介して接続された入力部１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける、操作ボタンなどである。

インターフェイス１０４を介して着脱自在に接続された外部メモリ１０６には、前述のようにゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１は外部メモリ１０６に対する読み出し処理を行って、必要なプログラムやデータを読み出し、読み出したデータをＲＡＭ １０３等に一時的に記憶される。

画像処理部１０７は、外部メモリ１０６から読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ（図示せず）へ出力される。これにより、各種の画像表示が可能となる。

画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。

また、３次元仮想空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から３次元仮想空間に配置されたポリゴンを俯瞰したレンダリング画像を得る演算の高速実行も可能である。

さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。フォント情報は、ＲＯＭ １０２に記録されているが、外部メモリ１０６に記録された専用のフォント情報を利用することも可能である。

なお、上記モニターはタッチスクリーンであってもよい。即ち、上記モニターは液晶型表示装置上にタッチセンサパネル１１２を重畳して構成されているものであってよい。タッチセンサパネル１１２はプレイヤが指もしくは入力ペンなどによって押圧した位置に応じた位置情報を検知し、インターフェイス１０４を介してＣＰＵ １０１へ入力する。

ＮＩＣ １０９は、ゲーム装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものである。ＮＩＣ １０９は、例えばＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格に準拠するものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line)モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェイス（図示せず）により構成される。

インターネット内のＳＮＴＰサーバにＮＩＣ １０９を介して接続し、ここから情報を取得することによって現在の日時情報を得ることができる。また、各種のネットワークゲームのサーバ装置が、ＳＮＴＰサーバと同様の機能を果たすように構成設定してもよい。

音声処理部１１０は、外部メモリ１０６から読み出した音声データをアナログ音声信号に変換し、音声処理部１１０に接続されたスピーカ１２２やヘッドホン１２１から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカ１２２やヘッドホン１２１から出力させる。

音声処理部１１０は、外部メモリ１０６に記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭ データに変換する。また、ＡＤＰＣＭ形式やＯｇｇ Ｖｏｒｂｉｓ形式等の圧縮済音声データである場合には、これを展開してＰＣＭ データに変換する。ＰＣＭ データは、そのサンプリング周波数に応じたタイミングでＤ／Ａ （ Digital/Analog） 変換を行って、スピーカ１２２、または、ヘッドホン端子１２０を介して接続されたヘッドホン１２１に出力することにより、音声出力が可能となる。

さらに、ゲーム装置１００には、インターフェイス１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対して音声処理部１１０が、適当なサンプリング周波数でＡ／Ｄ 変換を行い、ＰＣＭ形式のディジタル信号を生成する。

このほか、ゲーム装置１００は外部メモリ１０６に替えて、ＤＶＤ−ＲＯＭからプログラムやデータを読み出す、ＤＶＤ−ＲＯＭドライブを備えるように構成して、ＤＶＤ−ＲＯＭにメモリカード１０６と同様の機能を持たせるようにしてもよい。

あるいは、ゲーム装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６等と同じ機能を果たすように構成してもよい。

なお、本実施の形態に係る音声処理装置は、携帯型のゲーム装置上に実現されるが、一般的なコンピュータ上に実現することもできる。一般的なコンピュータは、上記ゲーム装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、メモリカード、ＤＶＤ−ＲＯＭ ドライブ、および、ＮＩＣを備え、ゲーム装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、入力部ではなく、キーボードやマウスなどを入力装置として利用する。そして、プログラムをインストールした後に、そのプログラムを実行させると、音声処理装置として機能させることができる。

以下では、注記しない限り、音声処理装置について、図１に示したゲーム装置１００により説明を加える。音声処理装置は、必要に応じて適宜一般的なコンピュータの要素に置換することができ、これらの実施の形態も本発明の範囲に含まれる。

図２に、本実施の形態に係る音声処理装置が実現される典型的な携帯型のゲーム装置１００の外観図を図２に示す。
図２に示すように、ゲーム装置１００は、スピーカ１２２、およびマイク１１１を前面に備える。ヘッドホン１２１は、側面のヘッドホン端子１２０を介して、音声処理部１１０に接続される。

（音声処理装置の概要構成）
図３は、本実施の形態に係る音声処理装置２００の概要構成を示す模式図である。音声処理装置２００は、図３に示すように、記憶部２０１、再生部２０２、検出部２０３、判定部２０４、制御部２０５、音声受付部２０６、等を備える。以下に音声処理装置２００の各構成要素について本図を参照して説明する。

記憶部２０１は、ゲームプログラムの利用するＢＧＭなどの音声データを複数記憶する。本実施形態では、外部メモリ１０６や、ＮＩＣ １０９ を介して接続された他のコンピュータのハードディスク等、また、ダウンロードされた音声データを一時的に記憶するＲＡＭ １０３等が、記憶部２０１として機能する。

再生部２０２は、記憶された複数の音声データのうちいずれかを再生して、ヘッドホン端子１２０を介して音声処理部１１０に接続されるヘッドホン１２１、もしくはスピーカ１２２に出力する。音声処理部１１０が再生部２０２として機能する。

検出部２０３は、ユーザの音声処理装置に対して行った操作を検出する。例えば、ゲーム装置のタッチスクリーンをユーザが押圧した場合は、押圧されたタッチスクリーンの座標を検出する。また、ユーザがゲーム装置のボタンを押圧した場合は、どのボタンが押圧されたかを検出する。入力部１０５、タッチセンサパネル１１２、およびインターフェイス１０４などが協働して検出部２０３として機能する。

判定部２０４は、再生部２０２が音声を出力する先がヘッドホン１２１なのかスピーカ１２２なのかを判定する。詳細は後述するが、本実施の形態では、ヘッドホン１２１が接続されていることをハードウェア的に検知できない場合でも、再生部２０２が音声を出力している先がヘッドホン１２１なのかスピーカ１２２なのかを判定する。よって、ＣＰＵ １０１などが判定部２０４として機能する。

制御部２０５は、検出部２０３の検出結果および判定部２０４の判定結果に基づいて、再生部２０２が次に再生すべき音声データの順番を決定して再生部２０２に再生させるよう制御するほか、再生部２０２の出力音量を下げて再生されるよう制御する。ＣＰＵ １０１などが制御部２０５として機能する。

音声受付部２０６は、音声の入力を受け付ける。受け付けたアナログ信号を適当なサンプリング周波数でＡ／Ｄ 変換を行い、ＰＣＭ形式のディジタル信号を生成する。即ち、マイク１１１と音声処理部１１０が協働して音声受付部２０６として機能する。

（動作処理）
上記構成を備える音声処理装置２００の処理動作を図４を参照して説明する。

図４に示すように、音声処理装置２００の電源が入れられると、ＩＰＬをＣＰＵ １０１が実行することにより、外部メモリ１０６に記録されたプログラムがＲＡＭ １０３に読み出されるなどの、所定の初期化処理が行われる（ステップＳ４０１）。次いで、ＣＰＵ １０１は、検出部２０３がユーザの操作を検出したか否かを判定する（ステップＳ４０２）。

ユーザ操作が検出された場合（ステップＳ４０２；Ｙ）、ＣＰＵ １０１は、現在時刻を、ユーザが操作を行った最終時刻（以降、最終操作時刻）として記憶する（ステップＳ４０３）。そして、ユーザ操作に基づいて、所定の処理を実行し（ステップＳ４０４）、処理はステップＳ４０２へと戻る。なお、ステップＳ４０４が終了するのを待ってステップＳ４０２へ戻るのではなく、ステップＳ４０４を実行している間に、ステップＳ４０２へと処理を戻してもよい。

一方、ユーザ操作が検出されなかった場合（ステップＳ４０２；Ｎ）、ＣＰＵ１０１は、現在時刻がステップＳ４０３で取得した最終操作時刻から所定の時間以上経過しているか否かを判定する（ステップＳ４０５）。所定の時間以上経過していなければ（ステップＳ４０５；Ｎ）処理はステップＳ４０２へと戻る。

一方、現在時刻がステップＳ４０３で取得した最終操作時刻から所定の時間以上経過していれば（ステップＳ４０５；Ｙ）、音声制御処理が実行される（ステップＳ４０６）。音声制御処理の詳細を図５を参照して説明する。

まず、ＣＰＵ １０１が現在のプレイ状況、例えば、ゲームの進行状況や獲得しているポイントなどを記憶部２０１などに退避する（ステップＳ５０１）。次いで、判定部２０４が、現在、音声がスピーカ１２２から出力されているのか、ヘッドホン１２１から出力されているのかを判定する（ステップＳ５０２）。

即ち、まず、音声処理部１１０は、ＲＡＭ １０３内等に用意された所定のサイズのバッファに、音声受付部２０６から出力されるＰＣＭデータ形式等の音声データを記憶する。したがって、以降の処理は、当該所定のサイズのバッファに相当する時間単位で繰り返されることとなる。

ＰＣＭデータは、適当なサンプリング周波数でサンプリングされたアナログ信号を所定の精度でディジタル化したデータの列であり、典型的には、サンプリング周波数として、４４１００Ｈｚ 、４８００００Ｈｚ、やこれを整数で割ったものが用いられ、精度としては１６ビットや２４ビット、３２ビットなどが用いられる。

そこで、理解を容易にするため、マイクから入力される音声データ（以降環境音声データ）に対応するＰＣＭデータの列を、先頭から順に
v[0]，v[1]，v[2]，…
とし、記憶部２０１に記憶される音声データ（以降ゲーム音声データと呼ぶ）に対応するＰＣＭデータの列を同様に
s[0]，s[1]，s[2]， …
とおく。

まず、ゲーム音声データが、再生部２０２によって再生され、スピーカ１２２等から出力され、その音が環境音として音声受付部２０６に入力される状況を考える。このような場合には、遅延が生じるので、その最大遅延時間をTc（秒）と置く。

一方、各種の音声データのサンプリング周波数をf（Ｈｚ）とすると、環境音声データ中に、ゲーム音声データの成分が現れる場合の最大遅延オフセットTは、T = Tc・fのように表現できる。
そして、ゲーム音声データの成分が表われる程度を調べる幅をWとする。これは、無線通信の同期技術の分野などで、「窓」と呼ばれるものである。本実施形態では、この「窓」をスライドさせて、ゲーム音声データの成分の強度がどの程度であるかを推測する。

まず、ゲーム音声データのうちある時点で処理しようとしているデータの添字をiと置く。対比するためのゲーム音声データは、
s[i]， s[i+1]， … ， s[i+W-1]
というW個の数列である。

これに対して、t (0<t≦ T)の範囲で、環境音声データ
v[i+t]， v[i+t+1]， … ， v[i+t+W-1]
との対比を行う。

ここで、これらのW個の要素からなる数列をそれぞれベクトルとして考える。すなわち、
S(i) = (s[i]， s[i+1]， … ， s[i+W-1])；
V(i,t) = (v[i+t]， v[i+t+1]， … ， v[i+t+W-1])
として、これらについて、以下の評価値eを計算する。
e(i,t) = (S(i)・V(i,t))/(|S(i)| |V(i,t)|)

評価値e(t)は、ベクトルS(i)とベクトルV(i,t)との内積をそれぞれのベクトルの大きさで割ったものである。これらのベクトルがなす角をθとすると、e(i,t)は、cos θ に相当する値である。したがって、評価値e(t)は-1〜 1の間の値をとり、1の場合は、ベクトルS(i)とベクトルV(i,t)は同じ方向を向いていることとなる。

音声データとして考えると、e(i,t)=1の場合は、二つの音声データの位相が同じであって一方は他方を増幅したものであることに相当し、e(i,t)=-1の場合は、逆位相に相当する。

そこで、tを0<t≦Tの範囲で変化させて、上記の評価値e(i,t)が最も大きくなるものを考える。このときのtの値をτ(i)とおく。

τ(i)は、伴奏データが音声出力されてから音声受付部２０６を介してまた戻ってくるまでにかかる遅延時間に対応するものと推測することができる。

さて、時点t=τ(i)において、ゲーム音声データの成分が、環境音声データの中に含まれている割合は、e(i,τ(i))である。e(i,τ(i))は、両者の「相関」を示す数値である。

この相関の強さに基づいて、判定部２０４は現在の音声はスピーカ１２２に出力されているのか、ヘッドホン１２１に出力されているのかを判定する。もっとも単純な手法は、典型的な環境でスピーカ１２２を使った場合とヘッドホン１２１等を使った場合とで、e(i,τ(i))がどの程度違うかを実験によりあらかじめ調べて閾値を得て、e(i,τ(i))が当該閾値以上であれば、スピーカ１２２への出力であり、当該閾値未満であれば、ヘッドホン１２１等への出力である、と推測するものである。

以上のようにして、音声出力先がスピーカ１２２なのか、あるいはヘッドホン１２１なのかが判定される（ステップＳ５０２）と、制御部２０５は、判定結果に基づいて、再生部２０２を制御する。即ち、ステップＳ５０２で出力先がヘッドホン１２１であると判定された際には（ステップＳ５０２；ヘッドホン）、制御部２０５は、まず、現在再生中の音声データの再生が完了することを待つ（ステップＳ５０３）。そして、制御部２０５は、記憶部２０１に記憶されている音声データを再生する順序を所定の方法で決定する（ステップＳ５０４）。再生部２０２は、制御部２０５により制御され、ステップＳ５０４で決定された再生順序にしたがって、音声データの再生を開始する（ステップＳ５０５）。以降、再生部２０２は、再度制御部２０５からの制御があるまで、ステップＳ５０４で決定された再生順序に従って再生を続ける。

なお、音声データの再生順序は、例えば、ランダムに決定してもよいし、あるいは、ユーザが指定したプレイリストの順番に従って決定してもよい。この場合、プレイリストは予めユーザに設定させ、記憶部２０１などに記憶してもよい。または、制御部２０５は、再生部２０２が音声データを再生する毎に、音声データを特定できる識別情報と、当該音声データを再生した回数とを対応付けて記憶部２０１などに、記憶させてもよい。そして、ステップＳ５０４においては、当該記憶された再生回数の少ない順番を音声データの再生順番として決定してもよい。

なお、ユーザの指定したプレイリストや、再生回数に従って音声データを再生するよう制御した場合に、再生が一巡したときは、再度同じ順番で音声データを再生しても良いし、その時点で再生を終了してもよい。

一方、ステップＳ５０２で出力先がスピーカ１２２であると判定された際には（ステップＳ５０２；スピーカ）、制御部２０５は、再生部２０２の出力音量を所定の大きさに下げるように制御する（ステップＳ５１０）。当該出力音量の所定の大きさは、予め記憶部２０１等に記憶されており、ユーザによって随時変更可能である。さらに、制御部２０５は、画像処理部１０７を操作して、モニタを暗くして表示してもよい。

次に、ＣＰＵ １０１は、検出部２０３がユーザの操作を検出したか否かを判定する（ステップＳ５０６）。ユーザの操作が検出されたと判定すると（ステップＳ５０６；Ｙ）、ＣＰＵ １０１は、ステップＳ４０３と同様に、現在時刻を最終操作時刻として記憶する（ステップＳ５０７）。次いで、ＣＰＵ １０１は、ステップＳ５０１で記憶したプレイ状況に基づいて、ゲームを再開する（ステップＳ５０８）。このとき、音声については、制御部２０５が再生部２０２を制御して、ステップＳ５０１で記憶したプレイ状況において再生されていたＢＧＭデータを、当該記憶した時点での音量で再生する。そして、処理はステップＳ４０２へ戻る。
一方、ユーザの操作が検出されたと判定されない場合は（ステップＳ５０６；Ｎ）、処理はステップＳ５０６へと戻る。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施形態に限定されず、種々の変形および応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。

例えば、図６に示すように、音声受付部２０６に替えて、ヘッドホン端子１２０にヘッドホン１２１が接続されていることを検知するセンサである、検知部２０７を備えるようにしてもよい。そして、判定部２０４は、ヘッドホン端子１２０へのヘッドホン１２１の接続が検知された場合、ヘッドホン１２１に音声が出力されていると判定し、ヘッドホン端子１２０へのヘッドホン１２１の接続が検知されない場合、スピーカ１２２に音声が出力されていると判定してもよい。

また、上記実施の形態に係る音声処理装置は、ゲーム装置の他にも、携帯電話機や、その他携帯型のオーディオ機器に実現してもよい。この場合、記憶部は楽曲データなどを記憶してもよい。

本実施の形態に係る音声処理装置が実現される典型的なゲーム装置の概要構成を示す模式図である。 本実施の形態に係る音声処理装置が実現される典型的なゲーム装置の外観図である。 本実施の形態に係る音声処理装置の機能ブロック図である。 本実施の形態に係る音声処理装置の処理を示すフロー図である。 本実施の形態に係る音声処理装置の処理を示すフロー図である。 本実施の形態に係る音声処理装置の変形例を示すブロック図である。

符号の説明

１００ ゲーム装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェイス
１０５ 入力部
１０６ 外部メモリ
１０７ 画像処理部
１０９ ＮＩＣ
１１０ 音声処理部
１１１ マイク
１１２ タッチセンサパネル
１２０ ヘッドホン端子
１２１ ヘッドホン
１２２ スピーカ
２００ 音声処理装置
２０１ 記憶部
２０２ 再生部
２０３ 検出部
２０４ 判定部
２０５ 制御部
２０６ 音声受付部
２０７ 検知部

Claims (6)

1. 複数の音声データを記憶する記憶部、
   前記記憶された複数の音声データのうちいずれかを再生して、ヘッドホンもしくはスピーカに出力する再生部、
   ユーザの操作を検出する検出部、
   前記再生部による出力先がヘッドホンかスピーカかを判定する判定部、
   前記検出部が所定の時間ユーザの操作を検出しない場合、前記判定された出力先が
   （a）ヘッドホンであれば、当該音声データの再生が完了する毎に、次に前記再生部が再生すべき音声データを所定の順序で決定し、
   （ｂ）スピーカであれば、出力音量を所定の大きさに下げる、
   ように、前記再生部を制御する制御部
   を備えることを特徴とする音声処理装置。
2. 請求項１に記載の音声処理装置であって、
   音声の入力を受け付ける音声受付部をさらに備え、
   前記判定部は、前記受け付けられた音声の入力に、前記再生部により出力される音声が成分として含まれる強度を取得し、当該強度が所定の値以上であればスピーカを出力先と判定し、当該強度が当該所定の値未満であれば、ヘッドホンを出力先と判定する
   ことを特徴とする音声処理装置。
3. 請求項１に記載の音声処理装置であって、
   ヘッドホンのヘッドホン端子への接続の有無を検知する検知部をさらに備え、
   前記判定部は、ヘッドホンの接続が検知されれば、ヘッドホンを出力先として判定し、ヘッドホンの接続がないと検知されれば、スピーカを出力先として判定する
   ことを特徴とする音声処理装置。
4. 請求項１に記載の音声処理装置であって、
   前記再生すべき音声データの所定の順序とは、ランダムな順序、予めユーザが定めたプレイリストの順序、または、過去に再生された回数の少ない音声データの順序、の少なくともいずれかを含む、
   ことを特徴とする音声処理装置。
5. 記憶部、再生部、検出部、判定部、制御部とを備える音声処理装置による音声処理方法であって、
   前記記憶部は複数の音声データを記憶し、
   前記音声処理方法は、
   前記再生部が、前記記憶された複数の音声データのうちいずれかを再生して、ヘッドホンもしくはスピーカに出力する再生工程、
   前記検出部が、ユーザの操作を検出する検出工程、
   前記判定部が、前記再生工程における出力先がヘッドホンかスピーカかを判定する判定工程、
   前記制御部が、前記検出工程において所定の時間ユーザの操作を検出しない場合、前記判定された出力先が
   （a）ヘッドホンであれば、当該音声データの再生が完了する毎に、次に前記再生工程において再生すべき音声データを所定の順序で決定し、
   （ｂ）スピーカであれば、出力音量を所定の大きさに下げる、
   ように、前記再生部を制御する制御工程、
   とを備えることを特徴とする音声処理方法。
6. コンピュータを、
   複数の音声データを記憶する記憶部、
   前記記憶された複数の音声データのうちいずれかを再生して、ヘッドホンもしくはスピーカに出力する再生部、
   ユーザの操作を検出する検出部、
   前記再生部による出力先がヘッドホンかスピーカかを判定する判定部、
   前記検出部が所定の時間ユーザの操作を検出しない場合、前記判定された出力先が
   （a）ヘッドホンであれば、当該音声データの再生が完了する毎に、次に前記再生部が再生すべき音声データを所定の順序で決定し、
   （ｂ）スピーカであれば、出力音量を所定の大きさに下げる、
   ように、前記再生部を制御する制御部
   として機能させることを特徴とするプログラム。

Images