以下、本発明を具体化した一実施形態として、図1に示すAV(Audio Visual)システム10について説明する。図1は、本実施形態のAVシステム10のネットワーク構成の一例を示している。AVシステム10は、スマートフォン11、複数のAVアンプ13,14、及びTV17がネットワーク19に接続されている。ネットワーク19は、例えば、1つの家の中の複数の部屋(リビング21、キッチン22、書斎23)に設置されたAVアンプ13,14やTV17を相互に接続する家庭内LAN(ローカル・エリア・ネットワーク)である。AVアンプ13等は、例えば、所定のネットワークプロトコルに準拠した通信を実行し、ヘッダ情報等を音響信号に付加したパケットPを、ネットワーク19を介して送受信する。
スマートフォン11は、例えば、AVアンプ13を制御する専用のアプリケーションがインストールされている。リビング21にいるユーザUは、スマートフォン11を操作しながらAVアンプ13を制御する。また、スマートフォン11は、音楽データ等の様々なコンテンツが保存されており、本実施形態のAVシステム10のソース機器として機能する。なお、ソース機器としては、スマートフォン11に限らず、例えば、CDプレーヤーやパーソナルコンピュータでもよく、あるいはNAS(Network Attached Storage)などのネットワークストレージでもよい。また、ソース機器としては、インターネット上の音楽配線サーバでもよい。また、音楽データのファイル形式は、例えば、MP3、WAV、SoundVQ(登録商標)、WMA(登録商標)、AAC等でもよい。
また、スマートフォン11は、例えば、無線通信を介してリビング21に設置されたAVアンプ13と接続可能となっている。ユーザUは、スマートフォン11を操作して、指定したコンテンツ、例えば、2.1chの音楽データD1をAVアンプ13へ送信する。スマートフォン11が使用する無線通信の規格として、例えば、Bluetooth(登録商標)を採用することができる。また、スマートフォン11は、例えば、Wi−Fi(登録商標)規格の無線LANによって、ネットワーク19に接続されたルータ等を介してAVアンプ13と相互に通信してもよい。
リビング21のAVアンプ13は、例えば、2.1chのスピーカ接続用の端子を有している。この端子に接続されたアナログ接続ケーブル31は、リビング21に設置された2.1chのスピーカ33に接続されている。AVアンプ13は、スマートフォン11から受信した音楽データD1をスピーカ33から再生する。なお、AVアンプ13が備えるスピーカ接続用の端子は、2.1ch用の端子に限らず、例えば、5.1ch用、7.1ch用の端子でもよい。
また、AVアンプ13は、スマートフォン11から受信した同一の音楽データD1をTV17等から再生する。AVアンプ13は、スマートフォン11から受信した2.1chの音楽データD1を音楽データD2(Lチャンネル用)、D3(Rチャンネル用)に変換する信号処理を実施する(図3参照)。AVアンプ13は、変換後の音楽データD2,D3を設定したパケットPをAVアンプ14等に転送する。変換後の音楽データD2,D3は、音楽データD1と同一のチャンネル数(2.1ch)をもつデータである。なお、詳細については後述する。
キッチン22に設置されたTV17は、AVアンプ13からネットワーク19を介して音楽データD2,D3を含むパケットPを受信する。TV17は、L(左)・R(右)のステレオ2chのスピーカ35を内蔵する。TV17は、スピーカ35から音楽データD2,D3を再生する。
書斎23のAVアンプ14は、例えば、2.1chのスピーカ接続用の端子を有している。この端子に接続されたアナログ接続ケーブル37は、書斎23に設置された2.1chのスピーカ39に接続されている。AVアンプ14は、AVアンプ13からネットワーク19を介して音楽データD2,D3を含むパケットPを受信する。AVアンプ14は、スピーカ39から音楽データD2,D3を再生する。
上記した音楽データD2,D3は、音楽データD1を変換したものである。本実施形態では、例えば、リビング21においては、音楽データD1を2.1chのスピーカ33から出力する。また、例えば、キッチン22では、音楽データD2,D3をそのままTV17の2chのスピーカ35からステレオの音楽として出力する。また、例えば、書斎23においては、音楽データD2,D3を復調して2.1chのスピーカ39から出力する。
図2は、リビング21のAVアンプ13の構成を示すブロック図であり、本願発明に特に関係する部分のみを示している。図2に示すように、AVアンプ13は、無線通信部41、AM変調部43、Bit拡張部44、周波数拡張部45、インターフェース部47及び制御部48を有している。
無線通信部41は、スマートフォン11から無線通信を介して受信したデータから音楽データD1を取り出す。本実施形態の音楽データD1には、一例として、ステレオのL(左)チャンネル及びR(右)チャンネルに、低域専用(LFE)チャンネルを加えた2.1chの音響信号が含まれている。なお、低域専用チャンネルが含まれていないコンテンツの場合には、ステレオのLR信号から低域成分を抜き出した信号に基づいて作り出した低域成分をLFEとしてもよい。また、本実施形態のAVアンプ13は、一例として、2chの音響信号の中に、LFEチャンネルの音響信号(付加情報の一例)を含めて転送する。
AM変調部43、Bit拡張部44、及び周波数拡張部45は、各転送方式に従ってL,Rの2チャンネルの音響信号の中にLFEチャンネルの音響信号を含める信号処理を実行する。AM変調部43等によって信号処理された音楽データD2,D3は、パケットPとしてインターフェース部47からネットワーク19へ送信される。制御部48は、AVアンプ13を統括制御する装置であり、後述する判断基準に基づいてAM変調部43等の処理部のうち、どの処理部を使用するか、即ち、どの転送方式で音楽データD1を変換するのかを選択する。なお、AM変調部43、Bit拡張部44及び周波数拡張部45は、例えば、音響処理用のDSP(Digital Signal Processor)が所定のプログラムを実行することで実現できる。また、AM変調部43等を、例えば、アナログ回路で実現してもよく、あるいはCPU上でプログラムを実行することで実現してもよい。
<AM変調方式について>
まず、AM変調部43によるAM変調方式について説明する。図3は、リビング21のAVアンプ13と、書斎23のAVアンプ14との接続関係を示すブロック図であり、AM変調部43に係わる部分のみを示している。図3に示すように、AM変調部43は、2つの加算器51,52、変調処理部55及びキャリア生成部56を有している。加算器51は、Lチャンネルに対応しており、無線通信部41によって音楽データD1から取り出した音響信号のうち、Lチャンネルの音響信号を入力する。加算器52は、Rチャンネルに対応しており、無線通信部41によって音楽データD1から取り出した音響信号のうち、Rチャンネルの音響信号を入力する。また、変調処理部55には、無線通信部41からLFEチャンネルの音響信号が入力される。Lチャンネル、Rチャンネル及びLFEチャンネルの音響信号は、例えば、48kHzでサンプリングされた音響信号である。
ここで、LFEチャンネルの音響信号は、低域成分のみで構成される信号であるため、サンプリング周波数を低くしても違和感のない音で再生することが可能となる。そこで、変調処理部55は、LFEチャンネルの音響信号をダウンサンプリングする。キャリア生成部56は、48kHzでサンプリングされたキャリア信号CSを変調処理部55に出力する。変調処理部55は、ダウンサンプリングしたサンプル値を用いてキャリア生成部56から入力されるキャリア信号CSに対しAM変調を実行し、変調後の信号を加算器51,52に出力する。
詳述すると、キャリア生成部56は、キャリア信号CSとして、人の耳には通常聞こえにくい周波数帯域の信号を出力する。これにより、マルチチャンネル(2.1ch)の再生に対応していない2chのオーディオ機器(例えば、TV17)は、受信した音楽データD2,D3をそのまま再生したとしても、2chの音楽データとして違和感のない音でステレオ音声を再生することが可能となる。
一例として、48kHzのサンプリング周波数でサンプリングされたLFEチャンネルの音響信号を、1/8ダウンサンプリングする場合について説明する。元の信号から1/8ダウンサンプリングする場合、AM変調に使用するデータとしては、元のデータに比べて8サンプル毎に1個のデータが存在すればよい。従って、48kHzで8サンプル周期となる信号、換言すれば6kHz(=48kHz/8)の整数倍の信号のうち、人の耳に聞こえにくい帯域の信号を、キャリア信号CSとして使用する。
8サンプルで1周期となる場合:48kHz/8サンプル=6kHz
8サンプルで2周期となる場合:(48kHz/8サンプル)*2=12kHz
8サンプルで3周期となる場合:(48kHz/8サンプル)*3=18kHz
6kHz,12kHzは、可聴帯域内であり、且つ再生時にノイズとなる可能性が高い。そこで、48kHzで8サンプル周期となる信号のうち、再生時に聞こえにくい周波数帯域として、例えば、8サンプル毎に3周期分の信号が含まれる18kHzのサイン波をキャリア信号CSとして使用することができる。
図4(a)は、振幅の大きさが「1」となる18kHzのサイン波(キャリア信号CS)の3周期分を48kHzでサンプリングした8サンプル分の振幅値を示している。また、図4(b)は、キャリア信号CSの波形を示している。キャリア生成部56は、図4(b)に示すサイン波のキャリア信号CSを変調処理部55に出力する。変調処理部55は、無線通信部41から入力されたLFEチャンネルの音響信号を1/8ダウンサンプリングしたサンプル値の振幅(音量レベル)を、キャリア生成部56から入力されたキャリア信号CSでAM変調し、加算器51,52に出力する。この信号は、18kHzの音響信号となるため、仮に、再生側でそのまま再生したとしても人の耳には極めて聞こえにくい音声となる。
図3に示すように、加算器51は、ダウンサンプリングしAM変調したLFEチャンネルの音響信号を、48kHzでサンプリングされたLチャンネルの音響信号に加算し、Lチャンネルの信号(音楽データD2)としてインターフェース部47に出力する。同様に、加算器52は、ダウンサンプリングしAM変調したLFEチャンネルの音響信号を、48kHzでサンプリングされたRチャンネルの音響信号に加算し、Rチャンネルの信号(音楽データD3)としてインターフェース部47に出力する。インターフェース部47は、加算器51,52から入力されたL,Rチャンネルのそれぞれに対応する音楽データD2,D3をパケット化し、パケットPとしてネットワーク19を介してAVアンプ14へ転送する。
AVアンプ14のインターフェース部61は、AVアンプ13のインターフェース部47からパケットPを受信する。インターフェース部61は、受信したパケットPからLチャンネルに対応する音楽データD2と、Rチャンネルに対応する音楽データD3を取り出す。インターフェース部61は、Lチャンネルに対応する音楽データD2をBEF(バンドエリミネーションフィルタ)63に出力する。BEF63は、Lチャンネルに応じて所定周波数帯域の信号以外を通過させるフィルタである。BEF63は、Lチャンネルとして不要な18kHzのAM変調成分などを除去した音響信号をLチャンネルに対応するスピーカ39へ出力する。
同様に、インターフェース部61は、Rチャンネルに対応する音楽データD3をBEF64に出力する。BEF64は、Rチャンネルに応じて所定周波数帯域の信号以外を通過させるフィルタである。BEF64は、Rチャンネルとして不要な18kHzのAM変調成分などを除去した音響信号をRチャンネルに対応するスピーカ39へ出力する。
また、インターフェース部61は、L,Rチャンネルに対応する音楽データD2,D3を復調処理部67に出力する。復調処理部67は、例えば、入力した音楽データD2,D3に含まれる音響信号の1/8ダウンサンプリングした信号ごとに18kHzのサイン波を掛け合わせることで、18kHzの周期をもつAM変調した信号の振幅値を取り出す処理を実行する。
図5は、一例として1/8ダウンサンプリングした振幅値を「1.0」として信号をキャリア信号CSにのせて転送したデータを転送後に18kHzのサイン波に掛け合わせる前と、掛け合わせた後の振幅値を示している。図6は、一例として1/8ダウンサンプリングした振幅値を「−0.3」としてキャリア信号CSにのせて転送したデータを転送後に18kHzのサイン波に掛け合わせる前と、掛け合わせた後の振幅値を示している。図5に示すように、各サンプル毎に掛け合わせた後の振幅値の合計値「4」は、掛け合わせる前の振幅値「1」の4倍となっている。同様に、図6に示すように、各サンプル毎に掛け合わせた後の振幅値の合計値「−1.2」は、掛け合わせる前の振幅値「−0.3」の4倍となっている。従って、この場合には、サイン波を掛け合わせて取り出した振幅値が、元の振幅値に対して4倍の関係となっている。このため、元の振幅値は、振幅値を1/4倍することで取り出すことができる。そこで、復調処理部67は、入力された音楽データD2,D3にサイン波を掛け合わせて算出した振幅値の合計を1/4倍した値を8倍アップサンプリングしLFEチャンネルとして生成する。
ここで、上記したAM変調方式では、次の2つの問題が考えられる。第1に、L,Rチャンネルの音響信号に元々含まれている18kHz帯の信号がノイズ成分としてAM変調した信号に影響を与える虞がある。このため、復調処理部67は、可能な限り、元のL,Rチャンネルの音響信号の影響を受けないようにAM変調した信号のみを取り出す必要がある。第2に、元々の信号であるL,Rチャンネルの音響信号の波形にAM変調した信号を重畳させることによって、AM変調した信号の周期の開始位置を検出することが困難となる。その結果、復調処理部67において、音楽データD2,D3に対してサイン波を掛け合わせる位置の検出が困難となり、精度良く復調できない虞がある。
<同相成分の除去について>
そこで、転送元であるAVアンプ13のAM変調部43は、AM変調した信号を下記のルールに従ってL,Rチャンネルの音響信号に加算する。一般的な音楽信号では、L,Rチャンネルの信号成分として、ボーカル成分などの同相成分が多く含まれている可能性が高い。この同相成分は、例えば、Lチャンネルの音響信号からRチャンネルの音響信号を減算(Lch−Rch)することで除去できる。そこで、例えば、加算器51は、AM変調した信号を、同相成分としてLチャンネルの音響信号に加算する。また、加算器52は、AM変調した信号を、逆相成分としてRチャンネルの音響信号に加算する。L,Rチャンネルに多く含まれる同相成分を「C」、AM変調した信号を「D」とした場合、加算後のL,Rチャンネルの音響信号は、下記の式で表される。
Lch=C+D
Rch=C−D
転送先であるAVアンプ14の復調処理部67では、下記の式(1)で表されるようにLチャンネルの音響信号からRチャンネルの音響信号を減算(Lch−Rch)する。
Lch−Rch=(C+D)−(C−D)=2D・・・・(1)
これにより、復調処理部67は、同相成分Cを取り除き、AM変調した信号Dのみを取り出すことが可能となる。また、取り出された信号Dは、元の信号に比べて2倍の振幅となるため、ノイズ比(S/N比)を大きくしてノイズの影響が抑制される。
<平均値の算出について>
また、一般的な音楽信号では、低域成分や人の声の帯域成分(例えば、1kHz)を多く含む場合がある。この低域成分等は、1サンプル毎の波形の変動が小さい。そこで、転送先の復調処理部67では、例えば、下記の式で示すように、前後のサンプルが互いに打ち消し合うように重み付けをして、移動平均値を演算することで、元々のL,Rチャンネルの信号成分を除去する。
サンプル数:変換前の値→変換後の値
1サンプル目:X → X*0.5−(X+1)+(X+2)*0.5
2サンプル目:X+1 → (X+1)*0.5−(X+2)+(X+3)*0.5
3サンプル目:X+2 → (X+2)*0.5−(X+3)+(X+4)*0.5
4サンプル目:X+3 → (X+3)*0.5−(X+4)+(X+5)*0.5
・
・
・
復調処理部67は、例えば、上記式(1)で取り出したモノラル化した信号Dの各サンプル値を、上記重み付けの変換式に従って変換する。図7(a)は、図4(a)で示したキャリア信号CSの各サンプル値を移動平均する前の値と、移動平均の演算をした後の値を示している。また、図7(b)は、移動平均の演算をした後のキャリア信号CSの波形を示している。復調処理部67は、例えば、取り出した信号Dの各サンプルの値を上記した重み付けの変換式を用いて移動平均の演算をした後の信号を1/8ダウンサンプリングした振幅値を上記移動平均の演算をした後のキャリア信号CSにのせて転送したデータを転送後に移動平均後の18kHzのサイン波を掛け合わせることで、元信号を1/8ダウンサンプリングした信号の振幅値を取り出すことが可能となる。
図8は、一例として移動平均の演算を実施した場合であって、振幅値を「1.0」として移動平均後のキャリア信号CSにのせて転送したデータを転送後に、移動平均後の18kHzのサイン波を掛け合わせる前と、掛け合わせた後の振幅値を示している。図9は、一例として移動平均の演算を実施した場合であって、振幅値を「−0.3」として移動平均後のキャリア信号CSにのせて転送したデータを転送後に、移動平均後の18kHzのサイン波を掛け合わせる前と、掛け合わせた後の振幅値を示している。図8に示すように、各サンプル毎に掛け合わせた後の振幅値の合計値「11.65685425」は、掛け合わせる変換前の振幅値「1.0」の約11.6倍となっている。同様に、図9に示すように、各サンプル毎に掛け合わせた後の振幅値の合計値「−3.497056275」は、掛け合わせる前の振幅値「−0.3」の約11.6倍となっている。そこで、移動平均値を用いる場合、復調処理部67は、移動平均後の18kHzのサイン波を掛け合わせて算出した振幅値の合計を「1/11.65685425倍」した値を用いて8倍アップサンプリングしLFEチャンネルとして生成する。このようにして、復調処理部67は、L,Rチャンネルの音響信号の成分を除去して、元々の信号がノイズ成分として与える影響を軽減し、上記した第1の問題の解決を図っている。
<AM変調した信号の位置検出について>
上記した第2の問題として、AM変調した信号の周期の開始位置を検出することが重要となるが、これについては加算平均した値を比較することによって、開始位置の検出及び設定を行う。キャリア信号CSの波形は、常に8サンプル毎に同じ形となっている。そこで、復調処理部67は、任意の位置から8サンプルごとに振幅値の合計値を算出し、合計値の絶対値が最も大きくなるサンプル位置を開始位置として設定する。
図10は、キャリア信号CSを掛け合わせる位置をずらした場合の振幅値と、その振幅値の合計値を示している。また、図10は、振幅値が「1.0」のデータをキャリア信号CSを用いて転送し、転送後に移動平均の演算を実施した場合の振幅値を示している。図10に示すように、サンプル位置0〜7、即ち、加算平均の演算の開始位置が波形の開始位置と一致している場合、振幅値の合計値の絶対値は、最大値(11.65685425)となる。一方で、合計値を演算するサンプル開始位置がサンプル位置1〜8に1サンプルだけずれた場合、振幅値の合計値の絶対値は、最大値に比べて小さい値(8.242640687)となる。これにより、復調処理部67は、振幅値の合計値の絶対値が最大となる位置を、AM変調した信号の周期の開始位置として設定することで、音楽データD2,D3、あるいはモノラル化した信号Dに対してサイン波を掛け合わせる位置を適切に設定することが可能となる。
なお、図10に示すように、サンプル位置0〜7から4サンプルずれたサンプル位置4〜11の場合にも、振幅値の合計値の絶対値が最大値(11.65685425)となる。本実施形態では、AM変調の対象であるLFE信号が低域成分であり、サンプル毎の差分が小さいため、サンプル位置0及サンプル位置4のいずれを開始位置として設定してもサイン波を掛け合わせた後の信号としての誤差は小さい。また、例えば、AM変調前の元信号をあらかじめ正の値にしておけば、正の値の最大値を開始位置として検出できる。より具体的には、例えば、転送元の変調処理部55は、振幅が「−1.0〜+1.0」のキャリア信号CSを、「振幅*0.5+0.5」で波形全体を正の値とする。転送先の復調処理部67では、振幅の合計値の最大値が正となる位置を開始位置として設定し、復調後の信号に対して「(振幅−0.5)*2.0」の演算し逆変換をすることでLFEチャンネルの信号を取り出すことが可能となる。
<アップサンプリングについて>
上記した説明では、変調処理部55が18kHzのキャリア信号CSにAM変調する場合について説明したが、これに限らない。例えば、変調処理部55は、可聴帯域よりも高い周波数帯域のキャリア信号CSを用いてLFEチャンネルの音響信号をAM変調し、L,Rチャンネルの音響信号に加算してもよい。
48kHzでサンプリングされたL,Rチャンネルの音響信号を4倍の192kHzにアップサンプリングすることが可能であれば、上記した場合と同様に、1/8ダウンサンプルしたLFEチャンネルの音響信号を、192kHzで8サンプル周期となる信号(24kHz(=192kHz/8)の整数倍の信号)のうち、可聴帯域よりも高い信号(例えば、72kHz=24kHz*3)をキャリア信号CSとして用いてAM変調することができる。この場合、元の信号に192kHz等の高域成分が含まれていない場合には、元々の信号がノイズとして影響することがなくなる。また、上記した減算処理(Lch―Rch)や移動平均値の演算を実施することなく、ハイパスフィルタやローパスフィルタを用いるだけでチャンネルを分離することが可能となる。また、例えば、高域の周波数帯域において、隣接する複数の周波数をキャリア信号CSとして用いることができれば、5.1chなどのマルチチャンネルの音響信号を、各キャリア信号CSを用いてAM変調し高帯域の中に含めて転送することができる。
<Bit拡張方式について>
次に、Bit拡張部44(図2参照)によるBit拡張方式について説明する。Bit拡張部44は、音響信号の量子化bitの空き領域を使って複数のチャンネル信号を混ぜて転送する。例えば、CD(Compact Disc)の音楽コンテンツは、通常16bitで量子化されている。また、一般的に、16bitで量子化されたL,Rチャンネルの各々の音響信号を24bitに拡張して転送する場合、最小の8bitには「0」の値が設定される。そこで、Bit拡張部44は、16bitで量子化されたL,Rチャンネルの各々の音響信号を24bitに拡張する場合に、最小8bitを利用して他のチャンネルの音響信号を転送する。この最小の8bitは、音量(音圧レベル)としては比較的小さくなる。従って、仮に、他のチャンネルの音響信号を設定し、24bitのまま再生したとしても、人の耳には聞こえにくい音量領域となり、転送先において違和感の少ない音を再生することが可能となる。
図11は、ネットワーク19上を転送されるパケットPのデータ構造であって、bitを拡張した後のデータ構造の一例を示している。Bit拡張部44は、無線通信部41(図2参照)によって音楽データD1から取り出された音響信号のうち、16bitで量子化されたL,Rチャンネルのそれぞれの音響信号を24bitで転送できるように拡張処理を行う。また、Bit拡張部44は、16bitから24bitに拡張したことで増加する最小8bitのデータ領域に、例えばLFEチャンネルの音響信号を追加して転送する。Bit拡張部44は、LFEチャンネルの音響信号が16bitで量子化されている場合には、図11に示すように、Lチャンネルの音響信号の拡張領域に上位8bitを設定し、音楽データD2としてインターフェース部47に出力する。また、Bit拡張部44は、Rチャンネルの音響信号の拡張領域に下位8bitを設定し、音楽データD2としてインターフェース部47に出力する。インターフェース部47は、例えば、同一のパケットP内に音楽データD2,D3をパケット化して転送する。
転送先のオーディオ機器では、使用可能なチャンネル数に応じた処理を行う。2chのスピーカ35が内蔵されたTV17では、例えば、パケットPから取り出したL,Rチャンネルの音響信号の拡張領域のbit値をゼロクリア(無効化手段の一例)してスピーカ35に出力する(再生手段の一例)。あるいは、TV17は、拡張領域のbit値にディザ信号(無相関ノイズ)を設定してスピーカ35に出力する。これにより、スピーカ35は、音楽データD2,D3(音楽データD1)のL,Rチャンネルの音声を再生することが可能となる。また、仮にTV17が上記した拡張領域の無効化処理に対応していない機器であっても、上記したように、24bitの最小8bitは、人の耳に聞こえにくい音量領域であるため、そのまま再生したとしてもノイズとなる影響が極めて少ないもの考えられる。
また、2.1chのスピーカ39が接続されたAVアンプ14では、LFEチャンネルの音響信号を再生する処理として、例えば、パケットPからLFEチャンネルの音響信号の上位8bitと下位8bitを取り出す(取得手段の一例)。また、AVアンプ14は、取り出したLFEチャンネルの音響信号の上位8bitと下位8bitを合成し、16bitで量子化された低域の音響信号を生成する。AVアンプ14は、生成したLFEチャンネルの音響信号をスピーカ39に出力する(出力手段の一例)。また、AVアンプ14は、L,Rチャンネルの音響信号を再生する処理として、TV17と同様に、パケットPから取り出したL,Rチャンネルの音響信号の拡張領域をゼロクリア等してスピーカ39に出力する。このBit拡張方式では、同一のパケットP内に複数のチャンネルの音響信号を含めることができ、且つサンプル数を揃えて同一のパケットP内に含めて転送できるため、各チャンネルの出音タイミングを揃えることが容易となる。
<Bit拡張方式の応用について>
次に、上記したBit拡張方式においてアップサンプリングした場合について説明する。Bit拡張部44は、サンプリング周波数を上げることで上記した拡張領域(空き領域)を拡大させ、その拡張領域に他の信号を混ぜることによって、より多くのチャンネルの音響信号等を同時に転送することが可能となっている。例えば、48kHzでサンプリングされたL,Rチャンネルの音響信号を、192kHzにアップサンプリングする場合について説明する。
図12(a)は、アップサンプリングしたLチャンネルの音響信号を16bitから24bitに拡張し、拡張領域の中に他のチャンネルの音響信号を設定した状態を示している。図12(b)は、アップサンプリングしたRチャンネルの音響信号を16bitから24bitに拡張し、拡張領域の中に他のチャンネルの音響信号を設定した状態を示している。図12(a),(b)に示すように、192kHzにアップサンプリングした信号のデータ量は、元々の48kHzの信号に比べて4倍となる。このため、拡張した量子化bitのデータ領域も4倍となる。この4倍となった拡張領域に、例えば、48kHzでサンプリングされ16bitで量子化された他のチャンネルの音響信号を設定すると、他のチャンネルの音響信号を4サンプルごとに配置することが可能となる。換言すれば、拡張領域に16bitで量子化された他のチャンネルの信号を4種類設定することが可能となる。
図12(a),(b)に示す例では、上から1番目(1サンプル目)のL,Rチャンネルの拡張領域には、他のチャンネル(図中のch1)の音響信号の上位及び下位の8bitが設定されている。同様に、2番目(2サンプル目)以降の拡張領域には、ch2、ch3、ch4の音響信号の上位及び下位の8bitが設定されている。この場合、元々のL,Rチャンネル(2ch)に拡張領域の4chを加えた合計6chを転送することが可能となる。また、転送先の処理としては、サンプリング周波数を揃える処理が必要となる。例えば、転送先のAVアンプ14では、拡張領域のCH1〜CH4チャンネルの音響信号等を48kHzから192kHzにアップサンプリングする、あるいは、L,Rチャンネルの音響信号を192kHzから48kHzにダウンサンプリングしてサンプリング周波数を揃える必要がある。
また、例えば、16bitで量子化された信号を24bit以上、例えば、32bitまで拡張できる場合には、さらに多くのチャンネルの音響信号を混ぜて転送することが可能となる。図13(a),(b)は、32bitに拡張した場合のパケットPのデータ構造を示している。この場合、L,Rチャンネルの16bitのデータに対応する1つの拡張領域には、16bitのデータ領域(16bit〜32bit目)を確保することが可能となる。図13(a),(b)に示すように、上から1番目のLチャンネルの拡張領域には、L,Rチャンネル以外の他のch1の音響信号の上位及び下位の両方(16bit)が設定されている。同様に、上から1番目のRチャンネルの拡張領域には、ch2の音響信号の上位及び下位の両方(16bit)が設定されている。この場合、元々のL,Rチャンネル(2ch)に拡張領域の8chを加えた合計10chを転送することが可能となる。このように、Bit拡張部44は、Bit数を拡張させ、拡張領域に設定できるチャンネル数を増大させることができる。
<サンプリング周波数拡張方式について>
次に、周波数拡張部45(図2参照)によるサンプリング周波数拡張方式について説明する。周波数拡張部45は、サンプリング周波数を上げてデータ間の空き領域を確保し、確保した空き領域を使用して複数のチャンネル信号を混ぜて転送する。例えば、L,Rチャンネルの音響信号のサンプリング周波数が48kHzである場合、周波数拡張部45は、サンプリング周波数を2倍の96kHzに上げる。通常のアップサンプリングであれば増加したサンプルには、元の信号を新たに標本化したサンプル値が設定される。しかしながら、本実施形態の周波数拡張部45は、48kHzのデータについては再サンプリングすることなくそのまま維持し、増加したサンプル部分に元の音響信号とは別のデータを設定する。これにより、L,Rチャンネルの音響信号に別のチャンネルの信号等を混ぜることが可能となる。
図14は、サンプリング周波数を上げる前(48kHz)及び上げた後(96kHz)のLチャンネルの音響信号における各サンプルのデータを示している。図14に示すように、周波数拡張部45は、サンプリング周波数を48kHzから2倍の96kHzまで上げ、サンプル間に「空きサンプル1〜4」を確保する。周波数拡張部45は、この空きサンプル1〜4に他のチャンネル(LFEチャンネルなど)のデータを入れ込むことで、信号データとして2倍のチャンネル数を転送することが可能となる。なお、図14には、Lチャンネルのデータのみを図示しているが、Rチャンネルの音響信号についても同様の処理を実行することで2倍のチャンネル数を転送することが可能となる。
この場合、L,Rチャンネルの各々には、48kHzでサンプリングされた音響信号を設定するデータ領域として1チャンネル分の空き領域を確保できる。このため、周波数拡張部45は、L,Rチャンネル(2ch)に追加の2チャンネルを合わせた合計で4チャンネル分のデータを転送することが可能となる。転送先のAVアンプ14では、例えば、パケットPから1サンプルおきに異なるチャンネルのデータを取り出すことで、各チャンネルを個別に取得することが可能となる。
上記したサンプリング周波数拡張方式では、転送中のみサンプリング周波数を上げることとなる。また、AVアンプ14は、取得したデータに対して、サンプリング周波数を96kHzから元の48kHzに戻すのみで再サンプリング処理は不要で、元の2.1chの音楽データD1を再生することが可能となる。また、サンプリング周波数拡張方式では、通常のアップサンプリング処理とは異なり、複数のチャンネルのデータがサンプルごとに入れ替わり転送される。このため、複数のチャンネルの音響信号を、サンプルごとに分けてまとめて転送するため、上記したAM変調方式やBit拡張方式に比べて高い転送レートや音質を確保することが可能となる。
<メタデータの送信について>
上記した例では、AM変調方式等の3つの転送方式において、L,Rチャンネルの音響信号にLFEチャンネルの音響信号を混ぜて転送したが、混ぜるデータとしては音響信号に限らず、メタデータ(テキストデータや制御データなど)を用いてもよい。例えば、AVアンプ13は、混ぜる制御データとして、ゲインを変更する制御データを転送してもよい。ここで、一般的に音響信号の処理において、DSP等におけるデジタル領域の処理を実行する前処理としてヘッドマージンを確保する処理が必要となり、またアナログ領域で再生する前処理としてヘッドマージンを戻す処理が必要となる。AVアンプ13は、例えば、0dBフルスケールのLFEチャンネルの音響信号に対してデジタル領域でクリップが発生するのを防止するために、−10dBのヘッドマージンを確保する前処理を実行する。AVアンプ13は、予めデジタル領域で減衰させたヘッドマージンの量(−10dB)を制御データとして転送先のオーディオ機器(例えば、LFEチャンネルのみを再生するサブウーファ)に送信する。転送先のサブウーファでは、制御データに基づいてアナログ領域の処理においてLFEチャンネルの音響信号を+10dBだけ増幅し、信号レベルを他のL,Rチャンネルと揃えて再生することが可能となる。これにより、デジタル領域での処理においてクリップの発生を回避し、より高音質で転送することが可能となる。このように本実施形態のオーディオ機器では、複数のチャンネルの音響信号に加え、又は替えて制御データなどのメタデータの送信することが可能である。
また、AVアンプ13は、ユーザUの要望に応じて特定のチャンネルのゲイン調整に係わる制御データを混ぜて転送し、転送先の再生状態を変更してもよい。図15は、AVアンプ13が備える各モードと、各チャンネルのゲイン値との関係を示す表の一例である。例えば、AVアンプ13は、図15に示す各モードに応じたゲイン値を制御データとして設定し上記の各転送方式によって、5.1chのマルチチャンネルの音響信号に混ぜて転送する。転送先のオーディオ機器は、例えば、受信した5.1chの音響信号を2chにダウンミックスして再生する。転送先のオーディオ機器は、制御データに設定されたゲイン値に基づいて各チャンネルの信号レベルを増減することで、各モードに応じた再生を実現する。
図15に示すように、制御データには、チャンネルごとのゲイン値が設定されている。図15中のチャンネル名L,C,R,SL,SR,LFEは、それぞれレフト(左)、センター、ライト(右)、サラウンドレフト、サラウンドライト、低域専用のチャンネルを示している。また、ゲイン値「1.0倍(減衰量0dB)」は、通常の音楽を再生する信号レベルである。
カラオケモードでは、ボーカル成分が多く含まれるセンターch(Cch)をミュート「0倍(減衰量−∞dB)」してダウンミックスすることによって、ボーカルの音声を抑制してカラオケのような音を再生できる(図15中の太字部分参照)。なお、図15に示すように、サラウンドチャンネルSL,SRは、ゲイン値が「0.7倍(減衰量−3dB)」となっている。これは、サラウンドチャンネルSL,SRは、5.1chを2chにダウンミックスする際に、例えば、レベル調整のため0.7倍(減衰量−3dB)する必要があるからである。
また、フロント優先ミックスモードでは、フロント側(Lch,Cch,Rch)を通常通り「1.0倍(減衰量0dB)」でダウンミックスするが、サラウンド側(SLch,SRch)を低減「0.5倍(減衰量−6dB)」する。これにより、転送先のスピーカから再生される音は、観客の声などを多く含むサラウンド側の音声を抑えて、ボーカルの歌声や演奏者の演奏音などの成分を強調しフロント側を聞き取り易くした音となる。
また、夜間試聴用ミックスモードでは、大音量の信号や低域成分を多く含むLch,Rch,LFEchの信号レベルを下げ、ボーカルの歌声の成分を多く含むCchの信号レベルを上げる。例えば、Lch,Rchの信号レベルを0.7倍し、LFEchの信号レベルを0.3倍する。また、例えば、Cchの信号レベルを1.4倍する。これにより、夜間試聴用ミックスモードでは、例えば、夜間に音量レベルを絞って音楽を再生しても、Cchの信号レベルを上げることで人の声を聞き取り易くし、且つ低域成分を抑えることで音楽の再生にともなう振動等が近隣の迷惑となるのを抑制することが可能となる。
上記したように、制御データ(メタデータ)を用いてチャンネルの信号レベルを調整することで、転送先の音をユーザUの好みに合わせることが可能となる。なお、各モードの変更や設定は、例えば、ユーザUがAVアンプ13のリモコンや筐体の操作ボタンを操作することで変更できるようにしてもよい。また、AVアンプ13の制御部48(図2参照)は、例えば、図15に示す表のゲイン値が予め設定されたデータテーブルをメモリ内等に備え、当該データテーブルを参照しつつ、各モードに応じた信号レベルを制御データとして設定してもよい。
また、AVアンプ13は、メタデータとして、音楽データD1の再生時刻を示すタイムスタンプを設定し、L,Rチャンネル等の音響信号に混ぜてもよい。これにより、転送元と転送先との出音のタイミングを揃えることが可能となる。
<ダウンミックスした音響信号の転送について>
また、上記した各転送方式では、通常の2chの音響信号だけでなく、従来から使用されているマルチチャンネルを2chにダウンミックスした信号についても同様に転送可能である。例えば、AVアンプ13は、2chにダウンミックスしたL,Rチャンネルの音響信号に、5.1chの信号を上記各転送方式によって混ぜて転送することもできる。この場合、転送先のオーディオ機器がステレオのスピーカの場合には、ダウンミックスした2chの信号を再生することができる。また、転送先がマルチチャンネルに対応したスピーカの場合には、ダウンミックスした信号を破棄し、受信した信号に含まれているマルチチャンネル信号(5.1ch)を分離して再生することができる。
<転送方式の選択について>
次に、上記した3つの転送方式を選択する処理について説明する。AVアンプ13の制御部48(図2参照)は、例えば、音楽データD1を各オーディオ機器(AVアンプ14等)に転送する際の「優先事項」及び「音楽データD1に係わる処理性能(AVアンプ13,14等やネットワーク機器などの処理性能)」に基づいて、適切な転送方式を決定可能となっている。なお、制御部48は、優先事項及び処理性能のどちらか一方に基づいて転送方式を決定してもよい。また、下記の例では、ネットワーク19に接続された全てのオーディオ機器に対して同一の転送方式を適用する場合について説明するが、個々のオーディオ機器ごとに転送方式を決定してもよい。
制御部48は、例えば、音楽データD1の転送を開始する際に、図16に示すフローチャートに従って転送方式に重み付けを行い(図16中のS11〜S13参照)、その結果に基づいて転送方式を選択する(図16中のS14参照)。まず、制御部48は、ステップ(以下、単に「S」と表記する)11において、転送先のオーディオ機器の性能に応じて転送方式の重み付けを行う。S11において、制御部48は、ネットワーク19に接続されている各オーディオ機器の性能について判定を行う。性能の判定については、制御部48は、例えば、ネットワーク19を介して各オーディオ機器に問い合わせた結果に基づいて判定してもよく、あるいは、ユーザUから入力された情報に基づいて判定してもよい。また、制御部48は、音楽データD1に係わる処理性能を直接問い合わせなくともよい。例えば、制御部48は、各オーディオ機器のCPUの性能情報のみ取得し、その情報を元に音響信号に係わる処理性能を推定等してもよい。
例えば、ネットワーク19内に処理性能の低い機器(単体のスピーカ装置など)が存在する場合、上記した復調処理部67(図3参照)によるチャンネルの分離処理などを転送先の機器で実行できないことが想定される。分離処理を実行できないのであれば、分離処理をせずにそのまま再生しても違和感のない音で再生できるAM変調方式やBit拡張方式が有効となる。そこで、制御部48は、処理性能の低い機器がネットワーク19上に存在すると判定した場合、AM変調方式及びBit拡張方式の優先度を上げる。
一方で、ネットワーク19に接続された全てのオーディオ機器の処理性能が高い場合、転送先において高度な処理が実行可能となる。高度な処理が実行可能であれば、転送処理においてデータの欠損が最も少なく高品質な音質を保つことができるサンプリング周波数拡張方式が有効となる。そこで、制御部48は、S11において、ネットワーク19に接続された全てのオーディオ機器の処理性能が高いと判定した場合、サンプリング周波数拡張方式の優先度を上げる。なお、全てのオーディオ機器が高性能である場合においても、AM変調方式やBit拡張方式による転送は実行可能である。
次に、制御部48は、S12において、転送する音楽データD1のチャンネル数や内容(優先事項)に応じて転送方式の重み付けを行う。チャンネル数等の検出については、制御部48は、例えば、転送対象の音楽データD1のチャンネル数を直接検出したり、ユーザUの入力情報等に基づいて検出したりすることができる。S12において、例えば、音楽データD1が2.1chのような基本のフロント側2chに帯域を制限されたLFEチャンネルを追加した音楽コンテンツである場合、あるいは、音楽データD1が基本の2chにユーザへのアナウンス信号(メールの着信お知らせ)などの比較的音質が問われないものを追加した音楽コンテンツである場合、高い音質(サンプリング周波数)が要求されないため、制御部48は、例えば、AM変調方式の優先度を上げる。
また、音楽データD1が基本の2chにフル帯域の1ch〜2chを追加した3chや4chの音楽コンテンツである場合、制御部48は、例えば、Bit拡張方式の優先度を上げる。また、音楽データD1が基本の2chにフル帯域の3ch以上を追加したマルチチャンネルの5.1chや7.1chの音楽コンテンツである場合、制御部48は、例えば、高品質な転送が可能なサンプリング周波数拡張方式の優先度を上げる。このように、制御部48は、音楽データD1のチャンネル数や信号の内容(音質など)に応じて転送方式を選択することができる。なお、上記した優先度の設定は、一例であり、例えば、2.1chであっても、サンプリング周波数拡張方式を用いてもよい。
次に、制御部48は、S13において、AVアンプ13のリモコンや筐体の操作ボタンに対するユーザUの操作内容(優先事項)に応じて転送方式の重み付けを行う。例えば、ユーザUは、リモコン等を操作することで、「転送先の消費電力の低減」、「複数チャンネル間の遅延の低減」、「ハイレゾ音質の優先」の3つの項目のうち、1つの項目を選択できる。
ここで、AM変調方式やBit拡張方式は、L,Rチャンネルの音響信号をそのまま再生することが可能であるため、仮に消費電力を抑えたい場合には転送先において分離処理を停止し、そのまま再生することで分離処理に必要な消費電力を抑えることができる。このため、ユーザUが「転送先の消費電力の低減」を選択した場合、消費電力に応じて分離処理の有無を選択できるAM変調方式やBit拡張方式が有効となる。そこで、制御部48は、「転送先の消費電力の低減」が選択された場合、AM変調方式及びBit拡張方式の優先度を上げる。
また、複数チャンネル間の遅延の低減を図りたい、より具体的には近くに存在するスピーカから同時に出音させたい場合、各チャンネルの出音タイミングを揃えやすいBit拡張方式が有効となる。そこで、制御部48は、ユーザUによって「複数チャンネル間の遅延の低減」が選択された場合、Bit拡張方式の優先度を上げる。
また、ユーザUが音質を優先したい場合、より高品質な転送が可能なサンプリング周波数拡張方式が有効となる。そこで、制御部48は、ユーザUによって「ハイレゾ音質の優先」が選択された場合、サンプリング周波数拡張方式の優先度を上げる。
次に、制御部48は、S14において、S11〜S13で実施した重み付けの結果に基づいて転送方式を選択する。これにより、制御部48は、3つの転送方式の中から、優先事項や処理性能に応じて転送方式を選択することで、音楽データD1を適切な方式で転送することが可能となる。なお、上記したS11〜S13の各処理についても重み付けをしてもよい。例えば、制御部48は、S11(処理性能)、S12(チャンネル数等)、S13(ユーザ選択)の順に優先度を下げ(S11>S12>S13)、S11の判定結果をより重要視する設定でもよい。
因みに、音楽データD1,D3,D3は、音響信号の一例である。AVアンプ13,14、TV17及びスピーカ33,35,39は、再生装置の一例である。
以上、上記した実施形態によれば、以下の効果を奏する。
AM変調方式やBit拡張方式では、転送先のオーディオ機器(例えば、TV17)が転送方式に未対応の機器であり、LFEチャンネルの音響信号を混ぜたL,Rチャンネルの音響信号をそのまま再生したとしても違和感のない音で再生することが可能となる。AVシステム10が適用されるネットワーク19内には、AVアンプ14のような潤沢なDSPを備えているオーディオ機器がある一方で、スピーカ装置単体のように単に受信した音楽データを再生するだけのものもある。このような場合に、上記した転送方法は、転送先のオーディオ機器に高い処理性能を求めず、簡単な処理だけで元の2chの音楽を再生することが可能となる。従って、世代、性能、目的、ソリューションなどが異なるオーディオ機器間において、複数の信号を混ぜたデータを限られた音声帯域内で適切に転送することが可能である。
また、上記した3つの転送方法は、従来の転送処理で行われていたダウンミックスに係わるエンコード処理に比べて処理内容が比較的容易であるため、転送方式に非対応なオーディオ機器であっても、簡単なファームウェアのアップデート等で対応することが可能となる。
尚、本発明は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内での種々の改良、変更が可能であることは言うまでもない。
例えば、上記実施形態では、L,Rチャンネルの音響信号に低域のLFEチャンネルの音響信号を混ぜたが、混ぜる音響信号は、LFEチャンネルの音響信号に限らず、例えば警告音等の信号でもよい。また、混ぜられる信号は、L,Rチャンネルの音響信号に限らず、サラウンドレフト(SL)チャンネルやセンター(C)チャンネルの音響信号でもよい。
また、上記実施形態において、AVアンプ13は、転送先のオーディオ機器ごとに転送方式を変更してもよい。例えば、AVアンプ13は、TV17とAM変調方式で転送する一方で、AVアンプ14とBit拡張方式で転送を実行してもよい。