JP7476516B2 - 信号処理装置、信号処理システム、プログラム、信号処理方法 - Google Patents

Description

本発明は、信号処理装置、信号処理システム、プログラム、信号処理方法に関する。

時系列の波形信号を対象として信号処理する技術として、音声信号を信号処理する技術が広く普及している。一般に、音声信号を信号処理する場合、音声信号に含まれる全周波数帯域を対象とするのでなく、特定の周波数帯域を対象として信号処理が行われる。例えば、人間の可聴帯域を対象として信号処理することで、情報量の低減や、ノイズ除去をすることができる。この場合、可聴帯域には含まれない低域の周波数帯域の信号は、意図的にカットされて信号処理されることが多い。可聴帯域の信号を後段の機器に出力することで、例えば、スピーカ等によって音として出力される。ユーザには、可聴帯域の信号に応じた音を伝えることが可能である。

特許文献１では、既存の音声処理系において、信号処理をする際に、可聴帯域における高域の信号が欠落しないように、信号の周波数を低周波数帯にシフトさせることが開示されている。これにより、可聴帯域における高域の信号が欠落してしまうことを低減することで、ユーザに対して高域の音を伝えることが可能となり、音質の低下を抑制することができる。

特開昭５５－３３１１７号公報

しかしながら、信号処理を行う過程において、後段に伝達される対象の周波数帯域が制限されているため、伝達対象の範囲の周波数の信号は後段に伝達可能であるが、伝達対象の範囲外の周波数の信号は、後段に伝達することができない。例えば、可聴帯域の信号を後段に伝達することができても、可聴帯域よりも低域側の信号は伝達されないため、後段において、低域側の信号を利用することができない。
特許文献１の技術では、高域の周波数の信号の欠落を抑制することに留まるものである。

本発明は、このような事情に鑑みてなされたもので、その目的は、信号処理を行う際に、低域の周波数の信号の欠落を低減することができる信号処理装置、振動装置、信号処理システム、プログラム、信号処理方法を提供することにある。

上述した課題を解決するために、本発明における信号処理装置の一態様は、伝達対象の周波数帯域に含まれる信号である第１信号と前記周波数帯域よりも低域側の周波数の信号である第２信号とが前記周波数帯域に収まるように、前記第１信号と前記第２信号とを時間方向に圧縮することで加工する信号加工部を有し、前記信号加工部は、圧縮する対象の信号の時間方向の長さである信号長と時間方向に圧縮された後の信号の時間方向の長さである信号長との差に応じた信号長の信号である第３信号を、前記圧縮された後の信号の時間方向における前後の少なくともいずれかに付加する。

また、本発明における信号処理システムの一態様は、上述した信号加工部を有する信号処理装置と、前記信号処理装置からの入力信号の周波数帯域が当該周波数帯域の低域側に下がるように加工する伸張部と、前記加工された信号のうち前記周波数帯域に対応する信号と、前記周波数帯域よりも低域側の信号とのうち少なくともいずれか一方を出力する出力部と、を有する信号処理装置と、を有する。
また、本発明におけるプログラムの一態様は、上述のいずれかの信号処理装置としてコンピュータを機能させるためのプログラムであってもよい。
また、本発明における信号処理方法の一態様は、信号加工部が、伝達対象の周波数帯域に含まれる信号である第１信号と前記周波数帯域よりも低域側の周波数の信号である第２信号とが前記周波数帯域に収まるように、前記第１信号と前記第２信号とを時間方向に圧縮することで加工するものであり、
前記信号加工部が、圧縮する対象の信号の時間方向の長さである信号長と時間方向に圧縮された後の信号の時間方向の長さである信号長との差に応じた信号長の信号である第３信号を、前記圧縮された後の信号の時間方向における前後の少なくともいずれかに付加する信号処理方法である。

また、本発明では、振動などの信号波形に対して音声処理系の記録・再生または伝送を行うとき、信号の入力部分では周波数変換処理を行い、出力部分では周波数逆変換処理を行うことで、処理系の対象とする周波数帯以外の帯域成分を持つ信号を欠落することなく処理することができる。
また、記録・伝送処理の入力部分と出力部分にそれぞれ信号の周波数変換・逆変換処理を行う処理を追加する。周波数変換処理には信号の時間空間での圧縮・伸張処理または周波数空間でのシフト処理を行い、信号を変換する。時間空間での処理では、入力部分でごく短い区間ごとに振動波形を時間方向に圧縮し、圧縮により不要になった時間分に逆変換で検出可能な正弦波またはパルスコードなどの規程信号を挿入することで逆変換の際に不要部分を検出し削除し信号部分を伸張する。
周波数空間での処理では、入力・出力部分でフーリエ変換により波形信号を周波数空間に変換したあと、周波数シフト処理を行い、逆フーリエ変換を行う。

以上説明したように、この発明によれば、信号処理を行う際に、低域の周波数の信号の欠落を低減することができる。

この発明の一実施形態による信号処理システム１の構成を示す概略ブロック図である。 信号処理装置１０の構成を示す概略ブロック図である。 時間空間での圧縮・伸張により信号を加工する方法を説明する図である。 処理区間の両端において信号が不連続化する問題を解決する方法を説明する図である。 信号を周波数空間においてシフトすることで周波数変換処理を説明する図である。 信号処理装置５０の構成を示す概略ブロック図である。 図１における信号処理システム１の動作を説明するシーケンス図である。 信号処理装置１０の他の実施形態である信号処理装置１０Ａの構成を示す概略機能ブロック図である。 信号処理装置５０の他の実施形態である信号処理装置５０Ａの構成を示す概略機能ブロック図である。

以下、本発明の一実施形態による信号処理装置について図面を参照して説明する。
図１は、この発明の一実施形態による信号処理システム１の構成を示す概略ブロック図である。
信号処理システム１は、信号処理装置１０、記憶装置２０、無線通信装置３０、無線通信装置４０、信号処理装置５０、駆動装置６０を含んで構成される。
信号処理システム１では、処理対象の信号を記録、再生、伝送を行う場合、信号の入力部分では信号処理装置１０が波形信号に対して周波数変換処理を行い、記憶装置２０に記憶する、または、無線通信装置３０から無線通信装置４０に送信することで、信号処理装置５０に波形信号を伝達することができる。そして出力部分では信号処理装置５０が周波数逆変換処理を行うことで、処理系の対象とする周波数帯以外の帯域成分を持つ信号を欠落することなく、後段の駆動装置６０に伝達することができる。

ここで取り扱われる信号は、信号を符号化、復号する場合や、信号を圧縮や伸張する場合に、情報量の低減やノイズ除去を目的として、伝達する対象として定められた周波数帯域の信号を含み、それ以外の信号が含まれないように除去される。このように定められた範囲の周波数帯の信号として取り扱うことで、入力される波形信号は、一般的に活用されている規格に則った伝送技術を用いて伝送することが可能となる。
ここで本実施形態においては、除去される信号のうち、特に、低域側の周波数の信号を活用することに着目している。低域側の周波数の信号については、その周波数が可聴帯域に含まれていても良いが、主に、非可聴領域の信号を活用する。このような非可聴領域の信号を出力する場合には、例えば、この信号を振動装置に入力することで、振動として出力することが可能である。振動として出力する場合には、例えば、皮膚により感知されるような振動波形（振動信号）としてユーザに伝達することができる。なお、振動装置は、一定の振動モードでオンオフ駆動するものではなく、振動波形に応じて各種周波数の振動を出力することができる。

ここで、音声処理系の記録・再生技術としては、例えばwave、mp3、wmvなどのフォーマットに従ったコンピュータを用いたデジタル音声記録形式、磁気テープ、レコードなどのアナログ音声記録形式などを用いることができる。記憶装置２０は、デジタル音声記録形式で波形信号に対応したデータを記憶する。記憶装置２０は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせによって構成される。この記憶装置２０は、例えば、不揮発性メモリを用いることができる。
また、このようなデータは、記憶装置２０ではなく、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の記録媒体に記録されてもよい。

また音声処理系の伝送技術としては、Bluetooth(登録商標)におけるSBC（サブバンドコーデック）やAAC（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、aptX（アプトエックス）、aptXHD（アプトエックス エイチディー）、LDAC（エルダック）、aptX Low Latency（アプトエックス・ロー・レイテンシー）などのコーデックを介したワイヤレスデジタル通信や、AM/FM波によるアナログ通信などを用いることができる。無線通信装置３０と無線通信装置４０との間の通信は、このような伝送技術を用いることができる。

これらの記録・再生技術や伝送技術は、PC（パーソナルコンピュータ）やスマートフォン、タブレット、その他映像再生機器やラジオ受信機器などに実装され、既に広く普及している。

入力部分と出力部分の処理は、リアルタイムに信号処理ができるコンピュータ上で動作するソフトウェアを用いて行うか、専用のDSP（digital signal processor）を用いて行ってもよい。

駆動装置６０は、例えば、スピーカと振動装置とを含む機器であり、信号処理装置５０から得られる波形信号に基づいて、伝達対象の周波数帯域の信号（例えば音信号）に基づいてスピーカから音信号を出力したり、伝達対象の周波数帯域よりも低域側の周波数の信号（例えば、振動させるための信号）に基づいて振動装置を駆動することで、音と振動を出力することができる。振動装置は、例えば、モータと振動部とから構成し、信号処理装置５０から得られる波形信号に基づいてモータを駆動し、そのモータの出力軸の回転を振動部によって振動に変換することで、振動を出力するようにしてもよい。これにより、ユーザに対して、伝達対象の周波数帯域よりも低域側の周波数の振動を伝達することができる。
また、駆動装置６０は、スピーカを有していなくてもよく、その場合、信号処理装置５０から、伝達対象の周波数帯域よりも低域側の信号のみを受信して振動装置を駆動するようにしてもよい。

図２は、信号処理装置１０の構成を示す概略ブロック図である。
信号処理装置１０は、信号入力部１１０、信号加工部１２０、出力部１３０を含む。
信号入力部１１０は、信号を入力する。例えば、信号入力部１１０は、wave、mp3、wmvなどのフォーマットのうち、いずれかのフォーマットに従った音データを入力する。

信号加工部１２０は、伝達対象の周波数帯域に含まれる信号である第１信号と前記周波数帯域よりも低域側の周波数の信号である第２信号とが前記周波数帯域に収まるように加工する。この加工は、例えば、次の２つのうちいずれかを用いることができる。
（１）信号加工部１２０は、第１信号と第２信号とを時間方向に圧縮することで加工する。
図３は、時間空間での圧縮・伸張により信号を加工する方法を説明する図である。図３において、符号（ａ）に示すグラフは、信号加工部１２０による加工を行う前の信号を示しており、符号（ｂ）に示すグラフは、信号加工部１２０による加工が行われた後の信号を示している。
ここでは、入力信号として振動波形Ｗ１が入力される。振動波形Ｗ１は、ある連続的な信号である。振動波形Ｗ１は、第１信号と第２信号とが含まれる信号である。
この振動波形Ｗ１に対し、処理の単位時間を時間方向における区間Ｓ１とし、この区間Ｓ１に含まれる振動波形Ｗ１について、区間Ｓ２（ただしＳ１＞Ｓ２）となるように、時間方向に圧縮する。

これにより、振動波形Ｗ１の周波数は、第１信号と第２信号を含む状態で時間方向に圧縮されるため、第１信号及び第２信号の周波数は、圧縮率に応じて高い周波数となる。そのため、伝達対象の周波数帯域に含まれない低域側の周波数の第２信号であっても、圧縮率に応じて高い周波数となる。例えば、圧縮率を２倍にした場合には、周波数としては２倍になる。そのため、伝達対象の周波数帯域に収まるような周波数となる程度まで時間方向に圧縮することで、第２信号についても、後段に伝達可能となる。
ここで、区間Ｓ１と区間Ｓ２との比を圧縮比Ｒとして表すことができる。この圧縮比Ｒは、第２信号の周波数と伝達対象の周波数帯に収まるような周波数とに基づいて決定してもよい。また、圧縮後の振動波形Ｗ１の単位時間は、Ｓ２＝Ｓ１×Ｒとして表すことができる。振動波形Ｗ１が時間方向に圧縮されると、区間Ｓ１と区間Ｓ２との間では、空白の区間である区間Ｄが生じる。この区間Ｄは、もとの信号長に対する空白区間であり、Ｄ＝Ｓ１－Ｓ２なる式で、時間方向の長さを求めることができる。
ここで、区間Ｓ１を十分に小さく設定することで、圧縮と伸張にかかる時間を短くすることができるため、伝達する際の遅延を低減することができ、リアルタイム性が向上する。

ここで、信号加工部１２０は、圧縮する対象の信号の時間方向の長さである信号長（区間Ｓ１）と時間方向に圧縮された後の信号の時間方向の長さである信号長（区間Ｓ２）との差（区間Ｄ）に応じた信号長の信号である第３信号（規程信号Ｗ３）を、圧縮された後の信号（振動波形Ｗ２）の時間方向における前後の少なくともいずれかに充填するようにしてもよい。

この図３においては、振動波形Ｗ２の時間方向において後段側に規程信号Ｗ３を付加する場合が図示されている。ここでは、振動波形Ｗ１の信号の開始時間と、振動波形Ｗ２の開始時間が同じになるように圧縮されているため、規程信号Ｗ３を振動波形Ｗ２の後段に付加している。
また、振動波形Ｗ２の時間方向において前段側に規程信号Ｗ３を付加するようにしてもよい。この場合、振動波形Ｗ１の信号の開始時間と規程信号Ｗ３の開始時間とが同じになるように規程信号Ｗ３を加入した上で、規程信号Ｗ３の後段に、振動波形Ｗ２を配置するようにしてもよい。この場合、振動波形Ｗ１の終了時間と振動波形Ｗ２の終了時間が同じになる。

規程信号Ｗ３は、あらかじめ規程された信号であり、振動波形Ｗ１及び振動波形Ｗ２とは十分に識別可能な信号を用いることができ、例えば、規程信号Ｗ３は、正弦波またはパルスコードなどの信号を用いるようにしてもよい。規程信号Ｗ３が予め定められていることにより、後段側（例えば、信号処理装置５０）において、規程信号Ｗ３を簡単に検出することができ、この規程信号Ｗ３を除去し、振動波形Ｗ２を抽出することが可能となる。振動波形Ｗ２を抽出する場合、周波数解析またはパターンマッチング処理により区間Ｄの時間軸上における位置を検出し、区間Ｓ２を導出し、区間Ｓ２が区間Ｓ１になるように振動波形Ｗ２を時間方向に伸張する処理（逆変換）を行う。

なお、この実施形態では、規程信号Ｗ３を、振動波形Ｗ２の前段または後段に充填する場合について説明したが、規程信号Ｗ３を規程信号Ｗ３ａと規程信号Ｗ３ｂとして２つに分割し、振動波形Ｗ２の前段に規程信号Ｗ３ａ、振動波形Ｗ２の後段にＷ３ｂを充填するようにしてもよい。ここでは、規程信号Ｗ３ａと規程信号Ｗ３ｂの時間方向の区間の和が区間Ｄと同じ区間の長さとなっていればよい。

信号加工部１２０は、このような加工を、振動波形Ｗ１の区間Ｓ１に応じた時間が到来する毎に、次の区間について行う。
また、信号加工部１２０は、振動波形に対する加工処理を、アナログ処理またはデジタル処理のいずれで行うようにしてもよい。デジタル処理による場合、信号加工部１２０は、時間方向への圧縮を行う場合、信号の標本を一定間隔で削除することで圧縮してもよく、信号処理装置５０は、時間方向への伸張を行う場合、標本を一定時間間隔で挿入することで補間することで伸張するようにしてもよい。これにより、実装を単純化できる。

図４は、前述の方法おいて使用する音声処理系が一定区間の前後波形を参照することで圧縮・伸張、符号化・復号化、FFTなどが行われているとき、処理区間の両端において信号が不連続化する問題を解決する方法である。
処理区間の両端とは、時間方向において処理区間の開始時刻よりも前の時間と、処理区間の終了時刻よりも後ろの時間である。

この場合、信号加工部１０２は、処理区間S1の時間方向において前後のそれぞれに予備区間Ｃを追加し、加工処理を行う。図４では、一例として、信号加工部１２０は、区間Ｓ１の前に予備区間Ｃとして区間Ｃ１１を追加し、区間Ｓ１の後ろに予備区間Ｃとして区間Ｃ１２を追加する。一方、伸張部５２０は、逆変換を行う場合、処理区間S2の前後Ｃ×R分の信号を削除して伸張処理を行う。ここで、Rは波形の圧縮比率であり、S2/S1により求まる。伸張部５２０は、逆変換を行った後、区間Ｓ２の前方の区間Ｃ２１をＣ１１×Ｒによって求め、求められた区間Ｃ２１を削除する。また、伸張部５２０は、区間Ｓ２の後方の区間Ｃ２２をＣ１２×Ｒ分によって求め、求められた区間Ｃ２２を削除する。

予備区間Ｃを使用する音声処理系の前後参照処理ウィンドウサイズよりも大きくなるように設定することで、処理区間S１の両端での不連続化を抑制することができる。

（２）信号加工部１２０は、変換部１２１を有しており、上述の（１）の時間方向における圧縮とは異なる方法によって入力信号を加工する場合には、この変換部１２１の機能を用いる。変換部１２１は、第１信号と第２信号とをフーリエ変換することで周波数空間の信号に変換する。信号加工部１２０は、加工対象の信号が変換部１２１によって周波数空間の信号に変換された後、変換された周波数空間の信号が伝達対象の数波数帯域に収まるように周波数をシフトする。

図５は、信号を周波数空間においてシフトすることで周波数変換処理を説明する図である。
図５において、符号（ａ）に示すグラフは、変換部１２１により変換された後の振動波形Ｗ５を示しており、符号（ｂ）に示すグラフは、信号加工部１２０による加工が行われた後の振動波形Ｗ６を示している。

図５の符号（ａ）で表すグラフにおいては、振動波形Ｗ５は、低域側の周波数から高域側に渡って信号強度を有している。変換部１２１は、このような、信号入力部１１０から入力される振動波形Ｗ５をFFT（Fast Fourier transform）などのフーリエ変換処理を行うことで、周波数ごとの強度成分情報に変換する。
信号加工部１２０は、変換部１２１によって変換された後の振動波形Ｗ５の周波数を、低域側について伝達対処の周波数帯域に収まるようにシフトする。図５の符号（ｂ）で表すグラフでは、周波ｆ１から周波数ｆ２（ｆ１＜ｆ２）までの低域側の周波数帯域の分（シフト量Ｓ）に応じて、正の方向に（周波数が高くなるように）振動波形Ｗ５を全体的にシフトする。シフトするにあたり、振動波形Ｗ５の信号強度は変更せず、周波数をシフトする。

このシフト量Ｓは、伝達対象の周波数帯域に収まるような周波数となる程度まで周波数空間において高域側にシフトできればよい。例えば、伝達対象の周波数帯域の下限値が２０Ｈｚである場合には、振動波形Ｗ５についてシフト量Ｓを２０Ｈｚとすることで、２０Ｈｚ以下の信号成分を伝達対象の周波数帯域に収めるように加工することができる。
これにより、振動波形Ｗ５の低域側の周波数成分について、伝達対象の周波数帯域に収めることができるため、第２信号についても後段に伝達可能となる。

図２に戻り、出力部１３０は、信号加工部１２０によって加工された後の信号を出力する。この出力は、例えば、記憶装置への出力、無線通信装置への出力、記録媒体への書き込み等である。記憶装置への出力を行うことで、出力部１３０から出力された信号が記憶装置に書き込まれる。また、無線通信装置への出力を行うことで、出力部１３０から出力された信号が、無線通信装置によって、外部の機器（他の無線通信装置等）に対して無線によって送信される。

次に、図６は、信号処理装置５０の構成を示す概略ブロック図である。
信号処理装置５０は、信号入力部５１０、伸張部５２０、出力部５３０を含む。
信号入力部５１０は、信号を入力する。信号入力部５１０は、wave、mp3、wmvなどのフォーマットのうち、いずれかのフォーマットに従った音データであって、信号処理装置１０の信号入力部１１０において入力されたフォーマットと同じフォーマットであってもよい。

伸張部５２０は、信号入力部５１０から入力される入力信号の周波数帯域が当該周波数帯域の低域側に下がるように加工する。
伸張部５２０は、次の２つのうちいずれかの方法にて入力信号を加工することができる。
（ａ）伸張部５２０は、入力信号を時間方向に伸張する。
このとき、伸張部５２０は、入力信号のうち、定められたパターンの信号である規程信号ではない区間について、定められた時間となるように時間方向に伸張する。
例えば、図３の符号（ｂ）に示すように、伸張部５２０は、振動波形Ｗ２及び規程信号Ｗ３を含む信号が入力された場合には、伸張部５２０上述したように、周波数解析またはパターンマッチング処理を行うことで、規程信号Ｗ３が存在する区間Ｄを検出し、区間Ｄを除外した残りの区間（区間Ｓ２）の信号を振動波形Ｗ２として抽出する。そして伸張部５２０は、抽出された振動波形Ｗ２の区間Ｓ２が区間Ｓ１となるように時間軸方向に伸張する。これにより、振動波形Ｗ２が時間軸方向に伸張することで、振動波形Ｗ２の周波数が低域側に下がる。これにより、伝達対象の周波数帯域ではない低域側の信号であっても、信号処理装置１０によって圧縮された後、信号処理装置５０において伸張することで、信号処理装置５０において振動波形Ｗ２から振動波形Ｗ１に復元し、後段において利用することが可能となる。

伸張部５２０は、信号処理装置１０の信号加工部１２０による圧縮処理において、振動波形が時間方向に圧縮された信号を伸張した場合には、圧縮された際に欠落したデータを、伸張されたデータの時間の前後関係に基づいて補間するようにしてもよい。

ここでは、信号処理装置１０において行われた圧縮処理に対応した伸張処理を信号処理装置５０において実行できるように、圧縮条件や伸張条件を信号処理装置１０と信号処理装置５０との間で共有できていればよい。例えば、規程信号Ｗ３のパターンや、区間Ｓ１の時間方向の長さ、区間Ｓ２の時間方向の長さ、圧縮率Ｒ、振動波形Ｗ２に対して規程信号Ｗ３が前後のいずれに配置されるか等の条件が、信号処理装置１０と信号処理装置５０とにおいてお互いに共有されていればよい。

（ｂ）伸張部５２０は、変換部５２１を有しており、上述の（ａ）の時間方向における伸張とは異なる方法（例えば周波数空間において周波数シフトをする方法）によって入力信号を伸張（復元）する場合には、この変換部５２１の機能を用いる。
変換部５２１は、伸張部５２０によって伸張された入力信号を逆フーリエ変換する。変換部５２１を用いる場合、伸張部５２０は、入力信号を周波数空間において負の方向に（低域側に）シフトするように加工する。その上で、伸張部５２０は、低域側にシフトされた入力信号を変換部５２１によって逆フーリエ変換を行うことで、時間空間の入力信号に変換する。

図５を参照し、より具体的に説明する。
伸張部５２０は、図５の符号（ｂ）に示す振動波形Ｗ６が入力されると、シフト量Ｓの分だけ、振動波形Ｗ６の周波数を低域側にシフトする。これにより、振動波形Ｗ６は、信号強度を有する最低の周波数がｆ２であったところ、周波数ｆ１となるように信号全体をシフトする。その上で、伸張部５２０は、変換部５２１によって、入力信号を周波数空間から時間空間に変換することができる。
これにより、振動波形Ｗ６から振動波形Ｗ５を得ることができ、さらに、振動波形Ｗ５を時間空間の信号に変換することで、圧縮前（加工前）において含まれていた低域側の周波数成分の信号を、伝達された後段の機器において利用することができる。

図６に戻り、出力部５３０は、伸張部５２０によって伸張する加工がなされた信号のうち、周波数帯域に対応する信号（第４信号）と、周波数帯域よりも低域側の信号（第５信号）とのうち少なくともいずれか一方の信号を出力する。ここでは、出力部５３０は、後段の機器が必要とする信号に応じて、第４信号のみ、第５信号のみ、第４信号と第５信号の両方を含む信号、のうち、いずれか１つを選択し、後段に出力するようにしてもよい。
また、出力部５３０は、入力信号が音信号である場合には、周波数帯域に対応する信号を音信号として出力し、周波数帯域よりも低域側の信号について振動を発生させる信号である振動波形として出力する。

図７は、図１における信号処理システム１の動作を説明するシーケンス図である。ここでは、信号処理装置１０から信号処理装置５０に対して、無線通信装置３０及び無線通信装置４０を介して、振動信号を伝達する場合について説明する。
信号処理装置１０の信号入力部１１０は、外部から入力される振動信号を入力し（ステップＳ１０１）、信号処理装置１０の信号加工部１２０は、入力された振動信号について、低域側の周波数成分が伝達対象の周波数帯域に収まるように加工処理を行う（ステップＳ１０２）。この加工処理は、時間方向における圧縮であってもよいし、振動信号を周波数空間に変換した後にシフト量Ｓに応じて周波数をシフトする加工であってもよい。そして、信号処理装置１０の出力部１３０は、加工後の振動信号を無線通信装置３０に出力する（ステップＳ１０３）。ここで、無線通信装置３０が周波数空間で表された振動信号を無線通信によって送信することができない場合には、出力部１３０が、周波数空間において表された振動信号を逆フーリエ変換することで時間空間に変換した後、無線通信装置３０に出力するようにしてもよい。

無線通信装置３０は、信号処理装置１０から出力された振動信号を入力すると（ステップＳ３０１）、振動信号を無線によって通信相手である無線通信装置４０に対して送信する（ステップＳ３０２）。ここでは、振動信号の低域側の信号は、無線通信装置３０において伝達可能な周波数帯域に収まる周波数帯域の信号となっているため、無線通信装置３０から無線通信装置４０に送信する段階で、低域側の周波数成分が欠落することがない。

無線通信装置４０は、無線通信装置３０から送信された振動信号を受信すると（ステップＳ４０１）、受信した振動信号を信号処理装置５０に出力する（ステップＳ４０２）。

信号処理装置５０は、無線通信装置４０から振動信号を受信すると（ステップＳ５０１）、受信した振動信号の周波数成分が低域側となるように振動信号を加工し（ステップＳ５０２）、加工後の振動信号を後段の機器に出力する（ステップＳ５０３）。このステップＳ５０２における加工は、ステップＳ１０２において信号処理装置１０において加工された圧縮方法に対応していれば、時間軸方向における信号の伸張であってもよいし、周波数空間において低域側に周波数をシフトさせる処理であってもよい。また、周波数空間において低域側に周波数をシフトさせる処理を行っていた場合には、信号処理装置５０の出力部５３０は、振動信号に対して逆変換フーリエ変換を行うことで、振動信号を時間空間に変換した後に、後段の機器に出力するようにしてもよい。

図８は、信号処理装置１０の他の実施形態である信号処理装置１０Ａの構成を示す概略機能ブロック図である。信号処理装置１０と共通する機能について同じ符号を付し、その説明を省略する。
信号入力部１１０Ａは、振動信号入力部１１１と、コンテンツ取得部１１２と、信号合成部１１３とを含む。
振動信号入力部１１１は、伝達対象の周波数帯域よりも低い周波数の信号を入力する。例えば、振動信号入力部１１１には、出力したい振動に応じた信号が外部から入力される。
コンテンツ取得部１１２は、伝達対象の周波数帯域の信号である。この信号は、音を出力することが可能なデータであってもよく、人の声をマイク等で収集して符号化された音声データや、楽曲の音を表す楽曲データ、効果音や環境音を表す音響データであってもよい。コンテンツ取得部１１２は、例えば、既存のコンテンツを取得してもよい。

信号合成部１１３は、振動信号入力部１１１から入力される信号とコンテンツ取得部１１２から入力される信号を合成することで、伝達対象の周波数帯域の信号と伝達対象の周波数帯域よりも低い帯域の信号とを含む信号を生成する。

このように、信号処理装置１０Ａは、コンテンツに対して、外部から入力される振動信号を追加で付加することができる。そのため、伝達対象の周波数帯域よりも低い帯域の信号が含まれていないコンテンツがあったとしても、そのコンテンツに対して後から、振動信号を加えた上で、信号加工部１２０によって加工処理をすることができる。
信号処理装置１０Ａから出力される信号は、伝達対象の機器に接続された信号処理装置に無線通信装置等を介して出力してもよいし、記憶装置２０に記憶するようにしてもよい。

図９は、信号処理装置５０の他の実施形態である信号処理装置５０Ａの構成を示す概略機能ブロック図である。信号処理装置１０と共通する機能について同じ符号を付し、その説明を省略する。
信号分離部５１５は、信号入力部５１０から入力される入力信号が複数チャンネルの音信号である場合に、チャンネル毎に分離し、第１チャンネルの信号を伸張部５２０に出力し、第２チャンネルの信号を信号補間部５２５と出力部５３０とに出力する。
第１チャンネルは、例えば、伝達対象の周波数帯域よりも低域の周波数成分を含む信号である。第２チャンネルは、伸張部５２０によって伸張処理を行わない信号であり、例えば、低域の周波数成分を含まない信号である。

信号補間部５２５は、信号分離部５１５から得られた信号に基づいて、伸張部５２０から得られた信号を補間して出力部５３０に出力する。ここで、伸張部５２０によって伸張された信号は、低域の周波数成分を含むように圧縮処理が行われた際に、高域の周波数成分が、伝達対象の周波数帯域に収まらずに欠落する場合がある。そのような場合、欠落しうる周波数に基づいてクロスオーバー周波数を予め定めておき、信号補間部５２５が、このクロスオーバー周波数に基づいて、伸張部５２０から得られた信号の高域側に、信号分離部５１５から得られる信号のうちクロスオーバー周波数よりも高域側の信号を合成する。これにより、伸張部５２０によって伸張された信号において、高域側の周波数成分が欠落していたとしても、他のチャンネルにおいて得られた高域側の周波数成分の信号を用いて補間することができる。ここでは、他のチャンネルの信号を用いて補間するため、完全に元の信号に必ずしも戻るものではないが、あるチャンネルだけ常に特定の高域の周波数成分が欠落してしまうことで生じる音の聞こえ方における違和感を低減することができる。
出力部５３０は、信号補間部５２５によって補間された後の信号と、信号分離部５１５から得られた信号とを後段の機器に出力する。これにより、複数チャンネルのそれぞれの信号を出力できるだけでなく、伝達対象の周波数帯域よりも低域の周波数の信号を、いずれかのチャンネルの信号に含めて後段に伝達することができる。

上述した実施形態においては、低域側の信号について、処理対象領域に収まるように信号を加工し、再生側の装置において、信号を復元して出力するようにした。これにより、可聴帯域の信号についてはスピーカ等の出力装置から出力することで、音として出力することができる。そして、可聴帯域よりも低い周波数の信号であっても、処理対象領域から欠落することなく再生側で受け取って再生することができる。これにより、可聴帯域よりも低い周波数の信号についても、振動として出力することが可能となる。
これにより、一般的なシステムでは低域側の信号が伝達されないが、上述した信号処理システムでは、低域側の信号も伝達することができるので、後段の機器において、この低域側の信号を出力することができる。

これにより、例えば、上述の信号処理システムをゲーム機等のエンターテイメント機器に適用した場合には、ゲームの進行状況や、ゲームのシーンや操作内容に応じた振動をユーザに対して伝達することができる。振動装置がゲームのコントローラに設けられている場合には、コントローラを持つユーザの手に振動を伝達することができる。振動装置が、ゲームをプレイするユーザが着座するシートに設けられている場合には、シートの背もたれ、座面、フットレスト等の少なくともいずれかの部位からユーザに対し、ゲームの進行状況等に応じた振動を伝達することができる。

また、例えば、音楽の演奏のライブが収録されたコンテンツを再生する場合であっても、ライブ会場において発生された低域側の振動に応じた波形信号についても、再生側に伝達することで、再生側において、その低域側の信号を振動として再生することができる。これにより、低域側の周波数成分を含む信号に対応する振動をユーザに伝達することができるため、音として聞こえる振動だけでなく、ライブ会場において体に伝達される振動（低域の周波数成分を持つ振動）についても、再生側において伝達することができるため、コンテンツを再生したとしても、ライブ感を向上させることで、臨場感・没入感を向上させることができる。また、コンテンツが映画である場合には、映画のシーンに応じた振動を信号としてコンテンツに含めるようにすることで、例えば、映画に登場する登場人物やキャラクターが感じている振動を視聴者にも与えることができるため、現実感を向上させたコンテンツを提供することができる。

また、上述した実施形態においては、既存のコンテンツに対して、振動信号とともに処理対象領域に含まれるように加工しておくことで、既存のコンテンツを活用して振動信号を含むコンテンツを作成することが可能となる。これにより、このコンテンツをサーバからダウンロードする、あるいは記録媒体から読み出すことで、振動信号を含むコンテンツを復元処理することで、音信号と振動信号を取り出し、再生することができる。

このような振動装置は、例えば、椅子（座席）に取り付けることが可能な装置であってもよい。例えば、座面、背もたれ、ヘッドレスト、フッドレスト等のうち少なくともいずれか１つに取り付けるようにしてもよい。

また、上述した実施形態によれば、既存の音声処理技術（記録・再生技術や伝送技術）を用いて記録・伝送する場合であっても、皮膚により感知されるような振動波形を伝送することができる。また、既存の音声処理技術を用いて振動情報を処理することができるため、ハードウェア・部品やフォーマットなどの規格を共通化することができる。また、広く普及している既存の音声処理技術を用いることができるため、処理の基幹部分の実装を変更することなく、振動波形の処理を行うことができる。

また、上述した実施形態において、時間軸方向において圧縮・伸張する処理を行った場合には、フーリエ変換処理あるいは逆フーリエ変換処理を行う必要がないので、信号処理の負荷を低減することができ、リアルタイム性を向上させることができる。

なお、上述した実施形態において、信号処理装置１０、信号処理装置１０Ａは、無線通信装置３０とは異なる機器として説明したが、信号処理装置１０または信号処理装置１０Ａが、無線通信装置３０に一体として内蔵されるようにしてもよい。例えば、信号処理装置１０または信号処理装置１０Ａと、無線通信装置３０との機能を含むスマートフォン、ＰＣ、タブレット、携帯電話、のうちいずれかとして構成するようにしてもよい。
また、上述した実施形態において、信号処理装置５０、信号処理装置５０Ａは、無線通信装置４０とは異なる機器として説明したが、信号処理装置５０または信号処理装置５０Ａが、無線通信装置４０に一体として内蔵されるようにしてもよい。例えば、信号処理装置５０または信号処理装置５０Ａと、無線通信装置４０との機能を含むスマートフォン、ＰＣ、タブレット、携帯電話、のうちいずれかとして構成するようにしてもよい。

上述した実施形態における信号処理装置１０、信号処理装置５０、信号処理装置１０Ａのいずれかの機能を、ＣＰＵ（中央処理装置）等の処理装置若しくは専用の電子回路で構成するよいにしてもよい。
また、上述した実施形態における信号処理装置１０、信号処理装置５０、信号処理装置１０Ａのいずれかの機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…信号処理システム、１０…信号処理装置、１０Ａ…信号処理装置、２０…記憶装置、３０…無線通信装置、４０…無線通信装置、５０…信号処理装置、５０Ａ…信号処理装置、６０…駆動装置、１１０…信号入力部、１１０Ａ…信号入力部、１１１…振動信号入力部、１１２…コンテンツ取得部、１１３…信号合成部、１２０…信号加工部、１２１…変換部、１３０…出力部、５１０…信号入力部、５１５…信号分離部、５２０…伸張部、５２１…変換部、５２５…信号補間部、５３０…出力部

Claims (5)

1. 伝達対象の周波数帯域に含まれる信号である第１信号と前記周波数帯域よりも低域側の周波数の信号である第２信号とが前記周波数帯域に収まるように、前記第１信号と前記第２信号とを時間方向に圧縮することで加工する信号加工部
   を有し、
   前記信号加工部は、圧縮する対象の信号の時間方向の長さである信号長と時間方向に圧縮された後の信号の時間方向の長さである信号長との差に応じた信号長の信号である第３信号を、前記圧縮された後の信号の時間方向における前後の少なくともいずれかに付加する
   信号処理装置。
2. 前記信号加工部は、前記圧縮する対象の信号の開始時刻以前である所定の信号長の第４信号と、前記圧縮する対象の信号と、前記圧縮する対象の信号の終了時刻以後である所定の信号長の第５信号とを含む信号の時間方向の長さである信号長と、時間方向に圧縮された後の信号の時間方向の長さである信号長との差に応じた信号長の第６信号を、前記第３信号を付加することに代えて、前記圧縮された後の信号の時間方向における前後の少なくともいずれかに付加する
   請求項１に記載の信号処理装置。
3. 請求項１に記載された信号処理装置と、
   前記信号処理装置からの入力信号の周波数帯域が当該周波数帯域の低域側に下がるように加工する伸張部と、
   前記加工された信号のうち前記周波数帯域に対応する信号と、前記周波数帯域よりも低域側の信号とのうち少なくともいずれか一方を出力する出力部と、
   を有する信号処理装置と、
   を有する信号処理システム。
4. 請求項１又は請求項２に記載の信号処理装置としてコンピュータを機能させるためのプログラム。
5. 信号加工部が、伝達対象の周波数帯域に含まれる信号である第１信号と前記周波数帯域よりも低域側の周波数の信号である第２信号とが前記周波数帯域に収まるように、前記第１信号と前記第２信号とを時間方向に圧縮することで加工するものであり、
   前記信号加工部が、圧縮する対象の信号の時間方向の長さである信号長と時間方向に圧縮された後の信号の時間方向の長さである信号長との差に応じた信号長の信号である第３信号を、前記圧縮された後の信号の時間方向における前後の少なくともいずれかに付加する
   信号処理方法。

Images