JP3579639B2

JP3579639B2 - Signal processing method, apparatus and program recording medium

Info

Publication number: JP3579639B2
Application number: JP2000251312A
Authority: JP
Inventors: 昌英水島; 正人三好
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-08-22
Filing date: 2000-08-22
Publication date: 2004-10-20
Anticipated expiration: 2020-08-22
Also published as: JP2002064895A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば音楽鑑賞の際、音響信号と共に、加振器等の振動を外部に伝える振動体を耳介もしくは身体の一部に接触させて振動感覚を得ることで、迫力等を増すこと、また、聴覚障害者の聴覚情報の欠落を補うことを目的としたヘッドホンなどの音響機器などに適用され、特に入力音響信号に対し部分的に強調するようにした信号処理方法、その装置及びプログラム記録媒体に関する。
【０００２】
【従来の技術】
音楽等を受聴する際、音楽信号を「耳で聞く」だけでなく、皮膚感覚で体感するために、加振器等をヘッドホンなどに内蔵して、その振動を外部に伝える振動体（加振器）を耳介もしくは身体の一部に接触させる音響装置は多数提案されている。図１０は、この種の従来技術の一例を示している。ＣＤプレイヤやＭＤプレイヤ等のステレオ信号再生装置１００の左、右出力信号をそれぞれラウドスピーカ駆動信号と加振器駆動信号に分岐する。その左、右ラウドスピーカ駆動信号は、それぞれ左、右音量調整器１０１Ｌ，１０１Ｒで音量を調整された後、左、右ラウドスピーカ駆動用増幅器１０２Ｌ，１０２Ｒで増幅され、左、右のラウドスピーカ１０６Ｌ，１０６Ｒに入力される。一方、左、右加振器駆動信号は、それぞれ左、右低域通過フィルタ１０３Ｌ，１０３Ｒで振動皮膚感覚に寄与しない高周波数帯域信号を遮断された後、左、右振動量調整器１０４Ｌ，１０４Ｒで左、右加振器１０７Ｌ，１０７Ｒに送られる信号の大きさが調整された後、左、右加振器駆動用増幅器１０５Ｌ，１０５Ｒで増幅した信号が左、右加振器１０７Ｌ，１０７Ｒに送られ、ラウドスピーカ１０６Ｌ，１０６Ｒ、加振器１０７Ｌ，１０７Ｒを内蔵するヘッドホン筐体１０８Ｌ，１０８Ｒをそれぞれ加振器１０７Ｌ，１０７Ｒが揺らすことで耳介付近の皮膚に振動感覚を伝達する。ここで、加振器１０７Ｌ，１０７Ｒの最低共振周波数（以下、ｆ０と称する）は、有効な振動感覚が得られる様に１００Ｈｚ以下であることが多い。
【０００３】
さらに振動感覚には定位は生じにくいため、ステレオ信号を混合しモノラルにして、同じ信号を左右の加振器１０７Ｌ，１０７Ｒに送ってもよい。
このような方法により、音楽信号に含まれる重低音信号（主に１００Ｈｚ以下）の信号に同期した振動感覚を付加することが可能になり、迫力ある音楽再生、あるいは聴覚障害者が利用した場合、聞こえの欠落を補う効果が期待できる。
しかし、上記のように単にその信号の重低域成分によって振動感覚を得ようとすれば、必ずしも心地よい振動感覚が得られる保証はない。例えば重低音域での定常的な信号による連続的振動は、しばしば不快感を感じることがある。また、原信号に加振器のｆ０付近の周波数成分が含まれていなければ十分な振動感覚を得ることは出来ない。特に聴覚障害者の聴覚情報の欠落を振動感覚で補う目的のためにはこれでは不十分である。
【０００４】
【発明が解決しようとする課題】
この発明の一つ目の目的は、不快な定常的振動を抑制し、主に音楽のリズムを強調することができる信号処理方法、その装置及びプログラム記録媒体を提供することにある。
この発明の二つ目の目的は、入力原信号に加振器のｆ０付近の重低音成分が含まれていないとき、有効な振動成分を生成することができる音響信号処理方法、その装置及びプログラム記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】
上記の課題を解決するため、入力信号の立上りが急激な部分をアタック部分として検出し、そのアタック部分を強調する。
このアタック部分を検出し、強調（アタック強調）を基本とし、音響信号を複数の周波数帯域に分割し、その各帯域信号に対して、上記アタック部分検出、強調を行う。ただし、分割された複数の周波数帯域信号中の、所定周波数、つまり加振器のｆ０以上の帯域信号に対しては、各帯域信号をｆ０付近の帯域に周波数シフトし、その周波数シフトされた帯域信号に対し、アタック強調する。また、所定周波数以下の帯域信号に対してアタック強調が行われると、アタック強調され、かつ周波数シフトされた帯域信号が軽視されるように、アタック強調され、かつ周波数シフトされた帯域信号に対し重み付けを行う、これら処理された各帯域信号を合成する。
作用
入力された音楽信号を複数の周波数帯域に分割する。分割した帯域のうち、加振器のｆ０付近よりも高域の各帯域においては、例えば４００Ｈｚ付近の帯域を１／４にシフトダウンして１００Ｈｚ信号を合成するなどしてｆ０付近まで周波数シフトする。次に各帯域ごとにエンベロープもしくは瞬時パワーとその平均値を計算し、その比、もしくは差を取ることで信号の変動の大きさ、アタック係数を算出する。次にアタック係数から、各帯域ごとに信号のアタック部分、すなわち立ち上がりの急激な部分を強調し、定常な部分を抑圧するための係数、アタック強調係数を算出する。次に、アタック強調係数を各帯域の信号に乗算し、さらに加振器のｆ０付近の帯域信号の有無等に応じて、各帯域に重み係数を乗じて、全ての帯域を加算、再合成する。
【０００６】
【発明の実施の形態】
図１にこの発明の実施例を示し図１０と対応する部分に同一符号を付けてある。図１に示す通り、この発明による信号処理部１１０Ｌ，１１０Ｒが、この例では図１０に示した従来技術における低域通過フィルタ１０３Ｌ，１０３Ｒの部分に設けられる。信号処理部１１０Ｌ，１１０Ｒは同一構成であり、その実施例を図２に示す。
【０００７】
入力端子２００から入力された音楽信号を複数の帯域通過フィルタ２０１で複数の帯域信号に分割する。例えばｆ０が１００Ｈｚの時、中心周波数が６３Ｈｚ，１２５Ｈｚ，２５０Ｈｚ，５００Ｈｚの各帯域通過フィルタにて分割する。このとき、加振器１０７のｆ０よりも低い周波数帯域成分と高い周波数帯域成分で処理方法が異なる。まず、ｆ０よりも低い周波数帯域成分の処理を説明する。
これらの帯域信号の処理は、そのｆ０以下の帯域通過フィルタ２０１Ｌよりの通過成分についてアタック強調係数計算部２０３においてアタック強調係数を計算し、その係数を、帯域通過フィルタ２０１Ｌを通過した成分に乗算器２０６で乗算し、その乗算出力信号を加算器２０７へ送る。また、アタック強調係数計算部２０３の計算結果より、高域成分重み係数計算部２０４において高域成分の重み係数を計算する。高域成分の重み係数については後で説明する。
【０００８】
次に加振器１０７のｆ０よりも高い周波数帯域成分の処理方法を説明する。これらの高い周波数帯域成分は、そのまま加振器１０７に送られても十分な振動感覚を得ることは出来ない。よって、これらの帯域の成分は加振器１０７のｆ０付近まで周波数シフトする。つまり帯域通過フィルタ２０１Ｈを通過した成分を周波数シフト器２０２で周波数シフトする。このとき、高い周波数帯域成分ほど、大きなシフト幅が必要であり、これら全てのｆ０より高い周波数帯域成分を加振器１０７のｆ０付近まで周波数シフトする。前記数値例では中心周波数１２５Ｈｚ，２５０Ｈｚ，５００Ｈｚの各帯域信号をそれぞれ周波数を１／２，１／２，１／４とする。このようにしてあらゆる入力信号に対して、加振器１０７を有効に駆動することを可能とする。
【０００９】
周波数シフトした成分に対し、アタック強調係数を計算、乗算するところは加振器１０７のｆ０よりも低い周波数帯域成分に対する処理と同じである。アタック強調係数の計算は周波数シフト前の帯域通過信号又は周波数シフトされた帯域信号を用いて行う。何れにしても帯域信号中の急激な立上りを検出できる係数を計算すればよい。乗算器２０６でアタック強調係数を乗算した各帯域処理成分に前述の高域成分重み係数計算部２０４で計算した高域成分重み係数を乗算器２０８で乗算し、加算器２０７へ送る。
【００１０】
加算器２０７で各帯域成分についての処理信号を加算し、出力端子２０５から出力する。
次にアタック強調係数計算部２０３の具体例を図３を用いて説明する。以下では入力信号は例えば２２ｋＨｚで標本化されたデジタル信号であるとする。
入力端子３００には各帯域通過成分（信号）が入力される。まず実効値計算部３０１でその入力成分（信号）の瞬時実効値ｒｍｓを計算する。この計算は実効値の定義通り二乗平均値の平方根を計算しても良いし、簡易な方法として絶対値の短時間平均を計算しても良い。これら実効値と絶対値の短時間平均値との両者を含めて短時間平均値ｒｍｓと記す。この短時間平均値は数十ミリ秒の平均であり、いわゆる処理フレームである。この短時間平均値ｒｍｓは長時間平均化部３０２に送られ、短時間平均値ｒｍｓの長時間平均化実効値ａｖｒが計算される。この平均化の方法には、例えば重み付き移動平均法などがある。この平均時間は数百ミリ秒乃至数秒である。これらｒｍｓとａｖｒはアタック係数計算部３０３に送られ、アタック係数ａｋｃが計算される。
【００１１】
ａｋｃは、平均的な信号の大きさからの瞬時の大きさの差異の尺度を表わすもので次式の計算方法が考えられる。
ａｋｃ＝ｒｍｓ／（ａｖｒ＋ε）（１）
ａｋｃ＝ｒｍｓ−ａｖｒ（２）
ここでεはその帯域信号が小さいときにアタック係数が過度に大きくなるのを防ぐための小さな正の実数である。要はｒｍｓとａｖｒとの差異に基づいてａｋｃを求める。
【００１２】
このアタック係数ａｋｃからアタック強調係数計算部３０４において、アタック強調係数ｇを算出する。アタック係数ａｋｃが大きいほど強調係数ｇも大きくなる関数を選ぶ、例えば（１）式のａｋｃを用いる場合を例にすると図４に示すようになる。横軸は２０ｌｏｇ_１０ａｋｃ、縦軸は２０ｌｏｇ_１０ｇを表している。（１）式の計算方法において、ａｋｃが１より大きいときには、信号の平均的な大きさよりもその瞬時の大きさが大きいことを意味する。そして、ａｋｃが大きいほど、信号の立上りは速いことになる。よって、ａｋｃが１以上（２０ｌｏｇ_１０ａｋｃ≧０）の時にｇを１以上（２０ｌｏｇ_１０ｇ≧０）、ａｋｃが１より小さい時（２０ｌｏｇ_１０ａｋｃ＜０）にｇを１より小さくする（２０ｌｏｇ_１０ｇ＜０）ことで、アタック部分を強調するための係数が得られる。つまりこの例ではａｋｃが１以上でアタック部の利得を増大して強調し、かつａｋｃが１以下では、利得を下げてつまりアタック部以外を抑圧する。このａｋｃからｇを求めることは、図４の場合は実線の折線の３つの線分部分についての関数にａｋｃを代入してそれぞれｇを演算して求めてもよく、あるいはａｋｃとｇとの対応のテーブルを作っておき、ａｋｃでそのテーブルを参照してｇを求めてもよい。またａｋｃとしては図５中破線で示すようにａｋｃ≧１でｇ＝１とし、ａｋｃ＜１でｇを１以下として、アタック部分以外を抑圧することにより結果としてアタック部分を強調してもよい。あるいは、図４中に１点鎖線で示すように、ａｋｃ≧１で利得を増大させアタック部分を強調し、ａｋｃ＜１でｇ＝１とし、つまりアタック部分以外では利得を１としてもよい。
【００１３】
このｇの値は、瞬時に大きく変動してしまうため、そのまま帯域処理信号（成分）に乗算すると、信号が不連続になり自然性を損ねたり、異音を生じてしまうことがある。そこで、スムージング部３０５において、ｇがなめらかに変動するようにする。その処理結果をｇｓとすると、例えば、
ｇｓ＝ｇｓ′＋δ×（ｇ−ｇｓ′）（３）
を演算する。ｇｓ′は一時刻前のｇｓ，δは変動の滑らかさを決める１以下０より大きな係数で、小さいほどなめらかに変動する。アタックを強調するのが目的であるから、ｇがｇｓ′よりも大きいときには１、もしくはそれに近い大きな値にδを設定し、ｇｓ′よりもｇが小さな時には小さなδに設定することが有効である。このｇｓ＞ｇの時のδの設定でその帯域信号中の定常な信号をどのくらいの速さで抑圧するかを調整することが可能となる。
【００１４】
例えばスムージング部３０５内において大小判定部３０５ａによりｇ＞ｇｓ′か否かの判定を行い、ｇ＞ｇｓ′ならばδ≒１を出力し、ｇ＞ｇｓ′でないならば小さなδ値、例えば０．１を出力し、この大小判定部３０５ａで出力されたδを用いて（３）式を計算して、ｇｓを出力する。このδの値、特にｇ＞ｇｓ′でない場合は、アタック部分を強調した後、その後の部分をどの程度の速度で抑圧するかは利用者の好みもあるため、スムージング部３０５にδ設定部３０６を設けて、ｇ＞ｇｓ′でない時のδの値、場合によってはｇ＞ｇｓ′の時のδの値も設定できるようにされている。
【００１５】
一般に振動の皮膚感覚の感度は、音知覚に比べると鈍い。つまり、振動感覚のダイナミックレンジは狭いので、加振器駆動信号のダイナミックレンジを圧縮することも有効である。そこで、アタック強調とダイナミックレンジの圧縮処理を同時に行う場合のアタック強調係数計算方法を説明する。
帯域別信号（成分）の大きさの最大基準値をｔｈｄ、ダイナミックレンジ圧縮の比率をｒｔとすると、アタック強調及びダイナミックレンジ圧縮係数ｇ２は、
ｇ２＝（ｔｈｄ／（ｒｍｓ＋ε））^ｒｔ（４）
を計算して求める。ここで、εはｒｍｓが小さいときにｇ２が過渡に大きくなることを防ぐための小さな正の実数である。ｒｔを１にすると、ｇ２を帯域信号に乗算することで、ほぼその大きさが全てｔｈｄとなる。ｒｔを０．５にするとダイナミックレンジは１／２に圧縮される。ｒｔを０にするとｇ２は全てのｒｍｓで１になりダイナミックレンジは圧縮されない。また、ｒｔを負の値にするとダイナミックレンジは伸長される。つまり小さい信号をより小さくする係数になる。この関係を図５に示す。横軸が２０ｌｏｇ_１０ｒｍｓ、縦軸はｇ２を乗算した後の出力を示している。そこで、ｒｔを前述のアタック係数ａｋｃの関数にすることを考える。アタック係数が大きいときに強調、アタック係数が小さいときに抑圧する係数にしたいのであるから、アタック係数が大きいとき、つまりａｋｃ≧１の時にｒｔを正の値にすればｇ２は大きな値となり、アタック係数が小さいとき、つまりａｋｃ＜１の時にｒｔを負の値にすれば（ｔｈｄ／（ｒｍｓ＋ε））は１より大であるからｇ２は小さくなる。さらにアタック係数ａｋｃが大きいほどより１に近いｒｔに、逆にａｋｃが小さいほどｒｔを負でかつ絶対値の大きな値にすれば、図５から、アタック部分がより強調され、定常部分がより抑圧されることがわかる。
【００１６】
ｇ２をスムージングする過程は、ｇを用いる先の方法と同じであるので割愛する。このようにアタック部の強調と、アタック信号のダイナミックレンジを抑圧するアタック強調係数を求めるには、図３中に破線で示すように短時間平均値ｒｍｓとアタック係数ａｋｃとをアタック強調係数計算部３０４′に入力して、圧縮比率取得部３０４ａにおいてａｋｃから圧縮比率ｒｔを求める。このｒｔを求めるのは、演算によってもよく、あるいはテーブルを参照することによってもよい。この求めたｒｔを用いて（４）式を計算してｇ２を求め、このｇ２をスムージング部３０５へ出力すればよい。
【００１７】
次に図２中の周波数シフト器２０２の具体例を説明する。
図６は周波数シフト器２０２をオクターブ単位で行う場合の例である。まず、入力端子４００に入力した信号ｓｉを２値化器４０１で２値化し、また絶対値計算器４０３で絶対値をとる。２値化した値をｄｇ、絶対値をｅｖとすると、
ｄｇ＝１（ｓｉ≧０）
ｄｇ＝−１（ｓｉ＜０）（５）
ｅｖ＝｜ｓｉ｜（６）
次に、２値化した値ｄｇの系列を、分周器４０２で１／Ｎに分周する。ここでＮは分周の周期を表し、オクターブ単位で分周するためにはＮは２，４，８，…，２^ｍ（ｍ＝１，２，３…）の値をとる。入力信号ｓｉは前段で帯域制限された信号である。その帯域の中心周波数をｆｍとすると、加振器１０７のｆ０付近までオクターブ単位でシフトするためには、
ｍ′＝ｌｏｇ_２（ｆｍ／ｆ０）（７）
を計算し、その結果ｍ′から最も近いｍ（自然数）を選べば良い。例えばｆ０＝１３０Ｈｚ，ｆｍ＝１０００Ｈｚであると、ｍ′は２．９４３であるから３を選んで、３オクターブダウン、つまり１／８に分周すれば良い。分周した結果とｅｖを乗算器４０４で乗算し、低域通過フィルタ４０５で２値化によって高域に発生する高調波成分を除去して出力端子４０６から出力する。
【００１８】
この方法では、厳密には単振動オシレータ信号に振幅変調がかかった信号でなければ正確なｍオクターブシフトダウンは出来ない。しかし、音楽信号の場合は調波構造が多く、基本波の倍、その倍…という成分が主として含まれ、雑音成分が比較的少ないから、前述のように通過中心周波数が６３Ｈｚ，１２５Ｈｚ，２５０Ｈｚ，５００Ｈｚで隣接帯域が互いに一部重なっているような通過帯域特性のフィルタを用いて、近似的に単一周波数に近い波形にすることができる。
【００１９】
次に図２中の高域成分重み係数計算部２０４の具体例を説明する。
まず、加振器のｆ０付近の周波数成分がないことを検出し、その場合に１を出力し、加振器のｆ０付近の成分が大きい場合に０を出力する。
加振器のｆ０付近成分の有無は、リズムを構成する適当な一定時間間隔Ｔｒ［ｓｅｃ］（例えば１秒程度）内で、図２における周波数シフト実施境界よりも低い周波数帯域の少なくとも一つの帯域成分（信号）のアタック強調係数ｇｓが１以上であったときに、ｆ０成分があったと判断して、重み係数ｇｈ＝０を出力する。これは、例えばリズム楽器等は、音の持続時間が短く、一定間隔をおいて鳴らされるものだからである。逆にｆ０以下の全ての帯域信号成分のアタック強調係数がＴｒ［ｓｅｃ］の間、１より小さい時、それらの成分が存在しないと判断し、重み係数ｇｈ＝１を出力する。
【００２０】
つまり、リズム楽器では、ある音が周期的に発生し、加振器はこの周期性を強調するためのものである。ｆ０以下の帯域でアタック強調ができ、更にｆ０以上の帯域でアタック強調をすると、ｆ０以下のアタック強調により周期性が強調された上に、更にその間に、ｆ０以上の帯域によるアタック強調が入ると、本来のリズムの周期性がくずれ、加振器を用いる意味がなくなるおそれがある。よって、このような場合は重み係数ｇｈを０として、ｆ０以上の帯域信号を除去する。一方、ｆ０以下の帯域成分中に、アタック部分がない場合でも、ｆ０以上の帯域成分中に、アタック部分があり、これを検出して、強調することによりリズムを強調することが可能となる。よってこのような場合は重み係数ｇｈを１とする。
【００２１】
次に重み係数ｇｈのもう一つの計算方法の実施例を説明する。上記の実施例では０から１、１から０と不連続に更新されるため、不自然な振動になるおそれがある。そこで、重み係数ｇｈが連続的に更新する場合は例えば次のようにすればよい。
まず、図２における周波数シフト実施境界よりも低い周波数帯域の少なくとも一つのアタック強調係数が１以上であったときに、成分があったと判断して、重み係数ｇｈを小さくする。ここで、一つ前の時刻の重み係数をｇｈ′とすると、現時刻の重み係数ｇｈを以下のようにする。
【００２２】
ｇｈ＝αｇｈ′ （８）
ここで、αは０以上で１より小さい実数である。０にすると瞬時に減衰される前述の方法と同じである。１に近いほど、徐々に減衰される。
逆に周波数シフト実施境界よりも低い周波数帯域の全てのアタック強調係数が１より小さい時に、重み係数を徐々に大きくする。
ｇｈ＝ｇｈ′＋β（１−ｇｈ′）（９）
βは０より大きく１以下の実数である。１にすると、瞬時に重み係数が１になる。０に近いほど、１に向かって徐々に重み係数が大きくなり、徐々に周波数シフト成分を加えていくことになる。つまり図２中の高域成分重み係数計算部２０４内に判定部２０４ａを設け、周波数シフト実施境界よりも低い周波数帯域の少くとも１つのアタック強調係数ｇｓが１以上であるか否かを判定し、１以上のものがあれば（８）式を演算して重み係数ｇｈを出力し、１以上のものがないと判定されると、（９）式を計算して重み係数ｇｈを出力する。
【００２３】
また、重み係数を全て零にすれば、結果的にｆ０より下の周波数帯域信号だけを用いてアタック強調することになる。例えば、ベースドラム等が常にリズムを刻んでいることが確実な音楽信号等を対象とするのであれば、それでも有効であり、周波数シフト等を含むｆ０よりも高域の処理を省略しても同じであることから、処理を軽くすることが可能となる。
上述した処理をコンピュータにより実行させることもできる。例えば図７に示すように、入力部１１、出力部１２、記憶部１３、信号処理プログラムが格納されたメモリ１４、ＣＰＵ１５がバス１６に接続されている。メモリ１４に格納された信号処理プログラムはハードディスク、フロッピーディスク、ＣＤＲＯＭなどあるいは通信データとしてサーバからインストロールされたものであり、ＣＰＵ１５がこのプログラムを実行することにより、例えば図８に示す処理が行われる。
【００２４】
即ち入力部１１から入力信号が入力されると、記憶部１３に順に格納すると共に、順次、図２中に示したように複数の周波数帯域信号に分割し、各帯域信号ごとに記憶部１３に格納する（Ｓ１）。
その１つの帯域信号の１フレーム（例えば５０ミリ秒）分のデータを記憶部１３から読み出し（Ｓ２）、その読み取ったデータについてアタック強調係数ｇｓを計算する（Ｓ３）。この計算は例えば図３を参照して説明したように行う。この計算したｇｓはその帯域信号対応に記憶部１３に記憶する。またアタック強調係数を計算してない帯域信号があれば（Ｓ４）、ステップＳ２に戻って、別の帯域信号を１フレーム分取出してｇｓの計算を行う。なお、長時間平均値ａｖｒを計算するために必要なｒｍｓは各帯域ごとに常に必要な量を記憶部１３に保持しておく。
【００２５】
全ての帯域信号についてｇｓの計算を行うと、ｆ０より高い帯域信号を１フレーム分記憶部１３から取出し（Ｓ５）、その取出した帯域信号に対し、例えば図６に示した処理によりｆ０付近の帯域に周波数シフトし、その周波数シフトした帯域信号を記憶部１３に格納する（Ｓ６）。その後、また周波数シフトすべき帯域信号があるか調べ（Ｓ７）、またあればステップＳ５に戻ってその帯域信号を取出して周波数シフトして同様の処理を行う。ｆ０以上の帯域信号の全てに対して周波数シフト処理が終了すると、次のステップＳ８に移る。
【００２６】
ステップＳ８では、記憶部１３内の、ｆ０以下の帯域について求めたｇｓ中に１以上のものが１つでもあるかを調べ、先に図２中の高域成分重み係数計算部２０４について述べたように、重み係数ｇｈを０又は１にするか、（８）式又は（９）式の演算により求める。記憶部１３内の各帯域信号（又は周波数シフトした帯域信号）に対し、その帯域のｇｓをそれぞれ乗算し、また周波数シフトした帯域信号に対しては重み係数ｇｈを乗算する（Ｓ９）。
【００２７】
これらｇｓが乗算されたｆ０以下の帯域信号と、ｇｓとｇｈが乗算され、かつ周波数シフトされた帯域信号を合成して出力部１２から出力する（Ｓ１０）。
その後、ステップＳ１以下の次のフレームの信号についての処理を行い、実時間処理がなされる。なおステップＳ２，Ｓ３，Ｓ４によるアタック強調係数計算とステップＳ５，Ｓ６，Ｓ７による周波数シフトとの順序を入れかえてもよい。図９にこの発明の効果の例を示す。ＧＬＡＹの「ＷｉｎｔｅｒＡｇａｉｎ」のサビの一部分の信号を入力とし、図９Ａは図１０に示した従来の低域通過フィルタ１０３を通した波形であり、図９Ｂ、Ｃは（３）式及び（４）式を用いて処理した波形をそれぞれ示し、前者はδ＝０．０２、後者はδ＝０．１とした場合である。図９Ａはピーク成分の他に持続信号が存在しているが、図９Ｂ，Ｃは各ピーク成分ごとに持続信号成分が抑圧され、リズムが強調されている、またδを大きくした図９Ｃの方が、その抑圧が大きくなることがわかる。
【００２８】
【発明の効果】
以上の説明のようにこの発明によれば、音楽等を受聴する際、振動を皮膚感覚で体感する音響機器で、その振動を得る加振器を駆動する信号を加工する信号処理部において、定常的振動を抑制し、アタック部分を強調する、及び加振器の共振周波数帯域の成分の有無を検出し、その成分が存在しないときに高域成分から低域に周波数シフトした合成信号を出力する、これらのことが可能となり、以下の効果が期待できる。
【００２９】
（１）リズムが強調され、ポピュラー系音楽では、よりダイナミックな振動感覚を得ることが可能となる。また、聴覚障害者が音楽を受聴する際には、聞こえの欠落を振動知覚によるリズムで補う効果が期待できる。
（２）定常な信号による連続的な振動を抑えることができるため、快適な振動感覚を得ることが可能となる。
（３）例えばクラシック系の音楽などで、原信号では加振器を振動させる重低域成分が存在しない場合であっても、周波数シフトにより振動させることが可能となり、特に聴覚障害者のための補聴機能として、聞こえの足りない部分を補う効果が期待できる。
【図面の簡単な説明】
【図１】この発明の利用方法を説明するブロック図。
【図２】この発明の一実施例を示すブロック図。
【図３】図２中のアタック強調係数計算部２０３の具体例を示すブロック図。
【図４】アタック係数から強調係数を計算する場合の関係を示す図。
【図５】ダイナミックレンジ圧縮の比率を変化させたときの入力と出力の関係を示す図。
【図６】図２中の周波数シフト器２０２の具体例を示すブロック図。
【図７】この発明装置をコンピュータにより機能させる場合の構成例を示すブロック図。
【図８】図７に示した装置の処理手順の例を示す流れ図。
【図９】この発明の効果を説明するための波形図。
【図１０】従来技術を示すブロック図。[0001]
TECHNICAL FIELD OF THE INVENTION
According to the present invention, for example, when listening to music, a vibrating body that transmits vibration of a vibrator or the like to the outside together with an acoustic signal is brought into contact with an auricle or a part of a body to obtain a vibration sensation, thereby increasing power and the like. Also, a signal processing method, a device and a program applied to audio equipment such as headphones for the purpose of compensating for the lack of hearing information of a hearing-impaired person, and particularly for partially emphasizing an input audio signal It relates to a recording medium.
[0002]
[Prior art]
When listening to music, etc., in order to not only listen to the music signal with the ear, but also to experience the skin sensation, a vibrator (built-in) that transmits the vibration to the outside by incorporating a vibrator etc. in headphones etc. Many sound devices have been proposed for contacting the device with the pinna or a part of the body. FIG. 10 shows an example of this type of conventional technology. The left and right output signals of the stereo signal reproducing device 100 such as a CD player and an MD player are branched into a loudspeaker drive signal and a vibrator drive signal, respectively. The left and right loudspeaker driving signals are adjusted in volume by left and right loudspeakers 101L and 101R, respectively, and then amplified by left and right loudspeaker driving amplifiers 102L and 102R to produce left and right loudspeakers 106L. , 106R. On the other hand, the left and right vibrator drive signals are cut off high frequency band signals that do not contribute to the vibrating skin sensation by the left and right low-pass filters 103L and 103R, respectively, and then left and right vibration amount adjusters 104L and 104R. After the magnitudes of the signals sent to the left and right shakers 107L and 107R are adjusted, the signals amplified by the left and right shaker driving amplifiers 105L and 105R are sent to the left and right shakers 107L and 107R. The vibrators 107L and 107R shake the headphone housings 108L and 108R containing the loudspeakers 106L and 106R and the vibrators 107L and 107R, respectively, so that a vibration sensation is transmitted to the skin near the pinna. Here, the lowest resonance frequency (hereinafter referred to as f0) of the vibrators 107L and 107R is often 100 Hz or less so that an effective vibration sensation can be obtained.
[0003]
Furthermore, since localization hardly occurs in the sense of vibration, stereo signals may be mixed and converted into monaural, and the same signal may be sent to the left and right vibrators 107L and 107R.
According to such a method, it becomes possible to add a vibration sensation synchronized with a bass signal (mainly 100 Hz or less) included in the music signal, and when a powerful music reproduction or a hearing-impaired person uses the music, The effect of compensating for the lack of hearing can be expected.
However, simply trying to obtain a vibration sensation by the heavy and low frequency components of the signal as described above does not necessarily guarantee that a comfortable vibration sensation can be obtained. For example, continuous vibration due to a steady signal in a deep bass range often causes discomfort. If the original signal does not include a frequency component near f0 of the vibrator, a sufficient vibration sensation cannot be obtained. In particular, this is insufficient for the purpose of supplementing the lack of hearing information of a hearing-impaired person with a sense of vibration.
[0004]
[Problems to be solved by the invention]
A first object of the present invention is to provide a signal processing method, an apparatus and a program recording medium capable of suppressing unpleasant steady vibration and emphasizing mainly the rhythm of music.
A second object of the present invention is to provide an acoustic signal processing method capable of generating an effective vibration component when an input original signal does not include a deep bass component near f0 of the vibrator, an apparatus and a program therefor. It is to provide a recording medium.
[0005]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, a portion where an input signal rapidly rises is detected as an attack portion, and the attack portion is emphasized.
The attack portion is detected, the sound signal is divided into a plurality of frequency bands based on emphasis (attack emphasis), and the above-described attack portion detection and emphasis are performed on each band signal. However, for a predetermined frequency in a plurality of divided frequency band signals, that is, for a band signal of f0 or more of the vibrator, each band signal is frequency-shifted to a band near f0, and the frequency-shifted band is shifted. Attack emphasis is applied to the signal. Also, when attack enhancement is performed on a band signal of a predetermined frequency or less, weighting is performed on the attack-enhanced and frequency-shifted band signal so that the attack-enhanced and frequency-shifted band signal is neglected. And synthesizes each of the processed band signals.
Action
The input music signal is divided into a plurality of frequency bands. Of the divided bands, in each band higher than the vicinity of f0 of the vibrator, for example, the band near 400 Hz is shifted down to 1/4 to synthesize a 100 Hz signal, and the frequency is shifted to around f0. . Next, an envelope or instantaneous power and its average value are calculated for each band, and the ratio or difference is calculated to calculate the magnitude of the signal fluctuation and the attack coefficient. Next, an attack portion of the signal, that is, a portion with a sharp rise is emphasized for each band, and an attack emphasis coefficient for suppressing a steady portion is calculated from the attack coefficient. Next, the signal of each band is multiplied by an attack emphasis coefficient, and each band is multiplied by a weight coefficient according to the presence or absence of a band signal near f0 of the vibrator, and all the bands are added and recombined. .
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an embodiment of the present invention, and portions corresponding to those in FIG. 10 are denoted by the same reference numerals. As shown in FIG. 1, the signal processing units 110L and 110R according to the present invention are provided in the low-pass filters 103L and 103R in the prior art shown in FIG. 10 in this example. The signal processing units 110L and 110R have the same configuration, and an embodiment thereof is shown in FIG.
[0007]
The music signal input from the input terminal 200 is divided into a plurality of band signals by a plurality of band-pass filters 201. For example, when f0 is 100 Hz, division is performed by band-pass filters having center frequencies of 63 Hz, 125 Hz, 250 Hz, and 500 Hz. At this time, the processing method differs between a frequency band component lower than f0 of the vibrator 107 and a frequency band component higher than f0. First, processing of a frequency band component lower than f0 will be described.
In the processing of these band signals, an attack emphasis coefficient is calculated in an attack emphasis coefficient calculation unit 203 for the pass component from the band pass filter 201L of f0 or less, and the coefficient is multiplied by a component to the component passed through the band pass filter 201L. Multiplication is performed at 206, and the multiplied output signal is sent to the adder 207. Also, based on the calculation result of the attack emphasis coefficient calculation section 203, the high-frequency component weight coefficient calculation section 204 calculates the weight coefficient of the high-frequency component. The weight coefficient of the high frequency component will be described later.
[0008]
Next, a method of processing a frequency band component higher than f0 by the vibrator 107 will be described. Even if these high frequency band components are sent to the exciter 107 as they are, a sufficient vibration sensation cannot be obtained. Therefore, the components in these bands are frequency-shifted to around f0 of the vibrator 107. That is, the frequency of the component passing through the band-pass filter 201H is shifted by the frequency shifter 202. At this time, the higher the frequency band component, the larger the shift width is required, and all the frequency band components higher than f0 are frequency shifted to near f0 of the vibrator 107. In the above numerical examples, the frequency of each band signal having a center frequency of 125 Hz, 250 Hz, and 500 Hz is 1/2, 1/2, and 1/4, respectively. In this way, it becomes possible to effectively drive the vibrator 107 for any input signal.
[0009]
The process of calculating and multiplying the attack emphasis coefficient for the frequency-shifted component is the same as the process of the vibrator 107 for the frequency band component lower than f0. The calculation of the attack emphasis coefficient is performed using the band-pass signal before the frequency shift or the frequency-shifted band signal. In any case, it is sufficient to calculate a coefficient capable of detecting a sharp rise in the band signal. Each band processing component multiplied by the attack emphasis coefficient by the multiplier 206 is multiplied by the high-frequency component weight coefficient calculated by the high-frequency component weight coefficient calculation unit 204 by the multiplier 208 and sent to the adder 207.
[0010]
The adder 207 adds the processed signals for each band component, and outputs the sum from the output terminal 205.
Next, a specific example of the attack emphasis coefficient calculation unit 203 will be described with reference to FIG. Hereinafter, it is assumed that the input signal is a digital signal sampled at, for example, 22 kHz.
Each band pass component (signal) is input to the input terminal 300. First, the effective value calculation unit 301 calculates an instantaneous effective value rms of the input component (signal). In this calculation, the square root of the root mean square value may be calculated as defined by the effective value, or a short-time average of the absolute value may be calculated as a simple method. The short-term average value rms includes both the effective value and the short-time average value of the absolute value. This short-time average is an average of several tens of milliseconds, and is a so-called processing frame. The short-term average value rms is sent to the long-time averaging section 302, and the long-term average effective value avr of the short-time average value rms is calculated. The averaging method includes, for example, a weighted moving average method. This average time is from a few hundred milliseconds to a few seconds. These rms and avr are sent to the attack coefficient calculation unit 303, and the attack coefficient akc is calculated.
[0011]
akc represents a measure of the difference between the instantaneous magnitude from the average signal magnitude and can be calculated by the following formula.
ak = rms / (avr + ε) (1)
akc = rms-avr (2)
Here, ε is a small positive real number for preventing the attack coefficient from becoming excessively large when the band signal is small. In short, akc is obtained based on the difference between rms and avr.
[0012]
The attack emphasis coefficient calculation unit 304 calculates an attack emphasis coefficient g from the attack coefficient akc. FIG. 4 shows an example in which a function is selected in which the larger the attack coefficient akc is, the larger the enhancement coefficient g is. For example, the case of using the akc in the equation (1) is used. The horizontal axis is 20 log₁₀akc, vertical axis is 20 log₁₀g. In the calculation method of the equation (1), when akc is greater than 1, it means that the instantaneous magnitude of the signal is larger than the average magnitude of the signal. Then, the larger the akc is, the faster the signal rises. Therefore, akc is 1 or more (20 log₁₀When ak ≥ 0, g is 1 or more (20 log₁₀g ≧ 0), when akc is smaller than 1 (20 log₁₀Make g smaller than 1 in akc <0 (20 log₁₀g <0), a coefficient for emphasizing the attack portion is obtained. That is, in this example, the gain of the attack part is increased and emphasized when akc is 1 or more, and when the akc is 1 or less, the gain is reduced, that is, parts other than the attack part are suppressed. In order to obtain g from akc, in the case of FIG. 4, g may be obtained by substituting akc into a function for three line segments of a solid broken line, or by calculating g, or a correspondence between akc and g. May be prepared, and g may be obtained by referring to the table with akc. In addition, as shown by the broken line in FIG. 5, g = 1 when akc ≧ 1 and g = 1 or less when akc <1, and as a result, the attack part may be emphasized by suppressing the parts other than the attack part. Alternatively, as shown by the one-dot chain line in FIG. 4, the gain may be increased by akc ≧ 1 to emphasize the attack portion, and akc <1 may be set to g = 1, that is, the gain may be set to 1 in portions other than the attack portion.
[0013]
Since the value of g fluctuates greatly instantaneously, if the band-processed signal (component) is multiplied as it is, the signal becomes discontinuous, which may impair naturalness or cause abnormal noise. Therefore, in the smoothing unit 305, g is smoothly changed. Assuming that the processing result is gs, for example,
gs = gs ′ + δ × (g−gs ′) (3)
Is calculated. gs' is gs, δ is a coefficient that determines the smoothness of fluctuation, and is larger than 1 and larger than 0. The smaller the value, the smoother the fluctuation. Since the purpose is to emphasize the attack, it is effective to set δ to 1 or a large value close to gs ′ when g is larger than gs ′, and to set δ to a small value when g is smaller than gs ′. . By setting δ when gs> g, it is possible to adjust how fast a steady signal in the band signal is suppressed.
[0014]
For example, in the smoothing unit 305, the magnitude determination unit 305a determines whether g> gs'. If g> gs', δ ≒ 1 is output. If g> gs', δ ≒ 1 is output. 1 is output, the equation (3) is calculated using δ output from the magnitude determination unit 305a, and gs is output. If the value of δ, especially g> gs ′, is not emphasized, the user is conscious of how fast the attack part is to be suppressed, and how fast the subsequent part is suppressed. Is provided so that the value of δ when g> gs ′ is not satisfied, and in some cases, the value of δ when g> gs ′ is set.
[0015]
Generally, the sensitivity of the skin sensation of vibration is weaker than that of sound perception. That is, since the dynamic range of the vibration sensation is narrow, it is also effective to compress the dynamic range of the vibrator drive signal. Therefore, an attack emphasis coefficient calculation method when attack emphasis and dynamic range compression processing are performed simultaneously will be described.
Assuming that the maximum reference value of the magnitude of the signal (component) for each band is thd and the ratio of the dynamic range compression is rt, the attack enhancement and dynamic range compression coefficient g2 are
g2 = (thd / (rms + ε))^rt (4)
Is calculated and obtained. Here, ε is a small positive real number for preventing g2 from becoming excessively large when rms is small. When rt is set to 1, by multiplying the band signal by g2, almost all the size becomes thd. When rt is set to 0.5, the dynamic range is compressed to 1/2. When rt is set to 0, g2 becomes 1 at all rms, and the dynamic range is not compressed. When rt is set to a negative value, the dynamic range is extended. That is, it is a coefficient that makes a small signal smaller. This relationship is shown in FIG. The horizontal axis is 20 log₁₀rms and the vertical axis shows the output after multiplication by g2. Therefore, let us consider that rt is a function of the aforementioned attack coefficient akc. Since it is desired that the coefficient is emphasized when the attack coefficient is large and suppressed when the attack coefficient is small, g2 becomes a large value if rt is a positive value when the attack coefficient is large, that is, when akc ≧ 1. When the coefficient is small, that is, when akc <1, if rt is set to a negative value, since (thd / (rms + ε)) is larger than 1, g2 becomes small. Further, if rt is set to a value closer to 1 as the attack coefficient akc is larger and rt is set to a negative value and the absolute value is larger as the akc is smaller, the attack part is more emphasized and the steady part is more suppressed from FIG. It is understood that it is done.
[0016]
The process of smoothing g2 is the same as the previous method using g, and is therefore omitted. As described above, in order to obtain the attack emphasis coefficient for suppressing the attack range and the dynamic range of the attack signal, the short-time average value rms and the attack coefficient akc are calculated by the attack emphasis coefficient calculation section as shown by the broken line in FIG. The compression ratio rt is obtained from akc in a compression ratio obtaining unit 304a. This rt may be obtained by calculation or by referring to a table. The equation (4) may be used to calculate g2 using the obtained rt, and this g2 may be output to the smoothing unit 305.
[0017]
Next, a specific example of the frequency shifter 202 in FIG. 2 will be described.
FIG. 6 shows an example in which the frequency shifter 202 is operated in octave units. First, the signal si input to the input terminal 400 is binarized by a binarizer 401, and an absolute value is calculated by an absolute value calculator 403. Assuming that the binarized value is dg and the absolute value is ev,
dg = 1 (si ≧ 0)
dg = -1 (si <0) (5)
ev = | si | (6)
Next, the frequency-divider 402 divides the sequence of the binarized value dg into 1 / N. Here, N represents the frequency of the frequency division. In order to perform frequency division in octave units, N is 2, 4, 8,.^m(M = 1, 2, 3,...). The input signal si is a signal whose band has been limited in the previous stage. Assuming that the center frequency of the band is fm, in order to shift the vibrator 107 near f0 in octave units,
m '= log₂(Fm / f0) (7)
Is calculated, and as a result, m (natural number) closest to m ′ may be selected. For example, if f0 = 130 Hz and fm = 1000 Hz, m 'is 2.943, so 3 is selected and the frequency should be reduced by 3 octaves, that is, 1/8. The result of the frequency division is multiplied by ev by a multiplier 404, and a low-pass filter 405 removes harmonic components generated in a high band by binarization and outputs the result from an output terminal 406.
[0018]
In this method, strictly speaking, unless the signal is amplitude-modulated on the single oscillation oscillator signal, accurate m-octave shift-down cannot be performed. However, in the case of a music signal, there are many harmonic structures, which mainly include components that are twice the fundamental wave, twice as many as the fundamental wave, and have a relatively small noise component. Therefore, as described above, the passing center frequency is 63 Hz, 125 Hz, 250 Hz, By using a filter having a pass band characteristic in which adjacent bands partially overlap each other at 500 Hz, it is possible to make the waveform approximately close to a single frequency.
[0019]
Next, a specific example of the high-frequency component weighting coefficient calculation unit 204 in FIG. 2 will be described.
First, it detects that there is no frequency component near f0 of the vibrator, and outputs 1 in that case, and outputs 0 when the component near f0 of the vibrator is large.
The presence or absence of the component near f0 of the vibrator is determined in at least one of the frequency bands lower than the frequency shift execution boundary in FIG. 2 within an appropriate fixed time interval Tr [sec] (for example, about 1 second). When the attack emphasis coefficient gs of the component (signal) is 1 or more, it is determined that there is an f0 component, and a weight coefficient gh = 0 is output. This is because, for example, a rhythm instrument or the like is short in duration and sounds at regular intervals. Conversely, when the attack enhancement coefficients of all the band signal components equal to or less than f0 are smaller than 1 during Tr [sec], it is determined that those components do not exist, and the weight coefficient gh = 1 is output.
[0020]
That is, in a rhythm instrument, a certain sound is periodically generated, and the vibrator is used to emphasize this periodicity. Attack emphasis can be performed in the band of f0 or less, and if the attack is further emphasized in the band of f0 or more, the periodicity is emphasized by the attack emphasis of f0 or less, and further, the attack emphasis by the band of f0 or more enters between them. However, the original periodicity of the rhythm may be lost, and there is a possibility that there is no point in using the vibrator. Therefore, in such a case, the weight coefficient gh is set to 0, and the band signal of f0 or more is removed. On the other hand, even when there is no attack portion in the band component of f0 or less, there is an attack portion in the band component of f0 or more. By detecting and enhancing the attack portion, the rhythm can be emphasized. Therefore, in such a case, the weight coefficient gh is set to 1.
[0021]
Next, an embodiment of another calculation method of the weight coefficient gh will be described. In the above embodiment, since the values are discontinuously updated from 0 to 1, 1 to 0, unnatural vibration may occur. Therefore, when the weight coefficient gh is continuously updated, for example, the following may be performed.
First, when at least one attack emphasis coefficient in a frequency band lower than the frequency shift execution boundary in FIG. 2 is 1 or more, it is determined that there is a component, and the weight coefficient gh is reduced. Here, assuming that the weight coefficient at the immediately preceding time is gh ', the weight coefficient gh at the current time is as follows.
[0022]
gh = αgh ′ (8)
Here, α is a real number greater than or equal to 0 and smaller than 1. This is the same as the above-described method in which the value is instantaneously attenuated when set to 0. As it is closer to 1, it is gradually attenuated.
Conversely, when all the attack enhancement coefficients in the frequency band lower than the frequency shift execution boundary are smaller than 1, the weight coefficient is gradually increased.
gh = gh ′ + β (1-gh ′) (9)
β is a real number greater than 0 and equal to or less than 1. When it is set to 1, the weight coefficient becomes 1 instantaneously. As the value approaches 0, the weight coefficient gradually increases toward 1, and a frequency shift component is gradually added. That is, the determination unit 204a is provided in the high-frequency component weighting coefficient calculation unit 204 in FIG. 2 to determine whether at least one attack emphasis coefficient gs in a frequency band lower than the frequency shift execution boundary is 1 or more. If there is more than one, the equation (8) is calculated and the weight coefficient gh is output. If it is determined that there is no more than one, the equation (9) is calculated and the weight coefficient gh is output.
[0023]
If all the weighting factors are set to zero, the attack is emphasized using only the frequency band signal lower than f0. For example, if the target is a music signal or the like in which it is certain that the bass drum or the like always keeps rhythm, it is still effective, and the same applies even if the processing of the higher frequency range than f0 including the frequency shift is omitted. Therefore, the processing can be lightened.
The above-described processing may be executed by a computer. For example, as shown in FIG. 7, an input unit 11, an output unit 12, a storage unit 13, a memory 14 storing a signal processing program, and a CPU 15 are connected to a bus 16. The signal processing program stored in the memory 14 is installed from a server as a hard disk, a floppy disk, a CD ROM, or the like or communication data. When the CPU 15 executes the program, the processing shown in FIG. 8 is performed, for example. .
[0024]
That is, when an input signal is input from the input unit 11, the input signal is sequentially stored in the storage unit 13 and sequentially divided into a plurality of frequency band signals as shown in FIG. It is stored (S1).
Data for one frame (for example, 50 milliseconds) of the one band signal is read from the storage unit 13 (S2), and an attack emphasis coefficient gs is calculated for the read data (S3). This calculation is performed, for example, as described with reference to FIG. The calculated gs is stored in the storage unit 13 corresponding to the band signal. If there is a band signal for which the attack enhancement coefficient has not been calculated (S4), the process returns to step S2 to extract another band signal for one frame and calculate gs. The rms required for calculating the long-term average value avr is always stored in the storage unit 13 in a necessary amount for each band.
[0025]
When gs is calculated for all band signals, band signals higher than f0 are extracted from the storage unit 13 for one frame (S5), and the extracted band signals are subjected to, for example, the band near f0 by the processing shown in FIG. , And the frequency-shifted band signal is stored in the storage unit 13 (S6). Thereafter, it is checked whether there is a band signal to be frequency-shifted again (S7). If there is, the process returns to step S5 to extract the band signal, shift the frequency, and perform the same processing. When the frequency shift processing is completed for all the band signals of f0 or more, the process proceeds to the next step S8.
[0026]
In step S8, it is checked whether at least one of the gs obtained for the band of f0 or less in the storage unit 13 is one or more, and the high-frequency component weighting coefficient calculation unit 204 in FIG. As described above, the weighting coefficient gh is set to 0 or 1, or is obtained by the calculation of the expression (8) or (9). Each band signal (or the frequency-shifted band signal) in the storage unit 13 is multiplied by gs of the band, and the frequency-shifted band signal is multiplied by the weight coefficient gh (S9).
[0027]
The band signal of f0 or less multiplied by gs and the band signal multiplied by gs and gh and frequency-shifted are synthesized and output from the output unit 12 (S10).
Thereafter, the processing for the signal of the next frame after step S1 is performed, and the real-time processing is performed. Note that the order of the attack enhancement coefficient calculation in steps S2, S3, and S4 and the frequency shift in steps S5, S6, and S7 may be changed. FIG. 9 shows an example of the effect of the present invention. FIG. 9A is a waveform obtained by passing a signal of a part of rust of “Winter Again” of GLAY through a conventional low-pass filter 103 shown in FIG. 10, and FIGS. 9B and 9C are equations (3) and (4). 3) shows waveforms processed using the equation, respectively, where the former is when δ = 0.02 and the latter is when δ = 0.1. 9A shows the presence of a sustain signal in addition to the peak component. FIGS. 9B and 9C show the case of FIG. 9C in which the sustain signal component is suppressed for each peak component, the rhythm is emphasized, and δ is increased. However, it can be seen that the suppression is increased.
[0028]
【The invention's effect】
As described above, according to the present invention, when listening to music or the like, a sound processing device that processes a signal for driving a vibrator that obtains the vibration is used in an audio device that senses vibration as a skin sensation. Suppresses mechanical vibration, emphasizes the attack part, detects the presence or absence of a component in the resonance frequency band of the vibrator, and outputs a composite signal whose frequency is shifted from a high-frequency component to a low-frequency component when the component is not present. Thus, the following effects can be expected.
[0029]
(1) The rhythm is emphasized, and in popular music, a more dynamic vibration sensation can be obtained. Further, when a hearing-impaired person listens to music, an effect of compensating for lack of hearing with a rhythm based on vibration perception can be expected.
(2) Since continuous vibration due to a steady signal can be suppressed, a comfortable vibration sensation can be obtained.
(3) For example, in the case of classical music or the like, even if there is no heavy low-frequency component that causes the vibrator to vibrate in the original signal, it is possible to vibrate by frequency shift, especially for the hearing impaired. As a hearing aid function, an effect of supplementing a part where hearing is insufficient can be expected.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a method of using the present invention.
FIG. 2 is a block diagram showing one embodiment of the present invention.
FIG. 3 is a block diagram showing a specific example of an attack emphasis coefficient calculation unit 203 in FIG. 2;
FIG. 4 is a diagram showing a relationship when an enhancement coefficient is calculated from an attack coefficient.
FIG. 5 is a diagram showing a relationship between an input and an output when a dynamic range compression ratio is changed.
FIG. 6 is a block diagram showing a specific example of a frequency shifter 202 in FIG. 2;
FIG. 7 is a block diagram showing an example of a configuration in a case where the device of the present invention is caused to function by a computer.
FIG. 8 is a flowchart illustrating an example of a processing procedure of the apparatus illustrated in FIG. 7;
FIG. 9 is a waveform chart for explaining the effect of the present invention.
FIG. 10 is a block diagram showing a conventional technique.

Claims

A process of detecting a portion where an input signal rises sharply (attack portion);
Emphasizing the detected attack portion of the input signal.

Dividing the audio signal into a plurality of frequency bands;
In these divided frequency band signals, for each band signal of a predetermined frequency or more, the process of frequency shifting the band signal to the predetermined frequency near band signal,
A process of detecting, for each of the frequency band signals, a portion (attack portion) in which the signal rises sharply,
The detected attack portion of the band signal below the predetermined frequency, the frequency-shifted band signal, the process of enhancing the attack portion detected for the band signal, respectively,
When the attack portion is emphasized for the band signal having the predetermined frequency or less, a process of weighting the frequency-shifted band signal so as to weaken the attack portion of the frequency-shifted band signal,
Synthesizing the weighted frequency shift band signal and the band signal in which the attack portion below the predetermined frequency is emphasized.

The method of claim 1 or 2,
The detection of the above attack portion includes obtaining a difference between the short-term average value of the input signal and the long-term average value of the input signal as an attack coefficient, and obtaining the attack portion according to the magnitude of the attack coefficient. Characteristic signal processing method.

4. The method of claim 3, wherein
A signal processing method characterized in that the attack portion is emphasized with a compression ratio according to the attack coefficient, and the dynamic range of the signal is simultaneously compressed.

Attack emphasis coefficient calculation means for receiving an input signal and obtaining a degree of a rise of the input signal and outputting it as an attack emphasis coefficient,
A signal processing apparatus comprising: an attack emphasis unit that receives the input signal and the attack emphasis coefficient, and emphasizes a portion of the input signal whose rising edge is sharp in accordance with the attack emphasis coefficient and outputs the result.

A frequency band dividing unit to which an acoustic signal is input and divided into a plurality of frequency band signals and output,
Frequency shift means for frequency-shifting these frequency band signals near the predetermined frequency for each frequency band signal of a predetermined frequency or more in the divided frequency band signal,
Attack emphasis coefficient calculation means for inputting the band signal or the frequency-shifted band signal for each of the divided frequency band signals, obtaining a degree of rise of the input signal, and outputting as an attack emphasis coefficient. ,
Attack emphasizing means for emphasizing the frequency band signal of the predetermined frequency or less, and for the frequency band signal of the predetermined frequency or more, the frequency-shifted band signal, respectively, by a corresponding attack emphasis coefficient. According to the attack-emphasized frequency shift band signal having the predetermined frequency or higher, the weight is set so as to weaken the emphasis according to the attack emphasis coefficient equal to or lower than the predetermined frequency. Weighting means to be performed;
A signal processing apparatus comprising: a synthesizing unit that synthesizes and outputs the attack-emphasized frequency band signal having a frequency equal to or lower than the predetermined frequency and the weighted frequency shift band signal.

The device according to claim 5 or 6,
The attack emphasis coefficient calculating unit calculates a short-term average value of the input signal, a unit calculates a long-term average value of the input signal, and calculates a difference between the short-term average value and the long-term average value. A signal processing device comprising: means for calculating the attack emphasis coefficient from a value indicated.

The apparatus according to any one of claims 5 to 7,
The signal processing device according to claim 1, wherein said attack emphasis coefficient calculating means is means for calculating an attack emphasis coefficient having a compression ratio corresponding to said attack emphasis coefficient.

A recording medium storing a program for causing a computer to execute the method according to claim 1.