JP4937246B2

JP4937246B2 - 音補正装置

Info

Publication number: JP4937246B2
Application number: JP2008327892A
Authority: JP
Inventors: 将高長田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-12-24
Filing date: 2008-12-24
Publication date: 2012-05-23
Anticipated expiration: 2028-12-24
Also published as: JP2010154037A

Description

本発明は、デジタル信号レベル、ボリューム・アンプ、ＤＡＣ等の影響を加味した信号経路のレベルダイヤ、及び出力デバイス種類に応じて補正係数を適応的に調整する音補正装置に関する。

現在、テレビやラジオの放送受信再生装置、音楽プレイヤー、携帯電話機などの音声・音楽を再生する機器は、ユーザにより携帯されることにより、電車の中や屋外や車の中など周囲に雑音がある場所で使用される状況が増えてきている。このような場合、再生される音（以降、再生音と称する）と周囲雑音との周波数やパワーの関係によっては、再生音が周囲雑音によってマスクされ、再生音の明瞭度が低下してしまう場合がある。多くの再生機器は再生音量をユーザの操作によって調整することができるが、再生音の周波数成分ごとに音量調整ができるわけではないため、音量が上げられたとしても再生音の明瞭化効果は限定的である。また、再生音量が上げられた場合には、再生音の全帯域のパワーが増幅されるため、音が歪んでしまい、かえって音質が悪化してしまう場合もある。さらに、音量を上げすぎると、ユーザに対して不快感を与えてしまう恐れがあった。

そこで、周囲騒音によるマスキングの影響を低減させて明瞭なオーディオ信号を再生するオーディオ信号復号装置が提案されている（例えば特許文献１）。このオーディオ信号復号装置は、入力されたビットストリームよりオーディオ信号の各周波数帯域のレベルを直接算出し、算出した騒音信号の各周波数帯域の信号レベルとオーディオ信号の各周波数帯域のレベルとを比較し、そして、オーディオ信号が騒音信号にマスキングされている場合には、オーディオ信号の当該サブバンドの信号を増幅するように各帯域の補正レベルを算出してスケールファクタを更新することにより、明瞭なオーディオ信号に変更するものである。

また、周囲騒音による最小可聴限の上昇分に基づいて、騒音がある場合のラウドネス特性が、騒音がない場合のラウドネスと一致するように各周波数帯域のオーディオ信号の信号レベルを補正することで、環境ノイズが存在するときでも、環境ノイズがないときと同等の音量・音質を実現する音質調整装置が提案されている（例えば特許文献２）。
特開２００１−１８８５９９号公報特開２００１−１５６５６８号公報

環境ノイズが存在するときでも、最小可聴限の変化に応じてラウドネス補正を行うことによって、環境ノイズがないときと同等の音量・音質を実現する方法において、デジタルＰＣＭ（ｐｕｌｓｅｃｏｄｅｍｏｄｕｌａｔｉｏｎ）信号のレベルに基づいて再生信号がダイナミックレンジ圧縮されることで過大音量が抑制される。このようにデジタル信号のレベルのみに基づいて再生信号の補正を行う方法では、後段におけるボリューム、アンプ、ＤＡＣ（ＤｉｇｉｔａｌｔｏＡｎａｌｏｇＣｏｎｖｅｒｔｅｒ）、出力デバイスなどのレベルダイヤの影響まで考慮されていないため、再生音が過大音量となってユーザに不快感を与えてしまう恐れがあるという問題があった。

本発明は、上記課題を鑑みてなされてものであり、環境ノイズによる最小可聴限の増加分に応じて再生信号を周波数帯域毎に増幅させることで、環境ノイズがある状況下でも静寂時と同等の音量、音質を実現する方法において、デジタル信号レベル、ボリューム・アンプ、ＤＡＣなどの影響を加味した信号経路のレベルダイヤ、及び出力デバイス種類に応じて補正係数を適応的に調整することによって、再生信号が過大音量となることを抑制し、良好な再生音質を実現することができる音補正装置を提供することを目的とする。

上記課題を解決するために、本発明に係る音補正装置は、再生音の周波数成分に対する補正係数を求め、再生音の補正を行う音補正装置であって、再生音の再生経路のレベルダイヤを記憶する第１の記憶手段と、ノイズ取得経路のレベルダイヤを記憶する第２の記憶手段と、周囲雑音のマスキング閾値を周波数成分ごとに取得する取得手段と、前記第１の記憶手段により記憶された再生経路のレベルダイヤ及び第２の記憶手段により記憶されたノイズ取得経路のレベルダイヤに基づいて、デジタル域での再生信号とノイズ信号とのレベルを正規化した後、前記取得手段により取得されたマスキング閾値に基づいて補正係数を算出して再生音を補正する補正手段と、を備えたことを特徴とする。

本発明に係る音補正装置によると、環境ノイズによる最小可聴限の増加分に応じて再生信号を周波数帯域毎に増幅させることで、環境ノイズがある状況下でも静寂時と同等の音量、音質を実現する方法において、デジタル信号レベル、ボリューム・アンプ、ＤＡＣなどの影響を加味した信号経路のレベルダイヤ、及び出力デバイス種類に応じて補正係数を適応的に調整することによって、再生信号が過大音量となることを抑制し、良好な再生音質を実現することが可能となる。

本発明に係る音補正装置の実施形態について、添付図面を参照しながら説明する。本発明に係る音補正装置は、携帯電話機、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、ポータブルオーディオ機器、ゲーム機器などの音声を発生する電子機器に実装されるものである。本発明に係る音補正装置の実施形態として、携帯電話機１に実装された場合を例に挙げて説明する。

図１は、携帯電話機１の構成を示すブロック図である。この携帯電話機１は、図１に示すように、装置全体を統括して制御する制御部１１を有している。また、この制御部１１には、送受信部１２、放送受信部１３、信号処理部１４、操作部１５、記憶部１６、表示部１７、音声入出力部１８がバスによって相互に通信可能に接続されている。

制御部１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を具備し、様々な演算処理や制御処理等を行って携帯電話機１の総括的な制御を行う。電源回路部２１は、ユーザによる操作部１５を介した入力に基づいて電源のオン／オフ状態を切り替え、電源がオン状態の場合に電力供給源（バッテリ等）から各部に対して電力を供給して、携帯電話機１を動作可能にする。

送受信部１２は、アンテナ１２ａを具備し、制御部１１の制御に基づいて、基地局（図示せず）からアンテナ１２ａを介して受信した受信信号をスペクトラム逆拡散処理してデータを復元する。また送受信部１２は、制御部１１の制御に基づいて、取得したデータに対してスペクトラム拡散処理を行って送信信号を生成して、基地局に対してアンテナ１２ａを介して送信する。

放送受信部１３は、ＴＶ放送受信用アンテナ１３ａを具備し、例えば地上波デジタル放送の放送局（図示せず）から放送された地上波デジタル放送（地上波デジタルワンセグ放送も含む）の変調波を、ＴＶ放送受信用アンテナ１３ａを介して受信して復調し、地上波デジタル放送の符号化映像情報を生成する。そして放送受信部１３は、符号化映像情報を復号し、符号化映像情報のうちの音声情報を音声処理部１４または記憶部１６へ伝送するとともに、符号化映像情報のうちの動画像情報を表示部１７または記憶部１６に伝送する。

音声処理部１４は、音声を集音するマイクロフォンや音声を出力するスピーカ（出力装置）を具備し、制御部１１の制御に基づいて、マイクロフォンで集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声入出力部１８は、制御部１１の制御に基づいて、デジタル音声信号を取得してこのデジタル音声信号をアナログ音声信号に変換し、スピーカから音声として出力する。

また、音声処理部１４は、出力する音声に対して補正処理を行う信号補正部２０を具備している。この信号補正部２０は、携帯電話機１が電話機能やテレビ電話機能などを起動している際に送受信部１２によって受信された音声データを音声として出力したり、放送受信部１３によって受信されたテレビ放送やラジオ放送の音声データを音声として出力したり、または記憶部１６に記憶されている音楽データや映像データなどを音声として出力したりする際、これらの音声が明瞭に出力されるように音声データに対して補正処理を行う。この補正処理の詳細については後述する。

操作部１５は、ユーザにより操作される操作キーを具備し、この操作キーの操作（例えば押下）が検出されると、その押下されたキーを示す信号を生成して、この信号を制御部１１に伝送する。

記憶部１６は、制御部１１や音声処理部１４が行う処理について、処理プログラムや処理に必要なデータ等を格納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やハードディスク、不揮発性メモリ、データベース、制御部１１や音声処理部１４が処理を行う際に使用されるデータを作業領域として一時的に記憶するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等から構成される。

表示部１７は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどのディスプレイを具備し、制御部１１の制御に基づいて、文書や画像などからなる画面をディスプレイに表示する。

ここで携帯電話機１は、環境ノイズによる最小可聴限の増加分に応じて再生信号を周波数帯域毎に増幅させることで、環境ノイズがある状況下でも静寂時と同等の音量、音質を実現している。さらに携帯電話機１は、この方法において、デジタル信号レベル、ボリューム・アンプ、ＤＡＣ（ＤｉｇｉｔａｌｔｏＡｎａｌｏｇＣｏｎｖｅｒｔｅｒ）などの影響を加味した信号経路のレベルダイヤ、及び出力デバイス種類に応じて補正係数を適応的に調整することによって、再生信号が過大音量となることを抑制し、良好な再生音質を実現している。

図２は、音声処理部１４の詳細な構成を示すブロック図である。音声処理部１４は、図２に示すように、アナログ信号を処理するアナログ部２１と、デジタル信号を処理するデジタル部２２とから構成されている。そして、携帯電話機１において、デジタル部２２が上述した信号補正部２０を具備している。

信号補正部２０の再生音取得部２３は、携帯電話機１が音声を出力する際に、その再生音の音声データを取得して時間／周波数変換部２４に対して出力する。再生音は、放送受信部１３により受信されたＴＶ放送やラジオ放送などの放送波に含まれている音声データ、送受信部１３により受信された電話やテレビ電話の音声データ、または記憶部１６に記憶された音楽や映像の音声データなどである。

時間／周波数変換部２４は、音声データを再生音取得部２３から取得し、時間域から周波数域に変換する。時間域と周波数域との変換には、例えば、ＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）や、ＭＤＣＴ（ＭｏｄｉｆｉｅｄＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）などの任意の手法を用いることができる。以下、ＦＦＴを用いて時間／周波数変換を行ったものとして説明する。ＦＦＴポイント数をＮとして時間／周波数変換を行うと、Ｎ個の周波数成分の値が得られる。

出力レベルダイヤ更新部２６の処理と出力レベルダイヤ適用部２５の処理について、図３を用いて説明する。図３（Ａ）は再生信号レベルを変更する機能モジュールブロック図であり、図３（Ｂ）は出力レベルダイヤ更新部２６によって作成されるレベルダイヤの一例を示す図である。図３は、これらの機能モジュールとレベルダイヤとがそれぞれ対応するように描かれている。すなわち、このレベルダイヤは、機能モジュールブロック図に示す通り、再生音取得部２３により取得されたデジタル信号がデジタル音声パスやアナログ音声パスを経由して再生音出力部３９から出力されるまでのレベル変動を示している。

例えば図３（Ａ）において、信号補正部２０から出力されたデジタル信号はデジタル出力レベル変更部３５に入力される。デジタル出力レベル変更部３５はデジタル出力レベルを変更する可能性があるモジュール全て（ボリューム、アンプ、イコライザ、各種フィルタなど）を含むが、ここではデジタルボリューム５１とＤＡ変換器５２を例に説明する。各ブロックにおいては図４に示すようなレベル設定を行うことができ、ここではデジタルボリューム５１で＋７ｄＢ、ＤＡ変換器で＋２ｄＢが設定されているものとする。

デジタル出力レベル変更部３５から出力された信号は、アナログ出力レベル変更部３６に入力される。ここでアナログ出力レベル変更部３６は、アナログ出力レベルを変更する可能性があるモジュール全てを含むが、ここではアナログボリューム５３とアナログアンプ５４を例に説明する。各ブロックにおいては図４に示すようなレベル設定を行うことができ、ここではアナログボリューム５３で−１０ｄＢ、アナログアンプ５４で＋６ｄＢが設定されているものとする。

出力レベルダイヤ更新部２６では、デジタル出力レベル変更部３５のデジタル出力レベルを変更する可能性がある全てのモジュールと、アナログ出力レベル変更部３６のアナログ出力レベルを変更する可能性がある全てのモジュールのレベル設定値を用いて、再生音補正部３８から出力された再生信号が再生音出力部３９から空間に放出されるまでのレベルダイヤを作成する。

出力レベルダイヤ適用部２５は、時間/周波数変換部２４から周波数域音声信号を取得するとともに、出力レベルダイヤ更新部２６からレベルダイヤ情報を取得し、このレベルダイヤ情報に基づいて、周波数域音声信号の補正を行う。

出力レベルダイヤ適用部２５は、まず、出力レベルダイヤ更新部２６から取得したレベルダイヤ情報を用いて、信号補正部２０から出力される信号レベルとアナログ部２１から出力される信号レベルとの差を算出する。図３及び図４に示す例では、信号補正部２０から出力される信号レベルとアナログ部２１から出力される信号レベルとの差が＋５ｄＢであるため、信号補正部２０の出力（Ｓ＿ｄｉｇｉｔａｌ）、アナログ部２１の出力（Ｓ＿ａｎａｌｏｇ）の関係は、以下のような関係になる。

なお、デジタル部２２での音量の単位として“ｄＢｍ０”、アナログ部２１の音量の単位“ｄＢＶ”は、例えば、以下のように変換可能である。ただし、変換式はＬＳＩの仕様（ＤＡＣなど）によって変換係数が異なる。

アナログ部２１から出力された音声信号は、再生音出力部３９（スピーカなど）から空間に放出される。この時、音量の単位は“ｄＢＶ”から音圧レベル“ｄＢＳＰＬ”になる。そこで、出力レベルダイヤ適用部２５は、信号補正部２０から出力される信号レベルとアナログ部２１から出力される信号レベルとの差を、音圧レベルの単位”ｄＢＳＰＬ”に変換する。この変換式は出力装置（スピーカなど）の特性に依存するが、例えば、以下のように変換される。

つまり、式（１）のような変換式を用いた場合、デジタル信号と空間に放出される音圧レベルとの関係は、以下のような関係になる。

このように、出力レベルダイヤ適用部２５は、周波数域音声デジタル信号がスピーカから外界に放出される音声の音圧レベルの単位に変換するよう補正する。

一方で、アナログ部２１のノイズ取得部２７は、環境ノイズを取得してアナログ入力レベル変更部２８に送出する。アナログ入力レベル変更部２８は、入力された環境ノイズの信号レベルを変更し、ノイズ信号をデジタル入力レベル変更部２９に送信するとともに、音量調整設定情報を入力レベルダイヤ更新部３０に出力する。なお、アナログ入力レベル変更部２８は、アナログボリューム、アンプ、ミキサなど、音量に影響を与えうるモジュール全般を含むものとする。

デジタル入力レベル変更部２９は、入力されたデジタル信号レベルを変更し、入力レベルダイヤ適用部３１に出力するとともに、音量設定情報を入力レベルダイヤ更新部３０に出力する。なお、デジタル入力レベル変更部２９は、デジタルボリュームの他、イコライザや各種フィルタ、サンプリング変換器など、信号レベルが変更される可能性があるモジュール全てを含むものとする。

入力レベルダイヤ更新部３０は、デジタル入力レベル変更部２９、及びアナログ入力レベル変更部２８の音量設定値に応じた音量レベルダイヤを作成して入力レベルダイヤ適用部３１に出力する。入力レベルダイヤ適用部３１は、入力レベルダイヤ更新部３０からの情報を元に、デジタル入力レベル変更部２９から入力されたノイズデジタル信号の補正を行う。この補正は、ノイズデジタル信号の信号レベルが、ノイズ取得部２７に入力されるノイズの音圧レベルの単位に変換されるように行われる。

入力レベルダイヤ更新部３０と入力レベルダイヤ適用部３１の処理について、図５を参照して説明する。図５（Ａ）はノイズ入力信号レベルを変更する機能モジュールブロック図、図５（Ｂ）は入力レベルダイヤ更新部３０によって作成されるレベルダイヤの一例を示す図であり、図５は、これらの機能モジュールとレベルダイヤがそれぞれ対応するように描かれている。すなわち、このレベルダイヤは、機能モジュールブロック図に示す通り、ノイズ取得部２７により取得されたノイズ信号がアナログ音声パスやデジタル音声パスを経由して信号補正部２０に入力されるまでのレベル変動を示している。

例えば図５（Ａ）において、ノイズ取得部２７はマイクなどによって空間を伝播してきた信号を取得する。このとき、音量の単位は音圧“ｄＢＳＰＬ”から”ｄＢＶ”になるが、この変換式は入力装置（マイクなど）の特性に依存し、例えば式（１）のような関係となる。ノイズ取得部２７から出力されたアナログ信号はアナログ入力レベル変更部２８に入力される。アナログ入力レベル変更部２８はアナログ入力レベルを変更する可能性があるモジュール全てを含むが、ここではアナログアンプ６１とアナログボリューム６２を例に説明する。各ブロックにおいては図６に示すようなレベル設定を行うことができ、ここではアナログアンプ６１で−２ｄＢ、アナログボリューム６２で−７ｄＢが設定されているものとする。

アナログ入力レベル変更部２８から出力された信号は、デジタル入力レベル変更部２９に入力される。ここでデジタル入力レベル変更部２９は、デジタル入力レベルを変更する可能性があるモジュール全て（ボリューム、アンプ、イコライザ、各種フィルタなど）を含むが、ここではＡＤ変換器６３とデジタルボリューム６４を例に説明する。各ブロックにおいて図６に示すようなレベル設定を行うことができ、ここではＡＤ変換器で０ｄＢ、デジタルボリュームで＋５ｄＢが設定されているものとする。

入力レベルダイヤ更新部３０では、デジタル入力レベル変更部２９のデジタル入力レベルを変更する可能性がある全てのモジュールと、アナログ入力レベル変更部２８のアナログ入力レベルを変更する可能性がある全てのモジュールのレベル設定値を用いて、ノイズ取得部２７によって取得されたノイズが、信号補正部２０に入力されるまでのレベルダイヤを作成する。

入力レベルダイヤ適用部３１は、入力レベルダイヤ更新部３０から取得したレベルダイヤ情報を用いて、アナログ部２１に入力されるノイズ信号レベルと信号補正部２０に入力される信号レベルとの差を算出する。図５及び図６に示す例では、アナログ部に入力されるノイズ信号レベルと信号補正部２０に入力される信号レベルとの差が−４ｄＢであるため、ノイズ取得部２７の出力（Ｓ＿ａｎａｌｏｇ）と信号補正部２０への入力（Ｓ＿ｄｉｇｉｔａｌ）の関係は、以下のような関係になる。

このように入力レベルダイヤ適用部３１で補正されたノイズ信号は、ノイズマスキング閾値算出部３２に入力される。

ノイズマスキング閾値算出部３２は、入力レベルダイヤ適用部３１から入力されたノイズのデジタル信号のマスキング閾値を算出し最小可聴限更新部３３に出力する。図７は、ノイズマスキング閾値ａを示す図であり、横軸が周波数、縦軸が信号レベルで示されている。ノイズマスキング閾値ａは、ノイズ信号によって他の信号が聞こえなくなる境界である。ノイズマスキング閾値ａは、聴覚フィルタを模擬した特性を持つ関数（ＳｐｒｅａｄｉｎｇＦｕｎｃｔｉｏｎ）を、ノイズ信号の信号パワーに畳み込むことで算出される。

図８は、静寂時の最小可聴限ｂを示す図であり、横軸が周波数、縦軸が信号レベルで示されている。図８に示すように、最小可聴限更新部３３は、図８に示すような静寂時の最小可聴限ｂを予め記憶していて、ノイズマスキング算出部３２から入力されたノイズマスキング閾値ａと静寂時の最小可聴限ｂとを周波数帯域ごとに比較し、下記の式（２）のように大きい方を新たな最小可聴限として更新する。図９（Ａ）は、静寂時の最小可聴限ｂを示す図であり、図９（Ｂ）は、環境ノイズのノイズマスキング閾値ａに基づいて最小可聴限が更新されたことを示す図である。

ゲイン算出部３４は、環境ノイズがある場合でも、再生音が静寂時と同じラウドネスとなるように補正するためのゲインを算出する。図１０（Ａ）は、静寂時における最小可聴限ｂと再生信号の可聴レベルを示す図であり、図１０（Ｂ）は、環境ノイズによって上昇した最小可聴限ａと、それに対応した再生信号の可聴レベルを示す図であり、図１０（Ｃ）は、周波数毎に再生信号を増幅させた状態における可聴レベルを示す図である。図１０（Ａ）乃至図１０（Ｃ）に示すように、最小可聴限（静寂時は最小可聴限ｂ、環境ノイズがある場合はノイズマスキング閾値ａと静寂時の最小可聴限ｂのうち大きい値）から再生信号成分（ソース音源ｃ）までが可聴レベルである。

図１０（Ａ）及び図１０（Ｂ）に示すように、環境ノイズがあった場合には、静寂時に比べて可聴レベルが低減してしまっている。よって、図１０（Ｃ）に示すように、環境ノイズがあった場合に、静寂時の可聴レベルと等しい可聴レベルになるように周波数帯域毎の再生信号の増幅率を決定する。

静寂時のラウドネス特性を下記の式（３）に示す。ｋ、ｎは適当な定数であり、これまでの研究では、１ｋＨｚのノイズの場合はｎ＝０．２７であると報告されている。また、ｋは任意の値でよいので、ここではｋ＝１とする。

次に、ノイズによってマスキングの影響を受けた場合のラウドネス特性を下記の式（４）に示す。

ゲイン算出部３４は、ノイズの影響を受けたラウドネス（Ｌ＿ｎｅｗ）が静寂時のラウドネスＬと同等になるように再生信号を増幅するための増幅率ｇ［ｉ］を求める。

これらの式に基づいて増幅率ｇ［ｉ］は式（６）によって求められる。

このようにして求めた増幅率ｇ［ｉ］を再生信号の各周波数成分に乗算することで、ノイズ環境においても静寂時と同等のラウドネスを実現することができる。しかしこの場合、環境ノイズが大きい場合には、補正後の再生音が大きくなりユーザに不快感を与える可能性があるため、過大音量を抑制するための処理が必要になる。過大音量を抑制する具体的な処理を以下に示す。

出力レベルダイヤ更新部２６は、前述のとおり、デジタル出力レベル変更部３５、アナログ出力レベル変更部３６、及び再生装置切替え部３７の設定情報を元に、再生音補正部３８から出力された再生信号が再生音出力部３９から空間に放出されるまでのレベルダイヤを作成している。

補正上限値算出部４０は、出力レベルダイヤ更新部２６からの情報を元に、再生音補正部３８からデジタル信号で最大レベル（２＾１５）が出力された場合に再生音出力部３９から空間中に放出される音声の音圧レベルを算出し、不快閾値(ＵＣＬ)の音圧レベルと比較を行い、両者のうち小さい方を補正上限値（ａｌｌｏｗｄ＿ｍａｘ＿ｒｍｓ＿ｐｏｗとする）としてゲイン補正部４１に出力する。

ゲイン補正部４１は、再生音補正部３８で補正された後の再生音信号が、補正上限値算出部４０で算出された上限値を越えないようにゲインｇ［ｉ］を補正する。そのため、最初に再生信号の時間域パワー平均自乗根を算出する。

さらにゲイン補正部４１は、増幅後の時間域ＰＣＭ信号が過大にならないようにゲインｇ［ｋ］［ｉ］の最大値を設定する。

ゲイン補正部４１は、ゲイン（ｇ［ｋ］［ｉ］）の補正を行う。図１１は、補正後ゲイン（g＿ｎｅｗ［ｋ］［ｉ］）と補正前ゲイン（ｇ［ｋ］［ｉ］）との関係を示す図であり、横軸が補正前ゲイン（ｇ［ｋ］［ｉ］）、縦軸が補正後ゲイン（g＿ｎｅｗ［ｋ］［ｉ］）で示されている。図１１に示すように、補正後ゲイン（g＿ｎｅｗ［ｋ］［ｉ］）と補正前ゲイン（ｇ［ｋ］［ｉ］）との関係は、式（９）のように表現される。

ここで、ａは１未満の値であり、ＴＨは０＜ＴＨ＜ｇ＿ｍａｘ［ｋ］の範囲で任意に定めることができる。あるいは、補正後ゲイン（g＿ｎｅｗ［ｋ］［ｉ］）と補正前ゲイン（ｇ［ｋ］［ｉ］）との関係を、フレームパワーに基づいて決定するようにしても良い。図１２は、補正後ゲイン（g＿ｎｅｗ［ｋ］［ｉ］）と補正前ゲイン（ｇ［ｋ］［ｉ］）との関係をフレームパワーの大小に基づいて示す図であり、横軸が補正前ゲイン（ｇ［ｋ］［ｉ］）、縦軸が補正後ゲイン（g＿ｎｅｗ［ｋ］［ｉ］）で示されている。図１２に示すように、再生音出力部３９から空間に放出される音声の音圧レベルが大きいほどゲインが過大にならないように補正するようにすると良い。

また、図３に示すように、静寂時でも最小可聴限以下の帯域については、もともと聞こえていない信号を増幅させる必要はないため、補正係数を１以下の任意の値とすることも有効である。

以上、増幅ゲインの補正方法を説明したが、フレーム内信号パワーが大きい場合には増幅率が過大にならないように制御するという趣旨を逸脱しない範囲であれば、上記に示した内容に限定するものではない。

再生音補正部３８では、ゲイン補正部４１で算出された補正後ゲイン（ｇ＿ｎｅｗ［ｋ］［ｉ］）を用いて、式（１０）のように再生信号のスペクトルを補正する。

周波数／時間変換部４２では補正後の再生音スペクトルが時間領域の信号に変換され、デジタル出力レベル変更部３５に出力される。デジタル出力レベル変更部３５では入力された再生音デジタル信号レベルを変更しアナログ出力レベル変更部３６に出力するとともに、音量設定情報を出力レベルダイヤ更新部２６に出力する。

デジタル入力レベル変更部３５は、デジタルボリュームの他、イコライザや各種フィルタ、サンプリング変換器など、信号レベルが変更される可能性があるモジュール全てを含むものとする。アナログ出力レベル変更部３６は、入力された再生音信号レベルを変更し、再生装置切替え部３７に出力するとともに、音量設定情報を出力レベルダイヤ更新部２６に出力する。アナログ出力レベル変更部３６は、アナログボリューム、アンプ、ミキサなど、音量に影響を与えうるモジュール全般を含むものとする。

再生装置切替え部３７では、アナログ出力レベル変更部３６から入力された再生音信号を、再生音出力部３９に送信して出力装置（スピーカなど）から出力するとともに、選択されている再生音出力装置情報を出力レベルダイヤ更新部２６に出力する。

なお、デジタル出力レベル変更部３５、アナログ出力レベル変更部３６、再生音出力部３９、及びデジタル入力レベル変更部２９、アナログ入力レベル変更部２８、ノイズ取得部２７において、ユーザ操作によって変更される可能性のないモジュールについては、事前にレベルダイヤ情報を測定しておき出力レベルダイヤ更新部２６や入力レベルダイヤ更新部３０で保持しておいても良い。

このように本発明に係る音補正装置は、環境ノイズ下において再生音を補正する際に、ノイズ取得経路、及び再生音の再生経路のレベルダイヤに基づいて、デジタル域での再生信号とノイズ信号のレベルを正規化してから再生音の補正を行う。これにより、携帯電話機１は、ユーザが実際に聴取する出力デバイスから空間中に放出される音圧レベルが既定の閾値（例えば不快閾値（ＵＣＬ））以下となるよう制御することができる。

また、携帯電話機１は、再生中の出力デバイス（例えばイヤホン、スピーカ、レシーバなど）に応じて、適応的にレベルダイヤ情報を更新し、更新されたレベルダイヤ情報に基づいて再生音デジタル信号を補正する。これにより、携帯電話機１は、ユーザの受聴形態に応じて適切な過大音量抑制をすることができる。

また、携帯電話機１は、算出された出力装置から出力される音圧レベルが不快閾値となる再生デジタル信号のレベルを記憶し、この値が上限値となるようにダイナミックレンジ圧縮を周波数帯域毎に行う。これにより、携帯電話機１は、ユーザが実際に聴取する音圧レベルが不快閾値以下となるよう制御することができる。

本発明に係る音補正装置の説明として、携帯電話機１に適用される例について説明したが、これに限らず、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）等、音声入力デバイス、音声出力デバイスを備えている電子機器であれば、任意の電子機器に適用されて良い。

本発明に係る音補正装置が適用される携帯電話機の機能を示すブロック図。本発明に係る音補正装置が適用される携帯電話機の音声処理部の機能を詳細に示すブロック図。（Ａ）は、音量レベルを変更する機能モジュールブロック図、（Ｂ）は、出力レベルダイヤ更新部によって更新されるレベルダイヤの一例を示す図。本発明に係る音補正装置の機能モジュールの各ブロックに設定可能なレベルの一例を示す図。（Ａ）は、音量レベルを変更する機能モジュールブロック図、（Ｂ）は、出力レベルダイヤ更新部によって更新されるレベルダイヤの例を示す図。本発明に係る音補正装置の機能モジュールの各ブロックに設定可能なレベルの一例を示す図。ノイズマスキング閾値を示す図。静寂時の最小可聴限を示す図。（Ａ）は、静寂時の最小可聴限を示す図、（Ｂ）は、環境ノイズに基づいて最小可聴が更新されたノイズマスキング閾値を示す図。（Ａ）は、静寂時における可聴レベルを示す図、（Ｂ）は、環境ノイズによって縮小された状態における可聴レベルを示す図、（Ｃ）は、周波数毎に再生信号を増幅させた状態における可聴レベルを示す図。補正前のゲインと補正後のゲインとの関係を示す図。補正前のゲインと補正後のゲインとの関係をフレームパワーの大小に基づいて示す図。

符号の説明

１…携帯電話機，１１…制御部，１２…送受信部，１２ａ…アンテナ，１３…放送受信部，１３ａ…アンテナ，１４…音声処理部，１５…操作部，１６…記憶部，１７…表示部，２０…信号補正部，２１…アナログ部，２２…デジタル部，２３…再生音取得部，２４…時間／周波数変換部，２５…出力レベルダイヤ適用部，２６…出力レベルダイヤ更新部，２７…ノイズ取得部，２８…アナログ入力レベル変更部，２９…デジタル入力レベル変更部，３０…入力レベルダイヤ更新部，３１…入力レベルダイヤ適用部，３２…ノイズマスキング閾値更新部，３３…最小可聴限更新部，３４…ゲイン算出部，３５…デジタル出力レベル変更部，３６…アナログ出力レベル変更部，３７…再生装置切替え部，３８…再生音補正部，３９…再生音出力部，４０…補正上限値算出部，４１…ゲイン補正部，４２…周波数／時間変換部，５１…デジタルボリューム，５２…DA変換器，５３…アナログボリューム，５４…アナログアンプ，６１…アナログアンプ，６２…アナログボリューム，６３…ＡＤ変換器，６４…デジタルボリューム。

Claims

再生音の周波数成分に対する補正係数を求め、再生音の補正を行う音補正装置であって、
再生音の再生経路のレベルダイヤを記憶する第１の記憶手段と、
ノイズ取得経路のレベルダイヤを記憶する第２の記憶手段と、
周囲雑音のマスキング閾値を周波数成分ごとに取得する取得手段と、
前記第１の記憶手段により記憶された再生経路のレベルダイヤ及び第２の記憶手段により記憶されたノイズ取得経路のレベルダイヤに基づいて、デジタル域での再生信号とノイズ信号とのレベルを正規化した後、前記取得手段により取得されたマスキング閾値に基づいて補正係数を算出して再生音を補正する補正手段と、
を備えたことを特徴とする音補正装置。
再生音の出力装置に基づいて前記第１の記憶手段に記憶された再生経路のレベルダイヤを更新する更新手段を備えたことを特徴とする請求項１記載の音補正装置。
再生音量に影響を与え得る全てのモジュールに基づいて前記第１の記憶手段に記憶された再生経路のレベルダイヤを更新する更新手段を備えたことを特徴とする請求項１記載の音補正装置。
ノイズ音量に影響を与え得る全てのモジュールに基づいて前記第２の記憶手段に記憶されたノイズ取得経路のレベルダイヤを更新する更新手段を備えたことを特徴とする請求項１記載の音補正装置。
前記補正手段は、再生される音圧レベルが不快閾値となる再生デジタル信号の信号レベルが上限値となるようにダイナミックレンジ圧縮を行うことを特徴とする請求項１記載の音補正装置。