JP5065687B2

JP5065687B2 - オーディオデータ処理装置及び端末装置

Info

Publication number: JP5065687B2
Application number: JP2007001708A
Authority: JP
Inventors: 内広和竹; 田将高長
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-01-09
Filing date: 2007-01-09
Publication date: 2012-11-07
Anticipated expiration: 2027-01-09
Also published as: JP2008170554A; US20080164942A1

Description

本発明は、オーディオデータ処理装置及び端末装置に関する。

従来、背景雑音が存在する環境下で携帯電話を用いて通話をする場合に、受話音声の明瞭度を向上させる方法として、マイクから入力された背景雑音の信号特性を推定し、当該背景雑音の信号特性と受話音声の信号特性とに基づいて、受話音声の強調処理を行う方法が提案されている（例えば、特許文献１参照）。

以下、受話音声の強調処理に関する文献名を記載する。
特開２００４−２８９６１４号公報

しかし、かかる方法は、人の音声の特徴を利用して強調処理を行うため、音声通話等の音声再生時には効果が得られるものの、楽音等を含む音声以外のオーディオ信号の再生に対しては効果が得られないという問題があった。

本発明の目的は、上記の問題を解決するためになされたものであり、入力されるオーディオ符号化データの種類によらずに再生音質の向上を図ることができるオーディオデータ処理装置及び端末装置を提供することを目的とする。

本発明の一態様によるオーディオデータ処理装置は、
符号化されたオーディオデータであるオーディオ符号化データを復号化することにより、前記オーディオデータを復元し出力する際、前記オーディオ符号化データの中から符号化パラメータを抽出する復号化部と、
周囲の背景雑音信号を取得する取得部と、
前記符号化パラメータ及び前記背景雑音信号を用いて、前記オーディオデータの周波数特性を補正するための補正ゲインを算出する補正ゲイン算出部と、
前記補正ゲインに基づいて前記オーディオデータの周波数特性を補正する周波数特性補正部と
を備え、
前記補正ゲイン算出部は、
前記符号化パラメータのうち、量子化ステップサイズ及び量子化スペクトラムを用いて、許容量子化雑音パワーを所定の周波数帯域毎に算出する許容量子化雑音パワー算出部と、
前記背景雑音信号の周波数特性を解析する背景雑音周波数特性解析部と、
前記背景雑音周波数特性解析部による解析結果を用いて、背景雑音パワーを前記周波数帯域毎に算出する背景雑音パワー算出部と、
許容量子化雑音パワーと背景雑音パワーとを前記周波数帯域毎に比較するパワー比較部と、
前記背景雑音パワーが前記許容量子化雑音パワーより大きいと判定された、補正対象の周波数帯域については、前記許容量子化雑音パワーに対する前記背景雑音パワーとの比を前記補正ゲインとして算出するゲイン算出部と、
を有する。

本発明のオーディオデータ処理装置及び端末装置によれば、入力されるオーディオ符号化データの種類によらずに再生音質の向上を図ることができる。

以下、本発明の実施の形態について図面を参照して説明する。

図１に、本発明の実施の形態によるオーディオデータ処理装置１０の構成を示す。オーディオデータ処理装置１０は、例えば携帯電話等、マイク機能が付加されたオーディオ再生端末である端末装置に内蔵される。

また、このオーディオデータ処理装置１０は、オーディオ符号化データＳ１０を復号化することにより、元のオーディオデータである再生信号Ｓ４０を復元する復号化部として、オーディオデコーダ２０を有する。

そして、オーディオデータ処理装置１０は、このオーディオデコーダ２０から出力される符号化パラメータＳ２０と、取得手段としてのマイク３０によって取得された背景雑音信号Ｓ３０とに基づいて、再生信号Ｓ４０の周波数特性を補正する。これにより、音声通話などの音声再生に加えて、楽音再生や、TV放送などを受信して再生する際にも、背景雑音の影響を緩和することができる。

具体的には、オーディオデータ処理装置１０は、蓄積メディア（図示せず）から読み出され、あるいはアンテナ（図示せず）によって受信することにより得られたオーディオ符号化データＳ１０を、シンタックス解析部４０に入力する。抽出手段としてのシンタックス解析部４０は、オーディオ符号化データＳ１０に対して、例えばハフマン復号化等などの復号化を行うことにより、オーディオ符号化パラメータＳ２０を抽出し、これを逆量子化部５０に出力する。

なお、一般に、例えばＡＡＣ(Advanced Audio Coding)等のオーディオ符号化方式では、周波数領域に変換されたスペクトラム（オーディオデータ）の冗長度を削減する処理が施されている。これにより、符号化パラメータＳ２０は、スケールファクタと呼ばれる量子化ステップサイズＳ２０Ａと、当該量子化ステップサイズＳ２０Ａによって量子化された複数の量子化値からなる量子化スペクトラムＳ２０Ｂ（すなわち量子化された周波数領域のオーディオデータ）とを含む。

これら量子化ステップサイズＳ２０Ａ及び量子化スペクトラムＳ２０Ｂは、図示しないオーディオエンコーダにおいて、聴覚の周波数分解能に基づいて分割されたスケールファクタバンドと呼ばれる複数の周波数帯域毎に、例えばトーン性（時間的に予測可能な信号の特性）などの信号特性と、聴覚のマスキング特性（ある信号成分が存在すると、時間的及び周波数的にその近傍に位置する信号成分の存在を聴覚的に隠してしまう特性）とを考慮して、ノイズが知覚されない(すなわちマスキングされる)レベルを有する量子化雑音パワーになるように、制御される。

逆量子化部５０は、量子化ステップサイズＳ２０Ａに基づいて、量子化スペクトラムＳ２０Ｂを逆量子化することにより、量子化スペクトラムＳ２０Ｂを通常スケールのスペクトラムＳ５０（周波数領域のオーディオデータ）に変換する。

周波数時間変換部６０は、このスペクトラムＳ５０に対して、周波数時間変換を施すことにより、時間領域のＰＣＭ（Pulse Code Modulation）信号からなる再生信号Ｓ４０を生成する。この再生信号Ｓ４０は、周波数特性補正部７０を介してデジタルアナログ（Ｄ／Ａ）変換部８０に与えられ、当該Ｄ／Ａ変換部８０においてアナログ信号（オーディオ信号）に変換された後、出力手段としてのヘッドホン９０から出力される。

ところで、本実施の形態の場合、オーディオデータ処理装置１０は、背景雑音が存在する環境下であっても、音声や楽音などを聴き取り易くするため、出力信号Ｓ４０の周波数特性を補正する。具体的には、オーディオデータ処理装置１０は、音声通話用のマイク３０によって背景雑音を取得し、これを背景雑音信号Ｓ３０として補正ゲイン算出部１００に入力する。

補正ゲイン算出部１００は、シンタックス解析部４０から逆量子化部５０を介して与えられる量子化ステップサイズＳ２０Ａ及び量子化スペクトラムＳ２０Ｂを用いて、許容され得る量子化雑音パワーである許容量子化雑音パワーを推定し、マイク３０から取得される背景雑音信号Ｓ３０が、許容量子化雑音パワーより小さくなるように、補正対象の周波数帯域における補正ゲインを算出する。

周波数特性補正部７０は、まず、周波数時間変換部６０から出力される再生信号Ｓ４０に対して、時間周波数変換を行うことにより、周波数領域のオーディオデータであるスペクトラムを生成する。次いで、周波数特性補正部７０は、補正ゲイン算出部１００において算出された補正ゲインGsm(k)を、このスペクトラムに乗算することにより、周波数特性の補正処理であるイコライジング処理を行う。

さらに続いて、周波数特性補正部７０は、補正処理が行われたスペクトラムに対して、周波数時間変換を行うことにより、周波数特性の補正処理が行われた再生信号Ｓ６０を生成し、これをＤ／Ａ変換部８０においてアナログ信号に変換した後、ヘッドホン９０から出力する。これにより、背景雑音の影響を緩和して音質向上を実現することができる。

ここで図2に、補正ゲイン算出部１００の具体的な構成を示す。補正ゲイン算出部１００は、まず、マイク３０から入力される背景雑音信号Ｓ３０を背景雑音周波数特性解析部１１０に入力する。この背景雑音周波数特性解析部１１０は、背景雑音信号Ｓ３０に対して時間周波数変換を行うことにより、周波数領域のデータである背景雑音スペクトラムＳ７０に変換する。

背景雑音パワー算出部１２０は、この背景雑音スペクトラムＳ７０を用いて、量子化ステップサイズＳ２０Ａ及び量子化スペクトラムＳ２０Ｂと同一の周波数帯域（スケールファクタバンド）毎に、背景雑音パワーを算出する。次いで、背景雑音パワー算出部１２０は、マイク３０のアナログ特性と、ヘッドホン９０内に漏れてくる減衰率とを考慮して、予め算出された係数によって、この背景雑音パワーを補正することにより、背景雑音パワーBGN(k)を算出して出力する。なお、ここでｋは、各周波数帯域のインデックスを示す。

一方、許容量子化雑音パワー算出部１３０は、オーディオデコーダ２０の逆量子化部５０から出力される量子化ステップサイズＳ２０Ａ及び量子化スペクトラムＳ２０Ｂを用いて、許容量子化雑音パワーQN(k)を算出する。

具体的には、例えばオーディオ符号化方式がAACである場合、逆量子化部５０における逆量子化処理は、次式

のように表される。ここで、kは周波数帯域（スケールファクタバンド）のインデックス、sf(k)は量子化ステップサイズ（スケールファクタ）、iは当該周波数帯域における周波数のインデックス、q(i)は量子化値（量子化スペクトル係数(整数)）、invq(i)は逆量子化値である。

この（１）式の逆量子化値invq(i)を、k及びq(i)の関数として、IQ(k,q(i))と置くと、量子化値q(i)に対する量子化ステップサイズQstep(k,i)は、次式

のように表され、周波数帯域kにおける量子化雑音パワーQN(k)は、次式

と求められる。ここで、sfb0(k)は、周波数帯域（スケールファクタバンド）kにおける周波数インデックスの低域端、sfb1(k)は、当該周波数帯域kにおける周波数インデックスの高域端を示す。

一般に、オーディオエンコーダは、入力信号の信号レベルや人間の聴覚のマスキング特性を考慮して、ノイズが知覚されない雑音レベルであるマスキング閾値を算出し、当該マスキング閾値に応じて量子化ステップサイズを制御する。

従って、雑音パワーが、量子化雑音パワーQN(k)より小さい場合には、ノイズとして知覚されずに許容されることができる。これにより、許容量子化雑音パワー算出部１３０は、この算出された量子化雑音パワーQN(k)を、周波数帯域kにおける許容量子化雑音パワーQN(k)として出力する。

パワー比較部１４０は、全ての周波数帯域について、背景雑音パワーBGN(k)と許容量子化雑音パワーQN(k)とを順次比較し、背景雑音パワーBGN(k)が許容量子化雑音パワーQN(k)より大きい周波数帯域については、当該補正対象の周波数帯域のインデックスkと、背景雑音パワーBGN(k)及び許容量子化雑音パワーQN(k)とをゲイン算出部１５０に出力する。

ゲイン算出部１５０は、補正対象の周波数帯域において、背景雑音パワーBGN(k)が許容量子化雑音パワーQN(k)より小さくなるように、当該周波数帯域における信号レベルを上げるための補正ゲインG(k)(>1.0)を、次式

を用いて算出し、これをゲインスムージング部１６０に出力する。

ゲインスムージング部１６０は、この補正ゲインG(k)に対して平滑化処理を行った上で、周波数特性補正部７０に出力する。これにより、特定の周波数帯域のみゲイン補正することによる、周辺の周波数帯域の特性の不連続性や、元信号との間の違和感を緩和することができる。

ゲインスムージング部１６０は、背景雑音パワーBGN(k)が許容量子化雑音パワーQN(k)より大きく、補正処理を必要とする周波数帯域をk0とし、またαを平滑化係数とした場合には、周辺の補正ゲインGs(k)を、次式

のように算出する。ここで、平滑化係数αは、周波数帯域毎の正の固定係数であり、k=k₀となるα(k₀,0)をピークとして、単調増加し当該ピークに達した後は単調減少する凸状の形状を有する。

ところで、マスク比算出部１７０（パワー比算出部）は、聴覚のマスキング特性を考慮して、許容量子化雑音パワーQN(k)と、量子化ステップサイズＳ２０Ａ及び量子化スペクトラムＳ２０Ｂとを用いて、補正対象の周波数帯域kにおける、許容量子化雑音パワーQN(k)に対する逆量子化スペクトラムＳ２０のパワー比であるマスク比SMR(k)を算出する。

具体的には、マスク比算出部１７０は、周波数帯域kにおけるマスク比SMR(k)を、許容量子化雑音パワーQN(k)と逆量子化値invq(i)とを用いて、次式

によって算出し、これをゲインスムージング部１６０に出力する。

ゲインスムージング部１６０は、このマスク比SMR(k)に応じて、周波数領域における平滑化係数αの補正を行う。具体的には、ゲインスムージング部１６０は、このマスク比SMR(k)を所定の閾値と比較し、その結果、マスク比SMR(k)が閾値より大きいと判定された場合には、平滑化係数αを小さくするように（傾きが急峻になるように）補正する。なお、この場合、閾値を複数設けることにより、平滑化係数αの補正を複数段階で行っても良い。

このようにして補正された平滑化係数α_SMR(k₀,k)は、平滑化係数αの補正を関数F()で表すと、次式

によって表される。

従って、マスク比SMRが大きい周波数帯域については、一般に、トーン性が高く（ノイズ性が低く）、周辺の周波数帯域に与える影響は小さいので、周辺の周波数帯域の平滑化係数α(k,i≠0)を小さくするように（単調増加及び単調減少する際の傾きが急峻になるように）補正する。

これに対して、マスク比SMRが小さい周波数帯域については、一般に、トーン性が低く（ノイズ性が高く）、周辺の周波数帯域に与える影響は大きいので、周辺の周波数帯域の平滑化係数α(k,i≠0)を小さくする度合いを小さくするように（傾きが急峻になることを回避するように）補正する。

ここで図3に、ゲイン補正の様子を示す。ゲイン算出部１５０は、パワー比較部１４０によって、周波数帯域k₀において背景雑音パワーBGN(k)が許容量子化雑音パワーQN(k)より大きいと判定されると、背景雑音パワーBGN(k)が許容量子化雑音パワーQN(k)より小さくなるような補正ゲインG(k)を算出する。その後、ゲインスムージング部１６０は、周辺の補正ゲインGs(k)に基づいて平滑化処理を行って、補正ゲインG(k)を算出する。この場合、ゲインスムージング部１６０は、周波数領域域におけるスムージングを行った後、時間領域についてもスムージング処理を行っても良く、これにより、再生信号の不連続に伴う異音を抑制することができる。

このようにして、ゲインスムージング部１６０は、マスク比算出部１７０から与えられるマスク比SMR(k)を考慮しつつ、全ての周波数帯域について、最終的な補正ゲインGsm(k)を、次式

によって算出する。ここで、min_k₀は、補正対象の周波数帯域のインデックスの低域端、max_k₀は、補正対象の周波数帯域のインデックスの高域端であり、補正対象の周波数帯域のうち中間の周波数帯域についてのみ加算を行う。

このように本実施の形態によれば、音声に限らず、楽音などのオーディオ符号化データS１０を再生する際に、背景雑音の影響を緩和して音質の向上を図ることができる。また、許容量子化雑音パワーQN(k)等の信号特性を解析する際に、符号化パラメータＳ２０を利用することにより、解析時間を短縮して高速に処理することができる。

なお、上述の実施の形態は一例であって、本発明を限定するものではない。例えば、補正ゲイン算出部１００のゲイン算出部１５０から補正ゲインG(k)を周波数特性補正部７０に与えることにより、周波数特性補正部７０において、補正ゲインG(k)を用いて、周波数特性の補正処理を行わせても良い。

本発明の実施の形態によるオーディオデータ処理装置の構成を示すブロック図である。補正ゲイン算出部の構成を示すブロック図である。ゲイン補正の様子を示す説明図である。

符号の説明

１０オーディオデータ処理装置
３０マイク
４０シンタックス解析部
５０逆量子化部
６０周波数時間変換部
７０周波数特性補正部
１００補正ゲイン算出部
１１０背景雑音周波数特性解析部
１２０背景雑音パワー算出部
１３０許容量子化雑音パワー算出部
１４０パワー比較部
１５０ゲイン算出部
１６０ゲインスムージング部
１７０マスク比算出部

Claims

符号化されたオーディオデータであるオーディオ符号化データを復号化することにより、前記オーディオデータを復元し出力する際、前記オーディオ符号化データの中から符号化パラメータを抽出する復号化部と、
周囲の背景雑音信号を取得する取得部と、
前記符号化パラメータ及び前記背景雑音信号を用いて、前記オーディオデータの周波数特性を補正するための補正ゲインを算出する補正ゲイン算出部と、
前記補正ゲインに基づいて前記オーディオデータの周波数特性を補正する周波数特性補正部と
を備え、
前記補正ゲイン算出部は、
前記符号化パラメータのうち、量子化ステップサイズ及び量子化スペクトラムを用いて、許容量子化雑音パワーを所定の周波数帯域毎に算出する許容量子化雑音パワー算出部と、
前記背景雑音信号の周波数特性を解析する背景雑音周波数特性解析部と、
前記背景雑音周波数特性解析部による解析結果を用いて、背景雑音パワーを前記周波数帯域毎に算出する背景雑音パワー算出部と、
許容量子化雑音パワーと背景雑音パワーとを前記周波数帯域毎に比較するパワー比較部と、
前記背景雑音パワーが前記許容量子化雑音パワーより大きいと判定された、補正対象の周波数帯域については、前記許容量子化雑音パワーに対する前記背景雑音パワーとの比を前記補正ゲインとして算出するゲイン算出部と、
を有することを特徴とするオーディオデータ処理装置。
前記補正ゲイン算出部は、
前記量子化ステップサイズ及び前記量子化スペクトラムと前記許容量子化雑音パワーとを用いて、前記補正対象の周波数帯域における、前記許容量子化雑音パワーに対する前記量子化スペクトラムのパワー比を算出するパワー比算出部と、
前記パワー比に応じて、前記補正対象の周波数帯域を基準として周辺の周波数帯域における前記補正ゲインを修正するゲインスムージング部と
をさらに備えることを特徴とする請求項１に記載のオーディオデータ処理装置。
前記復号化部は、
前記オーディオ符号化データの中から、量子化ステップサイズ及び量子化スペクトラムを含む前記符号化パラメータを抽出する抽出部と、
前記量子化ステップサイズに基づいて、前記量子化スペクトラムを逆量子化する逆量子化部と、
逆量子化された前記量子化スペクトラムに対して、周波数時間変換を行うことにより、前記オーディオデータを生成する周波数時間変換部と
を備えることを特徴とする請求項１に記載のオーディオデータ処理装置。
符号化されたオーディオデータであるオーディオ符号化データを復号化することにより、前記オーディオデータを復元し出力する際、前記オーディオ符号化データの中から符号化パラメータを抽出する復号化部と、
周囲の背景雑音信号を取得する取得部と、
前記符号化パラメータ及び前記背景雑音信号を用いて、前記オーディオデータの周波数特性を補正するための補正ゲインを算出する補正ゲイン算出部と、
前記補正ゲインに基づいて前記オーディオデータの周波数特性を補正する周波数特性補正部と、
前記周波数特性が補正された前記オーディオデータに対してデジタルアナログ変換を行うことにより、オーディオ信号を生成するデジタルアナログ変換部と、
前記オーディオ信号を外部に出力する出力部と、
を備え、
前記補正ゲイン算出部は、
前記符号化パラメータのうち、量子化ステップサイズ及び量子化スペクトラムを用いて、許容量子化雑音パワーを所定の周波数帯域毎に算出する許容量子化雑音パワー算出部と、
前記背景雑音信号の周波数特性を解析する背景雑音周波数特性解析部と、
前記背景雑音周波数特性解析部による解析結果を用いて、背景雑音パワーを前記周波数帯域毎に算出する背景雑音パワー算出部と、
許容量子化雑音パワーと背景雑音パワーとを前記周波数帯域毎に比較するパワー比較部と、
前記背景雑音パワーが前記許容量子化雑音パワーより大きいと判定された、補正対象の周波数帯域については、前記許容量子化雑音パワーに対する前記背景雑音パワーとの比を前記補正ゲインとして算出するゲイン算出部と、
を有することを特徴とする端末装置。