JP4396524B2

JP4396524B2 - 符号変換方法及び装置

Info

Publication number: JP4396524B2
Application number: JP2004568351A
Authority: JP
Inventors: 淳村島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-04-08
Filing date: 2004-03-31
Publication date: 2010-01-13
Anticipated expiration: 2024-03-31
Also published as: CN1784716A; US7630889B2; DE602004014919D1; CN100578616C; EP1617411B1; CA2521445C; WO2004090869A1; CA2521445A1; JPWO2004090869A1; KR20050122240A; EP1617411A4; US20060217980A1; EP1617411A1

Description

本発明は、音声信号を低ビットレートで伝送あるいは蓄積するための符号化及び復号方法に関し、特に、音声をある方式により符号化して得た符号を、他の方式により復号可能な符号に高音質かつ低演算量で変換する、符号変換方法及び装置に関する。

音声信号を中ビットレートあるいは低ビットレートで高能率に符号化する方法として、音声信号をＬＰ（線形予測(Linear Prediction)）フィルタとそれを駆動する励振信号とに分離して符号化する方法が広く用いられている。その代表的な方法の一つに、ＣＥＬＰ(Code Excited Linear Prediction)がある。ＣＥＬＰでは、入力音声の周波数特性を表すＬＰ係数が設定されたＬＰフィルタを、入力音声のピッチ周期を表す適応コードブック（Adaptive Codebook:ＡＣＢ）と乱数やパルスからなる固定コードブック（Fixed Codebook: ＦＣＢ）との和で表される励振信号により駆動することで、合成音声信号が得られる。このとき、ＡＣＢ成分とＦＣＢ成分には、各々、ゲイン（ＡＣＢゲインとＦＣＢゲイン）が乗算される。ＣＥＬＰに関しては、例えば、M. Schroeder, "Code excited linear prediction: High quality speech at very low bit rates," Proc. of IEEE Int. Conf. on Acoust., Speech and Signal Processing, pp. 937-940, 1985（非特許文献１）を参照されたい。

ところで、例えば３Ｇ(Third Generation)移動体網と有線パケット網との間の相互接続を想定した場合、それぞれの網で用いられる標準音声符号化方式が異なるため、これらの網を直接接続できないという問題がある。これに対する解法としてはタンデム接続が考えられる。

図１は、タンデム接続に基づく従来の符号変換装置の一例を示すものであり、ここでは、第１の音声符号化方式を用いて音声を符号化して得た符号を、第２の音声符号化方式によって復号可能な符号に変換するものとする。第２の音声符号化方式は、一般に、第１の音声符号化方式とは異なっている。以下、説明の簡単のために、第１の音声符号化方式のことを単に方式１と呼び、第１の音声符号化方式を用いて音声を符号化して得た符号のことを第１の符号列データと呼ぶ。同様に、第２の音声符号化方式のことを単に方式２と呼び、第２の音声符号化方式を用いて音声を符号化して得た符号のことを第２の符号列データと呼ぶ。符号列データは、音声符号化復号の処理単位であるフレーム周期（例えば２０ミリ秒周期）で入出力されるものとする。音声の符号化方法及び復号方法に関しては、上記のSchroederの論文（非特許文献１）、あるいは３ＧＰＰ規格："AMR Speech codec; Transcoding functions" (3GPP TS 26.090)（非特許文献２）を参照されたい。

以下、図１を参照して、タンデム接続に基づく従来の符号変換装置について説明する。

符号変換装置では、入力端子１０、音声復号回路１０５０、音声符号化回路１０６０、出力端子２０がこの順で直列に接続している。音声復号回路１０５０は、入力端子１０を介して入力される第１の符号列データから方式１に準拠した復号方法により音声を復号し、復号された音声を第１の復号音声として音声符号化回路１０６０へ出力する。音声符号化回路１０６０は、音声復号回路１０５０から出力される第１の復号音声を入力し、これを第２の音声符号化方法により符号化して得られる符号列データを第２の符号列データとして出力端子２０を介して出力する。

しかしながら、上述したタンデム接続による従来の符号変換装置は、入力された第１の符号列データを方式１の音声復号回路により一旦復号して得られる復号音声信号の信号特性が符号化による劣化のため再符号化に適さないものであるにもかかわらず、その復号音声信号をそのまま方式２の音声符号化回路により再符号化するため、これらの符号変換により得られる第２の符号列データを方式２によって復号した場合に、最終的な復号音声における音声品質が劣化するという課題を有している。
M. Schroeder, "Code excited linear prediction: High quality speech at very low bit rates," Proc. of IEEE Int. Conf. on Acoust., Speech and Signal Processing, pp. 937-940, 1985 ３ＧＰＰ規格："AMR Speech codec; Transcoding functions" (3GPP TS 26.090) ３ＧＰＰ規格："AMR Speech codec frame structure" (3GPP TS 26.101)

本発明の目的は、符号化音声の復号と再符号化とを行う符号変換方法であって、最終的に得られる音声信号における音声品質の劣化を低減できる符号変換方法を提供することにある。

本発明の別の目的は、符号化音声の復号と再符号化とを行う符号変換装置であって、最終的に得られる音声信号における音声品質の劣化を低減できる符号変換装置を提供することにある。

本発明の第１の目的は、第１の符号列データを第２の符号列データへ変換する符号変換方法であって、第１の符号列データを復号して第１の復号音声を生成するステップと、第１の復号音声の信号特性を補正して第２の復号音声を生成するステップと、第２の復号音声を符号化して第２の符号列データを生成するステップと、を有する符号変換方法によって達成される。

本発明の符号変換方法においては、第２の復号音声を生成するステップにおいて、第１の復号音声の特性に応じて可変する特性をもつフィルタによって信号特性の補正が行われるようにすることが好ましい。また、第２の復号音声を生成するステップにおいて、第１の復号音声の信号特性が、再符号化に適した信号特性に補正されるようにすることが好ましい。

本発明の第２の目的は、第１の符号列データを第２の符号列データへ変換する符号変換装置であって、第１の符号列データを復号して第１の復号音声を生成する音声復号回路と、第１の復号音声の信号特性を補正して第２の復号音声を生成する信号特性補正回路と、第２の復号音声を符号化して第２の符号列データを生成する音声符号化回路と、を有する符号変換装置によって達成される。

本発明の符号変換装置において、信号特性補正回路は、第１の復号音声の信号特性を、再符号化に適した信号特性に補正して、第２の復号音声を生成することが好ましい。また信号特性補正回路は、第１の復号音声の特性に応じて可変する特性をもつフィルタにより、第１の復号音声の信号特性を補正して第２の復号音声を生成することが好ましい。

本発明において、第１の復号音声の信号特性を補正するために用いられるフィルタは、好ましくは、第１の復号方法におけるポストフィルタの逆フィルタ、周波数の高域成分を強調する特性をもつフィルタ、あるいは、その両者を接続したフィルタである。また、フィルタの特性は、好ましくは、第１の符号列データに含まれるフレームタイプ情報、その符号列データの大きさ、あるいは第１の復号音声から計算可能な特徴量のうちの少なくとも１つを用いて変化させられる。

方式１の音声復号回路により復号して得られる復号音声信号は、一般には、符号化による劣化のために再符号化に適さない信号特性を有しており、そのままでは、方式２の音声符号化回路によって再符号化した場合には、その符号変換後の第２の符号列データから復号される音声信号における音質劣化が目立つ。本発明では、第１の符号列データから方式１の音声復号回路により復号して得られる復号音声信号の信号特性に補正し、その後、補正された復号音声信号を方式２の音声符号化回路により再符号化する。その結果、本発明によれば、符号変換後の第２の符号列データから復号される音声信号における音質劣化が低減される。

図２は、本発明の符号変換方法に基づく処理の流れを示している。本発明の基づく符号変換方法は、以下の（ａ）〜（ｃ）のステップを有する。
（ａ）：第１の符号列データから方式１の復号方法により第１の復号音声を生成する（ステップＳ１０１）。
（ｂ）：第１の復号音声を再符号化に適した信号特性にフィルタを用いて補正し、第２の復号音声を生成する（ステップＳ１０２，１０３）。
（ｃ）：第２の復号音声を方式２により符号化して第２の符号列データを生成する（ステップＳ１０４）。

本発明では、このように、第１の符号列データから方式１の音声復号回路により復号して得られる復号音声信号を、フィルタを用いて再符号化に適した信号特性に補正し、補正された復号音声信号を方式２の音声符号化回路により再符号化する。このため、符号化による劣化のために再符号化に適さない信号特性をもつ復号音声をそのまま方式２の音声符号化回路で再符号化することに起因する、符号変換後の第２の符号列データから復号される音声信号における音質劣化を軽減できる。

次に、本発明に基づく符号変換装置について説明する。本発明の第１の実施形態の符号変換装置を示す図３において、図１におけるものと同一または同等の要素には、同一の参照符号が付されている。

図３に示す符号変換装置は、入力端子１０と、入力端子１０から第１の符号列データが供給される音声復号回路１０５０と、音声復号回路１０５０の出力が供給される信号特性補正回路２０７０と、信号特性補正回路２０７０の出力が供給される音声符号化回路１０６０と、音声符号化回路１０６０から出力される第２の符号列データを外部に出力するための出力端子２０と、を備えている。音声復号回路１０５０は、第１の符号列データから方式１の復号方法により第１の復号音声を生成する。信号特性補正回路２０７０は、第１の復号音声を再符号化に適した信号特性にフィルタを用いて補正し、第２の復号音声を生成する。音声符号化回路１０６０は、第２の復号音声を方式２により符号化して第２の符号列データを生成する。入力端子１０、出力端子２０、音声復号回路１０５０及び音声符号化回路１０６０については、図１に示したものと同じである。

以下、図１に示した従来の符号変換装置との構成上の相違点である信号特性補正回路２０７０について、詳しく説明する。

信号特性補正回路２０７０は、音声復号回路１０５０から出力される第１の復号音声を入力し、伝達関数Ｆ(ｚ)で表されるフィルタを第１の復号音声で駆動して得られる信号を第２の復号音声として、この第２の復号音声を音声符号化回路１０６０へ出力する。ここで、フィルタＦ(ｚ)は、第１の復号音声を、再符号化に適した信号特性に補正するような信号特性をもつ。

音声復号回路には、多くの場合、主観音質を改善するためにポストフィルタが用いられているが、ポストフィルタが施された復号音声を再符号化すると、音質が劣化する。そこで、復号音声に、ポストフィルタの逆フィルタを施すことにより音質を改善できる。ポストフィルタの伝達関数をＰ(ｚ)とするとき、フィルタＦ(ｚ)は、式(1)で表すことができる。
Ｆ(ｚ)＝Ｆ１(ｚ)＝１／Ｐ(ｚ) (1)
ここで、ポストフィルタの詳細については、例えば、3GPP TS 26.090（非特許文献２）の第6.2節の記載が参照される。

また、前述の音質劣化では、音のこもり感が大きな要因である場合が多い。そこで、フィルタＦ(ｚ)を、周波数の高域成分を強調するような周波数特性をもつフィルタとしてもよい。この場合、Ｆ(ｚ)は、例えば、式(2)で表すことができる。
Ｆ(ｚ)＝Ｆ２(ｚ)＝１−ｕ(１／ｚ) (2)
ここで、ｕは高域成分の強調の度合いを表す係数（例えば、０．２）である。

さらに、上述したＦ１(ｚ)とＦ２(ｚ)とを組み合わせてもよい。この場合、Ｆ(ｚ)は、式(3)で表すことができる。
Ｆ(ｚ)＝Ｆ３(ｚ)＝Ｆ１(ｚ)Ｆ２(ｚ)＝（１−ｕ(１／ｚ)）／Ｐ(ｚ) (3)

以上から明らかなように、本実施形態では、従来の符号変換装置を構成する音声復号回路及び音声符号化回路を改造する必要がないため、標準方式に準拠した音声復号回路と音声符号化回路をそのまま利用することができる、という利点がある。

次に、本発明の第２の実施形態の符号変換装置について説明する。この第２の実施形態では、上述した実施形態の符号変換装置における信号特性補正回路のフィルタ特性を音声信号の特性に応じて可変としている。第２の実施形態の符号変換装置を示す図４において、図３におけるものと同一または同等の要素には、同一の参照符号が付されている。

図４に示すように、第２の実施形態の符号変換装置では、図３に示した音声復号回路１０５０は、符号分離回路３０１０と音声復号回路３０５０とから構成されているとみなすことができる。同様に、図３に示した音声符号化回路１０６０は、符号多重回路３０２０と音声符号化回路３０６０とから構成されているとみなされる。

符号分離回路３０１０は、入力端子１０を介して入力した第１の符号列データから、ヘッダとペイロードとを分離する。ヘッダには、フレームタイプ情報が含まれている。フレームタイプ情報を参照することにより、その符号列データから復号される信号が、音声区間に相当するものか無音区間に相当するものであるかを区別することができる。ここで、フレームタイプ情報の詳細については、例えば、３ＧＰＰ規格："AMR Speech codec frame structure" (3GPP TS 26.101)（非特許文献３）を参照されたい。ペイロードは、音声パラメータに対応する符号からなる。符号列データにおける音声パラメータには、例えば、ＬＰ係数、ＡＣＢ、ＦＣＢ、ＡＣＢ、ゲイン（ＡＣＢゲイン及びＦＣＢゲイン）がある。第１の符号列データでのＬＰ係数、ＡＣＢ、ＦＣＢ、ゲインに対応する符号を、それぞれ、第１のＬＰ係数符号、第１のＡＣＢ符号、第１のＦＣＢ符号、第１のゲイン符号とする。符号分離回路３０１０は、フレームタイプ情報を信号特性補正回路３０７０へ出力し、第１のＬＰ係数符号、第１のＡＣＢ符号、第１のＦＣＢ符号及び第１のゲイン符号を音声復号回路３０５０へ出力する。

音声復号回路３０５０は、符号分離回路３０１０から出力される第１のＬＰ係数符号、第１のＡＣＢ符号、第１のＦＣＢ符号及び第１のゲイン符号を入力として、これらの符号から方式１の復号方法により音声を復号し、復号された音声を第１の復号音声として信号特性補正回路３０７０へ出力する。

音声符号化回路３０６０は、信号特性補正回路３０７０から出力される第２の復号音声を入力し、これを方式２により符号化してＬＰ係数符号、ＡＣＢ符号、ＦＣＢ符号及びゲイン符号を得る。そしてこれらの符号をそれぞれ第２のＬＰ係数符号、第２のＡＣＢ符号、第２のＦＣＢ符号及び第２のゲイン符号として、符号多重回路３０２０へ出力する。

符号多重回路３０２０は、音声符号化回路３０６０から出力される第２のＬＰ係数符号、第２のＡＣＢ符号、第２のＦＣＢ符号及び第２のゲイン符号を入力として、これらを多重化して得られる符号列データを第２の符号列データとして出力端子２０を介して出力する。

信号特性補正回路３０７０は、音声復号回路３０５０から出力される第１の復号音声と符号分離回路３０１０から出力されるフレームタイプ情報を入力として、フレームタイプ情報に応じて可変な伝達関数Ｆ(ｚ)で表されるフィルタを第１の復号音声で駆動して得られる信号を、第２の復号音声として、音声符号化回路３０６０へ出力する。

ここで、第１の実施形態と同様に、音声復号回路３０５０におけるポストフィルタの伝達関数をＰ(ｚ)とするとき、フィルタＦ(ｚ)は以下のような式で表すことができる。

フレームタイプ情報が音声に対応するときは、フィルタＦ(ｚ)は、式(4)で表される。
Ｆ(z)＝Ｆ１(z)＝１／Ｐ(z) (4)

フレームタイプ情報が非音声に対応するときは、フィルタＦ(ｚ)は、式(5)で表される。
Ｆ(ｚ)＝Ｆ１(ｚ)＝１ (5)

また、フィルタＦ(ｚ)を、周波数の高域成分を強調するような周波数特性を有するフィルタとする場合、Ｆ(ｚ)は例えば以下のような式で表すことができる。

フレームタイプ情報が音声に対応するときは、フィルタＦ(ｚ)は、式(6)で表される。
Ｆ(ｚ)＝Ｆ２(ｚ)＝１−ｕ(１／ｚ) (6)

フレームタイプ情報が非音声に対応するときは、フィルタＦ(ｚ)は、式(7)で表される。
Ｆ(ｚ)＝Ｆ２(ｚ)＝１−ｖ(１／ｚ) (7)

ここで、ｕ，ｖは高域成分強調の度合いを表す係数であり、例えば、ｕ＝０．２，ｖ＝０．１である。さらに、Ｆ１(ｚ)とＦ２(ｚ)とを組み合わせてもよい。この場合、Ｆ(ｚ)は以下の式で表すことができる。

フレームタイプ情報が音声に対応するときは、フィルタＦ(ｚ)は、式(8)で表される。
Ｆ(ｚ)＝Ｆ３(ｚ)＝Ｆ１(ｚ)Ｆ２(ｚ)＝（１−ｕ(１／ｚ)）／Ｐ(ｚ) (8)

フレームタイプ情報が非音声に対応するときは、フィルタＦ(ｚ)は、式(9)で表される。
Ｆ(ｚ)＝Ｆ３(ｚ)＝Ｆ１(ｚ)Ｆ２(ｚ)＝１−ｖ(１／ｚ) (9)

上述の例では、フィルタ特性を音声信号の特性に応じて可変とするのに際してフレームタイプ情報を用いているが、フレームタイプ情報の代わりに第１の符号列データの大きさを用いてもよいし、あるいは、第１の復号音声から計算可能な特徴量を用いてもよい。特徴量は、音声信号の特性を表すものであって、例えば、ピッチ周期性、スペクトルの傾き、電力などが含まれる。特徴量が音声に対応するときと、非音声に対応するときとで、フィルタ特性Ｆ(ｚ)を上述の例のように変えればよい。

例えば、特徴量として電力を考えた場合、最も簡単な例としては、以下のように、電力が相対的に大きいときを音声に対応づけ、小さいときを非音声に対応づけることが考えられる。

電力Ｅが音声に対応するときは、フィルタＦ(ｚ)は、式(10)で表される。
Ｆ(ｚ)＝Ｆ３(ｚ)＝Ｆ１(ｚ)Ｆ２(ｚ)＝(１−ｕ(１／ｚ))／Ｐ(ｚ), Ｅ＞Ｔｈ (10)

電力Ｅが非音声に対応するときは、フィルタＦ(ｚ)は、式(11)で表される。
Ｆ(ｚ)＝Ｆ３(ｚ)＝Ｆ１(ｚ)Ｆ２(ｚ)＝１−ｖ(１／ｚ), Ｅ＜Ｔｈ (11)

ここで、Ｔｈはある定数である。また、係数ｕ，ｖはＥの関数として連続値を取るようにしてもよい。

上述した各符号変換装置は、ディジタル信号プロセッサ（ＤＳＰ）などのコンピュータ制御で実現するようにしてもよい。図５は、上記の各実施形態における符号変換処理をコンピュータで実現する場合の装置構成を模式的に示している。

記録媒体６００から読み出されたプログラムを実行するコンピュータ１００において、第１の符号化復号装置により音声を符号化して得た第１の符号を、第２の符号化復号装置により復号可能な第２の符号へ変換する符号変換処理を実行するにあたり、記録媒体６００には、（ａ）第１の符号列データから方式１の復号方法により第１の復号音声を生成する処理と、（ｂ）第１の復号音声を再符号化に適した信号特性にフィルタを用いて補正し、第２の復号音声を生成する処理と、（ｃ）第２の復号音声を方式２により符号化して第２の符号列データを生成する処理を実行させるためのプログラムが記録されている。

記録媒体６００からこのプログラムを記録媒体読出装置５００及びインタフェース４００を介してメモリ３００に読み出して実行する。プログラムは、マスクＲＯＭ等、フラッシュメモリ等の不揮発性メモリに格納してもよく、記録媒体は不揮発性メモリを含むほか、CD-ROM, FD, Digital Versatile Disk (DVD), 磁気テープ(MT)、可搬型ハードディスクドライブ(HDD)等の媒体であってもよい。さらに、そのようなプログラムをサーバ装置に用意しておき、通信ネットワークを介してそのプログラムをコンピュータにダウンロードするようにしてもよい。本発明の範疇には、そのようなプログラムを記録した記録媒体のほか、そのようなプログラムからなるプログラムプロダクト、そのようなプログラムを担持して有線あるいは無線で送信するための通信媒体等も含まれる。

図１は、タンデム接続による従来の符号変換装置の構成を示すブロック図である。図２は、本発明に基づく符号変換の処理手順を示すフローチャートである。図３は、本発明の第１の実施形態の符号変換装置の構成を示すブロック図である。図４は、本発明の第２の実施形態の符号変換装置の構成を示すブロック図である。図５は、本発明に基づく符号変換装置の別の例の構成を示すブロック図である。

符号の説明

１０入力端子
２０出力端子
１００コンピュータ
２００ＣＰＵ
３００メモリ
４００記録媒体読出装置インタフェース
５００記録媒体読出装置
６００記録媒体
１０５０，３０５０音声復号回路
１０６０，３０６０音声符号化回路
２０７０，３０７０信号特性補正回路
３０１０符号分離回路
３０２０符号多重回路

Claims

第１の符号列データを第２の符号列データへ変換する符号変換方法であって、
前記第１の符号列データを第１の方式に基づいて復号して第１の復号音声を生成するステップと、
前記第１の方式におけるポストフィルタの逆特性に基づくフィルタを用いて前記第１の復号音声の信号特性を補正して第２の復号音声を生成するステップと、
前記第２の復号音声を第２の方式に基づいて符号化して前記第２の符号列データを生成するステップと、
を有する符号変換方法。
第１の符号列データを第２の符号列データへ変換する符号変換装置であって、
前記第１の符号列データを第１の方式に基づいて復号して第１の復号音声を生成する音声復号回路と、
前記第１の方式におけるポストフィルタの逆特性に基づくフィルタを用いて前記第１の復号音声の信号特性を補正して第２の復号音声を生成する信号特性補正回路と、
前記第２の復号音声を第２の方式に基づいて符号化して前記第２の符号列データを生成する音声符号化回路と、
を有する符号変換装置。
コンピュータに、
第１の符号列データを第１の方式に基づいて復号して、第１の復号音声を生成するステップと、
前記第１の方式におけるポストフィルタの逆特性に基づくフィルタを用いて前記第１の復号音声の信号特性を補正して第２の復号音声を生成するステップと、
前記第２の復号音声を第２の方式に基づいて符号化して、第２の符号列データを生成するステップと、
を実行させるプログラム。
コンピュータが読み取り可能な記録媒体であって、請求項３に記載のプログラムを格納した記録媒体。