JP4437011B2 - 音声符号化装置 - Google Patents
音声符号化装置 Download PDFInfo
- Publication number
- JP4437011B2 JP4437011B2 JP2003091747A JP2003091747A JP4437011B2 JP 4437011 B2 JP4437011 B2 JP 4437011B2 JP 2003091747 A JP2003091747 A JP 2003091747A JP 2003091747 A JP2003091747 A JP 2003091747A JP 4437011 B2 JP4437011 B2 JP 4437011B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- speech
- voice
- degree
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル音声通信に必要な音声符号化装置に関する。
【０００２】
【従来の技術】
デジタル方式の移動通信網や固定通信網、インターネットなどによる音声通信においては、伝送効率の向上を図るため、音声信号を高効率で符号化する音声符号化装置が用いられる。なお、本明細書中、「音声符号化装置」という用語は、符号化機能のみならず復号化機能をも有する広い意味で使用する。
【０００３】
近年、各種通信網の伝送速度の向上やマルチメディア通信の発展により、音声通信のサービス形態として、単なる電話としての機能のみならず、テレビ電話としての利用や、テレビ会議などの、より臨場感が要求される音声通信を行うこと、各種情報を音声で案内する際に背景にＢＧＭがあるような音声信号をより高品質に伝送することなど、様々な形態があり、音声信号の符号化に対して、高い効率を維持しつつより高い品質で音声信号を符号化できる装置が求められている。
【０００４】
図３は、従来の音声符号化装置の一般的な構成を示す図である（たとえば、非特許文献１参照）。
【０００５】
図３の装置において、送信する音声信号は符号化部１に入力され、ここで符号化処理が行われた後、音声符号化データとして出力される。音声符号化データは通信相手に送信される。一方、通信相手から受信した音声符号化データは復号化部３に入力され、ここで復号化処理が行われた後、復号音声信号として出力される。なお、音声信号の符号化は、一般に、入力音声信号に対して一定の区間（以下「音声フレーム」という）毎に区切られ、この音声フレーム単位で符号化処理と復号化処理が行われる。
【０００６】
このような音声符号化装置を用いて音声通信を実現するためには、音声通信による通話の双方向性を考慮して、符号化によって生じる遅延（以下「符号化遅延」という）がある程度小さいこと、たとえば、符号化部単体の遅延量で５０ｍｓ程度まで、また、処理遅延や伝送路遅延を含めた片側（送信側または受信側）の合計遅延量で１５０ｍｓ程度までであることが望まれる。
【０００７】
このような音声通信に適した高効率の符号化方式としては、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication standardization sector：国際電気通信連合電気通信標準化部門）や３ＧＰＰ（3rd Generation Partnership Project）などの標準化機関で規格化されている様々な方式があり、代表的な例として、ＩＴＵ−Ｔ標準Ｇ.７２９（ＣＳ−ＡＣＥＬＰ符号化）や３ＧＰＰ標準のＡＭＲ符号化などが挙げられる。
【０００８】
【非特許文献１】
3GPP 標準規格 TS26.071：AMR speech CODEC; General description
【０００９】
【発明が解決しようとする課題】
しかしながら、上記に示した従来の高効率な音声符号化装置においては、音声の帯域が３.４ｋＨｚまでの音声信号を対象とした符号化方式であるため、より高い音声品質を実現するためには必ずしも十分ではなく、より音声帯域の広い高品質な符号化が望まれる。
【００１０】
この点、音声帯域の広い非常に高品質な符号化を実現できる符号化方式として、音楽信号の符号化を対象とした、ＭＰ３やＡＡＣと呼ばれる符号化方式がある。しかし、これらは、双方向通信用の符号化方式ではないため、符号化遅延が大きく（たとえば、符号化部単体の遅延量で１００ｍｓのオーダ）、音声通信用の符号化方式として使用する場合には、符号化遅延により音声通信に支障が生じるという問題がある。
【００１１】
また、一般に、音声品質を高く維持したまま低い遅延で符号化を実現する場合には、伝送に要する符号化ビットレートが高くなり、伝送効率が低下するという問題がある。
【００１２】
本発明は、かかる点に鑑みてなされたものであり、伝送効率と双方向通信における低遅延性とを両立させることができる音声符号化装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の第１の態様に係る音声符号化装置は、第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化手段と、前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化手段と、受信された音声符号化データを復号化する復号化手段と、送信する音声信号および復号化後の音声信号を用いて、音声通信の双方向性度合を検出する検出手段と、検出された音声通信双方向性度合に基づいて、前記第１符号化手段および前記第２符号化手段のいずれか一方を選択する選択手段と、選択された符号化手段の処理結果を出力する出力手段と、を有する構成を採る。このとき、たとえば、前記選択手段は、音声通信の双方向性度合が高い場合は、第１符号化手段を選択し、音声通信の双方向性度合が低い場合は、第２符号化手段を選択する、構成を採る。また、たとえば、前記復号化手段は、前記第１の音声符号化方式および前記第２の音声符号化方式のうち、選択された一の音声符号化方式を用いて、受信された音声符号化データを復号化する、構成を採る。
【００１４】
この構成によれば、送信する音声信号を符号化する符号化手段として、第１の音声符号化方式を用いる第１符号化手段と、第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いる第２符号化手段とを設け、送信する音声信号および復号化後の音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が比較的小さい第１符号化手段と、符号化遅延は比較的大きいが符号化ビットレートは比較的低いまたは符号化音声品質は比較的高い第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００１５】
本発明の第２の態様に係る音声符号化装置は、上記の構成において、前記検出手段は、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報を用いて、音声通信の双方向性度合を検出する、構成を採る。
【００１６】
この構成によれば、音声通信の双方向性度合を検出する際に、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報を用いるため、音声通信の双方向性度合をより適切に検出することができる。
【００１７】
本発明の第３の態様に係る音声符号化装置は、上記の構成において、前記検出手段は、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報として、送信側の有音率と受信側の有音率との組み合わせ情報、送信側の有音区間と受信側の有音区間との相補性度情報、および送信側の有音区間と受信側の有音区間との交互発生度情報のうち、少なくとも一以上の情報を用いて、音声通信の双方向性度合を検出する、構成を採る。
【００１８】
この構成によれば、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報として、具体的に、上記の各種情報を用いるため、音声通信の双方向性度合をより一層高い精度で検出することができる。
【００１９】
本発明の第４の態様に係る携帯端末装置は、上記構成の音声符号化装置を有する構成を採る。
【００２０】
この構成によれば、上記と同様の作用効果を有する携帯端末装置を実現することができる。
【００２１】
本発明の第５の態様に係る基地局装置は、上記構成の音声符号化装置を有する構成を採る。
【００２２】
この構成によれば、上記と同様の作用効果を有する基地局装置を実現することができる。
【００２３】
本発明の第６の態様に係る音声符号化方法は、第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化ステップと、前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化ステップと、受信された音声符号化データを復号化する復号化ステップと、送信する音声信号および復号化後の音声信号を用いて、音声通信の双方向性度合を検出する検出ステップと、前記検出ステップで検出した音声通信双方向性度合に基づいて、前記第１符号化方式および前記第２符号化方式のいずれか一方を選択する選択ステップと、前記第１符号化ステップおよび前記第２符号化ステップの各処理結果のうち、前記選択ステップで選択した符号化方式に基づく処理結果を出力する出力ステップと、を有するようにした。
【００２４】
この方法によれば、送信する音声信号を符号化する符号化ステップとして、第１の音声符号化方式を用いる第１符号化ステップと、第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いる第２符号化ステップとを設け、送信する音声信号および復号化後の音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が比較的小さい第１符号化手段と、符号化遅延は比較的大きいが符号化ビットレートは比較的低いまたは符号化音声品質は比較的高い第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００２５】
本発明の第７の態様に係る音声符号化プログラムは、コンピュータに、第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化ステップと、前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化ステップと、受信された音声符号化データを復号化する復号化ステップと、送信する音声信号および復号化後の音声信号を用いて、音声通信の双方向性度合を検出する検出ステップと、前記検出ステップで検出した音声通信双方向性度合に基づいて、前記第１符号化方式および前記第２符号化方式のいずれか一方を選択する選択ステップと、前記第１符号化ステップおよび前記第２符号化ステップの各処理結果のうち、前記選択ステップで選択した符号化方式に基づく処理結果を出力する出力ステップと、を実行させるようにした。
【００２６】
このプログラムによれば、送信する音声信号を符号化する符号化ステップとして、第１の音声符号化方式を用いる第１符号化ステップと、第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いる第２符号化ステップとを設け、送信する音声信号および復号化後の音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が比較的小さい第１符号化手段と、符号化遅延は比較的大きいが符号化ビットレートは比較的低いまたは符号化音声品質は比較的高い第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００２７】
【発明の実施の形態】
本発明の骨子は、音声通信の双方向性度合から符号化遅延を制御することで、伝送効率と双方向通信における低遅延性とを両立させることである。
【００２８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２９】
図１は、本発明の一実施の形態に係る音声符号化装置の構成を示すブロック図である。
【００３０】
この音声符号化装置は、送信側に、第１符号化部１０１、第２符号化部１０３、符号化選択部１０５、および切り替え器１０７を有し、受信側に、第１復号化部１０９、第２復号化部１１１、切り替え器１１３、および切り替え器１１５を有する。
【００３１】
まず、送信側の構成要素について説明する。
【００３２】
第１符号化部１０１および第２符号化部１０３は、それぞれ、送信する音声信号（入力音声信号）に対して音声符号化を行い、音声符号化データを切り替え器１０７に出力する。ここで、第１符号化部１０１は、符号化遅延が小さい第１の符号化方式を使用し、第２符号化部１０３は、第１の符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を使用する。たとえば、第２の符号化方式は、第１の符号化方式に比べて、▲１▼符号化遅延が大きくかつ符号化ビットレートが低い場合（符号化音声品質は同等）と、▲２▼符号化遅延が大きくかつ音声品質が高い場合（符号化ビットレートは同等）とを有する。具体的な符号化方式は、上記条件を満たすものであれば任意のものでよい。具体例は、たとえば、次の表１に示すとおりである。
【００３３】
【表１】
【００３４】
ここで、上記の表１において、例１および例２は、第１符号化部１０１に対して、第２符号化部１０３が、符号化遅延が大きく、かつ、符号化音声品質がほぼ同等（または同等に近い）で符号化ビットレートが低い場合であり、例３は、第１符号化部１０１に対して、第２符号化部１０３が、符号化遅延が大きく、かつ、符号化ビットレートが同等で符号化音声品質が高い場合である。
【００３５】
なお、第１符号化部１０１および第２符号化部１０３に適用する符号化方式は、上記の例に限定されるわけではなく、前述のように、上記条件を満たすものであれば任意のものでよい。たとえば、第２符号化部１０３に適用する符号化方式は、第１符号化部１０１に適用する符号化方式に対して、フレーム長の増加や入力音声信号先読み遅延の増加などによる変更を加えたものでもよい。また、第１符号化部１０１にＣＥＬＰ系の符号化方式を、第２符号化部１０３に周波数変換符号化の方式をそれぞれ適用したものでもよい。また、スケーラブル構成の符号化において、ベースレイヤを低遅延の符号化とし、エンハンスレイヤを低遅延の符号化と、遅延の大きい符号化を切りかえる構成として、第１符号化部１０１および第２符号化部１０３を構成するようにしてもよい。
【００３６】
符号化選択部１０５は、送信側の入力音声信号および後述する動作により得られる受信側の復号音声信号を用いて、音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に応じて、送信側の入力音声信号を符号化するために第１符号化部１０１と第２符号化部１０３のいずれを選択すべきかを示す情報（以下「符号化選択情報」という）を出力する。具体的には、たとえば、音声通信の双方向性度合が高い場合は、符号化遅延が小さい第１符号化部１０１を選択し、音声通信の双方向性度合が低い場合は、符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）第２符号化部１０３を選択し、この情報を符号化選択情報として出力する。符号化選択情報は、切り替え器１０７に出力されるとともに、通信相手に送信される。なお、符号化選択部１０５の内部構成は、後で詳細に説明する。
【００３７】
切り替え器１０７は、符号化選択部１０５から出力された符号化選択情報に基づいて、内部スイッチを切り替え、第１符号化部１０１から出力された音声符号化データと第２符号化部１０３から出力された音声符号化データのうち、選択された方の音声符号化データを、送信すべき音声符号化データとして出力する。なお、切り替え器１０７から出力された音声符号化データは、符号化選択部１０５から出力された符号化選択情報と共に、通信相手に送信される。
【００３８】
次に、受信側の構成要素について説明する。
【００３９】
第１復号化部１０９および第２復号化部１１１は、選択的に、それぞれ、切り替え器１１３の出力（音声符号化データ）に対して音声復号化を行い、復号音声信号を切り替え器１１５に出力する。ここで、第１復号化部１０９は送信側の第１符号化部１０１に対応し、第２復号化部１１１は送信側の第２符号化部１０３に対応している。第１復号化部１０９または第２復号化部１１１から出力された復号音声信号は、切り替え器１１５を介して図示しない所定の処理部および送信側の符号化選択部１０５に供給される。
【００４０】
切り替え器１１３および切り替え器１１５は、それぞれ、互いに同期して動作し、通信相手から受信された符号化選択情報に基づいて、内部スイッチを切り替える。すなわち、切り替え器１１３は、通信相手から受信された音声符号化データを、第１復号化部１０９および第２復号化部１１１のうち、選択された方の符号化方式を備えた復号化部に供給し、切り替え器１１５は、その復号化部から出力された復号音声信号を上記所定の処理部および符号化選択部１０５に供給する。
【００４１】
図２は、図１の符号化選択部１０５の構成の一例を示すブロック図である。
【００４２】
この符号化選択部１０５は、送信音声有音判定部１２１、受信音声有音判定部１２３、送信音声有音率算出部１２５、受信音声有音率算出部１２７、有音区間相補性度算出部１２９、有音区間交互発生度算出部１３１、音声通信双方向性度合検出部１３３、および符号化選択判定部１３５を有する。
【００４３】
送信音声有音判定部１２１は、送信する音声信号（入力音声信号）が、ある一定区間毎に有音か無音かの判定を行い、この判定結果を送信音声有音率算出部１２５、有音区間相補性度算出部１２９、および有音区間交互発生度算出部１３１に出力する。
【００４４】
受信音声有音判定部１２３は、受信した音声信号（復号音声信号）が、ある一定区間毎に有音か無音かの判定を行い、この判定結果を受信音声有音率算出部１２７、有音区間相補性度算出部１２９、および有音区間交互発生度算出部１３１に出力する。
【００４５】
なお、本実施の形態では、このように送信音声有音判定部１２１および受信音声有音判定部１２３を設けて、有音・無音の判定を行うようにしているが、これに限定されない。たとえば、第１符号化部１０１および第２符号化部１０３に適用される音声符号化方式自体にあらかじめ有音・無音の判定処理が組み込まれている場合には、その情報をそのまま利用するようにしてもよい。
【００４６】
送信音声有音率算出部１２５は、送信音声有音判定部１２１から出力された判定結果（送信音声の有音判定情報）を用いて、送信音声の有音率ＶＡＦｓ（０≦ＶＡＦｓ≦１）を算出する。ここで、送信音声の有音率ＶＡＦｓとは、送信音声における有音の割合のことである。算出された有音率ＶＡＦｓは、音声通信双方向性度合検出部１３３に出力される。
【００４７】
受信音声有音率算出部１２７は、受信音声有音判定部１２３から出力された判定結果（受信音声の有音判定情報）を用いて、受信音声の有音率ＶＡＦｒ（０≦ＶＡＦｒ≦１）を算出する。ここで、受信音声の有音率ＶＡＦｒとは、受信音声における有音の割合のことである。算出された有音率ＶＡＦｒは、音声通信双方向性度合検出部１３３に出力される。
【００４８】
有音区間相補性度算出部１２９は、送信音声有音判定部１２１から出力された判定結果（送信音声の有音判定情報）および受信音声有音判定部１２３から出力された判定結果（受信音声の有音判定情報）を用いて、送信音声と受信音声の有音区間相補性度を算出する。ここで、有音区間相補性度とは、送信音声の有音区間と受信音声の有音区間が時間的に重なったり（送信受信共に有音）また空きになったり（送信受信共に有音でない）する場合がどの程度ないかを示す度合である。本実施の形態では、この有音区間相補性度を、音声通信の双方向性度合を示す１つの指標とする。具体的には、たとえば、一例として、次の（式１）に示す値ＣＯＭＰを、この有音区間相補性度を示す１つの指標とする。算出された有音区間相補性度は、音声通信双方向性度合検出部１３３に出力される。
【００４９】
ＣＯＭＰ＝１／Ｌ＊ＳＵＭ（VAD_flg_s(n) exor VAD_flg_r(n)）
for ｎ＝０，‥，Ｌ−１ ‥（式１）
ここで、
VAD_flg_s(n)：第ｎフレームの送信側有音無音フラグ
（＝１：有音、０：無音）
VAD_flg_r(n)：第ｎフレームの受信側有音無音フラグ
（＝１：有音、０：無音）
Ｌ：本指標を算出する時間範囲
exor：排他的論理和
【００５０】
有音区間交互発生度算出部１３１は、送信音声有音判定部１２１から出力された判定結果（送信音声の有音判定情報）および受信音声有音判定部１２３から出力された判定結果（受信音声の有音判定情報）を用いて、送信音声と受信音声の有音区間交互発生度を算出する。ここで、有音区間交互発生度とは、ある単位時間に、送信音声と受信音声がどの程度の頻度で交互に有音区間となっているかを示すパラメータである。本実施の形態では、この有音区間交互発生度を、音声通信の双方向性度合を示す別の指標とする。具体的には、たとえば、有音区間交互発生度ＮＩＮＴＲを、単位時間（１sec）当たりの送話側から受話側（または受話側から送話側）への有音区間の変化の回数と定義する。算出された有音区間交互発生度は、音声通信双方向性度合検出部１３３に出力される。
【００５１】
音声通信双方向性度合検出部１３３は、送信音声有音率算出部１２５、受信音声有音率算出部１２７、有音区間相補性度算出部１２９、および有音区間交互発生度算出部１３１でそれぞれ得られた、送信音声の有音率ＶＡＦｓ、受信音声の有音率ＶＡＦｒ、有音区間相補性度ＣＯＭＰ、および有音区間交互発生度ＮＩＮＴＲを用いて、音声通信双方向性度合を判定（検出）する。この判定（検出）結果は、符号化選択判定部１３５に出力される。
【００５２】
具体的には、たとえば、下記の（式２）、（式３）、（式４）、（式５）を用いて、音声通信双方向性度合を示すフラグＦＬＡＧを求める。
【００５３】
ここで、
ＶＡＦｓ：送信側有音率
ＶＡＦｒ：受信側有音率
ＴＨ１Ｌ：下限側しきい値
ＴＨ１Ｈ：上限側しきい値
（たとえば、ＴＨ１Ｌ＝０.３、ＴＨ１Ｈ＝０.７）
【００５４】
ここで、
ＣＯＭＰ：有音区間相補性度
ＴＨ２：しきい値
（たとえば、ＴＨ２＝０.７）
【００５５】
ここで、
ＮＩＮＴＲ：有音区間交互発生度
ＴＨ３：しきい値
（たとえば、ＴＨ３＝０.１）
【００５６】
ＦＬＡＧ＝ＦＬＡＧ１＊ＦＬＡＧ２＊ＦＬＡＧ３ ‥（式５）
【００５７】
符号化選択判定部１３５は、音声通信双方向性度合検出部１３３で得られた判定（検出）結果ＦＬＡＧに基づいて、入力音声信号を符号化するために第１符号化部１０１と第２符号化部１０３のいずれを選択すべきかを示す情報（符号化選択情報）を決定し、出力する。具体的には、たとえば、ＦＬＡＧ＝１の場合は、音声通信の双方向性度合が高いものと判断して、第１符号化部１０１を選択し、ＦＬＡＧ＝０の場合は、音声通信の双方向性度合が低いものと判断して、第２符号化部１０３を選択する。
【００５８】
なお、本実施の形態では、３種類の判定情報ＦＬＡＧ１、ＦＬＡＧ２、ＦＬＡＧ３から判定を行っているが、これに限定されるわけではなく、これら３種類の中のいずれか１つまたは任意の組み合わせで判定を行うようにしてもよい。
【００５９】
次いで、上記構成を有する音声符号化装置の動作について説明する。
【００６０】
まず、第１符号化部１０１および第２符号化部１０３で、それぞれ、入力音声信号に対して音声符号化を行い、音声符号化データを切り替え器１０５に出力する。上記のように、第１符号化部１０１には、符号化遅延が小さい符号化方式が適用され、第２符号化部１０３には、第１符号化部１０１に比べて符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）符号化方式が適用されている。
【００６１】
そして、符号化選択部１０５で、送信側の入力音声信号および受信側の復号音声信号を用いて、音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に応じて、第１符号化部１０１と第２符号化部１０３のいずれを選択すべきかを示す情報（符号化選択情報）を出力する。具体的には、たとえば、上記のように、音声通信の双方向性度合が高い場合は、符号化遅延が小さい第１符号化部１０１を選択し、音声通信の双方向性度合が低い場合は、符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）第２符号化部１０３を選択し、この情報を符号化選択情報として出力する。符号化選択情報は、切り替え器１０７に出力されるとともに、通信相手に送信される。
【００６２】
また、このとき、音声通信の双方向性度合の検出に当たっては、たとえば、上記のように、送信側の入力音声信号および受信側の復号音声信号を用いて、送信音声と受信音声の有音判定を行い、この判定結果を用いて、送信音声有音率、受信音声有音率、有音区間相補性度、有音区間交互発生度をそれぞれ算出した後、これらの算出結果を用いて、上記（式２）〜（式５）により、音声通信の双方向性度合を判定（検出）する。
【００６３】
そして、切り替え器１０７で、符号化選択部１０５から出力された符号化選択情報に基づいて、内部スイッチを切り替え、第１符号化部１０１から出力された音声符号化データと第２符号化部１０３から出力された音声符号化データのうち、選択された方の音声符号化データを、送信すべき音声符号化データとして出力する。なお、切り替え器１０７から出力された音声符号化データは、符号化選択部１０５から出力された符号化選択情報と共に、通信相手に送信される。
【００６４】
一方、通信相手から音声符号化データおよび符号化選択情報を受信すると、受信した符号化選択情報に基づいて、切り替え器１１３、１１５の内部スイッチを切り替え、第１復号化部１０９または第２復号化部１１１で、切り替え器１１３の出力（音声符号化データ）に対して音声復号化を行い、得られた復号音声信号を、切り替え器１１５を介して図示しない所定の処理部および送信側の符号化選択部１０５に出力する。
【００６５】
このように、本実施の形態によれば、送信する音声信号を符号化する符号化手段として、符号化遅延が小さい第１の音声符号化方式を用いる第１符号化部１０１と、第１の音声符号化方式に比べて符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）第２の符号化方式を用いる第２符号化部１０３とを設け、送信側の入力音声信号および受信側の復号音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が小さい第１符号化手段と、符号化遅延は大きいが符号化ビットレートは低い（または符号化音声品質は高い）第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００６６】
なお、本実施の形態では、符号化の遅延量が異なる２つの符号化部１０１、１０３を切り替えるようにしているが、切り替える符号化部の数はこれに限定されるわけではなく、３つ以上の符号化部を設け、これら３つ以上の符号化部を音声通信双方向性度合によって適切に切り替える構成としてもよい。
【００６７】
また、本実施の形態は、上記の機能を実現させる制御プログラムをコンピュータに実行させる構成としてもよい。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、伝送効率と双方向通信における低遅延性とを両立させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る音声符号化装置の構成を示すブロック図
【図２】図１の符号化選択部の構成を示すブロック図
【図３】従来の音声符号化装置の構成の一例を示すブロック図
【符号の説明】
１０１ 第１符号化部
１０３ 第２符号化部
１０５ 符号化選択部
１０７、１１３、１１５ 切り替え器
１０９ 第１復号化部
１１１ 第２復号化部
１２１ 送信音声有音判定部
１２３ 受信音声有音判定部
１２５ 送信音声有音率算出部
１２７ 受信音声有音率算出部
１２９ 有音区間相補性度算出部
１３１ 有音区間交互発生度算出部
１３３ 音声通信双方向性度合検出部
１３５ 符号化選択判定部
【発明の属する技術分野】
本発明は、デジタル音声通信に必要な音声符号化装置に関する。
【０００２】
【従来の技術】
デジタル方式の移動通信網や固定通信網、インターネットなどによる音声通信においては、伝送効率の向上を図るため、音声信号を高効率で符号化する音声符号化装置が用いられる。なお、本明細書中、「音声符号化装置」という用語は、符号化機能のみならず復号化機能をも有する広い意味で使用する。
【０００３】
近年、各種通信網の伝送速度の向上やマルチメディア通信の発展により、音声通信のサービス形態として、単なる電話としての機能のみならず、テレビ電話としての利用や、テレビ会議などの、より臨場感が要求される音声通信を行うこと、各種情報を音声で案内する際に背景にＢＧＭがあるような音声信号をより高品質に伝送することなど、様々な形態があり、音声信号の符号化に対して、高い効率を維持しつつより高い品質で音声信号を符号化できる装置が求められている。
【０００４】
図３は、従来の音声符号化装置の一般的な構成を示す図である（たとえば、非特許文献１参照）。
【０００５】
図３の装置において、送信する音声信号は符号化部１に入力され、ここで符号化処理が行われた後、音声符号化データとして出力される。音声符号化データは通信相手に送信される。一方、通信相手から受信した音声符号化データは復号化部３に入力され、ここで復号化処理が行われた後、復号音声信号として出力される。なお、音声信号の符号化は、一般に、入力音声信号に対して一定の区間（以下「音声フレーム」という）毎に区切られ、この音声フレーム単位で符号化処理と復号化処理が行われる。
【０００６】
このような音声符号化装置を用いて音声通信を実現するためには、音声通信による通話の双方向性を考慮して、符号化によって生じる遅延（以下「符号化遅延」という）がある程度小さいこと、たとえば、符号化部単体の遅延量で５０ｍｓ程度まで、また、処理遅延や伝送路遅延を含めた片側（送信側または受信側）の合計遅延量で１５０ｍｓ程度までであることが望まれる。
【０００７】
このような音声通信に適した高効率の符号化方式としては、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication standardization sector：国際電気通信連合電気通信標準化部門）や３ＧＰＰ（3rd Generation Partnership Project）などの標準化機関で規格化されている様々な方式があり、代表的な例として、ＩＴＵ−Ｔ標準Ｇ.７２９（ＣＳ−ＡＣＥＬＰ符号化）や３ＧＰＰ標準のＡＭＲ符号化などが挙げられる。
【０００８】
【非特許文献１】
3GPP 標準規格 TS26.071：AMR speech CODEC; General description
【０００９】
【発明が解決しようとする課題】
しかしながら、上記に示した従来の高効率な音声符号化装置においては、音声の帯域が３.４ｋＨｚまでの音声信号を対象とした符号化方式であるため、より高い音声品質を実現するためには必ずしも十分ではなく、より音声帯域の広い高品質な符号化が望まれる。
【００１０】
この点、音声帯域の広い非常に高品質な符号化を実現できる符号化方式として、音楽信号の符号化を対象とした、ＭＰ３やＡＡＣと呼ばれる符号化方式がある。しかし、これらは、双方向通信用の符号化方式ではないため、符号化遅延が大きく（たとえば、符号化部単体の遅延量で１００ｍｓのオーダ）、音声通信用の符号化方式として使用する場合には、符号化遅延により音声通信に支障が生じるという問題がある。
【００１１】
また、一般に、音声品質を高く維持したまま低い遅延で符号化を実現する場合には、伝送に要する符号化ビットレートが高くなり、伝送効率が低下するという問題がある。
【００１２】
本発明は、かかる点に鑑みてなされたものであり、伝送効率と双方向通信における低遅延性とを両立させることができる音声符号化装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の第１の態様に係る音声符号化装置は、第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化手段と、前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化手段と、受信された音声符号化データを復号化する復号化手段と、送信する音声信号および復号化後の音声信号を用いて、音声通信の双方向性度合を検出する検出手段と、検出された音声通信双方向性度合に基づいて、前記第１符号化手段および前記第２符号化手段のいずれか一方を選択する選択手段と、選択された符号化手段の処理結果を出力する出力手段と、を有する構成を採る。このとき、たとえば、前記選択手段は、音声通信の双方向性度合が高い場合は、第１符号化手段を選択し、音声通信の双方向性度合が低い場合は、第２符号化手段を選択する、構成を採る。また、たとえば、前記復号化手段は、前記第１の音声符号化方式および前記第２の音声符号化方式のうち、選択された一の音声符号化方式を用いて、受信された音声符号化データを復号化する、構成を採る。
【００１４】
この構成によれば、送信する音声信号を符号化する符号化手段として、第１の音声符号化方式を用いる第１符号化手段と、第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いる第２符号化手段とを設け、送信する音声信号および復号化後の音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が比較的小さい第１符号化手段と、符号化遅延は比較的大きいが符号化ビットレートは比較的低いまたは符号化音声品質は比較的高い第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００１５】
本発明の第２の態様に係る音声符号化装置は、上記の構成において、前記検出手段は、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報を用いて、音声通信の双方向性度合を検出する、構成を採る。
【００１６】
この構成によれば、音声通信の双方向性度合を検出する際に、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報を用いるため、音声通信の双方向性度合をより適切に検出することができる。
【００１７】
本発明の第３の態様に係る音声符号化装置は、上記の構成において、前記検出手段は、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報として、送信側の有音率と受信側の有音率との組み合わせ情報、送信側の有音区間と受信側の有音区間との相補性度情報、および送信側の有音区間と受信側の有音区間との交互発生度情報のうち、少なくとも一以上の情報を用いて、音声通信の双方向性度合を検出する、構成を採る。
【００１８】
この構成によれば、送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報として、具体的に、上記の各種情報を用いるため、音声通信の双方向性度合をより一層高い精度で検出することができる。
【００１９】
本発明の第４の態様に係る携帯端末装置は、上記構成の音声符号化装置を有する構成を採る。
【００２０】
この構成によれば、上記と同様の作用効果を有する携帯端末装置を実現することができる。
【００２１】
本発明の第５の態様に係る基地局装置は、上記構成の音声符号化装置を有する構成を採る。
【００２２】
この構成によれば、上記と同様の作用効果を有する基地局装置を実現することができる。
【００２３】
本発明の第６の態様に係る音声符号化方法は、第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化ステップと、前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化ステップと、受信された音声符号化データを復号化する復号化ステップと、送信する音声信号および復号化後の音声信号を用いて、音声通信の双方向性度合を検出する検出ステップと、前記検出ステップで検出した音声通信双方向性度合に基づいて、前記第１符号化方式および前記第２符号化方式のいずれか一方を選択する選択ステップと、前記第１符号化ステップおよび前記第２符号化ステップの各処理結果のうち、前記選択ステップで選択した符号化方式に基づく処理結果を出力する出力ステップと、を有するようにした。
【００２４】
この方法によれば、送信する音声信号を符号化する符号化ステップとして、第１の音声符号化方式を用いる第１符号化ステップと、第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いる第２符号化ステップとを設け、送信する音声信号および復号化後の音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が比較的小さい第１符号化手段と、符号化遅延は比較的大きいが符号化ビットレートは比較的低いまたは符号化音声品質は比較的高い第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００２５】
本発明の第７の態様に係る音声符号化プログラムは、コンピュータに、第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化ステップと、前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化ステップと、受信された音声符号化データを復号化する復号化ステップと、送信する音声信号および復号化後の音声信号を用いて、音声通信の双方向性度合を検出する検出ステップと、前記検出ステップで検出した音声通信双方向性度合に基づいて、前記第１符号化方式および前記第２符号化方式のいずれか一方を選択する選択ステップと、前記第１符号化ステップおよび前記第２符号化ステップの各処理結果のうち、前記選択ステップで選択した符号化方式に基づく処理結果を出力する出力ステップと、を実行させるようにした。
【００２６】
このプログラムによれば、送信する音声信号を符号化する符号化ステップとして、第１の音声符号化方式を用いる第１符号化ステップと、第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いる第２符号化ステップとを設け、送信する音声信号および復号化後の音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が比較的小さい第１符号化手段と、符号化遅延は比較的大きいが符号化ビットレートは比較的低いまたは符号化音声品質は比較的高い第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００２７】
【発明の実施の形態】
本発明の骨子は、音声通信の双方向性度合から符号化遅延を制御することで、伝送効率と双方向通信における低遅延性とを両立させることである。
【００２８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２９】
図１は、本発明の一実施の形態に係る音声符号化装置の構成を示すブロック図である。
【００３０】
この音声符号化装置は、送信側に、第１符号化部１０１、第２符号化部１０３、符号化選択部１０５、および切り替え器１０７を有し、受信側に、第１復号化部１０９、第２復号化部１１１、切り替え器１１３、および切り替え器１１５を有する。
【００３１】
まず、送信側の構成要素について説明する。
【００３２】
第１符号化部１０１および第２符号化部１０３は、それぞれ、送信する音声信号（入力音声信号）に対して音声符号化を行い、音声符号化データを切り替え器１０７に出力する。ここで、第１符号化部１０１は、符号化遅延が小さい第１の符号化方式を使用し、第２符号化部１０３は、第１の符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を使用する。たとえば、第２の符号化方式は、第１の符号化方式に比べて、▲１▼符号化遅延が大きくかつ符号化ビットレートが低い場合（符号化音声品質は同等）と、▲２▼符号化遅延が大きくかつ音声品質が高い場合（符号化ビットレートは同等）とを有する。具体的な符号化方式は、上記条件を満たすものであれば任意のものでよい。具体例は、たとえば、次の表１に示すとおりである。
【００３３】
【表１】
ここで、上記の表１において、例１および例２は、第１符号化部１０１に対して、第２符号化部１０３が、符号化遅延が大きく、かつ、符号化音声品質がほぼ同等（または同等に近い）で符号化ビットレートが低い場合であり、例３は、第１符号化部１０１に対して、第２符号化部１０３が、符号化遅延が大きく、かつ、符号化ビットレートが同等で符号化音声品質が高い場合である。
【００３５】
なお、第１符号化部１０１および第２符号化部１０３に適用する符号化方式は、上記の例に限定されるわけではなく、前述のように、上記条件を満たすものであれば任意のものでよい。たとえば、第２符号化部１０３に適用する符号化方式は、第１符号化部１０１に適用する符号化方式に対して、フレーム長の増加や入力音声信号先読み遅延の増加などによる変更を加えたものでもよい。また、第１符号化部１０１にＣＥＬＰ系の符号化方式を、第２符号化部１０３に周波数変換符号化の方式をそれぞれ適用したものでもよい。また、スケーラブル構成の符号化において、ベースレイヤを低遅延の符号化とし、エンハンスレイヤを低遅延の符号化と、遅延の大きい符号化を切りかえる構成として、第１符号化部１０１および第２符号化部１０３を構成するようにしてもよい。
【００３６】
符号化選択部１０５は、送信側の入力音声信号および後述する動作により得られる受信側の復号音声信号を用いて、音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に応じて、送信側の入力音声信号を符号化するために第１符号化部１０１と第２符号化部１０３のいずれを選択すべきかを示す情報（以下「符号化選択情報」という）を出力する。具体的には、たとえば、音声通信の双方向性度合が高い場合は、符号化遅延が小さい第１符号化部１０１を選択し、音声通信の双方向性度合が低い場合は、符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）第２符号化部１０３を選択し、この情報を符号化選択情報として出力する。符号化選択情報は、切り替え器１０７に出力されるとともに、通信相手に送信される。なお、符号化選択部１０５の内部構成は、後で詳細に説明する。
【００３７】
切り替え器１０７は、符号化選択部１０５から出力された符号化選択情報に基づいて、内部スイッチを切り替え、第１符号化部１０１から出力された音声符号化データと第２符号化部１０３から出力された音声符号化データのうち、選択された方の音声符号化データを、送信すべき音声符号化データとして出力する。なお、切り替え器１０７から出力された音声符号化データは、符号化選択部１０５から出力された符号化選択情報と共に、通信相手に送信される。
【００３８】
次に、受信側の構成要素について説明する。
【００３９】
第１復号化部１０９および第２復号化部１１１は、選択的に、それぞれ、切り替え器１１３の出力（音声符号化データ）に対して音声復号化を行い、復号音声信号を切り替え器１１５に出力する。ここで、第１復号化部１０９は送信側の第１符号化部１０１に対応し、第２復号化部１１１は送信側の第２符号化部１０３に対応している。第１復号化部１０９または第２復号化部１１１から出力された復号音声信号は、切り替え器１１５を介して図示しない所定の処理部および送信側の符号化選択部１０５に供給される。
【００４０】
切り替え器１１３および切り替え器１１５は、それぞれ、互いに同期して動作し、通信相手から受信された符号化選択情報に基づいて、内部スイッチを切り替える。すなわち、切り替え器１１３は、通信相手から受信された音声符号化データを、第１復号化部１０９および第２復号化部１１１のうち、選択された方の符号化方式を備えた復号化部に供給し、切り替え器１１５は、その復号化部から出力された復号音声信号を上記所定の処理部および符号化選択部１０５に供給する。
【００４１】
図２は、図１の符号化選択部１０５の構成の一例を示すブロック図である。
【００４２】
この符号化選択部１０５は、送信音声有音判定部１２１、受信音声有音判定部１２３、送信音声有音率算出部１２５、受信音声有音率算出部１２７、有音区間相補性度算出部１２９、有音区間交互発生度算出部１３１、音声通信双方向性度合検出部１３３、および符号化選択判定部１３５を有する。
【００４３】
送信音声有音判定部１２１は、送信する音声信号（入力音声信号）が、ある一定区間毎に有音か無音かの判定を行い、この判定結果を送信音声有音率算出部１２５、有音区間相補性度算出部１２９、および有音区間交互発生度算出部１３１に出力する。
【００４４】
受信音声有音判定部１２３は、受信した音声信号（復号音声信号）が、ある一定区間毎に有音か無音かの判定を行い、この判定結果を受信音声有音率算出部１２７、有音区間相補性度算出部１２９、および有音区間交互発生度算出部１３１に出力する。
【００４５】
なお、本実施の形態では、このように送信音声有音判定部１２１および受信音声有音判定部１２３を設けて、有音・無音の判定を行うようにしているが、これに限定されない。たとえば、第１符号化部１０１および第２符号化部１０３に適用される音声符号化方式自体にあらかじめ有音・無音の判定処理が組み込まれている場合には、その情報をそのまま利用するようにしてもよい。
【００４６】
送信音声有音率算出部１２５は、送信音声有音判定部１２１から出力された判定結果（送信音声の有音判定情報）を用いて、送信音声の有音率ＶＡＦｓ（０≦ＶＡＦｓ≦１）を算出する。ここで、送信音声の有音率ＶＡＦｓとは、送信音声における有音の割合のことである。算出された有音率ＶＡＦｓは、音声通信双方向性度合検出部１３３に出力される。
【００４７】
受信音声有音率算出部１２７は、受信音声有音判定部１２３から出力された判定結果（受信音声の有音判定情報）を用いて、受信音声の有音率ＶＡＦｒ（０≦ＶＡＦｒ≦１）を算出する。ここで、受信音声の有音率ＶＡＦｒとは、受信音声における有音の割合のことである。算出された有音率ＶＡＦｒは、音声通信双方向性度合検出部１３３に出力される。
【００４８】
有音区間相補性度算出部１２９は、送信音声有音判定部１２１から出力された判定結果（送信音声の有音判定情報）および受信音声有音判定部１２３から出力された判定結果（受信音声の有音判定情報）を用いて、送信音声と受信音声の有音区間相補性度を算出する。ここで、有音区間相補性度とは、送信音声の有音区間と受信音声の有音区間が時間的に重なったり（送信受信共に有音）また空きになったり（送信受信共に有音でない）する場合がどの程度ないかを示す度合である。本実施の形態では、この有音区間相補性度を、音声通信の双方向性度合を示す１つの指標とする。具体的には、たとえば、一例として、次の（式１）に示す値ＣＯＭＰを、この有音区間相補性度を示す１つの指標とする。算出された有音区間相補性度は、音声通信双方向性度合検出部１３３に出力される。
【００４９】
ＣＯＭＰ＝１／Ｌ＊ＳＵＭ（VAD_flg_s(n) exor VAD_flg_r(n)）
for ｎ＝０，‥，Ｌ−１ ‥（式１）
ここで、
VAD_flg_s(n)：第ｎフレームの送信側有音無音フラグ
（＝１：有音、０：無音）
VAD_flg_r(n)：第ｎフレームの受信側有音無音フラグ
（＝１：有音、０：無音）
Ｌ：本指標を算出する時間範囲
exor：排他的論理和
【００５０】
有音区間交互発生度算出部１３１は、送信音声有音判定部１２１から出力された判定結果（送信音声の有音判定情報）および受信音声有音判定部１２３から出力された判定結果（受信音声の有音判定情報）を用いて、送信音声と受信音声の有音区間交互発生度を算出する。ここで、有音区間交互発生度とは、ある単位時間に、送信音声と受信音声がどの程度の頻度で交互に有音区間となっているかを示すパラメータである。本実施の形態では、この有音区間交互発生度を、音声通信の双方向性度合を示す別の指標とする。具体的には、たとえば、有音区間交互発生度ＮＩＮＴＲを、単位時間（１sec）当たりの送話側から受話側（または受話側から送話側）への有音区間の変化の回数と定義する。算出された有音区間交互発生度は、音声通信双方向性度合検出部１３３に出力される。
【００５１】
音声通信双方向性度合検出部１３３は、送信音声有音率算出部１２５、受信音声有音率算出部１２７、有音区間相補性度算出部１２９、および有音区間交互発生度算出部１３１でそれぞれ得られた、送信音声の有音率ＶＡＦｓ、受信音声の有音率ＶＡＦｒ、有音区間相補性度ＣＯＭＰ、および有音区間交互発生度ＮＩＮＴＲを用いて、音声通信双方向性度合を判定（検出）する。この判定（検出）結果は、符号化選択判定部１３５に出力される。
【００５２】
具体的には、たとえば、下記の（式２）、（式３）、（式４）、（式５）を用いて、音声通信双方向性度合を示すフラグＦＬＡＧを求める。
【００５３】
ＶＡＦｓ：送信側有音率
ＶＡＦｒ：受信側有音率
ＴＨ１Ｌ：下限側しきい値
ＴＨ１Ｈ：上限側しきい値
（たとえば、ＴＨ１Ｌ＝０.３、ＴＨ１Ｈ＝０.７）
【００５４】
ＣＯＭＰ：有音区間相補性度
ＴＨ２：しきい値
（たとえば、ＴＨ２＝０.７）
【００５５】
ＮＩＮＴＲ：有音区間交互発生度
ＴＨ３：しきい値
（たとえば、ＴＨ３＝０.１）
【００５６】
ＦＬＡＧ＝ＦＬＡＧ１＊ＦＬＡＧ２＊ＦＬＡＧ３ ‥（式５）
【００５７】
符号化選択判定部１３５は、音声通信双方向性度合検出部１３３で得られた判定（検出）結果ＦＬＡＧに基づいて、入力音声信号を符号化するために第１符号化部１０１と第２符号化部１０３のいずれを選択すべきかを示す情報（符号化選択情報）を決定し、出力する。具体的には、たとえば、ＦＬＡＧ＝１の場合は、音声通信の双方向性度合が高いものと判断して、第１符号化部１０１を選択し、ＦＬＡＧ＝０の場合は、音声通信の双方向性度合が低いものと判断して、第２符号化部１０３を選択する。
【００５８】
なお、本実施の形態では、３種類の判定情報ＦＬＡＧ１、ＦＬＡＧ２、ＦＬＡＧ３から判定を行っているが、これに限定されるわけではなく、これら３種類の中のいずれか１つまたは任意の組み合わせで判定を行うようにしてもよい。
【００５９】
次いで、上記構成を有する音声符号化装置の動作について説明する。
【００６０】
まず、第１符号化部１０１および第２符号化部１０３で、それぞれ、入力音声信号に対して音声符号化を行い、音声符号化データを切り替え器１０５に出力する。上記のように、第１符号化部１０１には、符号化遅延が小さい符号化方式が適用され、第２符号化部１０３には、第１符号化部１０１に比べて符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）符号化方式が適用されている。
【００６１】
そして、符号化選択部１０５で、送信側の入力音声信号および受信側の復号音声信号を用いて、音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に応じて、第１符号化部１０１と第２符号化部１０３のいずれを選択すべきかを示す情報（符号化選択情報）を出力する。具体的には、たとえば、上記のように、音声通信の双方向性度合が高い場合は、符号化遅延が小さい第１符号化部１０１を選択し、音声通信の双方向性度合が低い場合は、符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）第２符号化部１０３を選択し、この情報を符号化選択情報として出力する。符号化選択情報は、切り替え器１０７に出力されるとともに、通信相手に送信される。
【００６２】
また、このとき、音声通信の双方向性度合の検出に当たっては、たとえば、上記のように、送信側の入力音声信号および受信側の復号音声信号を用いて、送信音声と受信音声の有音判定を行い、この判定結果を用いて、送信音声有音率、受信音声有音率、有音区間相補性度、有音区間交互発生度をそれぞれ算出した後、これらの算出結果を用いて、上記（式２）〜（式５）により、音声通信の双方向性度合を判定（検出）する。
【００６３】
そして、切り替え器１０７で、符号化選択部１０５から出力された符号化選択情報に基づいて、内部スイッチを切り替え、第１符号化部１０１から出力された音声符号化データと第２符号化部１０３から出力された音声符号化データのうち、選択された方の音声符号化データを、送信すべき音声符号化データとして出力する。なお、切り替え器１０７から出力された音声符号化データは、符号化選択部１０５から出力された符号化選択情報と共に、通信相手に送信される。
【００６４】
一方、通信相手から音声符号化データおよび符号化選択情報を受信すると、受信した符号化選択情報に基づいて、切り替え器１１３、１１５の内部スイッチを切り替え、第１復号化部１０９または第２復号化部１１１で、切り替え器１１３の出力（音声符号化データ）に対して音声復号化を行い、得られた復号音声信号を、切り替え器１１５を介して図示しない所定の処理部および送信側の符号化選択部１０５に出力する。
【００６５】
このように、本実施の形態によれば、送信する音声信号を符号化する符号化手段として、符号化遅延が小さい第１の音声符号化方式を用いる第１符号化部１０１と、第１の音声符号化方式に比べて符号化遅延が大きくかつ符号化ビットレートが低い（または符号化音声品質が高い）第２の符号化方式を用いる第２符号化部１０３とを設け、送信側の入力音声信号および受信側の復号音声信号を用いて音声通信の双方向性度合を検出し、検出した音声通信双方向性度合に基づいて、符号化遅延が小さい第１符号化手段と、符号化遅延は大きいが符号化ビットレートは低い（または符号化音声品質は高い）第２符号化手段のいずれか一方を適切に選択するため、符号化の遅延が適切に制御され、伝送効率と双方向通信における低遅延性とを両立させることができる。
【００６６】
なお、本実施の形態では、符号化の遅延量が異なる２つの符号化部１０１、１０３を切り替えるようにしているが、切り替える符号化部の数はこれに限定されるわけではなく、３つ以上の符号化部を設け、これら３つ以上の符号化部を音声通信双方向性度合によって適切に切り替える構成としてもよい。
【００６７】
また、本実施の形態は、上記の機能を実現させる制御プログラムをコンピュータに実行させる構成としてもよい。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、伝送効率と双方向通信における低遅延性とを両立させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る音声符号化装置の構成を示すブロック図
【図２】図１の符号化選択部の構成を示すブロック図
【図３】従来の音声符号化装置の構成の一例を示すブロック図
【符号の説明】
１０１ 第１符号化部
１０３ 第２符号化部
１０５ 符号化選択部
１０７、１１３、１１５ 切り替え器
１０９ 第１復号化部
１１１ 第２復号化部
１２１ 送信音声有音判定部
１２３ 受信音声有音判定部
１２５ 送信音声有音率算出部
１２７ 受信音声有音率算出部
１２９ 有音区間相補性度算出部
１３１ 有音区間交互発生度算出部
１３３ 音声通信双方向性度合検出部
１３５ 符号化選択判定部
Claims (7)
- 第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化手段と、
前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化手段と、
受信された音声符号化データを復号化する復号化手段と、
送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報の２つの情報を、予め設定された条件に適用することにより、音声が双方向に通信されている程度を示す指標を求め、前記指標を音声通信の双方向性度合として検出する検出手段と、
検出された音声通信双方向性度合に基づいて、前記第１符号化手段および前記第２符号化手段のいずれか一方を選択する選択手段と、
選択された符号化手段の処理結果を出力する出力手段と、を有し、
前記検出手段は、送信側の有音率と受信側の有音率との組み合わせ情報、送信側の有音区間と受信側の有音区間との相補性度情報、および送信側の有音区間と受信側の有音区間との交互発生度情報のうち、少なくとも一以上の情報を前記指標として用いて、音声通信の双方向性度合を検出する、
ことを特徴とする音声符号化装置。 - 前記選択手段は、音声通信の双方向性度合が高い場合は、第１符号化手段を選択し、音声通信の双方向性度合が低い場合は、第２符号化手段を選択する、
ことを特徴とする請求項１記載の音声符号化装置。 - 前記復号化手段は、前記第１の音声符号化方式および前記第２の音声符号化方式のうち、選択された一の音声符号化方式を用いて、受信された音声符号化データを復号化する、
ことを特徴とする請求項１記載の音声符号化装置。 - 請求項１記載の音声符号化装置を有することを特徴とする携帯端末装置。
- 請求項１記載の音声符号化装置を有することを特徴とする基地局装置。
- 第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化ステップと、
前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化ステップと、
受信された音声符号化データを復号化する復号化ステップと、
送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報の２つの情報を、予め設定された条件に適用することにより、音声が双方向に通信されている程度を示す指標を求め、前記指標を音声通信の双方向性度合として検出する検出ステップと、
前記検出ステップで検出した音声通信双方向性度合に基づいて、前記第１符号化方式および前記第２符号化方式のいずれか一方を選択する選択ステップと、
前記第１符号化ステップおよび前記第２符号化ステップの各処理結果のうち、前記選択ステップで選択した符号化方式に基づく処理結果を出力する出力ステップと、を有し、
前記検出ステップは、送信側の有音率と受信側の有音率との組み合わせ情報、送信側の有音区間と受信側の有音区間との相補性度情報、および送信側の有音区間と受信側の有音区間との交互発生度情報のうち、少なくとも一以上の情報を前記指標として用いて、音声通信の双方向性度合を検出する、
ことを特徴とする音声符号化方法。 - コンピュータに、
第１の音声符号化方式を用いて、送信する音声信号を符号化する第１符号化ステップと、
前記第１の音声符号化方式に比べて、符号化遅延が大きく、かつ、符号化ビットレートが低いまたは符号化音声品質が高い第２の符号化方式を用いて、送信する音声信号を符号化する第２符号化ステップと、
受信された音声符号化データを復号化する復号化ステップと、
送信する音声信号に対して判定された有音区間に関する送信側の情報および復号化後の音声信号に対して判定された有音区間に関する受信側の情報の２つの情報を、予め設定された条件に適用することにより、音声が双方向に通信されている程度を示す指標を求め、前記指標を音声通信の双方向性度合として検出する検出ステップと、
前記検出ステップで検出した音声通信双方向性度合に基づいて、前記第１符号化方式および前記第２符号化方式のいずれか一方を選択する選択ステップと、
前記第１符号化ステップおよび前記第２符号化ステップの各処理結果のうち、前記選択ステップで選択した符号化方式に基づく処理結果を出力する出力ステップと、を実行させ、
前記検出ステップは、送信側の有音率と受信側の有音率との組み合わせ情報、送信側の有音区間と受信側の有音区間との相補性度情報、および送信側の有音区間と受信側の有音区間との交互発生度情報のうち、少なくとも一以上の情報を前記指標として用いて、音声通信の双方向性度合を検出する、
ことを特徴とする音声符号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091747A JP4437011B2 (ja) | 2003-03-28 | 2003-03-28 | 音声符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091747A JP4437011B2 (ja) | 2003-03-28 | 2003-03-28 | 音声符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004301907A JP2004301907A (ja) | 2004-10-28 |
| JP4437011B2 true JP4437011B2 (ja) | 2010-03-24 |
Family
ID=33405047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003091747A Expired - Lifetime JP4437011B2 (ja) | 2003-03-28 | 2003-03-28 | 音声符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4437011B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4628798B2 (ja) * | 2005-01-13 | 2011-02-09 | Ｋｄｄｉ株式会社 | 通信端末装置 |
| JP2009089156A (ja) * | 2007-10-01 | 2009-04-23 | Yamaha Corp | 配信システムおよび配信方法 |
| JP5369418B2 (ja) * | 2007-10-01 | 2013-12-18 | ヤマハ株式会社 | 配信システム、配信方法及び通信端末 |
| JP5255654B2 (ja) * | 2008-01-10 | 2013-08-07 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | 多方向ピアツーピアメディアストリーミング |
| WO2014010175A1 (ja) * | 2012-07-09 | 2014-01-16 | パナソニック株式会社 | 符号化装置及び符号化方法 |
| JP2012253823A (ja) * | 2012-09-24 | 2012-12-20 | Yamaha Corp | 配信システム、配信方法、配信サーバ及び通信端末 |
-
2003
- 2003-03-28 JP JP2003091747A patent/JP4437011B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004301907A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4922455B2 (ja) | パケット・ネットワークでエコーを検出し、抑制する方法および装置 | |
| JP6546897B2 (ja) | マルチレート・スピーチ／オーディオ・コーデックのためのフレーム損失隠匿について符号化を実行する方法 | |
| JP6151405B2 (ja) | クリティカリティ閾値制御のためのシステム、方法、装置、およびコンピュータ可読媒体 | |
| AU2005246538B2 (en) | Supporting a switch between audio coder modes | |
| CN101681627B (zh) | 使用音调规则化及非音调规则化译码的信号编码方法及设备 | |
| TW580691B (en) | Method and apparatus for interoperability between voice transmission systems during speech inactivity | |
| JP6077011B2 (ja) | 冗長フレーム符号化および復号のためのデバイス | |
| JP4842472B2 (ja) | フレーム抹消条件下で予測音声コーダの性能を改良するためにデコーダからエンコーダにフィードバックを供給するための方法および装置 | |
| KR101668401B1 (ko) | 오디오 신호를 인코딩하기 위한 방법 및 장치 | |
| KR20060131851A (ko) | 통신 장치 및 신호 부호화/복호화 방법 | |
| JPH10187197A (ja) | 音声符号化方法及び該方法を実施する装置 | |
| JP5713296B2 (ja) | 信号ソースに関連付けられた少なくとも１つのパラメータを符号化するための装置および方法 | |
| CN112334980A (zh) | 自适应舒适噪声参数确定 | |
| US8144862B2 (en) | Method and apparatus for the detection and suppression of echo in packet based communication networks using frame energy estimation | |
| JP4437011B2 (ja) | 音声符号化装置 | |
| EP2127088A1 (en) | Audio quantization | |
| KR20200051609A (ko) | 시간 오프셋 추정 | |
| US20060106603A1 (en) | Method and apparatus to improve speaker intelligibility in competitive talking conditions | |
| EP4396814A1 (en) | Silence descriptor using spatial parameters | |
| CN101211561A (zh) | 音乐信号质量增强方法和装置 | |
| JP2013054282A (ja) | 通信装置及び通信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090420 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091029 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4437011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |