JPWO2005099243A1 - 音声通信方法及び装置 - Google Patents

Abstract

音声通信装置２０１に複数の符号化部及び復号部を備え、利用可能な伝送帯域、またはユーザの音質要求や遅延要求に応じて符号化方式を切り替える。受信した音声符号化データは該データに付加された符号化方式識別子あるいは通信相手の音声通信装置２０１から通知される設定情報に基づき最適な復号部を選択して復号する。
復号された音声データは音声データバッファ２１６に一旦格納されて再生される。この音声データバッファ２１６に格納される音声データ量は再生する音声が途切れないように制御される。

Description

本発明は、ネットワークを経由して互いに音声を送受信するための音声通信方法及び装置に関する。

近年、ネットワークを経由してパケットにより音声データを送受信する、いわゆるＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ）と呼ばれる音声通信が普及してきている。このような音声通信では、音声（音楽や各種の効果音等も含む）を所定の符号化方式を用いて符号化し、該符号化された音声データを送受信することで、広い伝送帯域を専有することなく音質劣化の少ない通信を可能にしている。

音声の符号化方式の代表例としては、Ｇ．７１１、Ｇ．７２９、ＡＭＲ−ＮＢ（Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ Ｒａｔｅ − Ｎａｒｒｏｗ Ｂａｎｄ）、ＡＭＲ−ＷＢ（Ａｄａｐｔｉｖｅ Ｍｕｌｔｉ Ｒａｔｅ − Ｗｉｄｅ Ｂａｎｄ）、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｅｃ）等が知られている。これらの符号化方式で符号化された音声データ（以下、音声符号化データと称す）を、パケット交換方式を採用したＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを利用して配信する手法がＶｏＩＰである（例えば特開２００４−０７２２４２号公報参照）。ＶｏＩＰは、今後、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）や携帯電話網等の移動通信システムでも急速に普及することが予想されている。

なお、データの送受信にパケット交換方式のネットワークを利用する場合、受信側ではパケットの到着揺らぎ（ジッタ）が発生する。音声通信装置には、この揺らぎを吸収するために受信データを一時的に蓄積するバッファが必要になる。このバッファのサイズが大きければ、より大きな揺らぎにも対応できるが、音声を再生するまでに時間を要するため音声通信の遅延が拡大する。逆に、バッファサイズを小さくすると、遅延は少なくなるが揺らぎを十分に吸収できないため、再生した音声が途切れる問題が発生する。バッファの制御方法としては、例えばバッファに蓄積されたパケットのデータ量が予め設定されたしきい値を一定時間以上下回った場合に復号処理を停止する方法（特開２００２−２０４２５８号公報参照）、あるいは受信側で復号処理の周期を調整する方法等が知られている（特開２００３−０８７３１８号公報参照）。また、受信側からの通知により送信側にてパケットの送信周期を調整する方法もある（特開２００３−２４９９７７号公報参照）。

上述したＶｏＩＰ技術を利用した音声通信では、符号化処理の速度である符号化ビットレートの変更が可能になるが、１セッション毎に用いる符号化方式は固定であるため、利用者（ユーザ）のニーズやネットワークの状態に応じて必ずしも最適な符号化方式が選択されるとは限らない。

符号化方式を通信途中で選択可能にする手法として、例えば複数種類の音声符号化データを送信することで、受信側で最適な符号化方式を選択する方法が考えられる。しかしながら、このような方法は利用可能な伝送帯域に余裕のある伝送路でなければ採用することが困難である。

また、上述した特許文献に記載されたバッファの制御方法を音声通信に適用する場合、特開２００２−２０４２５８号公報に記載された方法では、再生するデータ量よりも受信したデータ量が多い場合にバッファからデータが溢れることで音声が途切れるおそれがある。また、特開２００３−０８７３１８号公報に記載された方法では、復号処理の周期を調整するために十分なバッファサイズを確保する必要があるため遅延が増加する問題がある。また、特開２００３−２４９９７７号公報に記載された方法では、ベストエフォート型のネットワークや無線ネットワークのように不安定な伝送路を利用する場合に、通知されたメッセージ自体に揺らぎや欠落が発生する。また、揺らぎの変動が大きいと、これに追従してメッセージの通知や制御を行うのが困難である。

さらに、ＶｏＩＰ技術を利用した音声通信では、音声通信を行う音声通信装置間で特性差がある場合に、音声の取り込みや再生周期に違いが生じるため、これも再生した音声が途切れる要因となる。

また、ネットワークによる伝送遅延に加えて符号化処理による遅延も発生するため、符号化方式によっては、符号化に必要なデータのサンプル数が多くなり、サンプル点の確保に要する時間が音声通信に対する遅延要求を満たさない場合がある。

また、音声通信の上りリンクと下りリンクとで利用可能な帯域や遅延等の通信環境が異なる場合、通信を行う音声通信装置どうしの通信環境を一致させるためには、処理能力の低い方に合わせて低ビットレートで音声符号化データを送受信しなくてはならないため、再生した音声の品質が劣化する問題がある。

さらに、遅延や音質に対するユーザの要求に柔軟に対応するために符号化方式を任意に切り替える場合、単純に切り替えるだけでは、その切り替え時に音声データが不連続となるため、再生した音声が途切れる等の音質劣化が生じる問題もある。

そこで本発明の目的は、音声通信中であっても異なる符号化方式への切り替えを可能にして、音質の劣化や遅延の増加を抑制できる音声通信方法及び装置を提供することにある。

上記目的を達成するため本発明では、音声通信装置に、複数種類の符号化方式に対応するために複数の符号化部及び復号部を備え、利用可能な伝送帯域、あるいは利用者が要求する音質や遅延に応じて符号化方式や標本化周波数を切り替えるようにする。

このようにすると、音声通信中であっても異なる符号化方式への切り替えが可能になるため、音質の劣化や遅延の増加を抑制できる。また、上りリンクと下りリンクとで音声通信装置の通信環境が異なる場合でも、送信する音声データの符号化方式と受信した音声符号化データの復号方式を、上りリンク及び下りリンクの通信環境に応じてそれぞれ最適に選択できるため、より品質の高い安定した音声通信を実現できる。

そして、符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の処理開始タイミングや各符号化方式のフレーム長の違いを考慮して切り替えタイミングを調整すれば、符号化方式の切り替え時に音声が途切れることなく再生できる。

［図１］音声通信システムの一構成例を示すブロック図である。
［図２］本発明の音声通信装置の一構成例を示すブロック図である。
［図３］図２に示した第１の符号化部及び第２の符号化部による符号化処理のタイミングを示すタイミングチャートである。
［図４］本発明の音声通信装置が備えるバッファ制御部の第１の実施の形態の構成を示すブロック図である。
［図５］本発明の音声通信装置が備えるバッファ制御部の第２の実施の形態の構成を示すブロック図である。

次に本発明について図面を参照して説明する。

（第１の実施の形態）
図１は音声通信システムの一構成例を示すブロック図であり、図２は本発明の音声通信装置の一構成例を示すブロック図である。また、図３は図２に示した第１の符号化部及び第２の符号化部による符号化処理のタイミングを示すタイミングチャートであり、図４は本発明の音声通信装置が備えるバッファ制御部の第１の実施の形態の構成を示すブロック図である。なお、図２に示す音声通信装置２０１は、図１に示した音声通信装置１０１及び音声通信装置１０３にそれぞれ適用可能な共通の構成例を示している。

図１に示すように、音声通信システムは、音声データを互いに送受信する２つの音声通信装置１０１及び音声通信装置１０３がＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網であるネットワーク１０２を介して互いに通信可能に接続される構成である。音声通信装置１０１及び音声通信装置１０３は互いに周知の呼接続処理を実行することで呼を確立して音声通信を行う。

ネットワーク１０２には、音声通信装置１０１及び音声通信装置１０３に対して呼の確立に必要な情報（呼接続データ）を供給する呼接続サーバ装置１０４が接続されていてもよい。その場合、音声通信装置１０１及び音声通信装置１０３は、先に呼接続サーバ装置１０４から呼接続データを取得し、その後、取得した呼接続データを用いて呼を確立する。

音声通信装置１０１及び音声通信装置１０３は、符号化された音声データや呼接続データをパケット交換方式で送受信する、例えば携帯電話機やパーソナルコンピュータ等の情報処理装置で実現可能である。また、呼接続サーバ装置１０４は、音声通信装置１０１及び音声通信装置１０３に呼接続データを供給して、互いの呼（通信）を確立させるサーバコンピュータ等の情報処理装置で実現可能である。音声通信装置１０１及び音声通信装置１０３として携帯電話機を用いる場合、これらは不図示の無線基地局装置を介してネットワーク１０２へ接続される。

図２に示すように、音声通信装置２０１は、音声取り込み部２０５、標本化周波数変換部２０６、設定・呼接続処理部２０４、第１の符号化部２０７、第２の符号化部２０８、パケット化処理部２０９、送信部２１０、受信部２１１、ペイロード抽出部２１２、第１の復号部２１３、第２の復号部２１４、バッファ制御部２１５、音声データバッファ２１６及び音声再生部２１７を有する構成である。上述したように、音声通信装置２０１に情報処理装置を用いる場合、図２に示す各構成要素は、ＣＰＵを含む情報処理装置とＬＳＩや論理回路等との組み合わせによって実現される。その場合、例えば音声取り込み部２０５や音声再生部２１７はＬＳＩ（Ａ（Ａｎａｌｏｇ）／Ｄ（Ｄｉｇｉｔａｌ）変換器、Ｄ／Ａ変換器）やトランジスタ回路等によって実現される。また、その他の構成要素は、該情報処理装置が備えるＣＰＵが所定のプログラムにしたがって以下に記載する各構成要素の処理を実行することで実現される。なお、音声通信装置２０１は、図２に示す各構成要素の機能を実現するＬＳＩや論理回路等によって構成されていてもよい。

音声取り込み部２０５は、マイクロフォン等の音声入力部２０２から入力された音声信号（アナログ信号）を、設定・呼接続処理部２０４が指定する標本化周波数や量子化ビット数、あるいは予め設定された標本化周波数や量子化ビット数に基づきデジタルデータから成る音声データに変換する。

第１の符号化部２０７及び第２の符号化部２０８は、音声取り込み部２０５でＡ／Ｄ変換された音声データを、設定・呼接続処理部２０４が指定する符号化方式や標本化周波数等の符号化情報、あるいは予め設定された符号化情報に基づいて符号化する。

本実施形態では、第１の符号化部２０７がＭＰＥＧ−４ ＡＡＣ方式を用いて音声データを符号化し、第２の符号化部２０８がＡＭＲ−ＷＢ方式を用いて音声データを符号化するものとして説明する。第１の符号化部２０７及び第２の符号化部２０８が用いる符号化方式は、これらに限定されるものではなく、どのような方式であってもよい。また、第１の符号化部２０７及び第２の符号化部２０８は、異なる種類の符号化方式を用いる必要はなく、標本化周波数が異なれば同じ符号化方式を用いてもよい。本実施形態では、説明を簡単にするために２つの符号化部を有する構成を示しているが、符号化部の数は２つに限定されるものではなく、いくつであってもよい。なお、利用可能な伝送帯域に余裕のある伝送路を用いる場合、音声通信装置は複数の符号化部で符号化した音声符号化データをそれぞれ送信してもよい。

パケット化処理部２０９は、第１の符号化部２０７及び第２の符号化部２０８で符号化された音声符号化データの少なくとも一つに、設定・呼接続処理部２０４が指定する符号化方式の識別子（符号化方式識別子）、あるいは予め設定された符号化方式識別子を付与してパケット化する。この音声符号化データの符号化方式と符号化方式識別子とは互いに対応する関係にあるものとする。

送信部２１０は、パケット化処理部２０９で生成されたパケットを、宛先アドレスに応じて設定・呼接続処理部２０４が指定するポート、あるいは予め設定されたポートを介してネットワーク１０２へ送出する。例えば、音声符号化データをＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）にしたがってパケット化して送信する場合、パケット化処理部２０９は、付加するＲＴＰヘッダに含まれるペイロードの形式やＳＳＲＣ（Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｓｏｕｒｃｅ ｉｄｅｎｔｉｆｉｅｒ）またはＣＳＲＣ（Ｃｏｎｔｒｉｂｕｔｉｎｇ Ｓｏｕｒｃｅ ｉｄｅｎｔｉｆｌｅｒ）を符号化方式識別子に用いてパケット化する。ＲＴＰについては、例えばＨ．Ｓｃｈｕｌｚｒｉｎｎｅ，Ｓ．Ｃａｓｎｅｒ，Ｒ．Ｆｒｅｄｅｒｉｃｋ，Ｖ．Ｊａｃｏｂｓｏｎ，″ＲＴＰ：Ａ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ａｐｐｌｉｃａｔｉｏｎｓ″，ＲＦＣ １８８９，Ｊａｎｕａｒｙ １９９６、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ１８８９．ｔｘｔ〉やＨ．Ｓｃｈｕｌｚｒｉｎｎｅ，″ＲＴＰ Ｐｒｏｆｉｌｅ ｆｏｒ Ａｕｄｉｏ ａｎｄ Ｖｉｄｅｏ Ｃｏｎｆｅｒｅｎｃｅｓ ｗｉｔｈ Ｍｉｎｉｍａｌ Ｃｏｎｔｒｏｌ″，ＲＦＣ １８９０，Ｊａｎｕａｒｙ １９９６等に詳細に記載されている。

なお、パケット化処理部２０９及び送信部２１０は、少なくともその一方を複数の符号化部に対応して複数設けてもよい。その場合、例えば送信部２１０は、対応するパケット化処理部２０９で生成されたパケットを、設定・呼接続処理部２０４が指定する宛先アドレス及びポート、あるいは予め設定された宛先アドレス及びポートを介してネットワーク１０２にそれぞれ送出すればよい。

本実施形態の音声通信装置２０１は、設定・呼接続処理部２０４の制御により、周知のＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）やＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いて通信相手の音声通信装置と通信に必要な情報を送受信する。その場合、
・通信相手のアドレス及び受信ポート番号、
・送信する音声符号化データの符号化方式、符号化設定（オプション）、
・ペイロードタイプやペイロード・フォーマット、
等の設定情報を通信相手へ通知できる。例えば、符号化方式がＡＭＲ−ＮＢであり、ＲＴＰのペイロードタイプが９７である場合、ＳＤＰを用いると、ａ＝ｒｔｐｍａｐ：９７ ＡＭＲ／８０００と記述した情報を送信することで、符号化方式と符号化方式識別子との対応関係を通知できる。このとき、符号化方式と符号化方式識別子との対応関係は、音声通信を行う音声通信装置どうしで予め決定しておいてもよい。但し、符号化方式によっては、ペイロードタイプがＲＦＣ１８９０で既に定められているものがある。例えば、Ｇ．７２９の音声符号化方式では「１８」という数値が使用される。これにより符号化方式を特定できる。

設定・呼接続処理部２０４は、決定した符号化方式の処理を実行するように、音声取り込み部２０５、標本化周波数変換部２０６、第１の符号化部２０７、第２の符号化部２０８、パケット化処理部２０９、及び送信部２１０、受信部２１１、ペイロード抽出部２１２、第１の復号部２１３、第２の復号部２１４及び音声再生部２１７に対して、それぞれ必要な指示を与える。

本実施形態の音声通信装置２０１は、利用者が所望の指示を入力するために不図示の入力手段を備えていてもよい。入力手段を介して音質や遅延時間等の要求が入力された場合、設定・呼接続処理部２０４は、利用可能な伝送路帯域または入力手段を介して入力された利用者からの要求を基に最適な符号化方式や標本化周波数を選択する。そして、選択した符号化方式にしたがって処理を実行するように、音声取り込み部２０５、標本化周波数変換部２０６、第１の符号化部２０７、第２の符号化部２０８、パケット化処理部２０９、送信部２１０、受信部２１１、ペイロード抽出部２１２、第１の復号部２１３、第２の復号部２１４及び音声再生部２１７に対してそれぞれ必要な指示を与える。

受信部２１１は、設定・呼接続処理部２０４が指定するポート、あるいは予め設定されたポートを用いて、ネットワーク１０２を介して送信されたパケットを受信する。

ペイロード抽出部２１２は、受信部２１１で受信したパケットから音声符号化データ及び符号化方式識別子をそれぞれ抽出し、設定・呼接続処理部２０４からの指示にしたがって第１の復号部２１３または第２の復号部２１４へ抽出した音声符号化データを供給する。

第１の復号部２１３及び第２の復号部２１４は、ペイロード抽出部２１２から供給された音声符号化データを、設定・呼接続処理部２０４が指定する復号方式、あるいは予め設定された復号方式にしたがって復号する。

本実施形態では、第１の復号部２１３がＭＰＥＧ−４ ＡＡＣ方式を用いて音声符号化データを復号し、第２の復号部２１４がＡＭＲ−ＷＢ方式を用いて音声符号化データを復号するものとして説明する。上述した符号化部と同様に、第１の復号部２１３及び第２の復号部２１４が用いる復号方式は、これらに限定されるものではなく、どのような方式であってもよい。また、第１の復号部２１３及び第２の復号部２１４は、異なる復号方式を用いる必要はなく、標本化周波数が異なれば同じ復号方式を用いてもよい。本実施形態では、説明を簡単にするために２つの復号部を有する構成を示しているが、復号部の数は２つに限定されるものではなく、いくつであってもよい。

設定・呼接続処理部２０４は、通信相手の音声通信装置から通知された符号化方式とパケットに付加された符号化方式識別子との組み合わせから受信した音声符号化データの符号化方式を判断し、パケットから抽出した音声符号化データに対応する最適な復号部を選択してペイロード抽出部２１２へ指示する。

したがって、本実施形態では、送信側の音声通信装置が有する符号化部で符号化された音声符号化データが、受信側の音声通信装置が備える該符号化方式に対応する復号部で再生されるため、通信途中で音声符号化データの符号化方式が切り替わっても正しく復号できる。

バッファ制御部２１５は、第１の復号部２１３または第２の復号部２１４で復号された音声データを、音声データバッファ２１６のサイズに合わせて縮小または伸張し、音声データバッファ２１６へ格納する。

音声再生部２１７は、音声データバッファ２１６に格納された音声データ（デジタルデータ）を順次読み出してアナログ信号から成る音声信号に変換する。また、必要に応じてＤ／Ａ変換された音声信号を電力増幅する。音声再生部２１７によってＤ／Ａ変換された音声信号はスピーカ等の音声出力部２０３から出力される。

なお、受信部２１１及びペイロード抽出部２１２は、少なくともその一方を複数の復号部に対応して複数設けてもよい。その場合、設定・呼接続処理部２０４を用いて通信相手の音声通信装置からセッション（またはポート番号）毎の符号化方式や設定情報を受け取るか、あるいはこれらを予め音声通信を行う音声通信装置間で決めておけば、ペイロード抽出部２１２は、符号化方式識別子が無くても、受信したセッション（またはポート番号）を基に音声符号化データを適切な復号部へ渡すことができる。

上述したように、本実施形態の音声通信装置２０１では、例えばＳＤＰにしたがって対応可能な符号化方式や復号方式を通信相手の音声通信装置へ通知する。ＳＤＰにより対応可能な符号化方式や復号方式を通知する場合、該符号化方式や復号方式は、ａ＝ｓｅｎｄｏｎｌｙ、ａ＝ｒｅｃｖｏｎｌｙ等の記述を列挙した情報で表される。このＳＤＰを利用した通信では、送信側の符号化方式と受信側の復号方式とが異なっていてもよく、通信を行う音声通信装置どうしが同一の符号化方式や復号方式を備えていなくてもよい。すなわち、ＳＤＰを利用すると、通信を行う音声通信装置どうしが同一の符号化方式と復号方式の組み合わせに対応していなくてもメッセージを送受信することができる。

一方、ＳＩＰを用いて呼接続処理を行う場合、図１に示した音声通信装置１０１及び音声通信装置１０３は、呼接続サーバ１０４から通信相手の音声通信装置のアドレスをそれぞれ取得し、ＳＤＰを利用して対応する符号化方式の情報等を取得して音声通信を開始する。

ＳＤＰについてはＭ．Ｈａｎｄｌｅｙ，Ｖ．Ｊａｃｏｂｓｏｎ，″ＳＤＰ： Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ″，ＲＦＣ ２３２７，Ａｐｒｉｌ １９９８、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ２３２７．ｔｘｔ〉等に詳細に記載されている。また、ＳＩＰについてはＭ．Ｈａｎｄｌｅｙ，Ｈ．Ｓｃｈｕｌｚｒｉｎｎｅ，Ｅ．Ｓｃｈｏｏｌｅｒ，Ｊ．Ｒｏｓｅｎｂｅｒｇ，″ＳＩＰ： Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ″，ＲＦＣ ２５４３，Ｍａｒｃｈ １９９９、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ２５４３．ｔｘｔ〉等に詳細に記載されている。

ところで、図２に示した音声通信装置２０１において、通話時に音声が途切れないように符号化方式を切り替えるためには、音声取り込み部２０５でＡ／Ｄ変換された音声データを、第１の符号化部２０７及び第２の符号化部２０８でそれぞれ符号化する必要がある。

ここで、第１の符号化部２０７と第２の符号化部２０８の符号化方式や標本化周波数が異なる場合、本実施形態では、音声取り込み部２０５でＡ／Ｄ変換された音声データを、標本化周波数変換部２０６を用いてそれぞれの符号化方式に対応する標本化周波数の音声データに変換する。

例えば、音声取り込み部２０５が３２ｋＨｚで標本化を行い、第１の符号化部２０７が３２ｋＨｚの標本化周波数でＭＰＥＧ−４ ＡＡＣ方式を用いて音声データを符号化し、第２の符号化部２０８が１６ｋＨｚの標本化周波数でＡＭＲ−ＷＢ方式を用いて音声データを符号化する例を考える。この場合、標本化周波数変換部２０６は、第１の符号化部２０７に対して標本化周波数を変えずに音声データを出力し、第２の符号化部２０８に対して標本化周波数を１６ｋＨｚに変換（ダウンサンプリング）して音声データを出力する。このようにすれば、１つの音声取り込み部２０５で取り込まれた音声データを、複数の符号化部でそれぞれの符号化方式にしたがって符号化できる。

標本化周波数変換部２０６は、各符号化部の符号化方式が同一であっても標本化周波数が異なっていれば同様の処理を行う。標本化周波数の変換方法については、周知のどのような技術を用いてもよいため、ここではその詳細な説明を省略する。

なお、音声データの符号化方式には、符号化効率を高めるために過去の音声データを利用して符号化を行う方式がある。そのような符号化方式では、音声入力から対応する音声符号化データが出力されるまでに遅れが生じる。例えば、ＡＭＲ−ＷＢ方式では符号化処理に５ｍｓ前の音声データを用いるため、音声入力から対応する音声符号化データが出力されるまでに５ｍｓの遅れが生じる。また、ＭＰＥＧ−４ ＡＡＣ方式では符号化処理で２フレーム分の遅れが生じるため、標本化周波数が３２ｋＨｚの場合、音声入力から対応する音声符号化データが出力されるまでに６４ｍｓの遅れが生じる。したがって、送信側で符号化方式を切り替える際には、符号化後の音声符号化データに対応する音声が同期するように、各符号化処理の開始点をそれぞれ調整する。具体的には、図３に示すように、第２の符号化部２０８によるＡＭＲ−ＷＢ方式の符号化開始点（ｔ＝０）に対して、第１の符号化部２０７が５９ｍｓ遅れてＭＰＥＧ−４ ＡＡＣ方式の符号化処理を開始すれば、これらの音声符号化データから再生される音声が一致する。

さらに、ＡＭＲ−ＷＢ方式とＭＰＥＧ−４ ＡＡＣ方式とで符号化単位であるフレームの長さが異なるため、本実施形態では、送信側で符号化方式を切り替える際に、符号化後の音声符号化データに対応する音声が同期するよう、各符号化方式のフレーム長の違いを考慮して切り替えタイミングを調整する。具体的には、図３に示すように８個のＡＭＲ−ＷＢ方式のフレーム（ＡＭＲ出力符号化フレーム）に対して、５個のＭＰＥＧ−４ ＡＡＣ方式のフレーム（ＡＡＣ出力符号化フレーム）が出力された時点で符号化方式を切り替えれば、これらの音声符号化データから再生される音声が一致する。

本実施形態の音声通信装置では、第１の符号化部２０７及び第２の符号化部２０８が同時に符号化処理を開始する必要はないが、上述したように、各符号化部による符号化処理の開始（再開）タイミングのずれ、あるいはフレーム長の違いを考慮して符号化方式を切り替える。一方、受信側の音声通信装置では、上記フレーム単位で各復号部が復号方式を切り替えることで音声を途切れることなく再生する。

また、本実施形態の音声通信装置では、設定・呼接続処理部２０４が指定する符号化方式及び標本化周波数、または予め設定された符号化方式及び標本化周波数に基づき、符号化後の音声符号化データに対応する音声が同期するように、音声データのサンプル数を考慮して符号化方式を切り替えてもよい。例えばＡＭＲ−ＷＢ符号化方式では、１［ｍｓ］当りのサンプル数が１６であり、ＭＰＥＧ−４ ＡＡＣ符号化方式では、標本化周波数が３２ｋＨｚの場合、１［ｍｓ］当りのサンプル数が３２となる。すなわち、このサンプル数の関係が維持されるタイミングで符号化方式を切り替えればよい。

なお、標本化周波数が異なる同一の符号化方式へ切り替える場合も、同様の処理を行えば、符号化方式の切り替えによる音質劣化を抑制できる。

次に、図２に示した音声通信装置が備えるバッファ制御部の第１の実施の形態について図４を用いて説明する。

図４に示すように、本実施形態のバッファ制御部２１５は、バッファ量監視部４０１、変換パラメータ決定部４０２及び標本化周波数変換部４０３を有する構成である。

上述したように、音声データバッファ２１６に格納されるデータ量は、受信部２１１で受信するパケットの到着揺らぎ、及び送信側の音声取り込み部２０５による音声の取り込み周期と受信側の音声再生部２１７による再生周期のずれによって増減する。

このパケットの到着揺らぎや取り込み周期と再生周期のずれに対応するために音声データバッファ２１６が存在するが、大きな到着揺らぎに対応するためには、大きなバッファサイズ及び音声データバッファ２１６へ格納する目標とする音声データ量（以下、標準量と称す）を大きく設定しなければならないために音声通信の遅延が増加する。

本実施形態では、受信部２１１で音声符号化データの到着間隔の揺らぎを計測し、この音声データバッファ２１６に格納する音声データの標準量が、揺らぎの大きさに合わせることで大きくなり過ぎないように最適に設定する。

さらに、より小さいサイズの音声データバッファ２１６で対応可能とするために、バッファ制御部２１５は復号された音声データを加工して音声データバッファ２１６へ格納する。また、バッファ制御部２１５は音声データバッファ２１６に格納されたデータ量をバッファ量監視部４０１で監視する。

変換パラメータ決定部４０２は、音声データバッファ２１６内の音声データの残存量と、設定・呼接続処理部２０４が指定する符号化方式にしたがって変換後の標本化周波数を決定する。

標本化周波数変換部４０３は、バッファ制御部２１５に入力される音声データの標本化周波数を、変換パラメータ決定部４０１が決定した標本化周波数へ変換し、音声データバッファ２１６へ出力する。例えば、符号化方式や標本化周波数が異なる音声データへの切り替えがなく、音声データバッファ２１６内のデータ量が減少傾向にある場合、標本化周波数変換部４０３は、その割合に応じて標本化周波数が高くなるように周波数変換（アップサンプリング）する。その場合、音声データのサンプル数が増えるため、音声データバッファ２１６に格納される音声データの減少を補うことができる。逆に、音声データバッファ２１６内のデータ量が増加傾向にある場合、標本化周波数変換部４０３は標本化周波数が低くなるように周波数変換（ダウンサンプリング）する。その場合、音声データのサンプル数が減るため、音声データバッファ２１６に格納される音声データの増加を抑制できる。

なお、第１の復号部２１３から出力される音声データと第２の復号部２１４から出力される音声データとを途切れることなく切り替えるためには、これらの音声データを一つの音声データバッファ２１６へ格納して再生する必要がある。

バッファ制御部２１５は、復号方式を切り替える際、上述した音声データバッファ２１６内のデータ量を調整するために、標本化周波数を変換する処理に加えて、以下に記載する復号方式に応じた標本化周波数の変換処理も行う。

具体的には、第２の復号部２１４から出力されるＡＭＲ−ＷＢ方式で復号された音声データの標本化周波数（１６ｋＨ）を、第１の復号部２１３から出力されるＭＰＥＧ−４ ＡＡＣ方式で復号された音声データの標本化周波数（３２ｋＨｚ）と一致するように周波数変換を行う。但し、標本化周波数が異なる場合、符号化処理や復号処理が可能な音声信号の帯域も異なるため、異なる復号方式の音声データへ切り替えると、再生した音声の帯域の違いが聴感上で違和感となることがある。

ＭＰＥＧ−４ ＡＡＣ方式のように一定のサンプル周期毎に符号化処理を行う方式では、標本化周波数を高くすることで符号化処理による遅延が少なくなるが、符号化ビットレートが同一であってもネットワーク１０２へ送出するパケット数が増加するため、（ＲＴＰ／）ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰヘッダに要するオーバヘッド量が増加してしまう。したがって、利用可能な伝送帯域が低い伝送路においては、遅延が多くなるが、音質を維持するために標本化周波数を低くして少ないオーバヘッド量で送信する。また、利用可能な伝送帯域に余裕がある伝送路においては、オーバヘッド量が多くなるが、標本化周波数を高くして少ない遅延量で送信する手法も可能である。

しかしながら、このような手法でも再生する音声の帯域の違いによる違和感は無くすことができない。そのため、本実施形態の音声通信装置では、このような違和感を抑制するために、
ア）より低い方の標本化周波数に揃うように標本化周波数を変換する。
イ）各符号化部における符号語の割り当てを、最も低い標本化周波数の音声データの帯域までとする。

特に、音楽ではなく音声のみを送信する場合は、第１の符号化部２０７及び第２の符号化部２０８における符号語の割り当て帯域制限が音質の向上につながる場合がある。本実施形態では、複数種類の符号化方式や標本化周波数の音声符号化データを受信した場合も、復号処理はいずれか１つの音声符号化データに対して行えばよいため、復号処理に必要な演算量の増加を最小限に抑制できる。

バッファ量監視部４０１は、音声データバッファ２１６に格納される音声データが無くなるおそれがあるとき、パディングデータ挿入部４０４に指示して無音の音声データを音声データバッファ２１６へ挿入することで補充する。または、音声データを再生している復号部に対して、該復号部の復号方式が備えるエラー隠蔽（コンシールメント）処理による音声データの出力を指示し、これを音声データバッファ２１６へ挿入する。このような処理を行うことで、音声データバッファ２１６が空になることによる再生音声の途切れを防止できる。

さらに、バッファ量監視部４０１は、音声データバッファ２１６に格納された音声データが溢れそうなとき、標本化周波数変化部４０３に対して入力された音声データを廃棄するように指示し、再生音声の途切れを抑制する。その際、入力音声データの音量（電力）または振幅量の少なくともいずれか一方に基づいて無音と判定した音声データを廃棄すれば、再生音の劣化を最小限に抑制できる。

バッファ量監視部４０１は、設定・呼接続処理部２０４、音声再生部２１７、第１の復号部２１３または第２の復号部２１４の少なくともいずれか１つの指示にしたがって上記処理を実行してもよく、タイマー等を用いて所定の時間毎に上記処理を実行してもよい。音声再生部２１７による指示とは、音声再生部２１７で一定量の音声データを再生する毎にバッファ量監視部４０１に音声データバッファ２１６のデータ残存量を確認させる指示であり、監視結果に基づいて前記の処理を実行させればよい。

また、本実施形態の音声通信装置２０１では、受信部２１１の後段に受信バッファ２１８を備え、該受信バッファ２１８に受信した音声符号化データを一時的に格納してもよい。その場合、音声再生部２１７は、一定量の音声データを再生する毎に、格納している音声符号化データの先頭データをペイロード抽出部２１２へ出力するように受信バッファ２１８へ指示すればよい。その際、受信バッファ２１８が空のときは、音声データを再生している復号部に対して、該復号部の復号方式が備えるエラー隠蔽処理による音声データの出力を指示する。この場合、音声再生部２１７における音声再生が処理の起動トリガとなるため、音声データを消費した分だけ、それに続く音声符号化データが受信バッファ２１８から出力される。したがって、音声データバッファ２１６に格納すべき音声データの標準量を最小限に設定できるため、遅延が少ない音声通信が可能になる。

本実施形態の音声通信装置のように音声データに対する符号化方式を切り替えるメリットとしては、音声通信中でも利用者が要求する音質や遅延時間、あるいは伝送路の利用可能な帯域に応じて、符号化方式を最適に切り替えることができることにある。

本実施形態の場合、第１の符号化部２０７や第１の復号部２１３で採用するＭＰＥＧ−４ ＡＡＣ方式は、音声だけでなく音楽の伝送も可能な高品質な符号化方式であるが、符号化や復号に要する処理時間が長くなる。一方、第２の符号化部２０８や第２の復号部２１４で採用するＡＭＲ−ＷＢ方式は、音声に特化した符号化方式であるため、音楽のような広帯域の信号を伝送するには不向きである。しかしながら、ＡＭＲ−ＷＢ方式は、符号化や復号に要する処理時間が短く、かつ符号化ビットレートも低くて済むため、伝送帯域が制限される通信環境下であっても安定した音声通信を実現できる。

本実施形態の音声通信装置は、音声データの符号化部や復号部を複数備えているため、送信用と受信用の符号化方式と復号方式が一致していなくても音声通信が可能になる。例えば、上りリンク（送信）と下りリンク（受信）とで帯域または伝送路の安定性が非対称の通信網を利用する場合でも音声通信が可能である。具体的には、上りリンクでは帯域が制限され、下りリンクでは帯域に余裕がある通信環境下の場合、第２の符号化部２０８を用いてＡＭＲ−ＷＢ方式で符号化した音声符号化データを上りリンクを介して送信し、ＭＰＥＧ−４ ＡＡＣで符号化された音声符号化データを下りリンクを介して受信し、第１の復号部２１３で復号して再生することが可能である。そのため、より品質の高い安定した音声通信を実現できる。

なお、符号化方式の切り替えは、上述した設定・呼接続処理部２０４からの指示、あるいは予め設定しておく手法だけでなく、例えばパケットの到着揺らぎやパケット損失率等のパケット到着状況を設定・呼接続処理部２０４を用いて通信相手の音声通信装置へ通知し、該パケット到着状況に応じて送信側で符号化方式を切り替える方法でもよい。また、送信側の音声通信装置に対して符号化方式の変更を指示する方法でもよい。

（第２の実施の形態）
次に本発明の音声通信装置の第２の実施の形態について図面を用いて説明する。

図５は本発明の音声通信装置が備えるバッファ制御部の第２の実施の形態の構成を示すブロック図である。

本実施形態の音声通信装置は、バッファ制御部２１５の構成が第１の実施の形態と異なっている。その他の構成や動作は第１の実施の形態と同様であるため、その詳細な説明は省略する。

図５に示すように、第２の実施の形態のバッファ制御部は、第１の実施の形態で示した変換パラメータ決定部４０２及び標本化周波数変換部４０３に代えて、データ選択決定部５０１を有する構成である。バッファ量監視部４０１及びパディングデータ挿入部４０４については、第１の実施の形態と同様であるため、その説明は省略する。

データ選択決定部５０１は、バッファ量監視部４０１による音声データバッファ２１６の監視結果にしたがって、音声データバッファ２１６に格納されたデータ量が増加傾向にある場合は、その割合に合わせて第１の復号部２１３または第２の復号部２１４で復号された音声データを間引いて音声データバッファ２１６へ格納する。その際、データ選択決定部５０１は、音声データの音量を判定し、無音と判定した音声データを廃棄すれば再生音の劣化を最小限に抑制できる。

本実施形態の音声通信装置は、音声データを間引くために第１の実施の形態の音声通信装置に比べて再生音質が劣化するおそれがある。しかしながら、標本化周波数変換のような大きな演算量を要する処理を行わないため、大きな演算量を実行できない、例えば携帯電話機等を音声通信装置として用いる場合に容易に適用できる。

Claims (68)

1. 送信対象の音声データを、対応可能な複数種類の符号化方式を用いてそれぞれ符号化し、
   該符号化された音声データである音声符号化データのうち、少なくとも一つの種類の音声符号化データを送信し、
   前記音声符号化データを受信すると、該音声符号化データを、対応可能な複数種類の復号方式の中から該音声符号化データに適切な復号方式で復号し、
   前記復号された音声データを音声データ用のバッファへ一時的に格納し、
   前記音声データ用のバッファから該音声データを順次読み出して再生する音声通信方法。
2. 複数種類の符号化方式は、それぞれが異なる標本化周波数である請求項１記載の音声通信方法。
3. 送信する音声符号化データの符号化方式と、受信した音声符号化データを復号する復号方式に対応する符号化方式とが異なる種類である請求項１記載の音声通信方法。
4. 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の処理開始タイミングをそれぞれ移動させる請求項１記載の音声通信方法。
5. 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の音声データのサンプル数をそれぞれ設定する請求項１記載の音声通信方法。
6. 符号化後の音声符号化データに対応する音声が同期するように、符号化方式毎に異なる符号化単位であるフレームの長さに応じて、前記符号化方式の切り替えタイミングを調整する請求項１記載の音声通信方法。
7. 音声符号化データを、符号化方式毎に異なるフレーム単位で復号する請求項１記載の音声通信方法。
8. 送信対象の音声データの標本化周波数を、各符号化方式に対応する標本化周波数にそれぞれ変換する請求項１記載の音声通信方法。
9. 符号化方式毎に割り当てる符号語の帯域を、複数種類の符号化方式のうち、最も低い標本化周波数の音声データの帯域までとする請求項１記載の音声通信方法。
10. 音声符号化データに、該音声符号化データの符号化方式に対応する符号化方式識別子を付与して送信する請求項１記載の音声通信方法。
11. 利用可能な伝送路の帯域または入力手段を介して入力された利用者からの要求の少なくともいずれか一方を基に、送信する音声符号化データを選択する請求項１記載の音声通信方法。
12. 復号した音声データの標本化周波数を、音声データ用のバッファに格納された音声データ量に応じて変換する請求項１記載の音声通信方法。
13. 音声データ用のバッファに格納する、音声データの目標量である標準量を、音声符号化データの到着揺らぎに合わせて設定する請求項１記載の音声通信方法。
14. 音声データ用のバッファに格納される音声データ量が該音声データ用のバッファのサイズを越える場合、無音と判定した音声データを廃棄する請求項１記載の音声通信方法。
15. 音声データ用のバッファに格納された音声データ量が無くなる場合、音声データを補充する請求項１記載の音声通信方法。
16. 受信した音声符号化データを一時的に受信バッファへ格納し、
    所定量の音声データが再生される毎に前記受信バッファに格納されている先頭の音声符号化データを出力し、前記受信バッファが空になる場合は音声データを補充する請求項１記載の音声通信方法。
17. 補充する音声データは、無音の音声データである請求項１５記載の音声通信方法。
18. 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項１５記載の音声通信方法。
19. 補充する音声データは、無音の音声データである請求項１６記載の音声通信方法。
20. 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項１６記載の音声通信方法。
21. 受信した音声符号化データに付加される符号化方式を識別するための符号化方式識別子、呼接続処理により得られる符号化方式の情報、呼接続処理により得られる符号化に関する設定情報、または音声符号化データを受信するセッションのうち、少なくとも１つの情報を基に受信した音声符号化データの復号方式を選択する請求項１記載の音声通信方法。
22. 受信した音声符号化データの到着揺らぎまたは損失率を含む受信データの到着状況を通信相手へ送信し、
    前記到着状況を受信すると、該到着状況に応じて送信する音声符号化データの符号化方式または標本化周波数の少なくとも一方を切り替える請求項１記載の音声通信方法。
23. 送信対象となる音声から所定の標本化周波数でデジタル化された音声データを生成する音声取り込み部と、
    前記音声データを対応可能な複数種類の符号化方式でそれぞれ符号化する複数の符号化部と、
    前記符号化された音声データである音声符号化データのうち、少なくとも一つの種類の音声符号化データを送信する送信部と、
    前記音声符号化データを受信すると、該音声符号化データを、対応可能な複数種類の復号方式の中から該音声符号化データに適切な復号方式で復号する、それぞれが異なる種類の復号方式で復号する複数の復号部と、
    前記復号部で復号された音声データを一時的に格納する音声データバッファと、
    前記音声データバッファから該音声データを順次読み出して再生する音声再生部と、
    前記符号化方式及び前記復号方式の切り替えを制御する設定・呼接続処理部と、を有する音声通信装置。
24. 複数の符号化部は、
    それぞれが異なる標本化周波数で符号化する請求項２３記載の音声通信装置。
25. 送信部で送信する音声符号化データの符号化方式と、受信した音声符号化データを復号する復号方式に対応する符号化方式とが異なる種類である請求項２３記載の音声通信装置。
26. 複数の符号化部は、
    符号化後の音声符号化データに対応する音声が同期するように、それぞれの処理開始タイミングを移動させる請求項２３記載の音声通信装置。
27. 複数の符号化部は、
    符号化後の音声符号化データに対応する音声が同期するように、それぞれの音声データのサンプル数を設定する請求項２３記載の音声通信装置。
28. 複数の符号化部は、
    符号化後の音声符号化データに対応する音声が同期するように、符号化方式毎に異なる符号化単位であるフレームの長さに応じて、前記符号化方式の切り替えタイミングを調整する請求項２２記載の音声通信装置。
29. 複数の復号部は、
    音声符号化データを、符号化方式毎に異なるフレーム単位で復号する請求項２３記載の音声通信装置。
30. 送信対象の音声データの標本化周波数を、符号化部の符号化方式に対応する標本化周波数にそれぞれ変換する標本化周波数変換部を有する請求項２３記載の音声通信装置。
31. 複数の符号化部は、
    符号化方式毎に割り当てる符号語の帯域を、複数種類の符号化方式のうち、最も低い標本化周波数の音声データの帯域までとする請求項２３記載の音声通信装置。
32. 音声符号化データに、該音声符号化データの符号化方式に対応する符号化方式識別子を付与して送信するパケット化処理部を有する請求項２３記載の音声通信装置。
33. 設定・呼接続処理部は、
    利用可能な伝送路の帯域または入力手段を介して入力された利用者からの要求の少なくともいずれか一方を基に、送信する音声符号化データを送信部に選択させる請求項２３記載の音声通信装置。
34. 復号した音声データの標本化周波数を、音声データバッファに格納された音声データ量に応じて変換するバッファ制御部を有する請求項２３記載の音声通信装置。
35. バッファ制御部は、
    音声データバッファに格納する音声データの目標量である標準量を、音声符号化データの到着揺らぎに合わせて設定する請求項３４記載の音声通信装置。
36. バッファ制御部は、
    音声データバッファに格納される音声データ量が該音声データバッファのサイズを越える場合、無音と判定した音声データを廃棄する請求項３４記載の音声通信装置。
37. バッファ制御部は、
    音声データバッファに格納された音声データ量が無くなる場合、音声データを補充する請求項３４記載の音声通信装置。
38. 受信した音声符号化データが一時的に格納される受信バッファを有し、
    音声再生部は、
    所定量の音声データが再生される毎に前記受信バッファに格納されている先頭の音声符号化データを出力するように指示し、前記受信バッファが空になる場合は音声データを補充する請求項２３記載の音声通信装置。
39. 補充する音声データは、無音の音声データである請求項３７記載の音声通信装置。
40. 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項３７記載の音声通信装置。
41. 補充する音声データは、無音の音声データである請求項３８記載の音声通信装置。
42. 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項３８記載の音声通信装置。
43. 設定・呼接続処理部は、
    受信した音声符号化データに付加される符号化方式を識別するための符号化方式識別子、呼接続処理により得られる符号化方式の情報、呼接続処理により得られる符号化に関する設定情報、または音声符号化データを受信するセッションのうち、少なくとも１つの情報を基に受信した音声符号化データの復号方式を選択する請求項２３記載の音声通信装置。
44. 設定・呼接続処理部は、
    受信した音声符号化データの到着揺らぎまたは損失率を含む受信データの到着状況を通信相手へ送信し、
    前記到着状況を受信すると、該到着状況に応じて送信する音声符号化データの符号化方式または標本化周波数の少なくとも一方を切り替える請求項２３記載の音声通信装置。
45. ネットワークを介して互いに通信可能に接続される請求項２３記載の音声通信装置を有する音声通信システム。
46. 音声通信装置間の呼の確立に必要な情報を該音声通信装置にそれぞれ供給する、ネットワークを介して前記音声通信装置と通信可能に接続される呼接続サーバ装置を有する請求項４５記載の音声通信システム。
47. ネットワークを経由して互いに音声を送受信するコンピュータに実行させるためのプログラムであって、
    所定の標本化周波数でデジタル化された送信対象の音声データを、対応可能な複数種類の符号化方式を用いてそれぞれ符号化し、
    該符号化された音声データである音声符号化データのうち、少なくとも一つの種類の音声符号化データを送信部から送信させ、
    前記音声符号化データを受信すると、該音声符号化データを、対応可能な複数種類の復号方式の中から該音声符号化データに適切な復号方式で復号し、
    前記復号された音声データを音声データ用のバッファへ一時的に格納し、
    前記音声データ用のバッファから前記音声データを順次読み出して再生するための処理をコンピュータに実行させるためのプログラム。
48. 複数種類の符号化方式は、それぞれが異なる標本化周波数である請求項４７記載のプログラム。
49. 送信する音声符号化データの符号化方式と、受信した音声符号化データを復号する復号方式に対応する符号化方式とが異なる種類である請求項４７記載のプログラム。
50. 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の処理開始タイミングをそれぞれ移動させる請求項４７記載のプログラム。
51. 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の音声データのサンプル数をそれぞれ設定する請求項４７記載のプログラム。
52. 符号化後の音声符号化データに対応する音声が同期するように、符号化方式毎に異なる符号化単位であるフレームの長さに応じて、符号化方式の切り替えタイミングを調整する請求項４７記載のプログラム。
53. 音声符号化データを、符号化方式毎に異なるフレーム単位で復号する請求項４７記載のプログラム。
54. 送信対象の音声データの標本化周波数を、各符号化方式に対応する標本化周波数にそれぞれ変換する請求項４７記載のプログラム。
55. 符号化方式毎に割り当てる符号語の帯域を、複数種類の符号化方式のうち、最も低い標本化周波数の音声データの帯域までとする請求項４７記載のプログラム。
56. 音声符号化データに、該音声符号化データの符号化方式に対応する符号化方式識別子を付与して送信部より送信させる請求項４７記載のプログラム。
57. 利用可能な伝送路の帯域または入力手段を介して入力された利用者からの要求の少なくともいずれか一方を基に、送信する音声符号化データを選択する請求項４７記載のプログラム。
58. 復号した音声データの標本化周波数を、音声データ用のバッファに格納された音声データ量に応じて変換する請求項４７記載のプログラム。
59. 音声データ用のバッファに格納する音声データの目標量である標準量を、音声符号化データの到着揺らぎに合わせて設定する請求項４７記載のプログラム。
60. 音声データ用のバッファに格納される音声データ量が該音声データ用のバッファのサイズを越える場合、無音と判定した音声データを廃棄する請求項４７記載のプログラム。
61. 音声データ用のバッファに格納された音声データ量が無くなる場合、音声データを補充する請求項４７記載のプログラム。
62. 受信した音声符号化データを一時的に受信バッファへ格納し、
    所定量の音声データが再生される毎に前記受信バッファに格納されている先頭の音声符号化データを出力し、前記受信バッファが空になる場合は音声データを補充する請求項４７記載のプログラム。
63. 補充する音声データは、無音の音声データである請求項６１記載のプログラム。
64. 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項６１記載のプログラム。
65. 補充する音声データは、無音の音声データである請求項６２記載のプログラム。
66. 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項６２記載のプログラム。
67. 受信した音声符号化データに付加される符号化方式を識別するための符号化方式識別子、呼接続処理により得られる符号化方式の情報、呼接続処理により得られる符号化に関する設定情報、または音声符号化データを受信するセッションのうち、少なくとも１つの情報を基に受信した音声符号化データの復号方式を選択する請求項４７記載のプログラム。
68. 受信した音声符号化データの到着揺らぎまたは損失率を含む受信データの到着状況を通信相手へ送信部に送信させ、
    前記到着状況を受信すると、該到着状況に応じて送信する音声符号化データの符号化方式または標本化周波数の少なくとも一方を切り替える請求項４７記載のプログラム。

Images