JP7205626B2 - 音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体 - Google Patents

音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体 Download PDF

Info

Publication number
JP7205626B2
JP7205626B2 JP2021525902A JP2021525902A JP7205626B2 JP 7205626 B2 JP7205626 B2 JP 7205626B2 JP 2021525902 A JP2021525902 A JP 2021525902A JP 2021525902 A JP2021525902 A JP 2021525902A JP 7205626 B2 JP7205626 B2 JP 7205626B2
Authority
JP
Japan
Prior art keywords
code
communication line
monaural
sound signal
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021525902A
Other languages
English (en)
Other versions
JPWO2020250472A1 (ja
Inventor
健弘 守谷
優 鎌本
亮介 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020250472A1 publication Critical patent/JPWO2020250472A1/ja
Application granted granted Critical
Publication of JP7205626B2 publication Critical patent/JP7205626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error

Description

本発明は、情報伝送の優先度が異なる少なくとも２つの通信網に接続された端末装置における音信号の復号技術、これに対応する音信号の符号化技術、の少なくとも何れかに関する。
情報伝送の優先度が異なる２つの通信網に接続された端末装置間における音信号の符号化と復号の先行技術としては、特許文献１の技術がある。特許文献１の符号化装置は、所定の時間区間ごとに、すなわちフレームごとに、入力された音信号をスケーラブル符号化してベースレイヤの符号である低域符号１と拡張レイヤの符号である低域符号２と高域符号を得て、低域符号１を優先度が高いパケットに含めて帯域保証されたネットワークＢに少なくとも送出し、低域符号２と高域符号を優先度が低いパケットに含めて帯域保証されていないネットワークＡに送出する。特許文献１の復号装置は、優先度が高いパケットを受信したときに制限時間経過の監視を開始し、制限時間が経過するとその時点で受信済みのパケットを用いて復号をする。すなわち、通常はネットワークＡの方がネットワークＢよりも遅延が大きいことからすると、特許文献１の復号装置は、実質的には、ベースレイヤの符号の到着から上述した制限時間後に、低域符号２と高域符号も到着していれば、低域符号２と高域符号も用いた復号処理を行って高音質の復号音信号を得て、低域符号２と高域符号が到着していなければ、低域符号１のみを用いた復号処理を行って必要最低限の音質の復号音信号を得る。
特開２００５－１１７１３２公報
特許文献１の技術では、多くのフレームで高音質の復号音信号を得るためには、必要最低限の音質の復号音信号のみを得る構成で生じる遅延時間よりもはるかに長い時間を上述した制限時間として設定する必要がある。従って、特許文献１の技術には、多くのフレームで高音質の復号音信号を得ようとすると、双方向通話の際に違和感が生じてしまうほど長い遅延時間となるように上述した制限時間を設定しなければならないという課題がある。また、特許文献１の技術において、双方向通話の際に違和感が生じないようにこの制限時間を０に近付けてしまうと、優先度が高いパケットが制限時間内に到着しているフレームの割合が非常に小さくなってしまう。従って、特許文献１の技術には、双方向通話の際に違和感が生じないように制限時間を設定すると、ほとんどのフレームで高音質の復号音信号を得ることができないという課題がある。
そこで本発明では、必要最低限の音質の復号音信号のみを得る構成よりも遅延時間を大幅に増大させることなく、高音質の復号音信号を得ることができる技術を提供することを目的とする。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、フレームごとに、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信ステップと、フレームごとに、前記受信ステップで出力した前記モノラル符号と、前記受信ステップで出力した前記拡張符号と、に基づいてＣ個（Ｃは２以上の整数）のチャンネルの復号ディジタル音信号を得て出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、フレームごとに、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてＣ個（Ｃは２以上の整数）のチャンネルの復号ディジタル音信号を得て出力し、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてＣ個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化送信方法であって、フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号と、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す拡張符号と、を得る符号化ステップと、フレームごとに、前記符号化ステップで得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、前記符号化ステップで得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化送信方法であって、フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、複数フレームのうちの予め定めたフレームについては、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す拡張符号を得る符号化ステップと、フレームごとに、前記符号化ステップで得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、前記予め定めたフレームについては、前記符号化ステップで得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化送信方法であって、フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、フレームごとに、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを得て、複数フレームのうちの予め定めたフレームについては、前記特徴パラメータの平均または重み付き平均を表す拡張符号を得る符号化ステップと、フレームごとに、前記符号化ステップで得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、前記予め定めたフレームについては、前記符号化ステップで得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化方法であって、フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号と、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号と、を得て出力する符号化ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化方法であって、フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号を得て出力し、複数フレームのうちの予め定めたフレームについては、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号を得て出力する符号化ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化方法であって、フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号を得て出力し、フレームごとに、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを得て、複数フレームのうちの予め定めたフレームについては、前記特徴パラメータの平均または重み付き平均を表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号を得て出力する符号化ステップ、を含む。
本発明によれば、必要最低限の音質の復号音信号のみを得る構成よりも遅延時間を大幅に増大させることなく、高音質の復号音信号を得ることができる。
電話システムの例を示すブロック図である。 複数回線対応端末装置の例を示すブロック図である。 複数回線対応端末装置の音信号送信側装置の処理の例を示す流れ図である。 複数回線対応端末装置の音信号受信側装置の処理の例を示す流れ図である。 複数回線対応端末装置の音信号受信側装置における、入力される符号と出力する信号の時間的な関係を模式的に示す図である。 従来技術を用いた音信号受信側装置における、入力される符号と出力する信号の時間的な関係を模式的に示す図である。 多地点制御装置の例を示すブロック図である。 多地点制御装置の処理の例を示す流れ図である。 多地点制御装置の例を示すブロック図である。 多地点制御装置の処理の例を示す流れ図である。 電話回線専用端末装置の例を示すブロック図である。 電話回線専用端末装置の音信号送信側装置の処理の例を示す流れ図である。 電話回線専用端末装置の音信号受信側装置の処理の例を示す流れ図である。 本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。
≪電話システム１００≫
電話システム１００は、図１に示す通り、複数回線対応端末装置２００－ｍ（ｍは１以上Ｍ以下の各整数、Ｍは２以上の整数）と、第一通信網４００と、第二通信網５００と、を含む。電話システム１００は、図１に破線で示す通り、電話回線専用端末装置３００－ｎ（ｎは１以上Ｎ以下の各整数、Ｎは１以上の整数）を含んでもよい。各複数回線対応端末装置２００－ｍは、第一通信網４００の各通信回線である第一通信回線４１０－ｍを介して別の端末装置と接続可能とされている。さらに、各複数回線対応端末装置２００－ｍは、第二通信網５００の各通信回線である第二通信回線５１０－ｍを介して別の複数回線対応端末装置と接続可能とされている。各電話回線専用端末装置３００－ｎは、第一通信網４００の各通信回線である第一通信回線４２０－ｎを介して別の端末装置と接続可能とされている。
≪第一通信網４００、第二通信網５００≫
第一通信網４００と第二通信網５００とは、情報伝送の優先度が異なる通信網である。第一通信網４００は、第二通信網５００よりも情報伝送の優先度が高い通信網であり、ある端末装置から別の端末装置に所定のビットレートの符号列を短い遅延時間で伝送できるようにした通信網である。第一通信網４００は、例えば、従来型携帯電話機やスマートフォンである端末装置と、従来型携帯電話機やスマートフォンである別の端末装置と、の間での双方向通話に用いられる通信網であり、一般には電話回線と呼ばれる通信回線を備えた通信網である。第二通信網５００は、第一通信網４００よりも情報伝送の優先度が低い通信網であり、ある端末装置から別の端末装置に遅延時間の制約を設けずに符号列を伝送できるようにした通信網である。第二通信網５００は、例えば、スマートフォンである端末装置からスマートフォンである別の端末装置に映像や文字列などのデータを伝送する場合に用いられる通信網であり、一般にはインターネット回線と呼ばれる通信回線を備えた通信網である。
図１には第一通信網４００と第二通信網５００を分けて記載してあるが、第一通信網４００と第二通信網５００が物理的に分かれている必要はなく、論理的に分かれていればよい。同様に、端末装置が第一通信回線４１０－ｍと第二通信回線５１０－ｍの両方に接続されている場合において、第一通信回線４１０－ｍと第二通信回線５１０－ｍが物理的に分かれている必要はなく、論理的に分かれていればよい。すなわち、各端末装置は１つのIP通信回線によって１つのIP通信網に接続されていて、パケットの優先制御などによって、情報伝送の優先度が高い通信網及び通信回線である第一通信網４００及び第一通信回線４１０－ｍと、第一通信網４００及び第一通信回線４１０－ｍよりも情報伝送の優先度が低い通信網及び通信回線である第二通信網５００及び第二通信回線５１０－ｍと、が論理的に構築されていてもよい。例えば、複数回線対応端末装置２００－ｍがVoLTE（Voice over LTE, Voice over Long Term Evolution）対応のスマートフォンであり、第一通信網４００及び第一通信回線４１０－ｍの例はLTE通信網及びLTE回線におけるVoLTE通信網及びVoLTE回線であり、第二通信網５００及び第二通信回線５１０－ｍの例はLTE通信網及びLTE回線におけるインターネット通信網及びインターネット回線であってもよい。
なお、上述した通信網、通信回線、端末装置の例は全て移動通信のものであるが、各通信網が固定通信用のものであるか移動通信用のものであるか、各通信回線が有線であるか無線であるか、各端末装置が固定電話機であるか携帯電話機であるか、などには制約はない。
＜第一実施形態＞
第一実施形態の複数回線対応端末装置について説明する。
≪複数回線対応端末装置２００－ｍ≫
複数回線対応端末装置２００－ｍは、例えばVoLTE対応のスマートフォンであり、図２に示す通り、音信号送信側装置２１０－ｍと音信号受信側装置２２０－ｍを含む。音信号送信側装置２１０－ｍは収音部２１１－ｍと符号化装置２１２－ｍと送信部２１３－ｍを含む。音信号受信側装置２２０－ｍは受信部２２１－ｍと復号装置２２２－ｍと再生部２２３－ｍを含む。符号化装置２１２－ｍは、信号分析部２１２１－ｍとモノラル符号化部２１２２－ｍを含む。復号装置２２２－ｍは、モノラル復号部２２２１－ｍと拡張復号部２２２２－ｍを含む。なお、点線で図示する通り、信号分析部２１２１－ｍとモノラル符号化部２１２２－ｍをまとめて符号化部２１２９－ｍといい、モノラル復号部２２２１－ｍと拡張復号部２２２２－ｍをまとめて復号部２２２９－ｍという。また、符号化装置２１２－ｍ、復号装置２２２－ｍをそれぞれ音信号符号化装置２１２－ｍ、音信号復号装置２２２－ｍということもある。複数回線対応端末装置２００－ｍの音信号送信側装置２１０－ｍは、図３及び以下に例示するステップＳ２１１からステップＳ２１３の処理を行い、複数回線対応端末装置２００－ｍの音信号受信側装置２２０－ｍは、図４及び以下に例示するステップＳ２２１からステップＳ２２３の処理を行う。
［音信号送信側装置２１０－ｍ］
音信号送信側装置２１０－ｍは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、２個のチャンネルのディジタル音信号に対応するモノラル符号を含む符号列である第一符号列を得て第一通信回線４１０－ｍに出力し、当該２個のチャンネルのディジタル音信号に対応する拡張符号を含む符号列である第二符号列を得て第二通信回線５１０－ｍに出力する。
［［収音部２１１－ｍ］］
収音部２１１－ｍは、２個のマイクロホンと２個のAD変換部を含む。各マイクロホンと各AD変換部は一対一に対応付けられている。マイクロホンは、マイクロホンの周辺の空間領域で発生した音を収音してアナログの電気信号に変換してAD変換部に出力する。AD変換部は、入力されたアナログの電気信号を例えばサンプリング周波数が8kHzのPCM信号であるディジタル音信号に変換して出力する。すなわち、収音部２１１－ｍは、２個のマイクロホンのそれぞれで収音した音に対応する２個のチャンネルのディジタル音信号、例えば左チャンネルと右チャンネルの２チャンネルステレオのディジタル音信号、を符号化装置２１２－ｍに出力する（ステップＳ２１１）。
なお、収音部２１１－ｍの全部または一部は、音信号送信側装置２１０－ｍの内部に備えずに、音信号送信側装置２１０－ｍに接続されるようにしてもよい。例えば、音信号送信側装置２１０－ｍの収音部２１１－ｍはマイクロホンを備えずに、音信号送信側装置２１０－ｍに接続されたマイクロホンから音信号送信側装置２１０－ｍの収音部２１１－ｍのAD変換部に２個のアナログの電気信号を入力するようにしてもよい。または、音信号送信側装置２１０－ｍは収音部２１１－ｍを備えずに、音信号送信側装置２１０－ｍに接続されたAD変換器などの収音機器から音信号送信側装置２１０－ｍの符号化装置２１２－ｍに２個のチャンネルのディジタル音信号を入力するようにしてもよい。
［［符号化装置２１２－ｍ］］
符号化装置２１２－ｍには、収音部２１１－ｍ、または、音信号送信側装置２１０－ｍに接続された収音機器、から２個のチャンネルのディジタル音信号が入力される。符号化装置２１２－ｍは、フレームごとに、入力された２個のチャンネルのディジタル音信号に対応するモノラル符号と拡張符号を得て送信部２１３－ｍに出力する（ステップＳ２１２）。
［［［信号分析部２１２１－ｍ］］］
信号分析部２１２１－ｍは、フレームごとに、入力された２個のチャンネルのディジタル音信号から、入力された２個のチャンネルのディジタル音信号を混合した信号であるモノラル信号と、入力された２個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号と、を得る。信号分析部２１２１－ｍは、得たモノラル信号をモノラル符号化部２１２２－ｍに出力し、得た拡張符号を送信部２１３－ｍに出力する。時間的変動が小さいパラメータとは、時刻への依存性の低いパラメータであり、時間分解能が低いパラメータである。
〔信号分析部２１２１－ｍの第１例〕
第１例として、入力された２個のチャンネルのディジタル音信号の時間差を表す情報を特徴パラメータとする場合の信号分析部２１２１－ｍのフレームごとの動作を説明する。信号分析部２１２１－ｍは、まず、入力された２個のチャンネルのディジタル音信号の時間差を表す情報である特徴パラメータを得る（ステップＳ２１２１－１１）。入力された２個のチャンネルのディジタル音信号の時間差は周知の何れの方法で求めてもよい。例えば、信号分析部２１２１－ｍは、予め定めた範囲内の各時間差の候補サンプル数について、一方のチャンネル(第一チャンネル）のディジタル音信号のサンプル列と、他方のチャンネル(第二チャンネル）のディジタル音信号のサンプル列を当該候補サンプル数だけ進めたサンプル列と、の相関値を計算して、相関値が最大となる候補サンプル数である時間差サンプル数を特徴パラメータとして得る。
信号分析部２１２１－ｍは、次に、第一チャンネルのディジタル音信号のサンプル列と、第二チャンネルのディジタル音信号のサンプル列に特徴パラメータが表す時間差を与えたサンプル列と、の対応するサンプル同士の加算による系列、対応するサンプル同士の平均値による系列、これらの加算や平均値による系列を変形して得た系列、の何れかを、２個のチャンネルのディジタル音信号を混合した信号であるモノラル信号として得る（ステップＳ２１２１－１２）。第二チャンネルのディジタル音信号のサンプル列に特徴パラメータが表す時間差を与えたサンプル列とは、例えば、第二チャンネルのディジタル音信号のサンプル列を特徴パラメータが表す時間差サンプル数だけ進めたサンプル列である。
信号分析部２１２１－ｍは、更に、特徴パラメータを表す符号である拡張符号を得る（ステップＳ２１２１－１３）。特徴パラメータを表す符号である拡張符号は周知の方法で得ればよい。例えば、信号分析部２１２１－ｍは、入力された２個のチャンネルのディジタル音信号の時間差サンプル数をスカラ量子化して符号を得て、得た符号を拡張符号として出力する。または、例えば、信号分析部２１２１－ｍは、入力された２個のチャンネルのディジタル音信号の時間差サンプル数そのものを表す２進数を拡張符号として出力する。
〔信号分析部２１２１－ｍの第２例〕
第２例として、入力された２個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報を特徴パラメータとする場合の信号分析部２１２１－ｍのフレームごとの動作を説明する。なお、以下では複素DFT(Discrete Fourier Transformation)を用いる具体例を説明しているが、複素DFT以外の周知の周波数領域への変換手法を用いてもよい。
信号分析部２１２１－ｍは、まず、入力された２個のチャンネルのディジタル音信号それぞれを複素DFTして複素DFT係数列を得る（ステップＳ２１２１－２１）。複素DFT係数列は、フレーム間でオーバーラップのある窓をかける処理、複素DFTにより得られる複素数の対称性を考慮した処理、などの周知の方法も用いて得るようにしてもよい。例えば、フレームが128点のサンプルから構成される場合であれば、直前のフレームの最後の64点のサンプルと直後のフレームの最初の64点のサンプルを含む連続する256点のディジタル音信号のサンプル列を複素DFTして得られる256個の複素数による系列のうちの前半の128個の複素数による系列を複素DFT係数列として得ればよい。以降では、fを1以上128以下の各整数とし、第一チャンネルの複素DFT係数列の各複素DFT係数をV1(f)とし、第二チャンネルの複素DFT係数列の各複素DFT係数をV2(f)とする。信号分析部２１２１－ｍは、次に、２個のチャンネルの複素DFT係数列から、各複素DFT係数の複素面上での半径の値による系列を得る（ステップＳ２１２１－２２）。各チャンネルの各複素DFT係数の複素面上での半径の値は、各チャンネルのディジタル音信号の周波数ビンごとの強度に相当する。以降では、第一チャンネルの複素DFT係数V1(f)の複素面上での半径の値をV1r(f)とし、第二チャンネルの複素DFT係数V2(f)の複素面上での半径の値をV2r(f)とする。信号分析部２１２１－ｍは、次に、周波数帯域それぞれについて一方のチャンネルの半径の値と他方のチャンネルの半径の値との比の平均値を得て、平均値による系列を特徴パラメータとして得る（ステップＳ２１２１－２３）。この平均値による系列が、入力された２個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報に相当する特徴パラメータである。例えば、４個の帯域とする場合であれば、fが1から32まで、33から64まで、65から96まで、97から128まで、の４個の帯域それぞれについての、第一チャンネルの半径の値V1r(f)を第二チャンネルの半径の値V2r(f)で除算して得た32個の値の平均値Mr(1), Mr(2), Mr(3), Mr(4)を得て、平均値による系列{Mr(1), Mr(2), Mr(3), Mr(4)}を特徴パラメータとして得る。
なお、帯域数は周波数ビンの数以下の値であればよく、帯域数として周波数ビン数と同じ値を用いてもよいし、1を用いてもよい。帯域数として周波数ビン数と同じ値を用いる場合には、信号分析部２１２１－ｍは、各周波数ビンの一方のチャンネルの半径の値と他方のチャンネルの半径の値との比の値を得て、得た比の値による系列を特徴パラメータとして得ればよい。帯域数として1を用いる場合には、信号分析部２１２１－ｍは、各周波数ビンの一方のチャンネルの半径の値と他方のチャンネルの半径の値との比の値を得て、得た比の値の全帯域の平均値を特徴パラメータとして得ればよい。また、帯域数を複数とする場合の各周波数帯域に含める周波数ビン数は任意であり、例えば、周波数が低い帯域に含める周波数ビン数を周波数が高い帯域に含める周波数ビン数よりも少なくしてもよい。
また、信号分析部２１２１－ｍは、一方のチャンネルの半径の値と他方のチャンネルの半径の値との比に代えて、一方のチャンネルの半径の値と他方のチャンネルの半径の値との差を用いてもよい。すなわち、上述した例であれば、第一チャンネルの半径の値V1r(f)を第二チャンネルの半径の値V2r(f)で除算して得た値に代えて、第一チャンネルの半径の値V1r(f)から第二チャンネルの半径の値V2r(f)を減算して得た値を用いてもよい。
信号分析部２１２１－ｍは、また、第一チャンネルのディジタル音信号のサンプル列と、第二チャンネルのディジタル音信号のサンプル列と、の対応するサンプル同士の加算による系列、対応するサンプル同士の平均値による系列、これらの加算や平均値による系列を変形して得た系列、の何れかを、２個のチャンネルのディジタル音信号を混合した信号であるモノラル信号として得る（ステップＳ２１２１－２４）。なお、信号分析部２１２１－ｍは、ステップＳ２１２１－２１で得た第一チャンネルの複素DFT係数列の各複素DFT係数V1(f)と第二チャンネルの複素DFT係数列の各複素DFT係数V2(f)の半径の平均値VMr(f)と角度の平均値VMθ(f)とを得て、複素面上での半径がVMr(f)であり角度がVMθ(f)である複素数VM(f)による系列を逆複素DFTして、２個のチャンネルのディジタル音信号を混合した信号であるモノラル信号を得てもよい（ステップＳ２１２１－２４’）。
信号分析部２１２１－ｍは、更に、特徴パラメータを表す符号である拡張符号を得る（ステップＳ２１２１－２５）。特徴パラメータを表す符号である拡張符号は周知の方法で得ればよい。例えば、信号分析部２１２１－ｍは、ステップＳ２１２１－２３で得た値の系列をベクトル量子化して符号を得て、得た符号を拡張符号として出力する。または、例えば、信号分析部２１２１－ｍは、ステップＳ２１２１－２３で得た値の系列に含まれる値それぞれをスカラ量子化して符号を得て、得た符号を合わせたものを拡張符号としてとして出力する。なお、信号分析部２１２１－ｍは、ステップＳ２１２１－２３で得たのが１つの値である場合には、その１つの値をスカラ量子化して得た符号を拡張符号としてとして出力すればよい。
信号分析部２１２１－ｍの第１例で説明した入力された２個のチャンネルのディジタル音信号の時間差や、信号分析部２１２１－ｍの第２例で説明した入力された２個のチャンネルのディジタル音信号の周波数帯域ごとの強度差は、音源の位置に依存する。人や楽器などの一般的な音源であれば、音源の位置が時間変化することは少なく、音源の位置が時間変化する場合でも音源が急に動かない限りは、入力された２個のチャンネルのディジタル音信号の時間差や周波数帯域ごとの強度差はあまり変わらない。
従って、信号分析部２１２１－ｍは、処理対象としているフレームを含む連続した複数個のフレームについての、各フレームの入力された２個のチャンネルのディジタル音信号から得られた特徴パラメータの平均または重み付き平均、を特徴パラメータとして得て、得た特徴パラメータを表す拡張符号を出力するようにしてもよい。重み付き平均に用いる重みは、処理対象としているフレームについて最も大きな値とし、処理対象としているフレームから遠いフレームほど小さな値とすればよい。なお、処理対象としているフレームより未来のフレームの特徴パラメータを用いると、先読みが必要となり遅延が増加してしまうことから、信号分析部２１２１－ｍは、処理対象としているフレームを含む過去側の連続した複数個のフレームを用いるのがよい。なお、当然ながら、複数の周波数帯域ごとの強度差を表す情報のように特徴パラメータに複数個の要素が含まれる場合には、特徴パラメータの平均または重み付き平均とは、特徴パラメータの要素ごとの平均値または重み付き平均値を要素とする数値列のことである。
なお、例えば、入力された２個のチャンネルのディジタル音信号の波形の差分、すなわち、入力された２個のチャンネルのディジタル音信号の対応するサンプル同士の差によるサンプル列は、各サンプルの時刻を１サンプルずらしただけでも入力された２個のチャンネルのディジタル音信号の波形の差分とは全く異なるサンプル列となってしまうので、時刻への依存性が高い情報であり、時間分解能が高い情報であり、時間的変動が大きい情報である。同様に、入力された２個のチャンネルのディジタル音信号の位相差、例えば、ステップＳ２１２１－２１で得た第一チャンネルの複素DFT係数列の各複素DFT係数V1(f)の複素面上での角度と第二チャンネルの複素DFT係数列の各複素DFT係数V2(f)の複素面上での角度との差は、時刻への依存性が高い情報であり、時間分解能が高い情報であり、時間的変動が大きい情報である。
すなわち、信号分析部２１２１－ｍが得る拡張符号が表す特徴パラメータは、直前に例示した、入力された２個のチャンネルのディジタル音信号の波形の差分や、入力された２個のチャンネルのディジタル音信号の位相差、のような、入力された２個のチャンネルのディジタル音信号の差分のうちの、音源が発した音信号の波形に依存する情報を表すパラメータではなく、信号分析部２１２１－ｍの第１例に示した入力された２個のチャンネルのディジタル音信号の時間差や、信号分析部２１２１－ｍの第２例に示した入力された２個のチャンネルのディジタル音信号の周波数帯域ごとの強度差、のような、入力された２個のチャンネルのディジタル音信号の差分のうちの、音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである。要するに、信号分析部２１２１－ｍが得る拡張符号が表す特徴パラメータは、入力された２個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータ、ともいえるし、入力された２個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータ、ともいえるし、入力された２個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時刻への依存性の低いパラメータ、ともいえるし、入力された２個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータ、ともいえる。
［［［モノラル符号化部２１２２－ｍ］］］
モノラル符号化部２１２２－ｍは、フレームごとに、入力されたモノラル信号を所定の符号化方式で符号化してモノラル符号を得て送信部２１３－ｍに出力する。符号化方式としては、モノラル符号のビットレートが第一通信回線４１０－ｍの通信容量以下である符号化方式を用いる必要があり、例えば3GPP EVS規格（3GPP TS26.442）の13.2kbpsモードのような携帯電話用の電話帯域音声の符号化方式を用いればよい。
すなわち、符号化装置２１２－ｍは、フレームごとに、入力された２個のチャンネルのディジタル音信号を混合した信号を表すモノラル符号と、入力された２個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータである特徴パラメータを表す拡張符号と、を得る。なお、後述するように、符号化装置２１２－ｍが得るモノラル符号は、第一符号列に含めて第一通信回線に出力する符号であり、符号化装置２１２－ｍが得る拡張符号は、第二符号列に含めて第二通信回線に出力する符号である。
なお、符号化装置２１２－ｍは、処理対象としているフレームである現フレームの２個のチャンネルのディジタル音信号から得た特徴パラメータと、処理対象としている現フレームより過去のフレームの２個のチャンネルのディジタル音信号から得た特徴パラメータと、の平均または重み付き平均を表す符号を拡張符号としてもよい。
［［送信部２１３－ｍ］］
送信部２１３－ｍは、フレームごとに、符号化装置２２１－ｍから入力されたモノラル符号を含む符号列である第一符号列を第一通信回線４１０－ｍに出力し、符号化装置２２１－ｍから入力された拡張符号を含む符号列である第二符号列を第二通信回線５１０－ｍに出力する（ステップＳ２１３）。
送信部２１３－ｍは、第一符号列が何れのフレームのモノラル符号を含むかを特定できるようにして出力する。例えば、送信部２１３－ｍは、フレーム番号やフレームが対応する時刻などのフレームを特定可能な情報を補助情報として第一符号列に含めて出力する。同様に、送信部２１３－ｍは、第二符号列が何れのフレームの拡張符号を含むかを特定できるようにして出力する。例えば、送信部２１３－ｍは、フレーム番号やフレームが対応する時刻などのフレームを特定可能な情報を補助情報として第二符号列に含めて出力する。なお、本第一実施形態の音信号受信側装置２２０－ｍ及び以降の各実施形態及び変形例では、第一符号列にも第二符号列にも補助情報としてフレーム番号が含められている例で説明する。
［音信号受信側装置２２０－ｍ］
音信号受信側装置２２０－ｍは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号と、に基づく音を出力する。
［［受信部２２１－ｍ］］
受信部２２１－ｍは、フレームごとに、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置２２２－ｍに出力する（ステップＳ２２１）。
第一通信回線４１０－ｍは双方向通話に用いられる優先度が高い通信網であるため、受信部２２１－ｍには、通話相手先の複数回線対応端末装置２００－ｍ’（ｍ’はｍとは異なる１以上Ｍ以下の整数）の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’がフレーム番号順に出力したモノラル符号を当該フレーム番号順にフレーム長の時間間隔で（すなわち、例えば20msの所定の時間間隔で）出力できるように、モノラル符号を含む第一符号列が第一通信回線４１０－ｍから入力されている。また、電話システム１００は双方向通話を円滑に実現することを目的としたものであるため、受信部２２１－ｍは、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が出力した符号をなるべく低遅延で復号装置２２２－ｍに出力するのが望ましい。そこで、受信部２２１－ｍは、通話相手先の音信号送信側装置２１０－ｍ’が出力した第一符号列に含まれるモノラル符号を、当該通話相手先の音信号送信側装置２１０－ｍ’が出力したフレーム番号順に、フレーム長の時間間隔で、各モノラル符号と同じフレーム番号の拡張符号を含む第二符号列が受信部２２１－ｍに入力されているか否かに関わらず、復号装置２２２－ｍに出力する。
第二通信回線５１０－ｍは優先度が低い通信網であるため、受信部２２１－ｍには、通常、通話相手先の音信号送信側装置２１０－ｍ’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線４１０－ｍから入力されるよりも後に、第二通信回線５１０－ｍから入力される。すなわち、受信部２２１－ｍが復号装置２２２－ｍにモノラル符号を出力する時点では、通常、当該モノラル符号と同じフレーム番号の拡張符号を含む第二符号列は受信部２２１－ｍに入力されておらず、当該モノラル符号と同じフレーム番号の拡張符号を復号装置２２２－ｍに出力することはできない。また、第二通信回線５１０－ｍは優先度が低い通信網であるため、通話相手先の音信号送信側装置２１０－ｍ’が出力した各フレームの第二符号列は、必ずしもフレーム番号順に第二通信回線５１０－ｍから入力されるわけではない。もちろん、第二通信網５００の状況次第では、例えば第二通信網５００がすいている場合などには、受信部２２１－ｍには、通話相手先の音信号送信側装置２１０－ｍ’が出力したあるフレームの第二符号列が、当該フレームの第一符号列が第一通信回線４１０－ｍから入力されるのと同時またはそれ以前に、第二通信回線５１０－ｍから入力されることも有り得る。すなわち、受信部２２１－ｍが復号装置２２２－ｍにモノラル符号を出力する時点で、当該モノラル符号と同じフレーム番号の拡張符号を含む第二符号列が受信部２２１－ｍに入力されていて、当該モノラル符号と同じフレーム番号の拡張符号を復号装置２２２－ｍに出力することができる場合もある。そこで、受信部２２１－ｍは、フレームごとに、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち復号装置２２２－ｍに出力するモノラル符号とフレーム番号が同じ拡張符号の代わりに、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち復号装置２２２－ｍに出力するモノラル符号とフレーム番号が最も近い拡張符号を、復号装置２２２－ｍに出力する。言い換えると、受信部２２１－ｍは、フレームごとに、第二通信回線５１０－ｍから入力された第二符号列のうち復号装置２２２－ｍに出力するモノラル符号が含まれていた第一符号列とフレーム番号が最も近い第二符号列に含まれる拡張符号を、復号装置２２２－ｍに出力する。
ここで、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち復号装置２２２－ｍに出力するモノラル符号とフレーム番号が最も近い拡張符号とは、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に復号装置２２２－ｍに出力するモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうちの復号装置２２２－ｍに出力するモノラル符号とフレーム番号が同じ拡張符号であり、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に復号装置２２２－ｍに出力するモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、復号装置２２２－ｍに出力するモノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、復号装置２２２－ｍに出力するモノラル符号とフレーム番号が同じではないものの、復号装置２２２－ｍに出力するモノラル符号とフレーム番号が最も近い拡張符号）である。これは後述する実施形態や変形例でも同様である。
すなわち、受信部２２１－ｍは、フレームごとに、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する。当然ながら、受信部２２１－ｍは、モノラル符号についてはフレーム番号順に出力する。より具体的には、受信部２２１－ｍは、第一通信回線４１０－ｍからの第一符号列の入力と第二通信回線５１０－ｍからの第二符号列の入力を受け付けて、フレームごとに、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）を出力し、第二通信回線５１０－ｍから入力済みの第二符号列に含まれる拡張符号に当該モノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号とフレーム番号が同じ拡張符号を出力し、第二通信回線５１０－ｍから入力済みの第二符号列に含まれる拡張符号に当該モノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、第二通信回線から入力済みの第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線から入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とはフレーム番号が異なるものの、当該モノラル符号とフレーム番号が最も近い、拡張符号）を出力する。
なお、周知技術であるので詳述しないが、受信部２２１－ｍには、揺らぎや再送制御などを含んだ通信が行われることにより各通信回線から非同期に受信された符号列を複数フレーム分蓄積しておく図示しない記憶部が備えられており、受信部２２１－ｍには各通信回線からは符号列が所定の時間区間間隔やフレーム番号順に入力されるとも限らないものの、受信部２２１－ｍは、記憶部に蓄積された符号列に含まれる符号であれば、出力できるようにされている。すなわち、受信部２２１－ｍは、第一通信回線４１０－ｍからの第一符号列の入力を受け付けて記憶し、入力済みの第一符号列を記憶しておき、記憶している第一符号列であれば出力できるようにされている。また、受信部２２１－ｍは、第二通信回線５１０－ｍからの第二符号列の入力を受け付けて記憶し、入力済みの第二符号列を記憶しておき、記憶している第二符号列であれば出力できるようにされている。従って、受信部２２１－ｍは、所定の時間区間ごとに、すなわちフレームごとに、モノラル符号をフレーム番号順に取り出したり、当該モノラル符号とフレーム番号が最も近い拡張符号を取り出したり、することができる。
［［復号装置２２２－ｍ］］
復号装置２２２－ｍには、フレームごとに、受信部２２１－ｍが出力したモノラル符号と拡張符号が入力される。復号装置２２２－ｍは、フレームごとに、入力されたモノラル符号と拡張符号に対応する２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する（ステップＳ２２２）。
復号装置２２２－ｍに入力されるのは、第一通信回線４１０－ｍからフレーム番号順に入力された第一符号列それぞれに含まれていたフレーム番号順のモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれていた拡張符号であって各モノラル符号とフレーム番号が最も近い拡張符号である。すなわち、復号装置２２２－ｍは、フレームごとに、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力する。なお、復号装置２２２－ｍが用いるモノラル符号は当然ながらフレーム番号順である。
言い換えると、復号装置２２２－ｍに入力されるのは、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が出力したフレーム番号順のモノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号である。すなわち、復号装置２２２－ｍは、フレームごとに、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が出力したフレーム番号順のモノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号と、から２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。
ここで、復号装置２２２－ｍに入力される拡張符号は、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれるフレームの場合には、第二通信回線５１０－ｍから入力された第二符号列に含まれていた拡張符号であってそのフレームのモノラル符号とフレーム番号が同じ拡張符号であり、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれないフレームの場合には、第二通信回線５１０－ｍから入力された第二符号列に含まれていた拡張符号であってそのフレームのモノラル符号とフレーム番号が最も近い拡張符号（すなわち、そのフレームのモノラル符号とはフレーム番号が異なるものの、そのフレームのモノラル符号とフレーム番号が最も近い、拡張符号）である。これは後述する実施形態や変形例でも同様である。
従って、復号装置２２２－ｍは、フレームごとに、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれる場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力する。
［［［モノラル復号部２２２１－ｍ］］］
モノラル復号部２２２１－ｍには、フレームごとに、復号装置２２２－ｍに入力されたモノラル符号が入力される。モノラル復号部２２２１－ｍは、フレームごとに、入力されたモノラル符号を所定の復号方式で復号してモノラルの復号ディジタル音信号を得て拡張復号部２２２２－ｍに出力する。所定の復号方式としては、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’のモノラル符号化部２１２２－ｍ’で用いた符号化方式に対応する復号方式を用いる。
モノラル復号部２２２１－ｍに入力されるのは、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が出力したフレーム番号順のモノラル符号である。すなわち、モノラル復号部２２２１－ｍは、フレームごとに、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が符号化したフレーム番号順のモノラルの復号ディジタル音信号を得て拡張復号部２２２２－ｍに出力する。
［［［拡張復号部２２２２－ｍ］］］
拡張復号部２２２２－ｍには、フレームごとに、モノラル復号部２２２１－ｍが出力したモノラルの復号ディジタル音信号と、復号装置２２２－ｍに入力された拡張符号と、が入力される。拡張復号部２２２２－ｍは、フレームごとに、入力されたモノラルの復号ディジタル音信号と拡張符号とから、２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。
拡張復号部２２２２－ｍに入力されるモノラルの復号ディジタル音信号は、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が符号化したフレーム番号順であり、復号装置２２２－ｍに入力される拡張符号は、当該モノラルの復号ディジタル音信号とフレーム番号が最も近い拡張符号である。すなわち、拡張復号部２２２２－ｍは、フレームごとに、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が出力したフレーム番号順のモノラルの復号ディジタル音信号と、当該モノラルの復号ディジタル音信号とフレーム番号が最も近い拡張符号と、から２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。なお、拡張符号は、通話相手先の複数回線対応端末装置２００－ｍ’の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が得た特徴パラメータを表すものであるので、２個のチャンネルのディジタル音信号の差分の特徴を表すパラメータを表す。すなわち、拡張復号部２２２２－ｍは、フレームごとに、入力されたモノラルの復号ディジタル音信号が２個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、拡張符号から得られる特徴パラメータが２個のチャンネルのディジタル音信号の差分の特徴を表す情報であると見做して、２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。
〔拡張復号部２２２２－ｍの第１例〕
第１例として、特徴パラメータが２個のチャンネルのディジタル音信号の時間差を表す情報である場合の拡張復号部２２２２－ｍのフレームごとの動作を説明する。拡張復号部２２２２－ｍは、まず、入力された拡張符号から、当該拡張符号が表す特徴パラメータである時間差を表す情報を得る（ステップＳ２２２２－１１）。拡張復号部２２２２－ｍは、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’の信号分析部２１２１－ｍ’が特徴パラメータから拡張符号を得た方式に対応する方式で、拡張符号から特徴パラメータを得る。特徴パラメータである時間差を表す情報とは、例えば、時間差サンプル数である。例えば、拡張復号部２２２２－ｍは、入力された拡張符号をスカラ復号して、入力された拡張符号に対応するスカラ値を時間差サンプル数として得る。または、例えば、拡張復号部２２２２－ｍは、入力された拡張符号が２進数の値であるとして当該２進数に対応する１０進数を時間差サンプル数として得る。
拡張復号部２２２２－ｍは、次に、入力されたモノラルの復号ディジタル音信号とステップＳ２２２２－１１で得た特徴パラメータとから、入力されたモノラルの復号ディジタル音信号が２個の復号ディジタル音信号が混合された信号であると見做し、特徴パラメータが２個の復号ディジタル音信号の時間差を表す情報であると見做して、２個の復号ディジタル音信号を得て出力する（ステップＳ２２２２－１２）。より具体的には、拡張復号部２２２２－ｍは、入力されたモノラルのディジタル音信号のサンプル列そのもの、入力されたモノラルのディジタル音信号のサンプル列の各サンプルの値を２で除算した値による系列、これら何れかのサンプル列を変形して得た系列、の何れかを、第一チャンネルのディジタル音信号として得て出力する（ステップＳ２２２２－１２１）。拡張復号部２２２２－ｍは、更に、第一チャンネルのディジタル音信号を特徴パラメータが表す時間差サンプル数だけ遅らせたサンプル列を第二チャンネルのディジタル音信号のサンプル列として得て出力する（ステップＳ２２２２－１２２）。
〔拡張復号部２２２２－ｍの第２例〕
第２例として、特徴パラメータが２個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報である場合の拡張復号部２２２２－ｍのフレームごとの動作を説明する。拡張復号部２２２２－ｍは、まず、入力された拡張符号を復号して周波数帯域ごとの強度差を表す情報を得る（ステップＳ２２２２－２１）。拡張復号部２２２２－ｍは、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’の信号分析部２１２１－ｍ’が周波数帯域ごとの強度差を表す情報から拡張符号を得た方式に対応する方式で、拡張符号から特徴パラメータを得る。例えば、拡張復号部２２２２－ｍは、入力された拡張符号をベクトル復号して、入力された拡張符号に対応するベクトルの各要素値を複数個の周波数帯域ごとの強度差を表す情報として得る。または、例えば、拡張復号部２２２２－ｍは、入力された拡張符号に含まれる符号それぞれをスカラ復号して周波数帯域ごとの強度差を表す情報を得る。なお、帯域数が１の場合には、拡張復号部２２２２－ｍは、入力された拡張符号をスカラ復号して１つの周波数帯域すなわち全帯域の強度差を表す情報を得る。
拡張復号部２２２２－ｍは、次に、入力されたモノラルの復号ディジタル音信号とステップＳ２２２２－２１で得た特徴パラメータとから、入力されたモノラルの復号ディジタル音信号が２個の復号ディジタル音信号が混合された信号であると見做し、特徴パラメータが２個の復号ディジタル音信号の周波数帯域ごとの強度差を表す情報であると見做して、２個の復号ディジタル音信号を得て出力する（ステップＳ２２２２－２２）。通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’の信号分析部２１２１－ｍ’が、複素DFTを用いた上述した具体例の動作をした場合であれば、拡張復号部２２２２－ｍは以下の動作をする。
拡張復号部２２２２－ｍは、まず、入力されたモノラルの復号ディジタル音信号を複素DFTして複素DFT係数列を得る（ステップＳ２２２２－２２１）。以降では、拡張復号部２２２２－ｍが得たモノラルの複素DFT係数列の各複素DFT係数をMQ(f)とする。拡張復号部２２２２－ｍは、次に、モノラルの複素DFT係数列から、各複素DFT係数の複素面上での半径の値MQr(f)と、各複素DFT係数の複素面上での角度の値MQθ(f)と、を得る（ステップＳ２２２２－２２２）。拡張復号部２２２２－ｍは、次に、各半径の値MQr(f)に特徴パラメータのうちの対応する値の平方根を乗算した値を第一チャンネルの各半径の値VLQr(f)として得て、各半径の値MQr(f)を特徴パラメータのうちの対応する値の平方根で除算した値を第二チャンネルの各半径の値VRQr(f)として得る（ステップＳ２２２２－２２３）。各周波数ビンについての特徴パラメータのうちの対応する値は、上述した４個の帯域の例であれば、fが1から32まではMr(1)であり、fが33から64まではMr(2)であり、fが65から96まではMr(3)であり、fが97から128まではMr(4)である。なお、通話相手先の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’の信号分析部２１２１－ｍ’が、第一チャンネルの半径の値と第二チャンネルの半径の値との比に代えて、第一チャンネルの半径の値と第二のチャンネルの半径の値との差を用いた場合には、拡張復号部２２２２－ｍは、各半径の値MQr(f)に特徴パラメータのうちの対応する値を２で除算した値を加算した値を第一チャンネルの各半径の値VLQr(f)として得て、各半径の値MQr(f)から特徴パラメータのうちの対応する値を２で除算した値を減算した値を第二チャンネルの各半径の値VRQr(f)として得ればよい。拡張復号部２２２２－ｍは、次に、複素面上での半径がVLQr(f)であり角度がMQθ(f)である複素数による系列を逆複素DFTして第一チャンネルの復号ディジタル音信号を得て出力し、複素面上での半径がVRQr(f)であり角度がMQθ(f)である複素数による系列を逆複素DFTして第二チャンネルの復号ディジタル音信号を得て出力する（ステップＳ２２２２－２２４）。
［［再生部２２３－ｍ］］
再生部２２３－ｍは、入力された２個のチャンネルの復号ディジタル音信号に対応する音を出力する（ステップＳ２２３）。
再生部２２３－ｍは、例えば、２個のDA変換部と２個のスピーカを含む。DA変換部は、入力された復号ディジタル音信号をアナログの電気信号に変換して出力する。スピーカは、DA変換部から入力されたアナログの電気信号に対応する音を発生する。スピーカは、ステレオヘッドフォンやステレオイヤホンに備えられたものであってもよい。この場合には、例えば、再生部２２３－ｍは、DA変換部とスピーカを一対一に対応付けて、２個の復号ディジタル音信号それぞれに対応する音（復号音信号）を２個のスピーカそれぞれから発生する。
なお、再生部２２３－ｍの全部または一部は、音信号受信側装置２２０－ｍの内部に備えずに、音信号受信側装置２２０－ｍに接続されるようにしてもよい。例えば、音信号受信側装置２２０－ｍの再生部２２３－ｍはスピーカを備えずに、音信号受信側装置２２０－ｍに接続されたスピーカに対して音信号受信側装置２２０－ｍの再生部２２３－ｍのDA変換部が得た２個のアナログの電気信号を出力するようにしてもよい。または、音信号受信側装置２２０－ｍは再生部２２３－ｍを備えずに、音信号受信側装置２２０－ｍに接続されたDA変換器などの再生機器に対して音信号受信側装置２２０－ｍの復号装置２２２－ｍが２個のチャンネルの復号ディジタル音信号を出力するようにしてもよい。
〔音信号受信側装置２２０－ｍの動作例〕
図５は、音信号受信側装置２２０－ｍに第一通信回線４１０－ｍから入力される第一符号列に含まれるモノラル符号と、音信号受信側装置２２０－ｍに第二通信回線５１０－ｍから入力される第二符号列に含まれる拡張符号と、音信号受信側装置２２０－ｍが出力する復号音信号と、の時間的な関係を、装置の処理能力に依存する処理遅延を除いて模式的に示した図である。図５の横軸は時間軸である。括弧内の番号iは、通話相手先の複数回線対応端末装置２００－ｍ’の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’におけるフレーム番号である。CM(i)は、音信号受信側装置２２０－ｍに第一通信回線４１０－ｍから入力される第一符号列に含まれるモノラル符号である。CE(i)は、音信号受信側装置２２０－ｍに第二通信回線５１０－ｍから入力される第二符号列に含まれる拡張符号である。YS'(i)は、音信号受信側装置２２０－ｍが出力する復号音信号である。図５は、音信号受信側装置２２０－ｍには、優先度が低い通信網である第二通信回線５１０－ｍからはフレーム番号順に第二符号列が入力されるものの、優先度が高い通信網である第一通信回線４１０－ｍからのフレーム番号順の第一符号列より５フレーム後に第二符号列が入力される例である。
受信部２２１－ｍは、第一通信回線４１０－ｍからフレーム番号6のモノラル符号CM(6)を含む第一符号列の受信を終了した時点で、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号CM(6)と、第二通信回線５１０－ｍから入力された第二符号列のうちモノラル符号CM(6)とフレーム番号が最も近い第二符号列に含まれる拡張符号CE(1)と、を復号装置２２２－ｍに出力する。復号装置２２２－ｍは、モノラル符号CM(6)と拡張符号CE(1)が入力された時点で、入力されたモノラル符号CM(6)と拡張符号CE(1)に対応する２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。再生部２２３－ｍは、モノラル符号CM(6)と拡張符号CE(1)に対応する２個のチャンネルの復号ディジタル音信号が入力された時点から、入力された２個の復号ディジタル音信号に対応する２個のチャンネルの復号音信号YS'(6)の出力を開始する。これにより、音信号受信側装置２２０－ｍは、受信部２２１－ｍが第一通信回線４１０－ｍからフレーム番号6のモノラル符号CM(6)を含む第一符号列の受信を終了した時点で、フレーム番号6のモノラル符号CM(6)と、これとフレーム番号が最も近い第二符号列に含まれる拡張符号CE(1)と、から２個のチャンネルの復号音信号YS'(6)を得て出力を開始できるようになる。
音信号受信側装置２２０－ｍは、以降も同様に、受信部２２１－ｍが第一通信回線４１０－ｍからフレーム番号7のモノラル符号CM(7)を含む第一符号列の受信を終了した時点で、フレーム番号7のモノラル符号CM(7)と、これとフレーム番号が最も近い第二符号列に含まれる拡張符号CE(2)と、から２個のチャンネルの復号音信号YS'(7)を得て出力を開始し、受信部２２１－ｍが第一通信回線４１０－ｍからフレーム番号8のモノラル符号CM(8)を含む第一符号列の受信を終了した時点で、フレーム番号8のモノラル符号CM(8)と、これとフレーム番号が最も近い第二符号列に含まれる拡張符号CE(3)と、から２個のチャンネルの復号音信号YS'(8)を得て出力を開始し、・・・というように動作する。
図６は、特許文献１の技術を用いた場合の、音信号受信側装置に第一通信回線４１０－ｍから入力される第一符号列に含まれるモノラル符号と、音信号受信側装置２２０－ｍに第二通信回線５１０－ｍから入力される第二符号列に含まれる拡張符号と、音信号受信側装置が出力する復号音信号と、の時間的な関係を、装置の処理能力に依存する処理遅延を除いて模式的に示した図である。図６の横軸、括弧内の番号i、CM(i)、CE(i)は、図５と同じである。YS(i)は、特許文献１の技術を用いた音信号受信側装置が出力する復号音信号である。図６も、図５と同様に、音信号受信側装置には、優先度が低い通信網である第二通信回線５１０－ｍからはフレーム番号順に第二符号列が入力されるものの、優先度が高い通信網である第一通信回線４１０－ｍからのフレーム番号順の第一符号列より５フレーム後に第二符号列が入力される例である。図６は、特許文献１の技術を用いた音信号受信側装置における上述した制限時間が５フレーム分の時間である例である。
特許文献１の技術を用いた音信号受信側装置は、第一通信回線４１０－ｍから入力されたモノラル符号CM(6)と、モノラル符号CM(6)が入力されてから５フレームの制限時間ちょうどに第二通信回線５１０－ｍから入力された拡張符号CE(6)と、に対応する２個のチャンネルの復号音信号YS(6)を得て出力を開始する。特許文献１の技術を用いた音信号受信側装置は、以降も同様に、フレーム番号7のモノラル符号CM(7)と、第一通信回線４１０－ｍからモノラル符号CM(7)の受信を終了してから５フレーム経過した時点で第二通信回線５１０－ｍから入力されたフレーム番号7の拡張符号CE(7)と、から２個のチャンネルの復号音信号YS(7)を得て出力を開始し、フレーム番号8のモノラル符号CM(8)と、第一通信回線４１０－ｍからモノラル符号CM(8)の受信を終了してから５フレーム経過した時点で第二通信回線５１０－ｍから入力されたフレーム番号8の拡張符号CE(8)と、から２個のチャンネルの復号音信号YS(8)を得て出力を開始し、・・・というように動作する。
〔効果〕
図６と図５からも分かる通り、特許文献１の技術では、高音質の復号音信号を得るためには最低限の音質の復号音信号を得るよりも５フレームの遅延が多くなってしまうものの、第一実施形態の技術では、最低限の音質の復号音信号を得る場合よりも遅延時間を大幅に増加させることなく、すなわち双方向通話の際に違和感が生じない程度の遅延時間で、高音質の復号音信号を得ることができる。
＜第二実施形態＞
第一実施形態では毎フレームの拡張符号を得て出力するようにしたが、複数フレームに１回だけ拡張符号を得て出力するようにしてもよい。この形態を第二実施形態として説明する。
第二実施形態が第一実施形態と異なるのは、音信号送信側装置２１０－ｍの符号化装置２１２－ｍの信号分析部２１２１－ｍと送信部２１３－ｍの動作である。以下では、第二実施形態が第一実施形態と異なる点について説明する。
［［［信号分析部２１２１－ｍ］］］
信号分析部２１２１－ｍは、第一実施形態の信号分析部２１２１－ｍと同様に、各フレームについて、入力された２個のチャンネルのディジタル音信号から、入力された２個のチャンネルのディジタル音信号を混合した信号であるモノラル信号を得て出力するが、第一実施形態の信号分析部２１２１－ｍとは異なり、複数フレームのうちの予め定めたフレームについてのみ、入力された２個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号を得て出力する。
例えば、信号分析部２１２１－ｍは、フレーム番号が奇数のフレームについては、入力された２個のチャンネルのディジタル音信号から特徴パラメータを得て、当該特徴パラメータを表す拡張符号を得て出力するが、フレーム番号が偶数のフレームについては、特徴パラメータを得ず、特徴パラメータを表す拡張符号も得ず出力しない。なお、信号分析部２１２１－ｍがモノラル信号を得る際に特徴パラメータを用いる構成を採用している場合には、信号分析部２１２１－ｍは、特徴パラメータを得ないフレームについては、当該フレームの入力された２個のチャンネルのディジタル音信号と、既に出力された拡張符号のうちの最も新しい拡張符号に対応する特徴パラメータと、を用いてモノラル信号を得る。
または、例えば、信号分析部２１２１－ｍは、フレーム番号が奇数のフレームについては、入力された２個のチャンネルのディジタル音信号から特徴パラメータを得るものの、当該特徴パラメータを表す拡張符号を得ずに出力せず、フレーム番号が偶数のフレームについては、入力された２個のチャンネルのディジタル音信号から特徴パラメータを得て、特徴パラメータを表す拡張符号を得ずに出力しなかった直前のフレームの特徴パラメータと、当該フレームの特徴パラメータと、の平均または重み付き平均を表す拡張符号を得て出力する。重み付き平均に用いる重みは、当該フレームの重みが直前のフレームの重みより大きな値となるようにすればよい。
上述した２つの例は拡張符号を２フレームに１回得て出力する構成だが、拡張符号を３フレーム以上に１回得て出力する構成としてもよく、複数フレームのうちの予め定めたフレームについて拡張符号を得て出力する構成としてもよい。
すなわち、本第二実施形態の符号化装置２１２－ｍは、フレームごとに、入力された２個のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、複数フレームのうちの予め定めたフレームについては、入力された２個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータである特徴パラメータを表す拡張符号を得る。
または、本第二実施形態の符号化装置２１２－ｍは、フレームごとに、入力された２個のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、フレームごとに、入力された２個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータである特徴パラメータを得て、複数フレームのうちの予め定めたフレームについては、直前の予め定めたフレームより後の各フレームで得た特徴パラメータの平均または重み付き平均を表す拡張符号を得る。重み付き平均に用いる重みは、当該フレームについて最も大きな値とし、当該フレームから遠いフレームほど小さな値とすればよい。
なお、後述するように、符号化装置２１２－ｍが得るモノラル符号は第一符号列に含めて第一通信回線に出力する符号であり、符号化装置２１２－ｍが得る拡張符号は、第二符号列に含めて第二通信回線に出力する符号である。
［［送信部２１３－ｍ］］
送信部２１３－ｍは、第一実施形態の送信部２１３－ｍと同様に、各フレームについて、入力されたモノラル符号を含む符号列である第一符号列を第一通信回線４１０－ｍに出力するが、第一実施形態の送信部２１３とは異なり、拡張符号が入力されたフレームについてのみ、すなわち、複数フレームのうちの予め定めたフレームについてのみ、入力された拡張符号を含む符号列である第二符号列を第二通信回線５１０－ｍに出力する。
〔効果〕
第一実施形態で説明した通り、音信号受信側装置２２０－ｍで用いられる拡張符号は、モノラル符号とフレーム番号が最も近い拡張符号であるので、モノラル符号とフレーム番号が同一の拡張符号が音信号受信側装置２２０－ｍに入力されていることは必須ではない。また、そもそも、特徴パラメータは時間的変動が小さいパラメータである。従って、本実施形態によれば、複数フレームに１回だけ拡張符号を得て出力する構成を採用したことにより、第一実施形態よりも復号音信号の品質を大きく劣下させることなく、信号分析部２１２１－ｍの演算処理量を低減することができ、また、特徴パラメータを伝送するための符号の量を第一実施形態よりも少なくすることができる。
＜第三実施形態＞
第一実施形態では音信号受信側装置２２０－ｍが復号に用いる拡張符号を毎フレーム得るようにしたが、音信号受信側装置２２０－ｍが復号に用いる拡張符号を複数フレームに１回だけ得るようにしてもよい。この形態を第三実施形態として説明する。
第三実施形態の音信号受信側装置２２０－ｍが第一実施形態の音信号受信側装置２２０－ｍと異なるのは、受信部２２１－ｍと復号装置２２２－ｍの拡張復号部２２２２－ｍの動作である。以下では、第三実施形態が第一実施形態と異なる点について説明する。
［［受信部２２１－ｍ］］
受信部２２１－ｍは、第一実施形態の受信部２２１－ｍと同様に、各フレームについて、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号を復号装置２２２－ｍに出力するが、第一実施形態の受信部２２１－ｍとは異なり、複数フレームのうちの予め定めたフレームについてのみ、入力された第二符号列に含まれる拡張符号のうちのモノラル符号とフレーム番号が最も近い拡張符号を得て出力する。すなわち、より具体的には、受信部２２１－ｍは、複数フレームのうちの予め定めたフレームについてのみ、入力された第二符号列に含まれる拡張符号のうちのモノラル符号とフレーム番号が最も近い拡張符号を受信部２２１－ｍ内の図示しない記憶部から得て出力する。
［［［拡張復号部２２２２－ｍ］］］
拡張復号部２２２２－ｍには、第一実施形態の拡張復号部２２２２－ｍと同様に、各フレームについて、モノラル復号部２２２１－ｍが出力したモノラルの復号ディジタル音信号が入力されるが、第一実施形態の拡張復号部２２２２－ｍとは異なり、複数フレームのうちの予め定めたフレームについてのみ、拡張符号が入力される。拡張復号部２２２２－ｍは、複数フレームのうちの予め定めたフレーム、すなわち、拡張符号も入力されたフレームについては、第一実施形態の拡張復号部２２２２－ｍと同様に、入力されたモノラルの復号ディジタル音信号と拡張符号とから、２個のチャンネルの復号ディジタル音信号を得て出力し、複数フレームのうちの予め定めたフレーム以外のフレーム、すなわち、拡張符号が入力されなかったフレームについては、第一実施形態の拡張復号部２２２２－ｍとは異なり、入力されたモノラルの復号ディジタル音信号と、既に入力された拡張符号のうちの最も新しい拡張符号とから、２個のチャンネルの復号ディジタル音信号を得て出力する。
すなわち、復号装置２２２－ｍは、複数フレームのうちの予め定めたフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、予め定めたフレーム以外のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、予め定めたフレームで用いた最も新しい拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力する。具体的には、復号装置２２２－ｍは、複数フレームのうちの予め定めたフレームについては、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれる場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、予め定めたフレーム以外のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、予め定めたフレームで用いた最も新しい拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力する。
より具体的には、復号装置２２２－ｍのモノラル復号部２２２１－ｍは、フレームごとに、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号を復号してモノラルの復号ディジタル音信号を得て、復号装置２２２－ｍの拡張復号部２２２２－ｍは、複数フレームのうちの予め定めたフレームについては、モノラルの復号ディジタル音信号が２個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号とフレーム番号が最も近い拡張符号に基づいて得られる特徴パラメータが２個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、２個のチャンネルの復号ディジタル音信号を得て出力する。なお、拡張復号部２２２２－ｍは、予め定めたフレームでは拡張符号に基づいて得られる特徴パラメータを用いているので、その特徴パラメータを記憶しておき、予め定めたフレーム以外のフレームで用いることができる。すなわち、拡張復号部２２２２－ｍは、予め定めたフレーム以外のフレームでは、モノラルの復号ディジタル音信号が２個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、予め定めたフレームで得た最も新しい特徴パラメータが２個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、２個のチャンネルの復号ディジタル音信号を得て出力する。
すなわち、復号装置２２２－ｍのモノラル復号部２２２１－ｍは、フレームごとに、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）を復号してモノラルの復号ディジタル音信号を得て、復号装置２２２－ｍの拡張復号部２２２２－ｍは、複数フレームのうちの予め定めたフレームについては、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれる場合には、モノラルの復号ディジタル音信号が２個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、当該モノラル符号とフレーム番号が同じ拡張符号に基づいて得られる特徴パラメータが２個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、２個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれない場合には、モノラルの復号ディジタル音信号が２個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号とフレーム番号が最も近い拡張符号（すなわち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）に基づいて得られる特徴パラメータが２個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、２個のチャンネルの復号ディジタル音信号を得て出力し、予め定めたフレーム以外のフレームでは、モノラルの復号ディジタル音信号が２個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、予め定めたフレームで得た最も新しい特徴パラメータが２個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、２個のチャンネルの復号ディジタル音信号を得て出力する。
＜第三実施形態の変形例＞
なお、第三実施形態に代えて、拡張復号部２２２２－ｍは、第一実施形態と同様の動作をするようにして、受信部２２１－ｍは、複数フレームのうちの予め定めたフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうちの当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、複数フレームのうちの予め定めたフレーム以外のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、既に出力した拡張符号のうちの最も新しい拡張符号と、を出力するようにしてもよい。
より具体的には、受信部２２１－ｍは、複数フレームのうちの予め定めたフレームについては、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、を出力し、複数フレームのうちの予め定めたフレーム以外のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（フレーム番号順のモノラル符号）と、既に出力した拡張符号のうちの最も新しい拡張符号と、を出力するようにしてもよい。
〔効果〕
第一実施形態で説明した通り、音信号受信側装置２２０－ｍで用いられる拡張符号は、モノラル符号とフレーム番号が最も近い拡張符号であるので、モノラル符号とフレーム番号が同一の拡張符号が拡張復号部２２２２－ｍに入力されていることは必須ではない。また、そもそも、特徴パラメータは時間的変動が小さいパラメータである。従って、本実施形態及びその変形例によれば、複数フレームに１回だけ拡張符号を得る構成を採用したことにより、第一実施形態よりも復号音信号の品質を大きく劣下させることなく、受信部２２１－ｍの演算処理量や出力する情報の量を低減することができる。
＜第四実施形態＞
第一実施形態の音信号受信側装置２２０－ｍが２個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。この形態を第四実施形態として説明する。
第四実施形態が第一実施形態と異なるのは、音信号受信側装置２２０－ｍの復号装置２２２－ｍの拡張復号部２２２２－ｍの動作である。以下では、第四実施形態が第一実施形態と異なる点について説明する。以下では、フレームごとに処理を行う拡張復号部２２２２－ｍが、その時点で処理対象としているフレームを現フレームと呼び、それより過去のフレームのことを過去フレームと呼ぶ。
［［［拡張復号部２２２２－ｍ］］］
拡張復号部２２２２－ｍには、第一実施形態の拡張復号部２２２２－ｍと同様に、フレームごとに、モノラル復号部２２２１－ｍが出力したモノラルの復号ディジタル音信号と、復号装置２２２－ｍに入力された拡張符号と、が入力される。拡張復号部２２２２－ｍは、図示しない記憶部を備える。記憶部には、拡張復号部２２２２－ｍが過去フレームにおいて得た特徴パラメータが記憶されている。拡張復号部２２２２－ｍは、フレームごとに、入力されたモノラルの復号ディジタル音信号と、入力された拡張符号と、記憶部に記憶された過去フレームの特徴パラメータと、から、２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。拡張復号部２２２２－ｍは、具体的には、フレームごとに以下のステップＳ２２２２－３１からステップＳ２２２２－３５を行う。
拡張復号部２２２２－ｍは、まず、入力された拡張符号から当該拡張符号が表す特徴パラメータを得て（ステップＳ２２２２－３１）、得た特徴パラメータを記憶部に記憶する（ステップＳ２２２２－３２）。拡張復号部２２２２－ｍは、次に、記憶部に記憶された過去フレームの特徴パラメータのうちのＫ個（Ｋは１以上の整数）を読み出す（ステップＳ２２２２－３３）。例えば、現フレームと連続する過去Ｋ個の過去フレームの特徴パラメータを読み出す。拡張復号部２２２２－ｍは、次に、記憶部から読み出したＫ個の過去フレームの特徴パラメータと現フレームの特徴パラメータの平均または重み付き平均を得る（ステップＳ２２２２－３４）。重み付き平均に用いる重みは、現フレームの特徴パラメータに最も大きな値とし、現フレームから遠いフレームほど小さな値とすればよい。拡張復号部２２２２－ｍは、次に、入力されたモノラルの復号ディジタル音信号とステップＳ２２２２－３４で得た特徴パラメータの平均または重み付き平均とから、入力されたモノラルの復号ディジタル音信号が２個の復号ディジタル音信号が混合された信号であると見做し、ステップＳ２２２２－３４で得た特徴パラメータの平均または重み付き平均が２個の復号ディジタル音信号の差分の特徴を表す情報であると見做して、２個の復号ディジタル音信号を得て再生部２２３－ｍに出力する（ステップＳ２２２２－３５）。なお、拡張復号部２２２２－ｍは、拡張符号が表す特徴パラメータを記憶部に記憶するステップＳ２２２２－３２に代えて、ステップＳ２２２２－３４で得た平均または重み付き平均を現フレームの特徴パラメータとして記憶部に記憶してもよい。また、拡張復号部２２２２－ｍの記憶部には過去フレームの特徴パラメータはＫ個だけ記憶していればよいので、現フレームの次のフレームの処理においてＫ＋１個以上過去になる過去フレームの特徴パラメータは記憶部から削除してよい。
＜第四実施形態の変形例＞
第一実施形態の音信号受信側装置２２０－ｍと同様に、第三実施形態の音信号受信側装置２２０－ｍでも、２個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。すなわち、第三実施形態の音信号受信側装置２２０－ｍの復号装置２２２－ｍの拡張復号部２２２２－ｍにおいて、複数フレームのうちの予め定めたフレームについて、２個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。この形態を第四実施形態の変形例として説明する。
第四実施形態の変形例が第三実施形態と異なるのは、音信号受信側装置２２０－ｍの復号装置２２２－ｍの拡張復号部２２２２－ｍの動作である。以下では、第四実施形態の変形例が第三実施形態と異なる点について説明する。以下では、フレームごとに処理を行う拡張復号部２２２２－ｍが、その時点で処理対象としているフレームを現フレームと呼び、それより過去のフレームのことを過去フレームと呼ぶ。
［［［拡張復号部２２２２－ｍ］］］
拡張復号部２２２２－ｍには、第三実施形態の拡張復号部２２２２－ｍと同様に、各フレームについて、モノラル復号部２２２１－ｍが出力したモノラルの復号ディジタル音信号が入力され、複数フレームのうちの予め定めたフレームについてのみ拡張符号が入力される。拡張復号部２２２２－ｍは、図示しない記憶部を備える。記憶部には、拡張復号部２２２２－ｍが過去フレームにおいて得た特徴パラメータの平均または重み付き平均が少なくとも記憶され、過去フレームの拡張符号が表す特徴パラメータも記憶されていることがある。
拡張復号部２２２２－ｍは、複数フレームのうちの予め定めたフレーム、すなわち拡張符号も入力されたフレームについては、以下のステップＳ２２２２－４１からステップＳ２２２２－４６を行う。
拡張復号部２２２２－ｍは、まず、入力された拡張符号から当該拡張符号が表す特徴パラメータを得て（ステップＳ２２２２－４１）、得た特徴パラメータを記憶部に記憶する（ステップＳ２２２２－４２）。拡張復号部２２２２－ｍは、次に、記憶部に記憶された過去フレームの特徴パラメータのうちのＫ個（Ｋは１以上の整数）を読み出す（ステップＳ２２２２－４３）。例えば、現フレームに最も近い過去Ｋ個の過去フレームの特徴パラメータを読み出す。特徴パラメータを記憶部に記憶するのは拡張符号も入力されたフレームのみであるので、読み出される特徴パラメータは、拡張符号も入力されたフレームのうちの現フレームと連続するＫ個のフレームの特徴パラメータである。拡張復号部２２２２－ｍは、次に、記憶部から読み出したＫ個の過去フレームの特徴パラメータと現フレームの特徴パラメータの平均または重み付き平均を得て（ステップＳ２２２２－４４）、得た特徴パラメータの平均または重み付き平均を記憶部に記憶する（ステップＳ２２２２－４５）。重み付き平均に用いる重みは、現フレームの特徴パラメータに最も大きな値とし、現フレームから遠いフレームほど小さな値とすればよい。拡張復号部２２２２－ｍは、次に、入力されたモノラルの復号ディジタル音信号とステップＳ２２２２－４４で得た特徴パラメータの平均または重み付き平均とから、入力されたモノラルの復号ディジタル音信号が２個の復号ディジタル音信号が混合された信号であると見做し、ステップＳ２２２２－４４で得た特徴パラメータの平均または重み付き平均が２個の復号ディジタル音信号の差分を表す情報であると見做して、２個の復号ディジタル音信号を得て再生部２２３－ｍに出力する（ステップＳ２２２２－４６）。なお、拡張復号部２２２２－ｍは、拡張符号が表す特徴パラメータを記憶部に記憶するステップＳ２２２２－４２を行わずに、ステップＳ２２２２－４５で記憶部に記憶する平均または重み付き平均をステップＳ２２２２－４３で過去フレームの特徴パラメータとして読み出すようにしてもよい。また、拡張復号部２２２２－ｍの記憶部には過去フレームの特徴パラメータはＫ個だけ記憶していればよいので、現フレームの次のフレームの処理においてＫ＋１個以上過去になる過去フレームの特徴パラメータは記憶部から削除してよい。また、拡張復号部２２２２－ｍの記憶部にはステップＳ２２２２－４４で得た特徴パラメータの平均または重み付き平均のうち最も新しいもののみを記憶しておけばよいので、ステップＳ２２２２－４５を行う時点で記憶部に記憶されていた特徴パラメータの平均または重み付き平均は記憶部から削除してよい。
第四実施形態の変形例の拡張復号部２２２２－ｍは、複数フレームのうちの予め定めたフレーム以外のフレーム、すなわち拡張符号が入力されなかったフレームについては、以下のステップＳ２２２２－４７からステップＳ２２２２－４８を行う。
拡張復号部２２２２－ｍは、まず、記憶部に記憶された最も新しい特徴パラメータの平均または重み付き平均を記憶部から読み出す（ステップＳ２２２２－４７）。拡張復号部２２２２－ｍは、次に、入力されたモノラルの復号ディジタル音信号とステップＳ２２２２－４７で得た特徴パラメータの平均または重み付き平均とから、入力されたモノラルの復号ディジタル音信号が２個の復号ディジタル音信号が混合された信号であると見做し、ステップＳ２２２２－４７で得た特徴パラメータの平均または重み付き平均が２個の復号ディジタル音信号の差分を表す情報であると見做して、２個の復号ディジタル音信号を得て再生部２２３－ｍに出力する（ステップＳ２２２２－４８）。
〔効果〕
特徴パラメータは、統計的に見れば時間的変動が小さいパラメータであるものの、各フレームの音信号の特徴は反映されているので複数フレームにわたって完全に同じ値であることは少なく、また、フレーム間で値が大きく異なる場合もある。従って、音信号受信側装置２２０－ｍでは、そのフレーム本来の拡張符号とは異なるある１つの拡張符号が表す特徴パラメータを用いるよりも、本第四実施形態及び変形例のように時間的に近い複数個の拡張符号が表す特徴パラメータの平均や重み付き平均などを用いることにより、復号音信号のチャンネル間での急激な変動や異音の発生などを抑えることができる。
＜第五実施形態＞
第一実施形態では音信号受信側装置２２０－ｍは各フレームについてモノラル符号とフレーム番号が最も近い拡張符号を用いて２個のチャンネルの復号ディジタル音信号を得るようにしたが、モノラル符号と所定の制限時間範囲内の拡張符号がないフレームについてはモノラル符号を復号して得た復号ディジタル音信号を２個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第五実施形態として説明する。
第五実施形態が第一実施形態と異なるのは、音信号受信側装置２２０－ｍの受信部２２１－ｍと復号装置２２２－ｍの動作である。また、復号装置２２２－ｍにおいて第五実施形態が第一実施形態と異なる動作をするのは拡張復号部２２２２－ｍである。以下では、第五実施形態が第一実施形態と異なる点について説明する。
［［受信部２２１－ｍ］］
受信部２２１－ｍは、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号を出力する。受信部２２１－ｍは、具体的には、フレームごとに以下のステップＳ２２１－１１からステップＳ２２１－１５を行う。
受信部２２１－ｍは、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号を復号装置２２２－ｍに出力する（ステップＳ２２１－１１）。受信部２２１－ｍは、次に、ステップＳ２２１－１１で出力したモノラル符号のフレーム番号を得る（ステップＳ２２１－１２）。受信部２２１－ｍは、次に、第二通信回線５１０－ｍから入力された第二符号列のうち、ステップＳ２２１－１２で得たモノラル符号のフレーム番号とフレーム番号が最も近い第二符号列に含まれる拡張符号と、その拡張符号のフレーム番号を得る（ステップＳ２２１－１３）。受信部２２１－ｍは、次に、ステップＳ２２１－１２で得たモノラル符号のフレーム番号と、ステップＳ２２１－１３で得た拡張符号のフレーム番号と、の差が予め定めた値未満であるか否かを判断する（ステップＳ２２１－１４）。受信部２２１－ｍは、次に、ステップＳ２２１－１４でモノラル符号のフレーム番号と拡張符号のフレーム番号の差が予め定めた値未満であった場合には、拡張符号を復号装置２２２－ｍに出力する（ステップＳ２２１－１５）。受信部２２１－ｍは、ステップＳ２２１－１４でモノラル符号のフレーム番号と拡張符号のフレーム番号の差が予め定めた値未満でなかった場合には、拡張符号は出力しない。すなわち、受信部２２１－ｍは、ステップＳ２２１－１４でモノラル符号のフレーム番号と拡張符号のフレーム番号の差が予め定めた値未満でなかった場合には、モノラル符号のみを出力すればよい。
ここで、予め定めた値は２以上の値である。すなわち、受信部２２１－ｍは、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が０であるフレーム（すなわち、第二通信回線５１０－ｍから入力された第二符号列に、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれるフレーム）については、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、上述したフレーム番号の差が０より大きく予め定めた値未満であるフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、を出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）のみを出力することになる。
［［復号装置２２２－ｍ］］
復号装置２２２－ｍには、フレームごとに、受信部２２１－ｍが出力したモノラル符号が必ず入力され、受信部２２１－ｍが出力した拡張符号が入力されることもある。復号装置２２２－ｍは、フレームごとに、入力されたモノラル符号と拡張符号、または、入力されたモノラル符号、に対応する２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。具体的には、復号装置２２２－ｍは、上述したフレーム番号の差が予め定めた値未満であるフレームについては、受信部２２１－ｍが出力したモノラル符号と、受信部２２１－ｍが出力した拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、受信部２２１－ｍが出力したモノラル符号に基づくモノラルディジタル信号をそのまま２個のチャンネルの復号ディジタル音信号として出力する。
［［［拡張復号部２２２２－ｍ］］］
拡張復号部２２２２－ｍには、フレームごとに、モノラル復号部２２２１－ｍが出力したモノラルの復号ディジタル音信号が必ず入力され、復号装置２２２－ｍに入力された拡張符号が入力されることもある。拡張復号部２２２２－ｍは、モノラルの復号ディジタル音信号と拡張符号が入力されたフレームについては、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部２２２２－ｍと同じ動作により、２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。拡張復号部２２２２－ｍは、モノラルの復号ディジタル音信号のみが入力されたフレームについては、入力されたモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として得て再生部２２３－ｍに出力する。
すなわち、復号装置２２２－ｍは、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として出力する。
より具体的には、復号装置２２２－ｍは、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が０であるフレーム（すなわち、第二通信回線５１０－ｍから入力された第二符号列に、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれるフレーム）については、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が０より大きく予め定めた値未満であるフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）に基づく復号ディジタル音信号を２個のチャンネルの復号ディジタル音信号として出力することになる。
＜第五実施形態の変形例＞
上述したのは第一実施形態の音信号受信側装置２２０－ｍに基づく構成の第五実施形態の音信号受信側装置２２０－ｍとその動作であるが、第三実施形態及び第四実施形態及びこれらの変形例の何れかの音信号受信側装置２２０－ｍに基づく第五実施形態の音信号受信側装置２２０－ｍを構成して動作させるようにしてもよい。
〔効果〕
通話相手先の複数回線対応端末装置２００－ｍ’の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’は所定の時間区間のフレームごとに符号化をしていることから、モノラル符号のフレーム番号と拡張符号のフレーム番号の差は、通話相手先の複数回線対応端末装置２００－ｍ’の音信号送信側装置２１０－ｍ’の符号化装置２１２－ｍ’が符号化したディジタル音信号の時間差に対応する。例えば、フレーム長が20msであれば、フレーム番号の差が150であれば、モノラル符号を得たディジタル音信号と、拡張符号を得たディジタル音信号と、に3秒の時間差があることになる。時間的変動が小さいパラメータであっても、時刻が大きく異なれば値が大きく変わっている可能性がある。従って、拡張符号が表す特徴パラメータが大きく異なるほどの時間差がある場合には、２個のチャンネルの差分の特徴を反映した２個のチャンネルの復号音信号にはチャンネル間の信号の切り分けに大きな誤りが発生している可能性がある。本第五実施形態によれば、第一通信回線から受信された第一符号列に含まれるモノラル符号と第二通信回線から受信された第二符号列に含まれる拡張符号のうちの当該モノラル符号とフレーム番号が最も近い拡張符号とのフレーム番号の差が大きいフレームについては２個のチャンネルの復号音信号に差を付けないようにすることで、復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑えることができる。例えば、時間差が400ms以上になると特徴パラメータが大きく異なると想定すると、フレーム長が20msの場合であればフレーム番号の差が20以上になると特徴パラメータが大きく異なることになるので、上述した予め定めた値は例えば20とすればよい。
＜第六実施形態＞
音信号受信側装置２２０－ｍは、所定の時間範囲で測定された、第一通信回線４１０－ｍから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線５１０－ｍから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が予め定めた制限時間内にない場合には、モノラル符号を復号して得た復号ディジタル音信号を２個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第六実施形態として説明する。
第六実施形態が第一実施形態と異なるのは、音信号受信側装置２２０－ｍの受信部２２１－ｍと復号装置２２２－ｍの動作である。また、復号装置２２２－ｍにおいて第六実施形態が第一実施形態と異なる動作をするのは拡張復号部２２２２－ｍである。以下では、第六実施形態が第一実施形態と異なる点について説明する。
［［受信部２２１－ｍ］］
受信部２２１－ｍには、通話相手先の音信号送信側装置２１０－ｍ’が出力した第一符号列が第一通信回線４１０－ｍから入力され、通話相手先の音信号送信側装置２１０－ｍ’が出力した第二符号列が第二通信回線５１０－ｍから入力される。第二通信回線は優先度が低い通信網であるため、受信部２２１－ｍには、通常、通話相手先の音信号送信側装置２１０－ｍ’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線４１０－ｍから入力されるよりも後に、第二通信回線５１０－ｍから入力される。
受信部２２１－ｍは、まず、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断する。なお、制限時間Tmaxは、例えば400msである。
例えば、受信部２２１－ｍは、以下のステップＳ２２１－２１からステップＳ２２１－２４を行う。受信部２２１－ｍは、第一符号列の受信を開始してから予め定めた個数の第一符号列について、フレーム番号を読み出して、受信された時刻を測定して、フレーム番号と第一符号列が受信された時刻とを対応付けて受信部２２１－ｍ内の図示しない記憶部に記憶する（ステップＳ２２１－２１）。受信部２２１－ｍは、また、受信された第二符号列について、フレーム番号を読み出して、読み出したフレーム番号が記憶部に記憶されたフレーム番号の何れかと一致する場合には、受信された時刻を測定して、記憶部に記憶されたフレーム番号と第一符号列が受信された時刻に、第二符号列が受信された時刻も対応付けて、記憶部に記憶する（ステップＳ２２１－２２）。受信部２２１－ｍは、次に、記憶部に対応付けて記憶されたフレーム番号と第一符号列が受信された時刻と第二符号列が受信された時刻を用いて、フレーム番号ごとの第二符号列が受信された時刻から第一符号列が受信された時刻を減算した値の、上述した予め定めた個数についての平均値を得る（ステップＳ２２１－２３）。受信部２２１－ｍは、次に、ステップＳ２２１－２３で得た平均値が予め定めた制限時間Tmax未満であるかであるか否かを判断する（ステップＳ２２１－２４）。
受信部２２１－ｍは、次に、上述した判断において平均値が制限時間Tmax未満であった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置２２２－ｍに出力し、上述した判断において平均値が制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号を復号装置２２２－ｍに出力する。受信部２２１－ｍは、上述した判断において平均値が制限時間Tmax未満でなかった場合には、それ以降のフレームについては、拡張符号は出力しない。すなわち、受信部２２１－ｍは、上述した判断において平均値が制限時間Tmax未満でなかった場合には、モノラル符号のみを出力すればよい。
すなわち、受信部２２１－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、それ以降のフレームについては、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置２２２－ｍに出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、を復号装置２２２－ｍに出力し、上述した平均値が制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）のみを復号装置２２２－ｍに出力することになる。
なお、受信部２２１－ｍは、上述した判断が終わるまでは、何も出力しないでもよいし、第一実施形態と同様にモノラル符号と拡張符号を復号装置２２２－ｍに出力してもよいし、拡張符号を出力せずにモノラル符号を復号装置２２２－ｍに出力してもよいし、第五実施形態と同様に、モノラル符号は必ず復号装置２２２－ｍに出力して、モノラル符号と拡張符号のフレーム番号の差が小さい場合のみ拡張符号も復号装置２２２－ｍに出力するようにしてもよい。
［［復号装置２２２－ｍ］］
受信部２２１－ｍによる上述した判断において平均値が予め定めた制限時間Tmax未満であった場合には、復号装置２２２－ｍには、第一実施形態の復号装置２２２－ｍと同様に、フレームごとに、モノラル符号と拡張符号が入力される。一方、受信部２２１－ｍによる上述した判断において平均値が予め定めた制限時間Tmax未満でなかった場合には、復号装置２２２－ｍには、フレームごとに、受信部２２１－ｍが出力したモノラル符号が入力され、拡張符号は入力されない。
なお、受信部２２１－ｍによる上述した判断が終わるまでは、復号装置２２２－ｍには、何も入力されないか、拡張符号が入力されずにモノラル符号が入力されるか、モノラル符号と拡張符号が入力される。復号装置２２２－ｍは、フレームごとに、入力されたモノラル符号と拡張符号、または、入力されたモノラル符号、に対応する２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。
［［［拡張復号部２２２２－ｍ］］］
拡張復号部２２２２－ｍは、モノラルの復号ディジタル音信号と拡張符号が入力された場合には、すなわち、上述した判断において平均値が予め定めた制限時間Tmax未満であった場合には、フレームごとに、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部２２２２－ｍと同じ動作により、２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。拡張復号部２２２２－ｍは、モノラルの復号ディジタル音信号が入力された場合には、すなわち、上述した判断において平均値が予め定めた制限時間Tmax未満でなかった場合には、入力されたモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として得て再生部２２３－ｍに出力する。
すなわち、復号装置２２２－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmax未満でなかった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号に基づくモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として出力する。
より具体的には、復号装置２２２－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれないフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmax未満でなかった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）に基づくモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として出力することになる。
なお、受信部２２１－ｍによる上述した判断が終わるまでは、拡張復号部２２２２－ｍは、モノラルの復号ディジタル音信号と拡張符号が入力されたフレームについては、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部２２２２－ｍと同じ動作により、２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力するか、または、入力されたモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として得て再生部２２３－ｍに出力するか、または、何も出力しない。
＜第六実施形態の変形例＞
上述したのは第一実施形態の音信号受信側装置２２０－ｍに基づく構成の第六実施形態の音信号受信側装置２２０－ｍとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置２２０－ｍに基づく第六実施形態の音信号受信側装置２２０－ｍを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点を始点として設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
〔効果〕
第五実施形態でも説明した通り、時間的変動が小さい特徴パラメータであっても、時刻が大きく異なれば値が大きく変わっている可能性がある。従って、第一通信回線と第二通信回線の間に拡張符号が表す特徴パラメータが大きく異なるほどの時間差があると判断された場合には、２個のチャンネルの差分の特徴を反映した２個のチャンネルの復号音信号にはチャンネル間の信号の切り分けに大きな誤りが発生している可能性がある。本第六実施形態によれば、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差が大きい場合には２個のチャンネルの復号音信号に差を付けないようにすることで、復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑えることができる。
＜第七実施形態＞
音信号受信側装置２２０－ｍは、所定の時間範囲で測定された、第一通信回線４１０－ｍから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線５１０－ｍから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が予め定めた制限時間内である場合には、モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を用いて２個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第七実施形態として説明する。
第七実施形態が第一実施形態と異なるのは、音信号受信側装置２２０－ｍの受信部２２１－ｍの動作である。以下では、第七実施形態が第一実施形態と異なる点について説明する。
［［受信部２２１－ｍ］］
受信部２２１－ｍには、通話相手先の音信号送信側装置２１０－ｍ’が出力した第一符号列が第一通信回線４１０－ｍから入力され、通話相手先の音信号送信側装置２１０－ｍ’が出力した第二符号列が第二通信回線５１０－ｍから入力される。第二通信回線は優先度が低い通信網であるため、受信部２２１－ｍには、通常、通話相手先の音信号送信側装置２１０－ｍ’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線４１０－ｍから入力されるよりも後に、第二通信回線５１０－ｍから入力される。
受信部２２１－ｍは、まず、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であるか否かを判断する。なお、制限時間Tminは、例えば、フレーム長の２倍の値である。すなわち、フレーム長が20msであれば、制限時間Tminは例えば40msである。
例えば、受信部２２１－ｍは、以下のステップＳ２２１－３１からステップＳ２２１－３４を行う。受信部２２１－ｍは、第一符号列の受信を開始してから予め定めた個数の第一符号列について、フレーム番号を読み出して、受信された時刻を測定して、フレーム番号と第一符号列が受信された時刻とを対応付けて受信部２２１－ｍ内の図示しない記憶部に記憶する（ステップＳ２２１－３１）。受信部２２１－ｍは、また、受信された第二符号列について、フレーム番号を読み出して、読み出したフレーム番号が記憶部に記憶されたフレーム番号の何れかと一致する場合には、受信された時刻を測定して、記憶部に記憶されたフレーム番号と第一符号列が受信された時刻に、第二符号列が受信された時刻も対応付けて、記憶部に記憶する（ステップＳ２２１－３２）。受信部２２１－ｍは、次に、記憶部に対応付けて記憶されたフレーム番号と第一符号列が受信された時刻と第二符号列が受信された時刻を用いて、フレーム番号ごとの第二符号列が受信された時刻から第一符号列が受信された時刻を減算した値の、上述した予め定めた個数についての平均値を得る（ステップＳ２２１－３３）。受信部２２１－ｍは、次に、ステップＳ２２１－３３で得た平均値が予め定めた制限時間Tmin未満であるかであるか否かを判断する（ステップＳ２２１－３４）。
受信部２２１－ｍは、次に、上述した判断において平均値が制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置２２２－ｍに出力し、上述した判断において平均値が制限時間Tmin未満でなかった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置２２２－ｍに出力する。ただし、第一通信回線４１０－ｍから第一符号列が受信されてから、そのフレームの第二通信回線５１０－ｍから第二符号列が受信されるまでには、平均するとステップＳ２２１－３３で得た平均値だけの時間を要することが想定されるので、受信部２２１－ｍは、第一通信回線４１０－ｍから第一符号列が受信されてから復号装置２２２－ｍに出力するまでの時間が、ステップＳ２２１－３３で得た平均値またはそれより大きな値となるように動作させる必要がある。
すなわち、受信部２２１－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置２２２－ｍに出力し、上述した平均値が制限時間Tmin未満でなかった場合には、それ以降のフレームについては、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置２２２－ｍに出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれない場合には、第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、を復号装置２２２－ｍに出力することになる。
第七実施形態の音信号受信側装置２２０－ｍの復号装置２２２－ｍの動作は第一実施形態の音信号受信側装置２２０－ｍの復号装置２２２－ｍの動作と同じであり、復号装置２２２－ｍは、受信部２２１－ｍが出力したモノラル符号と受信部２２１－ｍが出力した拡張符号とに基づいて２個のチャンネルの復号ディジタル音信号を得て出力する。ただし、第七実施形態の受信部２２１－ｍが出力する拡張符号は場合によっては第一実施形態の受信部２２１－ｍが出力する拡張符号と異なるため、復号装置２２２－ｍは具体的には下記の動作をする。
すなわち、復号装置２２２－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmin未満でなかった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力する。
より具体的には、復号装置２２２－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmin未満でなかった場合には、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれないフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力することになる。
なお、受信部２２１－ｍによる上述した判断が終わるまでは、例えば、受信部２２１－ｍは第一実施形態と同様にモノラル符号と拡張符号を復号装置２２２－ｍに出力すればよく、復号装置２２２－ｍは第一実施形態と同様にモノラル符号と拡張符号を用いて２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力すればよい。
＜第七実施形態の変形例＞
上述したのは第一実施形態の音信号受信側装置２２０－ｍに基づく構成の第七実施形態の音信号受信側装置２２０－ｍとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置２２０－ｍに基づく第七実施形態の音信号受信側装置２２０－ｍを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点を始点として設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
〔効果〕
時間的変動が小さい特徴パラメータであっても、時刻が異なれば値が少しは異なっている可能性がある。従って、遅延を少し増やすだけで同じフレームの特徴パラメータを用いて復号することができれば、高音質の復号音信号を得られる可能性がある。そこで、本第七実施形態では、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差の所定の時間範囲の平均値に予め定めた値である制限時間を設けて、制限時間未満である場合には、あえて遅延を少し増やした上で、モノラル符号と、当該モノラル符号と同じフレームの拡張符号と、を用いて２個のチャンネルの復号ディジタル音信号とすることによって、高音質の復号音信号を得られるようにしている。
＜第八実施形態＞
音信号受信側装置２２０－ｍは、所定の時間範囲で測定された、第一通信回線４１０－ｍから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線５１０－ｍから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が第一の制限時間未満である場合には、モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を用いて２個のチャンネルの復号ディジタル音信号を得て、当該時間差の平均値が第一の制限時間よりも大きい予め定めた第二の制限時間以上である場合には、モノラル符号を復号して得た復号ディジタル音信号を２個のチャンネルの復号ディジタル音信号とし、当該時間差の平均値が第一の制限時間以上であり第二の制限時間未満である場合には、モノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号と、を用いて２個のチャンネルの復号ディジタル音信号を得るようにしてもよい。要するに、第六実施形態と第七実施形態を合わせて実施してもよい。この形態を第八実施形態として説明する。
第八実施形態が第一実施形態と異なるのは、音信号受信側装置２２０－ｍの受信部２２１－ｍと復号装置２２２－ｍの動作である。ただし、音信号受信側装置２２０－ｍの復号装置２２２－ｍの動作は第六実施形態の復号装置２２２－ｍの動作と同じである。以下では、第八実施形態が第一実施形態とも第六実施形態とも異なる受信部２２１－ｍの動作について説明する。
［［受信部２２１－ｍ］］
受信部２２１－ｍには、通話相手先の音信号送信側装置２１０－ｍ’が出力した第一符号列が第一通信回線４１０－ｍから入力され、通話相手先の音信号送信側装置２１０－ｍ’が出力した第二符号列が第二通信回線５１０－ｍから入力される。第二通信回線は優先度が低い通信網であるため、受信部２２１－ｍには、通常、通話相手先の音信号送信側装置２１０－ｍ’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線４１０－ｍから入力されるよりも後に、第二通信回線５１０－ｍから入力される。
受信部２２１－ｍは、まず、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であるか、第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、第一の制限時間Tmin以上であり第二の制限時間Tmax未満であるか、を判断する。なお、第一の制限時間Tminは、例えば、フレーム長の２倍の値である。すなわち、フレーム長が20msであれば、第一の制限時間Tminは例えば40msである。また、第二の制限時間Tmaxは、例えば400msである。
例えば、受信部２２１－ｍは、以下のステップＳ２２１－４１からステップＳ２２１－４４を行う。受信部２２１－ｍは、第一符号列の受信を開始してから予め定めた個数の第一符号列について、フレーム番号を読み出して、受信された時刻を測定して、フレーム番号と第一符号列が受信された時刻とを対応付けて受信部２２１－ｍ内の図示しない記憶部に記憶する（ステップＳ２２１－４１）。受信部２２１－ｍは、また、受信された第二符号列について、フレーム番号を読み出して、読み出したフレーム番号が記憶部に記憶されたフレーム番号の何れかと一致する場合には、受信された時刻を測定して、記憶部に記憶されたフレーム番号と第一符号列が受信された時刻に、第二符号列が受信された時刻も対応付けて、記憶部に記憶する（ステップＳ２２１－４２）。受信部２２１－ｍは、次に、記憶部に対応付けて記憶されたフレーム番号と第一符号列が受信された時刻と第二符号列が受信された時刻を用いて、フレーム番号ごとの第二符号列が受信された時刻から第一符号列が受信された時刻を減算した値の、上述した予め定めた個数についての平均値を得る（ステップＳ２２１－４３）。受信部２２１－ｍは、次に、ステップＳ２２１－４３で得た平均値が、予め定めた第一の制限時間Tmin未満であるか、第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、第一の制限時間Tmin以上であり第二の制限時間Tmax未満であるか、を判断する（ステップＳ２２１－４４）。
受信部２２１－ｍは、次に、上述した判断において平均値が第一の制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置２２２－ｍに出力し、上述した判断において平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置２２２－ｍに出力し、上述した判断において平均値が第二の制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号を復号装置２２２－ｍに出力する。受信部２２１－ｍは、上述した判断において平均値が第二の制限時間Tmax未満でなかった場合には、それ以降のフレームについては、拡張符号は出力しない。すなわち、受信部２２１－ｍは、上述した判断において平均値が第二の制限時間Tmax未満でなかった場合には、モノラル符号のみを出力すればよい。ただし、第一通信回線から第一符号列が受信されてから、そのフレームの第二通信回線から第二符号列が受信されるまでには、平均するとステップＳ２２１－４３で得た平均値だけの時間を要することが想定されるので、受信部２２１－ｍは、第一通信回線から第一符号列が受信されてから復号装置２２２－ｍに出力するまでの時間が、ステップＳ２２１－４３で得た平均値またはそれより大きな値となるように動作させる必要がある。
すなわち、受信部２２１－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置２２２－ｍに出力し、上述した平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、それ以降のフレームについては、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置２２２－ｍに出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、を復号装置２２２－ｍに出力し、上述した平均値が第二の制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）のみを復号装置２２２－ｍに出力することになる。
なお、受信部２２１－ｍは、上述した判断が終わるまでは、何も出力しないでもよいし、第一実施形態と同様にモノラル符号と拡張符号を復号装置２２２－ｍに出力してもよいし、拡張符号を出力せずにモノラル符号を復号装置２２２－ｍに出力してもよいし、第五実施形態と同様に、モノラル符号は必ず復号装置２２２－ｍに出力して、モノラル符号と拡張符号のフレーム番号の差が小さい場合のみ拡張符号も復号装置２２２－ｍに出力するようにしてもよい。
第八実施形態の音信号受信側装置２２０－ｍの復号装置２２２－ｍの動作は第六実施形態の音信号受信側装置２２０－ｍの復号装置２２２－ｍの動作と同じである。ただし、第八実施形態の受信部２２１－ｍが出力する拡張符号は場合によっては第六実施形態の受信部２２１－ｍが出力する拡張符号と異なるため、復号装置２２２－ｍは具体的には下記の動作をする。
すなわち、復号装置２２２－ｍは、上述した判断において平均値が第一の制限時間Tmin未満であった場合と、上述した判断において平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、それ以降のフレームについて、受信部２２１－ｍが出力したモノラル符号と受信部２２１－ｍが出力した拡張符号とに基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述した判断において平均値が第二の制限時間Tmax以上であった場合には、それ以降のフレームについて、受信部２２１－ｍが出力したモノラル符号に基づくモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として出力する。
より具体的には、復号装置２２２－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号に基づくモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として出力し、上述した平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力する。
さらに具体的には、復号装置２２２－ｍは、第一通信回線４１０－ｍから受信された第一符号列と、当該第一符号列に対応する第二通信回線５１０－ｍから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）に基づくモノラルの復号ディジタル音信号をそのまま２個のチャンネルの復号ディジタル音信号として出力し、上述した平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号に第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）とフレーム番号が同じ拡張符号が含まれないフレームについては、第一通信回線４１０－ｍから入力された第一符号列に含まれるモノラル符号（すなわち、フレーム番号順のモノラル符号）と、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号（すなわち、第二通信回線５１０－ｍから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号）と、に基づいて２個のチャンネルの復号ディジタル音信号を得て出力することになる。
なお、受信部２２１－ｍによる上述した判断が終わるまでは、復号装置２２２－ｍには、何も入力されないか、拡張符号が入力されずにモノラル符号が入力されるか、モノラル符号と拡張符号が入力される。復号装置２２２－ｍは、フレームごとに、入力されたモノラル符号と拡張符号、または、入力されたモノラル符号、に対応する２個のチャンネルの復号ディジタル音信号を得て再生部２２３－ｍに出力する。
＜第八実施形態の変形例＞
上述したのは第一実施形態の音信号受信側装置２２０－ｍに基づく構成の第八実施形態の音信号受信側装置２２０－ｍとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置２２０－ｍに基づく第八実施形態の音信号受信側装置２２０－ｍを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点で設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
〔効果〕
本第八実施形態によれば、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差が大きいときの復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑え、かつ、上述した差が小さいときには高音質の復号音信号を得られる。
＜第九実施形態＞
多地点で電話会議をするための多地点制御装置（MCU, Multipoint Control Unit）において、異なる２地点の音信号それぞれに対応するディジタル音信号を２個のチャンネルのディジタル音信号として、上述した各実施形態の音信号送信側装置２１０－ｍと同様の動作をさせてもよい。この形態を第九実施形態として説明する。
≪多地点制御装置６００≫
多地点制御装置６００は、図７に示す通り、受信部６１０とモノラル復号部６２０と地点選択部６３０と信号分析部６４０とモノラル符号化部６５０と送信部６６０を含む。以下では、多地点制御装置６００にＰ地点（Ｐは３以上の整数）の端末装置が接続されていて、複数回線対応端末装置２００－ｍ１に地点ｍ２から地点ｍＰまでのＰ－１地点のうちの最大２地点の音信号を伝える例で説明する。多地点制御装置６００は、例えば20msの所定の時間区間であるフレームごとに、図８及び以下に例示するステップＳ６１０からステップＳ６６０の処理を行う。
［受信部６１０］
受信部６１０には、複数回線対応端末装置２００－ｍｅｌｓｅ（ｅｌｓｅは２以上Ｐ以下の各整数）が第一通信回線を介して出力したＰ－１個の第一符号列が入力される。受信部６１０は、入力されたＰ－１個の第一符号列それぞれに含まれるモノラル符号をモノラル復号部６２０に出力する（ステップＳ６１０）。
［モノラル復号部６２０］
モノラル復号部６２０は、受信部６１０から入力されたＰ－１個のモノラル符号それぞれを所定の復号方式で復号してモノラルの復号ディジタル音信号である復号モノラル信号を得て地点選択部６３０に出力する（ステップＳ６２０）。所定の復号方式については、第一実施形態で説明した通りである。
［地点選択部６３０］
地点選択部６３０は、予め定めた選択基準に基づいて、モノラル復号部６２０から入力されたＰ－１個の復号モノラル信号のうちの２個の復号モノラル信号を選択して信号分析部６４０に出力する（ステップＳ６３０）。予め定めた選択基準としては、重要度合いが高い地点の復号モノラル信号を選択できる基準を予め定めておき、地点選択部６３０が選択を実行できるようにしておけばよい。例えば、選択基準として音信号のパワーを用いるのであれば、地点選択部６３０は、フレームごとに、入力されたＰ－１個の復号モノラル信号のうちのパワーが最大である復号モノラル信号とパワーが２番目に大きい復号モノラル信号を信号分析部６４０に出力する。
［信号分析部６４０］
信号分析部６４０は、入力された２個の復号モノラル信号から、入力された２個の復号モノラル信号を混合した信号であるモノラル信号を得てモノラル符号化部６５０に出力し、入力された２個の復号モノラル信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号を得て送信部６６０に出力する（ステップＳ６４０）。信号分析部６４０は、第一実施形態の複数回線対応端末装置２００－ｍの音信号送信側装置２１０－ｍの符号化装置２１２－ｍの信号分析部２１２１－ｍと同じ動作をすればよい。ただし、本第九実施形態の場合は、入力された２個の復号モノラル信号はそれぞれ異なる地点で発せられた音信号に対応することから、特徴パラメータとしては、信号分析部２１２１－ｍの第１例で示した時間差を表す情報よりは、第２例で示した周波数帯域ごとの強度差を表す情報を用いた方がよい。なお、入力された２個の復号モノラル信号のパワーの比や差を表す情報を特徴パラメータとしてもよい。
［モノラル符号化部６５０］
モノラル符号化部６５０は、入力されたモノラル信号を所定の符号化方式で符号化してモノラル符号を得て送信部６６０に出力する（ステップＳ６５０）。所定の符号化方式については、第一実施形態で説明した通りである。
［送信部６６０］
送信部６６０は、フレームごとに、モノラル符号化部６５０から入力されたモノラル符号を含む符号列である第一符号列を複数回線対応端末装置２００－ｍ１に対して第一通信回線を介して出力し、信号分析部６４０から入力された拡張符号を含む符号列である第二符号列を複数回線対応端末装置２００－ｍ１に対して第二通信回線を介して出力する（ステップＳ６６０）。
〔効果〕
多地点制御装置６００に本第九実施形態の動作をさせることで、複数回線対応端末装置２００－ｍ１では２地点の音信号を擬似的に左と右に振り分けて再生することができ、何れの地点での発話であることや異なる地点での発話であることを明瞭とすることができる。
＜第九実施形態の変形例＞
第九実施形態の多地点制御装置６００の地点選択部６３０では、パワーを用いて２個の復号モノラル信号を選択していることから、信号分析部６４０ではなく地点選択部６３０で拡張符号を得るようにしてもよい。この形態を第九実施形態の変形例として、第九実施形態と異なる点について説明する。
≪多地点制御装置６００≫
第九実施形態の変形例の多地点制御装置６００は、図９に示す通り、第九実施形態の多地点制御装置６００が含んでいた信号分析部６４０に代えて信号混合部６７０を含む。多地点制御装置６００は、フレームごとに図１０に例示するステップＳ６１０からステップＳ６３０、ステップＳ６７０、ステップＳ６５０からステップＳ６６０、の処理を行う。これらのうち第九実施形態と実質的に異なるのは、地点選択部６３０が行うステップＳ６３０と信号混合部６７０が行うステップＳ６７０である。送信部６６０が行うステップＳ６６０は、拡張符号が信号分析部６４０ではなく地点選択部６３０から入力されること以外は第九実施形態と同じである。
［地点選択部６３０］
地点選択部６３０は、モノラル復号部６２０から入力されたＰ－１個の復号モノラル信号のうちのパワーが最大である復号モノラル信号とパワーが２番目に大きい復号モノラル信号を選択して信号分析部６４０に出力し、さらに、選択した２個の復号モノラル信号のパワーの比または差を特徴パラメータとして得て、得た特徴パラメータを表す符号である拡張符号を得て送信部６６０に出力する（ステップＳ６３０）。
［信号混合部６７０］
信号混合部６７０は、入力された２個の復号モノラル信号から、入力された２個の復号モノラル信号を混合した信号であるモノラル信号を得てモノラル符号化部６５０に出力する（ステップＳ６７０）。
なお、複数回線対応端末装置２００－ｍ１での２地点の音信号の擬似的な左と右への振り分けを強調するために、地点選択部６３０は、選択した２個の復号モノラル信号のうちのパワーが大きい方の地点を特定する情報を特徴パラメータとして得て、得た特徴パラメータを表す符号である拡張符号を得て送信部６６０に出力してもよい。この場合には、複数回線対応端末装置２００－ｍ１の音信号受信側装置２２０－ｍ１の復号装置２２２－ｍ１の拡張復号部２２２２－ｍ１では、各地点について予め定められた左右位置に音信号が定位するように２個のチャンネルの復号ディジタル音信号を得るようにすればよい。また、この場合には、信号混合部６７０は入力された２個の復号モノラル信号のうちのパワーが大きい方を選択してモノラル符号化部６５０に出力してもよく、そもそも信号混合部６７０を備えずに、地点選択部６３０がパワーが最大である復号モノラル信号１つのみを選択して出力するようにしてもよい。
＜第十実施形態＞
上述した各実施形態及び変形例では、説明を簡単化するために、複数回線対応端末装置２００－ｍの２個のチャンネルの音信号を扱う例で説明した。しかし、チャンネル数はこの限りではなく２以上であればよい。このチャンネル数をＣ（Ｃは２以上の整数）とすると、上述した各実施形態及び変形例は、２個のチャンネルをＣ個（Ｃは２以上の整数）のチャンネルと読み替えて実施することができる。
例えば、複数回線対応端末装置２００－ｍの音信号送信側装置２１０－ｍの収音部２１１－ｍはＣ個のマイクロホンとＣ個のAD変換部を含むようにすればよく、複数回線対応端末装置２００－ｍの音信号送信側装置２１０－ｍの符号化装置２１２－ｍは、入力されたＣ個のチャンネルのディジタル音信号からモノラル符号と拡張符号を得るようにすればよい。具体的には、符号化装置２１２－ｍは、入力されたＣ個のチャンネルのディジタル音信号を混合した信号を所定の第１の符号化方式で符号化してモノラル符号を得て、入力されたＣ個のチャンネルのディジタル音信号におけるチャネル間の差分に相当する情報を表す符号を含む拡張符号を得るようにすればよい。Ｃ個のチャンネルのディジタル音信号におけるチャネル間の差分に相当する情報とは、例えば、基準とするチャンネル以外のＣ－１個のチャンネルそれぞれについての、当該チャンネルのディジタル音信号と基準とするチャンネルのディジタル音信号との差分に相当する情報である。
また、複数回線対応装置２００－ｍの音信号受信側装置２２０－ｍの復号装置２２２－ｍは、入力されたモノラル符号と拡張符号とに基づいてＣ個のチャンネルの復号ディジタル音信号を得て出力するようにすればよい。具体的には、復号装置２２２－ｍのモノラル復号部２２２１－ｍは、入力されたモノラル符号を復号してモノラルの復号ディジタル音信号を得て、復号装置２２２－ｍの拡張復号部２２２２－ｍは、モノラルの復号ディジタル音信号がＣ個のチャンネルの復号ディジタル音信号が混合された信号 であると見做し、入力された拡張符号に基づいて得られる特徴パラメータがＣ個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、Ｃ個のチャンネルの復号ディジタル音信号を得て出力するようにすればよい。またこの場合は、複数回線端末装置２００－ｍの音信号受信側装置２２０－ｍの再生部２２３－ｍが最大Ｃ個のDA変換部と最大Ｃ個のスピーカを含むようにしてもよい。
＜その他の実施形態＞
＜＜電話システムに電話回線専用端末装置も含む形態＞＞
電話システム１００に電話回線専用端末装置３００－ｎも含む場合には、電話回線専用端末装置３００－ｎは以下の通りに周知の動作をする。
≪電話回線専用端末装置３００－ｎ≫
電話回線専用端末装置３００－ｎは、例えば従来型の携帯電話機や従来型のスマートフォンであり、図１１に示す通り、音信号送信側装置３１０－ｎと音信号受信側装置３２０－ｎを含む。音信号送信側装置３１０－ｎは収音部３１１－ｎと符号化装置３１２－ｎと送信部３１３－ｎを含む。音信号受信側装置３２０－ｎは受信部３２１－ｎと復号装置３２２－ｎと再生部３２３－ｎを含む。電話回線専用端末装置３００－ｎの音信号送信側装置３１０－ｎは、図１２及び以下に例示するステップＳ３１１からステップＳ３１３の処理を行い、電話回線専用端末装置３００－ｎの音信号受信側装置３２０－ｎは、図１３及び以下に例示するステップＳ３２１からステップＳ３２３の処理を行う。
［音信号送信側装置３１０－ｎ］
音信号送信側装置３１０－ｎは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、１個のチャンネルのディジタル音信号に対応するモノラル符号を含む符号列である第一符号列を得て第一通信回線４２０－ｎに出力する。
［［収音部３１１－ｎ］］
収音部３１１－ｎは、１個のマイクロホンと１個のAD変換部を含む。マイクロホンは、マイクロホンの周辺の空間領域で発生した音を収音してアナログの電気信号に変換してAD変換部に出力する。AD変換部は、入力されたアナログの電気信号を例えばサンプリング周波数が8kHzのPCM信号であるディジタル音信号に変換して出力する。すなわち、収音部３１１－ｎは、１個のマイクロホンで収音した音に対応する１個のチャンネルのディジタル音信号を符号化装置３１２－ｎに出力する（ステップＳ３１１）。
［［符号化装置３１２－ｎ］］
符号化装置３１２－ｎは、フレームごとに、収音部３１１－ｎから入力された１個のチャンネルのディジタル音信号を上述した所定の符号化方式で符号化してモノラル符号を得て送信部３１３－ｎに出力する（ステップＳ３１２）。
［［送信部３１３－ｎ］］
送信部３１３－ｎは、フレームごとに、符号化装置３１２－ｎから入力されたモノラル符号を含む符号列である第一符号列を第一通信回線４２０－ｎに出力する（ステップＳ３１３）。
［音信号受信側装置３２０－ｎ］
音信号受信側装置３２０－ｎは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、第一通信回線４２０－ｎから入力された第一符号列に含まれるモノラル符号に基づく音を出力する。
［［受信部３２１－ｎ］］
受信部３２１－ｎは、フレームごとに、第一通信回線４２０－ｎから入力された第一符号列に含まれるモノラル符号を復号装置３２２－ｎに出力する（ステップＳ３２１）。
［［復号装置３２２－ｎ］］
復号装置３２２－ｎには、フレームごとに、受信部３２１－ｎが出力したモノラル符号が入力される。復号装置３２２－ｎは、フレームごとに、入力されたモノラル符号を上述した所定の復号方式で復号して１個の復号ディジタル音信号を得て再生部３２３－ｎに出力する（ステップＳ３２２）。
［［再生部３２３－ｎ］］
再生部３２３－ｎは、入力された１個の復号ディジタル音信号に対応する音を出力する（ステップＳ３２３）。
再生部３２３－ｎは、例えば、１個のDA変換部と１個のスピーカを含む。DA変換部は、入力された復号ディジタル音信号をアナログの電気信号に変換して出力する。スピーカは、DA変換部から入力されたアナログの電気信号に対応する音を発生する。スピーカは、ステレオヘッドフォンやステレオイヤホンに備えられたものであってもよい。ステレオヘッドフォンやステレオイヤホンに備えられたスピーカ、すなわち２個のスピーカを用いる場合には、例えば、再生部３２３－ｎは、DA変換部が出力した電気信号を２個のスピーカに入力して、１個の復号ディジタル音信号に対応する音（復号音信号）を２個のスピーカから発生する。
〔効果〕
電話回線専用端末装置３００－ｎでも複数回線対応端末装置２００－ｍと同じ符号化方式と復号方式を用いていることから、電話回線専用端末装置３００－ｎでは、最低限の音質の復号音信号を得られるように互換性を確保した上で、複数回線対応端末装置２００－ｍでは、最低限の音質の復号音信号を得る場合とほぼ同じ遅延時間で、すなわち双方向通話の際に違和感が生じない遅延時間で、高音質の復号音信号を得ることができる。
＜＜モノラル符号でも拡張符号でもない符号もある形態＞＞
複数回線対応端末装置２００－ｍの音信号送信側装置２１０－ｍは、上述したモノラル符号でも上述した拡張符号でもない符号（追加符号）を得て出力するようにしてもよい。具体的には、符号化装置２１２－ｍは追加符号も得て送信部２１３－ｍに出力するようにし、送信部２１３－ｍは、符号化装置２１２－ｍから入力された追加符号を第一通信回線４１０－ｍと第二通信回線５１０－ｍの何れかに出力するようにしてもよい。追加符号は、例えば、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号の高域成分の特徴を表す符号である。
同様に、複数回線対応端末装置２００－ｍの音信号受信側装置２２０－ｍには、上述したモノラル符号でも上述した拡張符号でもない符号（追加符号）が入力されて、複数回線対応端末装置２００－ｍの音信号受信側装置２２０－ｍは、追加符号も用いて復号音信号を得て出力するようにしてもよい。具体的には、受信部２２１－ｍは、第一通信回線４１０－ｍと第二通信回線５１０－ｍの何れかから入力された追加符号を復号装置２２２－ｍに出力し、復号装置２２２－ｍは、受信部２２１－ｍから入力された追加符号も用いて復号音信号を得るようにしてもよい。
＜プログラム及び記録媒体＞
複数回線対応端末装置２００－ｍの各部の処理をコンピュータにより実現してもよい。言い換えれば、複数回線対応端末装置２００－ｍにおける符号化方法、複数回線対応端末装置２００－ｍにおける復号方法のそれぞれの各ステップの処理をコンピュータによって実行してもよい。この場合、各ステップの処理はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各ステップの処理がコンピュータ上で実現される。図１４は、上述の処理を実現するコンピュータの機能構成の一例を示す図である。当該処理は、記録部２０２０に、コンピュータを上述の装置として機能させるためのプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。
これらの処理内容を記述したプログラムのそれぞれは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、各部の処理は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理の少なくとも一部をハードウェア的に実現することとしてもよい。
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

Claims (38)

  1. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
    フレームごとに、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
    前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信ステップと、
    フレームごとに、前記受信ステップで出力した前記モノラル符号と、前記受信ステップで出力した前記拡張符号と、に基づいてＣ個（Ｃは２以上の整数）のチャンネルの復号ディジタル音信号を得て出力する復号ステップと、
    を含む音信号受信復号方法。
  2. 請求項１に記載の音信号受信復号方法であって、
    前記復号ステップは、
    前記受信ステップで出力した前記モノラル符号を復号してモノラル復号ディジタル音信号を得るモノラル復号ステップと、
    前記モノラル復号ディジタル音信号がＣ個のチャンネルの前記復号ディジタル音信号が混合された信号であると見做し、前記受信ステップで出力した前記拡張符号に基づいて得られる特徴パラメータがＣ個のチャンネルの前記復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、Ｃ個のチャンネルの前記復号ディジタル音信号を得て出力する拡張復号ステップと、
    を含むことを特徴とする音信号受信復号方法。
  3. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
    フレームごとに、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてＣ個（Ｃは２以上の整数）のチャンネルの復号ディジタル音信号を得て出力し、
    前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてＣ個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、
    を含む音信号復号方法。
  4. 請求項３に記載の音信号復号方法であって、
    前記復号ステップは、
    前記モノラル符号を復号してモノラル復号ディジタル音信号を得るモノラル復号ステップと、
    前記モノラル復号ディジタル音信号がＣ個のチャンネルの前記復号ディジタル音信号が混合された信号であると見做し、前記拡張符号に基づいて得られる特徴パラメータがＣ個のチャンネルの前記復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、Ｃ個のチャンネルの前記復号ディジタル音信号を得て出力する拡張復号ステップと、
    を含むことを特徴とする音信号復号方法。
  5. 請求項４に記載の音信号復号方法であって、
    前記特徴パラメータは、
    前記拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均または重み付き平均である
    ことを特徴とする音信号復号方法。
  6. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化送信方法であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号と、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す拡張符号と、を得る符号化ステップと、
    フレームごとに、前記符号化ステップで得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、前記符号化ステップで得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信ステップと、
    を含む音信号符号化送信方法。
  7. 請求項６に記載の音信号符号化送信方法であって、
    前記符号化ステップで得る拡張符号は、
    現フレームのＣ個のチャンネルの前記ディジタル音信号から得た特徴パラメータと、過去のフレームの特徴パラメータと、の平均または重み付き平均を表す符号である
    ことを特徴とする音信号符号化送信方法。
  8. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化送信方法であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、
    複数フレームのうちの予め定めたフレームについては、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す拡張符号を得る符号化ステップと、
    フレームごとに、前記符号化ステップで得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、
    前記予め定めたフレームについては、前記符号化ステップで得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信ステップと、
    を含む音信号符号化送信方法。
  9. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化送信方法であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、
    フレームごとに、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを得て、
    複数フレームのうちの予め定めたフレームについては、前記特徴パラメータの平均または重み付き平均を表す拡張符号を得る符号化ステップと、
    フレームごとに、前記符号化ステップで得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、
    前記予め定めたフレームについては、前記符号化ステップで得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信ステップと、
    を含む音信号符号化送信方法。
  10. 請求項６ないし９のいずれか１項に記載の音信号符号化送信方法であって、
    前記特徴パラメータは、
    前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の時間差を表すパラメータ、または、前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の周波数帯域ごとの強度差を表すパラメータである
    ことを特徴とする音信号符号化送信方法。
  11. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化方法であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号と、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号と、を得て出力する符号化ステップ、
    を含む音信号符号化方法。
  12. 請求項１１に記載の音信号符号化方法であって、
    前記符号化ステップで得る拡張符号は、
    現フレームのＣ個のチャンネルの前記ディジタル音信号から得た特徴パラメータと、過去のフレームの特徴パラメータと、の平均または重み付き平均を表す符号である
    ことを特徴とする音信号符号化方法。
  13. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化方法であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号を得て出力し、
    複数フレームのうちの予め定めたフレームについては、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号を得て出力する符号化ステップ、
    を含む音信号符号化方法。
  14. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号符号化方法であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号を得て出力し、
    フレームごとに、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを得て、
    複数フレームのうちの予め定めたフレームについては、前記特徴パラメータの平均または重み付き平均を表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号を得て出力する符号化ステップ、
    を含む音信号符号化方法。
  15. 請求項１１ないし１４のいずれか１項に記載の音信号符号化方法であって、
    前記特徴パラメータは、
    前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の時間差を表すパラメータ、または、前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の周波数帯域ごとの強度差を表すパラメータである
    ことを特徴とする音信号符号化方法。
  16. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
    フレームごとに、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
    前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信部と、
    フレームごとに、前記受信部が出力した前記モノラル符号と、前記受信部が出力した前記拡張符号と、に基づいてＣ個（Ｃは２以上の整数）のチャンネルの復号ディジタル音信号を得て出力する復号装置と、
    を含む音信号受信側装置。
  17. 請求項１６に記載の音信号受信側装置であって、
    前記復号装置は、
    前記受信部が出力した前記モノラル符号を復号してモノラル復号ディジタル音信号を得るモノラル復号部と、
    前記モノラル復号ディジタル音信号がＣ個のチャンネルの前記復号ディジタル音信号が混合された信号であると見做し、前記受信部が出力した前前記拡張符号に基づいて得られる特徴パラメータがＣ個のチャンネルの前記復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、Ｃ個のチャンネルの前記復号ディジタル音信号を得て出力する拡張復号部と、
    を含むことを特徴とする音信号受信側装置。
  18. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
    フレームごとに、前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてＣ個（Ｃは２以上の整数）のチャンネルの復号ディジタル音信号を得て出力し、
    前記第二通信回線から入力された第二符号列に含まれる拡張符号に前記第一通信回線から入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてＣ個のチャンネルの復号ディジタル音信号を得て出力する復号部、
    を含む復号装置。
  19. 請求項１８に記載の復号装置であって、
    前記復号部は、
    前記モノラル符号を復号してモノラル復号ディジタル音信号を得るモノラル復号部と、
    前記モノラル復号ディジタル音信号がＣ個のチャンネルの前記復号ディジタル音信号が混合された信号であると見做し、前記拡張符号に基づいて得られる特徴パラメータがＣ個のチャンネルの前記復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、Ｃ個のチャンネルの前記復号ディジタル音信号を得て出力する拡張復号部と、
    を含むことを特徴とする復号装置。
  20. 請求項１９に記載の復号装置であって、
    前記特徴パラメータは、
    前記拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均または重み付き平均である
    ことを特徴とする復号装置。
  21. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号送信側装置であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号と、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す拡張符号と、を得る符号化部と、
    フレームごとに、前記符号化部が得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、前記符号化部が得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信部と、
    を含む音信号送信側装置。
  22. 請求項２１に記載の音信号送信側装置であって、
    前記符号化部が得る拡張符号は、
    現フレームのＣ個のチャンネルの前記ディジタル音信号から得た特徴パラメータと、過去のフレームの特徴パラメータと、の平均または重み付き平均を表す符号である
    ことを特徴とする音信号送信側装置。
  23. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号送信側装置であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、
    複数フレームのうちの予め定めたフレームについては、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す拡張符号を得る符号化部と、
    フレームごとに、前記符号化部が得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、
    前記予め定めたフレームについては、前記符号化部が得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信部と、
    を含む音信号送信側装置。
  24. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号送信側装置であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、
    フレームごとに、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを得て、
    複数フレームのうちの予め定めたフレームについては、前記特徴パラメータの平均または重み付き平均を表す拡張符号を得る符号化部と、
    フレームごとに、前記符号化部が得たモノラル符号を含む第一符号列を前記第一通信回線に出力し、
    前記予め定めたフレームについては、前記符号化部が得た拡張符号を含む第二符号列を前記第二通信回線に出力する送信部と、
    を含む音信号送信側装置。
  25. 請求項２１ないし２４のいずれか１項に記載の音信号送信側装置であって、
    前記特徴パラメータは、
    前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の時間差を表すパラメータ、または、前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の周波数帯域ごとの強度差を表すパラメータである
    ことを特徴とする音信号送信側装置。
  26. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる符号化装置であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号と、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号と、を得て出力する符号化部、
    を含む符号化装置。
  27. 請求項２６に記載の符号化装置であって、
    前記符号化部が得る拡張符号は、
    現フレームのＣ個のチャンネルの前記ディジタル音信号から得た特徴パラメータと、過去のフレームの特徴パラメータと、の平均または重み付き平均を表す符号である
    ことを特徴とする符号化装置。
  28. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる符号化装置であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号を得て出力し、
    複数フレームのうちの予め定めたフレームについては、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号を得て出力する符号化部、
    を含む符号化装置。
  29. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる符号化装置であって、
    フレームごとに、入力されたＣ個（Ｃは２以上の整数）のチャンネルのディジタル音信号を混合した信号を表す符号であって第一符号列に含めて前記第一通信回線に出力する符号であるモノラル符号を得て出力し、
    フレームごとに、入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである特徴パラメータを得て、
    複数フレームのうちの予め定めたフレームについては、前記特徴パラメータの平均または重み付き平均を表す符号であって第二符号列に含めて前記第二通信回線に出力する符号である拡張符号を得て出力する符号化部、
    を含む符号化装置。
  30. 請求項２６ないし２９のいずれか１項に記載の符号化装置であって、
    前記特徴パラメータは、
    前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の時間差を表すパラメータ、または、前記入力されたＣ個のチャンネルの前記ディジタル音信号のチャンネル間の周波数帯域ごとの強度差を表すパラメータである
    ことを特徴とする符号化装置。
  31. 請求項１または２に記載の音信号受信復号方法をコンピュータに実行させるためのプログラム。
  32. 請求項３ないし５のいずれか１項に記載の音信号復号方法をコンピュータに実行させるためのプログラム。
  33. 請求項６ないし１０のいずれか１項に記載の音信号符号化送信方法をコンピュータに実行させるためのプログラム。
  34. 請求項１１ないし１５のいずれか１項に記載の音信号符号化方法をコンピュータに実行させるためのプログラム。
  35. 請求項１または２に記載の音信号受信復号方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  36. 請求項３ないし５のいずれか１項に記載の音信号復号方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  37. 請求項６ないし１０のいずれか１項に記載の音信号符号化送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  38. 請求項１１ないし１５のいずれか１項に記載の音信号符号化方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2021525902A 2019-06-13 2019-12-27 音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体 Active JP7205626B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/023425 WO2020250371A1 (ja) 2019-06-13 2019-06-13 音信号符号化送信方法、音信号符号化方法、音信号送信側装置、符号化装置、プログラム及び記録媒体
JPPCT/JP2019/023425 2019-06-13
PCT/JP2019/051597 WO2020250472A1 (ja) 2019-06-13 2019-12-27 音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020250472A1 JPWO2020250472A1 (ja) 2020-12-17
JP7205626B2 true JP7205626B2 (ja) 2023-01-17

Family

ID=73781719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525902A Active JP7205626B2 (ja) 2019-06-13 2019-12-27 音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20220238122A1 (ja)
EP (1) EP3985664A4 (ja)
JP (1) JP7205626B2 (ja)
CN (1) CN114144832A (ja)
WO (2) WO2020250371A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250369A1 (ja) * 2019-06-13 2020-12-17 日本電信電話株式会社 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体
WO2020250371A1 (ja) * 2019-06-13 2020-12-17 日本電信電話株式会社 音信号符号化送信方法、音信号符号化方法、音信号送信側装置、符号化装置、プログラム及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289196A (ja) 2002-03-08 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム
JP2005117132A (ja) 2003-10-03 2005-04-28 Nippon Telegr & Teleph Corp <Ntt> 音声信号パケット通信方法、音声信号パケット送信方法、受信方法、これらの装置、そのプログラムおよび記録媒体
WO2006070751A1 (ja) 2004-12-27 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
WO2008102527A1 (ja) 2007-02-20 2008-08-28 Panasonic Corporation マルチチャンネル復号装置、マルチチャンネル復号方法、プログラム及び半導体集積回路
WO2009129822A1 (en) 2008-04-22 2009-10-29 Nokia Corporation Efficient encoding and decoding for multi-channel signals

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903301A (en) * 1987-02-27 1990-02-20 Hitachi, Ltd. Method and system for transmitting variable rate speech signal
TW224191B (ja) * 1992-01-28 1994-05-21 Qualcomm Inc
JPH11251917A (ja) * 1998-02-26 1999-09-17 Sony Corp 符号化装置及び方法、復号化装置及び方法、並びに記録媒体
US7359979B2 (en) * 2002-09-30 2008-04-15 Avaya Technology Corp. Packet prioritization and associated bandwidth and buffer management techniques for audio over IP
CN111602196B (zh) * 2018-01-17 2023-08-04 日本电信电话株式会社 编码装置、解码装置、它们的方法及计算机可读记录介质
CN111602197B (zh) * 2018-01-17 2023-09-05 日本电信电话株式会社 解码装置、编码装置、它们的方法以及计算机可读记录介质
WO2020250369A1 (ja) * 2019-06-13 2020-12-17 日本電信電話株式会社 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体
WO2020250371A1 (ja) * 2019-06-13 2020-12-17 日本電信電話株式会社 音信号符号化送信方法、音信号符号化方法、音信号送信側装置、符号化装置、プログラム及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289196A (ja) 2002-03-08 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム
JP2005117132A (ja) 2003-10-03 2005-04-28 Nippon Telegr & Teleph Corp <Ntt> 音声信号パケット通信方法、音声信号パケット送信方法、受信方法、これらの装置、そのプログラムおよび記録媒体
WO2006070751A1 (ja) 2004-12-27 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
WO2008102527A1 (ja) 2007-02-20 2008-08-28 Panasonic Corporation マルチチャンネル復号装置、マルチチャンネル復号方法、プログラム及び半導体集積回路
WO2009129822A1 (en) 2008-04-22 2009-10-29 Nokia Corporation Efficient encoding and decoding for multi-channel signals

Also Published As

Publication number Publication date
WO2020250371A1 (ja) 2020-12-17
WO2020250472A1 (ja) 2020-12-17
CN114144832A (zh) 2022-03-04
EP3985664A4 (en) 2023-07-19
US20220238122A1 (en) 2022-07-28
EP3985664A1 (en) 2022-04-20
JPWO2020250472A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
JP6786679B2 (ja) 複数のオーディオ信号の符号化
US11417348B2 (en) Truncateable predictive coding
JP5357904B2 (ja) 変換補間によるオーディオパケット損失補償
US20240114307A1 (en) Representing spatial audio by means of an audio signal and associated metadata
JP7205626B2 (ja) 音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体
JP2019504344A (ja) 時間的オフセット推定
JP7192986B2 (ja) 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体
JP7192987B2 (ja) 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体
JP7176418B2 (ja) 多地点制御方法、装置及びプログラム
WO2020149165A1 (ja) 多地点制御方法、装置及びプログラム
JP7092050B2 (ja) 多地点制御方法、装置及びプログラム
JP7092047B2 (ja) 符号化復号方法、復号方法、これらの装置及びプログラム
WO2020149166A1 (ja) 多地点制御方法、装置及びプログラム
JP2024518846A (ja) ３次元オーディオ信号符号化方法および装置、ならびにエンコーダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7205626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150