JP7192987B2 - 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 - Google Patents

音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 Download PDF

Info

Publication number
JP7192987B2
JP7192987B2 JP2021525901A JP2021525901A JP7192987B2 JP 7192987 B2 JP7192987 B2 JP 7192987B2 JP 2021525901 A JP2021525901 A JP 2021525901A JP 2021525901 A JP2021525901 A JP 2021525901A JP 7192987 B2 JP7192987 B2 JP 7192987B2
Authority
JP
Japan
Prior art keywords
code
communication line
monaural
code string
sound signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021525901A
Other languages
English (en)
Other versions
JPWO2020250471A1 (ja
Inventor
健弘 守谷
優 鎌本
亮介 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2020250471A1 publication Critical patent/JPWO2020250471A1/ja
Application granted granted Critical
Publication of JP7192987B2 publication Critical patent/JP7192987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Description

本発明は、情報伝送の優先度が異なる少なくとも2つの通信網に接続された端末装置における音信号の復号技術、これに対応する音信号の符号化技術、の少なくとも何れかに関する。
情報伝送の優先度が異なる2つの通信網に接続された端末装置間における音信号の符号化と復号の先行技術としては、特許文献1の技術がある。特許文献1の符号化装置は、所定の時間区間ごとに、すなわちフレームごとに、入力された音信号をスケーラブル符号化してベースレイヤの符号である低域符号1と拡張レイヤの符号である低域符号2と高域符号を得て、低域符号1を優先度が高いパケットに含めて帯域保証されたネットワークBに少なくとも送出し、低域符号2と高域符号を優先度が低いパケットに含めて帯域保証されていないネットワークAに送出する。特許文献1の復号装置は、優先度が高いパケットを受信したときに制限時間経過の監視を開始し、制限時間が経過するとその時点で受信済みのパケットを用いて復号をする。すなわち、通常はネットワークAの方がネットワークBよりも遅延が大きいことからすると、特許文献1の復号装置は、実質的には、ベースレイヤの符号の到着から上述した制限時間後に、低域符号2と高域符号も到着していれば、低域符号2と高域符号も用いた復号処理を行って高音質の復号音信号を得て、低域符号2と高域符号が到着していなければ、低域符号1のみを用いた復号処理を行って必要最低限の音質の復号音信号を得る。
特開2005-117132公報
特許文献1の技術では、多くのフレームで高音質の復号音信号を得るためには、必要最低限の音質の復号音信号のみを得る構成で生じる遅延時間よりもはるかに長い時間を上述した制限時間として設定する必要がある。従って、特許文献1の技術には、多くのフレームで高音質の復号音信号を得ようとすると、双方向通話の際に違和感が生じてしまうほど長い遅延時間となるように上述した制限時間を設定しなければならないという課題がある。また、特許文献1の技術において、双方向通話の際に違和感が生じないようにこの制限時間を0に近付けてしまうと、優先度が高いパケットが制限時間内に到着しているフレームの割合が非常に小さくなってしまう。従って、特許文献1の技術には、双方向通話の際に違和感が生じないように制限時間を設定すると、ほとんどのフレームで高音質の復号音信号を得ることができないという課題がある。
そこで本発明では、必要最低限の音質の復号音信号のみを得る構成よりも遅延時間を大幅に増大させることなく、高音質の復号音信号を得ることができる技術を提供することを目的とする。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であるか否かを判断し、前記判断において前記平均値が前記制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、前記判断において前記平均値が前記制限時間Tmin未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信ステップと、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断し、前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が、予め定めた第一の制限時間Tmin未満であるか、前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であるか、を判断し、前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合と、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、前記差が前記予め定めた値未満でないフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、前記差が前記予め定めた値未満であるフレームについては、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記差が前記予め定めた値未満でないフレームについては、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記平均値が前記制限時間Tmin未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記平均値が前記制限時間Tmax未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記平均値が前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力し、前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記モノラル符号と前記拡張符号に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記差が前記予め定めた値未満でないフレームについては、前記モノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、を含む。
本発明によれば、必要最低限の音質の復号音信号のみを得る構成よりも遅延時間を大幅に増大させることなく、高音質の復号音信号を得ることができる。
電話システムの例を示すブロック図である。 複数回線対応端末装置の例を示すブロック図である。 複数回線対応端末装置の音信号送信側装置の処理の例を示す流れ図である。 複数回線対応端末装置の音信号受信側装置の処理の例を示す流れ図である。 複数回線対応端末装置の音信号受信側装置における、入力される符号と出力する信号の時間的な関係を模式的に示す図である。 従来技術を用いた音信号受信側装置における、入力される符号と出力する信号の時間的な関係を模式的に示す図である。 多地点制御装置の例を示すブロック図である。 多地点制御装置の処理の例を示す流れ図である。 多地点制御装置の例を示すブロック図である。 多地点制御装置の処理の例を示す流れ図である。 電話回線専用端末装置の例を示すブロック図である。 電話回線専用端末装置の音信号送信側装置の処理の例を示す流れ図である。 電話回線専用端末装置の音信号受信側装置の処理の例を示す流れ図である。 本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。
≪電話システム100≫
電話システム100は、図1に示す通り、複数回線対応端末装置200-m(mは1以上M以下の各整数、Mは2以上の整数)と、第一通信網400と、第二通信網500と、を含む。電話システム100は、図1に破線で示す通り、電話回線専用端末装置300-n(nは1以上N以下の各整数、Nは1以上の整数)を含んでもよい。各複数回線対応端末装置200-mは、第一通信網400の各通信回線である第一通信回線410-mを介して別の端末装置と接続可能とされている。さらに、各複数回線対応端末装置200-mは、第二通信網500の各通信回線である第二通信回線510-mを介して別の複数回線対応端末装置と接続可能とされている。各電話回線専用端末装置300-nは、第一通信網400の各通信回線である第一通信回線420-nを介して別の端末装置と接続可能とされている。
≪第一通信網400、第二通信網500≫
第一通信網400と第二通信網500とは、情報伝送の優先度が異なる通信網である。第一通信網400は、第二通信網500よりも情報伝送の優先度が高い通信網であり、ある端末装置から別の端末装置に所定のビットレートの符号列を短い遅延時間で伝送できるようにした通信網である。第一通信網400は、例えば、従来型携帯電話機やスマートフォンである端末装置と、従来型携帯電話機やスマートフォンである別の端末装置と、の間での双方向通話に用いられる通信網であり、一般には電話回線と呼ばれる通信回線を備えた通信網である。第二通信網500は、第一通信網400よりも情報伝送の優先度が低い通信網であり、ある端末装置から別の端末装置に遅延時間の制約を設けずに符号列を伝送できるようにした通信網である。第二通信網500は、例えば、スマートフォンである端末装置からスマートフォンである別の端末装置に映像や文字列などのデータを伝送する場合に用いられる通信網であり、一般にはインターネット回線と呼ばれる通信回線を備えた通信網である。
図1には第一通信網400と第二通信網500を分けて記載してあるが、第一通信網400と第二通信網500が物理的に分かれている必要はなく、論理的に分かれていればよい。同様に、端末装置が第一通信回線410-mと第二通信回線510-mの両方に接続されている場合において、第一通信回線410-mと第二通信回線510-mが物理的に分かれている必要はなく、論理的に分かれていればよい。すなわち、各端末装置は1つのIP通信回線によって1つのIP通信網に接続されていて、パケットの優先制御などによって、情報伝送の優先度が高い通信網及び通信回線である第一通信網400及び第一通信回線410-mと、第一通信網400及び第一通信回線410-mよりも情報伝送の優先度が低い通信網及び通信回線である第二通信網500及び第二通信回線510-mと、が論理的に構築されていてもよい。例えば、複数回線対応端末装置200-mがVoLTE(Voice over LTE, Voice over Long Term Evolution)対応のスマートフォンであり、第一通信網400及び第一通信回線410-mの例はLTE通信網及びLTE回線におけるVoLTE通信網及びVoLTE回線であり、第二通信網500及び第二通信回線510-mの例はLTE通信網及びLTE回線におけるインターネット通信網及びインターネット回線であってもよい。
なお、上述した通信網、通信回線、端末装置の例は全て移動通信のものであるが、各通信網が固定通信用のものであるか移動通信用のものであるか、各通信回線が有線であるか無線であるか、各端末装置が固定電話機であるか携帯電話機であるか、などには制約はない。
<第一実施形態>
第一実施形態の複数回線対応端末装置について説明する。
≪複数回線対応端末装置200-m≫
複数回線対応端末装置200-mは、例えばVoLTE対応のスマートフォンであり、図2に示す通り、音信号送信側装置210-mと音信号受信側装置220-mを含む。音信号送信側装置210-mは収音部211-mと符号化装置212-mと送信部213-mを含む。音信号受信側装置220-mは受信部221-mと復号装置222-mと再生部223-mを含む。符号化装置212-mは、信号分析部2121-mとモノラル符号化部2122-mを含む。復号装置222-mは、モノラル復号部2221-mと拡張復号部2222-mを含む。なお、点線で図示する通り、信号分析部2121-mとモノラル符号化部2122-mをまとめて符号化部2129-mといい、モノラル復号部2221-mと拡張復号部2222-mをまとめて復号部2229-mという。また、符号化装置212-m、復号装置222-mをそれぞれ音信号符号化装置212-m、音信号復号装置222-mということもある。複数回線対応端末装置200-mの音信号送信側装置210-mは、図3及び以下に例示するステップS211からステップS213の処理を行い、複数回線対応端末装置200-mの音信号受信側装置220-mは、図4及び以下に例示するステップS221からステップS223の処理を行う。
[音信号送信側装置210-m]
音信号送信側装置210-mは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、2個のチャンネルのディジタル音信号に対応するモノラル符号を含む符号列である第一符号列を得て第一通信回線410-mに出力し、当該2個のチャンネルのディジタル音信号に対応する拡張符号を含む符号列である第二符号列を得て第二通信回線510-mに出力する。
[[収音部211-m]]
収音部211-mは、2個のマイクロホンと2個のAD変換部を含む。各マイクロホンと各AD変換部は一対一に対応付けられている。マイクロホンは、マイクロホンの周辺の空間領域で発生した音を収音してアナログの電気信号に変換してAD変換部に出力する。AD変換部は、入力されたアナログの電気信号を例えばサンプリング周波数が8kHzのPCM信号であるディジタル音信号に変換して出力する。すなわち、収音部211-mは、2個のマイクロホンのそれぞれで収音した音に対応する2個のチャンネルのディジタル音信号、例えば左チャンネルと右チャンネルの2チャンネルステレオのディジタル音信号、を符号化装置212-mに出力する(ステップS211)。
なお、収音部211-mの全部または一部は、音信号送信側装置210-mの内部に備えずに、音信号送信側装置210-mに接続されるようにしてもよい。例えば、音信号送信側装置210-mの収音部211-mはマイクロホンを備えずに、音信号送信側装置210-mに接続されたマイクロホンから音信号送信側装置210-mの収音部211-mのAD変換部に2個のアナログの電気信号を入力するようにしてもよい。または、音信号送信側装置210-mは収音部211-mを備えずに、音信号送信側装置210-mに接続されたAD変換器などの収音機器から音信号送信側装置210-mの符号化装置212-mに2個のチャンネルのディジタル音信号を入力するようにしてもよい。
[[符号化装置212-m]]
符号化装置212-mには、収音部211-m、または、音信号送信側装置210-mに接続された収音機器、から2個のチャンネルのディジタル音信号が入力される。符号化装置212-mは、フレームごとに、入力された2個のチャンネルのディジタル音信号に対応するモノラル符号と拡張符号を得て送信部213-mに出力する(ステップS212)。
[[[信号分析部2121-m]]]
信号分析部2121-mは、フレームごとに、入力された2個のチャンネルのディジタル音信号から、入力された2個のチャンネルのディジタル音信号を混合した信号であるモノラル信号と、入力された2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号と、を得る。信号分析部2121-mは、得たモノラル信号をモノラル符号化部2122-mに出力し、得た拡張符号を送信部213-mに出力する。時間的変動が小さいパラメータとは、時刻への依存性の低いパラメータであり、時間分解能が低いパラメータである。
〔信号分析部2121-mの第1例〕
第1例として、入力された2個のチャンネルのディジタル音信号の時間差を表す情報を特徴パラメータとする場合の信号分析部2121-mのフレームごとの動作を説明する。信号分析部2121-mは、まず、入力された2個のチャンネルのディジタル音信号の時間差を表す情報である特徴パラメータを得る(ステップS2121-11)。入力された2個のチャンネルのディジタル音信号の時間差は周知の何れの方法で求めてもよい。例えば、信号分析部2121-mは、予め定めた範囲内の各時間差の候補サンプル数について、一方のチャンネル(第一チャンネル)のディジタル音信号のサンプル列と、他方のチャンネル(第二チャンネル)のディジタル音信号のサンプル列を当該候補サンプル数だけ進めたサンプル列と、の相関値を計算して、相関値が最大となる候補サンプル数である時間差サンプル数を特徴パラメータとして得る。
信号分析部2121-mは、次に、第一チャンネルのディジタル音信号のサンプル列と、第二チャンネルのディジタル音信号のサンプル列に特徴パラメータが表す時間差を与えたサンプル列と、の対応するサンプル同士の加算による系列、対応するサンプル同士の平均値による系列、これらの加算や平均値による系列を変形して得た系列、の何れかを、2個のチャンネルのディジタル音信号を混合した信号であるモノラル信号として得る(ステップS2121-12)。第二チャンネルのディジタル音信号のサンプル列に特徴パラメータが表す時間差を与えたサンプル列とは、例えば、第二チャンネルのディジタル音信号のサンプル列を特徴パラメータが表す時間差サンプル数だけ進めたサンプル列である。
信号分析部2121-mは、更に、特徴パラメータを表す符号である拡張符号を得る(ステップS2121-13)。特徴パラメータを表す符号である拡張符号は周知の方法で得ればよい。例えば、信号分析部2121-mは、入力された2個のチャンネルのディジタル音信号の時間差サンプル数をスカラ量子化して符号を得て、得た符号を拡張符号として出力する。または、例えば、信号分析部2121-mは、入力された2個のチャンネルのディジタル音信号の時間差サンプル数そのものを表す2進数を拡張符号として出力する。
〔信号分析部2121-mの第2例〕
第2例として、入力された2個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報を特徴パラメータとする場合の信号分析部2121-mのフレームごとの動作を説明する。なお、以下では複素DFT(Discrete Fourier Transformation)を用いる具体例を説明しているが、複素DFT以外の周知の周波数領域への変換手法を用いてもよい。
信号分析部2121-mは、まず、入力された2個のチャンネルのディジタル音信号それぞれを複素DFTして複素DFT係数列を得る(ステップS2121-21)。複素DFT係数列は、フレーム間でオーバーラップのある窓をかける処理、複素DFTにより得られる複素数の対称性を考慮した処理、などの周知の方法も用いて得るようにしてもよい。例えば、フレームが128点のサンプルから構成される場合であれば、直前のフレームの最後の64点のサンプルと直後のフレームの最初の64点のサンプルを含む連続する256点のディジタル音信号のサンプル列を複素DFTして得られる256個の複素数による系列のうちの前半の128個の複素数による系列を複素DFT係数列として得ればよい。以降では、fを1以上128以下の各整数とし、第一チャンネルの複素DFT係数列の各複素DFT係数をV1(f)とし、第二チャンネルの複素DFT係数列の各複素DFT係数をV2(f)とする。信号分析部2121-mは、次に、2個のチャンネルの複素DFT係数列から、各複素DFT係数の複素面上での半径の値による系列を得る(ステップS2121-22)。各チャンネルの各複素DFT係数の複素面上での半径の値は、各チャンネルのディジタル音信号の周波数ビンごとの強度に相当する。以降では、第一チャンネルの複素DFT係数V1(f)の複素面上での半径の値をV1r(f)とし、第二チャンネルの複素DFT係数V2(f)の複素面上での半径の値をV2r(f)とする。信号分析部2121-mは、次に、周波数帯域それぞれについて一方のチャンネルの半径の値と他方のチャンネルの半径の値との比の平均値を得て、平均値による系列を特徴パラメータとして得る(ステップS2121-23)。この平均値による系列が、入力された2個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報に相当する特徴パラメータである。例えば、4個の帯域とする場合であれば、fが1から32まで、33から64まで、65から96まで、97から128まで、の4個の帯域それぞれについての、第一チャンネルの半径の値V1r(f)を第二チャンネルの半径の値V2r(f)で除算して得た32個の値の平均値Mr(1), Mr(2), Mr(3), Mr(4)を得て、平均値による系列{Mr(1), Mr(2), Mr(3), Mr(4)}を特徴パラメータとして得る。
なお、帯域数は周波数ビンの数以下の値であればよく、帯域数として周波数ビン数と同じ値を用いてもよいし、1を用いてもよい。帯域数として周波数ビン数と同じ値を用いる場合には、信号分析部2121-mは、各周波数ビンの一方のチャンネルの半径の値と他方のチャンネルの半径の値との比の値を得て、得た比の値による系列を特徴パラメータとして得ればよい。帯域数として1を用いる場合には、信号分析部2121-mは、各周波数ビンの一方のチャンネルの半径の値と他方のチャンネルの半径の値との比の値を得て、得た比の値の全帯域の平均値を特徴パラメータとして得ればよい。また、帯域数を複数とする場合の各周波数帯域に含める周波数ビン数は任意であり、例えば、周波数が低い帯域に含める周波数ビン数を周波数が高い帯域に含める周波数ビン数よりも少なくしてもよい。
また、信号分析部2121-mは、一方のチャンネルの半径の値と他方のチャンネルの半径の値との比に代えて、一方のチャンネルの半径の値と他方のチャンネルの半径の値との差を用いてもよい。すなわち、上述した例であれば、第一チャンネルの半径の値V1r(f)を第二チャンネルの半径の値V2r(f)で除算して得た値に代えて、第一チャンネルの半径の値V1r(f)から第二チャンネルの半径の値V2r(f)を減算して得た値を用いてもよい。
信号分析部2121-mは、また、第一チャンネルのディジタル音信号のサンプル列と、第二チャンネルのディジタル音信号のサンプル列と、の対応するサンプル同士の加算による系列、対応するサンプル同士の平均値による系列、これらの加算や平均値による系列を変形して得た系列、の何れかを、2個のチャンネルのディジタル音信号を混合した信号であるモノラル信号として得る(ステップS2121-24)。なお、信号分析部2121-mは、ステップS2121-21で得た第一チャンネルの複素DFT係数列の各複素DFT係数V1(f)と第二チャンネルの複素DFT係数列の各複素DFT係数V2(f)の半径の平均値VMr(f)と角度の平均値VMθ(f)とを得て、複素面上での半径がVMr(f)であり角度がVMθ(f)である複素数VM(f)による系列を逆複素DFTして、2個のチャンネルのディジタル音信号を混合した信号であるモノラル信号を得てもよい(ステップS2121-24’)。
信号分析部2121-mは、更に、特徴パラメータを表す符号である拡張符号を得る(ステップS2121-25)。特徴パラメータを表す符号である拡張符号は周知の方法で得ればよい。例えば、信号分析部2121-mは、ステップS2121-23で得た値の系列をベクトル量子化して符号を得て、得た符号を拡張符号として出力する。または、例えば、信号分析部2121-mは、ステップS2121-23で得た値の系列に含まれる値それぞれをスカラ量子化して符号を得て、得た符号を合わせたものを拡張符号としてとして出力する。なお、信号分析部2121-mは、ステップS2121-23で得たのが1つの値である場合には、その1つの値をスカラ量子化して得た符号を拡張符号としてとして出力すればよい。
信号分析部2121-mの第1例で説明した入力された2個のチャンネルのディジタル音信号の時間差や、信号分析部2121-mの第2例で説明した入力された2個のチャンネルのディジタル音信号の周波数帯域ごとの強度差は、音源の位置に依存する。人や楽器などの一般的な音源であれば、音源の位置が時間変化することは少なく、音源の位置が時間変化する場合でも音源が急に動かない限りは、入力された2個のチャンネルのディジタル音信号の時間差や周波数帯域ごとの強度差はあまり変わらない。
従って、信号分析部2121-mは、処理対象としているフレームを含む連続した複数個のフレームについての、各フレームの入力された2個のチャンネルのディジタル音信号から得られた特徴パラメータの平均または重み付き平均、を特徴パラメータとして得て、得た特徴パラメータを表す拡張符号を出力するようにしてもよい。重み付き平均に用いる重みは、処理対象としているフレームについて最も大きな値とし、処理対象としているフレームから遠いフレームほど小さな値とすればよい。なお、処理対象としているフレームより未来のフレームの特徴パラメータを用いると、先読みが必要となり遅延が増加してしまうことから、信号分析部2121-mは、処理対象としているフレームを含む過去側の連続した複数個のフレームを用いるのがよい。なお、当然ながら、複数の周波数帯域ごとの強度差を表す情報のように特徴パラメータに複数個の要素が含まれる場合には、特徴パラメータの平均または重み付き平均とは、特徴パラメータの要素ごとの平均値または重み付き平均値を要素とする数値列のことである。
なお、例えば、入力された2個のチャンネルのディジタル音信号の波形の差分、すなわち、入力された2個のチャンネルのディジタル音信号の対応するサンプル同士の差によるサンプル列は、各サンプルの時刻を1サンプルずらしただけでも入力された2個のチャンネルのディジタル音信号の波形の差分とは全く異なるサンプル列となってしまうので、時刻への依存性が高い情報であり、時間分解能が高い情報であり、時間的変動が大きい情報である。同様に、入力された2個のチャンネルのディジタル音信号の位相差、例えば、ステップS2121-21で得た第一チャンネルの複素DFT係数列の各複素DFT係数V1(f)の複素面上での角度と第二チャンネルの複素DFT係数列の各複素DFT係数V2(f)の複素面上での角度との差は、時刻への依存性が高い情報であり、時間分解能が高い情報であり、時間的変動が大きい情報である。
すなわち、信号分析部2121-mが得る拡張符号が表す特徴パラメータは、直前に例示した、入力された2個のチャンネルのディジタル音信号の波形の差分や、入力された2個のチャンネルのディジタル音信号の位相差、のような、入力された2個のチャンネルのディジタル音信号の差分のうちの、音源が発した音信号の波形に依存する情報を表すパラメータではなく、信号分析部2121-mの第1例に示した入力された2個のチャンネルのディジタル音信号の時間差や、信号分析部2121-mの第2例に示した入力された2個のチャンネルのディジタル音信号の周波数帯域ごとの強度差、のような、入力された2個のチャンネルのディジタル音信号の差分のうちの、音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータである。要するに、信号分析部2121-mが得る拡張符号が表す特徴パラメータは、入力された2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータ、ともいえるし、入力された2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータ、ともいえるし、入力された2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時刻への依存性の低いパラメータ、ともいえるし、入力された2個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ音源とマイクロホンの空間における相対位置に依存する情報を表すパラメータ、ともいえる。
[[[モノラル符号化部2122-m]]]
モノラル符号化部2122-mは、フレームごとに、入力されたモノラル信号を所定の符号化方式で符号化してモノラル符号を得て送信部213-mに出力する。符号化方式としては、モノラル符号のビットレートが第一通信回線410-mの通信容量以下である符号化方式を用いる必要があり、例えば3GPP EVS規格(3GPP TS26.442)の13.2kbpsモードのような携帯電話用の電話帯域音声の符号化方式を用いればよい。
すなわち、符号化装置212-mは、フレームごとに、入力された2個のチャンネルのディジタル音信号を混合した信号を表すモノラル符号と、入力された2個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータである特徴パラメータを表す拡張符号と、を得る。なお、後述するように、符号化装置212-mが得るモノラル符号は、第一符号列に含めて第一通信回線に出力する符号であり、符号化装置212-mが得る拡張符号は、第二符号列に含めて第二通信回線に出力する符号である。
なお、符号化装置212-mは、処理対象としているフレームである現フレームの2個のチャンネルのディジタル音信号から得た特徴パラメータと、処理対象としている現フレームより過去のフレームの2個のチャンネルのディジタル音信号から得た特徴パラメータと、の平均または重み付き平均を表す符号を拡張符号としてもよい。
[[送信部213-m]]
送信部213-mは、フレームごとに、符号化装置221-mから入力されたモノラル符号を含む符号列である第一符号列を第一通信回線410-mに出力し、符号化装置221-mから入力された拡張符号を含む符号列である第二符号列を第二通信回線510-mに出力する(ステップS213)。
送信部213-mは、第一符号列が何れのフレームのモノラル符号を含むかを特定できるようにして出力する。例えば、送信部213-mは、フレーム番号やフレームが対応する時刻などのフレームを特定可能な情報を補助情報として第一符号列に含めて出力する。同様に、送信部213-mは、第二符号列が何れのフレームの拡張符号を含むかを特定できるようにして出力する。例えば、送信部213-mは、フレーム番号やフレームが対応する時刻などのフレームを特定可能な情報を補助情報として第二符号列に含めて出力する。なお、本第一実施形態の音信号受信側装置220-m及び以降の各実施形態及び変形例では、第一符号列にも第二符号列にも補助情報としてフレーム番号が含められている例で説明する。
[音信号受信側装置220-m]
音信号受信側装置220-mは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号と、に基づく音を出力する。
[[受信部221-m]]
受信部221-mは、フレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置222-mに出力する(ステップS221)。
第一通信回線410-mは双方向通話に用いられる優先度が高い通信網であるため、受信部221-mには、通話相手先の複数回線対応端末装置200-m’(m’はmとは異なる1以上M以下の整数)の音信号送信側装置210-m’の符号化装置212-m’がフレーム番号順に出力したモノラル符号を当該フレーム番号順にフレーム長の時間間隔で(すなわち、例えば20msの所定の時間間隔で)出力できるように、モノラル符号を含む第一符号列が第一通信回線410-mから入力されている。また、電話システム100は双方向通話を円滑に実現することを目的としたものであるため、受信部221-mは、通話相手先の音信号送信側装置210-m’の符号化装置212-m’が出力した符号をなるべく低遅延で復号装置222-mに出力するのが望ましい。そこで、受信部221-mは、通話相手先の音信号送信側装置210-m’が出力した第一符号列に含まれるモノラル符号を、当該通話相手先の音信号送信側装置210-m’が出力したフレーム番号順に、フレーム長の時間間隔で、各モノラル符号と同じフレーム番号の拡張符号を含む第二符号列が受信部221-mに入力されているか否かに関わらず、復号装置222-mに出力する。
第二通信回線510-mは優先度が低い通信網であるため、受信部221-mには、通常、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線410-mから入力されるよりも後に、第二通信回線510-mから入力される。すなわち、受信部221-mが復号装置222-mにモノラル符号を出力する時点では、通常、当該モノラル符号と同じフレーム番号の拡張符号を含む第二符号列は受信部221-mに入力されておらず、当該モノラル符号と同じフレーム番号の拡張符号を復号装置222-mに出力することはできない。また、第二通信回線510-mは優先度が低い通信網であるため、通話相手先の音信号送信側装置210-m’が出力した各フレームの第二符号列は、必ずしもフレーム番号順に第二通信回線510-mから入力されるわけではない。もちろん、第二通信網500の状況次第では、例えば第二通信網500がすいている場合などには、受信部221-mには、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列が、当該フレームの第一符号列が第一通信回線410-mから入力されるのと同時またはそれ以前に、第二通信回線510-mから入力されることも有り得る。すなわち、受信部221-mが復号装置222-mにモノラル符号を出力する時点で、当該モノラル符号と同じフレーム番号の拡張符号を含む第二符号列が受信部221-mに入力されていて、当該モノラル符号と同じフレーム番号の拡張符号を復号装置222-mに出力することができる場合もある。そこで、受信部221-mは、フレームごとに、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち復号装置222-mに出力するモノラル符号とフレーム番号が同じ拡張符号の代わりに、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち復号装置222-mに出力するモノラル符号とフレーム番号が最も近い拡張符号を、復号装置222-mに出力する。言い換えると、受信部221-mは、フレームごとに、第二通信回線510-mから入力された第二符号列のうち復号装置222-mに出力するモノラル符号が含まれていた第一符号列とフレーム番号が最も近い第二符号列に含まれる拡張符号を、復号装置222-mに出力する。
ここで、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち復号装置222-mに出力するモノラル符号とフレーム番号が最も近い拡張符号とは、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に復号装置222-mに出力するモノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうちの復号装置222-mに出力するモノラル符号とフレーム番号が同じ拡張符号であり、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に復号装置222-mに出力するモノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、復号装置222-mに出力するモノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、復号装置222-mに出力するモノラル符号とフレーム番号が同じではないものの、復号装置222-mに出力するモノラル符号とフレーム番号が最も近い拡張符号)である。これは後述する実施形態や変形例でも同様である。
すなわち、受信部221-mは、フレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する。当然ながら、受信部221-mは、モノラル符号についてはフレーム番号順に出力する。より具体的には、受信部221-mは、第一通信回線410-mからの第一符号列の入力と第二通信回線510-mからの第二符号列の入力を受け付けて、フレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)を出力し、第二通信回線510-mから入力済みの第二符号列に含まれる拡張符号に当該モノラル符号とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号とフレーム番号が同じ拡張符号を出力し、第二通信回線510-mから入力済みの第二符号列に含まれる拡張符号に当該モノラル符号とフレーム番号が同じ拡張符号が含まれない場合には、第二通信回線から入力済みの第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線から入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とはフレーム番号が異なるものの、当該モノラル符号とフレーム番号が最も近い、拡張符号)を出力する。
なお、周知技術であるので詳述しないが、受信部221-mには、揺らぎや再送制御などを含んだ通信が行われることにより各通信回線から非同期に受信された符号列を複数フレーム分蓄積しておく図示しない記憶部が備えられており、受信部221-mには各通信回線からは符号列が所定の時間区間間隔やフレーム番号順に入力されるとも限らないものの、受信部221-mは、記憶部に蓄積された符号列に含まれる符号であれば、出力できるようにされている。すなわち、受信部221-mは、第一通信回線410-mからの第一符号列の入力を受け付けて記憶し、入力済みの第一符号列を記憶しておき、記憶している第一符号列であれば出力できるようにされている。また、受信部221-mは、第二通信回線510-mからの第二符号列の入力を受け付けて記憶し、入力済みの第二符号列を記憶しておき、記憶している第二符号列であれば出力できるようにされている。従って、受信部221-mは、所定の時間区間ごとに、すなわちフレームごとに、モノラル符号をフレーム番号順に取り出したり、当該モノラル符号とフレーム番号が最も近い拡張符号を取り出したり、することができる。
[[復号装置222-m]]
復号装置222-mには、フレームごとに、受信部221-mが出力したモノラル符号と拡張符号が入力される。復号装置222-mは、フレームごとに、入力されたモノラル符号と拡張符号に対応する2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する(ステップS222)。
復号装置222-mに入力されるのは、第一通信回線410-mからフレーム番号順に入力された第一符号列それぞれに含まれていたフレーム番号順のモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれていた拡張符号であって各モノラル符号とフレーム番号が最も近い拡張符号である。すなわち、復号装置222-mは、フレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力する。なお、復号装置222-mが用いるモノラル符号は当然ながらフレーム番号順である。
言い換えると、復号装置222-mに入力されるのは、通話相手先の音信号送信側装置210-m’の符号化装置212-m’が出力したフレーム番号順のモノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号である。すなわち、復号装置222-mは、フレームごとに、通話相手先の音信号送信側装置210-m’の符号化装置212-m’が出力したフレーム番号順のモノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号と、から2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。
ここで、復号装置222-mに入力される拡張符号は、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれるフレームの場合には、第二通信回線510-mから入力された第二符号列に含まれていた拡張符号であってそのフレームのモノラル符号とフレーム番号が同じ拡張符号であり、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれないフレームの場合には、第二通信回線510-mから入力された第二符号列に含まれていた拡張符号であってそのフレームのモノラル符号とフレーム番号が最も近い拡張符号(すなわち、そのフレームのモノラル符号とはフレーム番号が異なるものの、そのフレームのモノラル符号とフレーム番号が最も近い、拡張符号)である。これは後述する実施形態や変形例でも同様である。
従って、復号装置222-mは、フレームごとに、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれる場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力する。
[[[モノラル復号部2221-m]]]
モノラル復号部2221-mには、フレームごとに、復号装置222-mに入力されたモノラル符号が入力される。モノラル復号部2221-mは、フレームごとに、入力されたモノラル符号を所定の復号方式で復号してモノラルの復号ディジタル音信号を得て拡張復号部2222-mに出力する。所定の復号方式としては、通話相手先の音信号送信側装置210-m’の符号化装置212-m’のモノラル符号化部2122-m’で用いた符号化方式に対応する復号方式を用いる。
モノラル復号部2221-mに入力されるのは、通話相手先の音信号送信側装置210-m’の符号化装置212-m’が出力したフレーム番号順のモノラル符号である。すなわち、モノラル復号部2221-mは、フレームごとに、通話相手先の音信号送信側装置210-m’の符号化装置212-m’が符号化したフレーム番号順のモノラルの復号ディジタル音信号を得て拡張復号部2222-mに出力する。
[[[拡張復号部2222-m]]]
拡張復号部2222-mには、フレームごとに、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号と、復号装置222-mに入力された拡張符号と、が入力される。拡張復号部2222-mは、フレームごとに、入力されたモノラルの復号ディジタル音信号と拡張符号とから、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。
拡張復号部2222-mに入力されるモノラルの復号ディジタル音信号は、通話相手先の音信号送信側装置210-m’の符号化装置212-m’が符号化したフレーム番号順であり、復号装置222-mに入力される拡張符号は、当該モノラルの復号ディジタル音信号とフレーム番号が最も近い拡張符号である。すなわち、拡張復号部2222-mは、フレームごとに、通話相手先の音信号送信側装置210-m’の符号化装置212-m’が出力したフレーム番号順のモノラルの復号ディジタル音信号と、当該モノラルの復号ディジタル音信号とフレーム番号が最も近い拡張符号と、から2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。なお、拡張符号は、通話相手先の複数回線対応端末装置200-m’の音信号送信側装置210-m’の符号化装置212-m’が得た特徴パラメータを表すものであるので、2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータを表す。すなわち、拡張復号部2222-mは、フレームごとに、入力されたモノラルの復号ディジタル音信号が2個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、拡張符号から得られる特徴パラメータが2個のチャンネルのディジタル音信号の差分の特徴を表す情報であると見做して、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。
〔拡張復号部2222-mの第1例〕
第1例として、特徴パラメータが2個のチャンネルのディジタル音信号の時間差を表す情報である場合の拡張復号部2222-mのフレームごとの動作を説明する。拡張復号部2222-mは、まず、入力された拡張符号から、当該拡張符号が表す特徴パラメータである時間差を表す情報を得る(ステップS2222-11)。拡張復号部2222-mは、通話相手先の音信号送信側装置210-m’の符号化装置212-m’の信号分析部2121-m’が特徴パラメータから拡張符号を得た方式に対応する方式で、拡張符号から特徴パラメータを得る。特徴パラメータである時間差を表す情報とは、例えば、時間差サンプル数である。例えば、拡張復号部2222-mは、入力された拡張符号をスカラ復号して、入力された拡張符号に対応するスカラ値を時間差サンプル数として得る。または、例えば、拡張復号部2222-mは、入力された拡張符号が2進数の値であるとして当該2進数に対応する10進数を時間差サンプル数として得る。
拡張復号部2222-mは、次に、入力されたモノラルの復号ディジタル音信号とステップS2222-11で得た特徴パラメータとから、入力されたモノラルの復号ディジタル音信号が2個の復号ディジタル音信号が混合された信号であると見做し、特徴パラメータが2個の復号ディジタル音信号の時間差を表す情報であると見做して、2個の復号ディジタル音信号を得て出力する(ステップS2222-12)。より具体的には、拡張復号部2222-mは、入力されたモノラルのディジタル音信号のサンプル列そのもの、入力されたモノラルのディジタル音信号のサンプル列の各サンプルの値を2で除算した値による系列、これら何れかのサンプル列を変形して得た系列、の何れかを、第一チャンネルのディジタル音信号として得て出力する(ステップS2222-121)。拡張復号部2222-mは、更に、第一チャンネルのディジタル音信号を特徴パラメータが表す時間差サンプル数だけ遅らせたサンプル列を第二チャンネルのディジタル音信号のサンプル列として得て出力する(ステップS2222-122)。
〔拡張復号部2222-mの第2例〕
第2例として、特徴パラメータが2個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報である場合の拡張復号部2222-mのフレームごとの動作を説明する。拡張復号部2222-mは、まず、入力された拡張符号を復号して周波数帯域ごとの強度差を表す情報を得る(ステップS2222-21)。拡張復号部2222-mは、通話相手先の音信号送信側装置210-m’の符号化装置212-m’の信号分析部2121-m’が周波数帯域ごとの強度差を表す情報から拡張符号を得た方式に対応する方式で、拡張符号から特徴パラメータを得る。例えば、拡張復号部2222-mは、入力された拡張符号をベクトル復号して、入力された拡張符号に対応するベクトルの各要素値を複数個の周波数帯域ごとの強度差を表す情報として得る。または、例えば、拡張復号部2222-mは、入力された拡張符号に含まれる符号それぞれをスカラ復号して周波数帯域ごとの強度差を表す情報を得る。なお、帯域数が1の場合には、拡張復号部2222-mは、入力された拡張符号をスカラ復号して1つの周波数帯域すなわち全帯域の強度差を表す情報を得る。
拡張復号部2222-mは、次に、入力されたモノラルの復号ディジタル音信号とステップS2222-21で得た特徴パラメータとから、入力されたモノラルの復号ディジタル音信号が2個の復号ディジタル音信号が混合された信号であると見做し、特徴パラメータが2個の復号ディジタル音信号の周波数帯域ごとの強度差を表す情報であると見做して、2個の復号ディジタル音信号を得て出力する(ステップS2222-22)。通話相手先の音信号送信側装置210-m’の符号化装置212-m’の信号分析部2121-m’が、複素DFTを用いた上述した具体例の動作をした場合であれば、拡張復号部2222-mは以下の動作をする。
拡張復号部2222-mは、まず、入力されたモノラルの復号ディジタル音信号を複素DFTして複素DFT係数列を得る(ステップS2222-221)。以降では、拡張復号部2222-mが得たモノラルの複素DFT係数列の各複素DFT係数をMQ(f)とする。拡張復号部2222-mは、次に、モノラルの複素DFT係数列から、各複素DFT係数の複素面上での半径の値MQr(f)と、各複素DFT係数の複素面上での角度の値MQθ(f)と、を得る(ステップS2222-222)。拡張復号部2222-mは、次に、各半径の値MQr(f)に特徴パラメータのうちの対応する値の平方根を乗算した値を第一チャンネルの各半径の値VLQr(f)として得て、各半径の値MQr(f)を特徴パラメータのうちの対応する値の平方根で除算した値を第二チャンネルの各半径の値VRQr(f)として得る(ステップS2222-223)。各周波数ビンについての特徴パラメータのうちの対応する値は、上述した4個の帯域の例であれば、fが1から32まではMr(1)であり、fが33から64まではMr(2)であり、fが65から96まではMr(3)であり、fが97から128まではMr(4)である。なお、通話相手先の音信号送信側装置210-m’の符号化装置212-m’の信号分析部2121-m’が、第一チャンネルの半径の値と第二チャンネルの半径の値との比に代えて、第一チャンネルの半径の値と第二のチャンネルの半径の値との差を用いた場合には、拡張復号部2222-mは、各半径の値MQr(f)に特徴パラメータのうちの対応する値を2で除算した値を加算した値を第一チャンネルの各半径の値VLQr(f)として得て、各半径の値MQr(f)から特徴パラメータのうちの対応する値を2で除算した値を減算した値を第二チャンネルの各半径の値VRQr(f)として得ればよい。拡張復号部2222-mは、次に、複素面上での半径がVLQr(f)であり角度がMQθ(f)である複素数による系列を逆複素DFTして第一チャンネルの復号ディジタル音信号を得て出力し、複素面上での半径がVRQr(f)であり角度がMQθ(f)である複素数による系列を逆複素DFTして第二チャンネルの復号ディジタル音信号を得て出力する(ステップS2222-224)。
[[再生部223-m]]
再生部223-mは、入力された2個のチャンネルの復号ディジタル音信号に対応する音を出力する(ステップS223)。
再生部223-mは、例えば、2個のDA変換部と2個のスピーカを含む。DA変換部は、入力された復号ディジタル音信号をアナログの電気信号に変換して出力する。スピーカは、DA変換部から入力されたアナログの電気信号に対応する音を発生する。スピーカは、ステレオヘッドフォンやステレオイヤホンに備えられたものであってもよい。この場合には、例えば、再生部223-mは、DA変換部とスピーカを一対一に対応付けて、2個の復号ディジタル音信号それぞれに対応する音(復号音信号)を2個のスピーカそれぞれから発生する。
なお、再生部223-mの全部または一部は、音信号受信側装置220-mの内部に備えずに、音信号受信側装置220-mに接続されるようにしてもよい。例えば、音信号受信側装置220-mの再生部223-mはスピーカを備えずに、音信号受信側装置220-mに接続されたスピーカに対して音信号受信側装置220-mの再生部223-mのDA変換部が得た2個のアナログの電気信号を出力するようにしてもよい。または、音信号受信側装置220-mは再生部223-mを備えずに、音信号受信側装置220-mに接続されたDA変換器などの再生機器に対して音信号受信側装置220-mの復号装置222-mが2個のチャンネルの復号ディジタル音信号を出力するようにしてもよい。
〔音信号受信側装置220-mの動作例〕
図5は、音信号受信側装置220-mに第一通信回線410-mから入力される第一符号列に含まれるモノラル符号と、音信号受信側装置220-mに第二通信回線510-mから入力される第二符号列に含まれる拡張符号と、音信号受信側装置220-mが出力する復号音信号と、の時間的な関係を、装置の処理能力に依存する処理遅延を除いて模式的に示した図である。図5の横軸は時間軸である。括弧内の番号iは、通話相手先の複数回線対応端末装置200-m’の音信号送信側装置210-m’の符号化装置212-m’におけるフレーム番号である。CM(i)は、音信号受信側装置220-mに第一通信回線410-mから入力される第一符号列に含まれるモノラル符号である。CE(i)は、音信号受信側装置220-mに第二通信回線510-mから入力される第二符号列に含まれる拡張符号である。YS'(i)は、音信号受信側装置220-mが出力する復号音信号である。図5は、音信号受信側装置220-mには、優先度が低い通信網である第二通信回線510-mからはフレーム番号順に第二符号列が入力されるものの、優先度が高い通信網である第一通信回線410-mからのフレーム番号順の第一符号列より5フレーム後に第二符号列が入力される例である。
受信部221-mは、第一通信回線410-mからフレーム番号6のモノラル符号CM(6)を含む第一符号列の受信を終了した時点で、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号CM(6)と、第二通信回線510-mから入力された第二符号列のうちモノラル符号CM(6)とフレーム番号が最も近い第二符号列に含まれる拡張符号CE(1)と、を復号装置222-mに出力する。復号装置222-mは、モノラル符号CM(6)と拡張符号CE(1)が入力された時点で、入力されたモノラル符号CM(6)と拡張符号CE(1)に対応する2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。再生部223-mは、モノラル符号CM(6)と拡張符号CE(1)に対応する2個のチャンネルの復号ディジタル音信号が入力された時点から、入力された2個の復号ディジタル音信号に対応する2個のチャンネルの復号音信号YS'(6)の出力を開始する。これにより、音信号受信側装置220-mは、受信部221-mが第一通信回線410-mからフレーム番号6のモノラル符号CM(6)を含む第一符号列の受信を終了した時点で、フレーム番号6のモノラル符号CM(6)と、これとフレーム番号が最も近い第二符号列に含まれる拡張符号CE(1)と、から2個のチャンネルの復号音信号YS'(6)を得て出力を開始できるようになる。
音信号受信側装置220-mは、以降も同様に、受信部221-mが第一通信回線410-mからフレーム番号7のモノラル符号CM(7)を含む第一符号列の受信を終了した時点で、フレーム番号7のモノラル符号CM(7)と、これとフレーム番号が最も近い第二符号列に含まれる拡張符号CE(2)と、から2個のチャンネルの復号音信号YS'(7)を得て出力を開始し、受信部221-mが第一通信回線410-mからフレーム番号8のモノラル符号CM(8)を含む第一符号列の受信を終了した時点で、フレーム番号8のモノラル符号CM(8)と、これとフレーム番号が最も近い第二符号列に含まれる拡張符号CE(3)と、から2個のチャンネルの復号音信号YS'(8)を得て出力を開始し、・・・というように動作する。
図6は、特許文献1の技術を用いた場合の、音信号受信側装置に第一通信回線410-mから入力される第一符号列に含まれるモノラル符号と、音信号受信側装置220-mに第二通信回線510-mから入力される第二符号列に含まれる拡張符号と、音信号受信側装置が出力する復号音信号と、の時間的な関係を、装置の処理能力に依存する処理遅延を除いて模式的に示した図である。図6の横軸、括弧内の番号i、CM(i)、CE(i)は、図5と同じである。YS(i)は、特許文献1の技術を用いた音信号受信側装置が出力する復号音信号である。図6も、図5と同様に、音信号受信側装置には、優先度が低い通信網である第二通信回線510-mからはフレーム番号順に第二符号列が入力されるものの、優先度が高い通信網である第一通信回線410-mからのフレーム番号順の第一符号列より5フレーム後に第二符号列が入力される例である。図6は、特許文献1の技術を用いた音信号受信側装置における上述した制限時間が5フレーム分の時間である例である。
特許文献1の技術を用いた音信号受信側装置は、第一通信回線410-mから入力されたモノラル符号CM(6)と、モノラル符号CM(6)が入力されてから5フレームの制限時間ちょうどに第二通信回線510-mから入力された拡張符号CE(6)と、に対応する2個のチャンネルの復号音信号YS(6)を得て出力を開始する。特許文献1の技術を用いた音信号受信側装置は、以降も同様に、フレーム番号7のモノラル符号CM(7)と、第一通信回線410-mからモノラル符号CM(7)の受信を終了してから5フレーム経過した時点で第二通信回線510-mから入力されたフレーム番号7の拡張符号CE(7)と、から2個のチャンネルの復号音信号YS(7)を得て出力を開始し、フレーム番号8のモノラル符号CM(8)と、第一通信回線410-mからモノラル符号CM(8)の受信を終了してから5フレーム経過した時点で第二通信回線510-mから入力されたフレーム番号8の拡張符号CE(8)と、から2個のチャンネルの復号音信号YS(8)を得て出力を開始し、・・・というように動作する。
〔効果〕
図6と図5からも分かる通り、特許文献1の技術では、高音質の復号音信号を得るためには最低限の音質の復号音信号を得るよりも5フレームの遅延が多くなってしまうものの、第一実施形態の技術では、最低限の音質の復号音信号を得る場合よりも遅延時間を大幅に増加させることなく、すなわち双方向通話の際に違和感が生じない程度の遅延時間で、高音質の復号音信号を得ることができる。
<第二実施形態>
第一実施形態では毎フレームの拡張符号を得て出力するようにしたが、複数フレームに1回だけ拡張符号を得て出力するようにしてもよい。この形態を第二実施形態として説明する。
第二実施形態が第一実施形態と異なるのは、音信号送信側装置210-mの符号化装置212-mの信号分析部2121-mと送信部213-mの動作である。以下では、第二実施形態が第一実施形態と異なる点について説明する。
[[[信号分析部2121-m]]]
信号分析部2121-mは、第一実施形態の信号分析部2121-mと同様に、各フレームについて、入力された2個のチャンネルのディジタル音信号から、入力された2個のチャンネルのディジタル音信号を混合した信号であるモノラル信号を得て出力するが、第一実施形態の信号分析部2121-mとは異なり、複数フレームのうちの予め定めたフレームについてのみ、入力された2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号を得て出力する。
例えば、信号分析部2121-mは、フレーム番号が奇数のフレームについては、入力された2個のチャンネルのディジタル音信号から特徴パラメータを得て、当該特徴パラメータを表す拡張符号を得て出力するが、フレーム番号が偶数のフレームについては、特徴パラメータを得ず、特徴パラメータを表す拡張符号も得ず出力しない。なお、信号分析部2121-mがモノラル信号を得る際に特徴パラメータを用いる構成を採用している場合には、信号分析部2121-mは、特徴パラメータを得ないフレームについては、当該フレームの入力された2個のチャンネルのディジタル音信号と、既に出力された拡張符号のうちの最も新しい拡張符号に対応する特徴パラメータと、を用いてモノラル信号を得る。
または、例えば、信号分析部2121-mは、フレーム番号が奇数のフレームについては、入力された2個のチャンネルのディジタル音信号から特徴パラメータを得るものの、当該特徴パラメータを表す拡張符号を得ずに出力せず、フレーム番号が偶数のフレームについては、入力された2個のチャンネルのディジタル音信号から特徴パラメータを得て、特徴パラメータを表す拡張符号を得ずに出力しなかった直前のフレームの特徴パラメータと、当該フレームの特徴パラメータと、の平均または重み付き平均を表す拡張符号を得て出力する。重み付き平均に用いる重みは、当該フレームの重みが直前のフレームの重みより大きな値となるようにすればよい。
上述した2つの例は拡張符号を2フレームに1回得て出力する構成だが、拡張符号を3フレーム以上に1回得て出力する構成としてもよく、複数フレームのうちの予め定めたフレームについて拡張符号を得て出力する構成としてもよい。
すなわち、本第二実施形態の符号化装置212-mは、フレームごとに、入力された2個のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、複数フレームのうちの予め定めたフレームについては、入力された2個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータである特徴パラメータを表す拡張符号を得る。
または、本第二実施形態の符号化装置212-mは、フレームごとに、入力された2個のチャンネルのディジタル音信号を混合した信号を表すモノラル符号を得て、フレームごとに、入力された2個のチャンネルのディジタル音信号のチャンネル間の差分の特徴を表すパラメータでありかつ時間分解能が低いパラメータである特徴パラメータを得て、複数フレームのうちの予め定めたフレームについては、直前の予め定めたフレームより後の各フレームで得た特徴パラメータの平均または重み付き平均を表す拡張符号を得る。重み付き平均に用いる重みは、当該フレームについて最も大きな値とし、当該フレームから遠いフレームほど小さな値とすればよい。
なお、後述するように、符号化装置212-mが得るモノラル符号は第一符号列に含めて第一通信回線に出力する符号であり、符号化装置212-mが得る拡張符号は、第二符号列に含めて第二通信回線に出力する符号である。
[[送信部213-m]]
送信部213-mは、第一実施形態の送信部213-mと同様に、各フレームについて、入力されたモノラル符号を含む符号列である第一符号列を第一通信回線410-mに出力するが、第一実施形態の送信部213とは異なり、拡張符号が入力されたフレームについてのみ、すなわち、複数フレームのうちの予め定めたフレームについてのみ、入力された拡張符号を含む符号列である第二符号列を第二通信回線510-mに出力する。
〔効果〕
第一実施形態で説明した通り、音信号受信側装置220-mで用いられる拡張符号は、モノラル符号とフレーム番号が最も近い拡張符号であるので、モノラル符号とフレーム番号が同一の拡張符号が音信号受信側装置220-mに入力されていることは必須ではない。また、そもそも、特徴パラメータは時間的変動が小さいパラメータである。従って、本実施形態によれば、複数フレームに1回だけ拡張符号を得て出力する構成を採用したことにより、第一実施形態よりも復号音信号の品質を大きく劣下させることなく、信号分析部2121-mの演算処理量を低減することができ、また、特徴パラメータを伝送するための符号の量を第一実施形態よりも少なくすることができる。
<第三実施形態>
第一実施形態では音信号受信側装置220-mが復号に用いる拡張符号を毎フレーム得るようにしたが、音信号受信側装置220-mが復号に用いる拡張符号を複数フレームに1回だけ得るようにしてもよい。この形態を第三実施形態として説明する。
第三実施形態の音信号受信側装置220-mが第一実施形態の音信号受信側装置220-mと異なるのは、受信部221-mと復号装置222-mの拡張復号部2222-mの動作である。以下では、第三実施形態が第一実施形態と異なる点について説明する。
[[受信部221-m]]
受信部221-mは、第一実施形態の受信部221-mと同様に、各フレームについて、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を復号装置222-mに出力するが、第一実施形態の受信部221-mとは異なり、複数フレームのうちの予め定めたフレームについてのみ、入力された第二符号列に含まれる拡張符号のうちのモノラル符号とフレーム番号が最も近い拡張符号を得て出力する。すなわち、より具体的には、受信部221-mは、複数フレームのうちの予め定めたフレームについてのみ、入力された第二符号列に含まれる拡張符号のうちのモノラル符号とフレーム番号が最も近い拡張符号を受信部221-m内の図示しない記憶部から得て出力する。
[[[拡張復号部2222-m]]]
拡張復号部2222-mには、第一実施形態の拡張復号部2222-mと同様に、各フレームについて、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号が入力されるが、第一実施形態の拡張復号部2222-mとは異なり、複数フレームのうちの予め定めたフレームについてのみ、拡張符号が入力される。拡張復号部2222-mは、複数フレームのうちの予め定めたフレーム、すなわち、拡張符号も入力されたフレームについては、第一実施形態の拡張復号部2222-mと同様に、入力されたモノラルの復号ディジタル音信号と拡張符号とから、2個のチャンネルの復号ディジタル音信号を得て出力し、複数フレームのうちの予め定めたフレーム以外のフレーム、すなわち、拡張符号が入力されなかったフレームについては、第一実施形態の拡張復号部2222-mとは異なり、入力されたモノラルの復号ディジタル音信号と、既に入力された拡張符号のうちの最も新しい拡張符号とから、2個のチャンネルの復号ディジタル音信号を得て出力する。
すなわち、復号装置222-mは、複数フレームのうちの予め定めたフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、予め定めたフレーム以外のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、予め定めたフレームで用いた最も新しい拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力する。具体的には、復号装置222-mは、複数フレームのうちの予め定めたフレームについては、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれる場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、予め定めたフレーム以外のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、予め定めたフレームで用いた最も新しい拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力する。
より具体的には、復号装置222-mのモノラル復号部2221-mは、フレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を復号してモノラルの復号ディジタル音信号を得て、復号装置222-mの拡張復号部2222-mは、複数フレームのうちの予め定めたフレームについては、モノラルの復号ディジタル音信号が2個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって第一通信回線410-mから入力された第一符号列に含まれるモノラル符号とフレーム番号が最も近い拡張符号に基づいて得られる特徴パラメータが2個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、2個のチャンネルの復号ディジタル音信号を得て出力する。なお、拡張復号部2222-mは、予め定めたフレームでは拡張符号に基づいて得られる特徴パラメータを用いているので、その特徴パラメータを記憶しておき、予め定めたフレーム以外のフレームで用いることができる。すなわち、拡張復号部2222-mは、予め定めたフレーム以外のフレームでは、モノラルの復号ディジタル音信号が2個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、予め定めたフレームで得た最も新しい特徴パラメータが2個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、2個のチャンネルの復号ディジタル音信号を得て出力する。
すなわち、復号装置222-mのモノラル復号部2221-mは、フレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)を復号してモノラルの復号ディジタル音信号を得て、復号装置222-mの拡張復号部2222-mは、複数フレームのうちの予め定めたフレームについては、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれる場合には、モノラルの復号ディジタル音信号が2個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、当該モノラル符号とフレーム番号が同じ拡張符号に基づいて得られる特徴パラメータが2個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、2個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれない場合には、モノラルの復号ディジタル音信号が2個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって第一通信回線410-mから入力された第一符号列に含まれるモノラル符号とフレーム番号が最も近い拡張符号(すなわち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)に基づいて得られる特徴パラメータが2個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、2個のチャンネルの復号ディジタル音信号を得て出力し、予め定めたフレーム以外のフレームでは、モノラルの復号ディジタル音信号が2個のチャンネルの復号ディジタル音信号が混合された信号であると見做し、予め定めたフレームで得た最も新しい特徴パラメータが2個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、2個のチャンネルの復号ディジタル音信号を得て出力する。
<第三実施形態の変形例>
なお、第三実施形態に代えて、拡張復号部2222-mは、第一実施形態と同様の動作をするようにして、受信部221-mは、複数フレームのうちの予め定めたフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうちの当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、複数フレームのうちの予め定めたフレーム以外のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、既に出力した拡張符号のうちの最も新しい拡張符号と、を出力するようにしてもよい。
より具体的には、受信部221-mは、複数フレームのうちの予め定めたフレームについては、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、を出力し、複数フレームのうちの予め定めたフレーム以外のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(フレーム番号順のモノラル符号)と、既に出力した拡張符号のうちの最も新しい拡張符号と、を出力するようにしてもよい。
〔効果〕
第一実施形態で説明した通り、音信号受信側装置220-mで用いられる拡張符号は、モノラル符号とフレーム番号が最も近い拡張符号であるので、モノラル符号とフレーム番号が同一の拡張符号が拡張復号部2222-mに入力されていることは必須ではない。また、そもそも、特徴パラメータは時間的変動が小さいパラメータである。従って、本実施形態及びその変形例によれば、複数フレームに1回だけ拡張符号を得る構成を採用したことにより、第一実施形態よりも復号音信号の品質を大きく劣下させることなく、受信部221-mの演算処理量や出力する情報の量を低減することができる。
<第四実施形態>
第一実施形態の音信号受信側装置220-mが2個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。この形態を第四実施形態として説明する。
第四実施形態が第一実施形態と異なるのは、音信号受信側装置220-mの復号装置222-mの拡張復号部2222-mの動作である。以下では、第四実施形態が第一実施形態と異なる点について説明する。以下では、フレームごとに処理を行う拡張復号部2222-mが、その時点で処理対象としているフレームを現フレームと呼び、それより過去のフレームのことを過去フレームと呼ぶ。
[[[拡張復号部2222-m]]]
拡張復号部2222-mには、第一実施形態の拡張復号部2222-mと同様に、フレームごとに、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号と、復号装置222-mに入力された拡張符号と、が入力される。拡張復号部2222-mは、図示しない記憶部を備える。記憶部には、拡張復号部2222-mが過去フレームにおいて得た特徴パラメータが記憶されている。拡張復号部2222-mは、フレームごとに、入力されたモノラルの復号ディジタル音信号と、入力された拡張符号と、記憶部に記憶された過去フレームの特徴パラメータと、から、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。拡張復号部2222-mは、具体的には、フレームごとに以下のステップS2222-31からステップS2222-35を行う。
拡張復号部2222-mは、まず、入力された拡張符号から当該拡張符号が表す特徴パラメータを得て(ステップS2222-31)、得た特徴パラメータを記憶部に記憶する(ステップS2222-32)。拡張復号部2222-mは、次に、記憶部に記憶された過去フレームの特徴パラメータのうちのK個(Kは1以上の整数)を読み出す(ステップS2222-33)。例えば、現フレームと連続する過去K個の過去フレームの特徴パラメータを読み出す。拡張復号部2222-mは、次に、記憶部から読み出したK個の過去フレームの特徴パラメータと現フレームの特徴パラメータの平均または重み付き平均を得る(ステップS2222-34)。重み付き平均に用いる重みは、現フレームの特徴パラメータに最も大きな値とし、現フレームから遠いフレームほど小さな値とすればよい。拡張復号部2222-mは、次に、入力されたモノラルの復号ディジタル音信号とステップS2222-34で得た特徴パラメータの平均または重み付き平均とから、入力されたモノラルの復号ディジタル音信号が2個の復号ディジタル音信号が混合された信号であると見做し、ステップS2222-34で得た特徴パラメータの平均または重み付き平均が2個の復号ディジタル音信号の差分の特徴を表す情報であると見做して、2個の復号ディジタル音信号を得て再生部223-mに出力する(ステップS2222-35)。なお、拡張復号部2222-mは、拡張符号が表す特徴パラメータを記憶部に記憶するステップS2222-32に代えて、ステップS2222-34で得た平均または重み付き平均を現フレームの特徴パラメータとして記憶部に記憶してもよい。また、拡張復号部2222-mの記憶部には過去フレームの特徴パラメータはK個だけ記憶していればよいので、現フレームの次のフレームの処理においてK+1個以上過去になる過去フレームの特徴パラメータは記憶部から削除してよい。
<第四実施形態の変形例>
第一実施形態の音信号受信側装置220-mと同様に、第三実施形態の音信号受信側装置220-mでも、2個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。すなわち、第三実施形態の音信号受信側装置220-mの復号装置222-mの拡張復号部2222-mにおいて、複数フレームのうちの予め定めたフレームについて、2個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。この形態を第四実施形態の変形例として説明する。
第四実施形態の変形例が第三実施形態と異なるのは、音信号受信側装置220-mの復号装置222-mの拡張復号部2222-mの動作である。以下では、第四実施形態の変形例が第三実施形態と異なる点について説明する。以下では、フレームごとに処理を行う拡張復号部2222-mが、その時点で処理対象としているフレームを現フレームと呼び、それより過去のフレームのことを過去フレームと呼ぶ。
[[[拡張復号部2222-m]]]
拡張復号部2222-mには、第三実施形態の拡張復号部2222-mと同様に、各フレームについて、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号が入力され、複数フレームのうちの予め定めたフレームについてのみ拡張符号が入力される。拡張復号部2222-mは、図示しない記憶部を備える。記憶部には、拡張復号部2222-mが過去フレームにおいて得た特徴パラメータの平均または重み付き平均が少なくとも記憶され、過去フレームの拡張符号が表す特徴パラメータも記憶されていることがある。
拡張復号部2222-mは、複数フレームのうちの予め定めたフレーム、すなわち拡張符号も入力されたフレームについては、以下のステップS2222-41からステップS2222-46を行う。
拡張復号部2222-mは、まず、入力された拡張符号から当該拡張符号が表す特徴パラメータを得て(ステップS2222-41)、得た特徴パラメータを記憶部に記憶する(ステップS2222-42)。拡張復号部2222-mは、次に、記憶部に記憶された過去フレームの特徴パラメータのうちのK個(Kは1以上の整数)を読み出す(ステップS2222-43)。例えば、現フレームに最も近い過去K個の過去フレームの特徴パラメータを読み出す。特徴パラメータを記憶部に記憶するのは拡張符号も入力されたフレームのみであるので、読み出される特徴パラメータは、拡張符号も入力されたフレームのうちの現フレームと連続するK個のフレームの特徴パラメータである。拡張復号部2222-mは、次に、記憶部から読み出したK個の過去フレームの特徴パラメータと現フレームの特徴パラメータの平均または重み付き平均を得て(ステップS2222-44)、得た特徴パラメータの平均または重み付き平均を記憶部に記憶する(ステップS2222-45)。重み付き平均に用いる重みは、現フレームの特徴パラメータに最も大きな値とし、現フレームから遠いフレームほど小さな値とすればよい。拡張復号部2222-mは、次に、入力されたモノラルの復号ディジタル音信号とステップS2222-44で得た特徴パラメータの平均または重み付き平均とから、入力されたモノラルの復号ディジタル音信号が2個の復号ディジタル音信号が混合された信号であると見做し、ステップS2222-44で得た特徴パラメータの平均または重み付き平均が2個の復号ディジタル音信号の差分を表す情報であると見做して、2個の復号ディジタル音信号を得て再生部223-mに出力する(ステップS2222-46)。なお、拡張復号部2222-mは、拡張符号が表す特徴パラメータを記憶部に記憶するステップS2222-42を行わずに、ステップS2222-45で記憶部に記憶する平均または重み付き平均をステップS2222-43で過去フレームの特徴パラメータとして読み出すようにしてもよい。また、拡張復号部2222-mの記憶部には過去フレームの特徴パラメータはK個だけ記憶していればよいので、現フレームの次のフレームの処理においてK+1個以上過去になる過去フレームの特徴パラメータは記憶部から削除してよい。また、拡張復号部2222-mの記憶部にはステップS2222-44で得た特徴パラメータの平均または重み付き平均のうち最も新しいもののみを記憶しておけばよいので、ステップS2222-45を行う時点で記憶部に記憶されていた特徴パラメータの平均または重み付き平均は記憶部から削除してよい。
第四実施形態の変形例の拡張復号部2222-mは、複数フレームのうちの予め定めたフレーム以外のフレーム、すなわち拡張符号が入力されなかったフレームについては、以下のステップS2222-47からステップS2222-48を行う。
拡張復号部2222-mは、まず、記憶部に記憶された最も新しい特徴パラメータの平均または重み付き平均を記憶部から読み出す(ステップS2222-47)。拡張復号部2222-mは、次に、入力されたモノラルの復号ディジタル音信号とステップS2222-47で得た特徴パラメータの平均または重み付き平均とから、入力されたモノラルの復号ディジタル音信号が2個の復号ディジタル音信号が混合された信号であると見做し、ステップS2222-47で得た特徴パラメータの平均または重み付き平均が2個の復号ディジタル音信号の差分を表す情報であると見做して、2個の復号ディジタル音信号を得て再生部223-mに出力する(ステップS2222-48)。
〔効果〕
特徴パラメータは、統計的に見れば時間的変動が小さいパラメータであるものの、各フレームの音信号の特徴は反映されているので複数フレームにわたって完全に同じ値であることは少なく、また、フレーム間で値が大きく異なる場合もある。従って、音信号受信側装置220-mでは、そのフレーム本来の拡張符号とは異なるある1つの拡張符号が表す特徴パラメータを用いるよりも、本第四実施形態及び変形例のように時間的に近い複数個の拡張符号が表す特徴パラメータの平均や重み付き平均などを用いることにより、復号音信号のチャンネル間での急激な変動や異音の発生などを抑えることができる。
<第五実施形態>
第一実施形態では音信号受信側装置220-mは各フレームについてモノラル符号とフレーム番号が最も近い拡張符号を用いて2個のチャンネルの復号ディジタル音信号を得るようにしたが、モノラル符号と所定の制限時間範囲内の拡張符号がないフレームについてはモノラル符号を復号して得た復号ディジタル音信号を2個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第五実施形態として説明する。
第五実施形態が第一実施形態と異なるのは、音信号受信側装置220-mの受信部221-mと復号装置222-mの動作である。また、復号装置222-mにおいて第五実施形態が第一実施形態と異なる動作をするのは拡張復号部2222-mである。以下では、第五実施形態が第一実施形態と異なる点について説明する。
[[受信部221-m]]
受信部221-mは、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を出力する。受信部221-mは、具体的には、フレームごとに以下のステップS221-11からステップS221-15を行う。
受信部221-mは、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を復号装置222-mに出力する(ステップS221-11)。受信部221-mは、次に、ステップS221-11で出力したモノラル符号のフレーム番号を得る(ステップS221-12)。受信部221-mは、次に、第二通信回線510-mから入力された第二符号列のうち、ステップS221-12で得たモノラル符号のフレーム番号とフレーム番号が最も近い第二符号列に含まれる拡張符号と、その拡張符号のフレーム番号を得る(ステップS221-13)。受信部221-mは、次に、ステップS221-12で得たモノラル符号のフレーム番号と、ステップS221-13で得た拡張符号のフレーム番号と、の差が予め定めた値未満であるか否かを判断する(ステップS221-14)。受信部221-mは、次に、ステップS221-14でモノラル符号のフレーム番号と拡張符号のフレーム番号の差が予め定めた値未満であった場合には、拡張符号を復号装置222-mに出力する(ステップS221-15)。受信部221-mは、ステップS221-14でモノラル符号のフレーム番号と拡張符号のフレーム番号の差が予め定めた値未満でなかった場合には、拡張符号は出力しない。すなわち、受信部221-mは、ステップS221-14でモノラル符号のフレーム番号と拡張符号のフレーム番号の差が予め定めた値未満でなかった場合には、モノラル符号のみを出力すればよい。
ここで、予め定めた値は2以上の値である。すなわち、受信部221-mは、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が0であるフレーム(すなわち、第二通信回線510-mから入力された第二符号列に、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれるフレーム)については、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、上述したフレーム番号の差が0より大きく予め定めた値未満であるフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、を出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)のみを出力することになる。
[[復号装置222-m]]
復号装置222-mには、フレームごとに、受信部221-mが出力したモノラル符号が必ず入力され、受信部221-mが出力した拡張符号が入力されることもある。復号装置222-mは、フレームごとに、入力されたモノラル符号と拡張符号、または、入力されたモノラル符号、に対応する2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。具体的には、復号装置222-mは、上述したフレーム番号の差が予め定めた値未満であるフレームについては、受信部221-mが出力したモノラル符号と、受信部221-mが出力した拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、受信部221-mが出力したモノラル符号に基づくモノラルディジタル信号をそのまま2個のチャンネルの復号ディジタル音信号として出力する。
[[[拡張復号部2222-m]]]
拡張復号部2222-mには、フレームごとに、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号が必ず入力され、復号装置222-mに入力された拡張符号が入力されることもある。拡張復号部2222-mは、モノラルの復号ディジタル音信号と拡張符号が入力されたフレームについては、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部2222-mと同じ動作により、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。拡張復号部2222-mは、モノラルの復号ディジタル音信号のみが入力されたフレームについては、入力されたモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として得て再生部223-mに出力する。
すなわち、復号装置222-mは、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として出力する。
より具体的には、復号装置222-mは、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が0であるフレーム(すなわち、第二通信回線510-mから入力された第二符号列に、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号とフレーム番号が同じ拡張符号が含まれるフレーム)については、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が0より大きく予め定めた値未満であるフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)に基づく復号ディジタル音信号を2個のチャンネルの復号ディジタル音信号として出力することになる。
<第五実施形態の変形例>
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第五実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態及び第四実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第五実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。
〔効果〕
通話相手先の複数回線対応端末装置200-m’の音信号送信側装置210-m’の符号化装置212-m’は所定の時間区間のフレームごとに符号化をしていることから、モノラル符号のフレーム番号と拡張符号のフレーム番号の差は、通話相手先の複数回線対応端末装置200-m’の音信号送信側装置210-m’の符号化装置212-m’が符号化したディジタル音信号の時間差に対応する。例えば、フレーム長が20msであれば、フレーム番号の差が150であれば、モノラル符号を得たディジタル音信号と、拡張符号を得たディジタル音信号と、に3秒の時間差があることになる。時間的変動が小さいパラメータであっても、時刻が大きく異なれば値が大きく変わっている可能性がある。従って、拡張符号が表す特徴パラメータが大きく異なるほどの時間差がある場合には、2個のチャンネルの差分の特徴を反映した2個のチャンネルの復号音信号にはチャンネル間の信号の切り分けに大きな誤りが発生している可能性がある。本第五実施形態によれば、第一通信回線から受信された第一符号列に含まれるモノラル符号と第二通信回線から受信された第二符号列に含まれる拡張符号のうちの当該モノラル符号とフレーム番号が最も近い拡張符号とのフレーム番号の差が大きいフレームについては2個のチャンネルの復号音信号に差を付けないようにすることで、復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑えることができる。例えば、時間差が400ms以上になると特徴パラメータが大きく異なると想定すると、フレーム長が20msの場合であればフレーム番号の差が20以上になると特徴パラメータが大きく異なることになるので、上述した予め定めた値は例えば20とすればよい。
<第六実施形態>
音信号受信側装置220-mは、所定の時間範囲で測定された、第一通信回線410-mから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線510-mから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が予め定めた制限時間内にない場合には、モノラル符号を復号して得た復号ディジタル音信号を2個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第六実施形態として説明する。
第六実施形態が第一実施形態と異なるのは、音信号受信側装置220-mの受信部221-mと復号装置222-mの動作である。また、復号装置222-mにおいて第六実施形態が第一実施形態と異なる動作をするのは拡張復号部2222-mである。以下では、第六実施形態が第一実施形態と異なる点について説明する。
[[受信部221-m]]
受信部221-mには、通話相手先の音信号送信側装置210-m’が出力した第一符号列が第一通信回線410-mから入力され、通話相手先の音信号送信側装置210-m’が出力した第二符号列が第二通信回線510-mから入力される。第二通信回線は優先度が低い通信網であるため、受信部221-mには、通常、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線410-mから入力されるよりも後に、第二通信回線510-mから入力される。
受信部221-mは、まず、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断する。なお、制限時間Tmaxは、例えば400msである。
例えば、受信部221-mは、以下のステップS221-21からステップS221-24を行う。受信部221-mは、第一符号列の受信を開始してから予め定めた個数の第一符号列について、フレーム番号を読み出して、受信された時刻を測定して、フレーム番号と第一符号列が受信された時刻とを対応付けて受信部221-m内の図示しない記憶部に記憶する(ステップS221-21)。受信部221-mは、また、受信された第二符号列について、フレーム番号を読み出して、読み出したフレーム番号が記憶部に記憶されたフレーム番号の何れかと一致する場合には、受信された時刻を測定して、記憶部に記憶されたフレーム番号と第一符号列が受信された時刻に、第二符号列が受信された時刻も対応付けて、記憶部に記憶する(ステップS221-22)。受信部221-mは、次に、記憶部に対応付けて記憶されたフレーム番号と第一符号列が受信された時刻と第二符号列が受信された時刻を用いて、フレーム番号ごとの第二符号列が受信された時刻から第一符号列が受信された時刻を減算した値の、上述した予め定めた個数についての平均値を得る(ステップS221-23)。受信部221-mは、次に、ステップS221-23で得た平均値が予め定めた制限時間Tmax未満であるかであるか否かを判断する(ステップS221-24)。
受信部221-mは、次に、上述した判断において平均値が制限時間Tmax未満であった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置222-mに出力し、上述した判断において平均値が制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を復号装置222-mに出力する。受信部221-mは、上述した判断において平均値が制限時間Tmax未満でなかった場合には、それ以降のフレームについては、拡張符号は出力しない。すなわち、受信部221-mは、上述した判断において平均値が制限時間Tmax未満でなかった場合には、モノラル符号のみを出力すればよい。
すなわち、受信部221-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、それ以降のフレームについては、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置222-mに出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、を復号装置222-mに出力し、上述した平均値が制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)のみを復号装置222-mに出力することになる。
なお、受信部221-mは、上述した判断が終わるまでは、何も出力しないでもよいし、第一実施形態と同様にモノラル符号と拡張符号を復号装置222-mに出力してもよいし、拡張符号を出力せずにモノラル符号を復号装置222-mに出力してもよいし、第五実施形態と同様に、モノラル符号は必ず復号装置222-mに出力して、モノラル符号と拡張符号のフレーム番号の差が小さい場合のみ拡張符号も復号装置222-mに出力するようにしてもよい。
[[復号装置222-m]]
受信部221-mによる上述した判断において平均値が予め定めた制限時間Tmax未満であった場合には、復号装置222-mには、第一実施形態の復号装置222-mと同様に、フレームごとに、モノラル符号と拡張符号が入力される。一方、受信部221-mによる上述した判断において平均値が予め定めた制限時間Tmax未満でなかった場合には、復号装置222-mには、フレームごとに、受信部221-mが出力したモノラル符号が入力され、拡張符号は入力されない。
なお、受信部221-mによる上述した判断が終わるまでは、復号装置222-mには、何も入力されないか、拡張符号が入力されずにモノラル符号が入力されるか、モノラル符号と拡張符号が入力される。復号装置222-mは、フレームごとに、入力されたモノラル符号と拡張符号、または、入力されたモノラル符号、に対応する2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。
[[[拡張復号部2222-m]]]
拡張復号部2222-mは、モノラルの復号ディジタル音信号と拡張符号が入力された場合には、すなわち、上述した判断において平均値が予め定めた制限時間Tmax未満であった場合には、フレームごとに、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部2222-mと同じ動作により、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。拡張復号部2222-mは、モノラルの復号ディジタル音信号が入力された場合には、すなわち、上述した判断において平均値が予め定めた制限時間Tmax未満でなかった場合には、入力されたモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として得て再生部223-mに出力する。
すなわち、復号装置222-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmax未満でなかった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号に基づくモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として出力する。
より具体的には、復号装置222-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmax未満でなかった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)に基づくモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として出力することになる。
なお、受信部221-mによる上述した判断が終わるまでは、拡張復号部2222-mは、モノラルの復号ディジタル音信号と拡張符号が入力されたフレームについては、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部2222-mと同じ動作により、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力するか、または、入力されたモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として得て再生部223-mに出力するか、または、何も出力しない。
<第六実施形態の変形例>
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第六実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第六実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点を始点として設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
〔効果〕
第五実施形態でも説明した通り、時間的変動が小さい特徴パラメータであっても、時刻が大きく異なれば値が大きく変わっている可能性がある。従って、第一通信回線と第二通信回線の間に拡張符号が表す特徴パラメータが大きく異なるほどの時間差があると判断された場合には、2個のチャンネルの差分の特徴を反映した2個のチャンネルの復号音信号にはチャンネル間の信号の切り分けに大きな誤りが発生している可能性がある。本第六実施形態によれば、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差が大きい場合には2個のチャンネルの復号音信号に差を付けないようにすることで、復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑えることができる。
<第七実施形態>
音信号受信側装置220-mは、所定の時間範囲で測定された、第一通信回線410-mから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線510-mから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が予め定めた制限時間内である場合には、モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第七実施形態として説明する。
第七実施形態が第一実施形態と異なるのは、音信号受信側装置220-mの受信部221-mの動作である。以下では、第七実施形態が第一実施形態と異なる点について説明する。
[[受信部221-m]]
受信部221-mには、通話相手先の音信号送信側装置210-m’が出力した第一符号列が第一通信回線410-mから入力され、通話相手先の音信号送信側装置210-m’が出力した第二符号列が第二通信回線510-mから入力される。第二通信回線は優先度が低い通信網であるため、受信部221-mには、通常、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線410-mから入力されるよりも後に、第二通信回線510-mから入力される。
受信部221-mは、まず、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であるか否かを判断する。なお、制限時間Tminは、例えば、フレーム長の2倍の値である。すなわち、フレーム長が20msであれば、制限時間Tminは例えば40msである。
例えば、受信部221-mは、以下のステップS221-31からステップS221-34を行う。受信部221-mは、第一符号列の受信を開始してから予め定めた個数の第一符号列について、フレーム番号を読み出して、受信された時刻を測定して、フレーム番号と第一符号列が受信された時刻とを対応付けて受信部221-m内の図示しない記憶部に記憶する(ステップS221-31)。受信部221-mは、また、受信された第二符号列について、フレーム番号を読み出して、読み出したフレーム番号が記憶部に記憶されたフレーム番号の何れかと一致する場合には、受信された時刻を測定して、記憶部に記憶されたフレーム番号と第一符号列が受信された時刻に、第二符号列が受信された時刻も対応付けて、記憶部に記憶する(ステップS221-32)。受信部221-mは、次に、記憶部に対応付けて記憶されたフレーム番号と第一符号列が受信された時刻と第二符号列が受信された時刻を用いて、フレーム番号ごとの第二符号列が受信された時刻から第一符号列が受信された時刻を減算した値の、上述した予め定めた個数についての平均値を得る(ステップS221-33)。受信部221-mは、次に、ステップS221-33で得た平均値が予め定めた制限時間Tmin未満であるかであるか否かを判断する(ステップS221-34)。
受信部221-mは、次に、上述した判断において平均値が制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置222-mに出力し、上述した判断において平均値が制限時間Tmin未満でなかった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置222-mに出力する。ただし、第一通信回線410-mから第一符号列が受信されてから、そのフレームの第二通信回線510-mから第二符号列が受信されるまでには、平均するとステップS221-33で得た平均値だけの時間を要することが想定されるので、受信部221-mは、第一通信回線410-mから第一符号列が受信されてから復号装置222-mに出力するまでの時間が、ステップS221-33で得た平均値またはそれより大きな値となるように動作させる必要がある。
すなわち、受信部221-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置222-mに出力し、上述した平均値が制限時間Tmin未満でなかった場合には、それ以降のフレームについては、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置222-mに出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれない場合には、第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、を復号装置222-mに出力することになる。
第七実施形態の音信号受信側装置220-mの復号装置222-mの動作は第一実施形態の音信号受信側装置220-mの復号装置222-mの動作と同じであり、復号装置222-mは、受信部221-mが出力したモノラル符号と受信部221-mが出力した拡張符号とに基づいて2個のチャンネルの復号ディジタル音信号を得て出力する。ただし、第七実施形態の受信部221-mが出力する拡張符号は場合によっては第一実施形態の受信部221-mが出力する拡張符号と異なるため、復号装置222-mは具体的には下記の動作をする。
すなわち、復号装置222-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmin未満でなかった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力する。
より具体的には、復号装置222-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が制限時間Tmin未満でなかった場合には、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力することになる。
なお、受信部221-mによる上述した判断が終わるまでは、例えば、受信部221-mは第一実施形態と同様にモノラル符号と拡張符号を復号装置222-mに出力すればよく、復号装置222-mは第一実施形態と同様にモノラル符号と拡張符号を用いて2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力すればよい。
<第七実施形態の変形例>
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第七実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第七実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点を始点として設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
〔効果〕
時間的変動が小さい特徴パラメータであっても、時刻が異なれば値が少しは異なっている可能性がある。従って、遅延を少し増やすだけで同じフレームの特徴パラメータを用いて復号することができれば、高音質の復号音信号を得られる可能性がある。そこで、本第七実施形態では、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差の所定の時間範囲の平均値に予め定めた値である制限時間を設けて、制限時間未満である場合には、あえて遅延を少し増やした上で、モノラル符号と、当該モノラル符号と同じフレームの拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号とすることによって、高音質の復号音信号を得られるようにしている。
<第八実施形態>
音信号受信側装置220-mは、所定の時間範囲で測定された、第一通信回線410-mから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線510-mから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が第一の制限時間未満である場合には、モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号を得て、当該時間差の平均値が第一の制限時間よりも大きい予め定めた第二の制限時間以上である場合には、モノラル符号を復号して得た復号ディジタル音信号を2個のチャンネルの復号ディジタル音信号とし、当該時間差の平均値が第一の制限時間以上であり第二の制限時間未満である場合には、モノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号を得るようにしてもよい。要するに、第六実施形態と第七実施形態を合わせて実施してもよい。この形態を第八実施形態として説明する。
第八実施形態が第一実施形態と異なるのは、音信号受信側装置220-mの受信部221-mと復号装置222-mの動作である。ただし、音信号受信側装置220-mの復号装置222-mの動作は第六実施形態の復号装置222-mの動作と同じである。以下では、第八実施形態が第一実施形態とも第六実施形態とも異なる受信部221-mの動作について説明する。
[[受信部221-m]]
受信部221-mには、通話相手先の音信号送信側装置210-m’が出力した第一符号列が第一通信回線410-mから入力され、通話相手先の音信号送信側装置210-m’が出力した第二符号列が第二通信回線510-mから入力される。第二通信回線は優先度が低い通信網であるため、受信部221-mには、通常、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線410-mから入力されるよりも後に、第二通信回線510-mから入力される。
受信部221-mは、まず、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であるか、第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、第一の制限時間Tmin以上であり第二の制限時間Tmax未満であるか、を判断する。なお、第一の制限時間Tminは、例えば、フレーム長の2倍の値である。すなわち、フレーム長が20msであれば、第一の制限時間Tminは例えば40msである。また、第二の制限時間Tmaxは、例えば400msである。
例えば、受信部221-mは、以下のステップS221-41からステップS221-44を行う。受信部221-mは、第一符号列の受信を開始してから予め定めた個数の第一符号列について、フレーム番号を読み出して、受信された時刻を測定して、フレーム番号と第一符号列が受信された時刻とを対応付けて受信部221-m内の図示しない記憶部に記憶する(ステップS221-41)。受信部221-mは、また、受信された第二符号列について、フレーム番号を読み出して、読み出したフレーム番号が記憶部に記憶されたフレーム番号の何れかと一致する場合には、受信された時刻を測定して、記憶部に記憶されたフレーム番号と第一符号列が受信された時刻に、第二符号列が受信された時刻も対応付けて、記憶部に記憶する(ステップS221-42)。受信部221-mは、次に、記憶部に対応付けて記憶されたフレーム番号と第一符号列が受信された時刻と第二符号列が受信された時刻を用いて、フレーム番号ごとの第二符号列が受信された時刻から第一符号列が受信された時刻を減算した値の、上述した予め定めた個数についての平均値を得る(ステップS221-43)。受信部221-mは、次に、ステップS221-43で得た平均値が、予め定めた第一の制限時間Tmin未満であるか、第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、第一の制限時間Tmin以上であり第二の制限時間Tmax未満であるか、を判断する(ステップS221-44)。
受信部221-mは、次に、上述した判断において平均値が第一の制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置222-mに出力し、上述した判断において平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置222-mに出力し、上述した判断において平均値が第二の制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を復号装置222-mに出力する。受信部221-mは、上述した判断において平均値が第二の制限時間Tmax未満でなかった場合には、それ以降のフレームについては、拡張符号は出力しない。すなわち、受信部221-mは、上述した判断において平均値が第二の制限時間Tmax未満でなかった場合には、モノラル符号のみを出力すればよい。ただし、第一通信回線から第一符号列が受信されてから、そのフレームの第二通信回線から第二符号列が受信されるまでには、平均するとステップS221-43で得た平均値だけの時間を要することが想定されるので、受信部221-mは、第一通信回線から第一符号列が受信されてから復号装置222-mに出力するまでの時間が、ステップS221-43で得た平均値またはそれより大きな値となるように動作させる必要がある。
すなわち、受信部221-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置222-mに出力し、上述した平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、それ以降のフレームについては、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれる場合には、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を復号装置222-mに出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれない場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、を復号装置222-mに出力し、上述した平均値が第二の制限時間Tmax未満でなかった場合には、それ以降のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)のみを復号装置222-mに出力することになる。
なお、受信部221-mは、上述した判断が終わるまでは、何も出力しないでもよいし、第一実施形態と同様にモノラル符号と拡張符号を復号装置222-mに出力してもよいし、拡張符号を出力せずにモノラル符号を復号装置222-mに出力してもよいし、第五実施形態と同様に、モノラル符号は必ず復号装置222-mに出力して、モノラル符号と拡張符号のフレーム番号の差が小さい場合のみ拡張符号も復号装置222-mに出力するようにしてもよい。
第八実施形態の音信号受信側装置220-mの復号装置222-mの動作は第六実施形態の音信号受信側装置220-mの復号装置222-mの動作と同じである。ただし、第八実施形態の受信部221-mが出力する拡張符号は場合によっては第六実施形態の受信部221-mが出力する拡張符号と異なるため、復号装置222-mは具体的には下記の動作をする。
すなわち、復号装置222-mは、上述した判断において平均値が第一の制限時間Tmin未満であった場合と、上述した判断において平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、それ以降のフレームについて、受信部221-mが出力したモノラル符号と受信部221-mが出力した拡張符号とに基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述した判断において平均値が第二の制限時間Tmax以上であった場合には、それ以降のフレームについて、受信部221-mが出力したモノラル符号に基づくモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として出力する。
より具体的には、復号装置222-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号に基づくモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として出力し、上述した平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力する。
さらに具体的には、復号装置222-mは、第一通信回線410-mから受信された第一符号列と、当該第一符号列に対応する第二通信回線510-mから受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述した平均値が第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)に基づくモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として出力し、上述した平均値が第一の制限時間Tmin以上であり第二の制限時間Tmax未満であった場合には、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれるフレームについては、当該モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、第二通信回線510-mから入力された第二符号列に含まれる拡張符号に第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)とフレーム番号が同じ拡張符号が含まれないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号(すなわち、フレーム番号順のモノラル符号)と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号(すなわち、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち、当該モノラル符号とフレーム番号が同じではないものの、当該モノラル符号とフレーム番号が最も近い拡張符号)と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力することになる。
なお、受信部221-mによる上述した判断が終わるまでは、復号装置222-mには、何も入力されないか、拡張符号が入力されずにモノラル符号が入力されるか、モノラル符号と拡張符号が入力される。復号装置222-mは、フレームごとに、入力されたモノラル符号と拡張符号、または、入力されたモノラル符号、に対応する2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。
<第八実施形態の変形例>
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第八実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第八実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点で設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
〔効果〕
本第八実施形態によれば、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差が大きいときの復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑え、かつ、上述した差が小さいときには高音質の復号音信号を得られる。
<第九実施形態>
多地点で電話会議をするための多地点制御装置(MCU, Multipoint Control Unit)において、異なる2地点の音信号それぞれに対応するディジタル音信号を2個のチャンネルのディジタル音信号として、上述した各実施形態の音信号送信側装置210-mと同様の動作をさせてもよい。この形態を第九実施形態として説明する。
≪多地点制御装置600≫
多地点制御装置600は、図7に示す通り、受信部610とモノラル復号部620と地点選択部630と信号分析部640とモノラル符号化部650と送信部660を含む。以下では、多地点制御装置600にP地点(Pは3以上の整数)の端末装置が接続されていて、複数回線対応端末装置200-mに地点mから地点mまでのP-1地点のうちの最大2地点の音信号を伝える例で説明する。多地点制御装置600は、例えば20msの所定の時間区間であるフレームごとに、図8及び以下に例示するステップS610からステップS660の処理を行う。
[受信部610]
受信部610には、複数回線対応端末装置200-melse(elseは2以上P以下の各整数)が第一通信回線を介して出力したP-1個の第一符号列が入力される。受信部610は、入力されたP-1個の第一符号列それぞれに含まれるモノラル符号をモノラル復号部620に出力する(ステップS610)。
[モノラル復号部620]
モノラル復号部620は、受信部610から入力されたP-1個のモノラル符号それぞれを所定の復号方式で復号してモノラルの復号ディジタル音信号である復号モノラル信号を得て地点選択部630に出力する(ステップS620)。所定の復号方式については、第一実施形態で説明した通りである。
[地点選択部630]
地点選択部630は、予め定めた選択基準に基づいて、モノラル復号部620から入力されたP-1個の復号モノラル信号のうちの2個の復号モノラル信号を選択して信号分析部640に出力する(ステップS630)。予め定めた選択基準としては、重要度合いが高い地点の復号モノラル信号を選択できる基準を予め定めておき、地点選択部630が選択を実行できるようにしておけばよい。例えば、選択基準として音信号のパワーを用いるのであれば、地点選択部630は、フレームごとに、入力されたP-1個の復号モノラル信号のうちのパワーが最大である復号モノラル信号とパワーが2番目に大きい復号モノラル信号を信号分析部640に出力する。
[信号分析部640]
信号分析部640は、入力された2個の復号モノラル信号から、入力された2個の復号モノラル信号を混合した信号であるモノラル信号を得てモノラル符号化部650に出力し、入力された2個の復号モノラル信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号を得て送信部660に出力する(ステップS640)。信号分析部640は、第一実施形態の複数回線対応端末装置200-mの音信号送信側装置210-mの符号化装置212-mの信号分析部2121-mと同じ動作をすればよい。ただし、本第九実施形態の場合は、入力された2個の復号モノラル信号はそれぞれ異なる地点で発せられた音信号に対応することから、特徴パラメータとしては、信号分析部2121-mの第1例で示した時間差を表す情報よりは、第2例で示した周波数帯域ごとの強度差を表す情報を用いた方がよい。なお、入力された2個の復号モノラル信号のパワーの比や差を表す情報を特徴パラメータとしてもよい。
[モノラル符号化部650]
モノラル符号化部650は、入力されたモノラル信号を所定の符号化方式で符号化してモノラル符号を得て送信部660に出力する(ステップS650)。所定の符号化方式については、第一実施形態で説明した通りである。
[送信部660]
送信部660は、フレームごとに、モノラル符号化部650から入力されたモノラル符号を含む符号列である第一符号列を複数回線対応端末装置200-mに対して第一通信回線を介して出力し、信号分析部640から入力された拡張符号を含む符号列である第二符号列を複数回線対応端末装置200-mに対して第二通信回線を介して出力する(ステップS660)。
〔効果〕
多地点制御装置600に本第九実施形態の動作をさせることで、複数回線対応端末装置200-mでは2地点の音信号を擬似的に左と右に振り分けて再生することができ、何れの地点での発話であることや異なる地点での発話であることを明瞭とすることができる。
<第九実施形態の変形例>
第九実施形態の多地点制御装置600の地点選択部630では、パワーを用いて2個の復号モノラル信号を選択していることから、信号分析部640ではなく地点選択部630で拡張符号を得るようにしてもよい。この形態を第九実施形態の変形例として、第九実施形態と異なる点について説明する。
≪多地点制御装置600≫
第九実施形態の変形例の多地点制御装置600は、図9に示す通り、第九実施形態の多地点制御装置600が含んでいた信号分析部640に代えて信号混合部670を含む。多地点制御装置600は、フレームごとに図10に例示するステップS610からステップS630、ステップS670、ステップS650からステップS660、の処理を行う。これらのうち第九実施形態と実質的に異なるのは、地点選択部630が行うステップS630と信号混合部670が行うステップS670である。送信部660が行うステップS660は、拡張符号が信号分析部640ではなく地点選択部630から入力されること以外は第九実施形態と同じである。
[地点選択部630]
地点選択部630は、モノラル復号部620から入力されたP-1個の復号モノラル信号のうちのパワーが最大である復号モノラル信号とパワーが2番目に大きい復号モノラル信号を選択して信号分析部640に出力し、さらに、選択した2個の復号モノラル信号のパワーの比または差を特徴パラメータとして得て、得た特徴パラメータを表す符号である拡張符号を得て送信部660に出力する(ステップS630)。
[信号混合部670]
信号混合部670は、入力された2個の復号モノラル信号から、入力された2個の復号モノラル信号を混合した信号であるモノラル信号を得てモノラル符号化部650に出力する(ステップS670)。
なお、複数回線対応端末装置200-mでの2地点の音信号の擬似的な左と右への振り分けを強調するために、地点選択部630は、選択した2個の復号モノラル信号のうちのパワーが大きい方の地点を特定する情報を特徴パラメータとして得て、得た特徴パラメータを表す符号である拡張符号を得て送信部660に出力してもよい。この場合には、複数回線対応端末装置200-mの音信号受信側装置220-mの復号装置222-mの拡張復号部2222-mでは、各地点について予め定められた左右位置に音信号が定位するように2個のチャンネルの復号ディジタル音信号を得るようにすればよい。また、この場合には、信号混合部670は入力された2個の復号モノラル信号のうちのパワーが大きい方を選択してモノラル符号化部650に出力してもよく、そもそも信号混合部670を備えずに、地点選択部630がパワーが最大である復号モノラル信号1つのみを選択して出力するようにしてもよい。
<第十実施形態>
上述した各実施形態及び変形例では、説明を簡単化するために、複数回線対応端末装置200-mの2個のチャンネルの音信号を扱う例で説明した。しかし、チャンネル数はこの限りではなく2以上であればよい。このチャンネル数をC(Cは2以上の整数)とすると、上述した各実施形態及び変形例は、2個のチャンネルをC個(Cは2以上の整数)のチャンネルと読み替えて実施することができる。
例えば、複数回線対応端末装置200-mの音信号送信側装置210-mの収音部211-mはC個のマイクロホンとC個のAD変換部を含むようにすればよく、複数回線対応端末装置200-mの音信号送信側装置210-mの符号化装置212-mは、入力されたC個のチャンネルのディジタル音信号からモノラル符号と拡張符号を得るようにすればよい。具体的には、符号化装置212-mは、入力されたC個のチャンネルのディジタル音信号を混合した信号を所定の第1の符号化方式で符号化してモノラル符号を得て、入力されたC個のチャンネルのディジタル音信号におけるチャネル間の差分に相当する情報を表す符号を含む拡張符号を得るようにすればよい。C個のチャンネルのディジタル音信号におけるチャネル間の差分に相当する情報とは、例えば、基準とするチャンネル以外のC-1個のチャンネルそれぞれについての、当該チャンネルのディジタル音信号と基準とするチャンネルのディジタル音信号との差分に相当する情報である。
また、複数回線対応装置200-mの音信号受信側装置220-mの復号装置222-mは、入力されたモノラル符号と拡張符号とに基づいてC個のチャンネルの復号ディジタル音信号を得て出力するようにすればよい。具体的には、復号装置222-mのモノラル復号部2221-mは、入力されたモノラル符号を復号してモノラルの復号ディジタル音信号を得て、復号装置222-mの拡張復号部2222-mは、モノラルの復号ディジタル音信号がC個のチャンネルの復号ディジタル音信号が混合された信号 であると見做し、入力された拡張符号に基づいて得られる特徴パラメータがC個のチャンネルの復号ディジタル音信号におけるチャンネル間の差分の特徴を表す情報であると見做して、C個のチャンネルの復号ディジタル音信号を得て出力するようにすればよい。またこの場合は、複数回線端末装置200-mの音信号受信側装置220-mの再生部223-mが最大C個のDA変換部と最大C個のスピーカを含むようにしてもよい。
<その他の実施形態>
<<電話システムに電話回線専用端末装置も含む形態>>
電話システム100に電話回線専用端末装置300-nも含む場合には、電話回線専用端末装置300-nは以下の通りに周知の動作をする。
≪電話回線専用端末装置300-n≫
電話回線専用端末装置300-nは、例えば従来型の携帯電話機や従来型のスマートフォンであり、図11に示す通り、音信号送信側装置310-nと音信号受信側装置320-nを含む。音信号送信側装置310-nは収音部311-nと符号化装置312-nと送信部313-nを含む。音信号受信側装置320-nは受信部321-nと復号装置322-nと再生部323-nを含む。電話回線専用端末装置300-nの音信号送信側装置310-nは、図12及び以下に例示するステップS311からステップS313の処理を行い、電話回線専用端末装置300-nの音信号受信側装置320-nは、図13及び以下に例示するステップS321からステップS323の処理を行う。
[音信号送信側装置310-n]
音信号送信側装置310-nは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、1個のチャンネルのディジタル音信号に対応するモノラル符号を含む符号列である第一符号列を得て第一通信回線420-nに出力する。
[[収音部311-n]]
収音部311-nは、1個のマイクロホンと1個のAD変換部を含む。マイクロホンは、マイクロホンの周辺の空間領域で発生した音を収音してアナログの電気信号に変換してAD変換部に出力する。AD変換部は、入力されたアナログの電気信号を例えばサンプリング周波数が8kHzのPCM信号であるディジタル音信号に変換して出力する。すなわち、収音部311-nは、1個のマイクロホンで収音した音に対応する1個のチャンネルのディジタル音信号を符号化装置312-nに出力する(ステップS311)。
[[符号化装置312-n]]
符号化装置312-nは、フレームごとに、収音部311-nから入力された1個のチャンネルのディジタル音信号を上述した所定の符号化方式で符号化してモノラル符号を得て送信部313-nに出力する(ステップS312)。
[[送信部313-n]]
送信部313-nは、フレームごとに、符号化装置312-nから入力されたモノラル符号を含む符号列である第一符号列を第一通信回線420-nに出力する(ステップS313)。
[音信号受信側装置320-n]
音信号受信側装置320-nは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、第一通信回線420-nから入力された第一符号列に含まれるモノラル符号に基づく音を出力する。
[[受信部321-n]]
受信部321-nは、フレームごとに、第一通信回線420-nから入力された第一符号列に含まれるモノラル符号を復号装置322-nに出力する(ステップS321)。
[[復号装置322-n]]
復号装置322-nには、フレームごとに、受信部321-nが出力したモノラル符号が入力される。復号装置322-nは、フレームごとに、入力されたモノラル符号を上述した所定の復号方式で復号して1個の復号ディジタル音信号を得て再生部323-nに出力する(ステップS322)。
[[再生部323-n]]
再生部323-nは、入力された1個の復号ディジタル音信号に対応する音を出力する(ステップS323)。
再生部323-nは、例えば、1個のDA変換部と1個のスピーカを含む。DA変換部は、入力された復号ディジタル音信号をアナログの電気信号に変換して出力する。スピーカは、DA変換部から入力されたアナログの電気信号に対応する音を発生する。スピーカは、ステレオヘッドフォンやステレオイヤホンに備えられたものであってもよい。ステレオヘッドフォンやステレオイヤホンに備えられたスピーカ、すなわち2個のスピーカを用いる場合には、例えば、再生部323-nは、DA変換部が出力した電気信号を2個のスピーカに入力して、1個の復号ディジタル音信号に対応する音(復号音信号)を2個のスピーカから発生する。
〔効果〕
電話回線専用端末装置300-nでも複数回線対応端末装置200-mと同じ符号化方式と復号方式を用いていることから、電話回線専用端末装置300-nでは、最低限の音質の復号音信号を得られるように互換性を確保した上で、複数回線対応端末装置200-mでは、最低限の音質の復号音信号を得る場合とほぼ同じ遅延時間で、すなわち双方向通話の際に違和感が生じない遅延時間で、高音質の復号音信号を得ることができる。
<<モノラル符号でも拡張符号でもない符号もある形態>>
複数回線対応端末装置200-mの音信号送信側装置210-mは、上述したモノラル符号でも上述した拡張符号でもない符号(追加符号)を得て出力するようにしてもよい。具体的には、符号化装置212-mは追加符号も得て送信部213-mに出力するようにし、送信部213-mは、符号化装置212-mから入力された追加符号を第一通信回線410-mと第二通信回線510-mの何れかに出力するようにしてもよい。追加符号は、例えば、入力されたC個(Cは2以上の整数)のチャンネルのディジタル音信号を混合した信号の高域成分の特徴を表す符号である。
同様に、複数回線対応端末装置200-mの音信号受信側装置220-mには、上述したモノラル符号でも上述した拡張符号でもない符号(追加符号)が入力されて、複数回線対応端末装置200-mの音信号受信側装置220-mは、追加符号も用いて復号音信号を得て出力するようにしてもよい。具体的には、受信部221-mは、第一通信回線410-mと第二通信回線510-mの何れかから入力された追加符号を復号装置222-mに出力し、復号装置222-mは、受信部221-mから入力された追加符号も用いて復号音信号を得るようにしてもよい。
<プログラム及び記録媒体>
複数回線対応端末装置200-mの各部の処理をコンピュータにより実現してもよい。言い換えれば、複数回線対応端末装置200-mにおける符号化方法、複数回線対応端末装置200-mにおける復号方法のそれぞれの各ステップの処理をコンピュータによって実行してもよい。この場合、各ステップの処理はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各ステップの処理がコンピュータ上で実現される。図14は、上述の処理を実現するコンピュータの機能構成の一例を示す図である。当該処理は、記録部2020に、コンピュータを上述の装置として機能させるためのプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。
これらの処理内容を記述したプログラムのそれぞれは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、各部の処理は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理の少なくとも一部をハードウェア的に実現することとしてもよい。
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

Claims (20)

  1. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であるか否かを判断し、
    前記判断において前記平均値が前記制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
    前記判断において前記平均値が前記制限時間Tmin未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信ステップと、
    前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力する復号ステップと、
    を含む音信号受信復号方法。
  2. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断し、
    前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
    前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、
    前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、
    を含む音信号受信復号方法。
  3. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が、予め定めた第一の制限時間Tmin未満であるか、前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であるか、を判断し、
    前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
    前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
    前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、
    前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合と、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、
    を含む音信号受信復号方法。
  4. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
    前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
    前記差が前記予め定めた値未満でないフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、
    前記差が前記予め定めた値未満であるフレームについては、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記差が前記予め定めた値未満でないフレームについては、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、
    を含む音信号受信復号方法。
  5. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記平均値が前記制限時間Tmin未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、
    を含む音信号復号方法。
  6. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記平均値が前記制限時間Tmax未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、
    を含む音信号復号方法。
  7. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記平均値が前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力し、
    前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、
    を含む音信号復号方法。
  8. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
    前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記モノラル符号と前記拡張符号に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記差が前記予め定めた値未満でないフレームについては、前記モノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、
    を含む音信号復号方法。
  9. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であるか否かを判断し、
    前記判断において前記平均値が前記制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
    前記判断において前記平均値が前記制限時間Tmin未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信部と、
    前記判断以降のフレームについて、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力する復号部と、
    を含む音信号受信側装置。
  10. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断し、
    前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
    前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信部と、
    前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部と、
    を含む音信号受信側装置。
  11. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が、予め定めた第一の制限時間Tmin未満であるか、前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であるか、を判断し、
    前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
    前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
    前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信部と、
    前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合と、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部と、
    を含む音信号受信側装置。
  12. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
    前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
    前記差が前記予め定めた値未満でないフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信部と、
    前記差が前記予め定めた値未満であるフレームについては、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記差が前記予め定めた値未満でないフレームについては、前記受信部が出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部と、
    を含む音信号受信側装置。
  13. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記平均値が前記制限時間Tmin未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号部、
    を含む復号装置。
  14. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記平均値が前記制限時間Tmax未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部、
    を含む復号装置。
  15. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
    前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記平均値が前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力し、
    前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号部、
    を含む復号装置。
  16. 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
    前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記モノラル符号と前記拡張符号に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
    前記差が前記予め定めた値未満でないフレームについては、前記モノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部、
    を含む復号装置。
  17. 請求項1ないし4のいずれか1項に記載の音信号受信復号方法をコンピュータに実行させるためのプログラム。
  18. 請求項5ないし8のいずれか1項に記載の音信号復号方法をコンピュータに実行させるためのプログラム。
  19. 請求項1ないし4のいずれか1項に記載の音信号受信復号方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  20. 請求項5ないし8のいずれか1項に記載の音信号復号方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2021525901A 2019-06-13 2019-12-27 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 Active JP7192987B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/023424 WO2020250370A1 (ja) 2019-06-13 2019-06-13 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体
JPPCT/JP2019/023424 2019-06-13
PCT/JP2019/051596 WO2020250471A1 (ja) 2019-06-13 2019-12-27 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020250471A1 JPWO2020250471A1 (ja) 2020-12-17
JP7192987B2 true JP7192987B2 (ja) 2022-12-20

Family

ID=73781711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525901A Active JP7192987B2 (ja) 2019-06-13 2019-12-27 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20220246157A1 (ja)
EP (1) EP3985662A4 (ja)
JP (1) JP7192987B2 (ja)
CN (1) CN113966530A (ja)
WO (2) WO2020250370A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289196A (ja) 2002-03-08 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム
JP2005117132A (ja) 2003-10-03 2005-04-28 Nippon Telegr & Teleph Corp <Ntt> 音声信号パケット通信方法、音声信号パケット送信方法、受信方法、これらの装置、そのプログラムおよび記録媒体
WO2006070751A1 (ja) 2004-12-27 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
WO2008102527A1 (ja) 2007-02-20 2008-08-28 Panasonic Corporation マルチチャンネル復号装置、マルチチャンネル復号方法、プログラム及び半導体集積回路
WO2009129822A1 (en) 2008-04-22 2009-10-29 Nokia Corporation Efficient encoding and decoding for multi-channel signals

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11251917A (ja) * 1998-02-26 1999-09-17 Sony Corp 符号化装置及び方法、復号化装置及び方法、並びに記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289196A (ja) 2002-03-08 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム
JP2005117132A (ja) 2003-10-03 2005-04-28 Nippon Telegr & Teleph Corp <Ntt> 音声信号パケット通信方法、音声信号パケット送信方法、受信方法、これらの装置、そのプログラムおよび記録媒体
WO2006070751A1 (ja) 2004-12-27 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
WO2008102527A1 (ja) 2007-02-20 2008-08-28 Panasonic Corporation マルチチャンネル復号装置、マルチチャンネル復号方法、プログラム及び半導体集積回路
WO2009129822A1 (en) 2008-04-22 2009-10-29 Nokia Corporation Efficient encoding and decoding for multi-channel signals

Also Published As

Publication number Publication date
CN113966530A (zh) 2022-01-21
EP3985662A4 (en) 2023-07-19
US20220246157A1 (en) 2022-08-04
JPWO2020250471A1 (ja) 2020-12-17
WO2020250370A1 (ja) 2020-12-17
WO2020250471A1 (ja) 2020-12-17
EP3985662A1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
JP6786679B2 (ja) 複数のオーディオ信号の符号化
US11417348B2 (en) Truncateable predictive coding
JP5357904B2 (ja) 変換補間によるオーディオパケット損失補償
US20240114307A1 (en) Representing spatial audio by means of an audio signal and associated metadata
KR102551431B1 (ko) 목표 샘플 발생
JP2019504344A (ja) 時間的オフセット推定
JP7205626B2 (ja) 音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体
JP7192986B2 (ja) 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体
JP7192987B2 (ja) 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体
US12131743B2 (en) Sound signal receiving and decoding method, sound signal decoding method, sound signal receiving side apparatus, decoding apparatus, program and storage medium
JP7176418B2 (ja) 多地点制御方法、装置及びプログラム
WO2020149165A1 (ja) 多地点制御方法、装置及びプログラム
JP7092050B2 (ja) 多地点制御方法、装置及びプログラム
WO2020149166A1 (ja) 多地点制御方法、装置及びプログラム
WO2020149163A1 (ja) 符号化復号方法、復号方法、これらの装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R150 Certificate of patent or registration of utility model

Ref document number: 7192987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150