JP5792877B1 - 遅延時間調整装置及び方法及びプログラム - Google Patents

遅延時間調整装置及び方法及びプログラム Download PDF

Info

Publication number
JP5792877B1
JP5792877B1 JP2014152219A JP2014152219A JP5792877B1 JP 5792877 B1 JP5792877 B1 JP 5792877B1 JP 2014152219 A JP2014152219 A JP 2014152219A JP 2014152219 A JP2014152219 A JP 2014152219A JP 5792877 B1 JP5792877 B1 JP 5792877B1
Authority
JP
Japan
Prior art keywords
delay
time
delay time
audio signal
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014152219A
Other languages
English (en)
Other versions
JP2016032129A (ja
Inventor
敦子 倉島
敦子 倉島
則次 恵木
則次 恵木
岡本 淳
淳 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014152219A priority Critical patent/JP5792877B1/ja
Application granted granted Critical
Publication of JP5792877B1 publication Critical patent/JP5792877B1/ja
Publication of JP2016032129A publication Critical patent/JP2016032129A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

【課題】 VoIPアプリケーションサービスにおける通話品質を向上させる。【解決手段】 本発明は、送信側端末に入力された第1の音声信号と該音声信号が受信側端末を経由して戻ってきた第2の音声信号からエコー量と遅延時間を算出し、第1の音声信号と第2の音声信号から、送信側端末と受信側端末間の会話のやりとり頻度を導出し、エコー量及び遅延時間、あるいは、会話のやりとり頻度からエコーの影響を最小に抑えるための遅延調整時間を導出し、遅延調整時間を補正し、補正された遅延調整時間の長さを第2の音声信号を遅延させる。【選択図】 図1

Description

本発明は、遅延時間調整装置及び方法及びプログラムに係り、特に、VoIP(Voice over Internet Protocol)アプリケーションサービスの通信品質劣化を軽減させるための遅延時間調整装置及び方法及びプログラムに関する。
固定電話サービスなどの従来の音声通話サービスでは、送信側の音声が相手側の送信経路を経由して送信側に回り込み、送話者自身の耳元に返ってくる送話者エコーや、相手の声が繰り返し聞こえる受話者エコーが発生するが、遅延時間が短いためエコーの影響はほとんど感じない。また、エコーが発生した場合でも、端末やネットワーク上でエコーを除去する機能(例えば、エコーキャンセラ)の働きにより品質劣化への影響は少なかった(例えば、非特許文献1,2参照)。
電子情報通信学会「知識の森」2群-6編-5章http://www.ieice-hbkb.org/ ITU-T勧告G.131
固定電話などの従来の音声通話サービスは品質規定に準拠しているために、エコーの影響はほとんど受けないが、近年急速に普及が進むスマートフォン上での音声通話サービスとして提供されるVoIPアプリケーションサービスでは、従来の音声通話サービスのように端末に対して音量やエコーに対する品質規定がなされておらず、ネットワークの混雑時や接続状況のほか、端末に依存してエコー除去機能がうまく動作しないことがある。そのため、送話者が発話した音声が、大きなエコーとして再び送話者自身の耳に返ってくることがあり、通話が困難になる現象が発生してしまう。
本発明は、上記の点に鑑みなされたもので、VoIPアプリケーションサービスにおける通話品質を向上させることが可能な遅延時間調整装置及び方法及びプログラムを提供することを目的とする。
一態様によれば、送信側端末と受信側端末との双方向の音声通話サービスにおける遅延時間調整装置であって、
前記送信側端末に入力された第1の音声信号と該第1の音声信号が前記受信側端末を経由して戻ってきた第2の音声信号からエコー量と遅延時間を算出するエコー量・遅延時間算出手段と、
前記第1の音声信号と前記第2の音声信号から、前記送信側端末と前記受信側端末との間の会話のやりとり頻度を導出するやりとり頻度算出手段と、
前記エコー量及び前記遅延時間の関係、あるいは、該関係及び前記会話のやりとり頻度に基づいて、エコーの影響を最小に抑えるための遅延調整時間を導出する遅延調整時間導出手段と、
前記遅延調整時間を補正する遅延調整時間調節手段と、を有する遅延時間調整装置が提供される。
一態様によれば、送信端末で取得した遅延時間の情報からエコー量と遅延時間の関係を導出し、適切な追加遅延時間を挿入することで、VoIPアプリケーションサービスにおける通話品質を向上させることが可能となる。
本発明の一実施の形態における遅延時間調整装置の構成例。 本発明の一実施の形態における遅延時間調整装置の処理概要のシーケンスチャート。 本発明の一実施の形態におけるエコー量・遅延時間算出部の動作説明図。 本発明の一実施の形態におけるやりとり頻度算出部の動作説明図。 本発明の一実施の形態における遅延時間DBの説明図。 本発明の一実施の形態における遅延時間DBの例。
以下、図面と共に本発明の実施の形態を説明する。
図1は、本発明の一実施の形態における遅延時間調整装置の構成例を示す。
同図に示すシステムは、送信側端末200と受信側端末400がネットワーク300を介して接続されている。
送信側端末200は、遅延時間調整装置100、送信側端末マイク210、送信側端末スピーカ220を有する。
遅延時間調整装置100は、エコー量・遅延時間算出部110、やりとり頻度算出部120、遅延時間DB130、遅延調整時間導出部140、遅延調整時間調節部150を有する。遅延時間DB130は、予め求められたエコー量と遅延時間に基づく品質特性が格納されている。なお、図1の構成において、遅延時間DB130を遅延時間調整装置100内部に設ける構成としているが、この例に限定されることなく、遅延時間調整装置100の外部に接続される構成としてもよい。
受信側端末400は、受信側端末マイク410、受信側端末スピーカ420を有する。
本発明は、エコー量を考慮して、遅延時間調整された音声信号を送信側端末200の送信側端末スピーカ220に出力するものである。エコーとして知覚されるかどうかは、エコー量(エコーのレベル)と発話からエコーが受信側端末400から戻ってくるまでの遅延時間により決まる。そのため、本発明では、エコーは、TELR(Talker Echo Loudness Rating)の値が小さいほど大きく知覚され、妨害感が増すという前提に基づく。
上記の構成における遅延時間調整装置100の動作を図1に沿って説明する。
送信側端末200は、送信側端末マイク210から入力された送信音声信号aを、ネットワーク300を介して受信側端末400に送出する。受信側端末400では、受信側端末スピーカ420から出力された音声が、回り込み音声信号bとして受信側端末マイク410に入力され、ネットワーク300を介して送信側端末200に受信音声信号cとして入力される。ここで、送信音声信号aと受信音声信号cが遅延時間調整装置100の遅延調整時間調節部150に入力され、調整受信音声信号dが作成され、送信側端末スピーカ220より出力される。
以下に遅延時間調整装置100内部の処理の流れについて説明する。
図2は、本発明の一実施の形態における遅延時間調整装置の処理概要のシーケンスチャートを示す。
遅延時間調整装置100において、送信側端末マイク210から出力された送信音声信号aと受信側端末マイク410から出力された受信音声信号cが、それぞれエコー量・遅延時間算出部110とやりとり頻度算出部120に入力される(ステップ1,2)。
エコー量・遅延時間算出部110ではエコー量e及び遅延時間fを算出し、遅延調整時間導出部140に入力する(ステップ3)。やりとり頻度算出部120では、会話のやりとり頻度gを算出し、遅延調整時間導出部140に入力する(ステップ4)。遅延調整時間導出部140は、エコー量e、遅延時間f、会話のやりとり頻度gを基に、遅延時間DB130に問い合わせhを送出して検索を行い、その回答として最適遅延時間iを取得し、最適遅延時間iを基に、遅延調整時間jを求め、遅延調整時間調節部150に入力する(ステップ5)。遅延調整時間調節部150は、受信音声信号cに遅延調整時間jを追加した調整受信音声信号dを求め(ステップ6)、調整受信音声信号dを送信側端末スピーカ220に出力する(ステップ7)。
以下に、上記の処理の詳細を説明する。
ステップ3)上記のステップ1,2が行われた後、エコー量・遅延時間算出部110では、図3に示す通り、入力された送信音声信号aと受信音声信号cを比較し、送信音声信号aと同じ音声波形構成からなる回り込み音声信号bを検知して、両信号の音声信号レベル測定によりエコー量eを算出する。受信音声信号cは、図3に示すように、(1)受信側端末マイク410で発話入力された音声信号と、(2)受信側端末スピーカ420から出力された回り込み音声信号bで構成される。遅延時間は、受信音声信号cから検知した回り込み音声信号の先頭の時刻βを読み取り、その時刻差(β−α)を遅延時間fとして求め、遅延調整時間導出部140に出力する。なお、受信側端末スピーカ420から出力された回り込み音声信号bは微弱であるため、一時的に受信音声信号cの信号レベルを送信側端末200において増幅させ、エコー量・遅延時間算出部110に入力することにより、回り込み音声信号を検知しやすくすることが可能である。
ステップ4)やりとり頻度算出部120では、図4に示す通り、入力された送信音声信号a、及び、受信音声信号cから送信音声信号aと同じ音声波形構成からなる回り込み音声信号bを検知し、これを除去した受信音声信号c'を比較し、送信音声信号aの音声が終わり(T1E)、受信音声信号c'の音声が始まる(R1S)時を1回目の会話の切り替わり(C1)とし、次に、受信音声信号c'を2回目の会話の切り替わり(C2)、さらに、送信音声信号aの音声が終わり(T2E)、次に、受信音声信号c'が始まる(R2S)を3回目の会話の切り替わり(C3)とするように会話の切り替わり回数をカウントし、この単位時間(T1S〜R2E)当たりのカウント数である会話のやりとり頻度gを遅延調整時間導出部140に出力する。
ステップ5)遅延調整時間導出部140は、遅延時間DB130に、エコー量e、遅延時間f、及び、会話のやりとり頻度gを含む問い合わせhを送信し、会話のやりとり頻度gに対応した遅延時間とエコー量の関係から最良の品質特性となる最適遅延時間iを取得する。そして、最適遅延時間iと遅延時間fの差分を求め、これを遅延調整時間jとする。ただし、最適遅延時間iが遅延時間fと同じ値で差分が0となる場合は、改善不能な状態として無効扱いとなる。遅延時間DB130には、会話のやりとり頻度g毎に、エコー量eと遅延時間fの関係について品質特性値を予め求めておき、リスト化して保存しておく。これにより遅延調整時間導出部140からの問い合わせhに対応して、会話のやりとり頻度gにおける、エコー量eと遅延時間fの関係から遅延時間fを超える時間において、最も品質が向上する最適遅延時間iを遅延調整時間導出部140に返却する。
遅延時間DB130について詳細に説明する。
遅延時間DB130は、事前の主観実験結果より得られた品質特性を図5に示す。同図に示す品質特性は、例えば、エコー量eが"35dB"で遅延時間が"a(ms) "だった場合は、主観品質は"MOSa"となるが、遅延時間を増加させた際に"MOSa"より最も品質値が高い"MOSb"が存在し、その際の遅延時間が"b(ms) "であることから、この遅延時間"b"を最適遅延時間iとして導出する。ただし、ここで示した品質特性は、会話のやりとり頻度により異なることから、会話のやりとり頻度毎に図6に示すように、遅延時間とエコー量に対応する品質特性値が設定された表として遅延時間DB130に保持しておくこととする。これは、遅延時間については、会話のやりとり頻度が頻繁な場合には通話状態の変化はより敏感に体感品質に反映され、一方、会話のやりとり頻度が頻繁でない場合には鈍感になる傾向があり、会話のやりとり頻度により品質特性が異なるため、遅延時間と相関の強いエコーが加わることでも同様に影響を受けるという考え方に基づく。なお、図6では、会話のやりとり頻度毎に遅延時間とエコー量の関係における品質特性値を格納しているが、この例に限定されることなく、遅延時間とエコー量の関係における品質特性値を保持してもよい。
遅延調整時間調節部150は、遅延調整時間導出部140から取得した遅延調整時間jの時間分だけ、受信側端末マイク410から出力された受信音声信号cを遅らせた後、送信側端末スピーカ220に出力する。
上記のように、最適な遅延時間を導出して送信側端末スピーカ220に出力する調整受信音声信号dを調整することにより、送信側端末200と受信側端末400の双方向の音声通話サービスにおいてエコーによる品質低下を軽減することが可能である。
本実施の形態に係る遅延時間調整装置100は、例えば、1つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、遅延時間調整装置100が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、遅延時間調整装置100で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
a 送信音声信号
b 回り込み音声信号
c 受信音声信号
d 調整受信音声信号
e エコー量
f 遅延時間
g 会話のやりとり頻度
h 問い合わせ
i 最適遅延時間
j 遅延調整時間
100 遅延時間調整装置
110 エコー量・遅延時間算出部
120 やりとり頻度算出部
130 遅延時間DB
140 遅延調整時間導出部
150 遅延調整時間調節部
200 送信側端末
210 送信側端末マイク
220 送信側端末スピーカ
300 ネットワーク
400 受信側端末
410 受信側端末マイク
420 受信側端末スピーカ

Claims (6)

  1. 送信側端末と受信側端末との双方向の音声通話サービスにおける遅延時間調整装置であって、
    前記送信側端末に入力された第1の音声信号と該第1の音声信号が前記受信側端末を経由して戻ってきた第2の音声信号からエコー量と遅延時間を算出するエコー量・遅延時間算出手段と、
    前記第1の音声信号と前記第2の音声信号から、前記送信側端末と前記受信側端末との間の会話のやりとり頻度を導出するやりとり頻度算出手段と、
    前記エコー量及び前記遅延時間の関係、あるいは、該関係及び前記会話のやりとり頻度に基づいて、エコーの影響を最小に抑えるための遅延調整時間を導出する遅延調整時間導出手段と、
    前記遅延調整時間を補正する遅延調整時間調節手段と、
    を有することを特徴とする遅延時間調整装置。
  2. 前記会話のやりとり頻度毎に、前記送信側端末におけるエコー量と遅延時間に対応する品質評価特性に基づく品質特性値を格納した遅延時間DBを更に有し、
    前記遅延調整時間導出手段は、
    前記エコー量及び前記遅延時間、あるいは、前記会話のやりとり頻度及び該エコー量及び該遅延時間に基づいて、前記遅延時間DBを参照することにより得られた最適遅延時間を用いて前記遅延調整時間を導出する手段を含む
    請求項1記載の遅延時間調整装置。
  3. 前記遅延調整時間導出手段は、
    前記遅延時間DBを参照して、前記エコー量・遅延時間算出手段で得られた前記遅延時間における品質特性値と比べて遅延時間が上回るが、品質特性値が最良となる条件を満たす場合の最適遅延時間と該エコー量・遅延時間算出手段で得られた該遅延時間との差分を前記遅延調整時間として導出する手段を含む
    請求項2記載の遅延時間調整装置。
  4. 前記遅延調整時間調節手段は、
    前記遅延調整時間導出手段より取得した前記遅延調整時間の長さだけ、前記第2の音声信号を遅延させて前記送信側端末に出力する手段を含む
    請求項1記載の遅延時間調整装置。
  5. 送信側端末と受信側端末との双方向の音声通話サービスにおける遅延時間調整方法であって、
    遅延時間を調整する装置において、
    前記送信側端末に入力された第1の音声信号と該第1の音声信号が前記受信側端末を経由して戻ってきた第2の音声信号からエコー量と遅延時間を算出するエコー量・遅延時間算出ステップと、
    前記第1の音声信号と前記第2の音声信号から、前記送信側端末と前記受信側端末との間の会話のやりとり頻度を導出するやりとり頻度算出ステップと、
    前記エコー量及び前記遅延時間の関係、あるいは、該関係及び前記会話のやりとり頻度からエコーの影響を最小に抑えるための遅延調整時間を導出する遅延調整時間導出ステップと、
    前記遅延調整時間を補正する遅延調整時間調節ステップと、
    を行うことを特徴とする遅延時間調整方法。
  6. コンピュータを、
    請求項1乃至4のいずれか1項に記載の遅延時間調整装置の各手段として機能させるための遅延時間調整プログラム。
JP2014152219A 2014-07-25 2014-07-25 遅延時間調整装置及び方法及びプログラム Active JP5792877B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014152219A JP5792877B1 (ja) 2014-07-25 2014-07-25 遅延時間調整装置及び方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014152219A JP5792877B1 (ja) 2014-07-25 2014-07-25 遅延時間調整装置及び方法及びプログラム

Publications (2)

Publication Number Publication Date
JP5792877B1 true JP5792877B1 (ja) 2015-10-14
JP2016032129A JP2016032129A (ja) 2016-03-07

Family

ID=54330128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014152219A Active JP5792877B1 (ja) 2014-07-25 2014-07-25 遅延時間調整装置及び方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5792877B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115462058A (zh) * 2020-05-11 2022-12-09 雅马哈株式会社 信号处理方法、信号处理装置及程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139177A1 (ko) * 2020-12-24 2022-06-30 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148225A (ja) * 2003-11-12 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 通話品質推定装置、そのプログラム及びその記録媒体
JP2010011265A (ja) * 2008-06-30 2010-01-14 Toshiba Corp エコーキャンセラ装置及びその方法
JP2011250289A (ja) * 2010-05-28 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 通話品質推定方法、通話品質推定装置および通話品質推定システム
JP2015106896A (ja) * 2013-12-03 2015-06-08 日本電信電話株式会社 通話品質推定方法、通話品質推定装置、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005148225A (ja) * 2003-11-12 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 通話品質推定装置、そのプログラム及びその記録媒体
JP2010011265A (ja) * 2008-06-30 2010-01-14 Toshiba Corp エコーキャンセラ装置及びその方法
JP2011250289A (ja) * 2010-05-28 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 通話品質推定方法、通話品質推定装置および通話品質推定システム
JP2015106896A (ja) * 2013-12-03 2015-06-08 日本電信電話株式会社 通話品質推定方法、通話品質推定装置、及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JPN6015030301; 伊藤憲三、北脇信彦: '会話音声の時間的特徴量に着目した遅延品質評価法' 日本音響学会誌 , 19871101, pp.851-857, 社団法人日本音響学会 *
JPN6015030303; 恵木則次、岡本淳、林 孝典: 'モバイルネットワークを経由したOTT型音声通話アプリケーションの遅延時間測定法に関する検討' 電子情報通信学会技術研究報告 Vol.112、No.476, 20130304, pp.53-57, 社団法人電子情報通信学会 *
JPN6015030306; 恵木則次、倉島敦子、岡本淳: '通話時の発話パタンがモバイルVoIPアプリケーション品質に及ぼす影響' 電子情報通信学会技術研究報告 Vol.113、No.471, 20140227, pp.13-17, 社団法人電子情報通信学会 *
JPN6015030307; 恵木則次、倉島敦子、岡本淳: 'モバイルVoIP-APの遅延時間測定用試験信号に関する検証実験' 2013年電子情報通信学会ソサイエティ大会講演論文集2 , 20130903, p.336, 社団法人電子情報通信学会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115462058A (zh) * 2020-05-11 2022-12-09 雅马哈株式会社 信号处理方法、信号处理装置及程序

Also Published As

Publication number Publication date
JP2016032129A (ja) 2016-03-07

Similar Documents

Publication Publication Date Title
US9443528B2 (en) Method and device for eliminating echoes
CN105577961B (zh) 增益控制器的自动调谐
US9913026B2 (en) Reversed echo canceller
US20090323926A1 (en) Methods and systems for voice communication
EP2700161B1 (en) Processing audio signals
US9491545B2 (en) Methods and devices for reverberation suppression
US20150104039A1 (en) Apparatus and method of suppressing howling
US9246545B1 (en) Adaptive estimation of delay in audio systems
KR102580418B1 (ko) 어쿠스틱 에코 제거 장치 및 방법
CN106657507A (zh) 一种声学回声消除方法及装置
CN108076239B (zh) 一种改善ip电话回声的方法
US9191519B2 (en) Echo suppressor using past echo path characteristics for updating
US9219456B1 (en) Correcting clock drift via embedded sin waves
US11538486B2 (en) Echo estimation and management with adaptation of sparse prediction filter set
CN103141076A (zh) 回波控制优化
TW201434040A (zh) 通訊裝置及其語音處理方法
KR102112018B1 (ko) 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법
JP5792877B1 (ja) 遅延時間調整装置及び方法及びプログラム
US8804981B2 (en) Processing audio signals
US9392365B1 (en) Psychoacoustic hearing and masking thresholds-based noise compensator system
JP6369192B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
JP6648436B2 (ja) エコー抑圧装置、エコー抑圧プログラム、及びエコー抑圧方法
JP6369189B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
EP2223522B1 (en) Non linear acoustic feedback suppression in a telephone device
CN116367066A (zh) 具有音频质量检测的音频设备及相关方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150806

R150 Certificate of patent or registration of utility model

Ref document number: 5792877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150