JP7342867B2 - 音声通信端末、音声通信端末の情報処理方法、プログラムおよび配信サーバの情報処理方法 - Google Patents

音声通信端末、音声通信端末の情報処理方法、プログラムおよび配信サーバの情報処理方法 Download PDF

Info

Publication number
JP7342867B2
JP7342867B2 JP2020532330A JP2020532330A JP7342867B2 JP 7342867 B2 JP7342867 B2 JP 7342867B2 JP 2020532330 A JP2020532330 A JP 2020532330A JP 2020532330 A JP2020532330 A JP 2020532330A JP 7342867 B2 JP7342867 B2 JP 7342867B2
Authority
JP
Japan
Prior art keywords
delay time
voice communication
communication terminal
voice
distribution server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020532330A
Other languages
English (en)
Other versions
JPWO2020022167A1 (ja
Inventor
裕二 井手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020022167A1 publication Critical patent/JPWO2020022167A1/ja
Application granted granted Critical
Publication of JP7342867B2 publication Critical patent/JP7342867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/006Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
    • H04M7/0081Network operation, administration, maintenance, or provisioning
    • H04M7/0084Network monitoring; Error detection; Error recovery; Network testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephone Function (AREA)

Description

本技術は、音声通信端末、音声通信端末の情報処理方法、プログラムおよび配信サーバの情報処理方法に関する。
例えば、特許文献1には、配信サーバとインターネットを使って複数端末同士でリアルタイム音声通信を行う技術が記載されている。インターネットを使ったリアルタイム音声通信は、遅延時間が不定であり、また世界中どこからでも使えるがネットワークは距離に応じて遅延時間が変わる性質のため、それぞれの端末での遅延時間は不定かつ変動幅が非常に大きな音声通信となる。
特開2010-093479号公報
本技術の目的は、遅延時間による会話への影響を軽減することにある。
本技術の概念は、
音声パケットを配信サーバに送信する音声パケット送信部と、
上記音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する通知制御部を備え、
上記待ち時間は、上記配信サーバと複数の音声通信端末との間の遅延時間情報に基づいて算出される
音声通信端末にある。
本技術において、音声パケット送信部により、音声パケットが配信サーバに送信される。そして、通知制御部により、待ち時間内にあることがユーザに通知される。ここで、上記待ち時間は、配信サーバと複数の音声通信端末との間の遅延時間情報に基づいて算出される。例えば、待ち時間は、自端末と配信サーバとの間の遅延時間である第1の遅延時間と、自端末を含む複数の端末と配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出される。
例えば、第1の遅延時間および第2の遅延時間に基づいて待ち時間を算出する待ち時間算出部をさらに備える、ようにされてもよい。これにより、配信サーバが各端末の待ち時間を算出しなくてもよく、配信サーバの負荷を軽減できる。この場合、例えば、待ち時間算出部は、少なくとも第1の遅延時間を2倍にした時間と第2の遅延時間を2倍にした時間を待ち時間に含める、ようにされてもよい。これにより、自端末からの発話に反応した他端末からの応答発話に対して発話が交錯することを充分に回避できる。
例えば、通知制御部は、待ち時間にあることを視覚、聴覚または触覚の出力モーダルで通知する、ようにされてもよい。視覚の出力モーダルでの通知としては、例えば、表示部に文字やマークを表示すること、あるいはLED等の発行素子の発光、点滅を行うことなどが考えられる。また、聴覚の出力モーダルでの通知としては、例えばスピーカやヘッドセットで音出力(音声、ノイズ音)をすることなどが考えられる。また、触覚の出力モーダルでの通知としては、端末を振動させることなどが考えられる。これにより、ユーザに種々の状態に適応させた通知が可能となる。
このように本技術においては、音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知するものである。そのため、ユーザは、自端末からの発話タイミングを容易に知ることができ、自端末からの発話と他の端末からの発話とが交錯することを回避できる。
近距離では300~500ミリ秒程度の遅延時間も海外との長距離通信の場合は遅延時間が数秒に達することもある。そのような長い遅延時間をユーザが理解せずに発話をするとお互いの発話が交錯し、スムーズな会話をすることができなくなる。本技術では、上述したように、自端末からの発話と他の端末からの発話とが交錯することを回避でき、スムーズな会話が可能となる。
なお、本技術において、例えば、第1の遅延時間および第2の遅延時間を周期的に更新する遅延時間更新部をさらに備える、ようにされてもよい。この場合、例えば、遅延時間更新部は、配信サーバからの時間情報に基づいて第1の遅延時間および第2の遅延時間を周期的に更新する、ようにされてもよい。このように遅延時間が周期的に更新されることで、遅延時間に変動があっても、待ち時間を常に適切な値に求めることが可能となる。
また、本技術において、例えば、配信サーバから音声パケットを受信するパケット受信部と、受信された音声パケットに含まれる音声データの再生を、第1の遅延時間と第2の遅延時間に基づいて求められた再生遅延時間だけ遅延させる再生制御部をさらに備える、ようにされてもよい。これにより、配信サーバから音声パケットが配信される全ての端末での再生タイミングを揃えることができる。この場合、例えば、第1の遅延時間および第2の遅延時間に基づいて再生遅延時間を算出する再生遅延時間算出部をさらに備える、ようにされてもよい。これにより、配信サーバが各端末の再生遅延時間を算出しなくてもよく、配信サーバの負荷を軽減できる。
音声を複数の端末に送信する場合、端末によって音声を受信できる遅延時間が異なり、受信後にすぐ再生を行うと各端末で再生時刻がバラバラになる。本技術では、上述したように、配信サーバから音声パケットが配信される全ての端末での再生タイミングを揃えることができ、スムーズな会話が可能となる。
また、本技術の他の概念は、
複数の音声通信端末のうちのある音声通信端末からの音声パケットを受信し、該音声パケットを上記複数の音声通信端末のうちの残りの音声通信端末に配信する音声パケット処理部と、
上記複数の音声通信端末と自サーバとの間の遅延時間の情報を受信し、上記複数の音声通信端末に最大遅延時間の情報を送信する遅延情報処理部を備える
配信サーバにある。
本技術において、音声パケット処理部により、複数の音声通信端末のうちのある音声通信端末からの音声パケットが受信され、この音声パケットがその複数の音声通信端末のうちの残りの音声通信端末に配信される。また、遅延情報処理部により、複数の音声通信端末と自サーバとの間の遅延時間の情報が受信され、その複数の音声通信端末に最大遅延時間の情報が送信される。例えば、遅延情報処理部は、同期パケットまたは音声パケットを用いて、複数の音声通信端末に最大遅延時間の情報を送信する、ようにされてもよい。
このように本技術においては、複数の音声通信端末と自サーバとの間の遅延時間の情報が受信され、その複数の音声通信端末に最大遅延時間の情報を送信するものである。そのため、複数の音声通信端末のそれぞれでは最大遅延時間の情報に基づいて、例えば、上述したように、音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間や、受信された音声パケットに含まれる音声データの再生を遅延させる再生遅延時間などを良好に算出できる。
また、本技術の他の概念は、
配信サーバから音声パケットを受信する手順と、
上記受信された音声パケットに含まれる音声データの再生を、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出された再生遅延時間だけ遅延させる手順を有する
音声通信端末の情報処理方法にある。
本技術において、配信サーバから音声パケットが受信される。そして、受信された音声パケットに含まれる音声データの再生が、自端末と配信サーバとの間の遅延時間である第1の遅延時間と自端末を含む複数の端末と配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出された再生遅延時間だけ遅延させられる。
例えば、第1の遅延時間および第2の遅延時間に基づいて再生遅延時間を算出する手順をさらに有する、ようにされてもよい。この場合、例えば、再生遅延時間は、第2の遅延時間から第1の遅延時間を差し引くことで算出される、ようにされてもよい。これにより、配信サーバが各端末の待ち時間を算出しなくてもよく、配信サーバの負荷を軽減できる。
このように本技術においては、第1の遅延時間(自端末の遅延時間)と第2の遅延時間(自端末を含む複数の端末の遅延時間のうちの最大遅延時間)に基づいて再生遅延時間を計算し、受信された音声パケットに含まれる音声データの再生をこの再生遅延時間だけ遅延させるものである。そのため、配信サーバから音声パケットが配信される全ての端末での再生タイミングを揃えることが可能となる。
なお、本技術において、例えば、第1の遅延時間および第2の遅延時間を周期的に更新する手順をさらに有する、ようにされてもよい。この場合、例えば、配信サーバからの時間情報に基づいて第1の遅延時間および第2の遅延時間を周期的に更新する、ようにされてもよい。このように遅延時間が周期的に更新されることで、遅延時間に変動があっても、再生遅延時間を常に適切な値に求めることが可能となる。
また、本技術の他の概念は、
音声通信端末から音声パケットを受信し、該音声パケットを他の音声通信パケットに送信する手順と、
時間的に重なるように複数の音声通信端末からの音声パケットを受信する状態では、1つの音声通信端末からの音声パケットを選択して他の音声通信端末に配信するように制御する手順を有する
配信サーバの情報処理方法にある。
本技術において、音声通信端末から音声パケットが受信され、この音声パケットが他の音声通信パケットに送信される。時間的に重なるように複数の音声通信端末からの音声パケットが受信される状態では、1つの音声通信端末からの音声パケットが選択されて他の音声通信端末に配信される。
例えば、1つの音声通信端末からの音声パケットを選択する際に、複数の音声通信端末のうち最も早く音声パケットが受信された音声通信端末からの音声パケットを選択する、ようにされてもよい。また、例えば、1つの音声通信端末からの音声パケットを選択する際に、複数の音声通信端末のうち自サーバとの間の遅延時間が最大である音声通信端末からの音声パケットを選択する、ようにされてもよい。
このように本技術においては、時間的に重なるように複数の音声通信端末からの音声パケットが受信される状態では1つの音声通信端末からの音声パケットを選択して他の音声通信端末に配信するものである。そのため、複数の音声通信端末の発話が衝突することを回避できる。
本技術によれば、遅延時間による会話への影響を軽減でき、スムーズな会話が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての音声通信システムの構成例を示すブロック図である。 音声通信端末の構成例を示すブロック図である。 音声パケットおよび同期パケットの構成例を示す図である。 配信サーバの構成例を示すブロック図である。 音声通信端末および配信サーバにおいて時刻同期および遅延時間の処理に関係する部分のみを示す図である。 音声通信端末と配信サーバとの間で周期的に行われる時刻同期および遅延時間の処理の一例を概略的に示すフローチャートである。 端末Aと配信サーバの間における同期パケットのやり取りと、端末Aから配信サーバへの自端末の遅延時間情報の送信のシーケンスの一例を示す図である。 ある音声通信端末からの音声パケットが配信サーバを介して複数の音声通信端末に送信される状態を示す図である。 配信サーバから音声パケットを受信した音声通信端末における音声再生の処理の一例を概略的に示すフローチャートである。 配信サーバから端末A,B,Cに音声パケットを一斉送信した場合における各端末の処理シーケンスの一例を示す図である。 ある音声通信端末からの音声パケットが配信サーバを介して複数の音声通信端末に送信される状態を示す図である。 音声パケットを配信サーバに送信する音声通信端末における待ち通知の処理の一例を概略的に示すフローチャートである。 送信端末における送話の待ち時間について説明するための図である。 時間的に重なるように複数の音声通信端末からの音声パケットが受信されるとき、1つの音声通信端末からの音声パケットを選択して他の音声通信端末に送信する状態を示す図である。 1つの音声通信端末からの音声パケットを選択して他の音声通信端末に送信する方法としての、サーバに先に音声が届いた方を優先する方法1を示す図である。 方法1を採用する場合における音声通信端末の送信処理と配信サーバにおける配信処理の一例を概略的に示すフローチャートである。 1つの音声通信端末からの音声パケットを選択して他の音声通信端末に送信する方法としての、遅延が大きい方を優先する方法2を示す図である。 方法2を採用する場合における音声通信端末の送信処理と配信サーバにおける配信処理の一例を概略的に示すフローチャートである。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[音声通信システム]
図1は、実施の形態としての音声通信システム10の構成例を示している。音声通信システム10は、端末グループを構成する複数の音声通信端末100と配信サーバ200とからなっている。複数の音声通信端末100は、インターネット等のネットワーク300を通じて配信サーバ200に接続されている。ここで、複数の音声通信端末100は、IPパケット/IP通信により、配信サーバ200に接続されている。
各音声通信端末100と配信サーバ200との間では、それぞれ、周期的に、例えばNTP(Network Time Protocol)を用いた時刻同期処理が行われる。各音声通信端末100は、それぞれ、時刻同期処理が行われる際に、自端末と配信サーバ200との間の遅延時間を算出し、その遅延時間の情報を、配信サーバ200に送信する。配信サーバ200は、各音声通信端末100からの遅延時間の情報を受信し、最大遅延時間を取得し、その最大遅延時間の情報を各音声通信端末100に送信する。
音声通信端末100は、IP通信におけるIPパケットである音声パケットを配信サーバ200に送信する。配信サーバ200は、ある音声通信端末100から受信された音声パケットを、残りの音声通信端末100に配信する。各音声通信端末100は、自端末の遅延時間(第1の遅延時間)と最大遅延時間(第2の遅延時間)に基づいて、再生遅延時間を算出する。これら第1の遅延時間および第2の遅延時間は、ネットワーク接続状態(ネットワークトラフィック状態)により変化するので、周期的に更新される。なお、トラフィックモニタリング(Traffic Monitoring)により、ネットワークトラフィックの指標となるトラフィック容量、トラフィック速度、パケット数、トップトーカー(通信対象)、帯域使用率、利用時間帯、利用量の多い時間帯などを監視できる。
ここで、自端末の遅延時間をTsd、最大遅延時間をTmdとするとき、再生遅延時間Tpdは、以下の数式(1)で示されるように、最大遅延時間Tmdから自端末の遅延時間Tsdを差し引くことで算出される。
Tpd=Tmd - Tsd ・・・(1)
なお、配信サーバ200において、各音声通信端末100の再生遅延時間を算出してそれぞれの音声通信端末100に供給することも考えられる。各音声通信端末100で再生遅延時間を算出することで配信サーバ200の負荷を軽減でき、一方、配信サーバ200で各音声通信端末100の再生遅延時間を算出することで、それぞれの音声通信端末100の負荷を軽減することができる。以下では、それぞれの音声通信端末100で自端末の再生遅延時間を算出するものとして説明する。
各音声通信端末100は、受信された音声パケットに含まれる音声データの再生を、上述したように求められた再生遅延時間だけ遅延させる。このように音声データの再生を再生遅延時間だけ遅延させることで、配信サーバ200から音声パケットが配信される全ての音声通信端末100での再生タイミングを揃えることができ、スムーズな会話が可能となる。
また、各音声通信端末100は、自端末の遅延時間(第1の遅延時間)と最大遅延時間(第2の遅延時間)に基づいて、音声パケットの送信の停止から次に音声パケットの送信を行うことができるまでの待ち時間を算出する。
ここで、自端末の遅延時間をTsd、最大遅延時間をTmdとするとき、待ち時間Twtは、以下の数式(2)で示されるように、少なくとも、自端末の遅延時間Tsdを2倍にした時間と、最大遅延時間Tmdを2倍にした時間を含むものとされる。なお、数式(2)において、αは、相手が応答に要する思考時間(thinking time)を示しているが、このαを設けないことも考えられる。
Twt=2*Tsd+2*Tmd+α ・・・(2)
なお、配信サーバ200において、各音声通信端末100の待ち時間を算出してそれぞれの音声通信端末100に供給することも考えられる。各音声通信端末100で待ち時間を算出することで配信サーバ200の負荷を軽減でき、一方、配信サーバ200で各音声通信端末100の待ち時間を算出することで、それぞれの音声通信端末100の負荷を軽減することができる。以下では、それぞれの音声通信端末100で待ち時間を算出するものとして説明する。
各音声通信端末100は、音声パケットの送信を停止してから待ち時間が経過するまでの間は、待ち時間内にあることをユーザに通知する。この場合、視覚、聴覚または触覚の出力モーダルで通知する。視覚の出力モーダルでの通知としては、例えば、端末の表示部に文字やマークを表示すること、あるいは端末に取り付けられたLED等の発行素子の発光、点滅を行うことなどが考えられる。また、聴覚の出力モーダルでの通知としては、例えば端末のスピーカやヘッドセットで音出力(音声、ノイズ音)をすることなどが考えられる。また、触覚の出力モーダルでの通知としては、端末を振動させることなどが考えられる。
このように待ち時間内にあることをユーザに通知することで、ユーザは自端末からの発話タイミングを容易に知ることができ、自端末からの発話と他の端末からの発話とが交錯することを回避でき、スムーズな会話が可能となる。
配信サーバ200は、時間的に重なるように、複数の音声通信端末100からの音声パケットを受信する状態では、1つの音声通信端末100からの音声パケットを選択して他の音声通信端末100に送信する。これにより、複数の音声通信端末100の発話が衝突することを回避でき、スムーズな会話が可能となる。この場合、配信サーバ200は選択されなかった各音声通信端末100に停止要求信号を送信し、各音声通信端末100は音声パケットの送信を停止する。
「音声通信端末」
図2は、音声通信端末100の構成例を示している。音声通信端末100は、同期クライアント101と、自端末遅延時間算出部102と、自端末遅延時間保存部103と、最大遅延時間保存部104と、音声パケット受信部111と、音声再生部112と、再生遅延時間算出部113と、再生制御部114と、音声パケット送信部121と、送信制御部122と、待ち時間算出部123と、待ち通知制御部124と、待ち通知部125と、停止要求受信部131を有している。
時刻同期クライアント101は、周期的に、配信サーバ200の時刻同期サーバとの間で同期パケットのやり取りをして、時刻同期処理をする。時刻同期クライアント101は、配信サーバ200から送られてくる同期パケットに、最大遅延時間(第2の遅延時間)の情報が含まれている場合、その情報を抽出して最大遅延時間保存部104に送って上書き保存する。
自端末遅延時間算出部102は、上述したように時刻同期クライアント101が時刻同期処理をする際の時刻情報に基づいて自端末の遅延時間(第1の遅延時間)を算出し、その遅延時間を自端末遅延時間保存部103に送って上書き保存する。また、自端末遅延時間算出部102は、算出された自端末の遅延時間を時刻同期クライアント101に供給し、時刻同期クライアント101は、その遅延時間を配信サーバ200に送る。
音声パケット受信部111は、配信サーバ200から送られてくる音声パケットを受信し、それに含まれている音声データを音声再生部112に供給する。また、音声パケット受信部111は、音声パケットに最大遅延時間(第2の遅延時間)の情報が含まれている場合、その情報を抽出して最大遅延時間保存部104に送って上書き保存する。
例えば、図3(a)は、音声パケットに最大遅延時間(第2の遅延時間)の情報が含まれている場合の一例を示しており、音声パケットには音声データの他に、最大遅延時間情報が含まれている。図3(b)は、同期パケットに最大遅延時間(第2の遅延時間)の情報が含まれている場合の一例を示しており、同期パケットには時刻データの他に、最大遅延時間情報が含まれている。
音声再生部112は、音声パケット受信部111から供給される音声データの再生をする。具体的には、音声データに対してデコード処理、ノイズ除去処理、D/A変換処理等を行って出力音声信号を得る。この出力音声信号は、図示しないスピーカやヘッドセットに送られる。
再生遅延時間算出部113は、自端末遅延時間保存部103から自端末の遅延時間(第1の遅延時間)の情報を取得すると共に、最大遅延時間保存部104から最大遅延時間(第2の遅延時間)の情報を取得し、上述の数式(1)に基づいて、再生遅延時間を算出し、その時間情報を再生制御部114に供給する。再生制御部114は、再生遅延時間算出部113から供給される再生遅延時間に基づいて、音声再生部112における音声データの再生を、再生遅延時間だけ遅延させる。
音声パケット送信部121は、音声データが含まれる音声パケットを配信サーバ200に送信する。送信制御部122は、音声パケット送信部121に送信要求を出して制御する。また、この送信制御部122は、送信終了のタイミングで待ち時間算出部123に待ち時間の算出を指示する。
待ち時間算出部123は、送信制御部122からの算出指示に基づき、上述の数式(2)に基づいて、待ち時間を算出し、その時間情報を待ち通知制御部124に供給する。待ち通知制御部124は、送信終了から待ち時間が経過するまでの間、待ち時間内にあることをユーザに通知するように待ち通知部125の通知動作を制御する。待ち通知部125は、待ち時間内にあることを、少なくとも視覚、聴覚または触覚の出力モーダルで通知する。
停止要求受信部131は、配信サーバ200から送られてくる停止要求信号を受信して、送信制御部122に供給する。送信制御部122は、停止要求受信部131で停止要求が受信されたとき、音声パケット送信部121への送信要求の供給を停止して、音声パケット送信部121から音声パケットの送信を停止させる。
「配信サーバ」
図4は、配信サーバ200の構成例を示している。配信サーバ200は、時刻同期サーバ201と、各端末遅延時間保存部202と、最大遅延時間取得部203と、音声パケット受信部211と、配信制御部212と、音声パケット送信部213と、停止要求送信部221を有している。
時刻同期サーバ201は、周期的に、各音声通信端末100の時刻同期クライアントとの間で同期パケットのやり取りをして、時刻同期処理をする。また、時刻同期サーバ201は、各音声通信端末100から送られてくるそれぞれの端末の遅延時間の情報を受信し、その情報を各端末遅延時間保存部202に送って上書き保存する。
最大遅延時間取得部203は、周期的に、各端末遅延時間保存部202に保存されている各音声通信端末100の遅延時間の情報から最大遅延時間を取得し、その最大遅延時間の情報を時刻同期サーバ201および音声パケット送信部213に供給する。時刻同期サーバ201は、その最大遅延時間の情報を同期パケットに含めて、各音声通信端末100に送る。また、音声パケット送信部213は、音声パケットを音声通信端末100に送信する際に、その最大遅延時間の情報を音声パケットに含める。
音声パケット受信部211は、音声送信端末100から送られてくる音声パケットを受信して、配信制御部212に供給する。配信制御部212は、音声パケット受信部211で受信された音声パケットを音声パケット送信部213に配信要求と共に供給し、音声パケット送信部213における音声パケットの送信動作を制御する。
音声パケット送信部213は、配信制御部212による制御のもと、音声パケット受信部211で受信された音声パケットを、その音声パケットの送信元である音声通信端末100を除いた残りの音声通信端末100に一斉送信する。
なお、配信制御部212は、音声パケット受信部211で時間的に重なるように複数の音声通信端末100からの音声パケットが受信されるとき、1つの音声通信端末からの音声パケットを選択して、音声パケット送信部213に供給する。この場合、配信制御部212は、停止要求送信部221を制御し、選択されなかった各音声通信端末100に停止要求信号を送信させる。
「時刻同期処理、遅延時間処理」
音声通信端末100および配信サーバ200における時刻同期および遅延時間の処理の詳細について説明する。図5は、音声通信端末100および配信サーバ200において、時刻同期および遅延時間の処理に関係する部分のみを示している。
図6のフローチャートは、音声通信端末100と配信サーバ200との間で周期的に行われる時刻同期および遅延時間の処理の一例を概略的に示している。音声通信端末100は、時刻T1において、時刻同期クライアント101により、配信サーバ200に、その時刻T1の時刻情報を含む同期パケットを送信する(ステップST1)。配信サーバ200は、時刻T2において、時刻同期サーバ201により、音声通信端末100からの同期パケットを受信する(ステップST11)。
配信サーバ200は、時刻T3において、時刻同期サーバ201により、音声通信端末100に、時刻T1,T2,T3の時刻情報を持つ同期パケットを送信する(ステップST12)。音声通信端末100は、時刻T4において、時刻同期クライアント101により、配信サーバ200からの同期パケットを受信する(ステップST2)。
音声通信端末100は、配信サーバ200からの同期パケットを受信した後、自端末遅延時間算出部102により、その同期パケットに含まれる時刻情報などを用いて、自端末の遅延時間を算出して、自端末遅延時間保存部103に保存する(ステップST3)。ここで、自端末の遅延時間をTsdは、例えば、以下の数式(3)に基づいて、算出される。
Tsd={?T2-T1?)+(?T4-T3?)}/2 ・・・(3)
また、音声通信端末100は、配信サーバ200から送られてくる同期パケットに最大遅延時間の情報が含まれている場合、時刻同期クライアント101により、その情報を抽出して、最大遅延時間保存部104に上書き保存する(ステップST4)。なお、配信サーバ200から送られてくる音声パケットに最大遅延時間の情報が含まれている場合、音声パケット受信部111により、その情報を抽出して、最大遅延時間保存部104に上書き保存する。
また、音声通信端末100は、自端末の遅延時間を算出した後、時刻同期クライアント101により、配信サーバ200に、算出された自端末の遅延時間の情報を送る(ステップST5)。その後、音声通信端末100は、一定の時間を待った後に(ステップST6)、ステップST1の処理に戻り、上述したと同様の処理を繰り返す。
また、配信サーバ200は、音声通信端末100に同期パケットを送った後に、時刻同期サーバ201により、音声通信端末100から送られてくるその端末の遅延時間の情報を受信し、各端末遅延時間保存部202に上書き保存する(ステップST13)。なお、配信サーバ200は、各端末遅延時間保存部202に保存されている各音声通信端末100の遅延時間の情報に基づいて、最大遅延時間取得部203により最大遅延時間を取得し、その情報を時刻同期サーバ201および音声パケット送信部213に供給する。
そのため、配信サーバ200は、時刻T3で音声通信端末100に同期パケットを送信する際に、その同期パケットに最大遅延時間の情報を含めることができる。また、配信サーバ200は、音声パケット送信部213から音声通信端末100に音声パケットを送信する際に、その音声パケットに最大遅延時間の情報を含めることができる。
図7は、端末Aと配信サーバ200の間における同期パケットのやり取りと、端末Aから配信サーバ200への自端末の遅延時間情報の送信のシーケンスの一例を示している。このような動作を端末グループの全ての端末が繰り返し行うことになる。図示の例においては、端末Aの遅延時間が200msであり、その他の端末B,Cの遅延時間がそれぞれ240ms、300msであって、配信サーバ200で端末A,B,Cの遅延時間情報が保続された状態を示している。この状態では、最大遅延時間として300msが取得されることになる。
「受信端末の再生処理」
ある音声通信端末100から配信サーバ200を介して音声パケットを受信した各音声通信端末100における音声データの再生処理の詳細について説明する。図8は、ある音声通信端末100からの音声パケットが配信サーバ200を介して複数の音声通信端末100に送信される状態を示している。この場合、左側の最も上の音声通信端末100が送信端末を構成し、左側のそれ以外の音声通信端末100が受信端末を構成している。
図9のフローチャートは、配信サーバ200から音声パケットを受信した音声通信端末100における音声再生の処理の一例を概略的に示している。受信端末としての音声通信端末100は、音声パケット受信部111により、配信サーバ200から送られてくる音声パケットを受信する(ステップST21)。
次に、受信端末としての音声通信端末100は、配信サーバ200から送られてくる音声パケットに最大遅延時間の情報が含まれている場合、音声パケット受信部111により、その情報を抽出して、最大遅延時間保存部104に上書き保存する(ステップST22)。次に、音声通信端末100は、再生遅延時間算出部113により、自端末の遅延時間および最大遅延時間を用いて、上述の数式(1)に基づいて、再生遅延時間を算出する(ステップST23)。
次に、受信端末としての音声通信端末100は、再生制御部114の制御により、算出された再生遅延時間が経過するまで再生を待つように制御する(ステップST24)。そして、受信端末としての音声通信端末100は、再生遅延時間が経過した後に、音声再生部112により、音声パケットに含まれる音声データの再生をする(ステップST25)。
このように、受信端末としての各音声通信端末100は、受信された音声パケットに含まれる音声データの再生を、上述したように求められた再生遅延時間だけ遅延させる。そのため、各音声通信端末100での再生タイミングを揃えることができ、スムーズな会話が可能となる。
図10は、配信サーバ200から端末A,B,Cに音声パケットを一斉送信した場合における各端末の処理シーケンスの一例を示している。図示の例においては、端末A,B,Cの遅延時間がそれぞれ200ms、240ms、300msであり、最大遅延時間が300msである場合を示している。
端末Aの場合、再生遅延時間は100ms(=300ms-200ms)と算出され、音声パケットが受信されたタイミングt1(配信サーバ200から音声パケットが送信されてから200msだけ経過した時点)から100msだけ経過した後に再生が開始される。また、端末Bの場合、再生遅延時間は60ms(=300ms-240ms)と算出され、音声パケットが受信されたタイミングt2(配信サーバ200から音声パケットが送信されてから240msだけ経過した時点)から60msだけ経過した後に再生が開始される。
また、端末Cの場合、再生遅延時間は0ms(=300ms-300ms)と算出され、音声パケットが受信されたタイミングt3(配信サーバ200から音声パケットが送信されてから300msだけ経過した時点)から直ちに再生が開始される。このように、端末A,B,Cのいずれにおいても、配信サーバ200から音声パケットが送信されてから300msだけ経過した時点から音声再生が開始され、再生タイミングが揃えられる。
「送信端末の待ち通知処理」
音声パケットを送信する音声通信端末100における待ち通知処理の詳細について説明する。図11は、ある音声通信端末100からの音声パケットが配信サーバ200を介して複数の音声通信端末100に送信される状態を示している。この場合、左側の最も上の音声通信端末100が送信端末を構成し、左側のそれ以外の音声通信端末100が受信端末を構成している。
図12のフローチャートは、音声パケットを配信サーバ200に送信する音声通信端末100における待ち通知の処理の一例を概略的に示している。送信端末としての音声通信端末100は、送信制御部122により、音声パケット送信部121に送信要求を送って、音声送信を開始する(ステップST31)。この場合、音声パケット送信部121は、音声パケットを、配信サーバ200に送る。
なお、配信サーバ200は、音声パケット受信部211で受信された音声パケットを、配信制御部212を通じて音声パケット送信部213に供給し、この音声パケット送信部213から受信端末としての複数の音声通信端末100に送信する。
送信端末としての音声通信端末100は、ユーザによる一連の発話が終了した場合、音声送信を終了する(ステップST32)。そして、この音声通信端末100は、待ち時間算出部123により、自端末の遅延時間および最大遅延時間を用いて、上述の数式(2)に基づいて、待ち時間を算出する(ステップST33)。
次に、送信端末としての音声通信端末100は、待ち通知制御部124の制御により、待ち通知部125における待ち通知を開始させる(ステップST34)。そして、送信端末としての音声通信端末100は、待ち時間が経過するまで、待ち通知部125における待ち通知を継続する(ステップST35)。そして、送信端末としての音声通信端末100は、待ち時間が経過した後に、待ち通知制御部124の制御により、待ち通知部125における待ち通知を終了させる(ステップST36)。
このように待ち時間内にあることをユーザに通知することで、ユーザは自端末からの発話タイミングを容易に知ることができ、自端末からの発話と他の端末からの発話とが交錯することを回避でき、スムーズな会話が可能となる。
図13は、送信端末における送話が受信端末に遅延されて送信されることを示している(実線参照)。また、受信端末において、送信端末からの送話による最後の音声受信がなされた後になされる応答送話が送信端末に遅延されて送信されることを示している(破線参照)。この場合、受信端末からの応答送話が届く前に送信端末で新たな送話が行われると、会話が交錯する(一点鎖線参照)。なお、図示の例において、Td1は送信端末における遅延時間を示しており、Td2は受信端末における遅延時間を示している。
上述したように、送信端末において、応答を待つべき最低時間である待ち時間内であることをユーザに通知することで、ユーザは受信端末からの応答送話が届く前に送信端末で新たな送話が行うことを控えることができ、自端末からの発話と他の端末からの発話とが交錯することを回避できる。
「配信サーバの配信処理」
配信サーバ200における配信処理の詳細について説明する。図14は、時間的に重なるように複数の音声通信端末100からの音声パケットが受信されるとき、1つの音声通信端末100からの音声パケットを選択して他の音声通信端末100に送信する状態を示している。この場合、配信サーバ200の停止要求送信部221は、選択されなかった各音声通信端末100に、送信を停止させるための停止要求信号を送信する。
配信サーバ200は、1つの音声通信端末100からの音声パケットを選択する方法として、例えば、以下の方法1または方法2が考えられる。方法1では、1つの音声通信端末100からの音声パケットを選択する際に、複数の音声通信端末100のうち最も早く音声パケットが受信された音声通信端末100からの音声パケットを選択する、ものである。
図15は、方法1を概略的に示している。図示の例においては、配信サーバ200では、端末Aからの音声パケットが受信された後に、端末Bからの音声パケットが受信されている。この場合、配信制御部212では、端末Aからの音声パケットが送信(配信)すべき音声パケットとして選択されて、端末Bに送信される。また、この場合、配信制御部212では、端末Bに対して停止要求送信部221から停止要求信号が送信される。
図16のフローチャートは、方法1を採用する場合における音声通信端末100の送信処理と配信サーバ200における配信処理の一例を概略的に示している。音声通信端末100は、音声パケット送信部121により、送信制御部122からの送信要求に基づいて音声パケットを配信サーバ200に送信することを開始する(ステップST41)。
次に、音声通信端末100は、送信制御部122により、停止要求がオンか否かを判断する(ステップST42)。停止要求がオンでないとき、音声通信端末100は、送信制御部122により、送信終了か否かを判断する(ステップST43)。ここで、送信制御部122は、終話が検出されるとき、あるいは音声入力がない状態で一定時間が経過したタイムアウトのとき、送信終了と判断する。音声通信端末100は、送信終了でないとき、音声パケット送信を続ける(ステップST44)。
音声通信端末100は、停止要求がオンであったとき、あるいは送信終了のとき、音声パケット送信部121から音声パケットを送信することを停止する(ステップST45)。そして、音声通信端末100は、停止要求をオフとする(ステップST46)。
配信サーバ200は、音声パケット受信部211により、音声通信端末100から送られてくる音声パケットを受信する(ステップST51)。そして、配信サーバ200は、配信制御部212により、他端末音声パケットの受信中か否かを判断する(ステップST52)。他端末音声パケットの受信中であるとき、配信サーバ200は、停止要求送信部221により、音声パケットを送ってきた音声通信端末100に停止要求信号を送信する(ステップST53)。
また、配信サーバ200は、配信制御部212により、他端末音声パケットの受信中でないとき、音声パケット受信中にする(ステップST54)。そして、配信サーバ200は、配信制御部212の制御の下、音声パケット送信部213により、他端末に音声パケットを送信する(ステップST55)。
音声通信端末100は、停止要求受信部131により、停止要求信号を受信する(ステップST47)。そして、音声通信端末100は、送信制御部122により、停止要求をオンにする(ステップST48)。このように停止要求がオンとされることで、上述したように、音声パケットの送信が停止される(ステップST45)。
また、方法2では、1つの音声通信端末100からの音声パケットを選択する際に、複数の音声通信端末100のうち自サーバとの間の遅延時間が最大である音声通信端末100からの音声パケットを選択する、ものである。
図17は、方法2を概略的に示している。図示の例においては、配信サーバ200では、端末Aからの音声パケットが受信された後に、猶予時間(一定時間)内に端末Bからの音声パケットが受信されている。この場合、配信制御部212では、猶予時間内において最も遅延時間が大きな端末Bからの音声パケットが送信(配信)すべき音声パケットとして選択されて、端末Aに送信される。また、この場合、配信制御部212では、端末Aに対して停止要求送信部221から停止要求信号が送信される。
図18のフローチャートは、方法2を採用する場合における音声通信端末100の送信処理と配信サーバ200における配信処理の一例を概略的に示している。この図18において、図16と対応する部分には同一符号を付して示している。
音声通信端末100は、音声パケット送信部121により、送信制御部122からの送信要求に基づいて音声パケットを配信サーバ200に送信することを開始する(ステップST41)。
次に、音声通信端末100は、送信制御部122により、停止要求がオンか否かを判断する(ステップST42)。停止要求がオンでないとき、音声通信端末100は、送信制御部122により、送信終了か否かを判断する(ステップST43)。ここで、送信制御部122は、終話が検出されるとき、あるいは音声入力がない状態で一定時間が経過したタイムアウトのとき、送信終了と判断する。音声通信端末100は、送信終了でないとき、音声パケット送信を続ける(ステップST44)。
音声通信端末100は、停止要求がオンであったとき、あるいは送信終了のとき、音声パケット送信部121から音声パケットを送信することを停止する(ステップST45)。そして、音声通信端末100は、停止要求をオフとする(ステップST46)。
配信サーバ200は、音声パケット受信部211により、音声通信端末100から送られてくる音声パケットを受信する(ステップST51)。そして、配信サーバ200は、配信制御部212により、他端末音声パケットの受信中か否かを判断する(ステップST52)。他端末音声パケットの受信中であるとき、配信サーバ200は、停止要求送信部221により、音声パケットを送ってきた音声通信端末100に停止要求信号を送信する(ステップST53)。
また、配信サーバ200は、配信制御部212により、他端末音声パケットの受信中でないとき、音声パケットの送信に係る音声通信端末100を選択端末に設定する(ステップST61)。配信サーバ200は、配信制御部212により、猶予時間(一定時間)が経過したか否かを判断する(ステップST62)。
猶予時間が経過していないとき、配信サーバ200は、配信制御部212により、別の音声通信端末100から音声パケットを受信したか否かを判断する(ステップST63)。別の音声通信端末100から音声パケットを受信したとき、配信サーバ200は、配信制御部212により、別の音声通信端末100の遅延時間は選択端末より大きいか否かを判断する(ステップST64)。
別の音声通信端末100の遅延時間が選択端末の遅延時間より大きいとき、配信サーバ200は、停止要求送信部221により、選択端末に停止要求信号を送信する(ステップST65)。そして、別の音声通信端末100を新たに選択端末に設定する(ステップST66)。一方、別の音声通信端末100の遅延時間が選択端末の遅延時間より大きくないとき、配信サーバ200は、停止要求送信部221により、別端末に停止要求信号を送信する(ステップST67)。
また、猶予時間が経過したとき、配信サーバ200は、配信制御部212により、音声パケット受信中にする(ステップST54)。そして、配信サーバ200は、配信制御部212の制御の下、音声パケット送信部213により、選択端末の音声パケットを配信する(ステップST55)。
音声通信端末100は、停止要求受信部131により、停止要求信号を受信する(ステップST47)。そして、音声通信端末100は、送信制御部122により、停止要求をオンにする(ステップST48)。このように停止要求がオンとされることで、上述したように、音声パケットの送信が停止される(ステップST45)。
上述したように、配信サーバ200において、時間的に重なるように、複数の音声通信端末100からの音声パケットを受信する状態では、1つの音声通信端末100からの音声パケットを選択して他の音声通信端末100に送信(配信)することで、複数の音声通信端末100の発話が衝突することを回避でき、スムーズな会話が可能となる。
以上説明したように、図1に示す音声通信システム10において、受信端末としての各音声通信端末100は、第1の遅延時間(自端末の遅延時間)と第2の遅延時間(自端末を含む複数の端末の遅延時間のうちの最大遅延時間)に基づいて再生遅延時間を計算し、受信された音声パケットに含まれる音声データの再生をこの再生遅延時間だけ遅延させる。そのため、配信サーバ200から音声パケットが配信される全ての端末での再生タイミングを揃えることができ、スムーズな会話が可能となる。
また、図1に示す音声通信システム10において、送信端末としての音声通信端末100は、音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する。そのため、ユーザは、自端末からの発話タイミングを容易に知ることができ、自端末からの発話と他の端末からの発話とが交錯することを回避でき、スムーズな会話が可能となる。
また、図1に示す音声通信システム10において、配信サーバ200は、時間的に重なるように複数の音声通信端末100からの音声パケットが受信される状態では1つの音声通信端末100からの音声パケットを選択して他の音声通信端末100に配信する。そのため、複数の音声通信端末100の発話が衝突することを回避でき、スムーズな会話が可能となる。
<2.変形例>
なお、上述していないが、本技術は、放送や医療等の現場における音声通信にも同様に適用でき、スムーズな会話が可能となる。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本技術は、以下のような構成を取ることもできる。
(1)音声パケットを配信サーバに送信する音声パケット送信部と、
上記音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する通知制御部を備え、
上記待ち時間は、上記配信サーバと複数の音声通信端末との間の遅延時間情報に基づいて算出される
音声通信端末。
(2)上記待ち時間は、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と、自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出される
前記(1)に記載の音声通信端末。
(3)上記第1の遅延時間および上記第2の遅延時間に基づいて上記待ち時間を算出する待ち時間算出部をさらに備える
前記(2)に記載の音声通信端末。
(4)上記待ち時間算出部は、少なくとも上記第1の遅延時間を2倍にした時間と上記第2の遅延時間を2倍にした時間を上記待ち時間に含める
前記(3)に記載の音声通信端末。
(5)上記第1の遅延時間および上記第2の遅延時間を周期的に更新する遅延時間更新部をさらに備える
前記(2)から(4)のいずれかに記載の音声通信端末。
(6)上記遅延時間更新部は、上記配信サーバからの時間情報に基づいて上記第1の遅延時間および上記第2の遅延時間を周期的に更新する
前記(5)に記載の音声通信端末。
(7)上記配信サーバから音声パケットを受信するパケット受信部と、
上記受信された音声パケットに含まれる音声データの再生を、上記第1の遅延時間と上記第2の遅延時間に基づいて求められた再生遅延時間だけ遅延させる再生制御部をさらに備える
前記(2)から(6)のいずれかに記載の音声通信端末。
(8)上記第1の遅延時間および上記第2の遅延時間に基づいて上記再生遅延時間を算出する再生遅延時間算出部をさらに備える
前記(7)に記載の音声通信端末。
(9)上記通知制御部は、上記待ち時間にあることを視覚、聴覚または触覚の出力モーダルで通知する
前記(1)から(8)のいずれかに記載の音声通信端末。
(10)
音声パケットを配信サーバに送信する手順と、
上記音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する手順を有し、
上記待ち時間は、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と、自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出される
音声通信端末の情報処理方法。
(11)コンピュータを、
音声パケットを配信サーバに送信する音声パケット送信手段と、
上記音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する通知制御手段として機能させ、
上記待ち時間は、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と、自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出される
プログラム。
(12)複数の音声通信端末のうちのある音声通信端末からの音声パケットを受信し、該音声パケットを上記複数の音声通信端末のうちの残りの音声通信端末に配信する音声パケット処理部と、
上記複数の音声通信端末と自サーバとの間の遅延時間の情報を受信し、上記複数の音声通信端末に最大遅延時間の情報を送信する遅延情報処理部を備える
配信サーバ。
(13)上記遅延情報処理部は、同期パケットまたは音声パケットを用いて、上記複数の音声通信端末に最大遅延時間の情報を送信する
前記(12)に記載の配信サーバ。
(14)配信サーバから音声パケットを受信する手順と、
上記受信された音声パケットに含まれる音声データの再生を、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出された再生遅延時間だけ遅延させる手順を有する
音声通信端末の情報処理方法。
(15)上記第1の遅延時間および上記第2の遅延時間に基づいて上記再生遅延時間を算出する手順をさらに有する
前記(14)に記載の音声通信端末の情報処理方法。
(16)上記再生遅延時間は、上記第2の遅延時間から上記第1の遅延時間を差し引くことで算出される
前記(15)に記載の音声通信端末の情報処理方法。
(17)上記第1の遅延時間および上記第2の遅延時間を周期的に更新する手順をさらに有する
前記(14)から(16)のいずれかに記載の音声通信端末の情報処理方法。
(18)上記配信サーバからの時間情報に基づいて上記第1の遅延時間および上記第2の遅延時間を周期的に更新する
前記(17)に記載の音声通信端末の情報処理方法。
(19)音声通信端末から音声パケットを受信し、該音声パケットを他の音声通信パケットに送信する手順と、
時間的に重なるように複数の音声通信端末からの音声パケットを受信する状態では、1つの音声通信端末からの音声パケットを選択して他の音声通信端末に配信するように制御する手順を有する
配信サーバの情報処理方法。
(20)上記1つの音声通信端末からの音声パケットを選択する際に、上記複数の音声通信端末のうち最も早く音声パケットが受信された音声通信端末からの音声パケットを選択する
前記(19)に記載の配信サーバの情報処理方法。
(21)上記1つの音声通信端末からの音声パケットを選択する際に、上記複数の音声通信端末のうち自サーバとの間の遅延時間が最大である音声通信端末からの音声パケットを選択する
前記(19)に記載の配信サーバの情報処理方法。
10・・・音声通信システム
100・・・音声通信端末
101・・・時刻同期クライアント
102・・・自端末遅延時間算出部
103・・・自端末遅延時間保存部
104・・・最大遅延時間保存部
111・・・音声パケット受信部
112・・・音声再生部
113・・・再生遅延時間算出部
114・・・再生制御部
121・・・音声パケット送信部
122・・・送信制御部
123・・・待ち時間算出部
124・・・待ち通知制御部
125・・・待ち通知部
131・・・停止要求受信部
200・・・配信サーバ
201・・・時刻同期サーバ
202・・・各端末遅延時間保存部
203・・・最大遅延時間取得部
211・・・音声パケット受信部
212・・・配信制御部
213・・・音声パケット送信部
221・・・停止要求送信部
300・・・ネットワーク

Claims (11)

  1. 音声パケットを配信サーバに送信する音声パケット送信部と、
    上記音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する通知制御部を備え、
    上記待ち時間は、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と、自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出される
    音声通信端末。
  2. 上記第1の遅延時間および上記第2の遅延時間に基づいて上記待ち時間を算出する待ち時間算出部をさらに備える
    請求項に記載の音声通信端末。
  3. 上記待ち時間算出部は、少なくとも上記第1の遅延時間を2倍にした時間と上記第2の遅延時間を2倍にした時間を上記待ち時間に含める
    請求項に記載の音声通信端末。
  4. 上記第1の遅延時間および上記第2の遅延時間を周期的に更新する遅延時間更新部をさらに備える
    請求項に記載の音声通信端末。
  5. 上記遅延時間更新部は、上記配信サーバからの時間情報に基づいて上記第1の遅延時間および上記第2の遅延時間を周期的に更新する
    請求項に記載の音声通信端末。
  6. 上記配信サーバから音声パケットを受信するパケット受信部と、
    上記受信された音声パケットに含まれる音声データの再生を、上記第1の遅延時間と上記第2の遅延時間に基づいて求められた再生遅延時間だけ遅延させる再生制御部をさらに備える
    請求項に記載の音声通信端末。
  7. 上記第1の遅延時間および上記第2の遅延時間に基づいて上記再生遅延時間を算出する再生遅延時間算出部をさらに備える
    請求項に記載の音声通信端末。
  8. 上記通知制御部は、上記待ち時間にあることを視覚、聴覚または触覚の出力モーダルで通知する
    請求項1に記載の音声通信端末。
  9. 音声パケットを配信サーバに送信する手順と、
    上記音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する手順を有し、
    上記待ち時間は、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と、自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出される
    音声通信端末の情報処理方法。
  10. コンピュータを、
    音声パケットを配信サーバに送信する音声パケット送信手段と、
    上記音声パケットの送信停止から次に音声パケットの送信を行うことができるまでの待ち時間内にあることをユーザに通知する通知制御手段として機能させ、
    上記待ち時間は、自端末と上記配信サーバとの間の遅延時間である第1の遅延時間と、自端末を含む複数の端末と上記配信サーバとの間の遅延時間のうち最大遅延時間である第2の遅延時間に基づいて算出される
    プログラム。
  11. 音声通信端末から音声パケットを受信し、該音声パケットを他の音声通信パケットに送信する手順と、
    時間的に重なるように複数の音声通信端末からの音声パケットを受信する状態では、1つの音声通信端末からの音声パケットを選択して他の音声通信端末に配信するように制御する手順を有し、
    上記1つの音声通信端末からの音声パケットを選択する際に、上記複数の音声通信端末のうち自サーバとの間の遅延時間が最大である音声通信端末からの音声パケットを選択する
    配信サーバの情報処理方法。
JP2020532330A 2018-07-27 2019-07-17 音声通信端末、音声通信端末の情報処理方法、プログラムおよび配信サーバの情報処理方法 Active JP7342867B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018140913 2018-07-27
JP2018140913 2018-07-27
PCT/JP2019/028176 WO2020022167A1 (ja) 2018-07-27 2019-07-17 音声通信端末、音声通信端末の情報処理方法、プログラム、配信サーバおよび配信サーバの情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2020022167A1 JPWO2020022167A1 (ja) 2021-08-02
JP7342867B2 true JP7342867B2 (ja) 2023-09-12

Family

ID=69180938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020532330A Active JP7342867B2 (ja) 2018-07-27 2019-07-17 音声通信端末、音声通信端末の情報処理方法、プログラムおよび配信サーバの情報処理方法

Country Status (3)

Country Link
US (1) US11563856B2 (ja)
JP (1) JP7342867B2 (ja)
WO (1) WO2020022167A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232576A (ja) 2001-01-30 2002-08-16 Sony Corp 通信制御装置および方法、記録媒体、並びにプログラム
JP2004040200A (ja) 2002-06-28 2004-02-05 Kyocera Corp 音声通信装置、及びその通話支援方法
JP2017041696A (ja) 2015-08-18 2017-02-23 株式会社リコー 伝送システム、再生制御方法、伝送端末、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983655A (ja) 1995-09-14 1997-03-28 Fujitsu Ltd 音声対話システム
JP3882834B2 (ja) * 2004-10-19 2007-02-21 オンキヨー株式会社 音響システム、この音響システムに適用されるディスク再生装置及び音声出力制御装置
JP4840099B2 (ja) * 2006-11-20 2011-12-21 富士通株式会社 通話サーバ、通話システム、転送処理装置および転送処理プログラム
JP4360400B2 (ja) * 2006-12-05 2009-11-11 セイコーエプソン株式会社 コンテンツ再生システムおよびこれに用いられる再生装置、並びにコンテンツ再生方法
US20080160980A1 (en) * 2006-12-28 2008-07-03 Motorola, Inc. Method and apparatus for determining a group call wait time
JP2010093479A (ja) 2008-10-07 2010-04-22 Panasonic Corp 会議システムおよび会議端末装置
CN103841002B (zh) * 2012-11-22 2018-08-03 腾讯科技(深圳)有限公司 语音传输方法、终端、语音服务器及语音传输系统
US9065882B2 (en) * 2013-03-05 2015-06-23 Comcast Cable Communications, Llc Processing signaling changes
GB2529403A (en) * 2014-08-18 2016-02-24 Ibm A Method of operating a shared nothing cluster system
EP3322257B1 (en) * 2015-07-06 2021-08-25 Icom Incorporated Relay device, communication packet relay method, and sound communication system
JP6634804B2 (ja) * 2015-12-09 2020-01-22 株式会社Jvcケンウッド サーバ装置、端末装置
US10536817B2 (en) * 2017-02-14 2020-01-14 JVC Kenwood Corporation Terminal device and communication method for transmitting speech data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232576A (ja) 2001-01-30 2002-08-16 Sony Corp 通信制御装置および方法、記録媒体、並びにプログラム
JP2004040200A (ja) 2002-06-28 2004-02-05 Kyocera Corp 音声通信装置、及びその通話支援方法
JP2017041696A (ja) 2015-08-18 2017-02-23 株式会社リコー 伝送システム、再生制御方法、伝送端末、及びプログラム

Also Published As

Publication number Publication date
JPWO2020022167A1 (ja) 2021-08-02
US20210274047A1 (en) 2021-09-02
WO2020022167A1 (ja) 2020-01-30
US11563856B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
EP3195619B1 (en) Hearing assistance system and method using bluetooth profiles
KR101655456B1 (ko) 애드혹 적응형 무선 이동 사운드 시스템 및 그 방법
US20160150011A1 (en) Media output device to transmit and synchronize playback of a media content stream that is received over a point-to-point connection on multiple interconnected devices
CN102469400A (zh) 无线双耳听力系统
KR20220035133A (ko) 무선 통신 시스템에서 적응적인 오디오 처리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
US20230069230A1 (en) Switching between multiple earbud architectures
JP6355741B2 (ja) 混雑した通信チャネルでの音声通信の維持方法
JP2009159450A (ja) 無線通信装置
JP7342867B2 (ja) 音声通信端末、音声通信端末の情報処理方法、プログラムおよび配信サーバの情報処理方法
JP2009100482A (ja) フレームセグメント内でのデータ送信を表すシグナリングバイト又はコーディングバイオレーションを使用してフレームセグメント内の同期性のネットワークを通して異なる形式のデータを送るための通信システム
CN112105005B (zh) 一种控制蓝牙设备播放的方法及装置
JP2005260574A (ja) 通話装置、通話制御システム、通話管理システムおよび通話制御方法
KR20220004825A (ko) 무선 통신 시스템에서 오디오 데이터를 제어하는 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
JP2001077924A (ja) 多地点通信システム及びその方法
KR20220023978A (ko) 무선 통신 시스템에서 주변 디바이스의 상태를 제어 및 관리하는 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
JP2007295064A (ja) 無線lan電話通信方法および無線lan電話端末装置
JP4960846B2 (ja) フレーム遅延発生装置
US20220253273A1 (en) Method, device, and computer program for audio routing in wireless communication system, and recording medium therefor
US11627546B2 (en) Delaying rendering time for audio computing systems
CN106714042B (zh) 收听设备通过终端设备实现音轨切换收听的方法和装置
JP4328701B2 (ja) ネットワーク接続機器の生存確認システムおよびネットワーク接続機器の生存確認方法
KR20220004826A (ko) 무선 통신 시스템에서 브로드캐스트 디스커버리 서비스 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
JP2014192708A (ja) 通信処理装置、方法及びプログラム、並びに、通信システム
JP2003244189A (ja) 音声ip伝送システム
CN117715244A (zh) 一种无线音频通信方法、设备及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R151 Written notification of patent or utility model registration

Ref document number: 7342867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151