JP2023539836A - パケットロスを早期に検知する無線会議システム - Google Patents
パケットロスを早期に検知する無線会議システム Download PDFInfo
- Publication number
- JP2023539836A JP2023539836A JP2023512370A JP2023512370A JP2023539836A JP 2023539836 A JP2023539836 A JP 2023539836A JP 2023512370 A JP2023512370 A JP 2023512370A JP 2023512370 A JP2023512370 A JP 2023512370A JP 2023539836 A JP2023539836 A JP 2023539836A
- Authority
- JP
- Japan
- Prior art keywords
- conference
- access point
- wireless
- audio data
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 11
- 230000007246 mechanism Effects 0.000 description 17
- 230000005236 sound signal Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 244000261422 Lysimachia clethroides Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 206010002953 Aphonia Diseases 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/062—Synchronisation of signals having the same nominal but fluctuating bit rates, e.g. using buffers
- H04J3/0632—Synchronisation of packets and cells, e.g. transmission of voice via a packet network, circuit emulation service [CES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/189—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast in combination with wireless systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Hardware Design (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Time-Division Multiplex Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
無線会議システム(100)は、アクセスポイント(101;300)と、複数の会議ユニット(111~115;200)とを具え、遅延に敏感な音声データパケットの双方向のTDMAベースの無線通信を行うように構成される。アクセスポイント(101;300)および会議ユニット(111~115;200)は、アクティブ同期するクロック(203;303)を具え、これが音声データパケットの処理に使用されるローカル音声クロック信号およびTDMA方式の無線通信に使用されるローカル同期クロック信号を生成する。会議ユニット(111~115;200)およびアクセスポイント(101;300)は、トランシーバ(201;301)を具える。その中の受信機(220;320)は、音声データパケットのロスを検出するように構成されたパケットロス検出部(222;322)を具え、これが、ローカル同期クロック信号と所定の予想伝送遅延とから音声データパケットの予想到着時刻を決定する手段(223;323)と、音声データパケットが前記予想到着時刻までに到着しなかった場合に、音声データパケットのロスを検出する手段(224;324)とを具える。受信機(220;320)は、失われた音声データパケットの代替パケットを生成するように構成されたパケットロス隠匿ユニット(225;325)をさらに具える。【選択図】図1
Description
本発明は一般に、複数のユーザが会議に参加するために会議室で使用される無線会議システムに関する。このような会議システムは通常、会議の主催者または議長が管理する中央アクセスポイントと、会議室に存在するユーザデスクに設置または統合された複数のユーザ用会議ユニットとを具える。本発明は特に、このような会議システムにおける会議ユニットとアクセスポイントとの間の遅延に敏感な(latency sensitive)双方向音声伝送に関するものである。
会議室には、数十人から数百人という大人数のユーザが1つの会議に参加できるようにする会議システムが設置されていることが多い。無線会議システムは、通常、中央アクセスポイントと、当該中央アクセスポイントに結合された複数の会議ユニットを具える。例えば、ユーザごとに個別の会議ユニットが提供されてもよいし、会議室内の隣り合う2人のユーザで1つの会議ユニットが共有されてもよい。各会議ユニットは通常、マイク(例えばグースネックマイク)を接続するためのマイクコネクタ、内蔵スピーカ、およびヘッドフォンを接続するための1または複数のヘッドフォンコネクタを有する。各会議ユニットはさらに、コントローラ、データプロセッサ、および中央アクセスポイントにある同様のトランシーバと無線で双方向のデータ転送ができるように構成されたトランシーバを有する。会議ユニットのトランシーバは、中央アクセスポイントのトランシーバの一部を構成する受信機にデジタルデータパケットを上り送信できる送信機を具える。同様に、中央アクセスポイントのトランシーバは、会議ユニットのトランシーバの一部を構成する受信機にデジタルデータパケットを下り送信できる送信機を具える。1人の参加者が話し、他の参加者は聞いているという典型的な状況において、人が話すことによって会議ユニットのマイクがキャプチャした音声がデジタル化され、パケット化され、中央アクセスポイントに上り送信される。アクセスポイントは、受信した音声パケットを他の音声入力ソースと混合するなどの処理を行い、処理した音声を会議室内の他のすべての会議ユニットに下り配信し、受信機は音声を受信し、プロセッサが受信した音声パケットをヘッドフォンによる再生のために処理する。これには、話し手がヘッドフォンで自分の発言を聞くことができるように、音声パケットを受信した元の会議ユニットへ音声を下り送信することが含まれる。
会議ユニットとアクセスポイント間の音声の無線双方向通信は、低遅延の要件があり、これはリアルタイム要件とも呼ばれる。適用される品質基準に応じて、会議システムにおける往復時間(RTT)のエンドツーエンド遅延、すなわち会議ユニットと中央アクセスポイントにおけるすべての処理を含む、会議ユニットと中央アクセスポイント間を音声パケットが往復する際の最大遅延は、例えば10ミリ秒から30ミリ秒までの範囲の値、例えば15ミリ秒に制限され得る。最大許容遅延時間より遅れて到着した音声パケットは、再生に使用されない。音声パケットが時間内に到着しない(パケットロスの)場合、音声パケットを時間内に受信しなかった会議ユニットの会議参加者が気付くような可聴アーティファクトを回避するために、失われたパケットがパケットロス隠匿アルゴリズムによって決定されたパケットに置き換えられる。このようなパケットロス隠匿アルゴリズムが適時に代替パケットを生成できるようにするためには、パケットロスをできるだけ早く検出することが重要である。
例示的な会議システムでは、音声パケットは、会議ユニットと中央アクセスポイント間のWi-Fi接続を介して、TDMAフレームのタイムスロットで転送される。TDMAフレームは例えば5ミリ秒の長さを有し、それぞれが500マイクロ秒の長さを持つ10のタイムスロットに細分化され得る。会議ユニットは、典型的には会議参加者の発話である5ミリ秒の音声をキャプチャし、この5ミリ秒の音声をデジタル音声パケットにデジタル化し、このデジタル音声パケットをTDMAフレームの単一タイムスロットで送信する。この例のパケット生成において、すでに5ミリ秒の遅延が発生している。チャネルの他のユーザとの干渉を避けるためにソフトTDMAが適用される場合、すなわち、タイムスロットがトランシーバに固定的に割り当てられるが、トランシーバがタイムスロット内の干渉トラフィックについてチャネルをリッスン(listen)し、当該タイムスロットにデータを送信する前にチャネルが空いているかどうかを判断するTDMA方式では、ソフトTDMAは可変遅延またはジッタを導入し、これはリッスンビフォートーク(Listen-Before-Talk)ジッタまたはLBTジッタと呼ばれる。送信側と受信側のデータパケット処理を制御する割り込み機構、パケットと音声の処理時間、無線チャネルでのデータパケットの伝搬時間、および送信機と受信機の間の同期不良は、LBTジッタと組み合わさって、一方向の伝送で最大2ミリ秒の遅延をさらに生じさせる可能性がある。TDMAフレーム長が5ミリ秒のソフトTDMA方式を実装する会議システムでは、音声パケットにかかる一方向の遅延は最大7ミリ秒に達することがある。
パケットロス隠匿を開始するためにパケットロスを検出する簡単な方法は、デジタル音声パケットのシーケンス番号に依存する。そして、受信機が後のシーケンス番号を持つ音声パケットを受信すると、パケットが失われたものとみなされる。ただし、シーケンス番号に依存する場合、データパケットの損失を検出できる最も早い時点は、後のデータパケットを受信した時点となる。次の音声パケットを生成して送信するには、上記の例では5ミリ秒のTDMAフレームで少なくともさらに5ミリ秒が経過しており、受信機がパケットロス隠匿を適用して前の失われた音声パケットの代替パケットを生成するための時間が足りない。
音声パケットのシーケンス番号に依存するパケットロス検出を向上するための解決策は、TDMAフレーム長を短くし、したがって単一の音声パケットに埋め込まれる音声セグメントの長さを短くすることがある。しかしながら、パケット長を短くすると、無線チャネルの容量に悪影響が生じる。パケットあたりのオーバーヘッドは一定であると考えられるため、オーバーヘッド/ペイロード比が増加し、その結果、無線リンクの実効容量が減少すると考えられる。さらに、パケットを短くするとパケット処理速度を上げなければならず、より高価なプロセッサが必要になる。
米国特許出願US2015/0201289A1「Method and Apparatus for Rendering Audio in Wireless Hearing Instruments」は、別の用途、より正確には難聴に苦しむ患者を支援するために人の頭の片側または両側に装着する補聴器の用途における無線通信リンク上での音声パケットロスの問題を認識している。US2015/0201289A1の段落[0030]では、無線リンクの全体的なパケットエラーレート性能を改善するために、パケットが音声ソースデバイスから再送信される。再送信は、音声ソースデバイスが音声シンクデバイスからの確認応答を受信できなかった場合に行ってもよいし、無条件で再送信回数を決めて送るようにしてもよい。確認応答と再送信を送るという提案は、補聴器用途における遅延の制約が会議システムよりも厳しくないことを示している。上記の例に示されるように、会議システムの品質上の制約により、再送信は許されない。US2015/0201289A1の段落[0029]および[0031]には、無線通信回路の無線機と処理回路のDSP(Digital Signal Processor)との間で共有されるリンク層情報を用いて、パケット隠匿戦略を決定できることがさらに記載されている。無線機で展開されるTDMA機構は、パケット到着をスケジューリングすることができる優れたタイミング機構を内在している。受信パケットがないままスケジューリングされた受信イベントが発生した場合、無線機はDSPにパケットロスを通知し、DSPが情報のパケットロス隠匿フレームを挿入できるようにする。
米国特許出願US2019/0104423A1「Ultra-Low Latency Audio over Bluetooth」は、別の用途、より正確には、デバイスとワイヤレスヘッドセットまたはワイヤレスイヤバッド間のAudio-over-Bluetooth転送用途において、無線接続で転送される音声パケットの低遅延要件の問題を認識する。またUS2019/0104423A1は、確認応答と再送信に依存しており、単一のBluetoothフレーム内でBTC(Bluetooth Classic)パケットとBLTE(Bluetooth Low Energy)パケットを組み合わせることによって確認応答を強化し、フレームサイクルあたりの再送信とパケット隠匿数の上限を制限し、RS(リード-ソロモン)などのFEC(Forward Error Correction)を実装する時間効率の高い音声コーディングおよびデコーディングを用いて無線音声パケットの送信に対する遅延を低減することを教示している。これは例えば、US2019/0104423A1の段落[0005]に記載されている。
本発明の目的は、既存のソリューションの上述の欠点の1つまたはいくつかを解決または軽減する会議システムの実施形態を開示することである。具体的には、本発明の目的は、会議ユニットと中央アクセスポイントとの間の互いの無線転送で生じる音声パケットロスがより速く検出され、それによってパケット隠匿のより速い開始を可能にして、会議システムに適用される遅延要件および品質基準を会議システムが満たすことができる、会議システムの実施形態を開示することである。本発明のさらなる目的は、無線リンクの有効帯域幅に悪影響を与えることなく、このような会議システムの実施形態を開示することである。
本発明の実施形態によれば、上記目的は、請求項1によって定義されるように、会議室での会議に複数のユーザが参加できるように適合された無線会議システムによって達成され、当該無線会議システムは、アクセスポイントと複数の会議ユニットとを含み、
前記アクセスポイントおよび前記会議ユニットの1つ以上が、前記1つ以上の会議ユニットと前記アクセスポイントとの間の遅延に敏感な音声データパケットの双方向の時分割多重アクセスベースまたはTDMAベースの無線通信用に構成されたトランシーバを具え、当該トランシーバは送信機および受信機を具え、
前記アクセスポイントおよび前記1つ以上の会議ユニットは、アクティブに同期されるそれぞれのクロックを有し、前記それぞれのクロックのうちの1のクロックが、前記音声データパケットの処理にローカルで使用されるローカル音声クロック信号および前記TDMAベースの無線通信に使用されるローカル同期クロック信号を生成するように構成され、
前記受信機は、前記会議ユニットから前記アクセスポイントに送信される音声データパケットまたはその逆のパケットのロスを検出するように構成されたパケットロス検出ユニットを具え、当該パケットロス検出ユニットは、
前記ローカル同期クロック信号と所定の予想される伝送遅延から、前記音声データパケットの予想到着時刻を決定するように構成された手段と、
前記音声データパケットが前記予想到着時刻までに到着しなかった場合に、当該音声データパケットのロスを検出するように構成された手段とを具え、
前記受信機は、前記パケットロス検出ユニットによってロスが検出された音声データパケットの代替パケットを生成するように構成されたパケットロス隠匿ユニットを具えることを特徴とする。
前記アクセスポイントおよび前記会議ユニットの1つ以上が、前記1つ以上の会議ユニットと前記アクセスポイントとの間の遅延に敏感な音声データパケットの双方向の時分割多重アクセスベースまたはTDMAベースの無線通信用に構成されたトランシーバを具え、当該トランシーバは送信機および受信機を具え、
前記アクセスポイントおよび前記1つ以上の会議ユニットは、アクティブに同期されるそれぞれのクロックを有し、前記それぞれのクロックのうちの1のクロックが、前記音声データパケットの処理にローカルで使用されるローカル音声クロック信号および前記TDMAベースの無線通信に使用されるローカル同期クロック信号を生成するように構成され、
前記受信機は、前記会議ユニットから前記アクセスポイントに送信される音声データパケットまたはその逆のパケットのロスを検出するように構成されたパケットロス検出ユニットを具え、当該パケットロス検出ユニットは、
前記ローカル同期クロック信号と所定の予想される伝送遅延から、前記音声データパケットの予想到着時刻を決定するように構成された手段と、
前記音声データパケットが前記予想到着時刻までに到着しなかった場合に、当該音声データパケットのロスを検出するように構成された手段とを具え、
前記受信機は、前記パケットロス検出ユニットによってロスが検出された音声データパケットの代替パケットを生成するように構成されたパケットロス隠匿ユニットを具えることを特徴とする。
このように、本発明の実施形態によれば、アクセスポイントおよび1以上の会議ユニットは、高精度でアクティブ同期されるクロックまたはタイマを具える。その結果、受信機はデータパケットの送信時を認識し、受信機はデータパケットの予想到着時間を特定することができる。アクティブに同期されたクロックにより、すべてのトランシーバがTDMAフレームの開始時刻と終了時刻およびTDMAフレーム内のタイムスロットを、クロック同期の許容範囲内で知ることができる。その結果、受信機はローカルクロック信号から音声データパケットの予想到着時刻、すなわちその音声データパケットの送信時刻に予想される送信遅延を足したものを導き出すことができる。送信時刻は、TDMA方式の無線通信で送受信機が使用する同期クロックから知ることができる。実際、各会議ユニットはTDMAスケジュールを知っており、その同期クロックによって、TDMAフレーム内のどこにいるのかを導出することができる。予想される伝送遅延は、送信側と受信側での割り込み処理、無線リンク上での音声データパケットの伝搬、様々な性質のジッタ、様々な性質の不正確さに要する時間全体を考慮したものであり、結果として送信側のデータパケットプロセッサが送信用の音声データパケットを送出してから受信側のデータパケットプロセッサが処理のために同じ音声データパケットを受信するまでの全体時間の上限を示す。予想到着時刻までにデータパケットが受信されなかった場合、受信側でパケットロス隠匿を発動し、代替パケットを生成する。
伝送遅延、すなわち会議システムにおける伝搬、ジッタ、割り込み処理、処理、および同期の不正確さによる全体的な遅延は数ミリ秒の範囲であり、典型的には単一方向について1~3ミリ秒である。本発明による実施形態におけるパケットロス隠匿は、パケットロス検出のために受信側での確認応答、パケット再送信およびタイムアウトに依存する従来の会議システム、あるいは受信側での音声パケットのナンバリングと欠落した音声パケット番号に基づくパケットロス検出に依存する会議システムよりもはるかに速く開始することができる。パケットロス隠匿の開始が早ければ早いほど、エンドツーエンドのシステム全体の遅延を減らすことができ、パケットロス隠匿が音声ストリームの挿入と再生のための代替を適時に生成できない場合のリスクが減少し、結果として可聴アーティファクトの数が減少する。さらに、本発明による会議システムの実施形態は、TDMAフレーム長および/または音声データパケット長を短くする必要がない。このような手段により、オーバーヘッド/ペイロード比が増加し、したがって無線リンクの有効帯域幅(単位時間あたりに転送できる有効データ量、すなわち音声サンプル)が減少する代償として、パケットロスの検出が高速化し、パケットロス隠匿を早く開始することもできる。
本発明でいう会議ユニットとは、会議室内のユーザの机に設置され、または一体化された様々なユニットを意味する。このような会議ユニットは、典型的には、内蔵マイクアレイまたは例えばグースネックマイク用コネクタのような音声入力コネクタを具え、これは単一のユーザが使用するか、または会議ユニットが2つの隣接するユーザの座席間に設置される場合は2人のユーザ間で共有することができる。また、会議ユニットは、典型的には、1人または複数のユーザのためのヘッドフォン用コネクタのような1つまたは複数の音声出力コネクタを具え、典型的には内蔵スピーカも具える。音声入力コネクタと音声出力コネクタは、1つのコネクタに統合されてもよい。会議ユニットは、カメラや他のセンサ用のコネクタを含んでもよく、ディスプレイを具えることができ、音声入力を制御するため(例えば、マイクをミュートする)、音声出力を制御するため(例えば、ヘッドフォンの音量を制御する)、他のセンサを制御するため、議長とやりとりするため(例えば、発言の要求)、および/または投票ボタンとして機能する物理または仮想の(すなわち表示された)ボタンを具えていてもよい。会議ユニットは、議長、会議ユニットのユーザ、および/または他の会議参加者に会議ユニットの状態を示すインジケータ、例えばカラーLEDをさらに具えてもよい。会議ユニットはさらに、その音声入力コネクタに接続されたマイクでキャプチャした音声をデジタル化してパケット化するプロセッサと、音声データパケットを中央ユニット、いわゆるアクセスポイントに送信する無線送信機とを具える。また、会議ユニットは、中央ユニットから音声データパケットを受信するための受信機と、受信した音声データパケットをデパケット化し、音声出力コネクタを介して供給された(アナログまたはデジタル)音声ストリームを生成するプロセッサを具える。送信機と受信機は一体で、中央ユニットとの双方向通信を行うトランシーバを構成する。送信用の音声データパケットを生成するプロセッサと、受信した音声データパケットを処理するプロセッサを統合して、単一の物理プロセッサを構成することができる。
本発明でいうアクセスポイントとは、議長や会議組織によって管理および制御される中央ユニットのことをいう。アクセスポイントは、会議室内のすべての会議ユニットとTDMA方式による双方向無線通信を行う。そのアクセスポイントは、TDMAフレームのタイムスロットでそれぞれ音声パケットを送受信する送信機と受信機を具える。異なるタイムスロットで受信された音声データパケットは、異なる会議ユニットからのものである。アクセスポイントは典型的に、異なる会議ユニットから受信した音声データパケットを処理し、その送信機によって会議ユニットに送信するために、1つまたは複数の会議ユニットからの音声パケットを単一の音声ストリームに選択または結合(一般に処理)するプロセッサを有する。アクセスポイントは、会議を管理しどの会議参加者に発言を許可するかを任意の時点で決定する議長からの入力を受けることができる。音声ストリームは、会議ユニットに加えて、中央アクセスポイントによって会議ユニットにさらに配信される音声ストリームの解釈または翻訳を通訳者または翻訳者がアップロードできるようにするために、通訳ユニットにも提供される場合がある。
本発明に係る無線会議システムは、会議室に設置された会議ユニットのセットと、これらの会議ユニットがTDMA方式で共有される無線双方向リンクを通じてマルチポイントツーポイント方式で接続するアクセスポイントとを具える。
本発明におけるパケットロス隠匿とは、失われた音声パケット、すなわち受信機に到着しないか、受信機に遅れて到着し、そのためもはや処理して音声ストリーム適時に統合できない音声データパケットに代替する音声サンプルを生成する任意のアルゴリズムまたは技術を含む。パケットロス隠匿技術は、通常、最近受信した音声パケットを使用して、失われた音声データパケットのための代替パケットを生成する。パケットロス隠匿技術は、一般に、置換の結果としての可聴の影響を回避または最小化することに努めており、例えば、直近の音声サンプルの周波数や音調に基づくことができる。
本発明による無線会議システムの実施形態は、請求項2に定義されるように、アクセスポイントおよび1つ以上の会議ユニットは、音声データパケットの受信を確認応答しないように構成される。
実際、本発明による無線会議システムの好ましい実施形態は、音声データパケットに対する受信確認を伴わない、または受信確認を無効にするプロトコルを実装している。確認応答またはそれがない場合は再送信がトリガされるが、失われた音声データパケットを再送信によって回復しようとすると、パケットロス隠匿の発動が遅れ、無線会議システム全体の遅延が増加する。
本発明による無線会議システムの実施形態は、請求項3に定義されるように、アクセスポイントおよび1つ以上の会議ユニットは、失われた音声データパケットを再送信しないように構成される。
実際、本発明による無線会議システムの好ましい実施形態は、上り方向および下り方向への音声データパケットの再送信を伴わないプロトコルを実装している。上記説明したように、再送信を試みるとパケットロス隠匿の発動が遅れるため、無線会議システム全体の遅延が増加してしまう。
本発明による無線会議システムの実施形態は、請求項4に定義されるように、遅延に敏感な音声データパケットは、会議ユニットからアクセスポイントへの無線転送、およびアクセスポイントから会議ユニットへの無線転送の往復時間の遅延制限が25ミリ秒である。
このように、無線会議システムの実施形態は、音声データパケットの往復時間に25ミリ秒の制限を設定することができる。換言すると、この制限により、会議参加者が自分の会議ユニットに接続されたマイクで発言してから、同じ会議ユニットに接続されたヘッドフォンで自分の発言が聞こえるまでの遅延時間の最大許容値が設定される。当業者は、本発明による無線会議システムの代替的な実施形態が、25ミリ秒より小さい任意の他の往復時間の遅延制限を実装し得ることを理解するであろう。そのような代替実施形態では、パケットロス隠匿アルゴリズムなどの基礎となる技術がこの少ない往復時間制限を満たせる限りにおいて、音声に高い品質基準を設定する。
本発明による無線会議システムの実施形態では、請求項5に定義されるように、遅延に敏感な音声データパケットは、会議ユニットからアクセスポイントへの無線転送、およびアクセスポイントから会議ユニットへの無線転送の往復時間の遅延制限が15ミリ秒である。
実際、無線会議システムの好ましい実施形態では、会議ユニットと中央アクセスポイントとの間で音声データパケットが往復する時間を15ミリ秒に制限する。当業者は、15ミリ秒未満の往復時間制限を実装することも可能であることを理解するであろうが、より高価な大容量データパケットプロセッサを導入しなければならない、および/または可聴アーティファクトを最小限に抑えるために無線リンクの有効帯域幅に悪影響を与える短いTDMAフレームおよび短い音声パケット長を実装しなければならないというリスクがある。
本発明による無線会議システムの実施形態は、請求項6に定義されるように、TDMA方式の無線通信は、5ミリ秒のTDMAフレームを使用する。
このように、好ましい実施形態は、5ミリ秒の長さを有するTDMAフレームを実装する。これは、音声データパケットも5ミリ秒の音声サンプルを含むことを意味する。音声サンプリングレートが48kHzの場合、各音声データパケットは240個の音声サンプルを含む。この240個の音声サンプルは、音声データパケットのペイロード部を構成する。さらに、音声データパケットはオーバーヘッドを含む。当業者は、短いTDMAフレームと短い音声データパケットは、無線リンクの有効帯域幅にマイナスの影響を与えることを理解するであろう。音声データパケットのペイロード部は減少するが、そのオーバーヘッド部は一定のままである。当業者はさらに、長いTDMAフレームと長い音声データパケットは、可聴アーティファクトなしで音声ストリームを適時に生成する場合のパケットプロセッサとパケットロス隠匿技術のタスクが複雑になり得ることを理解するであろう。換言すると、5ミリ秒という好ましいTDMAフレーム長は、会議ユニットとアクセスポイント間の無線リンクの実効帯域と、会議システムが満たすべき品質基準とのトレードオフの結果である。
本発明による無線会議システムの実施形態は、請求項7によって定義されるように、送信機が、音声データパケットを送信する前に、TDMAフレーム内の割り当てられたタイムスロット内の干渉トラフィックをリッスンするように構成される。
実際に、本発明の好ましい実施形態は、TDMAフレームの一部を構成するタイムスロットが所定の方式に従って会議ユニットに固定的に割り当てられるが、TDMAフレームの各タイムスロット内の送信時間はLBT(Listen Before Talk)機構に基づいて会議ユニットによって柔軟に決定される、いわゆるソフトTDMA方式を実装している。LBT機構は、無線チャネルを異なる無線システムで同時に使用できるため、無線チャネルの利用可能な帯域幅全体をより効果的に使用できる利点がある。一方、LBT機構は、タイムスロットが無線会議システムの内部または外部の他の送信機によって使用されていないことが確立された場合にのみ、送信機が音声データパケットを送信するため、受信機において音声データパケットの到着時間にジッタまたは不確実性が生じる。会議システムのLBTジッタは、通常1~2ミリ秒程度で存在する。
実際に、本発明の好ましい実施形態は、TDMAフレームの一部を構成するタイムスロットが所定の方式に従って会議ユニットに固定的に割り当てられるが、TDMAフレームの各タイムスロット内の送信時間はLBT(Listen Before Talk)機構に基づいて会議ユニットによって柔軟に決定される、いわゆるソフトTDMA方式を実装している。LBT機構は、無線チャネルを異なる無線システムで同時に使用できるため、無線チャネルの利用可能な帯域幅全体をより効果的に使用できる利点がある。一方、LBT機構は、タイムスロットが無線会議システムの内部または外部の他の送信機によって使用されていないことが確立された場合にのみ、送信機が音声データパケットを送信するため、受信機において音声データパケットの到着時間にジッタまたは不確実性が生じる。会議システムのLBTジッタは、通常1~2ミリ秒程度で存在する。
本発明に係る無線会議システムの実施形態は、請求項8に定義するように、無線通信がWi-Fi(IEEE802.11)を使用する。
実際、Wi-Fiプロトコルは、会議システムにおいて、会議ユニットと中央アクセスポイントを接続するための無線技術として有効である。Wi-Fiは、単一のアクセスポイント(または多くても数個のアクセスポイント)で会議室の領域をカバーできるリーチと、干渉に対応できる複数のチャネルまたは周波数帯を有する。
本発明による無線会議システムの実施形態では、請求項9に定義されるように、1以上の会議ユニットがクロック同期ユニットを具え、アクセスポイントによって定期的にブロードキャストされるビーコンメッセージに挿入されるタイムスタンプに基づいて、それぞれのクロックをアクセスポイント内のクロックとアクティブに同期させるように構成される。
このように、アクセスポイントのクロックと会議ユニットのクロックのアクティブ同期を実現する好ましい方法は、アクセスポイントから定期的にブロードキャストされるビーコンメッセージに依存する。アクセスポイントがWi-Fiプロトコルに依存する場合、例えばビーコンメッセージは、デバイスがアクセスポイントの存在を検知して接続を確立できるように、アクセスポイントが定期的にSSIDをブロードキャストするメッセージに対応し得る。他のメッセージと比較して、ビーコンメッセージは一般的に低変調方式で送信される。つまり、より単純なコンスタレーション方式と増加した冗長性を使用して、ビーコンメッセージがより堅牢となり、帯域が大きく、受信機に達する前に消失する危険性が減少する。このように、ビーコンメッセージを使用して、会議システムのアクセスポイントと会議ユニットの間で時間値またはタイムスタンプを伝達することにより、本発明に不可欠なアクティブクロック同期がより堅牢になる。Wi-Fiの場合のさらなる利点は、そこで転送されるビーコンメッセージが、Wi-Fi技術の以前のフレーバーまたはバージョンと下位互換性があることである。
本発明による無線会議システムの実施形態では、請求項10で定義されるように、所定の予想伝送遅延は、伝搬遅延、ジッタ、割込み処理遅延、処理遅延、およびクロック同期不正確性の合計として決定される。
実際、好ましい実施形態における音声データパケットの受信時間の全体的な不正確性は、空気中を効果的に伝搬することによる第1の寄与を含み、これは典型的に100~200マイクロ秒のオーダーである。音声パケットの受信時間の全体的な不正確性は、ソフトTDMA方式が実装される実施形態では、LBTジッタに起因する第2の寄与をさらに含み得る。この第2の寄与は大きく、通常5ミリ秒のTDMAフレームに対して1~1.5ミリ秒の範囲になる。音声パケットの受信時間の全体的な不正確性はさらに、送信側および受信側での割り込み処理、すなわち例えばパケット受信といったイベントが発生したことを示す割り込み処理、パケットおよび音声の処理時間、および展開されるアクティブ同期機構に依存し得る送信および受信クロック間の同期の不正確性からそれぞれ生じる第3、第4および第5の寄与を含む。
本発明による無線会議システムの実施形態では、請求項11に定義されるように、ジッタ遅延は、リッスンビフォートークジッタ寄与を含む。
上述したように、様々な性質のジッタが、音声パケットの受信時間に関する全体的な不正確性に寄与し得る。ソフトTDMA方式が適用される場合、送信機は予定されたタイムスロットで送信する前にチャネルが空くまで待機するが、重要なジッタの寄与は送信機のリッスンビフォートーク動作に起因する。
本発明に係る無線会議システムの実施形態では、請求項12に定義されるように、所定の予想伝送遅延は、1.5ミリ秒~2ミリ秒の値に設定される。
テストの結果、会議ユニットと会議システムの中央アクセスポイント間の通信に5ミリ秒のタイムフレームを持つソフトTDMA方式のWi-Fiを使用し、アクティブ同期にWi-Fiビーコンのタイムスタンプを使用する会議システムにおいて、全体の予想伝送遅延を1.5ミリ秒に設定すると、無線リンクの有効帯域幅を犠牲にすることなく、パケットロス隠匿の検出と早期起動で実質的に利益を伴って本発明を実施することが可能になる。
第2の態様によれば、請求項13で定義されるように、本発明は、複数のユーザが会議室での会議に参加できるように適合された会議システムにおける1以上の会議ユニットとアクセスポイント間の遅延に敏感な音声データパケットの転送方法に関し、この転送方法は、音声データパケットの双方向の時分割多重アクセスベースまたはTDMAベースの無線通信を含み、当該方法はさらに、
前記1つ以上の会議ユニットおよび前記アクセスポイントのそれぞれのクロックをアクティブに同期させるステップであって、前記それぞれのクロックのうちの1のクロックが、前記音声データパケットの処理にローカルで使用されるローカル音声クロック信号および前記TDMAベースの無線通信に使用されるローカル同期クロック信号を生成するように構成される、ステップと、
前記会議ユニットから前記アクセスポイントに送信される音声データパケットまたはその逆のパケットのロスを検出するステップであって、
前記ローカル同期クロック信号と所定の予想される伝送遅延から、前記音声データパケットの予想到着時刻を決定し、
前記音声データパケットが前記予想到着時刻までに到着しなかった場合に、当該音声データパケットのロスを検出する、ステップと、
パケットロス隠匿を通して、ロスが検出された音声データパケットの代替パケットを生成するステップとを含むことを特徴とする。
前記1つ以上の会議ユニットおよび前記アクセスポイントのそれぞれのクロックをアクティブに同期させるステップであって、前記それぞれのクロックのうちの1のクロックが、前記音声データパケットの処理にローカルで使用されるローカル音声クロック信号および前記TDMAベースの無線通信に使用されるローカル同期クロック信号を生成するように構成される、ステップと、
前記会議ユニットから前記アクセスポイントに送信される音声データパケットまたはその逆のパケットのロスを検出するステップであって、
前記ローカル同期クロック信号と所定の予想される伝送遅延から、前記音声データパケットの予想到着時刻を決定し、
前記音声データパケットが前記予想到着時刻までに到着しなかった場合に、当該音声データパケットのロスを検出する、ステップと、
パケットロス隠匿を通して、ロスが検出された音声データパケットの代替パケットを生成するステップとを含むことを特徴とする。
図1は、アクセスポイントAPまたは101と、5台の会議ユニットCU1~CU5または111~115とを具える無線会議システムを示す。会議ユニット111~115は、それぞれの会議参加者からの音声信号をマイクで取り込み、音声信号を音声データパケットへとデジタル化し、音声データパケットをアクセスポイント101に送信する。アクセスポイント101は、1つまたは複数の会議ユニットから音声パケットを受信し、音声パケットを処理し、会議ユニット111~115が単一の選択された会議参加者(選択はアクセスポイント101を制御する議長によってなされ得る)によって生成された音声信号、複数の選択された会議参加者(ここでも、選択はアクセスポイント101を制御する議長によってなされ得る)によって生成された複合音声信号、または、例えば通訳または翻訳された処理済みの音声信号、元の音声信号に重ねられた通訳または翻訳等、に対応する音声ストリームを受信するように、すべての会議ユニット111~112に配信するための新たな音声パケットを生成する。図1の実施形態では、会議ユニット111~115は、Wi-Fiを用いてアクセスポイント101と無線で双方向通信を行う。上り方向、すなわち会議ユニット111~115からアクセスポイント101への方向について選択されたWi-Fiチャネルは、ソフトTDMA(soft time division multiple access)プロトコルを用いて共有される。ソフトTDMAプロトコルでは、会議ユニットの送信機は、割り当てられたタイムスロットで送信する前に、まずチャネルに空きがあるかリッスンする必要がある。図1の会議システム100におけるTDMAフレームの長さは5ミリ秒とする。TDMAフレームは、0.5ミリ秒の10個のタイムスロットを含む。チャネルが占有されている場合、送信機はチャネルが空くまで待機する。このリッスンビフォートーク(Listen-Before-Talk)またはLBT機構は、ジッタ、すなわち割り当てられたタイムスロット内でアクセスポイント101におけるパケットの到着時間に不確実性を生じさせる。下り方向、すなわちアクセスポイント101から会議ユニット111~115への方向では、音声データパケットもTDMAフレームのタイムスロットで送信される。一般的には、上り・下りで同じTDMAフレームが用いられ、上り・下りで同じWi-Fiチャネルが用いられる。アクセスポイント101内の送信機はまた、同じチャネルを使用する他のWi-Fiネットワークとの干渉を避けるために、LBT機構を実装している。
図2は、本発明の観点から関連する会議ユニットCUまたは200の機能的な構成ブロックを示す図である。図2の会議ユニット200は、図1に示す会議ユニット111~115のそれぞれの可能な実装例を示す。会議ユニット200は、トランシーバ201、無線伝送用のアンテナ202、クロック203、クロック同期ロジック204、音声入力コネクタまたはマイクコネクタ205、および音声出力コネクタまたはヘッドフォンコネクタ206を具える。図2はさらに、例えば会議参加者の発話などの音声信号をキャプチャするためにマイクコネクタ205に接続されたマイク250と、会議参加者が会議の会話に追従できるようにするために音声出力コネクタ206に接続されたヘッドフォン260または内蔵スピーカを概略的に示す。トランシーバ201は、送信機210と受信機220とを具える。送信機210はプロセッサ211を具え、これはマイク250によってキャプチャされた音声信号を受信し、この音声信号をデジタル化し、それぞれキャプチャされた音声の5ミリ秒を含むデジタル化された音声信号を音声データパケットへとパケット化するように構成される。プロセッサ211は、生成された音声データパケットをアンテナ202、すなわち、上記説明したソフトTDMAおよびLBT機構を有するWi-Fiプロトコルを用いて、会議システムのアクセスポイントに上り方向に音声データパケットを送信する無線インターフェースに転送する。下り方向では、アンテナ202は、関連するアクセスポイントからWi-Fiビーコンメッセージを定期的に受信する。ビーコンメッセージは、クロック203をアクセスポイント内のクロックと同期させるためにクロック同期ユニット204が使用するタイムスタンプまたは時間値を含む。クロック信号は、会議ユニット200内のクロック203によってローカルで生成されるが、ビーコンメッセージを通じてアクセスポイント内のクロックとアクティブに同期され、次の音声データパケットの到着時刻を推定する到着時刻推定ユニット223に用いられる。クロック203はアクセスポイントにおいて音声データパケットの送信に使用されるクロックとアクティブに同期されるので、ETAユニット223は、アクセスポイントにおいて次の音声データパケットが送信可能になる時刻を正確に判断することができる。ETAユニット223は、その時間を所定の伝送遅延、すなわち送信側および受信側での割り込み処理、Wi-Fiチャネルを介した空中伝搬、および例えば送信側に実装されるLBT機構により生じうるジッタに必要な許容時間で増加させる。この伝送遅延はさらに、クロック203と、それがアクティブ同期されるアクセスポイント内のクロックとの間のクロック同期の不正確性を考慮してもよい。図2の例では、伝送遅延は1.5ミリ秒に相当するように予め設定されている。ローカルで生成されたクロック信号と所定の伝送遅延により、ETAユニット223は、次の音声データパケットの到着時刻を防御的に(difensively)推定することができる。音声データパケットの到着時にプロセッサ221から割り込みを受けるロス検出ユニット224は、音声データパケットの次の予想到着時刻までに音声データパケットが受信されたかどうかを検証する。音声データパケットが時間内に受信された場合、プロセッサ221は受信した音声データパケットを処理し、含まれる音声サンプルを音声コネクタ206を介して音声ストリームの一部として出力できるようにする。音声データパケットの予想到着時刻までに音声データパケットが受信されない場合はその都度、ロス検出ユニット224は、受信機220の一部を構成するパケット隠匿ユニット225をトリガして代替パケットを生成し、代替パケットをプロセッサ221に供給して音声コネクタ206を介して出力される音声ストリームに挿入するようにする。パケット隠匿ユニット225は、処理集中型の隠匿アルゴリズムを適用し、典型的には先に受信した音声データパケットを使用して、欠落した音声データパケットを置換するために、受信音声ストリームに挿入したときに可聴アーティファクトを発生しない代替音声データパケットを生成する。音声データパケットのアクティブなクロック同期と到着時間推定により、失われたパケットの隠匿を早期にトリガすることができる。これにより、会議ユニット200は、会議システムに設定された遅延要件、典型的には会議ユニット200とアクセスポイント間を往復する音声パケットの往復時間で15ミリ秒~25ミリ秒、を満たすことができる。
図3は、本発明の観点から関連するアクセスポイントAPまたは300の機能的な構成ブロックを示す図である。図3のアクセスポイント300は、図1に示すアクセスポイント101の可能な実装例を示す。アクセスポイント300は、トランシーバ301、無線伝送用のアンテナ302、クロック303、および会議の議長または組織用のインターフェース304を具える。トランシーバ301は、送信機310と受信機320とを具える。送信機310は、それぞれ5ミリ秒の音声を含む音声データパケットを生成するように構成されたプロセッサ311を具える。これらの音声データパケットの内容は、インターフェース304を介して会議の議長によって制御される。これらの音声データパケットの内容は、例えば、単一の会議ユニットから受信した音声、複数の会議ユニットから受信した音声、通訳や翻訳者から受信した音声などである。プロセッサ311は、生成された音声データパケットをアンテナ302、すなわち、上述したソフトTDMAおよびLBT機構を有するWi-Fiプロトコルを用いて、会議システムの会議ユニットに音声データパケットを下り方向に送信する無線インターフェースに転送する。下り方向では、アンテナ302はまた、会議ユニットがアクセスポイント300と関連付けられるように、例えばアクセスポイント識別子を含むWi-Fiビーコンメッセージを定期的に送信する。これらのビーコンメッセージはまた、会議ユニットが自身のクロックをアクセスポイント300のクロック303とアクティブ同期できるようにするタイムスタンプまたはクロック303からの時間値を含んでいる。アクセスポイント300のクロック303によってローカルで生成されたクロック信号は、会議ユニットから来る次の音声データパケットの到着時刻を推定する到着時刻推定ユニット323に用いられる。クロック303は会議ユニットにおいて音声データパケットの送信に使用されるクロックとアクティブに同期されるので、ETAユニット323は、会議ユニットにおいて次の音声データパケットが送信可能になる時刻を正確に判断することができる。ETAユニット323は、その時間を、所定の伝送遅延、すなわち、送信側および受信側での割り込み処理、Wi-Fiチャネル上の空気中の伝搬、および例えば送信側で実装されるLBT機構の結果としての可能なジッタに必要な許容時間で増加させる。この伝送遅延はさらに、クロック303と、それとアクティブ同期される会議ユニット内のクロックとの間のクロック同期の不正確性を考慮してもよい。図3の例では、伝送遅延が1.5ミリ秒に相当するように予め設定されている。ローカルで生成されたクロック信号と所定の伝送遅延により、ETAユニット323は、会議ユニットにおける次の音声データパケットの到着時刻を防御的に推定することができる。音声データパケットの到着時にプロセッサ321から割り込みを受けるロス検出ユニット324は、音声データパケットの次の予想到着時刻までに音声データパケットが受信されたかどうかを検証する。音声データパケットが時間内に受信された場合、プロセッサ321は受信した音声データパケットを処理し、含まれる音声サンプルを出力して下り方向に送信できるようにする。音声データパケットの予想到着時刻までに音声データパケットが受信されない場合はその都度、ロス検出ユニット324は、受信機320の一部を構成するパケット隠匿ユニット325をトリガして、代替パケットを生成し、代替パケットをプロセッサ321に供給して出力される音声ストリームに挿入できるようにする。パケット隠匿ユニット325は、処理集中型の隠匿アルゴリズムを適用し、典型的には先に受信した音声データパケットを使用して、欠落した音声データパケットを置換するために、受信音声ストリームに挿入したときに可聴アーティファクトを発生しない代替音声データパケットを生成する。音声データパケットのアクティブなクロック同期と到着時間推定により、失われたパケットの隠匿を早期にトリガすることができる。これにより、アクセスポイント300は、会議システム用に設定された遅延要件、典型的には会議ユニットとアクセスポイント300の間を往復する音声パケットの往復時間で15ミリ秒~25ミリ秒、を満たすことができる。
図4は、本発明による遅延に敏感な音声データパケットの転送方法の一実施形態を示す擬似フロー図である。図4の疑似フロー図は、受信側で実行されるステップを示す。第1のステップ401において、アクティブ同期されたクロック411から受信した時刻信号と、例えばコンピュータのメモリやレジスタに予め設定され記録された予想伝送遅延412とから、音声データパケットの予想到着時刻が決定される。第2のステップ402において、第1のステップ401で決定された予想到着時刻までに音声データパケットを受信したか否かが検証される。予想到着時刻までに音声データパケットを受信している場合、ステップ403において、受信した音声データパケットは通常通り処理される。予想到着時刻までに音声データパケットが受信されなかった場合、失われた音声データパケットの代替音声パケットを生成するために、ステップ404においてパケットロス隠匿が発動される。ステップ404のパケットロス隠匿は、予想到着時刻に達すると同時に発動される。最後に、ステップ405において、受信した音声データパケットから処理された音声、または隠匿によって生成された音声がストリーミングされ、可聴アーティファクトのない連続した音声ストリームが形成される。
図5は、本発明による遅延に敏感な音声データパケットの転送方法の実施形態における1つまたはいくつかのステップの実行を実現する好適なコンピューティングシステム500を示す図である。コンピューティングシステム500は、一般に、適切な汎用コンピュータとして形成され、バス510、プロセッサ502、ローカルメモリ504、1以上の任意の入力インターフェース514、1以上の任意の出力インターフェース516、通信インターフェース512、記憶要素インターフェース506、および1以上の記憶要素508を具え得る。バス510は、コンピューティングシステム500の構成要素間の通信を可能にする1つまたは複数の導体を含みうる。プロセッサ502は、プログラミング命令を解釈して実行する任意のタイプの従来型のプロセッサまたはマイクロプロセッサを含み得る。ローカルメモリ504は、プロセッサ502による実行のための情報および命令を格納するランダムアクセスメモリ(RAM)または他のタイプの動的記憶装置、および/またはプロセッサ502による使用のための静的な情報および命令を格納するリードオンリーメモリ(ROM)または他のタイプの静的記憶装置を含み得る。入力インターフェース514は、キーボード520、マウス530、ペン、音声認識および/または生体認証機構、カメラなどの、オペレータやユーザがコンピューティングデバイス500に情報を入力できるようにする1または複数の従来型の機構を含み得る。出力インターフェース516は、ディスプレイ540などの、オペレータまたはユーザに情報を出力する1つまたは複数の従来型の機構を含み得る。通信インターフェース512は、コンピューティングシステム500が他のデバイスおよび/またはシステム、例えば他のコンピューティングデバイス581、582、583と通信できるようにする、例えば1以上のイーサネットインターフェースなどの任意のトランシーバ様機構を含み得る。コンピューティングシステム500の通信インターフェース512は、ローカルエリアネットワーク(LAN)や例えばインターネットなどのワイドエリアネットワーク(WAN)によって、別のコンピューティングシステムに接続され得る。記憶要素インターフェース506は、バス510を1つ以上の記憶要素508、例えばSATAディスクドライブなどの1以上のローカルディスクに接続し、これらの記憶要素508へのおよび/またはこれらからのデータの読み書きを制御するための、例えばSATA(Serial Advanced Technology Attachment)インターフェースまたはSCSI(Small Computer System Interface)などのストレージインターフェースを含み得る。上記の記憶要素508はローカルディスクとして説明されているが、一般に、取り外し可能な磁気ディスク、CDまたはDVD-ROMディスクなどの光学記憶媒体、ソリッドステートドライブ、フラッシュメモリカードなどの任意の他の適切なコンピュータ可読媒体を使用することができる。コンピューティングシステム500は、したがって、図2に例示される実施形態における処理回路211、221、または図3に例示される実施形態における処理回路311、321に対応し得る。これらの実施形態の送信機および受信機でそれぞれ使用される処理回路は、これらの図面において破線の四角形で示されるように、明らかに単一のプロセッサまたはコンピュータの一部であってもよい。
本発明を特定の実施形態を参照して説明したが、本発明は前述の例示的な実施形態の詳細に限定されず、本発明はその範囲を逸脱することなく様々な変更および修正を加えて具体化できることは、当業者にとって明らかであろう。したがって、本実施形態は、すべての点において例示であって限定的ではないと考えるべきであり、本発明の範囲は、前述の説明ではなく添付の特許請求の範囲によって示され、したがって、請求項の意味および均等の範囲内に入るすべての変更は、その中に包含されることが意図されている。換言すれば、本特許出願では、基本的な基礎原理の範囲内にあり、その本質的な属性がクレームされている、あらゆる変更例、変形例、または均等物をカバーすることが意図されている。さらに、この特許出願の読者は、「具える」または「含む」という語は他の要素またはステップを排除しないこと、「a」または「an」という語は複数を排除しないこと、およびコンピュータシステム、プロセッサ、または他の統合ユニットなどの単一の要素は、請求項に記載のいくつかの手段の機能を果たすことができることを理解されよう。特許請求の範囲に記載された参照符号は、当該各請求項を限定するものと解釈してはならない。「第1」、「第2」、「第3」、「a」、「b」、「c」などの用語は、説明または特許請求の範囲で使用される場合、類似の要素またはステップを区別するために導入され、必ずしも順次または時系列に説明するものではない。同様に、「頂部」、「底部」、「上」、「下」などの用語は説明のために導入されたものであり、必ずしも相対的な位置を示すものではない。このように使用される用語は、適切な状況下で交換可能であり、本発明の実施形態は、本発明に従って他の順序で、または上記で説明または図示されたものと異なる方向で動作可能であることが理解されるであろう。
Claims (13)
- 複数のユーザが会議室での会議に参加できるように適合された無線会議システム(100)であって、前記無線会議システム(100)は、アクセスポイント(101;300)と複数の会議ユニット(111~115;200)とを具え、
前記アクセスポイント(101;300)および前記会議ユニット(111~115;200)のうちの1以上が、前記1以上の会議ユニット(111~115;200)と前記アクセスポイント(101;300)との間の遅延に敏感な音声データパケットの双方向の時分割多重アクセスベースまたはTDMAベースの無線通信用に構成されたトランシーバ(201;301)を具え、当該トランシーバ(201;301)は送信機(210;310)と受信機(220;320)とを具え、
前記アクセスポイント(101;300)および前記1以上の会議ユニット(111~115;200)が、アクティブに同期されるそれぞれのクロック(203;303)を具え、前記それぞれのクロックのうちの1のクロック(203;303)が、前記音声データパケットの処理にローカルで使用されるローカル音声クロック信号と、前記TDMAベースの無線通信に用いられるローカル同期クロック信号を生成するように構成され、
前記受信機(220;320)が、会議ユニット(111~115;200)から前記アクセスポイント(101;300)またはその逆へと送信される音声データパケットのロスを検出するように構成されたパケットロス検出ユニット(222;322)を具え、当該パケットロス検出ユニット(222;322)は、
前記ローカル同期クロック信号と所定の予想伝送遅延とから前記音声データパケットの予想到着時刻を決定するように構成された手段(223;323)と、
前記音声データパケットが前記予想到着時間までに到着しなかった場合、前記音声データパケットのロスを検出するように構成された手段(224;324)とを具え、
前記受信機(220;320)が、前記パケットロス検出ユニット(222;322)によってロスが検出された前記音声データパケットについての代替パケットを生成するように構成されたパケットロス隠匿ユニット(225;325)を具えることを特徴とする無線会議システム(100)。 - 前記アクセスポイント(101;300)および前記1以上の会議ユニット(111~115;200)は、音声データパケットの受信応答を行わないように構成される、請求項1に記載の無線会議システム(100)。
- 前記アクセスポイント(101;300)および前記1以上の会議ユニット(101~105;200)は、ロスした音声データパケットを再送信しないように構成される、請求項1に記載の無線会議システム(100)。
- 前記遅延に敏感な音声データパケットは、会議ユニット(111~115;200)から前記アクセスポイント(101;300)への無線転送、および前記アクセスポイント(101;300)から前記会議ユニット(111~115;200)への無線転送の往復時間遅延の上限が25ミリ秒である、請求項1乃至3のいずれかに記載の無線会議システム(100)。
- 前記遅延に敏感な音声データパケットは、会議ユニット(111~115;200)から前記アクセスポイント(101;300)への無線転送、および前記アクセスポイント(101;300)から前記会議ユニット(111~115;200)への無線転送の往復時間遅延の上限が15ミリ秒である、請求項1乃至4のいずれかに記載の無線会議システム(100)。
- 前記TDMAベースの無線通信は、5ミリ秒のTDMAフレームを用いる、請求項1乃至5のいずれかに記載の無線会議システム(100)。
- 前記送信機(210;310)は、音声データパケットを送信する前に、TDMAフレーム内の割り当てられたタイムスロット内の干渉トラフィックをリッスンするように構成される、請求項1乃至6のいずれかに記載のワイヤレス会議システム(100)。
- 前記無線通信はWi-Fiを用いる、請求項1乃至7のいずれかに記載の無線会議システム(100)。
- 前記1以上の会議ユニット(111~115;200)は、前記アクセスポイント(101;300)によって定期的にブロードキャストされるビーコンメッセージに挿入されたタイムスタンプに基づいて、それぞれのクロック(203)を前記アクセスポイント内のクロック(303)とアクティブに同期させるように構成されたクロック同期ユニット(204)を具える、請求項1乃至8のいずれかに記載の無線会議システム(100)。
- 前記所定の予想伝送遅延は、伝搬遅延、ジッタ、割込み処理遅延、処理遅延、およびクロック同期の不正確度の合計として決定される、請求項1乃至9のいずれかに記載の無線会議システム(100)。
- 前記ジッタの遅延は、リッスンビフォートークジッタの寄与を含む、請求項7または10に記載の無線会議システム(100)。
- 前記所定の予想伝送遅延は、1.5ミリ秒~2ミリ秒の値に設定される、請求項1乃至11のいずれかに記載の無線会議システム(100)。
- 複数のユーザが会議室での会議に参加できるように適合された無線会議システム(100)における1以上の会議ユニット(111~115;200)とアクセスポイント(101;300)間の遅延に敏感な音声データパケットの転送方法であって、当該転送方法は、前記音声データパケットの双方向、時間分割多重アクセスベースまたはTDMAベースの無線通信を含み、当該方法はさらに、
前記1以上の会議ユニット(111~115;200)および前記アクセスポイント(101;300)のそれぞれのクロック(203;303)をアクティブに同期させるステップであって、前記それぞれのクロックのうちの1のクロック(203;303)が、前記音声データパケットの処理にローカルで使用されるローカル音声クロック信号および前記TDMAベースの無線通信に使用されるローカル同期クロック信号を生成するように構成される、ステップと、
前記会議ユニット(111~115;200)から前記アクセスポイント(101;300)またはその逆へ送信される音声データパケットのロスを検出するステップであって、
前記ローカル同期クロック信号と所定の予想伝送遅延から、前記音声データパケットの予想到着時刻を決定し、
前記音声データパケットが前記予想到着時刻までに到着しなかった場合に、前記音声データパケットのロスを検出する、ステップと、
パケットロス隠匿を通して、前記ロスが検出された音声データパケットの代替パケットを生成するステップと、を含むことを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20191690.5A EP3958511B1 (en) | 2020-08-19 | 2020-08-19 | A wireless conference system with early packet loss detection |
EP20191690.5 | 2020-08-19 | ||
PCT/EP2021/067652 WO2022037828A1 (en) | 2020-08-19 | 2021-06-28 | A wireless conference system with early packet loss detection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023539836A true JP2023539836A (ja) | 2023-09-20 |
Family
ID=72147961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023512370A Pending JP2023539836A (ja) | 2020-08-19 | 2021-06-28 | パケットロスを早期に検知する無線会議システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230269155A1 (ja) |
EP (1) | EP3958511B1 (ja) |
JP (1) | JP2023539836A (ja) |
CN (1) | CN116034573A (ja) |
ES (1) | ES2952452T3 (ja) |
WO (1) | WO2022037828A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12052309B1 (en) * | 2021-09-30 | 2024-07-30 | Open Sesame Media, Inc. | Apparatus and method for a low-latency and synchronous shared online audio session |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9661425B2 (en) | 2014-01-15 | 2017-05-23 | Starkey Laboratories, Inc. | Method and apparatus for rendering audio in wireless hearing instruments |
US10554704B2 (en) * | 2014-02-21 | 2020-02-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Low latency media mixing in packet networks |
US10225814B2 (en) * | 2015-04-05 | 2019-03-05 | Qualcomm Incorporated | Conference audio management |
EP3378207B1 (en) * | 2015-11-16 | 2019-04-24 | Telefonaktiebolaget LM Ericsson (publ) | Method for congestion control in multiparty conferencing, multipoint control unit, computer program and computer program product |
CN109005679B (zh) * | 2017-04-07 | 2020-08-04 | 深圳市泰德创新科技有限公司 | 一种用于会议讨论系统冗余设计的音频同步系统 |
CN206790499U (zh) * | 2017-04-07 | 2017-12-22 | 深圳市台电实业有限公司 | 一种用于会议讨论系统冗余设计的音频同步系统 |
US11259192B2 (en) | 2017-09-29 | 2022-02-22 | Apple Inc. | Ultra-low latency audio over bluetooth |
-
2020
- 2020-08-19 ES ES20191690T patent/ES2952452T3/es active Active
- 2020-08-19 EP EP20191690.5A patent/EP3958511B1/en active Active
-
2021
- 2021-06-28 CN CN202180050814.4A patent/CN116034573A/zh active Pending
- 2021-06-28 US US18/041,304 patent/US20230269155A1/en active Pending
- 2021-06-28 JP JP2023512370A patent/JP2023539836A/ja active Pending
- 2021-06-28 WO PCT/EP2021/067652 patent/WO2022037828A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3958511B1 (en) | 2023-06-07 |
WO2022037828A1 (en) | 2022-02-24 |
CN116034573A (zh) | 2023-04-28 |
KR20230050449A (ko) | 2023-04-14 |
US20230269155A1 (en) | 2023-08-24 |
EP3958511A1 (en) | 2022-02-23 |
EP3958511C0 (en) | 2023-06-07 |
ES2952452T3 (es) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11039411B2 (en) | Synchronization method for synchronizing clocks of a Bluetooth device | |
EP3883276B1 (en) | An audio rendering system | |
JP7230008B2 (ja) | リアルタイムオーディオおよびデータを提供するためのシステムおよび方法 | |
EP1247368B1 (en) | Communication apparatus | |
US8111843B2 (en) | Compensation for nonuniform delayed group communications | |
US9860655B2 (en) | Wireless binaural hearing system | |
US11102565B1 (en) | Low latency Bluetooth earbuds | |
CN107006060B (zh) | Ad-hoc通信网络和通信方法 | |
JP2023539836A (ja) | パケットロスを早期に検知する無線会議システム | |
JP2003143056A (ja) | 無線端末及び基準局を持たない無線同期システム並びにプログラム | |
US20230106965A1 (en) | Wireless stereo headset group communications | |
KR102718556B1 (ko) | 패킷 손실 조기 검출을 갖는 무선 회의 시스템 | |
CN113115281B (zh) | 蓝牙音讯装置、蓝牙音讯系统及其运作方法 | |
EP4109928A1 (en) | Method and system for streaming a multichannel audio signal to a binaural hearing system | |
EP3474515B1 (en) | A method of improving synchronization of the playback of audio data between a plurality of audio sub-systems | |
EP4161100A1 (en) | Wireless stereo headset group communications | |
CN115348548B (zh) | 音频广播方法、装置、系统、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240619 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240806 |