JPH10508997A

JPH10508997A - オーディオトランシーバ

Info

Publication number: JPH10508997A
Application number: JP8516110A
Authority: JP
Inventors: アロンコーエン; ハラマティ，ライオール
Original assignee: ボーカルテック，インコーポレイティド
Priority date: 1994-11-10
Filing date: 1995-11-09
Publication date: 1998-09-02
Also published as: US5825771A; FI971997A; WO1996015598A1; IL115902A0; IL115902A; AU4018995A; EP0791253A4; EP0791253A1; FI971997A0

Abstract

(57)【要約】本発明は、オーディオ装置（１４Ｂ）が常に再生すべきものを有するように、受信側（２０Ｂ）にＰＣオーディオ装置（１４Ｂ）のバッファ（１５Ｂ）でオーディオデータ量を制御するトランシーバ（７０）である。送信側（２０Ａ）では、オーディオ送信機は送られるべきオーディオパケットに少なくともシーケンス番号を与える。オーディオ受信機はオーディオ装置のバッファの状態についてだけ関係する。したがって、オーディオ送信機はオーディオ受信機と同期される必要がない。

Description

【発明の詳細な説明】オーディオトランシーバ発明の分野本発明はデータネットワークを経由してオーディオ信号のリアルタイム又はほぼリアルタイムの通信を提供する装置に関する。発明の背景データネットワークは、一つのワークステーションから別のワークステーションへ、代表的には固定数のバイトデータを通常有するパケットの形態で、データを転送する。ネットワークが通信経路を設備する多くの型のネットワーク製品がある。エサメット（Ethermet）及びトークンリング（Token Ring）がパケットデータネットワークに対する低レベルネットワーク構造の例である。使用される構造の型にもかかわらず、いかなるネットワークもソースワークステーションからあて先ワークステーションへのパケットを瞬時に提供しない。ネットワークの負荷（例えばどれだけ多くのワークステーションが直ちに送ろうとしているか）に依存して及び／又はネットワークの構成（例えばパケットがどの経路を取るか）及び使用されるプロトコールの型に依存して代表的には変化する転送遅れがある。もし二つのシーケンスパケットはネットワークを経由する二つの異なる経路を取るならば、ネットワークを経由して伝送する異なる時間量後にあて先ワークステーションに到着することが可能になる。パケットは間違った順序でおそらく到着する。ネットワークについて転送される多くのデータが記憶目的で転送されるので、遅延や混乱した順序は、これらを最小限に減少させることが常に望ましいけれど、重大ではない。アナログオーディオ信号をデジタル信号に変換するオーディオ装置が知られている。これらの装置は、あるサンプリング周波数で、アナログオーディオ信号をサンプルしてデジタルデータストリームを形成し且つデータストリームを圧縮してデータストリームを記憶し又は転送する記憶又は帯域幅要求を減少させる。データストリームはパケットに分割され且つネットワークに沿って転送されてあて先ワークステーションにより再集合され且つ再生される。再生はアナログ信号に変換されるデータストリームへのパケットの変換に関与する。従来技術として知られているように、デジタル−アナログ変換は代表的にはオーディオ装置のサンプリング周波数と同じ周波数である変換周波数に関与する。もしオーディオ信号があて先ワークステーションにより記憶されるならば、遅延や変化シーケンスは重要ではない。オーディオ信号は、記憶装置から検索され且つ再生されるときに、オーディオ信号のパケットの全てが記憶媒体に存在するので、円滑に再生される。しかしながら、リアルタイム変換が所望されると、「オーディオパケット」は、到着すると直ぐにオーディオ装置により再生されるべきである。これは前述した理由に対して正確にはネットワークについて動作するときに困難である；パケットの順序は必ずしも転送期間中に維持されず且つ固定値ではないネットワーク遅延がある。さらに、仮に遅延が克服されても、もしソースワークステーションのオーディオ装置があて先ワークステーションのオーディオ装置の変換周波数とは異なる（速い又は遅い）サンプリング周波数を有するならば、二つのカード(c ards)は同期されない。もしソースワークステーションが高い方の周波数でサンプルしているならば、あて先ワークステーションは十分に速くパケットを再生することができない。逆に、もしソースワークステーションが低い方の周波数でサンプルするならば、あて先ワークステーションにより十分なパケットが再生しない。下記の二つの論文はパケットデータネットワークについてオーディオ通信を形成する際に関与する問題を検討する： Clifford J．Wein and James W．Forgie．"Experience with Speech Communic ation In Packet Network"，IEEE Journal on Selected Areas in Communicatio ns ，Vol.SCA-1，No.6,December 1983，pp．963-980; 及び Warren A．Montgomery，"Techniques for Packet Voice Synchronization",IE EE Journal on Selected Areas in Communications ，Vol.SCA-1，No.6,December 1983，pp．1022-1028．第１の論文はスピーチを送信するネットワークプロトコールを検討している。第２の論文は各パケットの目標再生時間を選択するパケット音声受信機ユニットを検討している。再生時間はソースワークステーションによるその再生後固定間隔である。パケットはもし目標再生時間前に到着しさえすれば再生される。第２の論文はネットワークに起因してパケットが直面する遅延を決定する若干の方法を検討している。二つのオーディオ装置がほとんど同期していることまたスピーチバーストが短いという（周波数が非常に近い）ことを第２の論文は仮定しているので、目標再生時間を増大させて同期の欠乏を補償している。第２の論部は、代表的にはサイレント期間中に、目標再生時間を適当に変化させることを検討している。その論文は再生中の再生時間を変化させることはスピーチのピッチを維持するというけれど、再生中に目標再生時間を変化することを可能にする。最後に、第２の論文はネットワーク設計について同期技術のインパクトを検討している。ワークステーションの同一型のネットワークについてオーディオ通信を可能にするプログラムは知られている。例えば、プログラムNetFone 及びVtalt がデータネットワークについて音声信号を送るように設計されている；しかしながら、これらのプログラムは米国の、Sun Microsystemsにより製造されるワークステーション間だけで動作するにすぎない。 Ethemet プロトコールを動かすネットワークについての音声通信は米国ニューヨーク、ローマのGenisys Comm Inc．から商業的に入手可能である。このシステムはパーソナルコンピュータ（ＰＣｓ）で動作する。本発明の要約本発明はパーソナルコンピュータ（ＰＣ）とパケットデータネットワーク間にオーディオトランシーバを設けることを目的とする。本発明は、オーディオ装置が常に再生するものを有するように、受信側で、ＰＣオーディオ装置のバッファにオーディオデータ量を適当に制御するオーディオトランシーバ（オーディオ受信機と送信機を有する）である。送信側では、オーディオ送信機は送られるべきオーディオパケットに少なくともシーケンス数を提供する。オーディオ受信機はオーディオパケットを受信し、処理しその後に且つできるだけ速く再生する。本発明はオーディオパケットが来るのに係る時間量を測定しないので、オーディオ受信機及び送信機は任意の大きさのネットワーク（短い遅延を持つもの又は長い遅延を持つもの）の終端に置かれる。なお、オーディオ受信機はオーディオ装置のバッファの状態にだけ関する。したがって、オーディオ送信機はオーディオ受信機と同期される必要がない。それらのクロックは少し又は著しく異なる；オーディオ受信機は双方の位置を扱う。特に、本発明の好ましい実施例によれば、オーディオトランシーバはオーディオ装置から受信し出て行くオーディオパケットにシーケンスを付ける装置、さらに、入力で、パケットデータネットワーク、フルネス設定装置及びフルネス調整装置からシーケンス付きオーディオパケットのストリームを受信する装置を具備する。再生バッファが空であるときには何時でも、フルネス設定装置はオーディオ装置の再生バッファにサイレンスバッファを転送する。フルネス調整装置は再生バッファのフルネスを適当に制御してオーディオパケットが受信される割合にオーディオ装置の再生割合をほぼ合わせる。なお、本発明の好ましい実施例によれば、トランシーバはオーディオ装置のすべてにシーケンス及びあて先を付ける装置とネットワークを経由してオーディオパケットを送信する装置とを具備する。さらに、本発明の好ましい実施例によれば、トランシーバは第１のオーディオ装置からオーディオパケットを受信し、何時オーディオパケットが音響を含み始めるかを決定し、音響の始めからオーディオパケットを送る音響検出装置を具備する。なおさらに、本発明の好ましい実施例によれば、パケットデータネットワークは私設又は、代わりに、公衆ネットワークである。なお、本発明の好ましい実施例によれば、フルネス設定装置は調整可能なフルネスレベルを増大させる装置を具備する。調整装置は調整可能なフルネスレベルを減少させる装置とオーディオパケット以内にオーディオデータを処理してフルネスレベルの現在値に再生バッファを満たす装置とを具備する。さらに、本発明の好ましい実施例によれば、処理装置は時間の所定ウィンドウ中に再生バッファでデータ量を決定する装置を具備する。処理装置は代表的には現在データ量がフルネスレベルの現在値より少ないか又は多いか否かの機能としてオーディオデータの一部を加算し且つ除去する装置を具備する。さらに、本発明の好ましい実施例によれば、加算及び除去装置は現在データ量がフルネスレベルの現在値に届くまでオーディオデータの一部の大きさを維持する装置を具備する。最後に、本発明は以上に説明される要素によ行われる動作を含むオーディオデータを処理する方法を具備する。図面の簡単な説明本発明は図面と関連して行われる下記の詳細な説明からより十分に理解され且つ評価される：図１はネットワークを経由して総合的に接続される複数のワークステーションの概略説明であり、図１において各ワークステーションは本発明の好ましい実施例によって構成され且つ動作するオーディオトランシーバを有する；図２は図１に示されるオーディオトランシーバの要素のブロック図の説明のである；図３はオーディオ装置に関連する図２のトランシーバの送信機の部分の概略説明である；図４はネットワークから受信したオーディオパケットをこれがリアルタイムで再生されるように再集合する責任があるオーディオトランシーバの受信機の要素のブロック概略説明である；図５は図４の受信機により実施される方法のフローチャート説明である。好ましい実施例の詳細な説明図１を説明する。図１では、ネットワークにより複数のオーディオトランシーバを経由するオーディオ通信が本発明の好ましい実施例により構成され且つ動作する。図２は、概略的なブロック図フォーマットで、本発明の一つのオーディオトランシーバの要素を説明する。図１はパケットデータネットワーク１２を経由して総合的に接続される複数のワークステーション１０を説明する。データネットワーク１２は、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）のような任意の型のネットワークであり、且つＳＰＸ／ＩＰＸ，ＴＣＰ／ＩＰ等のような任意の所望ネットワークプロトコールである。各ワークステーション１０はオーディオ装置１４及びネットワーク装置１９を有するパーソナルコンピュータ（ＰＣ）で形成される。ネットワーク装置１９はそのワークステーション１０をネットワーク１２に接続する。オーディオ装置１４はスピーカ１６及びマイクロホン１８に接続され且つスピーカ１６でデジタル録音音響を再生するように動作しまたマイクロホン１８からの音響をデジタル信号に変化するように動作する。代表的にはオーディオ装置１４は再生バッファ１５を有する。二つのワークステーション１０がリアル又はほぼリアルタイムで相互に音響を形成することができるように本発明のオーディオトランシーバ２０はオーディオ装置１４とネットワーク装置１９間の橋渡しを行って、かくして二つのワークステーション１０のユーザが相互に理想的な音声会話をすることが可能になる。以下に詳細に説明されるように、オーディオトランシーバ２０はオーディオ受信機とオーディオ送信機とを有する。転送側では、オーディオ送信機はオーディオデータストリームをパケットに変換し、且つ少なくともシーケンス数をパケットに形成する。受信側では、オーディオ受信機はオーディオパケットを受信し且つ、本発明の好ましい実施例により、オーディオ装置１４の再生バッファ１５のオーディオデータの量を適切に制御して所望のフルネス（fullness）レベルを維持する。図２は二つのオーディオトランシーバ２０、ソーストランシーバ２０ａ及びあて先トランシーバ２０ｂの概略構造を説明する。オーディオトランシーバ２０の概略動作の説明はトランシーバ２０ａ及び２０ｂ間の会話の関連で行われる。各トランシーバはネットワークインタフェース３０、コールマネージャ３２、オーディオマネージャ３４、及びセションマネージャ３３を具備し、ここではソーストランシーバ２０ａの要素は「ａ」のサフィックスで分類され且つあて先トランシーバの要素は「ｂ」のサフィックスで分類される。ネットワークインタフェース３０はオーディオデータストリームをパケットに分割し且つ、ネットワーク装置１９を経由して、ネットワークインタフェース３０はネットワーク１２に接続する。ネットワークインタフェース３０はネットワーク上のワークステーションのアドレスを知っており且つオーディオトランシーバ２０を所望のあて先ワークステーションに接続するのに役立つ。ソースコールマネージャ３２ａを経由して、オペレータは誰と話したいかを表す。ソースコールマネージャ３２ａは人が働き且つそのあて先ワークステーションに「コール開始」メッセージ（データメッセージ）を準備するワークステーションのアドレスに人の名前を変換する。ソースネットワークマネージャ３０ａはコール開始メッセージを受信し且つことをコールマネージャ３２ｂに与える。コールマネージャ３２ｂは、交互に、そのオペレータにコールが開始されていることを表す。この表示は、あて先オーディオ装置で、あて先ＰＣのディスプレーを経由し又はベルの音のような「コール開始」音響を形成することにより行われる。代表的には、あて先コールマネージャ３２ｂはコールを開始したオペレータに表示する。オペレータは、もし彼がコールを開始した人に話しかけたいならば、あて先コールマネージャ３２ｂに適当な表示をする。応答において、あて先コールマネージャ３２ｂは、ソースオーディオトランシーバ２０ａに、ネットワークインタフェース３０ｂを経由して、「会話ＯＫ」メッセージを送る。「会話ＯＫ」メッセージはさらなるメッセージ（オーディオデータを含む）がオーディオマネージャ３４ｂに送られるということをあて先ネットワークインタフェース３０ｂに表示する。ソースネットワークインタフェース３０ａは、「会話ＯＫ」メッセージを受信時に、これをソースコールマネージャ３２ａに送る。ソースコールマネージャ３２は、交互に、オペレータに適当な表示を行う。表示は任意の所望される型の表示であり、例えば、電話を取るときのような音響でもよく、又は、あるフレーズであり、例えば、コールが連続して開始されたことを示す「会話ＯＫ」又は「オープン」であってもよい。「会話ＯＫ」メッセージは任意のさらなるメッセージがオーディオマネージャ３４ａへ通信されさらにこれから通信されることをソースネットワークインタフェース３０ａに表示する。コールマネージャ３２ａ及び３２ｂはこれらのオーディオトランシーバが現在能動的であることを表すコール制御信号を周期的に送る。マネージャ３２ａ及び３２ｂはこれらの制御信号の流れをモニタし且つ「会話終了」表示を形成する。これらの表示は、各オペレータからコマンドとして又はいかなる制御信号があて先トランシーバ２０ｂから受信されなかった時間の所定長さ後にやって来る。セションマネージャ３３は各オーディオトランシーバ２０の要素に対して全体の制御を行う。特に、セションマネージャ３３は遠隔関係部と共にセションの論理的なレベルを管理する。オーディオマネージャ３４ａ及び３４ｂは各ネットワークインタフェース３０から且つ各オーディオ装置１４から受信したデジタルオーディオデータを処理する。オーディオマネージャ３４はオーディオ送信機３５（図３に詳細にした）及びオーディオ受信機（図４及び５に詳細にした）に分割される。会話中に、送信オーディオマネージャ３４ａは対応オーディオ装置１４からオーディオデータストリームを受信し且つデータストリームを処理して任意のサイレンス部分を除去する。結果としてデータストリームは該データストリームをパケットに分割し且つソース及びあて先ワークステーションアドレスのようなネットワーク情報を各パケットに加えるネットワークインタフェース３０ａに与えられる。パケットはネットワーク１２に送られる。受信ネットワークインタフェース３０ｂはパケットを受信し且つネットワーク情報を取り除き、これによりオーディオデータストリームを形成する。受信オーディオマネージャ３４ｂはデータストリームを処理して各オーディオ装置１４の、１５ａ及び１５ｂと付けられた、再生バッファが、ａ）パケットが到着する割合、ｂ）ソースオーディオ装置１４ａのサンプリング割合又はｃ）パケットが始めに生成される時間を無視して、再生すべき十分なデジタルオーディオデータを有することを確保する。もし所望されるならば、オーディオマネージャ３４ａはオーディオデータストリームをネットワークインタフェース３０ａに送ってパケットに形成する前オーディオデータストリームを圧縮する。圧縮（また受け側では圧縮解除）が、ＣＣＩＴＴＧ．７２１標準に記載されるアダプティブディレイパルスコードモジュレーション（ＡＤＰＣＭ）技術のような任意の適当なオーディオ圧縮／圧縮解除技術を使用して実現される。図３は一つのオーディオマネージャ３４のオーディオ送信機３５の要素及び動作を説明する。オーディオ送信機３５はほぼ損失の少ない音響検出器を具備し、音声により動作される送信機（ＶＯＸ）４０、バッファ４２及びスイッチ手段４４で形成される。音響検出器は任意のサイレンス期間を除去し且つ何時ユーザが話すのを終了したかを（他の人が話しを開始できるように）示す必要がなければユーザが話すことを可能にする。人は連続的に会話をせず、むしろ突発的に、「スピーチバースト」として知られているが、会話をすることが注目される。音響検出器は何時オーディオデータストリームがスピーチバースト（背景ノイズに対比されるように）を具備して且つデータストリームをシフトしてＶＯＸ４０の処理時間の原因となるかを決定する。かくして、ＶＯＸ４０が処理するデータストリームは長さがＶＯＸ４０の処理時間にほぼ関連するバッファ４２に記憶される。一旦ＶＯＸ４０がデータストリーム以内に有効な音響（代表的にはスピーチバーストの開始時ではなく近くで起きる）を検出すると、バッファ４２に記憶されるデータを出力することをスイッチ手段４４に示す。もしいかなる音響も検出されなければ、バッファ４２に記憶されるデータが上書きされる。特に、ＶＯＸ４０はバッファ４２内のあるデータが代表的に、しかし必ずしも、ユーザ調整可能ではない、音響しきいレベル以上になると直ぐに音響が存在すると考える。バッファ４２の全内容（音響しきいレベル以上のデータポイントにプラスそれ以前の全データ）はパケットへの分割のためにネットワーク３３に出力される。バッファが、数ミリ秒間、代表的には音響しきいレベルよりも低い、サイレンスしきいレベル以上のいかなるデータポイントも持たない（すなわちスピーチバースト又は会話が終わった）とき、ＶＯＸ４０はネットワークインタフェース３３からバッファ４２を分離することをスイッチ手段４４に示す。図４は一つのオーディオマネージャ３４のオーディオ受信機３７の要素を説明する。オーディオ受信機３７はパケットハンドラ５０、初期フルネス設定ユニット５１、フルネス調整部５２及びユニット５１及び５２の切換を行うスイッチ手段（スイッチ５４により注目される）を具備する。オーディオ受信機３７の出力はオーディオ装置１４の再生バッファ１５に与えられる。人がスピーチバーストで話すので、一旦スピーチバーストが終わると、再生バッファ１５は再生すべき残されたものが何も無いということが注目される。かくして、フルネス設定ユニット５１は各スピーチバーストの開始で能動的にされる。再生バッファ１５が、オーディオ装置により要求されるとき、オーディオ装置に記憶されている最も古いオーディオデータをオーディオ装置に設けるファースト−イン、ファーストアウト（ＦＩＦＩＯ）バッファであることが注目される。フルネスの最小限レベルがあり、このレベルは利用されるオーディオ装置１４の型と共に変化し、このレベル以下では、スピーチバーストが終わるならば除いて、再生バッファ１５が動作しない。パケットハンドラ５０はオーディオデータストリームと対応ネットワークインタフェース３０からのシーケンス数の各パケットを受信し、且つシーケンス数のパケットに注目する。各パケットはオーディオデータの複数の「フレーム」を記憶すること且つオーディオデータの各フレームは任意の長さでありさらに圧縮又は圧縮解除されたデータを具備することが注目される。パケットハンドラ５０はオーディオデータを再サンプルして、以下により詳細に説明されるように、対応オーディオ装置１４の変化周波数を合わせる。パケットハンドラ５０は欠落パケットの前後のパケットを利用して且つ、もし必要ならば、サイレンスフレームを加えて、欠落パケットを補償する。サイレンスのフレームはフレームにあるサイレンス音響についてのフレームである。ネットワークが各パケットを分離して発送するので、パケットは、必ずしも、順番に又は規則的な割合で到着しない。スピーチバーストの開始時に、到着割合のこの「ジッタ」は非常に問題となる。したがって、フルネス設定ユニット５１は多くのジッタを克服するべき所望のフルネスレベルを決定して且つ再生バッファ１５にサイレンスデータのブロックを与えて所望フルネスレベルに再生バッファ１５を満たす。フルネスユニット５１はフルネスレベルが何であるかを調整部５２に示し、その後、スイッチ手段５４は生後をフルネス調整部５２に切り換える。オーディオ装置１４がサイレンスブロックを再生する間に、フルネス調整部５２は入力オーディオデータのハンドルを行い且つオーディオデータを再生バッファ１５に与える。フルネス調整部５２はオーディオデータを加えたり又は除去したりして変換オーディオデータが存在する割合でオーディオ装置１４の再生割合を合わせる。換言すれば、パケットハンドラ５０はオーディオデータストリームをあて先ワークステーションのオーディオ装置１４の変換割合に変換したり又は尺度を調整したりして且つフルネス調整部５２は入力データストリームのデータ割合に対する微調整を行ったりしてオーディオ装置１４の変換割合をより正確に合わせる。そうするために、フルネス調整部５２は所望フルネスレベルを調整する。代表的にはネットワークの増大ジッタに起因して、スピーチバーストが終了する前又は終了するときに、もしオーディオ装置１４がバッファ１５で全データを再生するならば、スイッチ手段５４は増大ジッタを補償するフルネスレベルを少し増大させ且つ増大フルネスレベルの大きさの別のサイレンスブロックを与えるフルネス設定ユニット５１への制御を切り換える。より多くのデータが再生バッファ１５に記憶されていれば、オペレータが受信データを聴くまでに長くかかるので、再生バッファ１５が必要なほどにフル（fu ll）であるが過剰にフルとならないことを確保するようにフルネス調整部５２はオーディオデータを処理する。フルネス調整部５２はオーディオ装置１４の再生割合をほぼ合わせるようにオーディオデータの割合を調整する。かくして、再生割合が変換オーディオデータの再生割合よりも速いならば、フルネス調整部５２は多くのサンプルごとにオーディオデータに余分なサンプルを加える。逆に、もし再生割合が変換データの割合より遅いならば、フルネス調整部５２は多くのオーディオサンプル毎に落とす。フルネス調整部５２は再生割合とネットワークがパケットを転送する割合との間の不整合を補償するだけでなく、ソースオーディオ装置１４ａのパケット生成とあて先オーディオ装置１４ｂの再生割合との間の差を補償することが理解される。かくして、本発明のオーディオトランシーバは、代表的には類似のサンプリング及び再生割合を持たない、異なる製造業者によるオーディオ装置を有するＰＣ間の通信を可能にする。同様に、本発明により単一のオーディオ装置製造業者が、サンプリング割合が大きな許容範囲内で変動するオーディオ装置を製造するのを可能にする。さらに、何時入力オーディオデータが始めに生成されたかのいかなる知識もなしに、フルネス設定ユニット５１及びフルネス調整部５２が再生バッファをフルに維持するように動作することが理解される。図５は、フローチャートのフォーマットで、各入力パケットに対して、受信機３７の動作を説明する。パケットが到着するとき（ステップ１００）、あて先オーディオ装置１４の変換周波数を合わせるためにデータストリームはまず再サンプルされる（ステップ１０２）。再サンプリング処理はアンタイアリアス（anti -alias）フィルタリング、補間、及び間引きを行う任意の再サンプリング処理である。本発明の共通の譲受人から商業的に入手可能であるＣＡＴオーディオ装置により利用される方法は適しており且つＰＣで動作する。再サンプリングの他の方法も知られている。後に、新パケットのシーケンス数が以前に受信したパケットのシーケンス数と比較される。もし二つのシーケンス数間にギャップがあれば（ステップ１０４）、ギャップが満たされる（ステップ１０６）。ギャップを満たす一つの方法は以下の通りである：ギャップの各側部に接するフレームは複製され且つ欠落パケット又はパケットの他のフレームはサイレンスで満たされる。かくして、二つの受信したパケットがフレームＰ１，Ｐ２，Ｐ３及びＰ４，Ｐ５，Ｐ６を順番に持ち、且つ一つのパケットが欠落しているならば、結果として列は：Ｐ１，Ｐ２，Ｐ３，Ｐ３，サイレンス，Ｐ４，Ｐ４，Ｐ５，Ｐ６となる。ギャップを満たす他の方法は可能である。ステップ１００−１０６はパケットハンドラ５０の動作を形成する。パケットが欠落していなくても、ステップＳ１０８では、受信機３７は再生バッファに記憶されるデータの現在量ＤＡＴＡＡＭＯＵＮＴを決定する。データの現在量ＤＡＴＡＡＭＯＵＮＴはオーディオサンプルの到着とオーディオサンプルがオーディオ装置１５により再生される時間との間の遅延を示し、且つ再生バッファ１５によってユーザに対して送られるデータ量と再生バッファ１４が利用したデータ量との間の差として定義される。式のフォーマットでは： DATA AMOUNT=AMOUNT SENT-AMOUNT RETURNED (1) 代表的には、送られる量及び戻される量はスピーチバーストの進行について連続的に計算される。ＤＡＴＡＡＭＯＵＮＴは時間（代表的に２秒）の移動ウィンドウについて計算され且つかくして、瞬時値というよりもむしろ、平均値である。ステップ１１０において、受信機３７は、データの現在量ＤＡＴＡＡＭＯＵＮＴが０（すなわち再生バッファ１５が空である）であるかを決定する。もしその現在量が０以上であれば、ステップ１１４が行われる。もしそうでなければ、ステップＳ１１２が行われる。フルネス調整部５２の動作にもかかわらず、再生バッファ１５が空だったならば、ネットワークジッタが悪くなったか又はスピーチバーストが終わったかを示す。可能な増大ジッタを補償するためにフルネス設定ユニット５１は予め規定される量だけ、例えば１０％だけフルネスレベルを増大させる。同時に、フルネス設定ユニット５１は、ステップ１１２で、少なくとも現在所望フルネスレベルの大きさのサイレンスブロックを送る。もし、代わりに、再生バッファが空でなかったら、フルネス調整部５２は動作する。ステップＳ１１４において、フルネス調整部５２は現在所望のフルネスが大きすぎるか否かを決定し且つステップ１１６において、データが再生バッファ１５に送られるべきデータを調整して所望フルネスレベルを達成する。現在所望フルネスレベルは再生バッファ１５が空に近づくときは何時も増大し（ステップ１１２において）、且つ最後の所定長さ時間中、例えば１０秒間、ギャップがなかったときは何時も減少する（ステップ１１４において）。もし最後の、つまり１０秒間の最小限の現在データ量ＤＡＴＡＡＭＯＵＮＴが特別のオーディオ装置１４に考慮される最小限よりも大きくなるならば、所望フルネスレベルは最小限の許容データ量（特別のオーディオ装置１４に対して）と最後、つまり１０秒間の最小限のＤＡＴＡＡＭＯＵＮＴとの間の平均値に設定される。ギャップが発生する原因とならないならばレベルを減少させる所望フルネスレベルを減少させる任意の他の機能が妥当であることが理解される。ステップ１１６において、現在データ量ＤＡＴＡＡＭＯＵＮＴと所望フルネスレベルとの間の差が決定される。差が数秒のデータで又は数ブロックのデータで測定される。再生バッファ１５に送られるデータは差ができるだけゼロに近づくように強制的に処理される。処理は差がどの程度大きいかという機能としてオーディオサンプルを加え又は除去することに関与する。正の差は（つまり現在データ量が所望フルネスレベルよりも大きい）、入力割合が再生割合よりも高いことを示す。したがって、オーディオサンプルのいくつかは除去されるべきである。負の差はオーディオサンプルの加算を要求する。オーディオ装置の各型に対して、受信機３７は加算しまた除去する機能を規定するルックアップテーブル（ＬＵＴ）を有する。下記テーブルはサウンドブラスタ（Soundblaster）オーディオ装置に対して有益である：ここに＋１及び−１はフレームの加算及び除去を示し且つ「Ｘに」はＸフレーム毎に対してを意味する。欠落パケットに起因して人為的に加えられたフレームがあるとき（ステップ１０６において）、人為的に加えられるフレームは除去されるべきものとして選択される。フレームが加えられるとき、加えられるフレームはこれに隣接するフレームのコピーである。図５に示されないけれど、差がゼロに近くなるまで特別の複写量が維持される。その点で、複写量は変化する。さらに、複写又は除去が発生しているとき、現在データ量を決定するウィンドウの大きさは、例えば５００ミリ秒までに、減少する。一旦処理が終了すると、パケットデータが再生バッファ１５に送られ（ステップ１１８）且つ処理が次のパケットに対して繰り返す。下記疑似コードがステップＳ１１６の複写／除去機構の動作を詳細化する：ステップ１１６に対する疑似コード：本発明が以上に特に示され且つ説明されたものに限定されないということは当業者により理解されるであろう。むしろ本発明の範囲は以下に続く請求の範囲により規定される：

【手続補正書】特許法第１８４条の８第１項【提出日】１９９６年１２月２日【補正内容】請求の範囲１．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間のオーディオトランシーバにおいて、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信する手段；ｂ．前記オーディオ装置の再生バッファが空になるときは何時も前記再生バッファに少なくともサイレンスフレームを転送して調整可能なフルネスレベルまで前記再生バッファを満たすフルネス設定手段；ｃ．再生バッファのフルネスレベルを制御し、現在フルネスレベルと所望フルネスレベルとの間の差が実質的にゼロになるまで少なくとも一つのフレームを複写し又は除去するように動作するフルネス調整手段とを備えるオーディオトランシーバ。２．ａ．前記オーディオパケットのすべてにシーケンス及びあて先を付ける手段；ｂ．前記ネットワークを経由して前記オーディオパケットを転送する手段を具備する請求項１に記載のトランシーバ。３．少なくとも前記受信したオーディオパケットの一部を記憶し且つ音響しきいレベルに到達した後に受信したオーディオパケットと共に前記記憶したオーディオパケットを、前記音響しきいレベルに到達した後に、送る音声検出手段を具備する請求項１に記載のトランシーバ。４．前記パケットデータネットワークは私設ネットワークである請求項１に記載のトランシーバ。５．前記パケットデータネットワークは公衆ネットワークである請求項１に記載のトランシーバ。６．前記フルネス設定手段は前記調整可能なフルネスレベルを増大させる手段を具備し且つ前記フルネス調整手段は前記調整可能なフルネスレベルの現在値まで前記再生バッファを満たすように前記調整可能なフルネスレベルを減少させる手段と前記オーディオパケット内でオーディオデータを処理する手段とを具備する請求項１に記載のトランシーバ。７．前記処理手段は時間の所定ウィンドウ中に前記再生バッファのデータ量を決定する手段を具備する請求項６に記載のトランシーバ。８．前記処理手段は現在データ量が前記調整可能なフルネスレベルの前記現在値よりも少ないか又は多いか否かの機能として前記オーディオデータの部分を加算し且つ除去する手段を具備する請求項６に記載のトランシーバ。９．前記加算及び除去手段は前記現在データ量画前記調整可能なレベルの前記現在値に届くまでオーディオデータの前記部分の大きさを維持する手段を具備する請求項８に記載のトランシーバ。１０．前記受信手段はさらにギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出される手段を具備する請求項１に記載のトランシーバ。１１．前記受信手段はさらに前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入する手段を具備する請求項１０に記載のトランシーバ。１２．前記フルネス調整手段は前記ギャップに起因して前記受信手段により複製されるフレームのうち少なくと一つのフレームを除去する請求項１０に記載のトランシーバ。１３．前記フルネス調整手段は前記ギャップに起因して前記受信手段により複製されないフレームのうち少なくと一つのフレームを複製する請求項１０に記載のトランシーバ。１４．前記調整可能なフルネスレベルが前記再生バッファの大きさの変化にしたがって決定される請求項１０に記載のトランシーバ。１５．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間でオーディオデータを送信し且つ受信する方法において、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信し；ｂ．前記オーディオ装置の再生バッファが空になるときは何時も前記再生バッファに少なくともサイレンスフレームを転送して調整可能なフルネスレベルまで前記再生バッファを満たし；ｃ．再生バッファのフルネスレベルを制御し、前記制御が現在フルネスレベルと所望フルネスレベルとの間の差が実質的にゼロになるまで少なくとも一つのフレームを複写し又は除去するステップを備える方法。１６．ａ．前記オーディオパケットのすべてにシーケンス及びあて先を付け；ｂ．前記ネットワークを経由して前記オーディオパケットを転送するステップを備える請求項１５に記載の方法。１７．少なくとも前記受信したオーディオパケットの一部を記憶し且つ音響しきいレベルに到達した後に受信したオーディオパケットと共に前記記憶したオーディオパケットを、前記音響しきいレベルに到達した後に、送るステップを備える請求項１５に記載の方法。１８．前記パケットデータネットワークは私設ネットワークである請求項１５に記載の方法。１９．前記パケットデータネットワークは公衆ネットワークである請求項１５に記載の方法。２０．前記転送ステップが前記調整可能なフルネスレベルを増大させるステップを備え且つ前記制御ステップは前記調整可能なフルネスレベルの現在値まで前記再生バッファを満たすように前記調整可能なフルネスレベルを減少させ且つ前記オーディオパケット内でオーディオデータを処理するステップを備える請求項１５に記載の方法。２１．前記処理ステップは時間の所定ウィンドウ中に前記再生バッファのデータ量を決定するステップを備える請求項２０に記載の方法。２２．前記処理ステップは現在データ量が前記調整可能なフルネスレベルの前記現在値よりも少ないか又は多いか否かの機能として前記オーディオデータの部分を加算し且つ除去するステップを具備する請求項２０に記載の方法。２３．前記加算及び除去ステップは前記現在データ量画前記調整可能なレベルの前記現在値に届くまでオーディオデータの前記部分の大きさを維持するステップを備える請求項２２に記載の方法。２４．前記受信手はさらにギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出されてなる請求項２０に記載の方法。２５．前記受信はさらに前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入してなる請求項２４に記載の方法。２６．前記制御は前記ギャップに起因して前記受信ステップで複製されるフレームのうち少なくと一つのフレームを除去してなる請求項２４に記載の方法。２７．前記制御はは前記ギャップに起因して前記受信手段により複製されないフレームのうち少なくと一つのフレームを複製する請求項２４に記載の方法。２８．前記調整可能なフルネスレベルが前記再生バッファの大きさの変化にしたがって決定される請求項２０に記載の方法。２９．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間のオーディオトランシーバにおいて、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信する手段；ｂ．ギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出される手段を備えるオーディオトランシーバ。３０．前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入する手段を具備する請求項２９に記載のオーディオトランシーバ。３１．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間でデータを送信する方法において、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信し；ｂ．ギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出されてなる方法。３２．前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入してなる請求項３１に記載の方法。【手続補正書】特許法第１８４条の８第１項【提出日】１９９７年２月２０日【補正内容】請求の範囲３３．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間のオーディオトランシーバにおいて、ａ．オーディオパケットのストリームを前記パケットデータネットワークから受信する手段；ｂ．音響しきいレベルに到達する前に受信した少なくともオーディオパケットの一部を記憶し且つ音響しきいレベルに到達した後に受信したオーディオパケットと共に前記記憶したオーディオパケットを、前記音響しきいレベルに到達した後に、送る音声検出手段を具備するオーディオトランシーバ。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ

Claims

【特許請求の範囲】１．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間のオーディオトランシーバにおいて、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信する手段；ｂ．前記オーディオ装置の再生バッファが空になるときは何時も前記再生バッファに少なくともサイレンスフレームを転送して調整可能なフルネスレベルまで前記再生バッファを満たすフルネス設定手段；ｃ．再生バッファのフルネスレベルを制御し、現在フルネスレベルと所望フルネスレベルとの間の差が実質的にゼロになるまで少なくとも一つのフレームを複写し又は除去するように動作するフルネス調整手段とを備えるオーディオトランシーバ。２．ａ．前記オーディオパケットのすべてにシーケンス及びあて先を付ける手段；ｂ．前記ネットワークを経由して前記オーディオパケットを転送する手段を具備する請求項１に記載のトランシーバ。３．少なくとも前記受信したオーディオパケットの一部を記憶し且つ音響しきいレベルに到達した後に受信したオーディオパケットと共に前記記憶したオーディオパケットを、前記音響しきいレベルに到達した後に、送る音声検出手段を具備する請求項１又は２に記載のトランシーバ。４．前記パケットデータネットワークは私設ネットワークである請求項１乃至３のいずれか一つに記載のトランシーバ。５．前記パケットデータネットワークは公衆ネットワークである請求項１乃至３のいずれか一つに記載のトランシーバ。６．前記フルネス設定手段は前記調整可能なフルネスレベルを増大させる手段を具備し且つ前記フルネス調整手段は前記調整可能なフルネスレベルの現在値まで前記再生バッファを満たすように前記調整可能なフルネスレベルを減少させる手段と前記オーディオパケット内でオーディオデータを処理する手段とを具備する請求項１乃至６のいずれか一つに記載のトランシーバ。７．前記処理手段は時間の所定ウィンドウ中に前記再生バッファのデータ量を決定する手段を具備する請求項６に記載のトランシーバ。８．前記処理手段は現在データ量が前記調整可能なフルネスレベルの前記現在値よりも少ないか又は多いか否かの機能として前記オーディオデータの部分を加算し且つ除去する手段を具備する請求項６又は７に記載のトランシーバ。９．前記加算及び除去手段は前記現在データ量画前記調整可能なレベルの前記現在値に届くまでオーディオデータの前記部分の大きさを維持する手段を具備する請求項８に記載のトランシーバ。１０．前記受信手段はさらにギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出される手段を具備する請求項１乃至１０のいずれか一つに記載のトランシーバ。１１．前記受信手段はさらに前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入する手段を具備する請求項１０に記載のトランシーバ。１２．前記フルネス調整手段は前記ギャップに起因して前記受信手段により複製されるフレームのうち少なくと一つのフレームを除去する請求項１０又は１１に記載のトランシーバ。１３．前記フルネス調整手段は前記ギャップに起因して前記受信手段により複製されないフレームのうち少なくと一つのフレームを複製する請求項１０乃至１２のいずれか一つに記載のトランシーバ。１４．前記調整可能なフルネスレベルが前記再生バッファの大きさの変化にしたがって決定される請求項１０乃至１２のいずれか一つに記載のトランシーバ。１５．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間でオーディオデータを送信し且つ受信する方法において、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信し；ｂ．前記オーディオ装置の再生バッファが空になるときは何時も前記再生バッファに少なくともサイレンスフレームを転送して調整可能なフルネスレベルまで前記再生バッファを満たし；ｃ．再生バッファのフルネスレベルを制御し、前記制御が現在フルネスレベルと所望フルネスレベルとの間の差が実質的にゼロになるまで少なくとも一つのフレームを複写し又は除去するステップを備える方法。１６．ａ．前記オーディオパケットのすべてにシーケンス及びあて先を付け；ｂ．前記ネットワークを経由して前記オーディオパケットを転送するステップを備える請求項１５に記載の方法。１７．少なくとも前記受信したオーディオパケットの一部を記憶し且つ音響しきいレベルに到達した後に受信したオーディオパケットと共に前記記憶したオーディオパケットを、前記音響しきいレベルに到達した後に、送るステップを備える請求項１５又は１６に記載の方法。１８．前記パケットデータネットワークは私設ネットワークである請求項１０乃至１７のいずれか一つに記載の方法。１９．前記パケットデータネットワークは公衆ネットワークである請求項１０乃至１７のいずれか一つに記載の方法。２０．前記転送ステップが前記調整可能なフルネスレベルを増大させるステップを備え且つ前記制御ステップは前記調整可能なフルネスレベルの現在値まで前記再生バッファを満たすように前記調整可能なフルネスレベルを減少させ且つ前記オーディオパケット内でオーディオデータを処理するステップを備える請求項１０乃至１９のいずれか一つに記載の方法。２１．前記処理ステップは時間の所定ウィンドウ中に前記再生バッファのデータ量を決定するステップを備える請求項２０に記載の方法。２２．前記処理ステップは現在データ量が前記調整可能なフルネスレベルの前記現在値よりも少ないか又は多いか否かの機能として前記オーディオデータの部分を加算し且つ除去するステップを具備する請求項２０又は２１に記載の方法。２３．前記加算及び除去ステップは前記現在データ量画前記調整可能なレベルの前記現在値に届くまでオーディオデータの前記部分の大きさを維持するステップを備える請求項２２に記載の方法。２４．前記受信手はさらにギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出されてなる請求項２０乃至２３のいずれか一つに記載の方法。２５．前記受信はさらに前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入してなる請求項２４に記載の方法。２６．前記制御は前記ギャップに起因して前記受信ステップで複製されるフレームのうち少なくと一つのフレームを除去してなる請求項２４又は２５に記載の方法。２７．前記制御はは前記ギャップに起因して前記受信手段により複製されないフレームのうち少なくと一つのフレームを複製する請求項２４乃至２６のいずれか一つに記載の方法。２８．前記調整可能なフルネスレベルが前記再生バッファの大きさの変化にしたがって決定される請求項２０乃至２７のいずれか一つに記載の方法。２９．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間のオーディオトランシーバにおいて、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信する手段；ｂ．ギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出される手段を備えるオーディオトランシーバ。３０．前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入する手段を具備する請求項２９に記載のオーディオトランシーバ。３１．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間でデータを送信する方法において、ａ．シーケンス付きオーディオパケットのストリームを前記パケットデータネットワークから受信し；ｂ．ギャップに接する二つのパケットの少なくとも一つのフレームを複写し、前記二つの隣接パケットのシーケンス数が連続的でないときは何時も前記ギャップが検出されてなる方法。３２．前記複写フレーム間に少なくとも一つのサイレンスフレームを挿入してなる請求項３１に記載の方法。３３．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間のオーディオトランシーバにおいて、ａ．オーディオパケットのストリームを前記パケットデータネットワークから受信する手段；ｂ．音響しきいレベルに到達する前に受信した少なくともオーディオパケットの一部を記憶し且つ音響しきいレベルに到達した後に受信したオーディオパケットと共に前記記憶したオーディオパケットを、前記音響しきいレベルに到達した後に、送る音声検出手段を具備するオーディオトランシーバ。３４．パーソナルコンピュータのオーディオ装置とパケットデータネットワークとの間でオーディオデータを送信し且つ受信する方法において、ａ．オーディオパケットのシーケンスを前記パケットデータネットワークから受信し；ｂ．音響しきいレベルに到達する前に受信した少なくともオーディオパケットの一部を記憶し；ｃ．音響しきいレベルに到達した後に受信したオーディオパケットと共に前記記憶したオーディオパケットを、前記音響しきいレベルに到達した後に、送るステップを備える方法。