JP4782973B2 - オーディオおよびビデオ信号の同期化 - Google Patents

Description

【０００１】
本発明の背景および従来技術
本発明は、一般的に、符号化オーディオおよびビデオ情報の伝送に関する。さらに詳細には、本発明は、本明細書の請求項１および９に記載の、受信オーディオ／ビデオメッセージストリームにおける、符号化ビデオ信号に対する符号化オーディオ信号の適応的タイムシフトに関する。また、本発明は、請求項１４に記載のリアルタイムオーディオおよびビデオ情報の伝送用システムにも関する。
【０００２】
オーディオおよびビデオ情報が共同して提供されるとき、つまり、対応するオーディオ信号と共に動画が放送されるとき、当該放送が人間の感覚に受入れられるためにオーディオ情報とビデオ情報の間にある程度の同時性が求められる。例えば、特定の視覚的事象の観察から推測可能な音は、このような画像情報の表示と時間的な同時性を有する必要がある。典型的には、話者の唇の動きが話者の声の再生と少なくとも相対的に一致している必要がある。しかし、人間の知覚は、オーディオ情報と、対応する視覚事象との間のごくわずかな狂いを識別することはできない。よって、その狂いが十分に小さい場合、人間に知覚されることなく、オーディオ情報はビデオ情報よりわずかに早く、または遅れて提供されてよい。実験では、８０ｍｓ未満のワンウェイ・スキューは感知できず、１５０ｍｓ未満のワンウェイ・スキューは一般的に許容範囲内であることを示した。
【０００３】
しかし、オーディオ信号および対応するビデオ信号が、信号間に４００ｍｓ以上の偏差がある状態で放送される場合、当該放送は、非常に低品質であると知覚される。残念ながら、基本速度１２８ｋｂｐｓのＩＳＤＮで動作する今日のビデオ会議システムのほとんどのビデオ遅延は、４００ｍｓのオーダーである（ＩＳＤＮとは、Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋである）。
【０００４】
ＧＳＭでは、オーディオ遅延は、約９０ｍｓである（ＧＳＭとは、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎである）。音声信号をＧＳＭによって伝送し、対応するビデオ信号を１２８ｋｂｐｓビデオ会議システムを用いて送信する解決手法では、オーディオ信号とビデオ信号との間に８０ｍｓ以下の偏差を維持するためにオーディオ信号に２３０ｍｓから３９０ｍｓの遅延を加えなければならない。オーディオ信号は、サンプリングされて通常２０ｍｓ間隔で符号化オーディオフレームに供給されるディジタル符号化信号に変換されるので、オーディオ信号の遅延を発生させるクロック信号は非常に高精度でなければならない。
【０００５】
特許文献ＥＰ，Ａ１，０ ５７７ ２１６は、放送される音声信号を関連する話者の唇の動きと一致させるように、受信データの遅延を一定にするためにＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ／Ｆｉｒｓｔ Ｏｕｔ）バッファを使用するオーディオ／ビデオ−インターフェースを記載している。所望の遅延間隔に対応する上限および下限しきい値の範囲を規定するバッファセンタリング信号に応じてＦＩＦＯバッファの蓄積量を制御する。バッファの蓄積量が下限しきい値より小さくなる場合、データが十分に遅延するまで同じデータ成分が繰返し読み出される。しかし、バッファの蓄積が上限しきい値レベルより大きくなる場合、遅延が所望のレベルに低下するまで以前に格納されたデータ成分の代わりに新しいデータ成分が上書きされる。
【０００６】
受信オーディオ信号と受信ビデオ信号間に一定の遅延を維持する別の方法および構成がＥＰ，Ａ１，０ ５９８ ２９５に記載されている。ここでは、信号に特定の遅延を達成するために、オーディオ信号のサンプルがバッファメモリに一時的に格納される。バッファメモリに格納されたオーディオサンプル数がビデオ信号のｎ番目のフィード毎に検出される。この数が指定値に到達すれば、ｎ個のビデオフィールドの間隔で到来する検査地点での、格納されたオーディオサンプル数が一定に維持されるよう、バッファメモリの読出しまたは書き込みアドレスをプリセットする。
【０００７】
米国特許６ １０４ ７０６号は、オーディオ、ビデオ、および、可能であれば他種のデータを、特定の優先順位を各パケットに割当てるパケットデータストリームに時間多重するという解決法を開示している。当該パケットデータストリームは、ほぼ優先順に伝送される。オーディオパケットには最高の優先順位が与えられ、次にビデオパケットが続く。他形式のデータを含むパケットは、最低の優先順位が与えられる。通信システムにおける予測平均システム遅延に等しい遅延時間を与えるＦＩＦＯバッファにおいて受信オーディオパケットの再生を遅らせることにより、受信機側で連続的なリアルタイムオーディオ再生が維持される。送信者と受信者の間の時間差を縮小または拡大すべくオーディオの再生を減速または加速する。
【０００８】
特許文献ＥＰ，Ａ１， ０ ５７７ ２１６は、オーディオチャネルのプログラマブル遅延回路を用いて、話者の唇の動きと対応する音声情報との間の同時性を達成する半自動式システムを記載している。ビデオチャネルで放映される映像の、サウンドに対応する動きが起こるエリアが手動で規定される。規定エリアに対して運動ベクトルが生成され、オーディオチャネルレベルと相関させてビデオおよびオーディオチャネル間の時間差を決定する。関連ビデオ情報と並行して音声信号を放送することができるように、プログラマブル遅延回路を制御してこの遅延を補正する。
【０００９】
上述した全ての文献は、オーディオ信号の多様な遅延に言及している。しかし、コンピュータのシステムリソースを用いて遅延を発生させている場合、周知の方法を用いて知覚的に満足のいく結果を得ることは非常に困難である。実際、非リアルタイム動作システムを有するコンピュータは、割当てられたシステムリソースの十分な精度を維持し、人間の知覚により感じ得る程度の偏差範囲内で遅延オーディオ信号をビデオ信号と時間的に整合させることができない。もちろん、このようなコンピュータで、こういった信号間の偏差を人間の感覚で気づき得る程度以下に縮小することは同様に不可能である。
【００１０】
発明の要旨
したがって、本発明の目的は、受信ビデオ信号に対して受信オーディオ信号を遅延させることにより上記問題を軽減することであり、またそれを対応する信号間に所望の時間的整合を維持するのに十分安定して行うことである。
【００１１】
本発明の第１様態によれば、本目的は、冒頭で述べたような、受信オーディオ／ビデオメッセージストリームにおいて、符号化ビデオ信号に対して符号化オーディオ信号を適応的にタイムシフトする方法により達成される。当該方法は、符号化オーディオ信号に所望される遅延と、符号化オーディオ信号のフレーム間隔との比率に対して隣接する２つの整数のうちの１つとして、フレーム遅延数をまず計算することを特徴とする。次いで、適合するビデオフレームを復号化する前に、フレーム遅延数と同数のオーディオフレームを順次格納する。その後適合するビデオフレームを復号化し、格納されたオーディオフレームを一連の格納順で復号化する。メッセージストリームの残りのオーディオフレームおよびビデオフレームのいずれに対しても、当該ストリームが終了するまで、これらのステップを繰り返す。
【００１２】
本発明の第２様態によれば、本目的は、コンピュータ上で動作させたときに本発明の第１様態の方法を実施するソフトウェアを具備する、コンピュータの内部メモリに直接ロードできるコンピュータプログラムにより達成される。
【００１３】
本発明の第３様態によれば、本目的は、本発明の第１様態の方法をコンピュータに実施させるプログラムが記録される、コンピュータが読込み可能な媒体により達成される。
【００１４】
本発明の第４様態によれば、本目的は、冒頭で述べたような、受信オーディオ／ビデオメッセージストリームにおいて符号化ビデオ信号に対し符号化オーディオ信号を適応的にタイムシフトする装置により達成される。当該装置は、双方とも受信オーディオフレームを順次格納する第１および第２バッファと、コントローラとを具備することを特徴とする。適用可能なシステム規格および／または当該装置が動作する伝送プロトコルに応じて、送信機は特定の速度でオーディオフレームを生成する。当該コントローラは、連続した２つのオーディオフレーム間のタイムスパンを表す第１フレーム間隔値の形式で、このパラメータに関する情報を内部に格納する。該コントローラは、受信オーディオフレームと受信ビデオフレームのタイミング指標から、所望の遅延値を取り出し、格納する。所望の遅延値とは、復号化オーディオおよびビデオ信号を最大偏差の範囲内で時間的に整合させるために、オーディオフレームに必要な遅延を表す。当該コントローラは、所望の遅延値と第１フレーム間隔値との比率に対して隣接する２つの整数のうちの１つとしてフレーム遅延数を計算する。さらに、当該コントローラは、遅延数オーディオフレームを第２バッファから読み出す間に遅延数オーディオフレームを第１バッファに格納することと、遅延数オーディオフレームを第１バッファから読出す間に遅延数オーディオフレームを第２バッファに格納することとを交互に制御し、それにより、遅延数とオーディオフレーム間隔の積に相当する時間を遅延させたオーディオフレームが前記バッファから読み出されるようにする。
【００１５】
本発明の第５様態によれば、本目的は、伝送媒体を介して送信局から受信局へのリアルタイムオーディオおよびビデオ情報の伝送を行うシステムにより達成される。当該送信局は、オーディオ情報をオーディオフレームに符号化するオーディオ符号化ユニット、ビデオ情報をビデオフレームに符号化するビデオ符号化ユニット、およびオーディオフレームとビデオフレームをオーディオ／ビデオメッセージストリームに結合させるマルチプレクサを具備する。このメッセージストリームは、送信媒体を介して受信局に送信される。第１に、受信局は、本発明の第４様態による装置を具備する。受信局はまた、受信オーディオフレームからオーディオ信号を抽出するオーディオ復号ユニットと、受信ビデオフレームからビデオ信号を抽出するビデオ復号ユニットとを具備する。
【００１６】
本発明が提案する、受信オーディオ／ビデオメッセージストリームにおける符号化ビデオ信号に対応する符号化オーディオ信号の適応的タイムシフトは非常に精確であり、よって、符号化オーディオ信号と符号化ビデオ信号間の偏差が１つのオーディオフレームの時間間隔を超えることはない。これらの間隔は常に非常に短いので、人間の感覚が受け入れることができるオーディオおよびビデオ信号の時間的な整合を提供することができる。ほとんどの場合、人間がオーディオおよびビデオ信号間のシフトを識別することは不可能である。
【００１７】
また、本発明による解決法は、比較的実行が容易であり、比較的低処理能力で済む。さらに、遅延間隔中に前記処理を実行するコンピュータの中央演算処理装置がブロックされることはない。
【００１８】
最後に、本発明は、状況に応じて遅延値を実行モードで適応的に調整することを容易にする。
【００１９】
添付図と添付付録を参照して、実施例として開示された好ましい実施形態を用いて本発明をさらに詳細に説明する。添付付録は、本発明の実施形態による方法を実施するコンピュータプログラムの一覧表を含む。
【００２０】
本発明の好ましい実施形態
図１Ａは、第１フレーム間隔Ｔ_ａ＝２０ｍｓで符号化オーディオ情報を含むオーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）を伝送する時系列を示している。よって、第１オーディオフレームＦ_ａ（１）はｔ＝０で送信され、次に、別のオーディオフレーム等が２０ｍｓ遅れて続き、それが繰り返されている。
【００２１】
図１Ｂは、図１のオーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）に含まれるオーディオ情報に対応する符号化ビデオ情報を含むビデオフレームＦ_ｖ（１）−Ｆ_ｖ（３）の時系列を示している。当該ビデオフレームＦ_ｖ（１）−Ｆ_ｖ（３）は、通常第１フレーム間隔Ｔ_ａより長い第２フレーム間隔で伝送される。ほとんどの実施形態においてこれが当てはまるとしても、少なくとも理論的には逆の関係も考えられる。
【００２２】
この実施例では、第１ビデオフレームＦ_ｖ（１）は、第１オーディオフレームＦ_ａ（１）より９０ｍｓ遅れて受信機に到達する。よって、オーディオフレームの復号時間がビデオフレームの復号時間と等しいと仮定すると、復号化オーディオ信号を復号化ビデオ信号と時間的に整列させるために、前記受信オーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）を９０ｍｓ遅延させなければならない。従って、受信オーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）に所望される遅延Ｄ_ｄは９０ｍｓである。しかし、オーディオ情報とビデオ情報との偏差が特定の値Δ_ｍａｘ未満、例えば約８０ｍｓである場合、人間の知覚がそのような偏差を識別することはできない。よって、オーディオ信号とビデオ信号間の偏差の大きさが、所望される遅延Ｄ_ｄの最大値Δ_ｍａｘ以内であれば許容範囲内である。
【００２３】
オーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）は、各フレームＦ_ａ（１）−Ｆ_ａ（１４）の受信からＤ_ｄ±Δ_ｍａｘ後にオーディオデコーダに到達するように遅延されるべきである。第１フレーム間隔Ｔ_ａがΔ_ｍａｘ未満であると仮定すると、実際のオーディオフレームの遅延が所望の遅延Ｄ_ｄの第１フレーム間隔Ｔ_ａ１個分の範囲内となればそれで十分となる。第１フレーム間隔Ｔ_ａに対する共通の値は、今日使用されているオーディオ符号化システムでは２０−３０ｍｓのオーダーであるので、これは実際に安全な前提条件である。
【００２４】
本発明によれば、オーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）の遅延は整数個のオーディオフレーム間隔で表される。さらに正確には、フレーム遅延数ｎ_Ｄは、所望の遅延Ｄ_ｄと第１フレーム間隔Ｔ_ａとの比率に対して隣接する２つの整数の１つとして計算される。これは、数学的に以下のように表すこともできる。

【００２５】
図１Ｃは、図１ＡのオーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）を、上式（１）に従って計算された第１遅延数ｎ’_Ｄと第１フレーム間隔との積に相当する第１時間ｎ’_ＤＴ_ａ遅延させた時系列を示している。つまり、ｎ’_Ｄ＝ｉｎｔ（９０／２０）＝４であり、第１遅延時間ｎ’_ＤＴ_ａ＝４×２０ｍｓ＝８０ｍｓである。
【００２６】
図１Ｄは、図１ＡのオーディオフレームＦ_ａ（１）−Ｆ_ａ（１４）を、代わりに、式（２）に従って計算された第２遅延数ｎ’’_Ｄと第１フレーム間隔との積に相当する第２時間ｎ’’_ＤＴ_ａ遅延させた時系列を示している。つまり、ｎ’’_Ｄ＝ｉｎｔ（９０／２０）＋１＝５であり、第２遅延時間ｎ’’_ＤＴ_ａ＝５×２０ｍｓ＝１００ｍｓである。
【００２７】
第１の遅延時間ｎ’_ＤＴ_ａおよび第２の遅延時間ｎ’’_ＤＴ_ａは、双方とも所望の遅延Ｄ_ｄ＝９０ｍｓとの偏差（１０ｍｓ）を有するが、それは十分に最大偏差値Δ_ｍａｘ（約８０ｍｓ）以下である。実際には、提起された解決法により、時間間隔の最大偏差Δ_ｍａｘが第１フレーム間隔Ｔ_ａ＝２０ｍｓと等しくなる。これは、人間の知覚により識別可能な値よりはるかに小さい値である。
【００２８】
図１Ａから１Ｄに示した例示的方法が、フローチャートを用いて図２に概略的に示されている。第１ステップ２００において、オーディオ／ビデオメッセージストリームを構成するオーディオフレームおよびビデオフレームが受信される。次のステップ２０５は、前のステップ２００で受信したフレームからタイミング情報を抽出する。オーディオ／ビデオフレームは、リアルタイムトランスポートプロトコル（ＲＴＰ(Real Time Transport Protocol)）といった復元の時期を定めるサポートを行うトランスポートプロトコルで伝送されると仮定する。このプロトコルは、特定のフレームが生成された時点を示す各フレームにタイムスタンプを割当てる。よって、タイムスタンプを調査することにより、一緒に放送されるべきオーディーオおよびビデオフレームの組み合わせを決定し、対応する信号の時間的整合(Time alignment)を達成することができる。通常、受信したオーディオ／ビデオメッセージストリームにおけるフレームのタイムスタンプは、受信ビデオフレームに対して受信オーディオフレームをどの程度遅延させることが望ましいかを特定する。所望の遅延は、図１Ｃおよび図１Ｄに関して記載した上記方程式（１）および（２）に従って対応するフレーム遅延数ｎ_Ｄに変換される。ＲＴＰでは、タイムスタンプは３２ビットを含み、初期値はランダムに設定される。タイムスタンプ値とこの初期値との差は、特定フレームの時間的位置（または時期）を示している。もちろん、フレームのタイミング情報を独自に示す他のいかなる方法も本発明による方法で同様に適用できる。
【００２９】
次のステップ２１０は、適合するビデオフレームを復号する前に、フレーム遅延数ｎ_Ｄに等しい数の受信オーディオフレームを格納する。その後のステップ２１５は、適合するビデオフレーム、つまり、タイムスタンプが格納されたｎ_Ｄ個のオーディオフレームのタイムスタンプとほぼ一致するビデオフレーム、を復号する。実際、これは、オーディオフレームがビデオフレームよりわずかに高いおよび／または低い値を有するタイムスタンプを有してもよいことを意味する。次のステップ２２０は、格納されたｎ_Ｄ個のオーディオフレームを復号する。最後に、ステップ２２５は、オーディオ／ビデオメッセージストリームが終了したかを問い、終了した場合は、処理も終了する。そうでない場合、処理は第１ステップ２００に戻る。
【００３０】
図３は、本発明による装置３００およびシステムの実施形態のブロック図を示している。当該システムは、送信局、伝送媒体および受信局を含む。当該受信局は、対応する復号化オーディオ信号および復号化ビデオ信号が最大偏差の範囲内で時間的に整列するように、受信オーディオ／ビデオメッセージストリームにおける符号化ビデオ信号に対応する符号化オーディオ信号の適応的タイムシフトを行う装置を結果的に含む。
【００３１】
音響および動画情報は、送信局で生成されマイクロフォン３０１およびビデオカメラ３０２により記録される。音響情報を形成するオーディオ信号は、マイクロフォン３０１からオーディオ符号化ユニット３０３に転送される。該オーディオ符号化ユニットは、信号をサンプリングし、サンプルをディジタル符号形式に変換し、第１フレーム間隔でマルチプレクサ３０５に供給されるオーディオフレームＦ_ａを形成する。同様に、動画情報を表すビデオ信号は、ビデオカメラ３０２からビデオ符号化ユニット３０４に転送される。該ビデオ符号化ユニットは、信号をサンプリングし、サンプルをディジタル符号形式に変換し、第２フレーム間隔でマルチプレクサ３０５に供給されるビデオフレームＦ_ｖを形成する。
【００３２】
当該マルチプレクサ３０５は、オーディオフレームＦ_ａおよびビデオフレームＦ_ｖを、伝送媒体３０６を介して受信局に伝送されるオーディオ／ビデオメッセージストリームに結合させる。当該伝送媒体３０６は、通常インターネット上に割当てられる伝送リソースにより構成される。しかし、前記伝送媒体３０６は、固定、移動を問わず、任意の通信環境において設定された遅延属性および十分な帯域幅を有する任意の伝送リソースとすることができる。
【００３３】
受信局の装置３００は、オーディオ／ビデオメッセージストリームをデマルチプレクサ３０７に収集する。該デマルチプレクサは、前記ストリームをオーディオフレームＦ_ａおよびビデオフレームＦ_ｖに分離する。さらに、デマルチプレクサ３０７は、到来するオーディオフレームＦ_ａおよびビデオフレームＦ_ｖを時間順に配列する。これは、例えば、各フレームの発生時に送信側で各フレームに割当てられるフレームシーケンス番号に基づいて実施することができる。また、デマルチプレクサ３０７は、タイミング情報ｔｓ_ａ、ｔｓ_ｖを、受信フレームＦ_ａ、Ｆ_ｖから抽出し、この情報をコントローラ３１２に送信する。さらに、当該コントローラ３１２は、オーディオ符号化ユニット３０３から発生した２つの連続オーディオフレームＦ_ａ間の間隔Ｔ_ａを示す値を内部に格納する。受信フレームＦ_ａ、Ｆ_ｖに関連するタイミング情報ｔｓ_ａ、ｔｓ_ｖおよび間隔Ｔ_ａに基づき、コントロール３１２は、前述した方法に従って所望の遅延値Ｄ_ｄおよび対応する遅延数ｎ_Ｄを計算する。当該遅延数ｎ_Ｄの値により、コントローラ３１２はスイッチＡ、Ｂ、ＣおよびＤ並びに装置３００の他のユニットを制御する方法を決定し、よって本発明の本実施形態による方法を達成する。これについては、以下に図４を参照して詳述する。
【００３４】
オーディオフレームＦ_ａは、第１遅延スイッチＡを介して入力データ形成ユニット３０８に送られる。スイッチＡが第１の位置１に配置されると、オーディオフレームＦ_ａは、前記スイッチＡを介して入力データ形成ユニット３０８を通過することができ、そこでは到来したオーディオフレームＦ_ａが遅延バッファに順番に格納するのに適切なデータ構造に従って配列される。これは、例えば、オーディオフレームＦ_ａのデータサイズおよび／または構造を示す、第１群の変数から第２群の変数への転換を伴うことができる。しかし、第１遅延スイッチＡが第２の位置０に配置されると、到来するオーディオフレームは遅延は加えられずに（第２の位置０に配置された）第２遅延スイッチＤに送られ、その後、オーディオフレームＦ_ａはオーディオ復号化ユニット３１３に到達する。当該第１遅延スイッチＡおよび当該第２遅延スイッチＤは、双方共コントローラ３１２により制御され、計算された遅延数ｎ_Ｄがゼロであるときに、それぞれ第２の位置０に配置される。
【００３５】
だが、遅延数ｎ_Ｄが計算されてゼロより大きな値を持つ場合、コントローラ３１２は、第１遅延スイッチＡと第２遅延スイッチＤをそれぞれ第１の位置に配置する。これにより、到来するオーディオフレームＦ_ａが、入力データ形成ユニット３０８を介し、第２の位置０に初期配置される第１バッファスイッチＢに供給され、その結果オーディオフレームＦ_ａがＦＩＦＯ型（ＦＩＦＯ＝Ｆｉｒｓｔ ｉｎ／Ｆｉｒｓｔ Ｏｕｔ）の第１バッファ３０９に順番に入力されることとなる。同時に、以前に格納されたオーディオフレームＦ_ａが（存在する場合、）ＦＩＦＯ型の第２バッファ３１０から出力データ供給ユニット３１１を介してオーディオ復号化ユニット３１３に順番に読み出される。当該出力データ供給ユニット３１１は、復号に適切なデータ構造に従ってオーディオフレームＦ_ａを再配列する。これは、例えば、オーディオフレームＦ_ａのデータサイズおよび／または構造を示す、第２群の変数を第１群の変数に戻す転換を伴うことができる。新しいオーディオ／ビデオメッセージストリームの先頭部では第２バッファ３１０は空であり、これは最初の段階において、空のオーディオフレームＦ_ａであるゼロ信号が第２バッファ３１０から取り出されることを意味する。
【００３６】
遅延数ｎ_Ｄと同数のオーディオフレームＦ_ａが第１バッファ３０９に格納されると、コントローラ３１２は、第１バッファスイッチＢを第１の位置１に配置する。これと並行して、第２バッファスイッチＣが第２の位置０に配置される。次いで、オーディオフレームＦ_ａが替わって第２バッファ３１０に順番に供給される。同時に、以前の遅延間隔の間、第１バッファ３０９に格納されたオーディオフレームＦ_ａがこのバッファ３０９から読み出される。遅延数ｎ_Ｄ個のオーディオフレームＦ_ａが格納されると、コントローラ３１２は、バッファスイッチＢとＣの位置を再度切換える。第１バッファ３０９および第２バッファ３１０から読出して交互に格納を行う効果は、オーディオフレームＦ_ａが遅延数ｎ_Ｄと遅延速度間隔Ｔ_ａとの積に相当する分だけ遅延されてオーディオ復号化ユニット３１３に供給されるということである。
【００３７】
コントローラ３１２は、受信したオーディオフレームＦ_ａおよびビデオフレームＦ_ｖのタイミング情報ｔｓ_ａ、ｔｓ_ｖを連続的に登録し、それに基づいて更新された遅延数ｎ_Ｄを計算する。現在値より大きな遅延数ｎ_Ｄが計算される場合、バッファ３０９、３１０に格納されるオーディオフレームＦ_ａのシーケンスは長くなり、現在値より小さな遅延数ｎ_Ｄが計算される場合、バッファ３０９、３１０に格納されるオーディオフレームＦ_ａのシーケンスは反対に短くなる。
【００３８】
後者の場合、遅延数ｎ_Ｄの減少分と同数のオーディオフレームＦ_ａを廃棄する必要がある。これは、関連バッファから十分な数のダミーの読出しを実施して、対応するオーディオフレームＦ_ａを廃棄することにより達成できる。当然、ある遅延間隔から別の遅延間隔に移る瞬間にこのような廃棄を実行することができる。しかし、遅延数ｎ_Ｄの値が２以上減少する場合、高い値から低い値への移行を段階的に行うことにより、出力信号を知覚的に改善することができる。
【００３９】
図３は、バッファ３０９と３１０を２つの独立したユニットとして示している。当然、これは、バッファが単一のメモリ回路に含まれる構成を排除するものではなく、バッファが同じメモリエリアを有する独立した部分を構成することを排除するものでもない。
【００４０】
よって、コントローラ３１２が装置３００のスイッチＡ、Ｂ、ＣおよびＤを制御して、オーディオ復号化ユニット３１３に供給されるオーディオフレームＦ_ａと、ビデオ復号化ユニット３１５に供給されるビデオフレームＦ_ｖとを、第１フレーム間隔Ｔ_ａと同じ最大スキュー時間で時間的に整列する。その結果として、対応する復号化オーディオ信号および対応する復号化ビデオ信号は、最大偏差の範囲（および人間の感覚で識別可能な範囲）内で時間的に整列して、スピーカ３１４およびビデオモニタ３１６を介してオペレータに放送される。
【００４１】
ビデオフレームＦ_ｖの復号化にオーディオフレームＦ_ａの復号化よりも長い時間がかる場合、またはその逆の場合、所望の遅延値Ｄ_ｄを調整して、復号化オーディオ信号および復号化信号を最大偏差の範囲内で時間的に整列するようにそれを補償する。
【００４２】
図４は、図３のコントローラ３１２により制御される、本発明による方法の実施形態をフローチャートで示している。フレーム間隔ごとにステップ４０１で処理が開始され、現在の遅延数ｎ_Ｄがゼロであるかを問う。この問いへの回答が肯定である場合、次のステップ４０２は、遅延数ｎ_Ｄが変更されるべきかを問う。遅延数ｎ_Ｄがゼロ値に維持される場合、処理はステップ４０３に進み、出力信号を入力信号と同一に設定する（すなわち、図３において、到来するオーディオフレームＦ_ａがデマルチプレクサ３０７から第１遅延スイッチＡを介して直接第２遅延スイッチＤに送られる）。その後、処理は遅延数ｎ_Ｄがゼロで終了し、第１ステップ４０１に戻る。
【００４３】
ステップ４０２の問いへの回答が肯定である場合、その次のステップ４０４で遅延数ｎ_Ｄは新しい値に更新される。次のステップ４０５は再度遅延数ｎ_Ｄがゼロであるかを問い、（可能性は低いが）ゼロである場合、処理がステップ４０３に継続する。そうでない場合、ステップ４０６で入力データが形成される。これは、到来するオーディオフレームＦ_ａが（入力データ形成ユニット３０８において）時間順に配列されることを意味する。その後、ステップ４０７は、遅延間隔が終了したか、つまり、遅延数ｎ_Ｄの値の変更が実行可能な時期になったかを調査する。ステップ４０７の問いへの回答が肯定である場合、ステップ４０８は、遅延数ｎ_Ｄの値が実際に変更されるべきかを問う。変更されるべきである場合、パラメータは次のステップ４０９で新しい値を割当てられ、次のステップ４１０で第１バッファスイッチＢはその位置を切換える。そうでない場合、処理はステップ４０８からステップ４１０に直接継続し、ここで、第１バッファスイッチＢは、到来するオーディオフレームＦ_ａが直前の遅延間隔と異なるバッファ（つまり、３０９または３１０）に供給されるように切換えられる。
【００４４】
次のステップ４１１は、第１バッファスイッチＢの現在値を調査し、このスイッチＢが第２の位置０に配置されていると検出される場合、処理はステップ４１２に継続する。このステップは、到来するオーディオフレームＦ_ａのサイズがゼロであるか、つまり、バッファに格納されるべきデータが存在するかを問う。このようなデータが存在する場合、次のステップ４１３はデータを第１バッファ３０９に書き込む（つまり、オーディオフレームＦ_ａが第１バッファ３０９に順次格納される）。しかし、ステップ４１２が到来するオーディオフレームＦ_ａのサイズがゼロであると検出する（つまり、バッファ３０９に格納するデータがない）場合、次のステップ４１４は、第２バッファ３１０が空であるかを問い、空である場合は、出力データ供給ユニット３１１に供給される出力信号が、次のステップ４１５でゼロに設定される。そうでない場合、ステップ４１６は、第２バッファ３１０から第２バッファスイッチＣを介して出力データ供給ユニット３１１にデータ（格納されたオーディオフレームＦ_ａ）を読み出す。
【００４５】
ステップ４１１で、第１バッファスイッチＢが第１の位置１に配置されていると認識された場合、処理はステップ４１７に継続し、到来するオーディオフレームＦ_ａのサイズがゼロであるか（つまり、到来するデータが存在するか）を問う。空でないオーディオフレームＦ_ａが受信される場合、次のステップ４１８は、そのデータを第２バッファ３１０に書き込み（つまりオーディオフレームＦ_ａが第２バッファ３１０に順次格納され）、処理はステップ４１９に継続する。しかし、ステップ４１７で、到来するオーディオフレームのサイズがゼロである（第２バッファ３１０に格納するデータが存在しない）と認識された場合、処理はステップ４１９に直接継続する。このステップは第１バッファ３０９が空であるかを問い、空である場合、出力データ供給ユニット３１１に供給される出力信号が次のステップ４２０でゼロに設定される。そうでない場合、ステップ４２１は、第１バッファ３１０から第２バッファスイッチＣを介して出力データ供給ユニット３１１にデータ（つまり、格納されたオーディオフレームＦ_ａ）を読み出す。その後、処理はゼロより大きな遅延数ｎ_Ｄで終了し、第１ステップ４０１に戻る。
【００４６】
本発明の実施形態による方法を実施するコンピュータプログラムのリストを付録として添付する。
【００４７】
本明細書で使用される、「具備する／具備した」という表現は、言及された特徴、整数、ステップまたは部品の存在を明確にするために採用されている。しかし、その用語により、１つ以上の別の特徴、整数、ステップまたは部品、またはその一群の存在または追加を除外するものではない。
【００４８】
本発明は、添付図の実施形態に限定されず、請求の範囲内で自由に変更することができる。
添付付録

【図面の簡単な説明】
【図１】 図１Ａ−Ｄは、本発明に従って、オーディオフレームを適合するビデオフレームに対してどのように遅延させるかを、時系列を用いて表している。
【図２】 図２は、本発明による一般的な方法をフローチャートで図示している。
【図３】 図３は、本発明による装置およびシステムの実施形態のブロック図である。
【図４】 図４は、本発明による方法の実施形態をフローチャートで示している。

Claims (15)

1. 対応する復号化オーディオ信号と対応する復号化ビデオ信号とを最大偏差（Δ_ｍａｘ）の範囲内で時間的に整列するように、受信オーディオ／ビデオメッセージストリームにおいて、第２フレーム間隔（Ｔｖ）を有するビデオフレーム（Ｆ _ｖ ）に分割された符号化ビデオ信号に対して、第１フレーム間隔（Ｔ _ａ ）を有するオーディオフレーム（Ｆ _ａ ）に分割された符号化オーディオ信号を適応的にタイムシフトする方法であって、
   対応する符号化オーディオ信号およびビデオ信号を最大偏差の範囲内で時間的に整列するために、符号化オーディオ信号の所望の遅延（Ｄ_ｄ）を決定し、
   所望の遅延（Ｄ_ｄ）と第１フレーム間隔（Ｔ_ａ）との比率に対して隣接する２つの整数の１つとしてフレーム遅延数（ｎ_Ｄ）を計算する過程と、
   適合するビデオフレーム（Ｆ_ｖ（１））を復号する前に、フレーム遅延数（ｎ_Ｄ）と同数のオーディオフレーム（Ｆ_ａ（１）−Ｆ_ａ（５））を順次格納する過程と、
   適合するビデオフレーム（Ｆ_ｖ（１））を復号する過程と、
   格納されたオーディオフレーム（Ｆ_ａ（１）−Ｆ_ａ（５））を格納順に復号する過程と、
   オーディオ／ビデオメッセージストリームの、残りのオーディオフレーム（Ｆ_ａ（６）−Ｆ_ａ（ｋ））およびビデオフレーム（Ｆ_ｖ（２）−Ｆ_ｖ（ｍ））に対して上記過程を繰り返す過程とを特徴とする方法。
2. フレーム遅延数（ｎ_Ｄ）が所望の遅延（Ｄ_ｄ）と第１フレーム間隔（Ｔ_ａ）との比率の整数部分に等しいことを特徴とする請求項１に記載の方法。
3. フレーム遅延数（ｎ_Ｄ）が所望の遅延（Ｄ_ｄ）と第１フレーム間隔（Ｔ_ａ）との比率の整数部分に１を加算したものに等しいことを特徴とする請求項１に記載の方法。
4. 前記オーディオ／ビデオメッセージストリームが再生の時期を定めるサポートを行うトランスポートプロトコルで受信されることを特徴とする請求項１ないし請求項３のいずれか１項に記載の方法。
5. 各オーディオフレーム（Ｆ_ａ）および各ビデオフレーム（Ｆ_ｖ）は、特定のフレーム（Ｆ_ａ；Ｆ_ｖ）が作成された時点を示すタイムスタンプを割当てられることを特徴とする請求項４に記載の方法。
6. 所望の遅延（Ｄ_ｄ）が、受信されたオーディオ／ビデオメッセージストリームのオーディオフレーム（Ｆ_ａ）およびビデオフレーム（Ｆ_ｖ）にそれぞれ割当てられたタイムスタンプから決定されることを特徴とする請求項５に記載の方法。
7. コンピュータ上で実行されると請求項１ないし請求項６のいずれかの過程を実施するソフトウェアを具備し、コンピュータの内部メモリに直接ロード可能なコンピュータプログラム。
8. 請求項１ないし請求項６のいずれかの過程をコンピュータに実施させるプログラムが記録された、コンピュータで読取り可能な媒体。
9. 対応する復号化オーディオ信号および対応する復号化ビデオ信号が最大偏差（Δ_ｍａｘ）の範囲内で時間的に整列するように、受信オーディオ／ビデオメッセージストリームにおいて、第２フレーム間隔（Ｔｖ）を有するビデオフレーム（Ｆ _ｖ ）に分割された符号化ビデオ信号に対して、第１フレーム間隔（Ｔ _ａ ）を有するオーディオフレーム（Ｆ _ａ ）に分割された符号化オーディオ信号を適応的にタイムシフトする装置であって、
   受信オーディオフレーム（Ｆ_ａ）を順次格納する第１バッファ（３０９）と、
   受信オーディオフレーム（Ｆ_ａ）を順次格納する第２バッファ（３１０）と、
   連続して発生した２つのオーディオフレーム（Ｆ_ａ）間のタイムスパンを示す第１フレーム間隔の値（Ｔ_ａ）を格納し、
   復号化オーディオおよびビデオ信号を最大偏差の範囲内で時間的に整列するためにオーディオフレーム（Ｆ_ａ）に必要な遅延を示す所望の遅延値（Ｄ_ｄ）を、受信オーディオ／ビデオメッセージストリームにおける、受信オーディオフレーム（Ｆ_ａ）および受信ビデオフレーム（Ｆ_ｖ）のタイミング指標（ｔｓ_ａ，ｔｓ_ｖ）から獲得および格納し、
   所望の遅延値（Ｄ_ｄ）と第１フレーム間隔値（Ｔ_ａ）との比率に対して隣接する２つの整数のうちの１つとしてフレーム遅延数（ｎ_Ｄ）を計算し、
   遅延数（ｎ_Ｄ）個のオーディオフレーム（Ｆ_ａ）を第２バッファ（３１０）から読出す間に遅延数（ｎ_Ｄ）個のオーディオフレーム（Ｆ_ａ）を第１バッファ（３０９）に格納することと、遅延数（ｎ_Ｄ）個のオーディオフレーム（Ｆ_ａ）を第１バッファ（３０９）から読出す間に遅延数（ｎ_Ｄ）個のオーディオフレーム（Ｆ_ａ）を第２バッファ（３１０）に格納することとを制御する、
   コントローラ（３１２）とを具備することを特徴とする装置。
10. 第１バッファスイッチ（Ｂ）および第２バッファスイッチ（Ｃ）を具備し、
    前記コントローラ（３１２）がオーディオフレーム（Ｆ_ａ）を第１バッファ（３０９）または第２バッファ（３１０）のいずれかに格納するために第１バッファスイッチ（Ｂ）を制御し、 前記コントローラ（３１２）がオーディオフレームを第１バッファ（３０９）または第２バッファ（３１０）のいずれかから読出すために第２バッファスイッチ（Ｃ）を制御することを特徴とする請求項９に記載の装置。
11. 第１遅延スイッチ（Ａ）および第２遅延スイッチ（Ｄ）を具備し、
    前記コントローラ（３１２）が、対応するオーディオフレーム（Ｆ_ａ）をバッファ（３０９；３１０）を介して供給することにより受信オーディオ信号に遅延を加算するか、または、対応するオーディオフレーム（Ｆ_ａ）に遅延を加えずに転送するために、第１スイッチ（Ａ）を制御し、
    前記コントローラ（３１２）が、バッファ（３０９；３１０）から遅延オーディオフレーム（Ｆ_ａ）を読み出すか、または、第１遅延スイッチ（Ａ）を介して非遅延オーディオフレーム（Ｆ_ａ）を読出すために、第２遅延スイッチ（Ｄ）を制御することを特徴とする請求項９または請求項１０に記載の装置。
12. オーディオ／ビデオメッセージストリームを受信して、それをオーディオフレーム（Ｆ_ａ）およびビデオフレーム（Ｆ_ｖ）に分離し、
    各フレームに割当てられたタイミング指標（ｔｓ_ａ）に基づいて時系列順にオーディオフレーム（Ｆ_ａ）およびビデオフレーム（Ｆ_ｖ）を配列し、
    オーディオフレーム（Ｆ_ａ）、およびオーディオフレーム（Ｆ_ａ）とビデオフレーム（Ｆ_ｖ）のタイミング指標（ｔｓ_ａ，ｔｓ_ｖ）をコントローラ（３１２）に転送する、デマルチプレクサ（３０７）を具備することを特徴とする請求項９ないし請求項１１のいずれか１項に記載の装置。
13. 入力データ形成ユニット（３０８）および出力データ供給ユニット（３１１）を具備し、
    該入力データ形成ユニット（３０８）が、遅延すべきオーディオフレーム（Ｆ_ａ）をデマルチプレクサ（３０７）から受信し、このようなフレームを、遅延バッファに順次格納するのに適したデータ構造に従って配列し、
    該出力データ供給ユニット（３１１）が、その後復号化オーディオ信号に復号するフレームを復号および供給するのに適したデータ構造に従って、遅延オーディオフレーム（Ｆ_ａ）を再配列することを特徴とする請求項１２に記載の装置。
14. リアルタイムオーディオおよびビデオ情報を、送信局から伝送媒体（３０６）を介して受信局に伝送するシステムであって、
    該送信局が、オーディオ情報をオーディオフレーム（Ｆ_ａ）に符号化するオーディオ符号化ユニット（３０３）と、ビデオ情報をビデオフレーム（Ｆ_ｖ）に符号化するビデオ符号化ユニット（３０４）と、オーディオフレーム（Ｆ_ａ）およびビデオフレーム（Ｆ_ｖ）を、伝送媒体（３０６）を介して送信されるべきオーディオ／ビデオメッセージストリームに結合させるマルチプレクサとを具備し、
    該受信局が、請求項９ないし１３のいずれかによる装置と、受信オーディオフレーム（Ｆ_ａ）からオーディオ信号を抽出するオーディオ復号化ユニット（３１３）と、受信ビデオフレーム（Ｆ_ｖ）からビデオ信号を抽出するビデオ復号化ユニット（３１５）とを具備するシステム。
15. 前記送信局が、
    音響データを登録し、オーディオ信号をオーディオ符号化ユニット（３０３）に転送するマイクロフォン（３０１）と、
    画像データを記録し、ビデオ信号をビデオ符号化ユニット（３０４）に転送するビデオカメラ（３０２）とを具備し、
    前記受信局が、
    オーディオ復号化ユニット（３１３）からオーディオ信号を受信し、対応する音響信号を供給するスピーカ（３１４）と、
    ビデオ復号化ユニット（３１５）からビデオ信号を受信し、対応する画像信号を表示するビデオモニタ（３１６）とを具備することを特徴とする請求項１４に記載のシステム。

Images