JP7284266B2 - オーディオストリーム切り替え方法および装置 - Google Patents

オーディオストリーム切り替え方法および装置 Download PDF

Info

Publication number
JP7284266B2
JP7284266B2 JP2021533722A JP2021533722A JP7284266B2 JP 7284266 B2 JP7284266 B2 JP 7284266B2 JP 2021533722 A JP2021533722 A JP 2021533722A JP 2021533722 A JP2021533722 A JP 2021533722A JP 7284266 B2 JP7284266 B2 JP 7284266B2
Authority
JP
Japan
Prior art keywords
audio stream
timestamp
packet
packets
sampling frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533722A
Other languages
English (en)
Other versions
JP2022513833A (ja
Inventor
リウ,チャオ
シオーン,ジエ
ジャーン,ジンホゥイ
フオン,リーホーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022513833A publication Critical patent/JP2022513833A/ja
Application granted granted Critical
Publication of JP7284266B2 publication Critical patent/JP7284266B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

この出願は、マルチメディア通信技術の分野に関し、特に、オーディオストリーム切り替え方法および装置に関する。
マルチメディア通信技術の分野、例えば、テレビ(television、TV)制作および放送の分野では、異なるオーディオデバイスが送信するオーディオストリームが互いに切り替わるというシナリオがある。
現在のオーディオストリーム切り替えソリューションでは、例えば、スイッチアウトストリームがスイッチインストリームにスイッチアウトされるときに、以下の動作が実行される必要がある。すなわち、データがスイッチインストリームのパケットからパースアウトされ、データがスイッチアウトストリームのパケットからパースアウトされた後、スイッチインストリームのパースアウトされたデータおよびスイッチアウトストリームのパースアウトされたデータは両方とも、オーディオ切り替えマトリクスに適用可能なフォーマットに変換され、次いで、切り替えのためにオーディオ切り替えマトリクスに入力される。その結果、切り替え効率は比較的低く、システムの複雑性は比較的高い。
この出願の実施形態は、従来技術における低効率および高複雑性の問題を解決するために、オーディオストリーム切り替え方法および装置を提供する。
第1の態様によれば、この出願の実施形態は、オーディオストリーム切り替え方法であって、この方法は、
切り替えデバイスが、切り替え命令を受信することであって、切り替え命令は、送信された第1のオーディオストリームから第2のオーディオストリームに切り替えるように指示する、受信することと、切り替えデバイスが、第1のオーディオストリームの第1のパケットのタイムスタンプと第2のオーディオストリームの第2のパケットのタイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定することであって、第1のパケットの受信時間は、第2のパケットの受信時間と同じである、決定することと、切り替えデバイスが、同期関係と第1のパケットのタイムスタンプとに基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係と第2のパケットのタイムスタンプとに基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定することであって、切り替えポイントのパラメータ値が、切り替えポイントのタイムスタンプまたは切り替えポイントのシーケンス番号である、決定することと、切り替えデバイスが、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値より大きいパケットを、第2のオーディオストリーム内にあり、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値より大きいパケットに切り替えることと、を含む。
例えば、オーディオストリームに含まれるパケットは、リアルタイム・トランスポート・プロトコル(real-time transport protocol、RTP)パケットであってもよい。
前述の解決策では、スイッチアウトストリームがスイッチインストリームに切り替えられるときに、スイッチインストリームからのデータを解析し、スイッチアウトストリームからのデータを解析し、スイッチインストリームの解析されたデータとスイッチアウトストリームの解析されたデータとの両方をオーディオ切り替えマトリクスに適用可能なフォーマットに変換した後に切り替えを実行する代わりに、同期関係が、スイッチアウトストリーム内のパケットのタイムスタンプとスイッチインストリーム内のパケットのタイムスタンプとに基づいて決定され、切り替えポイントが、同期関係に基づいて決定されて切り替えを実行することによって、切り替え効率が改善され、システムの複雑性が特定の程度に低減される。
可能な設計では、切り替えデバイスが、第1のオーディオストリームの第1のパケットのタイムスタンプと第2のオーディオストリームの第2のパケットのタイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定することは、
第1のオーディオストリームのサンプリング周波数が、第2のオーディオストリームのサンプリング周波数と異なるときに、切り替えデバイスが、第1のオーディオストリームのサンプリング周波数と第2のオーディオストリームのサンプリング周波数とに基づいて、かつ基準サンプリング周波数に基づいて、第1のパケットのタイムスタンプと第2のパケットのタイムスタンプとを統一することと、切り替えデバイスが、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定することとを含む。
第1のオーディオストリームのサンプリング周波数は、第1のオーディオストリーム内のN個の受信パケットのタイムスタンプに基づいて決定され、第2のオーディオストリームのサンプリング周波数は、第2のオーディオストリーム内のM個の受信パケットのタイムスタンプに基づいて決定され、MとNの両方は、正の整数である。基準サンプリング周波数は、第1のオーディオストリームのサンプリング周波数、第2のオーディオストリームのサンプリング周波数、またはプリセットサンプリング周波数である。
前述の設計において、スイッチインストリームのサンプリング周波数がスイッチアウトストリームのサンプリング周波数と異なるときに、スイッチインストリーム内のパケットのタイムスタンプとスイッチアウトストリーム内のパケットのタイムスタンプとが基準サンプリング周波数を使用して統一された後に、2つのオーディオストリーム間の同期関係が決定されて、同期関係を決定する精度が特定の程度まで改善され得る。
可能な設計では、第1のオーディオストリームのサンプリング周波数および第2のオーディオストリームのサンプリング周波数は、以下の方式で決定される。
切り替えデバイスは、第1のオーディオストリームの第1のタイムスタンプ増分グループと、第2のオーディオストリームの第2のタイムスタンプ増分グループとを得る。第1のタイムスタンプ増分グループは、N個のパケットのタイムスタンプに基づいて決定されるN-1個の第1のタイムスタンプ増分を含み、第2のタイムスタンプ増分グループは、M個のパケットのタイムスタンプに基づいて決定されるM-1個の第2のタイムスタンプ増分を含む。第1のタイムスタンプ増分は、第1のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であり、第2のタイムスタンプ増分は、第2のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であるか、または、第1のタイムスタンプ増分は、第1のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差であり、第2のタイムスタンプ増分は、第2のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差である。切り替えデバイスは、第1のタイムスタンプ増分グループに基づいて、第1のオーディオストリームのサンプリング周波数を決定し、第2のタイムスタンプ増分グループに基づいて、第2のオーディオストリームのサンプリング周波数を決定する。
前述の設計では、サンプリング周波数はパケットタイムスタンプ増分を使用して決定され、これは、実施が容易であり、低複雑性を有する。
可能な設計では、N個のパケットは、切り替え命令が受信された後に受信される第1のオーディオストリーム内の最初のN個のパケットであり、M個のパケットは、切り替え命令が受信された後に受信される第2のオーディオストリーム内の最初のM個のパケットであり、NはMに等しい。
前述の設計では、サンプリング周波数は、切り替え命令が受信された後に決定されて、サンプリング周波数を決定する必要があるいくつかのオーディオストリームを決定することができ、それによって、リソースの利用率が特定の程度まで改善されるようにする。
可能な設計では、第1のパケットは、第1のオーディオストリーム内にあり、かつ第1のオーディオストリームのサンプリング周波数が決定されたときに受信されるパケットであり、第2のパケットは、第2のオーディオストリーム内にあり、かつ第2のオーディオストリームのオーディオ情報が決定されたときに受信されるパケットである。
前述の設計によれば、サンプリング周波数が決定されたときに受信されるパケットは、切り替えポイントを決定するために選択されて、切り替え待ち時間が特定の程度まで低減され得るようにする。
可能な設計では、切り替えデバイスが、同期関係と第1のパケットのタイムスタンプとに基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係と第2のパケットのタイムスタンプとに基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定することは、切り替えデバイスが、同期関係、第1のパケットのタイムスタンプ、および第1のオーディオストリームのパケット時間に基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係、第2のパケットのタイムスタンプ、第2のオーディオストリームのパケット時間に基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定することを含み、第1のオーディオストリームのパケット時間は、N個のパケットのタイムスタンプに基づいて決定され、第2のオーディオストリームのパケット時間は、M個のパケットのタイムスタンプに基づいて決定される。
前述の設計は、切り替えポイントを決定するための別の実施しやすい方式を提供する。
可能な設計では、第1のオーディオストリームの切り替えポイントのパケットタイムスタンプと、第2のオーディオストリームの切り替えポイントのパケットタイムスタンプとが以下の条件を満たす。
第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとが同期されていると決定された場合、
Figure 0007284266000001
および
Figure 0007284266000002
であるという条件、
第1のパケットの統一タイムスタンプが、第2のパケットの統一タイムスタンプよりも遅い場合、
Figure 0007284266000003
および
Figure 0007284266000004
であるという条件、または
第1のパケットの統一タイムスタンプが、第2のパケットの統一タイムスタンプよりも早い場合、
Figure 0007284266000005
および
Figure 0007284266000006
であるという条件である。
Figure 0007284266000007
であり、TS は、第1のパケットの統一タイムスタンプを表し、TS は、第2のパケットの統一タイムスタンプを表し、fioは、基準サンプリング周波数を表し、TS_SWは、第2のオーディオストリームの切り替えポイントのタイムスタンプを表し、TSは、第2のパケットの非統一タイムスタンプを表し、ti_pktは、第2のオーディオストリームのパケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、第2のオーディオストリームのサンプリング周波数に対応する理論値を表し、TS_SWは、第1のオーディオストリームの切り替えポイントのタイムスタンプを表し、TSは、第1のオーディオストリームの非統一タイムスタンプを表し、to_pktは、第1のオーディオストリームのパケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、第1のオーディオストリームのサンプリング周波数に対応する理論値を表し、K1は、第1のプリセット持続時間を表し、K2は、第2のプリセット持続時間を表す。
前述の設計では、切り替えポイントが決定されたときに、特定の持続時間が加えられ、切り替えポイントのタイムスタンプとして使用され、これは、混乱を回避し、切り替えポイントの待ち時間が予め記憶される既存の方法と比較してリソースを節約することができる。
可能な設計では、決定されるオーディオストリームのパケット時間が、以下の条件を満たし、決定されるオーディオストリームが第1のオーディオストリームまたは第2のオーディオストリームである。すなわち、
Figure 0007284266000008
である場合、決定されるオーディオストリームのパケット時間が第1の値であるという条件、または
Figure 0007284266000009
である場合、決定されるオーディオストリームのパケット時間が第2の値であるという条件である。
Figure 0007284266000010
であり、
Figure 0007284266000011
は、決定されるオーディオストリームのタイムスタンプ増分グループに基づいて決定されたタイムスタンプ増分平均を表し、dTSthresは、隣接するパケット間のタイムスタンプ差のものであり、異なるパケット時間に対応する理論値に関し、dTSは、決定されるオーディオストリームのタイムスタンプ増分グループのi番目のタイムスタンプ増分を表し、dSEQは、i番目のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号差を表し、wは、決定されるオーディオストリームのタイムスタンプ増分グループのタイムスタンプ増分の数を表す。
可能な設計では、切り替えデバイスが、第1のタイムスタンプ増分グループに基づいて、第1のオーディオストリームのサンプリング周波数を決定することは、
複数の第1のフィッティング誤差を得るために、N-1個の第1のタイムスタンプ増分、各第1のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号の差、および隣接するパケット間のタイムスタンプ差のものであって、切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、隣接するパケット間のタイムスタンプ差のものであって、複数の第1のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、隣接するパケット間のタイムスタンプ差のものであって、最小の第1のフィッティング誤差に対応する理論値に対応する理論サンプリング周波数を、第1のオーディオストリームのサンプリング周波数として使用することと、を含むか、
切り替えデバイスが、第2のタイムスタンプ増分グループに基づいて、第2のオーディオストリームのサンプリング周波数を決定することは、複数の第2のフィッティング誤差を得るために、M-1個の第2のタイムスタンプ増分、各第2のタイムスタンプ増分に対応する2つのパケット間のタイムスタンプ差、および隣接するパケット間のタイムスタンプ差のものであって、切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、隣接するパケット間のタイムスタンプ差のものであって、複数の第2のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、隣接するパケット間のタイムスタンプ差のものであって、最小の第2のフィッティング誤差に対応する理論値に対応する理論サンプリング周波数を、第2のオーディオストリームのサンプリング周波数として使用することと、を含む。
前述の設計では、サンプリング周波数は、実施が容易であり、比較的複雑性が低いフィッティング方式で決定される。
第2の態様によれば、この出願の実施形態は、オーディオストリーム切り替え装置を提供する。
この装置は、切り替えデバイスに適用されてもよい。有益な効果については、第1の態様の説明を参照のこと。詳細は、ここでは再度説明しない。装置は、第1の態様の方法の実施形態における挙動を実施する機能を有する。この機能は、ハードウェアを使用して実施されてもよいし、対応するソフトウェアを実行するハードウェアを使用して実施されてもよい。ハードウェアまたはソフトウェアは、機能に対応する1つ以上のモジュールを含む。
例えば、装置は、受信ユニット、処理ユニット、および送信ユニットを含む。
受信ユニットは、切り替え命令を受信することであって、切り替え命令は、送信された第1のオーディオストリームから第2のオーディオストリームに切り替えるように指示する、受信することを行うように構成されている。
処理ユニットは、第1のオーディオストリームの第1のパケットのタイムスタンプと第2のオーディオストリームの第2のパケットのタイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定することであって、第1のパケットの受信時間は、第2のパケットの受信時間と同じである、決定することと、同期関係と第1のパケットのタイムスタンプとに基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係と第2のパケットのタイムスタンプとに基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定することであって、切り替えポイントのパラメータ値が、切り替えポイントのタイムスタンプまたは切り替えポイントのシーケンス番号である、決定することと、を行うように構成されている。
送信ユニットは、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値より大きいパケットを、第2のオーディオストリーム内にあり、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値より大きいパケットに切り替えることを行うように構成されている。
可能な設計では、第1のオーディオストリームの第1のパケットのタイムスタンプと第2のオーディオストリームの第2のパケットのタイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定するときに、処理ユニットは、具体的には、
第1のオーディオストリームのサンプリング周波数が、第2のオーディオストリームのサンプリング周波数と異なるときに、第1のオーディオストリームのサンプリング周波数と第2のオーディオストリームのサンプリング周波数とに基づいて、かつ基準サンプリング周波数に基づいて、第1のパケットのタイムスタンプと第2のパケットのタイムスタンプとを統一することと、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定することとを行うように構成されている。
第1のオーディオストリームのサンプリング周波数は、第1のオーディオストリーム内のN個の受信パケットのタイムスタンプに基づいて決定され、第2のオーディオストリームのサンプリング周波数は、第2のオーディオストリーム内のM個の受信パケットのタイムスタンプに基づいて決定され、MとNの両方は、正の整数である。
基準サンプリング周波数は、第1のオーディオストリームのサンプリング周波数、第2のオーディオストリームのサンプリング周波数、またはプリセットサンプリング周波数である。
可能な設計では、処理ユニットは、第1のオーディオストリームのサンプリング周波数および第2のオーディオストリームのサンプリング周波数を以下の方式で得るようにさらに構成されている。
第1のオーディオストリームの第1のタイムスタンプ増分グループと、第2のオーディオストリームの第2のタイムスタンプ増分グループとを得ることであって、
第1のタイムスタンプ増分グループは、N個のパケットのタイムスタンプに基づいて決定されるN-1個の第1のタイムスタンプ増分を含み、第2のタイムスタンプ増分グループは、M個のパケットのタイムスタンプに基づいて決定されるM-1個の第2のタイムスタンプ増分を含み、
第1のタイムスタンプ増分は、第1のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であり、第2のタイムスタンプ増分は、第2のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であるか、または、第1のタイムスタンプ増分は、第1のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差であり、第2のタイムスタンプ増分は、第2のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差である、ことと、
第1のタイムスタンプ増分グループに基づいて、第1のオーディオストリームのサンプリング周波数を決定し、第2のタイムスタンプ増分グループに基づいて、第2のオーディオストリームのサンプリング周波数を決定することである。
可能な設計では、N個のパケットは、切り替え命令が受信された後に受信される第1のオーディオストリーム内の最初のN個のパケットであり、M個のパケットは、切り替え命令が受信された後に受信される第2のオーディオストリーム内の最初のM個のパケットであり、NはMに等しい。
可能な設計では、第1のパケットは、第1のオーディオストリーム内にあり、第1のオーディオストリームのサンプリング周波数が決定されたときに受信されるパケットであり、第2のパケットは、第2のオーディオストリーム内にあり、第2のオーディオストリームのオーディオ情報が決定されたときに受信されるパケットである。
可能な設計では、同期関係と第1のパケットのタイムスタンプとに基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係と第2のパケットのタイムスタンプとに基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定するときに、処理ユニットは、具体的には、
同期関係、第1のパケットのタイムスタンプ、および第1のオーディオストリームのパケット時間に基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係、第2のパケットのタイムスタンプ、第2のオーディオストリームのパケット時間に基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定するように構成されている。
第1のオーディオストリームのパケット時間は、N個のパケットのタイムスタンプに基づいて決定され、第2のオーディオストリームのパケット時間は、M個のパケットのタイムスタンプに基づいて決定される。
可能な設計では、第1のオーディオストリームの切り替えポイントのパケットタイムスタンプと、第2のオーディオストリームの切り替えポイントのパケットタイムスタンプとが以下の条件を満たす。
第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとが同期されていると決定された場合、
Figure 0007284266000012
および
Figure 0007284266000013
であるという条件、
第1のパケットの統一タイムスタンプが、第2のパケットの統一タイムスタンプよりも遅い場合、
Figure 0007284266000014
および
Figure 0007284266000015
であるという条件、または
第1のパケットの統一タイムスタンプが、第2のパケットの統一タイムスタンプよりも早い場合、
Figure 0007284266000016
および
Figure 0007284266000017
であるという条件である。
Figure 0007284266000018
であり、TS は、第1のパケットの統一タイムスタンプを表し、TS は、第2のパケットの統一タイムスタンプを表し、fioは、基準サンプリング周波数を表し、TS_SWは、第2のオーディオストリームの切り替えポイントのタイムスタンプを表し、TSは、第2のパケットの非統一タイムスタンプを表し、ti_pktは、第2のオーディオストリームのパケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、第2のオーディオストリームのサンプリング周波数に対応する理論値を表し、TS_SWは、第1のオーディオストリームの切り替えポイントのタイムスタンプを表し、TSは、第1のオーディオストリームの非統一タイムスタンプを表し、to_pktは、第1のオーディオストリームのパケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、第1のオーディオストリームのサンプリング周波数に対応する理論値を表し、K1は、第1のプリセット持続時間を表し、K2は、第2のプリセット持続時間を表す。
可能な設計では、決定されるオーディオストリームのパケット時間が、以下の条件を満たし、決定されるオーディオストリームは第1のオーディオストリームまたは第2のオーディオストリームである。
Figure 0007284266000019
である場合、決定されるオーディオストリームのパケット時間が第1の値であるという条件、または
Figure 0007284266000020
である場合、決定されるオーディオストリームのパケット時間が第2の値であるという条件である。
Figure 0007284266000021
であり、
Figure 0007284266000022
は、決定されるオーディオストリームのタイムスタンプ増分グループに基づいて決定されたタイムスタンプ増分平均を表し、dTSthresは、隣接するパケット間のタイムスタンプ差のものであり、異なるパケット時間に対応する理論値に関し、dTSは、決定されるオーディオストリームのタイムスタンプ増分グループのi番目のタイムスタンプ増分を表し、dSEQは、i番目のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号差を表し、wは、決定されるオーディオストリームのタイムスタンプ増分グループのタイムスタンプ増分の数を表す。
可能な設計では、第1のタイムスタンプ増分グループに基づいて、第1のオーディオストリームのサンプリング周波数を決定するときに、処理ユニットは、具体的には、
複数の第1のフィッティング誤差を得るために、N-1個の第1のタイムスタンプ増分、各第1のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号の差、および隣接するパケット間のタイムスタンプ差のものであって、切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、
隣接するパケット間のタイムスタンプ差のものであって、複数の第1のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、
隣接するパケット間のタイムスタンプ差のものであって、最小の第1のフィッティング誤差に対応する理論値に対応する理論サンプリング周波数を、第1のオーディオストリームのサンプリング周波数として使用することと、を行うように構成されており、または
第2のタイムスタンプ増分グループに基づいて第2のオーディオストリームのサンプリング周波数を決定するときに、処理ユニットは、具体的には、
複数の第2のフィッティング誤差を得るために、M-1個の第2のタイムスタンプ増分、各第2のタイムスタンプ増分に対応する2つのパケット間のタイムスタンプ差、および隣接するパケット間のタイムスタンプ差のものであって、切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、
隣接するパケット間のタイムスタンプ差のものであって、複数の第2のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、
隣接するパケット間のタイムスタンプ差のものであって、最小の第2のフィッティング誤差に対応する理論値に対応する理論サンプリング周波数を、第2のオーディオストリームのサンプリング周波数として使用することと、を行うように構成されている。
第3の態様によれば、この出願の一実施形態は、装置をさらに提供する。本装置は、切り替えデバイスに適用される。有益な効果については、第1の態様の記載を参照のこと。詳細は、ここでは再度説明しない。通信装置の構造は、プロセッサおよびトランシーバを含み、メモリをさらに含んでもよい。プロセッサは、第1の態様の方法において対応する機能を実行する際に、端末デバイスをサポートするように構成されている。メモリは、プロセッサに結合され、通信装置に必要なプログラム命令およびデータを記憶する。トランシーバは、他のデバイスと通信するように構成されている。
第4の態様によれば、この出願は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は命令を記憶する。命令がコンピュータ上で動作するときに、コンピュータが、第1の態様に従って方法を実行することを可能にする。
第5の態様によれば、この出願は、さらに、命令を含むコンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で動作するときに、コンピュータが、第1の態様に従って方法を実行することを可能にする。
第6の態様によれば、この出願は、コンピュータチップをさらに提供する。チップは、メモリに接続される。チップは、メモリに記憶されたソフトウェアプログラムを読み出して実行し、第1の態様に従って方法を実行するように構成されている。
この出願の一実施形態によるオーディオストリーム切り替えシステムの概略構造図である。 この出願の一実施形態によるオーディオストリーム切り替え方法の概略フローチャートである。 この出願の一実施形態による、切り替えポイントのタイムスタンプを決定するプロセスの概略図である。 この出願の一実施形態による、第1のオーディオストリーム内のパケットを送信するための方法の概略図である。 この出願の一実施形態による、第2のオーディオストリーム内のパケットを送信する方法の概略図である。 この出願の一実施形態によるオーディオストリームの切り替えの概略図である。 この出願の一実施形態による切り替えフローテーブルの概略図である。 この出願の一実施形態による別のオーディオストリーム切り替え方法の概略フローチャートである。 この出願の一実施形態によるオーディオストリームのシーケンス番号の順序がずれている概略図である。 この出願の一実施形態によるシーケンス番号更新の概略図である。 この出願の一実施形態による複数のオーディオストリーム間の切り替えの概略図である。 この出願の一実施形態による装置1100の概略構造図である。 この出願の一実施形態による装置1200の概略構造図である。
この出願の実施形態は、マスター制御システム、テレビスタジオ、または放送およびテレビ制作および放送ネットワークの放送領域など、IPネットワーク上で搬送されるオーディオストリームを切り替える必要があるシナリオに適用されてもよい。
図1は、オーディオストリーム切り替えシステムの一例の概略構造図である。システムは、X個のオーディオデバイス、切り替えデバイス、およびオーディオ受信装置を含み、Xは1より大きい整数である。オーディオデバイスは、切り替えデバイスにオーディオストリームを出力するように構成されている。切り替えデバイスは、X個のオーディオデバイスが出力するX個のオーディオストリームのうちの1つをダウンストリームデバイスに送信することを担当し、ダウンストリームデバイスを使用してオーディオストリームをオーディオ受信デバイスに送信する。
この出願のこの実施形態における切り替えデバイスは、ルータ、スイッチ、または仮想スイッチのような、制作および放送IPネットワークにおいて使用されるIPネットワーク切り替えデバイスであってもよいし、1つ以上のサーバ、仮想化プラットフォーム、クラウドコンピューティングサービスセンターなどであってもよい。
例えば、オーディオストリーム切り替えシステムは、切り替えデバイスに切り替え命令を送信するように構成されている管理デバイスをさらに含んでもよい。管理デバイスは、有線ネットワークまたは無線ネットワークを使用して切り替えデバイスに接続されてもよい。
任意選択で、無線ネットワークまたは有線ネットワークは、標準的な通信技術および/またはプロトコルを使用する。ネットワークは、典型的にはインターネットであるが、代替的には、ローカルエリアネットワーク(local area network、LAN)、メトロポリタンエリアネットワーク(metropolitan area network、MAN)、ワイドエリアネットワーク(wide area network、WAN)、モバイルネットワーク、有線ネットワーク、無線ネットワーク、プライベートネットワーク、または仮想プライベートネットワークの任意の組み合わせを含むが、これらに限定されない任意のネットワークであってもよい。
パルス符号変調(pulse code modulation、PCM)オーディオ要素、伝送制限、チャネル要求、整合性制御等は、放送信号およびテレビ信号のインターネットプロトコル(internet protocol、IP)ネットワーク伝送規格に規範的に説明されている。
例えば、映画テレビ技術者協会(the society of motion picture and television engineers、SMPTE)2110は、オーディオの送信端および受信端は、44.1kHz、48kHz、および96kHzのサンプリング周波数、125μs、および1msのオーディオ持続時間などをサポートすることを規定している。
オーディオデータIPプロセスでは、オーディオサンプリング、アナログ-デジタル変換、PCM符号化、およびIPカプセル化を連続的に実行した後、オーディオストリームを形成し、切り替え選択のための切り替えデバイスに送信する。全プロセスにおいて、正確な時間同期は、高精度時間プロトコル(precision time protocol、PTP)クロックソースを使用することによって保証され得る。現在のオーディオストリーム切り替えソリューションでは、スイッチインされるオーディオストリームを、再生中のオーディオストリームと同じオーディオフォーマットに変換し、切り替えを実行する必要がある。その結果、切り替え効率が比較的低く、システムの複雑性が比較的高い。
これに基づいて、この出願の実施形態は、従来技術における低効率および高複雑性の問題を解決するために、オーディオストリーム切り替え方法および装置を提供する。方法および装置は、同一の発明概念に基づいている。方法および装置は、同様の問題解決の原理を有するため、装置の実施態様と方法の実施態様とを相互に参照してもよく、繰り返される説明を提供しない。
異なるオーディオデバイス製造業者により、異なるオーディオサンプリング周波数、チャネル数、パケット時間などが存在する。例えば、SMPTE 2110-30規格は、3つのオーディオサンプリング周波数と2つのタイプのパケット時間を規定している。異なるサンプリング周波数およびパケット時間は、異なるオーディオストリームタイムスタンプおよびパケット間隔に対応する。複数のチャネルのデータは、同じデータストリームにカプセル化されるため、チャネル数は、オーディオストリームの切り替えに直接影響しない。この出願の実施態様において、オーディオストリームのパケットのタイムスタンプは、サンプリング周波数およびパケット時間を決定するために得られ、オーディオストリーム間の時間関係は、切り替えポイントを決定するために得られ、それによって、正しいオーディオストリームの切り替えを保証する。
追加的に、この出願の実施形態では、切り替え前に送信されたストリームをスイッチアウトストリームと称し、切り替え後に送信されたストリームをスイッチインストリームと称することがある。この出願の実施形態の後続の説明では、例えば、第1のオーディオストリームはスイッチアウトストリームであり、第2のオーディオストリームはスイッチインストリームである。
図2は、この出願の一実施形態によるオーディオストリーム切り替え方法の概略フローチャートである。
S201.切り替えデバイスは、切り替え命令を受信し、切り替え命令は、送信された第1のオーディオストリームから第2のオーディオストリームに切り替えるように指示する。
S202.切り替えデバイスは、第1のオーディオストリームの第1のパケットのタイムスタンプと第2のオーディオストリームの第2のパケットのタイムスタンプに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定し、第1のパケットの受信時間は、第2のパケットの受信時間と同じである。
S203.切り替えデバイスは、同期関係および第1のパケットのタイムスタンプに基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係および第2のパケットのタイムスタンプに基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定し、ここで、切り替えポイントのパラメータ値は、切り替えポイントのタイムスタンプまたは切り替えポイントのシーケンス番号である。
S204.切り替えデバイスは、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットを、第2のオーディオストリーム内にあり、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットに切り替える。
ステップS204において、切り替えデバイスは、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットを、第2のオーディオストリーム内にあり、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットに切り替える。具体的には、切り替えデバイスは、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値より大きいパケットを破棄し、第2のオーディオストリーム内にあり、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値より大きいパケットを転送する。第1のオーディオストリームの切り替えポイントのパラメータ値を決定した後、切り替えデバイスは、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値以下であるパケットを受信してもよいことに留意されたい。この場合、切り替えデバイスは、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値以下であるパケットを転送してもよい。追加的に、切り替えデバイスは、第2のオーディオストリームの切り替えポイントのパラメータ値が決定された後に受信され、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値以下であるパケットを破棄してもよい。
可能な例では、切り替えデバイスが少なくとも2つの出力ポート、例えばポート1とポート2を含む場合、切り替えを実行する前に、切り替えデバイスは、ポート1を使用して第1のオーディオストリームと第2のオーディオストリームを監視デバイスに送信し、ポート2を使用して第1のオーディオストリームをダウンストリームデバイスに送信する。第2のオーディオストリームは、ポート2では転送されず、これは、破棄と見なされてもよい。切り替えを実行した後、切り替えデバイスは、ポート1を使用して、第1のオーディオストリームおよび第2のオーディオストリームを監視デバイスに依然として送信し、ポート2上で第2のオーディオストリームをポート2のダウンストリームデバイスに転送する。第1のオーディオストリームは、もはやダウンストリームデバイスに転送されず、これは、第1のオーディオストリームがポート2上で破棄されると見なされてもよい。
任意選択で、切り替え命令は、出力オーディオストリームを切り替えるためのポートを示すために使用されるポート番号を更に搬送してもよい。
可能な実施態様では、切り替えデバイスが、第1のオーディオストリームの第1のパケットのタイムスタンプおよび第2のオーディオストリームの第2のパケットのタイムスタンプに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を以下の方式で決定してもよい。
第1の例では、第1のオーディオストリームのサンプリング周波数が第2のオーディオストリームのサンプリング周波数と同じであるときに、切り替えデバイスは、第1のオーディオストリームの第1のパケットのタイムスタンプと第2のオーディオストリームの第2のパケットのタイムスタンプに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定する。
例えば、第1のパケットのタイムスタンプと第2のパケットのタイムスタンプとの差の絶対値が第1のしきい値以下である場合、第1のオーディオストリームと第2のオーディオストリームは同期され、そうでなければ、第1のオーディオストリームと第2のオーディオストリームは同期されない。例えば、最初のしきい値は0または2msである。
第2の例では、第1のオーディオストリームのサンプリング周波数が第2のオーディオストリームのサンプリング周波数と異なるときに、切り替えデバイスは、第1のオーディオストリームのサンプリング周波数と第2のオーディオストリームのサンプリング周波数とに基づいて、かつ基準サンプリング周波数に基づいて、第1のパケットのタイムスタンプと第2のパケットのタイムスタンプとを統一し、切り替えデバイスは、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプとに基づいて、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係を決定する。
例えば、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプとの差の絶対値が第2のしきい値以下である場合、第1のオーディオストリームと第2のオーディオストリームは同期され、そうでなければ、第1のオーディオストリームと第2のオーディオストリームは同期されない。例えば、第2のしきい値は0または2msである。
第1のオーディオストリームのサンプリング周波数は、第1のオーディオストリームにおけるN個の受信パケットのタイムスタンプに基づいて決定され、第2のオーディオストリームのサンプリング周波数は、第2のオーディオストリームにおけるM個の受信パケットのタイムスタンプに基づいて決定され、MおよびNは両方とも正の整数である。基準サンプリング周波数は、第1のオーディオストリームのサンプリング周波数、第2のオーディオストリームのサンプリング周波数、またはプリセットサンプリング周波数である。
可能な実施態様では、切り替えデバイスは、第1のパケットの統一タイムスタンプを第1のオーディオストリームの切り替えポイントのタイムスタンプとして使用し、第2のパケットの統一タイムスタンプを第2のオーディオストリームの切り替えポイントのタイムスタンプとして使用してもよい。しかしながら、伝送プロセスにおいてパケットが順序ずれである可能性があるため、もしパケットが順序ずれであるならば、前述の方式は、パケットの通常の切り替えおよび伝送を保証することができない。パケットシーケンス番号に基づいて受信されたパケットをキャッシュするための方法が、通常、従来技術で使用される。しかしながら、切り替えプロセスでは、書き込み、アドレス指定、および読み出しなどの動作は、キャッシュ空間内で連続的に実行される必要があり、これは、システムの複雑性を増加させ、リソースを浪費する。この出願のこの実施形態では、パケット時間は、第1のオーディオストリームの切り替えポイントのパラメータ値と第2のオーディオストリームの切り替えポイントのパラメータ値とが決定されるときに考慮されてもよい。いくつかのパケットの持続時間が第1のパケットのタイムスタンプに加えられ、得られた合計が第1のオーディオストリームの切り替えポイントのタイムスタンプとして使用され、いくつかのパケットの持続時間が第2のパケットのタイムスタンプに加えられ、得られた合計が第2のオーディオストリームの切り替えポイントのタイムスタンプとして使用されて、順序ずれによって引き起こされる異常な切り替えを回避する。
したがって、切り替えデバイスは、同期関係および第1のパケットのタイムスタンプに基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係および第2のパケットのタイムスタンプに基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を以下のようにして決定してもよい。
切り替えデバイスは、同期関係、第1のパケットのタイムスタンプ、および第1のオーディオストリームのパケット時間に基づいて、第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、同期関係、第2のパケットのタイムスタンプ、および第2のオーディオストリームのパケット時間に基づいて、第2のオーディオストリームの切り替えポイントのパラメータ値を決定する。
第1のオーディオストリームのパケット時間は、第1のオーディオストリーム内のN個の受信パケットのタイムスタンプに基づいて決定され、第2のオーディオストリームのパケット時間は、第2のオーディオストリーム内のM個の受信パケットのタイムスタンプに基づいて決定される。
続いて、簡単に説明するために、サンプリング周波数とパケット時間をまとめてオーディオ情報と称する。
可能な実装では、第1のオーディオストリームのオーディオ情報に含まれるサンプリング周波数とパケット時間、および第2のオーディオストリームのオーディオ情報に含まれるサンプリング周波数とパケット時間は、以下の方式で決定してもよい。
オーディオストリームのオーディオ情報は、オーディオストリームの切り替えに影響する。したがって、この出願のこの実施形態では、オーディオ情報を決定する主なアイデアは、オーディオストリームのパケットをサンプリングし、パケットタイムスタンプの統計学習によってオーディオ情報のサンプリング周波数およびパケット時間を得ることである。
例えば、表1は、44.1kHz、48kHz、および96kHzの3つのサンプリング周波数、125μsおよび1msの2つのタイプのパケット時間、およびSMPTE2110で指定されている隣接するシーケンス番号を有する2つのパケット間のタイムスタンプ差の理論値を示す。
Figure 0007284266000023
具体的には、隣接するシーケンス番号を有する2つのパケット間のタイムスタンプ差のものであり、かつ異なるサンプリング周波数とパケット時間に対応する理論値は、以下の式(1)を使用して決定されてもよい。
Figure 0007284266000024
表1と式(1)から、オーディオストリームのサンプリング周波数とパケット時間の両方が、隣接するパケット間のタイムスタンプの差に関すると決定されてもよい。隣接するパケットは隣接するシーケンス番号を有する2つのパケットである。これに基づいて、第1のオーディオストリームのオーディオ情報に含まれるサンプリング周波数とパケット時間、および第2のオーディオストリームのオーディオ情報に含まれるサンプリング周波数およびパケット時間を決定するときに、切り替えデバイスは、最初に、第1のオーディオストリームの第1のタイムスタンプ増分グループおよび第2のオーディオストリームの第2のタイムスタンプ増分グループを得る。
第1のタイムスタンプ増分グループは、第1のオーディオストリーム内のN個の受信パケットのタイムスタンプに基づいて決定されるN-1個の第1のタイムスタンプ増分を含み、第2のタイムスタンプ増分グループは、第2のオーディオストリーム内のM個の受信パケットのタイムスタンプに基づいて決定されるM-1個の第2のタイムスタンプ増分を含む。
次に、切り替えデバイスは、第1のタイムスタンプ増分グループに基づいて、第1のオーディオストリームのサンプリング周波数およびパケット時間を決定し、第2のタイムスタンプ増分グループに基づいて、第2のオーディオストリームのサンプリング周波数を決定する。
タイムスタンプ増分は、2つのパケット間のタイムスタンプ差である。タイムスタンプ増分は、複数の方法で得てもよい。以下に2つの例を示す。
第1の可能な例では、2つの連続して受信されたパケット間のタイムスタンプ差がタイムスタンプ増分として使用される。具体的には、第1のタイムスタンプ増分は、第1のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であり、第2のタイムスタンプ増分は、第2のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差である。
第2の可能な例では、複数のパケットが連続的に受信され、パケットはパケットのシーケンス番号に基づいてソートされ、次に、隣接するシーケンス番号を有する2つのパケット間のタイムスタンプ差がタイムスタンプ増分として使用される。具体的には、第1のタイムスタンプ増分は、第のオーディオストリーム内の隣接するシーケンス番号を有する2つの受信パケット間のタイムスタンプ差であり、第2のタイムスタンプ増分は、第2のオーディオストリーム内の隣接するシーケンス番号を有する2つの受信パケット間のタイムスタンプ差である。
以下は、特定のシナリオを参照してパケット時間を決定する方法を説明する。
表1で、隣接するシーケンス番号を有する2つのパケット間のタイムスタンプ差の理論値(これは、後の説明では理論値と称する)に基づいて、パケット時間が125μsであるときに、5.5、6、および12の3つの理論値が存在し、パケット時間が1mであるときに、44.1、48、および96の3つの理論値が存在することが分かり得る。したがって、表1から、それぞれ125μs、1msに対応する理論値が明らかに変化することが分かり得る。したがって、しきい値dTSthresを設定してもよく、計算を通じて得られたパケットのタイムスタンプ差の平均値
Figure 0007284266000025
とdTSthresを比較した結果に基づいて、パケットの時間が125μsまたは1msであることを決定してもよい。
例えば、
Figure 0007284266000026
であるときに、オーディオストリームのパケット時間が第1の値である、例えば、tpackt=125μsであるか、または
Figure 0007284266000027
であるときに、オーディオストリームのパケット時間が第2の値である、例えば、tpacket=1msである。例えば、12よりも大きく44.1未満の値は、dTSthresの値として選択されてもよい。パケット時間のより良い決定を保証するために、12と44.1の間の中間値、例えば、25が選択されてもよい。
ネットワークによって実際に受信された、決定されるオーディオストリームのタイムスタンプ増分平均
Figure 0007284266000028
は、式(2)を使用した計算を通じて得られてもよい。決定されるオーディオストリームは、第1のオーディオストリームまたは第2のオーディオストリームであってもよい。
Figure 0007284266000029
dTSは、決定されるオーディオストリームのタイムスタンプ増分グループのi番目のタイムスタンプ増分を表し、dSEQは、i番目のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号差を表し、wは、決定されるオーディオストリームのタイムスタンプ増分グループのタイムスタンプ増分の数を表す。例えば、決定されるオーディオストリームが第1のオーディオストリームであるときに、w=N-1であり、または決定されるオーディオストリームが第2のオーディオストリームであるときに、w=M-1である。
この出願のこの実施形態では、第1のタイムスタンプ増分グループおよび第2のタイムスタンプ増分グループが得られた後、サンプリング周波数は、第1のタイムスタンプ増分グループおよび第2のタイムスタンプ増分グループに基づいて決定される。
例えば、切り替えデバイスは、以下の方式で、第1のタイムスタンプ増分グループに基づいて、第1のオーディオストリームのサンプリング周波数を決定してもよい。
複数の第1のフィッティング誤差を得るために、N-1個の第1のタイムスタンプ増分、各第1のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号の差、および隣接するパケット間のタイムスタンプ差のものであって、切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行し、隣接するパケット間のタイムスタンプ差のものであって、複数の第1のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定し、隣接するパケット間のタイムスタンプ差のものであって、最小の第1のフィッティング誤差に対応する理論値に対応する理論サンプリング周波数を、第1のオーディオストリームのサンプリング周波数として使用する。
同様に、切り替えデバイスは、以下の方式で、第2のタイムスタンプ増分グループに基づいて、第2のオーディオストリームのサンプリング周波数を決定してもよい。
複数の第2のフィッティング誤差を得るために、M-1個の第2のタイムスタンプ増分、各第2のタイムスタンプ増分に対応する2つのパケット間のタイムスタンプ差、および隣接するパケット間のタイムスタンプ差のものであって、切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行し、隣接するパケット間のタイムスタンプ差のものであって、複数の第2のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定し、隣接するパケット間のタイムスタンプ差のものであって、最小の第2のフィッティング誤差に対応する理論値に対応する理論サンプリング周波数を、第2のオーディオストリームのサンプリング周波数として使用する。
例えば、フィッティングモデルは線形モデルy=kxおよび
Figure 0007284266000030
であってもよい。
Figure 0007284266000031
は、表1の理論値である。例えば、第1のオーディオストリームのサンプリング周波数が決定されるときに、フィッティングは、計算を通じてフィッティング誤差σを得るために、2つの受信パケット間のシーケンス番号差およびタイムスタンプ増分差(dSEQ,dTS)を使用して、線形方程式に従って実行される。
Figure 0007284266000032
Figure 0007284266000033
は、表1の最初の理論値であり、N-1は、第1のタイムスタンプ増分の数である。
Figure 0007284266000034
グループは、式(3)を使用して得られ、フィッティング誤差σに対してソーティングを実行して、最小フィッティング誤差σminと対応する
Figure 0007284266000035
値を得て、サンプリング周波数sample
Figure 0007284266000036
に基づいて得る。サンプリング周波数と理論値の対応については、表2を参照のこと。
Figure 0007284266000037
追加的に、この出願のこの実施形態では、オーディオストリームのオーディオ情報を決定するためのパケット(すなわち、N個のパケットまたはM個のパケット)は、切り替え命令が受信される前に受信されてもよく、または切り替え命令が受信された後に受信されてもよい。以下に、2つの可能な例を使用して説明する。
例1において、N個のパケットは、切り替え命令が受信された後に受信される第1のオーディオストリーム内の最初のN個のパケットであり、M個のパケットは、切り替え命令が受信された後に受信される第2のオーディオストリーム内の最初のM個のパケットであり、Nは、Mに等しくてもよいし、Nは、Mに等しくなくてもよい。この出願のこの実施形態において、後続の説明では、例えば、Nは、Mに等しい。例1において示されるケースでは、第1のオーディオストリームの切り替えポイントのパラメータ値を決定するために使用される第1のパケットは、オーディオ情報が決定されるときに受信されるパケットであってもよい。確かに、別のパケットを代替的に使用してもよいが、オーディオ情報が決定されたときに受信したパケットを選択すると、切り替え待ち時間を低減することができる。第2のオーディオストリームの切り替えポイントのパラメータ値を決定するために使用される第2のパケットは、第2のオーディオストリーム内にあり、かつオーディオ情報が決定されたときに受信されるパケットであってもよい。確かに、別のパケットを代替的に使用してもよいが、オーディオ情報が決定されたときに受信したパケットを選択すると、切り替え待ち時間を低減することができる。
例2において、N個のパケットは、切り替え命令が受信される前に受信される第1のオーディオストリーム内のN個のパケットであり、M個のパケットは、切り替え命令が受信される前に受信される第2のオーディオストリーム内のM個のパケットであり、Nは、Mに等しくてもよいし、Nは、Mに等しくなくてもよい。
例えば、第1のオーディオストリームに対して、第1のオーディオストリームのパケットが受信され始めるときに、連続して受信されたN個のパケットが、オーディオ情報を決定するために使用されるパケットとして使用される。あるケースでは、オーディオ情報を決定するために使用されるN個のパケットを連続して受信するプロセスでは、切り替え命令は受信されない。このケースでは、切り替えポイントのパラメータ値を決定するために使用される第1のパケットは、切り替え命令が受信されたときに受信される第1のパケットであってもよいし、確かに別のパケットであってもよいが、切り替え待ち時間は、第1のパケットが選択されたときに最も小さい。別のケースは、オーディオ情報を決定するために使用されるN個のパケットを連続的に受信するプロセスでは、切り替え命令は受信されるが、オーディオ情報の計算には影響しない。このケースでは、切り替えポイントのパラメータ値を決定するために使用される第1のパケットは、オーディオ情報が決定されたときに受信されるパケットであってもよいし、確かに別のパケットであってもよいが、切り替え町時間は、オーディオ情報が決定されたときに受信されるパケットが選択されたときに最も小さい。
例えば、オーディオストリームはSMPTE2110とAES67を満たし、オーディオストリームのパケットのタイムスタンプはリアルタイムトランスポートプロトコル((real-time transport protocol、RTP)クロックのサンプルであり、タイムスタンプに対応する時間はサンプリングモーメントとエポックモーメントの間のオフセットである。式(4)で示されるように、秒当たりのタイムスタンプ増分は、オーディオサンプリング周波数の値である。
Figure 0007284266000038
ここで、tは、パケットの収集モーメントを表し、tepochは、エポックモーメントであり、fは、オーディオストリームのサンプリング周波数であり、mは、タイムスタンプ反転回数であり、TSは、パケットのタイムスタンプを表し、nは、タイムスタンプが占めるビット数を表す。
タイムスタンプ反転は、nビットのタイムスタンプがパケットのタイムスタンプを表すことができないときに、パケットのタイムスタンプが反転されることを意味する。例えば、nは4であり、前のパケットのタイムスタンプが1111である場合、次のパケットのタイムスタンプは反転され、したがって0000となる。
SMPTE2110およびAES67のタイムスタンプは通常32ビットを占める。タイムスタンプTSは32ビットを使用して記録されるときに反転されるため、タイムスタンプ計算式(4)におけるn=32は、後続の説明において、例として32を用いていることを示す。スイッチアウトストリームとして使用される第1のオーディオストリームと、スイッチインストリームとして使用される第2のオーディオストリームは、異なるサンプリング周波数を有するため、異なるタイムスタンプ計算基準を有し、同じサンプリングモーメントにおいて異なるタイムスタンプに対応する。したがって、スイッチインストリームおよびスイッチアウトストリームが同期されたとして、タイムスタンプ差がある。したがって、切り替えポイントのパラメータ値が計算されるときに、タイムスタンプは、基準サンプリング周波数に基づいて最初に統一されてもよい。基準サンプリング周波数は、スイッチインストリームのサンプリング周波数またはスイッチアウトストリームのサンプリング周波数であってもよい。あるいは、タイムスタンプは、同じ規格の別のサンプリング周波数に基づいて統一されてもよい。
例えば、スイッチアウトストリームのタイムスタンプが、スイッチインストリームのサンプリング周波数に基づいて統一される場合、スイッチアウトストリームのタイムスタンプは、以下の式(5)を使用することによって、スイッチインストリームのサンプリング周波数に基づいて統一されてもよい。
Figure 0007284266000039
Figure 0007284266000040
は、スイッチインストリームのサンプリング周波数であり、
Figure 0007284266000041
は、スイッチアウトストリームのサンプリング周波数であり、
Figure 0007284266000042
は、スイッチアウトストリームの非統一タイムスタンプであり、
Figure 0007284266000043
は、スイッチアウトストリームの統一タイムスタンプである。
タイムスタンプの反転レートが非常に遅いことを考慮して、mは、現在のモーメントに基づいて計算を通じて得られてもよいし、または式(6)を使用していて計算を通じて得られてもよい。
Figure 0007284266000044
tcurは、現在のモーメントであり、tepochは、エポックモーメントである。一般に、エポックモーメントが国際原子時刻(international atomic time、TAI)1970-01-01T00:00:00である場合、現在の時刻もまたTAIによって表されるモーメントである必要がある。
TAIは、いくつかの元素が極めて安定な原子エネルギー準位遷移周波数を有するという事実に従って、セシウム原子(Cs 132.9)ベースのエネルギー準位遷移原子秒が時間スケールとして使用され、国際時間表現としてTAIとも称されることを意味する。
この出願のこの実施形態では、第1のオーディオストリームの切り替えポイントのパラメータ値と第2のオーディオストリームの切り替えポイントのパラメータ値とを決定するとき、第1のオーディオストリームのサンプリング周波数が第2のオーディオストリームのサンプリング周波数と異なる場合、タイムスタンプは、式(5)および式(6)に従って基準サンプリング周波数に基づいて最初に統一される。次に、第1のオーディオストリームと第2のオーディオストリームの同期状態は、統一されたタイムスタンプに基づいて決定され、次に、第1のオーディオストリームの切り替えポイントのパラメータ値と第2のオーディオストリームの切り替えポイントのパラメータ値は、同期状態に基づいて決定される。
一例では、非同期持続時間tnsyncは、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプを使用して計算を通じて得られ、第1のオーディオストリームと第2のオーディオストリームの同期状態は、非同期持続時間に基づいて決定されてもよい。
例えば、非同期持続時間が非同期しきい値(threshold1)(非同期持続時間は、第1のオーディオストリームと第2のオーディオストリームとの間の非同期時間差であり、非同期しきい値は、オーディオインターバル範囲の手動で決定された経験的値に基づいて決定されてもよく、例えば、非同期しきい値の値範囲は、1~5msである)よりも長い場合、第1のオーディオストリームと第2のオーディオストリームは同期されていないと決定される。
例えば、非同期持続時間は、
Figure 0007284266000045
であり、T は、第1のオーディオストリーム内の第1のパケットの統一タイムスタンプを表し、TS は、第2のオーディオストリーム内の第2のパケットの統一タイムスタンプを表し、fioは、第1のタイムスタンプに対応するサンプリング周波数を表し、Kは、1よりも大きい整数である。
別の例では、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプとの差に基づいて、第1のオーディオストリームと第2のオーディオストリームが同期しているかどうかが決定される。
Figure 0007284266000046
である場合、第1のオーディオストリームと第2のオーディオストリームは同期していないと決定され、そうでなければ、第1のオーディオストリームと第2のオーディオストリームは同期していると決定される。
追加的に、第1のオーディオストリームの切り替えポイントのパラメータ値と、第2のオーディオストリームの切り替えポイントのパラメータ値とは、複数の方式で決定されてもよい。以下に、実施可能な3つの方法を示す。
第1の実現可能な方法では、第1のオーディオストリームと第2のオーディオストリームが同期している場合、第1のオーディオストリームの第1のパケットのタイムスタンプを第1のオーディオストリームの切り替えポイントのタイムスタンプとして使用してもよく、第2のオーディオストリームの第2のパケットのタイムスタンプを第2のオーディオストリームの切り替えポイントのタイムスタンプとして使用してもよい。
第2の実現可能な方法では、第1のオーディオストリームと第2のオーディオストリームが同期している場合、第1のオーディオストリームの切り替えポイントのものであって、かつ第1の実現可能な方法で決定されたタイムスタンプに特定の待ち時間を加えた後で、得られた合計が切り替えポイントのタイムスタンプとして使用され、第2のオーディオストリームの切り替えポイントのものであって、かつ第1の実現可能な方法で決定されたタイムスタンプに特定の待ち時間を加えた後で、得られた合計が切り替えポイントのタイムスタンプとして使用される。
例えば、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプに基づいて、第1のオーディオストリームと第2のオーディオストリームが同期していると決定された場合、
Figure 0007284266000047
および
Figure 0007284266000048
である。
TS_SWは、第2のオーディオストリームの切り替えポイントのタイムスタンプを表し、TSは、第2のパケットの非統一タイムスタンプを表し、ti_pktは、第2のオーディオストリームのパケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、第2のオーディオストリームのサンプリング周波数に対応する理論値を表し、TS_SWは、第1のオーディオストリームの切り替えポイントのタイムスタンプを表し、TSは、第1のオーディオストリームの非統一タイムスタンプを表し、to_pktは、第1のオーディオストリームのパケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、第1のオーディオストリームのサンプリング周波数に対応する理論値を表し、K1は、第1のプリセット持続時間を表す。
第3の実現可能な方法では、第1のオーディオストリームと第2のオーディオストリームが同期していない場合、第1のオーディオストリームおよび/または第2のオーディオストリームに対して特定の待ち時間(例えば、非同期持続時間)を加えた後、得られた合計が切り替えポイントのタイムスタンプとして使用されてもよい。第2のオーディオストリームが第1のオーディオストリームよりも早い場合、第2のオーディオストリームに対して特定の待ち時間(例えば、非同期持続時間)を加え、得られた合計が切り替えポイントのタイムスタンプとして使用されるため、第2のオーディオストリームが第1のオーディオストリームと同期する。順序ずれのケースを考慮すると、別の特定の待ち時間を、特定の待ち時間が加えられた第1のオーディオストリームと第2のオーディオストリームに対して別々に加えてもよく、得られた合計が切り替えポイントのタイムスタンプとして使用される。第2のオーディオストリームが第1のオーディオストリームより遅い場合、第1のオーディオストリームは第2オーディオストリームと同期される。順序ずれのケースを考慮すると、同期した第1のオーディオストリームと第2のオーディオストリームに対して別の特定の待ち時間を別々に加えてもよく、得られた合計が切り替えポイントのタイムスタンプとして使用される。
例えば、第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプに基づいて、第1のオーディオストリームと第2のオーディオストリームが同期しておらず、第1のパケットの統一タイムスタンプが第2のパケットの統一タイムスタンプよりも遅い、すなわち、第2のオーディオストリームが第1のオーディオストリームよりも早いと決定される場合、
Figure 0007284266000049
および
Figure 0007284266000050
であるか、または
第1のパケットの統一タイムスタンプと第2のパケットの統一タイムスタンプに基づいて、第1のオーディオストリームと第2のオーディオストリームが同期しておらず、第1のパケットの統一タイムスタンプが第2のパケットの統一タイムスタンプよりも早い、すなわち、第2のオーディオストリームが第1のオーディオストリームよりも遅いと決定される場合、
Figure 0007284266000051
および
Figure 0007284266000052
である。K2は、第2のプリセット持続時間である。
この出願のこの実施形態では、第1のオーディオストリームの切り替えポイントのパラメータ値と第2のオーディオストリームの切り替えポイントのパラメータ値とが決定されるときに、第1のオーディオストリームのサンプリング周波数が第2のオーディオストリームのサンプリング周波数と同じである場合、第1のオーディオストリームと第2のオーディオストリームとの間の同期関係は、第1のパケットのタイムスタンプと第2のパケットのタイムスタンプとに基づいて直接決定され、第1のオーディオストリームの切り替えポイントのパラメータ値と第2のオーディオストリームの切り替えポイントのパラメータ値とは、同期関係に基づいて決定されてもよい。非同期時間は、サンプリング周波数が同じあるときと、サンプリング周波数が異なるときとで異なる方式で決定される。
例えば、非同期時間
Figure 0007284266000053
であり、TSは、第1のパケットのタイムスタンプを表し、TSは、第2のパケットのタイムスタンプを表し、fioは、第1のオーディオストリームのサンプリング周波数または第2のオーディオストリームのサンプリング周波数を表す。
第1のオーディオストリームの切り替えポイントのパラメータ値と第2のオーディオストリームの切り替えポイントのパラメータ値は、サンプリング周波数が同じときと、サンプリング周波数が異なるときとで、tnsyncがt1nsyncに置き換えられる場合、同様の方式で決定されるが、詳細は、繰り返し説明されない。
図3は、切り替えポイントのタイムスタンプを決定するプロセスの一例の概略図である。例えば、第1のオーディオストリームのサンプリング周波数は、第2のオーディオストリームのサンプリング周波数とは異なり、2つのオーディオストリームが同期されているかどうかは、非同期持続時間に基づいて決定される。
S301.tnsync>threshold1が満たされるかどうかを決定し、Yesである場合、S202を実行し、Noである場合、S305を実行する。
S302.第1のパケットの統一タイムスタンプが第2のパケットの統一タイムスタンプより遅いかどうかを決定し、Yesである場合、S303を実行し、Noである場合、S304を実行する。
S303.
Figure 0007284266000054
および
Figure 0007284266000055
である。
S304.
Figure 0007284266000056
および
Figure 0007284266000057
である。
S305.
Figure 0007284266000058
および
Figure 0007284266000059
である。
例えば、tnsync>threshold1であるときに、第1のオーディオストリームと第2のオーディオストリームが同期していないと決定され、またはtnsync≦threshold1であるときに、第1のオーディオストリームと第2のオーディオストリームが同期していないと決定される。threshold1は、0または2msであり得る。
例えば、この出願のこの実施形態では、別のしきい値をさらに設定してもよく、これを第3のしきい値と呼び、第3のしきい値は、threshold1よりも大きくてもよい。 nsync>第3の閾値である場合、第1のオーディオストリームと第2のオーディオストリームとが極端に大きく同期していないと決定され、第1のオーディオストリームの切り替えポイントのタイムスタンプと第2のオーディオストリームの切り替えポイントのタイムスタンプとは、S305を使用して決定されてもよい。
例えば、この出願のこの実施形態では、パラメータ値は、切り替えポイントのタイムスタンプであってもよく、またはシーケンス番号であってもよい。したがって、切り替えは、切り替えポイントのタイムスタンプに基づいて実行されてもよいし、切り替えポイントのシーケンス番号に基づいて実行されてもよい。切り替えポイントのタイムスタンプが決定された後、切り替えポイントのシーケンス番号は、切り替えポイントのタイムスタンプに基づいて決定されてもよい。
さらに、可能な例では、ステップS204において、切り替えデバイスは、第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットを、第2のオーディオストリーム内にあり、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットに切り替え、例えば、パラメータ値がタイムスタンプであり、以下の方式で、スイッチインストリーム/スイッチアウトストリーム内のパケットのタイムスタンプが切り替えポイントのタイムスタンプよりも大きいかどうかが決定されてもよい。切り替えポイントのタイムスタンプが計算を通じて得られた後、スイッチインストリーム/スイッチアウトストリームの現在のパケットのタイムスタンプが得られる。現在のパケットのタイムスタンプが切り替えポイントのタイムスタンプよりも小さい場合、2つの可能性が存在する。すなわち、1つの可能性は、現在のパケットのタイムスタンプも切り替えポイントのタイムスタンプも反転されず、現在のパケットが切り替えポイントに達していないことである。もう1つの可能性は、現在のパケットのタイムスタンプが反転され、切り替えポイントのタイムスタンプが反転されず、現在のパケットが切り替えポイントを超えていることである。現在のタイムスタンプが切り替えポイントのタイムスタンプよりも大きい場合、2つの可能性が存在する。すなわち、1つの可能性は、現在のパケットのタイムスタンプも切り替えポイントのタイムスタンプも反転されず、現在のパケットが切り替えポイントを超えていることである。もう1つの可能性は、現在のパケットのタイムスタンプが反転されず、切り替えポイントのタイムスタンプが反転され、現在のパケットが切り替えポイントに達していないことである。
例えば、タイムスタンプによって占有されるビットの数n=32が、例として使用される。現在のパケットのタイムスタンプが切り替えポイントのタイムスタンプよりも大きく、現在のパケットのタイムスタンプと切り替えポイントのタイムスタンプの差が2^31より大きい場合、切り替えポイントのタイムスタンプが反転され、現在のタイムスタンプが反転されないと決定される。現在のパケットのタイムスタンプが切り替えポイントのタイムスタンプよりも小さく、切り替えポイントのタイムスタンプと現在のパケットのタイムスタンプの差が2^31より大きい場合、切り替えポイントのタイムスタンプが反転されず、現在のパケットのタイムスタンプが反転されると決定される。
図4Aおよび図4Bは、切り替えデバイスが第1のオーディオストリーム内にあり、かつパラメータ値が第1のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットを、第2のオーディオストリーム内にあり、かつパラメータ値が第2のオーディオストリームの切り替えポイントのパラメータ値よりも大きいパケットに切り替える実施態様プロセスの例の概略図である。たとえば、パラメータ値はタイムスタンプである。
S401a.第1のオーディオストリーム内の現在のパケットのタイムスタンプTS1を得る。
S402a.TS1が第1のオーディオストリームの切り替えポイントのタイムスタンプTS_SWよりも大きいかどうかを決定し、Yesの場合、ステップS403aを実行し、Noの場合、ステップS404aを実行する。
S403a.Diff_TS1=TS1-TS_SWを得る。
S405a.Diff_TS1>2^31であるかどうかを決定し、Yesの場合、406aを実行し、Noの場合、S407aを実行する。
S406a.切り替えポイントのタイムスタンプが反転され、この場合、現在のパケットが切り替えポイントを超え、現在のパケットを転送する。
S407a.現在のパケットを破棄する。
S404a.Diff_TS2=TS1_SW-TSを得る。
S408a.Diff_TS2>2^31であるかどうかを決定し、Yesの場合、S409aを実行し、No場合、S410aを実行する。
S409a.現在のパケットのタイムスタンプが反転され、現在のパケットが切り替えポイントを超、現在のパケットを破棄する。
S410a.現在のパケットを転送する。
S401b.第2のオーディオストリーム内の現在のパケットのタイムスタンプTS2を得る。
S402b.TS2が第2のオーディオストリームの切り替えポイントのタイムスタンプTS_SWよりも大きいかどうかを決定し、Yesの場合、ステップS403bを実行し、Noの場合、ステップS404bを実行する。
S403b.Diff_TS1=TS2-Ts_SWを得る。
S405b.Diff_TS1>2^31であるかどうかを決定し、Yesの場合、S406bを実行し、Noの場合、S407bを実行する。
S406b.切り替えポイントのタイムスタンプが反転しており、この場合、現在のパケットが切り替えポイントを超えていないことを決定し、現在のパケットを破棄する。
S407b.現在のパケットを転送する。
S404b.Diff_TS2=TS_SW-TSを得る。
S408b.Diff_TS2>2^31であるかどうかを決定し、Yesの場合、S409bを実行し、Noの場合、S410bを実行する。
S409b.現在のパケットのタイムスタンプが反転され、現在のパケットが切り替えポイントを超、現在のパケットを転送する。
S410b.現在のパケットを破棄する。
以下では、特定のアプリケーションシナリオを参照して、この出願のこの実施形態を詳細に説明する。
ここでは、例えば、2つの切り替えられるオーディオストリームは、SMPTE2110規格を満たし、2つのオーディオストリームに含まれるパケットは、RTPパケットである。
まず、2つのオーディオストリーム間の切り替えを例として使用する。図5は、切り替えられる2つのオーディオストリームを示す。図5では、例えば、2つのオーディオストリームのオーディオ情報は、切り替え命令が受信された後に学習される。特定のオーディオ情報学習方式については、図2に示す実施形態の説明を参照のこと。詳細は、ここでは再度説明しない。図5において、オーディオストリーム1はスイッチアウトストリームであり、オーディオストリーム2はスイッチインストリームである。
任意選択で、この出願では、各オーディオストリームに対して切り替えフローテーブルをさらに確立して、オーディオストリームの切り替え状態、オーディオ情報などを記録してもよい。
例えば、図6は、切り替えフローテーブルの形態を示す。
図6において、ストリームタイプTYPEは、オーディオストリームの状態を表し、3つの状態が存在する。すなわち、通常転送ストリーム、スイッチインストリーム、およびスイッチアウトストリームである。
タイムスタンプ(TS)は、オーディオストリーム内の現在のパケットのタイムスタンプを表し、RTP.TSから得られてもよい。
シーケンス番号(SN)は、オーディオストリーム内の現在のパケットのシーケンス番号を表し、RTP.SNから得られてもよい。
タイムスタンプ差合計(SUM_DTS)は、オーディオ情報学習プロセスで受信したパケット間のタイムスタンプ差の合計を表す。
シーケンス番号差合計(SUM_DSEQ)は、統計学習プロセスで受信したパケット間のシーケンス番号差の合計を表す。
パケット時間T_PKT(T_PKT)は、オーディオストリームのパケット時間を表す。例えば、2つのタイプのパケット時間が存在する。すなわち、125μs、および1msである。
サンプリング周波数(F_SMPL)は、オーディオストリームのサンプリング周波数を表す。例えば、3つのサンプリング周波数が存在する。すなわち、44.1kHz、48kHz、および96kHzである。
切り替えポイントタイムスタンプTS_SWは、切り替えポイントのタイムスタンプを表す。
切り替えポイントシーケンス番号(TS_SN)は、切り替えポイントのシーケンス番号を表す。
シーケンス番号オフセット(SN_OFST)は、スイッチアウトストリームの転送中のRTPシーケンス番号オフセット値を表す。
学習フラグ(F_LN)は、オーディオストリームのオーディオ情報が学習され始めることを示すフラグを表す。
学習フェーズ終了フラグ(F_FL)は、オーディオストリームのオーディオ情報の学習フェーズの終了フラグを表す。
切り替えポイントの計算終了フラグ(F_FSW)は、切り替えポイントの計算が終了したことを示すフラグを表す。
図7は、オーディオストリーム切り替え方法の一例の概略フローチャートである。
S701a.オーディオストリーム1内のパケットの転送をスキップする。
S701b.オーディオストリーム2内のパケットを通常転送する。
S702.切り替え命令を受信する。切り替え命令は、オーディオストリーム1をオーディオストリーム2に切り替えるように指示するために使用される。
オーディオストリーム1の切り替えフローテーブル内のストリームタイプは、スイッチアウトストリームに更新され、オーディオストリーム2の切り替えフローテーブル内のストリームタイプは、スイッチインストリームに更新される。
例えば、オーディオ情報学習フェーズに入り、切り替え命令が受信されたパケットの次のパケットから開始され、2つのオーディオストリームの切り替えフローテーブルにおける学習フラグF_LNエントリは、例えば1に設定されるように更新されてもよい。
S703a.オーディオストリーム1のオーディオ情報を学習するプロセスを実行する。オーディオ情報は、サンプリング周波数を含み、パケット時間をさらに含んでもよい。S703b.オーディオストリーム2のオーディオ情報を学習するプロセスを実行する。
オーディオストリーム1とオーディオストリーム2内の各パケットを受信した後、パケットのタイムスタンプと切り替えフローテーブル内のタイムスタンプTSとの差と、パケットのシーケンス番号と切り替えフローテーブル内のシーケンス番号SNとの差を計算し、その差に基づいて切り替えフローテーブル内のSUM_DTSとSUM_DSEQを更新し、現在受信しているパケットに基づいてフローテーブル内のTSエントリとSNエントリの値を更新する(学習フェーズにおける最初のパケットに対しては、フローテーブルのTSエントリとSNエントリのみを更新する必要があり、他の動作を実行する必要はない)。
S704a.学習を終了し、オーディオストリーム1のオーディオ情報を得る。
S704b.学習を終了し、オーディオストリーム2のオーディオ情報を得る。
学習終了後、SUM_DTSおよびSUM_DSEQに基づき、オーディオストリーム1およびオーディオストリーム2の各々のパケット時間およびサンプリング周波数などのオーディオ情報を得て、パケット時間およびサンプリング周波数は、フローテーブル内のパケット時間T_PKTおよびサンプリング周波数F_SMPL値にそれぞれ更新される。2つのオーディオストリームの切り替えフローテーブル内の学習フェーズ終了フラグF_FLは、さらに更新されてもよく、例えば、1に設定されてもよい。
S705.オーディオストリーム1のタイムスタンプ基準とオーディオストリーム2のタイムスタンプ基準を統一する。例えば、オーディオストリーム1およびオーディオストリーム2の各々において学習が終了した最初のパケットは、オーディオストリーム1のタイムスタンプ基準とオーディオストリーム2のタイムスタンプ基準を統一するように選択される。
S706.オーディオストリーム1の切り替えポイントのタイムスタンプと、オーディオストリーム2の切り替えポイントのタイムスタンプとを別々に決定する。
学習フェーズ終了フラグF_FLが1になった後、切り替えポイントの計算を開始する。オーディオストリーム1のタイムスタンプ参照とオーディオストリーム2のタイムスタンプ参照が統一され、同期状態が決定される。オーディオストリーム1の切り替えポイントのタイムスタンプおよび/またはシーケンス番号、オーディオストリーム2の切り替えポイントのタイムスタンプおよび/またはシーケンス番号、およびオーディオストリーム2のシーケンス番号オフセットが計算される。
例えば、図8に示すように、順序ずれを考慮すると、オーディオストリーム1ではシーケンス番号82のパケットの受信時間がシーケンス番号81のパケットの受信時間よりも早く、オーディオストリーム2ではシーケンス番号17のパケットの受信時間がシーケンス番号16のパケットの受信時間よりも早い。したがって、特定の待ち時間が、切り替えポイントの計算されたタイムスタンプまたはシーケンス番号に加えられ、得られたオーディオストリーム1の切り替えポイントのタイムスタンプは384であり、得られたオーディオストリーム1の切り替えポイントのシーケンス番号は16である。オーディオストリーム2の切り替えポイントのタイムスタンプは388であり、オーディオストリーム2の切り替えポイントのシーケンス番号は81である。
S70a.オーディオストリーム2内にあり、かつタイムスタンプがオーディオストリーム2の切り替えポイントのタイムスタンプよりも大きいパケットを破棄する。
S70b.オーディオストリーム1内にあり、かつタイムスタンプがオーディオストリーム1の切り替えポイントのタイムスタンプよりも大きいパケットを破棄する。
切り替えポイント計算終了フラグが真の後、オーディオストリーム1およびオーディオストリーム2の各々におけるパケットのタイムスタンプが切り替えポイントのタイムスタンプよりも大きいかどうかが決定される。図8に示すように、タイムスタンプがオーディオストリーム2において384以上であるパケットは、もはや転送されない。タイムスタンプがオーディオストリーム1において388以上であるパケットが転送される。具体的には、オーディオストリーム2では、タイムスタンプが432であるパケットの受信時間は、タイムスタンプが384であるパケットの受信時間よりも早いが、タイムスタンプが432であるパケットは、もはや転送されない。オーディオストリーム1では、タイムスタンプが480であるパケットの受信時間は、タイムスタンプが388であるパケットの受信時間よりも早いが、タイムスタンプが480であるパケットは転送される必要がある。
追加的に、オーディオストリーム1(スイッチインストリーム)内のパケットが転送されるときに、宛先IPと宛先ポートが修正される。切り替えプロセスにおけるRTPシーケンス番号の連続性を保証するために、オーディオストリーム1(スイッチインストリーム)内の転送されたパケットのシーケンス番号は、オーディオストリーム1のシーケンス番号オフセット値とオーディオストリーム2のシーケンス番号オフセット値に基づいて修正されてもよい。
例えば、図9に示すように、切り替え前に、オーディオストリーム2のシーケンス番号オフセット値に基づいて、オーディオストリーム2のシーケンス番号90~94は、計算を通じてシーケンス番号3000~3004であるべきであると決定される。切り替え後、シーケンス番号は3005から始まるべきである。オーディオストリーム1内のパケットのシーケンス番号は、切り替えが始まるときに、1005から始まり、オーディオストリーム1のシーケンス番号オフセット値が2000であると判断し、シーケンス番号オフセット値2000を計算を通じて各シーケンス番号に加えるようにする。
任意選択で、オーディオストリーム1とオーディオストリーム2との間の切り替えが始まった後にプリセット持続時間が満了した後、オーディオストリーム1とオーディオストリーム2は安定状態に入り、切り替えが終了するときに、オーディオストリーム1とオーディオストリーム2との切り替えフローテーブル内のストリームタイプが更新されてもよい。加えて、切り替えフローテーブル内のストリームタイプとシーケンス番号オフセットとは異なる他のフィールドが、リセットされてもよい。
加えて、Y個のオーディオストリームを別のY個のオーディオストリームに切り替えてもよく、Yは2以上の正の整数である。例えば、図10を参照すると、2つのオーディオストリームは、別の2つのオーディオストリームに切り替えられる。複数のオーディオストリーム間の切り替えと2つのオーディオストリーム間の切り替えとの違いは、切り替えプロセスにおいて、切り替えポイントのタイムスタンプおよび/またはシーケンス番号が計算される前に、スイッチインストリームに含まれる2つのオーディオストリームのタイムスタンプおよびスイッチアウトストリームに含まれる2つのオーディオストリームのタイムスタンプが、最初に、同じタイムスタンプ基準に基づいて統一され、4つのオーディオストリーム内にあり、かつ基準に基づいて統一された後に得られるタイムスタンプが比較されて、スイッチインストリームに含まれる2つのオーディオストリームのうちの早いタイムスタンプを有するオーディオストリーム、およびスイッチアウトストリームに含まれる2つのオーディオストリームのうちの早いタイムスタンプを有するオーディオストリームが決定される点にある。スイッチインストリームのタイムスタンプは、スイッチインストリーム内の早いタイムスタンプを有するオーディオストリームに基づいて決定され、スイッチアウトストリームのタイムスタンプは、スイッチアウトストリーム内の早いタイムスタンプを有するオーディオストリームに基づいて決定される。例えば、図10に示すように、スイッチインストリームは、オーディオストリームaおよびオーディオストリームbを含み、スイッチアウトストリームは、オーディオストリームcおよびオーディオストリームdを含む。図10から、オーディオストリームbは、スイッチインストリームのオーディオストリームaよりも早く、オーディオストリームcは、スイッチアウトストリームのオーディオストリームdよりも早いことが分かる。スイッチインストリームおよびスイッチアウトストリームの切り替えポイントのタイムスタンプおよび/またはシーケンス番号は、オーディオストリームbおよびオーディオストリームcのタイムスタンプに基づいて別々に決定されてもよい。特定の決定方式については、図2および図7に示す実施形態の説明を参照のこと。詳細は、ここでは再度説明しない。
図11に示されるように、前述の方法の実施形態と同じ発明の概念に基づいて、この出願の実施形態は、さらに装置を提供する。装置は、受信ユニット1101、処理ユニット1102、および送信ユニット1103を含んでもよい。
可能な実施態様では、装置は、前述の方法における切り替えデバイスの機能を実装する。装置は、切り替えデバイスであってもよいし、切り替えデバイス内の1つ以上のプロセッサ、または1つ以上のチップであってもよい。具体的には、受信ユニット1101、処理ユニット1102、送信ユニット110は、前述の方法の実施形態のいずれかにおいて、切り替えデバイスによって実行する対応する機能を実行してもよい。ここでは、詳細は記載しない。
この出願のこの実施態様において、ユニット分割は、一例であり、単に論理機能分割である。実際の実施態様では、別の分割方式が存在してもよい。追加的に、この出願のこの実施形態における機能ユニットは、1つのプロセッサに統合されてもよいし、物理的に単独で存在してもよいし、2つ以上のユニットが1つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実施されてもよいし、ソフトウェア機能ユニットの形態で実施されてもよい。
図12に示すように、同じ概念に基づいて、この出願は、装置1200を提供する。装置1200は、少なくとも1つのプロセッサ1210を含む。装置は、プログラム命令および/またはデータを記憶するように構成されている少なくとも1つのメモリ1220をさらに含んでもよい。メモリ1220は、プロセッサ1210に結合される。この出願のこの実施形態における結合は、装置、ユニット、またはモジュール間の間接的な結合または通信接続であり、電気的、機械的、または他の形態で実施してもよく、装置、ユニット、またはモジュール間の情報交換のために使用される。プロセッサ1210は、メモリ1220と協調動作を実行してもよい。プロセッサ1210は、プロセッサ1210がプログラム命令を呼び出してプロセッサ1210の機能を実施するように、メモリ1220に記憶されたプログラム命令を実行してもよい。任意選択で、少なくとも1つのメモリ1220のうちの少なくとも1つは、プロセッサ1210に含まれてもよい。装置1200は、通信インターフェース1230をさらに含んでもよい。装置1200は、通信インターフェース1230を使用して、他の装置と情報を交換してもよい。通信インターフェース1230は、回路、バス、トランシーバ、または情報を交換するように構成され得る任意の他の装置であってもよい。
装置1200は、切り替えデバイスに適用される。具体的には、装置1200は、切り替えデバイスであってもよいし、前述の実施形態のいずれかに従った方法において切り替えデバイスの機能を実施する際に切り替えデバイスをサポートすることができる装置であってもよい。例えば、装置1200内の少なくとも1つのプロセッサ1210は、前述の実施形態のいずれかに従った方法における切り替えデバイスの機能を実施するように構成されている。
例えば、装置1200は、チップまたはチップシステムであってもよい。任意選択で、この出願のこの実施形態では、チップシステムは、チップを含んでもよいし、チップおよび別の個別デバイスを含んでもよい。
この出願のこの実施形態では、通信インターフェース1230、プロセッサ1210、およびメモリ1220の間の特定の接続媒体は、制限されない。この出願のこの実施形態では、メモリ1220、プロセッサ1210、および通信インターフェース1230は、図12におけるバスを使用して接続される。図12において、バスは太線を使用して示されている。他の構成要素間の接続方式は、説明のための単なる例にすぎず、制限を課すものではない。バスは、アドレスバス、データバス、制御バスなどに分類されてもよい。表現を容易にするために、図12のバスを表すためには1つの太線のみが使用されるが、これは、バスが1つのみ、またはバスのタイプが1つのみであることを意味するものではない。
この出願のこの実施形態では、プロセッサは、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイもしくは別のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理デバイス、または個別ハードウェアコンポーネントであってもよいし、この出願の実施形態で開示される方法、ステップ、および論理ブロック図を実施または実行してもよい。汎用プロセッサは、マイクロプロセッサ、任意の従来のプロセッサなどとしてもよい。この出願の実施形態を参照して開示される方法のステップは、ハードウェアプロセッサによって直接的に実行されてもよいし、プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを使用して実行されてもよい。
この出願のこの実施形態では、メモリは、ハードディスク(hard disk drive、HDD)またはソリッドステートドライブ(solid-state drive、SSD)などの不揮発性メモリであってもよいし、ランダムアクセスメモリ(random-access memory、RAM)などの揮発性メモリ(volatile memory)であってもよい。代替的に、メモリは、命令またはデータ構造の形態で期待されるプログラムコードを搬送または記憶するように構成することができ、コンピュータにアクセス可能であるが、これに限定されない他の任意の媒体であってもよい。代替的に、この出願のこの実施形態のメモリは、記憶機能を実施することができ、プログラム命令および/またはデータを記憶するように構成されている回路または任意の他の装置であってもよい。
前述の実施形態に基づいて、この出願の実施形態は、さらに、コンピュータ記憶媒体を提供する。記憶媒体は、ソフトウェアプログラムを記憶し、1つ以上のプロセッサによって読み出され実行されるときに、ソフトウェアプログラムは、前述の実施形態のうちの1つ以上に従って方法を実施することができる。コンピュータ記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリーメモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクなどのプログラムコードを記憶することができる任意の媒体を含んでもよい。
前述の実施形態に基づいて、この出願の実施形態は、チップをさらに提供する。チップは、前述の実施形態のうちのいずれか1つまたは複数において機能を実施する、例えば、前述の方法における情報またはメッセージを取得または処理するように構成されているプロセッサを含む。任意選択で、チップは、メモリをさらに含み、メモリは、プロセッサが機能を実行するために必要なプログラム命令およびデータを記憶するように構成されている。チップは、チップを含んでもよいし、チップおよび別の個別デバイスを含んでもよい。
当業者は、この出願の実施形態が、方法、システムまたはコンピュータプログラム製品として提供され得ることを理解すべきである。したがって、この出願は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアの組み合わせを有する実施形態の形態を使用してもよい。追加的に、この出願は、コンピュータ使用可能プログラムコードを含む、1つ以上のコンピュータ使用可能な記憶媒体(限定するものではないが、磁気ディスクメモリ、CD-ROM、光メモリなどを含む)上に実施されるコンピュータプログラム製品の形態を使用してもよい。
この出願は、この出願の実施形態による方法、デバイス(システム)、およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明される。コンピュータプログラム命令は、フローチャートおよび/またはブロック図の各プロセスおよび/または各ブロック、およびフローチャートおよび/またはブロック図のプロセスおよび/またはブロックの組み合わせを実施するために使用され得ると理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、埋め込みプロセッサ、または別のプログラマブルデータ処理デバイスのプロセッサに提供されてもよく、コンピュータまたは別のプログラマブルデータ処理デバイスのプロセッサによって実行される命令が、フローチャートの1つ以上のプロセスおよび/またはブロック図の1つ以上のブロックにおいて特定の機能を実施するための装置を生成するように、マシンを生成する。
これらのコンピュータプログラム命令は、代替的に、コンピュータまたは別のプログラマブルデータ処理デバイスが特定の方式で動作するように命令することができるコンピュータ可読メモリに記憶されてもよく、コンピュータ可読メモリに記憶された命令が、命令装置を含むアーチファクトを生成するようにする。命令装置は、フローチャート中の1つ以上のプロセスおよび/またはブロック図中の1つ以上のブロック中の特定の機能を実施する。
これらのコンピュータプログラム命令は、代替的に、コンピュータまたは別のプログラマブルデータ処理デバイスにロードされてもよく、一連の動作およびステップがコンピュータまたは別のプログラマブルデバイス上で実行され、それによって、コンピュータに実施された処理を生成する。したがって、コンピュータまたは別のプログラマブルデバイス上で実行される命令は、フローチャート中の1つ以上のプロセスおよび/またはブロック図中の1つ以上のブロック中の特定の機能を実施するためのステップを提供する。
当業者は、この出願の範囲から逸脱することなく、この出願に様々な修正および変更を加えることができることは明らかである。このようにして、この出願は、この出願の特許請求の範囲およびそれらの同等の技術に含まれる限り、この出願のこれらの修正および変更をカバーすることを意図している。

Claims (17)

  1. オーディオストリーム切り替え方法であって、
    切り替えデバイスによって、切り替え命令を受信することであって、前記切り替え命令は、送信された第1のオーディオストリームから第2のオーディオストリームに切り替えるように指示する、受信することと、
    前記切り替えデバイスによって、前記第1のオーディオストリームの第1のパケットのタイムスタンプと前記第2のオーディオストリームの第2のパケットのタイムスタンプとに基づいて、前記第1のオーディオストリームと前記第2のオーディオストリームとの間の同期関係を決定することであって、前記第1のパケットの受信時間は、前記第2のパケットの受信時間と同じである、決定することと、
    前記切り替えデバイスによって、前記同期関係と前記第1のパケットの前記タイムスタンプとに基づいて、前記第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、前記同期関係と前記第2のパケットの前記タイムスタンプとに基づいて、前記第2のオーディオストリームの切り替えポイントのパラメータ値を決定することであって、前記切り替えポイントの前記パラメータ値が、前記切り替えポイントのタイムスタンプまたは前記切り替えポイントのシーケンス番号である、決定することと、
    前記切り替えデバイスによって、前記第1のオーディオストリーム内にあり、かつパラメータ値が前記第1のオーディオストリームの前記切り替えポイントの前記パラメータ値より大きいパケットを、前記第2のオーディオストリーム内にあり、かつパラメータ値が前記第2のオーディオストリームの前記切り替えポイントの前記パラメータ値より大きいパケットに切り替えることと、を含み、
    前記切り替えデバイスによって、前記第1のオーディオストリームの第1のパケットのタイムスタンプと前記第2のオーディオストリームの第2のパケットのタイムスタンプとに基づいて、前記第1のオーディオストリームと前記第2のオーディオストリームとの間の同期関係を決定することは、
    前記第1のオーディオストリームのサンプリング周波数が、前記第2のオーディオストリームのサンプリング周波数と異なるときに、前記切り替えデバイスによって、前記第1のオーディオストリームの前記サンプリング周波数と前記第2のオーディオストリームの前記サンプリング周波数とに基づいて、かつ基準サンプリング周波数に基づいて、前記第1のパケットの前記タイムスタンプと前記第2のパケットの前記タイムスタンプとを統一することと、前記切り替えデバイスによって、前記第1のパケットの統一タイムスタンプと前記第2のパケットの統一タイムスタンプとに基づいて、前記第1のオーディオストリームと第2のオーディオストリームとの間の前記同期関係を決定することと、を含み、
    前記第1のオーディオストリームの前記サンプリング周波数は、前記第1のオーディオストリーム内のN個の受信パケットのタイムスタンプに基づいて決定され、前記第2のオーディオストリームの前記サンプリング周波数は、前記第2のオーディオストリーム内のM個の受信パケットのタイムスタンプに基づいて決定され、MとNの両方は、正の整数であり、前記基準サンプリング周波数は、前記第1のオーディオストリームの前記サンプリング周波数、前記第2のオーディオストリームの前記サンプリング周波数、またはプリセットサンプリング周波数である、方法。
  2. 前記第1のオーディオストリームの前記サンプリング周波数および前記第2のオーディオストリームの前記サンプリング周波数は、
    前記切り替えデバイスによって、前記第1のオーディオストリームの第1のタイムスタンプ増分グループと、前記第2のオーディオストリームの第2のタイムスタンプ増分グループとを得ることであって、
    前記第1のタイムスタンプ増分グループは、前記N個のパケットの前記タイムスタンプに基づいて決定されるN-1個の第1のタイムスタンプ増分を含み、前記第2のタイムスタンプ増分グループは、前記M個のパケットの前記タイムスタンプに基づいて決定されるM-1個の第2のタイムスタンプ増分を含み、
    前記第1のタイムスタンプ増分は、前記第1のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であり、前記第2のタイムスタンプ増分は、前記第2のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であるか、または、前記第1のタイムスタンプ増分は、前記第1のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差であり、前記第2のタイムスタンプ増分は、前記第2のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差である、ことと、
    前記切り替えデバイスによって、前記第1のタイムスタンプ増分グループに基づいて、前記第1のオーディオストリームの前記サンプリング周波数を決定し、前記第2のタイムスタンプ増分グループに基づいて、前記第2のオーディオストリームの前記サンプリング周波数を決定することと、を行うことにより決定される、請求項1に記載の方法。
  3. 前記N個のパケットは、前記切り替え命令が受信された後に受信される前記第1のオーディオストリーム内の最初のN個のパケットであり、前記M個のパケットは、前記切り替え命令が受信された後に受信される前記第2のオーディオストリーム内の最初のM個のパケットであり、NはMに等しい、請求項2に記載の方法。
  4. 前記第1のパケットは、前記第1のオーディオストリーム内にあり、前記第1のオーディオストリームの前記サンプリング周波数が決定されたときに受信されるパケットであり、前記第2のパケットは、前記第2のオーディオストリーム内にあり、前記第2のオーディオストリームのオーディオ情報が決定されたときに受信されるパケットである、請求項3に記載の方法。
  5. 前記切り替えデバイスによって、前記同期関係と前記第1のパケットの前記タイムスタンプとに基づいて、前記第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、前記同期関係と前記第2のパケットの前記タイムスタンプとに基づいて、前記第2のオーディオストリームの切り替えポイントのパラメータ値を決定することは、
    前記切り替えデバイスによって、前記同期関係、前記第1のパケットの前記タイムスタンプ、および前記第1のオーディオストリームのパケット時間に基づいて、前記第1のオーディオストリームの前記切り替えポイントの前記パラメータ値を決定し、前記同期関係、前記第2のパケットの前記タイムスタンプ、前記第2のオーディオストリームのパケット時間に基づいて、前記第2のオーディオストリームの前記切り替えポイントの前記パラメータ値を決定することを含み、
    前記第1のオーディオストリームの前記パケット時間は、前記N個のパケットの前記タイムスタンプに基づいて決定され、第2のオーディオストリームの前記パケット時間は、前記M個のパケットの前記タイムスタンプに基づいて決定される、請求項2~4のいずれか一項に記載の方法。
  6. 前記第1のオーディオストリームの前記切り替えポイントのパケットタイムスタンプと、前記第2のオーディオストリームの前記切り替えポイントのパケットタイムスタンプとが、
    前記第1のパケットの前記統一タイムスタンプと前記第2のパケットの前記統一タイムスタンプとに基づいて、前記第1のオーディオストリームと第2のオーディオストリームとが同期されていると決定された場合、
    Figure 0007284266000060
    、および
    Figure 0007284266000061
    であるという条件、
    前記第1のパケットの前記統一タイムスタンプが、前記第2のパケットの前記統一タイムスタンプよりも遅い場合、
    Figure 0007284266000062
    、および
    Figure 0007284266000063
    であるという条件、または
    前記第1のパケットの前記統一タイムスタンプが、前記第2のパケットの前記統一タイムスタンプよりも早い場合、
    Figure 0007284266000064
    、および
    Figure 0007284266000065
    であるという条件を満たし、
    Figure 0007284266000066
    であり、TS は、前記第1のパケットの前記統一タイムスタンプを表し、TS は、前記第2のパケットの前記統一タイムスタンプを表し、fioは、前記基準サンプリング周波数を表し、TS_SWは、前記第2のオーディオストリームの前記切り替えポイントの前記タイムスタンプを表し、TSは、前記第2のパケットの非統一タイムスタンプを表し、ti_pktは、前記第2のオーディオストリームの前記パケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、前記第2のオーディオストリームの前記サンプリング周波数に対応する理論値を表し、TS_SWは、前記第1のオーディオストリームの前記切り替えポイントの前記タイムスタンプを表し、TSは、前記第1のオーディオストリームの非統一タイムスタンプを表し、to_pktは、前記第1のオーディオストリームの前記パケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、前記第1のオーディオストリームの前記サンプリング周波数に対応する理論値を表し、K1は、第1のプリセット持続時間を表し、K2は、第2のプリセット持続時間を表す、請求項5に記載の方法。
  7. 決定されるオーディオストリームのパケット時間が、
    Figure 0007284266000067
    である場合、前記決定されるオーディオストリームの前記パケット時間が第1の値であるという条件、または
    Figure 0007284266000068
    である場合、前記決定されるオーディオストリームの前記パケット時間が第2の値であるという条件を満たし、前記決定されるオーディオストリームが、前記第1のオーディオストリームまたは前記第2のオーディオストリームであり、
    Figure 0007284266000069
    であり、
    Figure 0007284266000070
    は、前記決定されるオーディオストリームのタイムスタンプ増分グループに基づいて決定されたタイムスタンプ増分平均を表し、dTSthresは、隣接するパケット間のタイムスタンプ差のものであり、異なるパケット時間に対応する理論値に関し、dTSは、前記決定されるオーディオストリームの前記タイムスタンプ増分グループのi番目のタイムスタンプ増分を表し、dSEQは、前記i番目のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号差を表し、wは、前記決定されるオーディオストリームの前記タイムスタンプ増分グループのタイムスタンプ増分の数を表す、請求項5または6に記載の方法。
  8. 前記切り替えデバイスによって、前記第1のタイムスタンプ増分グループに基づいて、前記第1のオーディオストリームの前記サンプリング周波数を決定することは、
    複数の第1のフィッティング誤差を得るために、前記N-1個の第1のタイムスタンプ増分、各第1のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号の差、および隣接するパケット間のタイムスタンプ差のものであって、前記切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記複数の第1のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記最小の第1のフィッティング誤差に対応する前記理論値に対応する理論サンプリング周波数を、前記第1のオーディオストリームの前記サンプリング周波数として使用することと、を含むか、または
    前記切り替えデバイスによって、前記第2のタイムスタンプ増分グループに基づいて、前記第2のオーディオストリームの前記サンプリング周波数を決定することは、
    複数の第2のフィッティング誤差を得るために、前記M-1個の第2のタイムスタンプ増分、各第2のタイムスタンプ増分に対応する2つのパケット間のタイムスタンプ差、および隣接するパケット間のタイムスタンプ差のものであって、前記切り替えデバイスによってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記複数の第2のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記最小の第2のフィッティング誤差に対応する前記理論値に対応する理論サンプリング周波数を、前記第2のオーディオストリームの前記サンプリング周波数として使用することと、を含む、請求項2~7のいずれか一項に記載の方法。
  9. オーディオストリーム切り替え装置であって、
    切り替え命令を受信することであって、前記切り替え命令は、送信された第1のオーディオストリームから第2のオーディオストリームに切り替えるように指示する、受信することを行うように構成されている受信ユニットと、
    前記第1のオーディオストリームの第1のパケットのタイムスタンプと前記第2のオーディオストリームの第2のパケットのタイムスタンプとに基づいて、前記第1のオーディオストリームと前記第2のオーディオストリームとの間の同期関係を決定することであって、前記第1のパケットの受信時間は、前記第2のパケットの受信時間と同じである、決定することと、前記同期関係と前記第1のパケットの前記タイムスタンプとに基づいて、前記第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、前記同期関係と前記第2のパケットの前記タイムスタンプとに基づいて、前記第2のオーディオストリームの切り替えポイントのパラメータ値を決定することであって、前記切り替えポイントの前記パラメータ値が、前記切り替えポイントのタイムスタンプまたは前記切り替えポイントのシーケンス番号である、決定することと、を行うように構成されている処理ユニットと、
    前記第1のオーディオストリーム内にあり、かつパラメータ値が前記第1のオーディオストリームの前記切り替えポイントの前記パラメータ値より大きいパケットを、前記第2のオーディオストリーム内にあり、かつパラメータ値が前記第2のオーディオストリームの前記切り替えポイントの前記パラメータ値より大きいパケットに切り替えることを行うように構成されている送信ユニットと、を含み、
    前記第1のオーディオストリームの前記第1のパケットの前記タイムスタンプと前記第2のオーディオストリームの前記第2のパケットの前記タイムスタンプとに基づいて、前記第1のオーディオストリームと前記第2のオーディオストリームとの間の前記同期関係を決定するときに、前記処理ユニットは、
    前記第1のオーディオストリームのサンプリング周波数が、前記第2のオーディオストリームのサンプリング周波数と異なるときに、前記第1のオーディオストリームの前記サンプリング周波数と前記第2のオーディオストリームの前記サンプリング周波数とに基づいて、かつ基準サンプリング周波数に基づいて、前記第1のパケットの前記タイムスタンプと前記第2のパケットの前記タイムスタンプとを統一することと、前記第1のパケットの統一タイムスタンプと前記第2のパケットの統一タイムスタンプとに基づいて、前記第1のオーディオストリームと第2のオーディオストリームとの間の前記同期関係を決定することとを行うように構成されており、
    前記第1のオーディオストリームの前記サンプリング周波数は、前記第1のオーディオストリーム内のN個の受信パケットのタイムスタンプに基づいて決定され、前記第2のオーディオストリームの前記サンプリング周波数は、前記第2のオーディオストリーム内のM個の受信パケットのタイムスタンプに基づいて決定され、MとNの両方は、正の整数であり、前記基準サンプリング周波数は、前記第1のオーディオストリームの前記サンプリング周波数、前記第2のオーディオストリームの前記サンプリング周波数、またはプリセットサンプリング周波数である、装置。
  10. 前記処理ユニットは、
    前記第1のオーディオストリームの第1のタイムスタンプ増分グループと、前記第2のオーディオストリームの第2のタイムスタンプ増分グループとを得ることであって、
    前記第1のタイムスタンプ増分グループは、前記N個のパケットの前記タイムスタンプに基づいて決定されるN-1個の第1のタイムスタンプ増分を含み、前記第2のタイムスタンプ増分グループは、前記M個のパケットの前記タイムスタンプに基づいて決定されるM-1個の第2のタイムスタンプ増分を含み、
    前記第1のタイムスタンプ増分は、前記第1のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であり、前記第2のタイムスタンプ増分は、前記第2のオーディオストリーム内の2つの連続的に受信されたパケット間のタイムスタンプ差であるか、または、前記第1のタイムスタンプ増分は、前記第1のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差であり、前記第2のタイムスタンプ増分は、前記第2のオーディオストリーム内の受信された隣接パケット間のタイムスタンプ差である、ことと、
    前記第1のタイムスタンプ増分グループに基づいて、前記第1のオーディオストリームの前記サンプリング周波数を決定し、前記第2のタイムスタンプ増分グループに基づいて、前記第2のオーディオストリームの前記サンプリング周波数を決定することと、を行うことにより、前記第1のオーディオストリームのサンプリング周波数および前記第2のオーディオストリームのサンプリング周波数を得るようにさらに構成されている、請求項9に記載の装置。
  11. 前記N個のパケットは、前記切り替え命令が受信された後に受信される前記第1のオーディオストリーム内の最初のN個のパケットであり、前記M個のパケットは、前記切り替え命令が受信された後に受信される前記第2のオーディオストリーム内の最初のM個のパケットであり、NはMに等しい、請求項10に記載の装置。
  12. 前記第1のパケットは、前記第1のオーディオストリーム内にあり、前記第1のオーディオストリームの前記サンプリング周波数が決定されたときに受信されるパケットであり、前記第2のパケットは、前記第2のオーディオストリーム内にあり、前記第2のオーディオストリームのオーディオ情報が決定されたときに受信されるパケットである、請求項11に記載の装置。
  13. 前記同期関係と前記第1のパケットの前記タイムスタンプとに基づいて、前記第1のオーディオストリームの切り替えポイントのパラメータ値を決定し、前記同期関係と前記第2のパケットの前記タイムスタンプとに基づいて、前記第2のオーディオストリームの切り替えポイントのパラメータ値を決定するときに、前記処理ユニットは、
    前記同期関係、前記第1のパケットの前記タイムスタンプ、および前記第1のオーディオストリームのパケット時間に基づいて、前記第1のオーディオストリームの前記切り替えポイントの前記パラメータ値を決定し、前記同期関係、前記第2のパケットの前記タイムスタンプ、前記第2のオーディオストリームのパケット時間に基づいて、前記第2のオーディオストリームの前記切り替えポイントの前記パラメータ値を決定するように構成されており、
    前記第1のオーディオストリームの前記パケット時間は、前記N個のパケットの前記タイムスタンプに基づいて決定され、第2のオーディオストリームの前記パケット時間は、前記M個のパケットの前記タイムスタンプに基づいて決定される、請求項10~12のいずれか一項に記載の装置。
  14. 前記第1のオーディオストリームの前記切り替えポイントのパケットタイムスタンプと、前記第2のオーディオストリームの前記切り替えポイントのパケットタイムスタンプとが、
    前記第1のパケットの前記統一タイムスタンプと前記第2のパケットの前記統一タイムスタンプとに基づいて、前記第1のオーディオストリームと第2のオーディオストリームとが同期されていると決定された場合、
    Figure 0007284266000071
    、および
    Figure 0007284266000072
    であるという条件、
    前記第1のパケットの前記統一タイムスタンプが、前記第2のパケットの前記統一タイムスタンプよりも遅い場合、
    Figure 0007284266000073
    、および
    Figure 0007284266000074
    であるという条件、または
    前記第1のパケットの前記統一タイムスタンプが、前記第2のパケットの前記統一タイムスタンプよりも早い場合、
    Figure 0007284266000075
    、および
    Figure 0007284266000076
    であるという条件を満たし、
    Figure 0007284266000077
    であり、TS は、前記第1のパケットの前記統一タイムスタンプを表し、TS は、前記第2のパケットの前記統一タイムスタンプを表し、fioは、前記基準サンプリング周波数を表し、TS_SWは、前記第2のオーディオストリームの前記切り替えポイントの前記タイムスタンプを表し、TSは、前記第2のパケットの非統一タイムスタンプを表し、ti_pktは、前記第2のオーディオストリームの前記パケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、前記第2のオーディオストリームの前記サンプリング周波数に対応する理論値を表し、TS_SWは、前記第1のオーディオストリームの前記切り替えポイントの前記タイムスタンプを表し、TSは、前記第1のオーディオストリームの非統一タイムスタンプを表し、to_pktは、前記第1のオーディオストリームの前記パケット時間を表し、dtsは、隣接するパケット間のタイムスタンプ差のものであって、前記第1のオーディオストリームの前記サンプリング周波数に対応する理論値を表し、K1は、第1のプリセット持続時間を表し、K2は、第2のプリセット持続時間を表す、請求項13に記載の装置。
  15. 決定されるオーディオストリームのパケット時間が、
    Figure 0007284266000078
    である場合、前記決定されるオーディオストリームの前記パケット時間が第1の値であるという条件、または
    Figure 0007284266000079
    である場合、前記決定されるオーディオストリームの前記パケット時間が第2の値であるという条件を満たし、前記決定されるオーディオストリームが、前記第1のオーディオストリームまたは前記第2のオーディオストリームであり、
    Figure 0007284266000080
    であり、
    Figure 0007284266000081
    は、前記決定されるオーディオストリームのタイムスタンプ増分グループに基づいて決定されたタイムスタンプ増分平均を表し、dTSthresは、隣接するパケット間のタイムスタンプ差のものであり、異なるパケット時間に対応する理論値に関し、dTSは、前記決定されるオーディオストリームの前記タイムスタンプ増分グループのi番目のタイムスタンプ増分を表し、dSEQは、前記i番目のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号差を表し、wは、前記決定されるオーディオストリームの前記タイムスタンプ増分グループのタイムスタンプ増分の数を表す、請求項13または14に記載の装置。
  16. 前記第1のタイムスタンプ増分グループに基づいて、前記第1のオーディオストリームの前記サンプリング周波数を決定するときに、前記処理ユニットは、
    複数の第1のフィッティング誤差を得るために、前記N-1個の第1のタイムスタンプ増分、各第1のタイムスタンプ増分に対応する2つのパケット間のシーケンス番号の差、および隣接するパケット間のタイムスタンプ差のものであって、前記装置によってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記複数の第1のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記最小の第1のフィッティング誤差に対応する前記理論値に対応する理論サンプリング周波数を、前記第1のオーディオストリームの前記サンプリング周波数として使用することと、を行うように構成されており、または
    前記第2のタイムスタンプ増分グループに基づいて、前記第2のオーディオストリームの前記サンプリング周波数を決定するときに、前記処理ユニットは、
    複数の第2のフィッティング誤差を得るために、前記M-1個の第2のタイムスタンプ増分、各第2のタイムスタンプ増分に対応する2つのパケット間のタイムスタンプ差、および隣接するパケット間のタイムスタンプ差のものであって、前記装置によってサポートされる複数の理論サンプリング周波数にそれぞれ対応する理論値に基づいて、線形フィッティングを実行することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記複数の第2のフィッティング誤差における最小の第1のフィッティング誤差に対応する理論値を決定することと、
    隣接するパケット間のタイムスタンプ差のものであって、前記最小の第2のフィッティング誤差に対応する前記理論値に対応する理論サンプリング周波数を、前記第2のオーディオストリームの前記サンプリング周波数として使用することと、を行うように構成されている、請求項10~15のいずれか一項に記載の装置。
  17. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、コンピュータプログラムを記憶し、前記コンピュータプログラムは、コンピューティングデバイスによって実行されるときに、前記コンピューティングデバイスが、請求項1~8のいずれか一項に記載の方法を実施する、コンピュータ可読記憶媒体。
JP2021533722A 2018-12-13 2019-12-06 オーディオストリーム切り替え方法および装置 Active JP7284266B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811526743.7 2018-12-13
CN201811526743.7A CN111327923B (zh) 2018-12-13 2018-12-13 一种音频流切换方法及装置
PCT/CN2019/123728 WO2020119605A1 (zh) 2018-12-13 2019-12-06 一种音频流切换方法及装置

Publications (2)

Publication Number Publication Date
JP2022513833A JP2022513833A (ja) 2022-02-09
JP7284266B2 true JP7284266B2 (ja) 2023-05-30

Family

ID=71077136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533722A Active JP7284266B2 (ja) 2018-12-13 2019-12-06 オーディオストリーム切り替え方法および装置

Country Status (6)

Country Link
US (1) US11995375B2 (ja)
EP (1) EP3879836B1 (ja)
JP (1) JP7284266B2 (ja)
KR (1) KR102519514B1 (ja)
CN (1) CN111327923B (ja)
WO (1) WO2020119605A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239171A (ja) 2009-03-30 2010-10-21 Nec Personal Products Co Ltd ストリーム処理装置及びプログラム
US20140375889A1 (en) 2013-06-19 2014-12-25 Electronics And Telecommunications Research Institute Method, apparatus, and system for switching transport stream
US20170126767A1 (en) 2015-10-29 2017-05-04 Le Holdings (Beijing) Co., Ltd. Method for switching live audios, streaming server and client

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2040436A1 (en) * 2007-09-18 2009-03-25 THOMSON Licensing Access network handover for a mobile television system
CN102347042B (zh) * 2010-07-28 2014-05-07 Tcl集团股份有限公司 一种音轨切换方法、系统及音视频文件播放设备
DE102011078021A1 (de) * 2011-06-22 2012-12-27 Institut für Rundfunktechnik GmbH Vorrichtung und Verfahren zum Schalten von Echtzeitmedienströmen
CN102291399B (zh) * 2011-08-08 2015-07-22 成都索贝数码科技股份有限公司 一种流媒体切换台
US9154834B2 (en) * 2012-11-06 2015-10-06 Broadcom Corporation Fast switching of synchronized media using time-stamp management
CN103812842A (zh) * 2012-11-14 2014-05-21 中国科学院沈阳计算技术研究所有限公司 用于网络广播的流媒体切换矩阵及其播控方法
CN105979347A (zh) * 2015-12-03 2016-09-28 乐视致新电子科技(天津)有限公司 一种视频的播放方法和装置
CN106488255B (zh) * 2016-10-24 2019-05-14 广州酷狗计算机科技有限公司 一种切换媒体流的方法及装置
CN106921885B (zh) * 2017-03-02 2020-03-03 深圳创维数字技术有限公司 一种多媒体数据流的切换播放方法及装置
CN107197394B (zh) * 2017-05-05 2019-12-13 中广热点云科技有限公司 一种视频播放中音频切换的方法
CN108540734B (zh) * 2018-05-16 2021-02-02 中央电视台 一种4k视音频信号的切换方法、装置、系统及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239171A (ja) 2009-03-30 2010-10-21 Nec Personal Products Co Ltd ストリーム処理装置及びプログラム
US20140375889A1 (en) 2013-06-19 2014-12-25 Electronics And Telecommunications Research Institute Method, apparatus, and system for switching transport stream
US20170126767A1 (en) 2015-10-29 2017-05-04 Le Holdings (Beijing) Co., Ltd. Method for switching live audios, streaming server and client

Also Published As

Publication number Publication date
EP3879836A1 (en) 2021-09-15
JP2022513833A (ja) 2022-02-09
EP3879836A4 (en) 2021-12-01
CN111327923A (zh) 2020-06-23
KR102519514B1 (ko) 2023-04-06
US11995375B2 (en) 2024-05-28
CN111327923B (zh) 2021-08-20
KR20210091319A (ko) 2021-07-21
EP3879836B1 (en) 2023-02-08
WO2020119605A1 (zh) 2020-06-18
US20210303259A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US9338208B2 (en) Common event-based multidevice media playback
US8914662B2 (en) Implementing transparent clock by correcting time information carried in data using residence time information
US9843489B2 (en) System and method for synchronous media rendering over wireless networks with wireless performance monitoring
US11146611B2 (en) Lip synchronization of audio and video signals for broadcast transmission
CN102123073B (zh) 数据包重排序方法及装置
KR20150143801A (ko) 타임스탬프를 생성하는 방법, 장치, 그리고 시스템
CN113852824A (zh) 视频转码方法、装置、电子设备和存储介质
KR102519381B1 (ko) 오디오 스트림과 비디오 스트림을 동기식으로 전환하는 방법 및 장치
EP2920953A1 (en) Common event-based multidevice media playback
US20220210078A1 (en) Method implemented by computer means of a communicating entity in a packet-switched network, and computer program and computer-readable non-transient recording medium thereof, and communicating entity of a packet-switched network
CN108989246B (zh) 使用稀疏流的设备之间的音频传输
JP7284266B2 (ja) オーディオストリーム切り替え方法および装置
CN114422589A (zh) 数据传输方法、装置、设备及存储介质
JP2017139521A (ja) ストリーム配信装置、ストリーム受信装置、ストリーム配信システム、ストリーム配信方法、及びストリーム配信プログラム
JP6827607B2 (ja) 中継装置、中継方法及び中継プログラム
CN112786062A (zh) 带宽自适应网络音频传输方法、设备、介质及系统
JP2018029236A (ja) 映像パケット切替装置及び方法
WO2023040650A1 (zh) 一种报文周期的确定方法及其相关装置
CN112671696B (zh) 报文传输方法、装置、计算机设备以及计算机存储介质
JP5472948B2 (ja) ビデオサーバ
JP2010219669A (ja) ビデオサーバ
CN115580559A (zh) 时延确定方法、通信设备、芯片及存储介质
WO2016134186A1 (en) Synchronous media rendering over wireless networks with wireless performance monitoring

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230518

R150 Certificate of patent or registration of utility model

Ref document number: 7284266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150