JP6520556B2 - コンテンツデータ配信システムおよびコンテンツデータ配信方法 - Google Patents

コンテンツデータ配信システムおよびコンテンツデータ配信方法 Download PDF

Info

Publication number
JP6520556B2
JP6520556B2 JP2015161519A JP2015161519A JP6520556B2 JP 6520556 B2 JP6520556 B2 JP 6520556B2 JP 2015161519 A JP2015161519 A JP 2015161519A JP 2015161519 A JP2015161519 A JP 2015161519A JP 6520556 B2 JP6520556 B2 JP 6520556B2
Authority
JP
Japan
Prior art keywords
client
test data
server
content data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015161519A
Other languages
English (en)
Other versions
JP2017041713A (ja
Inventor
田中 克明
克明 田中
治 小原
治 小原
匡史 利谷
匡史 利谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2015161519A priority Critical patent/JP6520556B2/ja
Priority to PCT/JP2016/073062 priority patent/WO2017030016A1/ja
Priority to EP16837006.2A priority patent/EP3340526A4/en
Publication of JP2017041713A publication Critical patent/JP2017041713A/ja
Priority to US15/897,464 priority patent/US11438400B2/en
Application granted granted Critical
Publication of JP6520556B2 publication Critical patent/JP6520556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00Arrangements for synchronising receiver with transmitter
    • H04L7/04Speed or phase control by synchronisation signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home

Description

本発明は、サーバからクライアントにコンテンツデータを配信するコンテンツデータ配信システムおよびコンテンツデータ配信方法に関する。
従来、サーバから複数のクライアントにコンテンツデータをストリーミング配信し、各クライアントで当該コンテンツデータを再生するコンテンツ再生システムが知られている(例えば、特許文献1を参照)。
特許文献1の配信システムは、コンテンツデータとして、MP3等の圧縮オーディオデータをサーバから各クライアントにストリーミング配信する。これにより、ユーザは、家のどの部屋でもサーバのストレージに保持されているオーディオデータを聴くことができる。
特開2006−195838
しかし、特許文献1のコンテンツデータ配信システムは、各装置の再生タイミングが考慮されていないため、装置間での音ずれが問題となる。
また、仮に、各クライアントに対して再生タイミングを示す情報を配信し、各クライアントが当該再生タイミングを示す情報に基づいてコンテンツデータを再生したとしても、各装置は、クロックの絶対値およびクロックの進行速度が異なる。したがって、長い時間再生を続けていると、装置間での音のずれが問題となる。
そこで、この発明の目的は、装置間でクロックがずれていた場合でも、装置間での再生を同期させることができるコンテンツデータ配信システムおよびコンテンツデータ配信方法を提供することにある。
コンテンツデータ配信システムは、サーバと、複数のクライアントと、からなる。前記サーバは、時刻情報が含まれたテストデータを、各クライアントと送受信するサーバ側通信部と、前記サーバ側通信部で送受信された各テストデータの時刻情報に基づいて該サーバと各クライアントの基準時間差を求める算出部と、前記基準時間差を示す情報を各クライアントに配信する配信部と、を備え、前記配信部は、再生タイミングを示す情報が含まれたコンテンツデータを配信し、各クライアントは、前記サーバから受信した前記基準時間差を示す情報で、前記コンテンツデータの再生タイミングを補正する補正部を備えたことを特徴とする。
具体的には、サーバが送信するテストデータには、送信時刻情報が含まれ、各クライアントが送信する返信テストデータには、テストデータの受信時刻情報と、当該返信テストデータの送信時刻情報と、が含まれている。算出部は、テストデータの送信時刻と、返信テストデータの受信時刻と、の相加平均、および各クライアントにおけるテストデータの受信時刻と、返信テストデータの送信時刻と、の相加平均、を算出し、サーバの相加平均と各クライアントの相加平均との差を基準時間差として算出する。
このように、サーバは、サーバとクライアントとの間で、時刻情報が含まれたテストデータを送受信することにより、基準時間差(サーバとクライアントとのクロック差分)を算出する。算出された基準時間差は、コンテンツデータの再生タイミングの補正に利用される。
なお、基準時間差を示す情報は、各クライアントに配信され、各クライアントにおいて、受信した基準時間差を示す情報で、コンテンツデータの再生タイミングを補正する態様としてもよいし、サーバ側で、各クライアントに配信するコンテンツデータの再生タイミングを補正する態様としてもよい。
なお、時刻情報が含まれたデータの送受信は、複数回実行され、基準時間差の算出には、サーバがテストデータを送信してからテストデータに対する返信データが受信されるまでの時間差が最も小さい値を用いることが好ましい。
また、テストデータの送受信、および基準時間差の算出は、コンテンツデータの配信前に行ってもよいが、コンテンツデータの配信中に行われてもよい。配信中に行う場合、算出部は、最新のテストデータを用いて基準時間差を求める。
本発明によれば、装置間でクロックがずれていた場合でも、装置間での再生を同期させることができる。
コンテンツデータ配信システムの概要を示す図である。 コンテンツデータの配信時のデータの流れを示すブロック図である。 AVレシーバの構成を示すブロック図である。 スピーカ装置の構成を示すブロック図である。 パケットデータの構造を示す図である。 テストデータの送受信を示す概念図である。 テストデータ送受信時の動作を示すフローチャートである。 配信時の動作を示すフローチャートである。 テストデータ送受信時の動作を示すフローチャートである。 配信時の動作を示すフローチャートである。 AVレシーバの構成を示すブロック図である。 スピーカ装置の構成を示すブロック図である。 FIFO容量を調整する場合の動作を示すフローチャートである。
図1は、コンテンツデータ配信システム900の概要を示す図である。図2(A)は、各装置の接続関係を示すブロック図である。図2(B)は、コンテンツデータの配信時のデータの流れを示すブロック図である。
図1に示すように、コンテンツデータ配信システム900は、無線ルータ10、AVレシーバ100、スピーカ装置301、スピーカ装置302、およびスピーカ装置303を備えている。図2(A)に示すように、AVレシーバ100、スピーカ装置301、スピーカ装置302、およびスピーカ装置303は、無線ルータ10を介して互いにネットワーク接続されている。この例では、無線ルータ10とAVレシーバ100は、有線LANで接続され、無線ルータ10と各スピーカ装置は、無線LANで接続されている。ただし、各装置の接続は、無線であっても有線であってもよいし、通信が可能な接続態様であれば、ネットワークを経由して接続される態様に限るものではない。
図2(B)に示すように、この例のコンテンツデータ配信システム900では、AVレシーバ100がサーバとなり、クライアントであるスピーカ装置301、スピーカ装置302、およびスピーカ装置303に、コンテンツデータを配信する。ただし、無線ルータ10がコンテンツデータを配信するサーバとなり、AVレシーバ100がクライアントとなる態様も可能である。また、無線ルータ10がサーバとなり、AVレシーバ100、スピーカ装置301、スピーカ装置302、およびスピーカ装置303がクライアントとなる態様も可能である。また、スピーカ装置301がサーバとなり、スピーカ装置302およびスピーカ装置303がクライアントとなる態様も可能である。すなわち、コンテンツデータ配信システムでは、ネットワーク接続されている各機器のうち、所定の装置(例えばユーザから指定された装置)がサーバとなり、他の装置がクライアントとなる。
コンテンツデータ配信システム900は、AVレシーバ100において再生しているコンテンツデータを、スピーカ装置301、スピーカ装置302、およびスピーカ装置303にストリーミング配信し、全ての装置において同期再生を実現する。これにより、ユーザは、例えばリビングにおいてAVレシーバ100で再生されているオーディオを聴いていた後に他の部屋(例えば寝室)に移動した場合、当該寝室に設置されたスピーカ装置301でも当該オーディオを聴くことができる。
図3は、AVレシーバ100の主要構成を示すブロック図である。なお、この例では、AVレシーバ100がサーバとなるが、AVレシーバ100以外の他の装置がサーバとなる場合には、当該他の装置が図3に示す構成を備えるものとする。
AVレシーバ100は、入力I/F(インタフェース)101、制御部102、再生用FIFO103、再生部104、DSP105、出力I/F106、配信用FIFO107、および通信I/F108を備えている。
入力I/F101は、例えばHDMI(登録商標)端子、デジタルオーディオ入力端子、またはアナログオーディオ入力端子等からなり、外部からコンテンツデータ、デジタルオーディオ信号、またはアナログオーディオ信号を入力する。
コンテンツデータは、例えばMP3等でエンコードされたオーディオデータである。入力I/F101は、入力されたオーディオデータを制御部102に出力する。また、入力I/F101は、アナログオーディオ信号が入力された場合には、デジタルオーディオ信号に変換してから、制御部102に出力する。
なお、コンテンツデータは、通信I/F108を介して他装置のストレージ(例えばNAS等)から入力される態様であってもよいし、インターネットを介して接続された外部サーバから入力される態様であってもよいし、HDD等の内蔵ストレージから入力される態様であってもよい。
制御部102は、本発明の配信部および算出部に対応する。制御部102は、入力されたオーディオデータをそのまま、または所定のエンコード方式のオーディオデータに変換して、パケットデータとして、再生用FIFO103および配信用FIFO107に出力する。また、制御部102は、デジタルオーディオ信号を入力した場合にも、所定のエンコード方式のオーディオデータに変換して、パケットデータとして、再生用FIFO103および配信用FIFO107に出力する。
図5は、パケットデータの構造の一例を示す図である。図5に示すパケットデータは、ヘッダと、本体(オーディオデータ)と、からなる。ヘッダには、パケットのタイプを示す情報(Command)と、パケットの番号を示す情報(Sequence)と、再生タイミングを示す情報(Clock)と、再送データであるか否かを示す各種情報(Re_trans_id)と、が含まれている。
Commandは、オーディオデータのパケットであることを示す場合と、他のデータ(例えば後述のテストデータ)のパケットであることを示す場合と、がある。テストデータの場合には、本体がオーディオデータではなく、例えばテキストデータとなる。
Sequenceは、クライアント側で正しい順序でパケットデータを受信しているか否かの判断に用いられる。クライアントは、当該Sequenceに含まれた番号が非連続であった場合に、パケットの欠損があったと判断して、サーバに再送リクエストを行う。
Clockは、オーディオデータの再生タイミング(再生時刻)を示す情報である。サーバおよびクライアントは、当該Clockに示された再生時刻に基づいて、受信したオーディオデータの再生を行う。これにより、同期再生が実現される。ただし、クライアントは、後述のように、クロック差分を用いて再生時刻の補正を行う。
Re_trans_idは、上述の再送リクエストに対するパケットデータであるか否かを示す情報が含まれている。
制御部102は、図5に示すようなパケットデータを、再生用FIFO103および配信用FIFO107に出力する。
再生用FIFO103および配信用FIFO107は、パケットデータを所定時間分だけ保持し、当該パケットデータを、入力された順に出力する一時記憶部である。再生用FIFO103および配信用FIFO107は、後段の各種処理部の処理に必要な時間(処理遅延)を考慮した容量が設定される。例えば、再生用FIFO103は、再生部104の処理時間が0.1秒、DSP105の処理時間が0.1秒、パケットデータの配信に要する時間が1.8秒として、約2秒分のオーディオデータに相当する容量が設定されている。配信用FIFO107は、配信に要する時間を除く約0.2秒分のオーディオデータに相当する容量が設定されている。
これにより、サーバであるAVレシーバ100の再生タイミングと、クライアントである各スピーカ装置におけるオーディオデータの再生タイミングが一致する。そのため、コンテンツデータ配信システム900は、同期再生を実現することができる。
再生用FIFO103に保持されたパケットデータは、再生部104に出力される。再生部104は、パケットデータに含まれた再生時刻に基づいて、当該パケットデータのオーディオデータを再生し、デジタルオーディオ信号を出力する。
再生部104で再生されたデジタルオーディオ信号は、サーバ側信号処理部であるDSP105で所定の信号処理(例えば擬似反射音を付与することにより音場効果を付与する処理)が施され、出力I/F106に出力される。
出力I/F106から出力されたデジタルオーディオ信号は、スピーカ200Lおよびスピーカ200Rに入力される。スピーカ200Lおよびスピーカ200Rは、入力されたデジタルオーディオ信号をアナログオーディオ信号に変換して増幅する。スピーカ200Lおよびスピーカ200Rは、増幅後のアナログオーディオ信号を自身のスピーカユニットに入力する。これにより、スピーカ200Lおよびスピーカ200Rは、オーディオデータに係る音を出力する。なお、出力I/F106と各スピーカは、スピーカケーブル(アナログオーディオ線)を介して接続されていてもよい。この場合、DSP105と出力I/F106との間にDACおよび増幅部が配置される。
一方、配信用FIFO107から出力されるパケットデータは、サーバ側通信部である通信I/F108を介して、スピーカ装置301、スピーカ装置302、およびスピーカ装置303に配信される。
図4は、スピーカ装置301の主要構成を示すブロック図である。他のスピーカ装置302およびスピーカ装置303の主要構成も同様であるため、図4においては代表してスピーカ装置301の構成を示す。
スピーカ装置301は、通信I/F311、制御部312、補正部313、再生部314、DSP315、およびSS(サウンドシステム)316を備えている。
通信I/F311は、サーバであるAVレシーバ100から配信されたパケットデータを受信し、制御部312に入力する。制御部312は、パケットデータが正しい順序で受信されているか否かを判断する。上述のように、パケットデータには、順序を示す情報(Sequence)が含まれている。したがって、制御部312は、当該Sequenceに含まれた番号が連続している場合に、受信したパケットデータを後段の補正部313に出力する。制御部312は、当該Sequenceに含まれた番号が非連続であった場合に、パケットの欠損があったと判断して、AVレシーバ100に再送リクエストを行う。制御部312は、正しい順序のパケットデータが再送されるまで、受信した新たなパケットデータを、内蔵のバッファに保持する。
補正部313は、受信したパケットデータに含まれている再生時刻を補正する。上述のように、本実施形態のコンテンツデータ配信システム900は、パケットデータに含まれる再生時刻を示す情報と、配信用FIFO107と、再生用FIFO103と、により、同期再生を実現することができる。しかし、各装置は、クロックの絶対値およびクロックの進行速度が異なるため、長い時間(例えば5分程度)再生を続けていると、装置間での音のずれが問題となる。そこで、コンテンツデータ配信システム900は、サーバとクライアントとの間でテストデータを送受信し、クロック差分を算出する。補正部313は、当該クロック差分を用いて再生時刻の補正を行う。
図6は、テストデータの送受信を示す概念図である。図7は、テストデータ送受信時のコンテンツデータ配信システム900の動作を示すフローチャートである。図6の縦方向は、時間方向を示し、下側に向かって時間が経過しているものとする。
まず、サーバであるAVレシーバ100は、送信時刻S1が含まれたテストデータ(パケットデータ)をクライアントであるスピーカ装置301に送信する(S11)。
スピーカ装置301は、AVレシーバ100から送信されたテストデータを受信し(S21)、当該テストデータを受信した時刻C1をテストデータに追記する(S23)。さらに、スピーカ装置301は、送信時刻C2をテストデータに追記し、返信テストデータとしてAVレシーバ100に送信する(S23)。
AVレシーバ100は、スピーカ装置301から返信テストデータを受信し(S12)、返信テストデータを受信した時刻S2を記録する(S13)。そして、AVレシーバ100は、テストデータの送受信の回数が所定回数に達したか否かを判断する(S14)。
なお、時刻S1および時刻S2は、AVレシーバ100のクロックを基にした時刻であり、時刻C1および時刻C2は、スピーカ装置301のクロックを基にした時刻である。
テストデータの送受信は、1回だけであってもよいが、複数回であることが好ましい。テストデータが複数回送信される場合、AVレシーバ100は、テストデータの送信時刻S1と、返信テストデータの受信時刻S2と、の時間差が最も小さい値を採用し、最も信頼性の高い結果を用いる。
そして、AVレシーバ100は、AVレシーバ100のクロックと、スピーカ装置301のクロックの差分(サーバとクライアントの基準時間差)を求める(S15)。クロック差分は、例えば以下の様にして求める。
AVレシーバ100は、テストデータの送信時刻S1と、返信テストデータの受信時刻S2と、の相加平均(S1+S2)/2を算出する。また、AVレシーバ100は、スピーカ装置301におけるテストデータの受信時刻C1と、返信テストデータの送信時刻C2と、の相加平均(C1+C2)/2を算出する。これら相加平均の値は、仮にAVレシーバ100とスピーカ装置301のクロックの絶対値が同一であれば同じ値となる。したがって、AVレシーバ100は、AVレシーバ側のクロックを基準とした場合のクロック差分(サーバとクライアントの基準時間差)を、相加平均の差(S1+S2)/2−(C1+C2)/2として算出する。
AVレシーバ100は、以上のテストデータの送受信を、各スピーカ装置に対して行い、スピーカ装置毎にクロック差分を求める。
算出されたクロック差分は、各スピーカ装置の補正部313に送信される(S16)。スピーカ装置301は、AVレシーバ100で算出されたクロック差分を受信し(S24)、補正部313の内蔵メモリ(不図示)に記録する(S25)。補正部313は、AVレシーバ100から送信されたクロック差分を用いて、再生時刻の補正を行う。
図8のフローチャートを参照して、配信時の動作を説明する。図8のフローチャートに示すように、AVレシーバ100がオーディオデータを図5に示したパケットデータとしてストリーミング配信すると(S31)、スピーカ装置301は、当該パケットデータを受信する(S41)。スピーカ装置301の補正部313は、受信したパケットデータに含まれている再生時刻(図5に示したClock)を読み出し、S25の処理において記録したクロック差分を用いて、再生時刻の補正を行う(S42)。クロック差分は、サーバ側のクロックからクライアント側のクロックを差し引いた値であり、配信されたパケットデータに含まれている再生時刻は、AVレシーバ100のクロックに基づいた時刻である。したがって補正部313は、配信されたパケットデータに含まれる再生時刻から、クロック差分の値を差し引くことで、再生時刻を変更する。補正部313は、再生時刻を補正した後のパケットデータを後段の再生部104に出力する。再生部104は、入力されたパケットデータの再生時刻に基づいて、当該パケットデータのオーディオデータを再生し、デジタルオーディオ信号を出力する(S43)。
再生部104で再生されたデジタルオーディオ信号は、クライアント側信号処理部であるDSP315で所定の信号処理(例えば擬似反射音を付与することにより音場効果を付与する処理)が施され、SS316に出力される。SS316は、DAC、増幅部、およびスピーカユニットを備えている。これにより、AVレシーバ100から配信されたオーディオデータに係る音がスピーカ装置301のスピーカユニットから出力され、同期再生が実現される。
なお、上述の例では、オーディオデータの配信前にテストデータの送受信を行う例を示したが、オーディオデータの配信中にもテストデータの送受信を行ってもよい。この場合、AVレシーバ100は、所定時間経過毎にテストデータの送受信を1回または複数回を行い、各スピーカ装置とのクロック差分を算出する。テストデータが複数回送信される場合、上述と同様に、テストデータの送信時刻S1と、返信テストデータの受信時刻S2と、の時間差が最も小さい値を採用する。AVレシーバ100は、算出したクロック差分を所定時間経過毎に各スピーカ装置に送信する。各スピーカ装置の補正部313は、AVレシーバ100から受信したクロック差分のうち、最新のクロック差分を用いて再生時刻の補正を行う。この場合、より高精度に同期再生を行うことができる。
次に、図9は、変形例1に係るテストデータ送受信時のコンテンツデータ配信システム900の動作を示すフローチャートである。図10は、変形例1に係る配信時の動作を示すフローチャートである。図9において、図7と共通する処理については同一の符号を付し、説明を省略する。また、図10において、図8と共通する動作については同一の符号を付し、説明を省略する。
変形例1に係るコンテンツデータ配信システム900では、AVレシーバ100は、算出したクロック差分を当該AVレシーバ100の内蔵メモリ(不図示)に記録する(S61)。そして、AVレシーバ100の制御部102は、配信するパケットデータの再生時刻を、各スピーカ装置とのクロック差分を用いて補正する(S71)。各スピーカ装置は、受信したパケットデータの再生時刻通りに再生を行う(S81)。
したがって、この例では、各スピーカ装置において補正部313の構成は不要となり、各スピーカ装置に配信されるパケットデータは、それぞれ再生時刻が異なるものとなる。この場合も、同期再生を実現することができる。
次に、変形例2に係るコンテンツデータ配信システム900について説明する。図11に示すように、変形例2に係るコンテンツデータ配信システム900では、AVレシーバ100の構成は、図3に示した例と同一である。ただし、変形例2においては、再生用FIFO103の容量は、DSP105の処理時間に応じて設定される。
図3に示した例では、再生用FIFO103は、2秒分のオーディオデータに相当する容量が設定されている。すなわち、自装置のDSP105と、他のスピーカ装置のDSPと、の処理時間を0.1秒であると想定して、再生用FIFO103の容量を設定している。しかし、DSP105の処理時間は、その処理内容によって大きく変化する。例えば、DSP105の信号処理の内容が簡易なものであれば(例えば音場効果を付与する処理を省く場合等)、処理時間が短くなる場合がある。
そこで、図11に示す変形例2では、DSP105の処理時間に応じて、再生用FIFO103の容量を設置する。例えば、DSP105の処理時間が0.05秒である場合に、再生用FIFO103は、1.95秒分のオーディオデータに相当する容量が設定される。
次に、変形例3に係るコンテンツデータ配信システム900について説明する。図12に示すように、変形例3に係るコンテンツデータ配信システム900では、スピーカ装置301の構成は、図4に示した例と同一である。ただし、変形例3においては、補正部313は、DSP315の処理時間に応じて、再生タイミングを調整する。
すなわち、補正部313は、パケットデータの再生時刻をクロック差分で補正するが、さらに、DSP315の処理時間分だけ、再生時刻を早める処理を行う。例えば、DSP315の処理時間が0.05秒である場合、補正部313は、パケットデータの再生時刻を0.05秒早めた値に書き換える処理を行う。これにより、各装置でDSPの処理時間が異なっていたとしても、各装置での放音タイミングが一致し、高精度な同期再生を実現することができる。
なお、この例では、補正部313が再生タイミングを調整する調整部として機能するが、再生部314が再生タイミングを調整する調整部として機能してもよいし、制御部312がパケットデータの再生時刻を変更して調整部として機能する態様であってもよい。
次に、変形例4に係るコンテンツデータ配信システム900の動作について、図13のフローチャートを参照して説明する。変形例4に係るコンテンツデータ配信システム900は、最も処理時間の長いDSPの処理時間に合わせて、再生用FIFO103および配信用FIFO107の容量を設定する。
各スピーカ装置は、AVレシーバ100に、自身のDSP315の処理時間を示す情報を送信する(S91)。AVレシーバ100は、当該処理時間を示す情報を各スピーカ装置から受信し(S95)、最も処理時間の長いDSPを判断する(S92)。そして、AVレシーバ100は、最も処理時間の長いDSPに対応して、再生用FIFO103および配信用FIFO107の容量を設定する。
例えば、AVレシーバ100のDSP105の処理時間が0.05秒であり、スピーカ装置301の処理時間が0.02秒であり、スピーカ装置302の処理時間が0.05秒であり、スピーカ装置303の処理時間が0.08秒であり、配信に要する時間が1.8秒であり、各装置の再生部の処理時間が0.1秒である場合に、配信用FIFO107は、配信に要する時間を除く0.18秒分のオーディオデータに相当する容量が設定される。再生用FIFO103は、配信に要する時間(1.8秒)を考慮した1.98秒のオーディオデータに相当する容量が設定されるが、実際にはDSP105の処理時間である0.05秒を考慮して、1.93秒分のオーディオデータに相当する容量が設定される。
そして、各スピーカ装置では、それぞれのDSPの処理時間分だけ再生時刻を早める処理を行う。例えば、スピーカ装置301では、DSPの処理時間が0.02秒であるため、補正部313において、パケットデータの再生時刻を0.02秒早める処理を行う。スピーカ装置302では、DSPの処理時間が0.05秒であるため、補正部313において、パケットデータの再生時刻を0.05秒早める処理を行う。スピーカ装置303では、DSPの処理時間が0.08秒であるため、補正部313において、パケットデータの再生時刻を0.08秒早める処理を行う。
これにより、再生用FIFO103および配信用FIFO107の容量は、各処理部の処理遅延を考慮した最適な値(最も小さい容量)に設定される。したがって、再生開始までの余分な遅延時間が最も少なくなる。
10…無線ルータ
100…AVレシーバ
101…入力I/F
102…制御部
103…再生用FIFO
104…再生部
105…DSP
106…I/F
107…配信用FIFO
108…通信I/F
200L,200R…スピーカ
301,302,303…スピーカ装置
311…通信I/F
312…制御部
313…補正部
314…再生部
315…DSP
316…SS
900…コンテンツデータ配信システム

Claims (10)

  1. サーバと、複数のクライアントと、からなるコンテンツデータ配信システムであって、
    前記サーバは、時刻情報が含まれたテストデータを、各クライアントと送受信するサーバ側通信部と、
    前記サーバ側通信部で送受信された各テストデータの時刻情報に基づいて該サーバと各クライアントの基準時間差を求める算出部と、
    前記基準時間差を示す情報を各クライアントに配信する配信部と、
    を備え、
    前記配信部は、再生タイミングを示す情報が含まれたコンテンツデータを配信し、
    各クライアントは、前記サーバから受信した前記基準時間差を示す情報で、前記コンテンツデータの再生タイミングを補正する補正部を備え
    前記サーバが送信するテストデータには、送信時刻情報が含まれ、
    各クライアントが送信する返信テストデータには、前記テストデータの受信時刻情報と、当該返信テストデータの送信時刻情報と、が含まれ、
    前記算出部は、前記テストデータの送信時刻と、前記返信テストデータの受信時刻と、の相加平均、および各クライアントにおける前記テストデータの受信時刻と、前記返信テストデータの送信時刻と、の相加平均、を算出し、
    前記サーバの相加平均と各クライアントの相加平均との差を前記基準時間差として算出することを特徴とするコンテンツデータ配信システム。
  2. サーバと、複数のクライアントと、からなるコンテンツデータ配信システムであって、
    前記サーバは、時刻情報が含まれたテストデータを、各クライアントと送受信するサーバ側通信部と、
    前記サーバ側通信部で送受信された各テストデータの時刻情報に基づいて該サーバと各クライアントの基準時間差を求める算出部と、
    再生タイミングを示す情報が含まれたコンテンツデータを配信する配信部と、
    各クライアントとの基準時間差を示す情報で、各クライアントに配信するコンテンツデータの再生タイミングを補正する補正部と、を備え
    前記サーバが送信するテストデータには、送信時刻情報が含まれ、
    各クライアントが送信する返信テストデータには、前記テストデータの受信時刻情報と、当該返信テストデータの送信時刻情報と、が含まれ、
    前記算出部は、前記テストデータの送信時刻と、前記返信テストデータの受信時刻と、の相加平均、および各クライアントにおける前記テストデータの受信時刻と、前記返信テストデータの送信時刻と、の相加平均、を算出し、
    前記サーバの相加平均と各クライアントの相加平均との差を前記基準時間差として算出することを特徴とするコンテンツデータ配信システム。
  3. 前記テストデータの送受信は、複数回実行され、
    前記算出部は、前記テストデータを送信してから受信するまでの時間差が最も小さい値を用いて、前記サーバと各クライアントの基準時間差を算出する請求項1または請求項2に記載のコンテンツデータ配信システム。
  4. 前記時刻情報が含まれたデータの送受信は、前記コンテンツデータの配信中に行われ、
    前記算出部は、最新のテストデータを用いて前記基準時間差を求める請求項1乃至請求項3のいずれか1項に記載のコンテンツデータ配信システム。
  5. 前記サーバは、各クライアントへのコンテンツデータの配信に要する時間に対応した容量を有する一時記憶部を備えたことを特徴とする請求項1乃至請求項4のいずれか1項に記載のコンテンツデータ配信システム。
  6. 前記サーバは、前記コンテンツデータを再生するサーバ側再生部と、
    前記サーバ側再生部で再生されたコンテンツデータに係る信号に所定の処理を施すサーバ側信号処理部と、
    を備え、
    前記一時記憶部は、前記サーバ側信号処理部の処理時間に基づいて、容量が調整される
    請求項に記載のコンテンツデータ配信システム。
  7. 各クライアントは、コンテンツデータを再生するクライアント側再生部と、
    前記クライアント側再生部で再生されたコンテンツデータに係る信号に所定の処理を施すクライアント側信号処理部と、
    前記クライアント側信号処理部の処理時間に基づいて、前記コンテンツデータの再生タイミングを調整する調整部と、
    を備えた請求項1乃至請求項6のいずれか1項に記載のコンテンツデータ配信システム。
  8. 各クライアントは、コンテンツデータを再生するクライアント側再生部と、
    前記クライアント側再生部で再生されたコンテンツデータに係る信号に所定の処理を施すクライアント側信号処理部と、
    前記クライアント側信号処理部の処理時間を示す情報を前記サーバに送信するクライアント側通信部と、
    を備え、
    前記一時記憶部は、前記サーバ側信号処理部の処理時間および前記クライアント側信号処理部の処理時間に基づいて、容量が調整される請求項に記載のコンテンツデータ配信システム。
  9. サーバと、複数のクライアントと、により実行されるコンテンツデータ配信方法であって、
    前記サーバは、時刻情報が含まれたテストデータを、各クライアントと送受信するサーバ側通信ステップと、
    前記サーバ側通信ステップで送受信された各テストデータの時刻情報に基づいて該サーバと各クライアントの基準時間差を求める算出ステップと、
    前記基準時間差を示す情報を各クライアントに配信する配信ステップと、
    を実行し、
    前記配信ステップは、再生タイミングを示す情報が含まれたコンテンツデータを配信し、
    各クライアントは、前記サーバから受信した前記基準時間差を示す情報で、前記コンテンツデータの再生タイミングを補正する補正ステップを実行し、
    前記サーバが送信するテストデータには、送信時刻情報が含まれ、
    各クライアントが送信する返信テストデータには、前記テストデータの受信時刻情報と、当該返信テストデータの送信時刻情報と、が含まれ、
    前記算出ステップは、前記テストデータの送信時刻と、前記返信テストデータの受信時刻と、の相加平均、および各クライアントにおける前記テストデータの受信時刻と、前記返信テストデータの送信時刻と、の相加平均、を算出し、
    前記サーバの相加平均と各クライアントの相加平均との差を前記基準時間差として算出することを特徴とするコンテンツデータ配信方法。
  10. サーバと、複数のクライアントと、により実行されるコンテンツデータ配信方法であって、
    前記サーバは、時刻情報が含まれたテストデータを、各クライアントと送受信するサーバ側通信ステップと、
    前記サーバ側通信ステップで送受信された各テストデータの時刻情報に基づいて該サーバと各クライアントの基準時間差を求める算出ステップと、
    再生タイミングを示す情報が含まれたコンテンツデータを配信する配信ステップと、
    各クライアントとの基準時間差を示す情報で、各クライアントに配信するコンテンツデータの再生タイミングを補正する補正ステップと、
    を実行し、
    前記サーバが送信するテストデータには、送信時刻情報が含まれ、
    各クライアントが送信する返信テストデータには、前記テストデータの受信時刻情報と、当該返信テストデータの送信時刻情報と、が含まれ、
    前記算出ステップは、前記テストデータの送信時刻と、前記返信テストデータの受信時刻と、の相加平均、および各クライアントにおける前記テストデータの受信時刻と、前記返信テストデータの送信時刻と、の相加平均、を算出し、
    前記サーバの相加平均と各クライアントの相加平均との差を前記基準時間差として算出することを特徴とするコンテンツデータ配信方法。
JP2015161519A 2015-08-19 2015-08-19 コンテンツデータ配信システムおよびコンテンツデータ配信方法 Active JP6520556B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015161519A JP6520556B2 (ja) 2015-08-19 2015-08-19 コンテンツデータ配信システムおよびコンテンツデータ配信方法
PCT/JP2016/073062 WO2017030016A1 (ja) 2015-08-19 2016-08-05 コンテンツデータ配信システムおよびコンテンツデータ配信方法
EP16837006.2A EP3340526A4 (en) 2015-08-19 2016-08-05 CONTENTS DATA PROCESSING SYSTEM AND CONTENT PROCESSING
US15/897,464 US11438400B2 (en) 2015-08-19 2018-02-15 Content data delivery system, server, and content data delivery method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015161519A JP6520556B2 (ja) 2015-08-19 2015-08-19 コンテンツデータ配信システムおよびコンテンツデータ配信方法

Publications (2)

Publication Number Publication Date
JP2017041713A JP2017041713A (ja) 2017-02-23
JP6520556B2 true JP6520556B2 (ja) 2019-05-29

Family

ID=58051670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015161519A Active JP6520556B2 (ja) 2015-08-19 2015-08-19 コンテンツデータ配信システムおよびコンテンツデータ配信方法

Country Status (4)

Country Link
US (1) US11438400B2 (ja)
EP (1) EP3340526A4 (ja)
JP (1) JP6520556B2 (ja)
WO (1) WO2017030016A1 (ja)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08316944A (ja) * 1995-05-17 1996-11-29 Nec Eng Ltd 位相調整回路
US7324857B2 (en) * 2002-04-19 2008-01-29 Gateway Inc. Method to synchronize playback of multicast audio streams on a local network
US7392102B2 (en) * 2002-04-23 2008-06-24 Gateway Inc. Method of synchronizing the playback of a digital audio broadcast using an audio waveform sample
JP2005323268A (ja) * 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> コンテンツ再生方法、コンテンツ再生装置、コンテンツ再生プログラム、および記録媒体
US20070110074A1 (en) * 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
JP4622531B2 (ja) 2005-01-14 2011-02-02 ヤマハ株式会社 サーバ装置、クライアント装置、ストリーミング配信システム、及びコンテンツ記録方法
JP2007201983A (ja) * 2006-01-30 2007-08-09 Renesas Technology Corp 放送局同期方法、及び制御装置
JP5436311B2 (ja) * 2010-04-02 2014-03-05 三菱電機株式会社 情報表示システム、情報コンテンツ配信サーバおよびディスプレイ装置
US9210058B2 (en) * 2012-09-14 2015-12-08 Google Inc. Systems and methods for assessing jitter buffers
US10250474B2 (en) * 2014-03-31 2019-04-02 Cisco Technology, Inc. Calculating latency in computer networks
US9521057B2 (en) * 2014-10-14 2016-12-13 Amazon Technologies, Inc. Adaptive audio stream with latency compensation
US9838584B2 (en) * 2014-11-18 2017-12-05 Caavo Inc Audio/video synchronization using a device with camera and microphone

Also Published As

Publication number Publication date
JP2017041713A (ja) 2017-02-23
US20180176337A1 (en) 2018-06-21
US11438400B2 (en) 2022-09-06
WO2017030016A1 (ja) 2017-02-23
EP3340526A4 (en) 2019-04-10
EP3340526A1 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
US10255035B2 (en) Audio data buffering
JP6640359B2 (ja) ワイヤレスオーディオ同期
US10454604B2 (en) Encoded audio synchronization
US9798515B1 (en) Clock synchronization for audio playback devices
JP6290915B2 (ja) 共通イベントベースのマルチデバイスメディア再生
US9743184B2 (en) Wireless speaker arrangement
KR20170113087A (ko) 오디오 재생을 위한 시스템 및 방법
US10587954B2 (en) Packet based delivery of multi-channel audio over wireless links
JP2015130662A (ja) Av機器及びその制御方法
JP2019525235A (ja) 同期オーディオ再生装置
JP6582722B2 (ja) コンテンツ配信装置
EP3868043B1 (en) Wireless audio synchronization
JP6520556B2 (ja) コンテンツデータ配信システムおよびコンテンツデータ配信方法
JP2008060675A (ja) 音声再生装置、音声再生方法
US11876847B2 (en) System and method for synchronizing networked rendering devices
JP4369281B2 (ja) 映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法
US20180146291A1 (en) Multiple audio stem transmission
JP6578808B2 (ja) コンテンツデータ受信装置
JP2012249086A (ja) 映像受信装置
JP5027781B2 (ja) 映像信号送信装置及び映像信号通信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R151 Written notification of patent or utility model registration

Ref document number: 6520556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151