WO2017141977A1 - オーディオ機器および制御方法 - Google Patents

オーディオ機器および制御方法 Download PDF

Info

Publication number
WO2017141977A1
WO2017141977A1 PCT/JP2017/005560 JP2017005560W WO2017141977A1 WO 2017141977 A1 WO2017141977 A1 WO 2017141977A1 JP 2017005560 W JP2017005560 W JP 2017005560W WO 2017141977 A1 WO2017141977 A1 WO 2017141977A1
Authority
WO
WIPO (PCT)
Prior art keywords
delay time
video
audio
signal
time
Prior art date
Application number
PCT/JP2017/005560
Other languages
English (en)
French (fr)
Inventor
田中 克明
治 小原
知義 芥川
加納 真弥
浩太郎 中林
篤志 臼井
大吾 杉浦
真樹 片山
進 澤米
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Publication of WO2017141977A1 publication Critical patent/WO2017141977A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Definitions

  • the present invention relates to an audio device and a control method for synchronizing a plurality of audio lines with video.
  • an audio device when audio is branched and distributed to another device, for example, an audio device further powers wirelessly. For example, when the sound is distributed to a speaker, the sound output timing of the branched sound cannot be synchronized.
  • An object of the present invention is to provide an audio device and a control method capable of synchronizing video and audio output by a plurality of systems.
  • An audio device transmits a video signal and an audio signal, a signal input unit that inputs the audio signal, a signal processing unit that outputs the audio signal with a delay, and the video signal to the video reproduction device
  • a signal output unit a communication unit for transmitting the audio signal to another audio device with a time stamp indicating a sound emission time, and the signal output unit, transmitted from the video reproduction device, Obtaining a video delay time that is a processing time required until the video signal is displayed, determining a delivery delay time that is a delay time until the sound signal is emitted from the other audio device, and the video delay time And a voice delay time that is a delay time until the sound signal is emitted from the signal processing unit based on the delivery delay time, and the communication unit sends the audio signal to the other audio device.
  • a control method includes a step of inputting a video signal and an audio signal to an audio device, a step of delaying the audio signal and outputting the audio signal from the audio device, and the video signal to a video reproduction device. Transmitting the audio signal to another audio device with a time stamp indicating a sound emission time, and displaying the video signal transmitted from the video reproduction device.
  • FIG. 1 is a configuration diagram of an audio system according to an embodiment of the present invention.
  • the audio system includes a receiver 1, a powered speaker 2, a BD (Blu-ray Disc) player 3, and a television (TV) 4.
  • the television 4 functions as a display that displays the video reproduced by the BD player 3.
  • the receiver 1 (audio device) includes a control unit 10, an HDMI (High-Definition Multimedia Interface) (registered trademark) reception unit 11, a signal processing unit 12, an amplifier (Amp) 13, an HDMI transmission unit 14, and a network module 15. Have.
  • the control unit 10 controls the operation of the entire receiver 1 including the HDMI receiving unit 11, the signal processing unit 12, the amplifier 13, the HDMI transmitting unit 14, and the network module 15.
  • the HDMI receiving unit 11 (signal input unit) is connected to the BD player 3 and receives a video signal output from the BD player 3.
  • the video signal output from the BD player 3 includes an audio signal.
  • a signal processing unit 12, an HDMI transmission unit 14, and a network module 15 are connected to the HDMI reception unit 11.
  • the television 4 is connected to the HDMI transmission unit 14.
  • the BD player 3 reproduces a video source such as a movie and outputs a video signal.
  • the video signal received from the BD player 3 by the HDMI receiving unit 11 is transferred to the HDMI transmitting unit 14 as it is. Further, an audio signal extracted from the video signal is input to the signal processing unit 12 and the network module 15.
  • the signal processing unit 12 includes a digital signal processor (DSP), and performs signal processing such as surround on the audio signal extracted from the video signal received by the HDMI receiving unit 11. This signal processing in the signal processing unit 12 requires a predetermined processing time. Further, the signal processing unit 12 includes a buffer memory for buffering the audio signal, or is provided externally, and is further designated by the control unit 10 in order to synchronize with other output devices such as the television 4 and the powered speaker 2. The audio signal can be delayed by the set time. The delay time resulting from the processing by the signal processing unit 12 and the designated delay time are hereinafter referred to as a delay time (sound delay time) DA.
  • DSP digital signal processor
  • An amplifier 13 is connected to the signal processing unit 12.
  • the signal processing unit 12 outputs an audio signal subjected to surround processing and the like to the amplifier 13.
  • the amplifier 13 amplifies this audio signal and outputs it to the speaker 16.
  • the speaker 16 is an external speaker device connected to a terminal (not shown) of the receiver 1.
  • the speaker 16 emits the sound signal as sound.
  • the audio signal is included in the video signal and received by the HDMI receiving unit 11, and then delayed by the audio delay time DA and emitted from the speaker 16.
  • the HDMI transmission unit 14 (signal output unit) transmits the video signal transferred from the HDMI reception unit 11 to the television 4 (video reproduction device).
  • the HDMI receiving unit 11 and the HDMI transmitting unit 14 are pass-through, and signal processing such as processing on the video signal is not performed.
  • the HDMI transmission unit 14 transmits a video signal to the television 4 by a TMDS (Transition-minimized differential signaling) method, and transmits control information between the television 4 and the receiver 1 in a CEC (Consumer Electronics Control) procedure. Send and receive.
  • the control information sent from the television 4 includes dynamic automatic lip sync information.
  • the television 4 decodes the video signal received from the receiver 1, performs video processing according to the type of the video, and displays it on the LCD display. Examples of the video type include normal video, 4K video, 3D video, and the like, and the processing time differs depending on the video type.
  • the TV 4 determines the type of video from the video signal sent from the receiver 1, determines the necessary processing time, and returns the processing time to the receiver 1 via HDMI CEC as dynamic automatic lip sync information. .
  • This processing time is a video delay (video delay time) DV, which is generally about 30 to 150 milliseconds.
  • the network module 15 wirelessly transmits an audio signal to the powered speaker 2 (other audio device).
  • the powered speaker 2 includes a network module 21 that receives an audio signal, an amplifier (Amp) 22 that amplifies the audio signal, and a speaker unit 23 that emits the audio signal as sound.
  • the network module 21 of the powered speaker 2 has a buffer having a sufficient capacity so that the reproduced sound is not interrupted even when communication is temporarily interrupted, and after receiving the audio signal from the network module 15 of the receiver 1, The reproduction of the audio signal is started in a state where a predetermined amount or more of the audio signal is buffered in the buffer.
  • Wireless audio signal transmission may be a general-purpose system such as Bluetooth (registered trademark) or a unique system.
  • the receiver 1 transmits a packetized audio signal to the powered speaker 2 (network module 21).
  • the receiver 1 transmits each packet with a time (time stamp) at which the audio signal in the packet is to be reproduced.
  • the powered speaker 2 buffers the audio signal of the received packet and reproduces it at the time specified by the time stamp.
  • the time stamp is set 100 to 200 milliseconds ahead of the transmission of the audio signal in anticipation of the delivery delay time DN. That is, the reproduction of the audio signal is delayed by 100 to 200 milliseconds.
  • the network modules 15 and 21 can be connected to the wired LAN
  • the receiver 1 and the powered speaker 2 are connected by the wired LAN, and the delivery delay time DN can be reduced to about several tens of milliseconds.
  • This delay amount (distribution delay time DN) can be increased within a range allowed by the capacity of the buffer of the powered speaker 2. Depending on the size of the delivery delay time DN, it is possible to synchronize the sound output of the audio signal from the powered speaker 2 with the video on the television 4.
  • the delay times DA, DV, and DN are different from each other, and if the discs are reproduced without matching, the video displayed on the television 4 and the sound emitted from the speakers 16 and 23 are shifted from each other. Therefore, the control unit 10 performs the following processing in order to match the video and each sound as much as possible.
  • the audio delay time DA is smaller than other delays (video delay time DV, distribution delay time DN).
  • FIG. 2 is a flowchart showing the operation of the control unit 10 when the BD player 3 starts playback.
  • the control unit 10 acquires the type of video to be played back from the BD player 3 via the HDMI receiving unit 11 (S10). Examples of video types include normal video, 4K video, and 3D video.
  • the control unit 10 notifies the television 4 of the acquired video type via the CEC of the HDMI transmission unit 14 (S11).
  • the control unit 10 acquires the video delay time DV for video playback from the television 4 via the CEC of the HDMI transmission unit 14 (S12). That is, the television 4 determines the necessary processing time by looking at the type of the video signal sent from the receiver 1, and returns the processing time as dynamic automatic lip sync information.
  • the control unit 10 causes the signal processing unit 12 to set the audio delay time DA that is the delay time of the signal processing unit 12 to be the same as the video delay time DV.
  • the control unit 10 causes the signal processing unit 12 to set the audio delay time DA that is the delay time of the signal processing unit 12 to be the same as the video delay time DV.
  • the signal processing unit 12 adjusts the audio delay time DA to be the same as the video delay time DV by buffering data for a necessary time in addition to the audio signal processing time.
  • the start of reproduction of the BD player 3 includes a procedure for instructing the BD player 3 to start transmission of a video signal.
  • the control unit 10 advances the process to S15, and distributes based on the communication performance with the powered speaker 2 of the network module 15 (for example, Ping response time).
  • the delay time DN is determined (S15). For example, if the response time is long, the delivery delay time DN is determined in consideration of the fact that the communication itself takes time, and the possibility that the delivery is interrupted increases, so that the buffer amount must be increased.
  • the control unit 10 uses the audio delay time DA and the delivery delay time DN as the video delay time.
  • Synchronize with DV (S17).
  • the synchronization of the audio delay time DA is adjusted by increasing the buffer amount of the audio signal in the signal processing unit 12.
  • the synchronization of the delivery delay time DN is adjusted by setting the time stamp attached to the voice packet earlier by the delay time.
  • the control unit 10 determines whether the audio delay time DA is synchronized with the video delay time DV or the delivery delay time DN. (S18). Which to synchronize may be determined according to the setting by the user and the type of content to be reproduced.
  • the control unit 10 determines that the audio delay time DA is synchronized with the video delay time DV (S18)
  • it instructs the signal processing unit 12 to set the audio delay time DA to be the same as the video delay time DV ( S19)
  • the reproduction of the BD player 3 is started.
  • the sound emitted from the speaker 16 is synchronized with the video displayed on the television 4, but the sound emitted from the powered speaker 2 (speaker 23) is slightly delayed.
  • the control unit 10 determines that the audio delay time DA of the signal processing unit 12 is synchronized with the delivery delay time DN (S18), the audio delay time DA is made the same as the delivery delay time DN for the signal processing unit 12.
  • the setting is instructed (S20), and the reproduction of the BD player 3 is started.
  • the sounds emitted from the speakers 16 and 23 are synchronized with each other, but are slightly delayed from the video displayed on the television 4.
  • some types of televisions 4 may buffer the video and delay it for an arbitrary time in order to synchronize the video with a Bluetooth speaker having a large delay or the powered speaker 2 connected to the network as in the present case. There is something you can do.
  • the control unit 10 transmits information on the distribution delay time DN to the television 4 via the CEC of the HDMI transmission unit 14 (S 21), and the video delay time DV of the television 4 is transmitted as the distribution delay time DN. You may adjust so that it may become the same.
  • An audio device transmits a video signal and an audio signal, a signal input unit that inputs the audio signal, a signal processing unit that outputs the audio signal with a delay, and the video signal to the video reproduction device
  • a signal output unit a communication unit for transmitting the audio signal to another audio device with a time stamp indicating a sound emission time, and the signal output unit, transmitted from the video reproduction device, Obtaining a video delay time that is a processing time required until the video signal is displayed, determining a delivery delay time that is a delay time until the sound signal is emitted from the other audio device, and the video delay time And a voice delay time that is a delay time until the sound signal is emitted from the signal processing unit based on the delivery delay time, and the communication unit sends the audio signal to the other audio device.
  • the control unit when the video delay time is equal to or greater than the delivery delay time, sets the audio delay time to be the same as the video delay time, and the communication unit transmits The time stamp that is delayed by the video delay time may be attached to the audio signal.
  • the control unit determines the audio delay time according to a type of the video signal or selection by a user. It may be set to be the same as either the delay time or the delivery delay time, and the time stamp that is delayed by the delivery delay time may be added to the audio signal transmitted by the communication unit.
  • the control unit transmits the video to the video reproduction device via the signal output unit. It may be instructed to set the delay time to be the same as the delivery delay time.
  • control unit may determine the delivery delay time based on a communication performance with the other audio device in the communication unit.
  • control unit may set the audio delay time by adjusting a buffer amount of the audio signal in the signal processing unit.
  • the signal input unit and the signal output unit are configured by HDMI, and the communication unit may transmit the audio signal to the other audio device by radio. Good.
  • the control unit when the video playback device has a function of buffering the video signal, transmits information on the delivery delay time to the video playback device. Then, it may be instructed to set the video delay time to be the same as the delivery delay time by adjusting the buffer amount of the video signal.
  • the control method includes a step of inputting a video signal and an audio signal to an audio device, a step of delaying and outputting the audio signal from the audio device, Transmitting a video signal; transmitting the audio signal to another audio device with a time stamp indicating a sound emission time; and displaying the video signal transmitted from the video reproduction device.
  • the audio delay time when the video delay time is equal to or greater than the delivery delay time, the audio delay time is set to be the same as the video delay time, and the audio transmitted to the other audio device is transmitted.
  • the signal may be attached with the time stamp delayed by the video delay time.
  • the audio delay time is set as the video delay time or the delivery according to the type of the video signal or selection by the user.
  • the time stamp that is set to be the same as any one of the delay times and is delayed by the delivery delay time may be added to the audio signal transmitted to the other audio device.
  • the video delay time is set to be the same as the delivery delay time for the video playback device.
  • An instruction step may be further included.
  • the delivery delay time may be determined based on a communication performance between the audio device and the other audio device.
  • the audio delay time may be set by adjusting a buffer amount of the audio signal in the audio device.

Abstract

オーディオ機器は、映像信号および音声信号を入力する信号入力部と、前記音声信号を遅延させて出力する信号処理部と、映像再生機器に対して前記映像信号を送信する信号出力部と、他のオーディオ機器に前記音声信号を、放音時刻を指示するタイムスタンプを付して送信する通信部と、前記信号出力部を介して、前記映像再生機器から送信された、前記映像信号を表示するまでに必要な処理時間である映像遅延時間を取得し、前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を決定し、前記映像遅延時間および前記配信遅延時間に基づいて、前記信号処理部の前記音声信号の放音までの遅延時間である音声遅延時間を設定するとともに、前記通信部が前記他のオーディオ機器に送信する前記音声信号に付す前記タイムスタンプを設定する制御部と、を備える。

Description

オーディオ機器および制御方法
 この発明は、複数系統の音声を映像に同期させるオーディオ機器および制御方法に関する。
 映像と音声とを同期して再生する場合、一般に映像の処理により時間を要するため、音声信号を所定時間遅延させて映像の遅れに同期させている。この同期処理は、リップシンクと呼ばれる。
 さらに、映像と音声とが別の機器で再生される場合には、映像機器がオーディオ機器に対して、映像の遅延時間を知らせ、オーディオ機器がそれに合わせて音声を遅延させる必要がある。この処理は、ダイナミック自動リップシンクと呼ばれる(特許文献1参照)。
特開2007-274409号公報
 このように、従来より、映像および音声の再生において両者の同期をとるための技術が存在するが、音声がさらに別の機器に分岐して配信される場合、たとえば、オーディオ機器からさらにワイヤレスのパワードスピーカに配信される場合などには、この分岐された音声の放音タイミングを同期させることはできなかった。
 この発明は、映像と複数系統で出力される音声とを同期させることのできるオーディオ機器および制御方法を提供することを目的とする。
 本発明の一態様に係るオーディオ機器は、映像信号および音声信号を入力する信号入力部と、前記音声信号を遅延させて出力する信号処理部と、映像再生機器に対して前記映像信号を送信する信号出力部と、他のオーディオ機器に前記音声信号を、放音時刻を指示するタイムスタンプを付して送信する通信部と、前記信号出力部を介して、前記映像再生機器から送信された、前記映像信号を表示するまでに必要な処理時間である映像遅延時間を取得し、前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を決定し、前記映像遅延時間および前記配信遅延時間に基づいて、前記信号処理部の前記音声信号の放音までの遅延時間である音声遅延時間を設定するとともに、前記通信部が前記他のオーディオ機器に送信する前記音声信号に付す前記タイムスタンプを設定する制御部と、を備える。
 本発明の一態様に係る制御方法は、映像信号および音声信号をオーディオ機器に入力するステップと、前記音声信号を遅延させて前記オーディオ機器から出力するステップと、映像再生機器に対して前記映像信号を送信するステップと、他のオーディオ機器に前記音声信号を、放音時刻を指示するタイムスタンプを付して送信するステップと、前記映像再生機器から送信された、前記映像信号を表示するまでに必要な処理時間である映像遅延時間を取得するステップと、前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を決定するステップと、前記映像遅延時間および前記配信遅延時間に基づいて、前記オーディオ機器における前記音声信号の放音までの遅延時間である音声遅延時間を設定するとともに、前記他のオーディオ機器に送信する前記音声信号に付す前記タイムスタンプを設定するステップと、を含む。
この発明の実施形態であるオーディオシステムの構成図である。 レシーバの制御部の動作を示すフローチャートである。
 図1はこの発明の実施形態であるオーディオシステムの構成図である。オーディオシステムは、レシーバ1,パワードスピーカ2,BD(ブルーレイ・ディスク)プレーヤ3、および、テレビ(TV)4を有している。テレビ4は、BDプレーヤ3で再生された映像を表示するディスプレイとして機能する。
 レシーバ1(オーディオ機器)は、制御部10、HDMI(High-Definition Multimedia Interface)(登録商標)受信部11、信号処理部12、アンプ(Amp)13、HDMI送信部14、および、ネットワークモジュール15を有している。制御部10は、HDMI受信部11、信号処理部12、アンプ13、HDMI送信部14、および、ネットワークモジュール15を含むレシーバ1全体の動作を制御する。HDMI受信部11(信号入力部)は、BDプレーヤ3に接続され、BDプレーヤ3から出力される映像信号を受信する。BDプレーヤ3から出力される映像信号には音声信号が含まれる。HDMI受信部11には、信号処理部12、HDMI送信部14およびネットワークモジュール15が接続されている。HDMI送信部14には、テレビ4が接続される。
 BDプレーヤ3は、映画などの映像ソースを再生して映像信号を出力する。HDMI受信部11がBDプレーヤ3から受信した映像信号は、そのままHDMI送信部14に転送される。さらに、映像信号から取り出された音声信号が信号処理部12およびネットワークモジュール15に入力される。
 信号処理部12は、デジタル・シグナル・プロセッサ(DSP)を含んでおり、HDMI受信部11が受信した映像信号から取り出された音声信号に対してサラウンド等の信号処理を行う。信号処理部12におけるこの信号処理は、所定の処理時間を要する。さらに、信号処理部12は、音声信号をバッファするバッファメモリを内蔵または外付けで備えており、テレビ4やパワードスピーカ2などの他の出力装置と同期をとるために、さらに制御部10から指定された時間だけ音声信号を遅延させることができる。この信号処理部12における処理による遅延時間および指定された遅延時間を加えた遅延時間を、以下、遅延時間(音声遅延時間)DAと呼ぶ。
 信号処理部12には、アンプ13が接続されている。信号処理部12は、サラウンド処理などを施した音声信号をアンプ13に出力する。アンプ13はこの音声信号を増幅してスピーカ16に出力する。スピーカ16は、レシーバ1の端子(不図示)に接続された外付けのスピーカ装置である。スピーカ16は、この音声信号を音響として放音する。以上により、音声信号は、映像信号に含まれてHDMI受信部11で受信されたのち、音声遅延時間DAだけ遅延されてスピーカ16から放音される。
 HDMI送信部14(信号出力部)は、HDMI受信部11から転送されてきた映像信号をテレビ4(映像再生機器)に送信する。HDMI受信部11とHDMI送信部14との間はパススルーであり、映像信号に対する加工等の信号処理は行われない。HDMI送信部14は、テレビ4に対して映像信号をTMDS(Transition-minimized differential signaling)方式で送信するとともに、テレビ4とレシーバ1との間でCEC(Consumer Electronics Control)手順で相互に制御情報を送受信する。テレビ4から送られてくる制御情報には、ダイナミック自動リップシンクの情報が含まれる。
 テレビ4は、レシーバ1から受信した映像信号をデコードし、その映像の種類に応じた映像処理を行ってLCDディスプレイに表示する。映像の種類とは、たとえば、通常の映像、4K映像、3D映像などであり、映像の種類によってその処理時間が異なる。テレビ4は、レシーバ1から送られてきた映像信号から映像の種類を判断して、必要な処理時間を判断し、その処理時間をダイナミック自動リップシンク情報としてHDMIのCEC経由でレシーバ1に返信する。この処理時間が映像遅延(映像遅延時間)DVであり、一般的に30~150ミリ秒程度である。
 ネットワークモジュール15(通信部)は、パワードスピーカ2(他のオーディオ機器)に対してワイヤレスで音声信号を送信する。パワードスピーカ2は、音声信号を受信するネットワークモジュール21、音声信号を増幅するアンプ(Amp)22、および、音声信号を音響として放音するスピーカユニット23を有する。パワードスピーカ2のネットワークモジュール21は、通信が一時途切れた場合でも再生音を途切れさせないように十分な容量のバッファを有しており、レシーバ1のネットワークモジュール15から音声信号の受信を開始したのち、バッファに所定量以上の音声信号がバッファされた状態で音声信号の再生を開始する。したがって、パワードスピーカ2による音声信号の再生は、無線による伝送の所要時間(衝突制御、再送制御など)、および、音声信号のバッファによって遅延する。この遅延時間(配信遅延時間)DNは、100~200ミリ秒程度である。無線による音声信号の伝送は、Bluetooth(登録商標)などの汎用の方式であってもよく、または、独自の方式を用いてもよい。
 レシーバ1(ネットワークモジュール15)は、パワードスピーカ2(ネットワークモジュール21)に対して、パケット化した音声信号を送信する。レシーバ1は、各パケットにそのパケット内の音声信号が再生されるべき時刻(タイムスタンプ)を付して送信する。パワードスピーカ2は、受信したパケットの音声信号をバッファし、これをタイムスタンプで指定された時刻に再生する。タイムスタンプは、配信遅延時間DNを見越して音声信号の送信時から100~200ミリ秒先に設定される。すなわち、音声信号の再生が100~200ミリ秒遅延される。また、ネットワークモジュール15、21が有線LAN接続が可能である場合、レシーバ1とパワードスピーカ2とを有線LANで接続して配信遅延時間DNを数十ミリ秒程度に小さくすることができる。なお、この遅延量(配信遅延時間DN)は、パワードスピーカ2のバッファの容量が許す範囲内で大きくすることが可能である。配信遅延時間DNの大きさ次第では、パワードスピーカ2による音声信号の放音をテレビ4の映像と同期をとることが可能になる。
 上記のように、各遅延時間DA,DV,DNはそれぞれ異なり、不一致のまま再生すると、テレビ4で表示される映像と、スピーカ16、23から放音される音声とがそれぞれズレてしまう。そこで、映像と各音声とをできるだけ一致させるために、制御部10は以下の処理を行う。なお、一般的に音声遅延時間DAは、他の遅延(映像遅延時間DV、配信遅延時間DN)よりも小さい。
 図2は、BDプレーヤ3が再生を開始するときの制御部10の動作を示すフローチャートである。制御部10は、BDプレーヤ3の再生開始時に、HDMI受信部11を介して、BDプレーヤ3から、再生される映像の種類を取得する(S10)。映像の種類とは、たとえば、通常の映像、4K映像、3D映像などである。制御部10は、取得した映像の種類を、HDMI送信部14のCEC経由でテレビ4に通知する(S11)。この応答として、制御部10は、HDMI送信部14のCEC経由でテレビ4から映像再生のための映像遅延時間DVを取得する(S12)。すなわち、テレビ4は、レシーバ1から送られてきた映像信号の種類を見て必要な処理時間を判断し、その処理時間をダイナミック自動リップシンク情報として返信する。
 次に、パワードスピーカ(Powered SP)2が接続されているか(動作しているか)を判断する(S13)。ネットワークモジュール15がパワードスピーカ2と通信している状態であれば、パワードスピーカ2が接続されていると言える。パワードスピーカ2が接続されていない場合(S13でNO)、制御部10は、信号処理部12の遅延時間である音声遅延時間DAを映像遅延時間DVと同じに設定するように信号処理部12に指示して(S14)、BDプレーヤ3の再生を開始する。信号処理部12は、音声信号の処理時間に加えて必要な時間分のデータをバッファすることにより、音声遅延時間DAが映像遅延時間DVと同じになるように調整する。BDプレーヤ3の再生の開始は、BDプレーヤ3に対して映像信号の送信を開始するように指示する手順を含む。
 パワードスピーカ2が接続されている場合には(S13でYES)、制御部10は処理をS15に進め、ネットワークモジュール15のパワードスピーカ2との通信実績(たとえばPingの応答時間など)に基づいて配信遅延時間DNを決定する(S15)。配信遅延時間DNは、たとえば、応答時間が長いと、通信そのものに時間が掛かるうえ、配信が途切れる可能性が高くなるためバッファ量を多くしなければならないことなどを考慮して決定される。映像遅延時間DVと配信遅延時間DNとを比較した結果、映像遅延時間DVが配信遅延時間DN以上であれば(S16)、制御部10は、音声遅延時間DAおよび配信遅延時間DNを映像遅延時間DVに同期させる(S17)。音声遅延時間DAの同期は、信号処理部12における音声信号のバッファ量を多くすることで調整される。配信遅延時間DNの同期は、音声パケットに付すタイムスタンプをその遅延時間だけ先にすることで調整される。
 一方、テレビ4の映像遅延時間DVが配信遅延時間DNよりも小さい場合(S16)、制御部10は、音声遅延時間DAを映像遅延時間DV,配信遅延時間DNのどちらに同期させるかを判断する(S18)。どちらに同期させるかは、ユーザによる設定や再生されるコンテンツの種類に応じて判断すればよい。制御部10が音声遅延時間DAを映像遅延時間DVに同期させると判断した場合(S18)、信号処理部12に対して音声遅延時間DAを映像遅延時間DVと同じに設定するよう指示して(S19)、BDプレーヤ3の再生を開始する。なお、この場合、スピーカ16から放音される音響はテレビ4に表示される映像と同期するが、パワードスピーカ2(スピーカ23)から放音される音響は、それとは若干遅れたものとなる。
 一方、制御部10が信号処理部12の音声遅延時間DAを配信遅延時間DNに同期させると判断した場合(S18)、信号処理部12に対して音声遅延時間DAを配信遅延時間DNと同じに設定するよう指示して(S20)、BDプレーヤ3の再生を開始する。この場合、スピーカ16、23から放音される音響は互いに同期しているが、テレビ4に表示される映像からは若干遅れたものとなる。
 なお、ある種のテレビ4は、遅延の大きいBluetoothスピーカや、本件のようなネットワーク接続されたパワードスピーカ2に映像を同期させるなどのために、映像をバッファして任意の時間だけ遅延させることができるものがある。このようなテレビ4の場合、制御部10は、HDMI送信部14のCECを介してテレビ4に配信遅延時間DNの情報を送信し(S21)、テレビ4の映像遅延時間DVを配信遅延時間DNと同じになるように調整してもよい。
 [付記]以上に説明した実施形態についての記載から把握されるように、本明細書では以下に記載の発明を含む多様な技術的思想が開示されている。
 本発明の一態様に係るオーディオ機器は、映像信号および音声信号を入力する信号入力部と、前記音声信号を遅延させて出力する信号処理部と、映像再生機器に対して前記映像信号を送信する信号出力部と、他のオーディオ機器に前記音声信号を、放音時刻を指示するタイムスタンプを付して送信する通信部と、前記信号出力部を介して、前記映像再生機器から送信された、前記映像信号を表示するまでに必要な処理時間である映像遅延時間を取得し、前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を決定し、前記映像遅延時間および前記配信遅延時間に基づいて、前記信号処理部の前記音声信号の放音までの遅延時間である音声遅延時間を設定するとともに、前記通信部が前記他のオーディオ機器に送信する前記音声信号に付す前記タイムスタンプを設定する制御部と、を備える。
 本発明の一態様に係るオーディオ機器では、前記制御部は、前記映像遅延時間が前記配信遅延時間以上の場合、前記音声遅延時間を前記映像遅延時間と同じに設定するとともに、前記通信部が送信する前記音声信号に、前記映像遅延時間だけ遅延させる前記タイムスタンプを付してもよい。
 本発明の一態様に係るオーディオ機器では、前記制御部は、前記映像遅延時間が前記配信遅延時間よりも小さい場合、前記映像信号の種類またはユーザによる選択に応じて、前記音声遅延時間を前記映像遅延時間または前記配信遅延時間のいずれかと同じに設定し、前記通信部が送信する前記音声信号に、前記配信遅延時間だけ遅延させる前記タイムスタンプを付してもよい。
 本発明の一態様に係るオーディオ機器では、前記制御部は、前記音声遅延時間を前記配信遅延時間と同じに設定した場合、前記信号出力部を介して、前記映像再生機器に対して、前記映像遅延時間を前記配信遅延時間と同じに設定するよう指示してもよい。
 本発明の一態様では、前記制御部は、前記通信部における前記他のオーディオ機器との通信実績に基づいて前記配信遅延時間を決定してもよい。
 本発明の一態様に係るオーディオ機器では、前記制御部は、前記信号処理部における前記音声信号のバッファ量を調整することにより前記音声遅延時間を設定してもよい。
 本発明の一態様に係るオーディオ機器では、前記信号入力部および前記信号出力部は、HDMIで構成されており、前記通信部は、無線により前記音声信号を前記他のオーディオ機器に送信してもよい。
 本発明の一態様に係るオーディオ機器では、前記映像再生機器が前記映像信号をバッファする機能を備えている場合、前記制御部は、前記映像再生機器に対して、前記配信遅延時間の情報を送信し、前記映像信号のバッファ量を調整することにより前記映像遅延時間を前記配信遅延時間と同じに設定するよう指示してもよい。
 また、本発明の一態様に係る制御方法は、映像信号および音声信号をオーディオ機器に入力するステップと、前記音声信号を遅延させて前記オーディオ機器から出力するステップと、映像再生機器に対して前記映像信号を送信するステップと、他のオーディオ機器に前記音声信号を、放音時刻を指示するタイムスタンプを付して送信するステップと、前記映像再生機器から送信された、前記映像信号を表示するまでに必要な処理時間である映像遅延時間を取得するステップと、前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を決定するステップと、前記映像遅延時間および前記配信遅延時間に基づいて、前記オーディオ機器における前記音声信号の放音までの遅延時間である音声遅延時間を設定するとともに、前記他のオーディオ機器に送信する前記音声信号に付す前記タイムスタンプを設定するステップと、を含む。
 本発明の一態様に係る制御方法では、前記映像遅延時間が前記配信遅延時間以上の場合、前記音声遅延時間を前記映像遅延時間と同じに設定するとともに、前記他のオーディオ機器に送信する前記音声信号に、前記映像遅延時間だけ遅延させる前記タイムスタンプを付してもよい。
 本発明の一態様に係る制御方法では、前記映像遅延時間が前記配信遅延時間よりも小さい場合、前記映像信号の種類またはユーザによる選択に応じて、前記音声遅延時間を前記映像遅延時間または前記配信遅延時間のいずれかと同じに設定し、前記他のオーディオ機器に送信する前記音声信号に、前記配信遅延時間だけ遅延させる前記タイムスタンプを付してもよい。
 本発明の一態様に係る制御方法では、前記音声遅延時間を前記配信遅延時間と同じに設定した場合、前記映像再生機器に対して、前記映像遅延時間を前記配信遅延時間と同じに設定するよう指示するステップをさらに含んでもよい。
 本発明の一態様に係る制御方法では、前記オーディオ機器と前記他のオーディオ機器との通信実績に基づいて前記配信遅延時間を決定してもよい。
 本発明の一態様に係る制御方法では、前記オーディオ機器における前記音声信号のバッファ量を調整することにより前記音声遅延時間を設定してもよい。
 この発明によれば、映像再生に遅延を持たないオーディオ機器にハードを追加せずに、映像再生機器で表示される映像と、オーディオ機器自身で再生される音声、および、他のオーディオ機器で再生される音声と、を同期させることが可能になる。

Claims (14)

  1.  映像信号および音声信号を入力する信号入力部と、
     前記音声信号を遅延させて出力する信号処理部と、
     映像再生機器に対して前記映像信号を送信する信号出力部と、
     他のオーディオ機器に前記音声信号を、放音時刻を指示するタイムスタンプを付して送信する通信部と、
     前記信号出力部を介して、前記映像再生機器から送信された、前記映像信号を表示するまでに必要な処理時間である映像遅延時間を取得し、
     前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を決定し、
     前記映像遅延時間および前記配信遅延時間に基づいて、前記信号処理部の前記音声信号の放音までの遅延時間である音声遅延時間を設定するとともに、前記通信部が前記他のオーディオ機器に送信する前記音声信号に付す前記タイムスタンプを設定する制御部と、
     を備えるオーディオ機器。
  2.  前記制御部は、
     前記映像遅延時間が前記配信遅延時間以上の場合、前記音声遅延時間を前記映像遅延時間と同じに設定するとともに、前記通信部が送信する前記音声信号に、前記映像遅延時間だけ遅延させる前記タイムスタンプを付す、
     請求項1に記載のオーディオ機器。
  3.  前記制御部は、
     前記映像遅延時間が前記配信遅延時間よりも小さい場合、前記映像信号の種類またはユーザによる選択に応じて、前記音声遅延時間を前記映像遅延時間または前記配信遅延時間のいずれかと同じに設定し、前記通信部が送信する前記音声信号に、前記配信遅延時間だけ遅延させる前記タイムスタンプを付す、
     請求項1に記載のオーディオ機器。
  4.  前記制御部は、
     前記音声遅延時間を前記配信遅延時間と同じに設定した場合、前記信号出力部を介して、前記映像再生機器に対して、前記映像遅延時間を前記配信遅延時間と同じに設定するよう指示する、
     請求項3に記載のオーディオ機器。
  5.  前記制御部は、前記通信部における前記他のオーディオ機器との通信実績に基づいて前記配信遅延時間を決定する、
     請求項1から4の何れか1項に記載のオーディオ機器。
  6.  前記制御部は、前記信号処理部における前記音声信号のバッファ量を調整することにより前記音声遅延時間を設定する、
     請求項1から5の何れか1項に記載のオーディオ機器。
  7.  前記信号入力部および前記信号出力部は、HDMIで構成されており、
     前記通信部は、無線により前記音声信号を前記他のオーディオ機器に送信する、
     請求項1から6の何れか1項に記載のオーディオ機器。
  8.  前記映像再生機器が前記映像信号をバッファする機能を備えている場合、
     前記制御部は、前記映像再生機器に対して、前記配信遅延時間の情報を送信し、前記映像信号のバッファ量を調整することにより前記映像遅延時間を前記配信遅延時間と同じに設定するよう指示する、
     請求項4に記載のオーディオ機器。
  9.  映像信号および音声信号をオーディオ機器に入力するステップと、
     前記音声信号を遅延させて前記オーディオ機器から出力するステップと、
     映像再生機器に対して前記映像信号を送信するステップと、
     他のオーディオ機器に前記音声信号を、放音時刻を指示するタイムスタンプを付して送信するステップと、
     前記映像再生機器から送信された、前記映像信号を表示するまでに必要な処理時間である映像遅延時間を取得するステップと、
     前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を決定するステップと、
     前記映像遅延時間および前記配信遅延時間に基づいて、前記オーディオ機器における前記音声信号の放音までの遅延時間である音声遅延時間を設定するとともに、前記他のオーディオ機器に送信する前記音声信号に付す前記タイムスタンプを設定するステップと、
     を含む制御方法。
  10.  前記映像遅延時間が前記配信遅延時間以上の場合、前記音声遅延時間を前記映像遅延時間と同じに設定するとともに、前記他のオーディオ機器に送信する前記音声信号に、前記映像遅延時間だけ遅延させる前記タイムスタンプを付す、
     請求項9に記載の制御方法。
  11.  前記映像遅延時間が前記配信遅延時間よりも小さい場合、前記映像信号の種類またはユーザによる選択に応じて、前記音声遅延時間を前記映像遅延時間または前記配信遅延時間のいずれかと同じに設定し、前記他のオーディオ機器に送信する前記音声信号に、前記配信遅延時間だけ遅延させる前記タイムスタンプを付す、
     請求項9に記載の制御方法。
  12.  前記音声遅延時間を前記配信遅延時間と同じに設定した場合、前記映像再生機器に対して、前記映像遅延時間を前記配信遅延時間と同じに設定するよう指示するステップをさらに含む、
     請求項11に記載の制御方法。
  13.  前記オーディオ機器と前記他のオーディオ機器との通信実績に基づいて前記配信遅延時間を決定する、
     請求項9から12の何れか1項に記載の制御方法。
  14.  前記オーディオ機器における前記音声信号のバッファ量を調整することにより前記音声遅延時間を設定する、
     請求項9から13の何れか1項に記載の制御方法。
PCT/JP2017/005560 2016-02-17 2017-02-15 オーディオ機器および制御方法 WO2017141977A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016027882A JP6720566B2 (ja) 2016-02-17 2016-02-17 オーディオ機器
JP2016-027882 2016-02-17

Publications (1)

Publication Number Publication Date
WO2017141977A1 true WO2017141977A1 (ja) 2017-08-24

Family

ID=59625962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005560 WO2017141977A1 (ja) 2016-02-17 2017-02-15 オーディオ機器および制御方法

Country Status (2)

Country Link
JP (1) JP6720566B2 (ja)
WO (1) WO2017141977A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600564A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于确定时间戳的方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600665B (zh) * 2018-08-01 2020-06-19 北京微播视界科技有限公司 用于处理数据的方法和装置
DE112019007486T5 (de) 2019-07-26 2022-06-30 Lg Electronics Inc. Multimediadienst-bereitstellungsvorrichtung und multimediadienst-bereitstellungsverfahren
KR20230095712A (ko) * 2021-12-22 2023-06-29 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118106A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
JP2007159092A (ja) * 2005-11-11 2007-06-21 Sharp Corp 映像音声処理本体装置およびその制御方法、音声処理端末装置およびその制御方法、音声処理本体装置、映像音声処理システム、映像音声処理本体装置制御プログラム、音声処理端末装置制御プログラム、ならびに該プログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118106A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
JP2007159092A (ja) * 2005-11-11 2007-06-21 Sharp Corp 映像音声処理本体装置およびその制御方法、音声処理端末装置およびその制御方法、音声処理本体装置、映像音声処理システム、映像音声処理本体装置制御プログラム、音声処理端末装置制御プログラム、ならびに該プログラムを記録した記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600564A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于确定时间戳的方法和装置
CN109600564B (zh) * 2018-08-01 2020-06-02 北京微播视界科技有限公司 用于确定时间戳的方法和装置

Also Published As

Publication number Publication date
JP2017147594A (ja) 2017-08-24
JP6720566B2 (ja) 2020-07-08

Similar Documents

Publication Publication Date Title
US11785388B2 (en) Audio control module
KR100912212B1 (ko) Av 장치 및 이의 제어 방법
JP6509116B2 (ja) オーディオ転送デバイス及び対応する方法
JP5316189B2 (ja) Avシステム
WO2017141977A1 (ja) オーディオ機器および制御方法
US20080151113A1 (en) Digital broadcast receiving apparatus and synchronization method
WO2015174108A1 (ja) 通信装置及び通信方法、並びにコンピューター・プログラム
TW201926999A (zh) 音視頻播放系統及應用於其上的音訊資料的播放方法
JP2004193868A (ja) 無線送受信システム及び無線送受信方法
JP2012191524A (ja) 音響装置および音響システム
JP2012119924A (ja) 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
JP4256710B2 (ja) Av伝送方法及びav伝送装置、並びにav送信装置及びav受信装置
KR101600891B1 (ko) 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법
KR20010018572A (ko) 오디오/비디오 신호 동기 장치 및 그 방법
EP1889488B1 (en) Audio-video processing system
US20230016118A1 (en) System and method to synchronize rendering of multi-channel audio to video presentation
WO2021152661A1 (ja) 同期制御システム、送信装置、受信装置、同期制御方法、および、同期制御プログラム
JP7004627B2 (ja) 映像音声再生システム、映像表示装置及び映像表示方法
US20100166382A1 (en) Video and audio reproduction system, distribution device, and synchronization adjustment method
US10209952B2 (en) Content reproduction device, content reproduction system, and control method for a content reproduction device
KR20110065901A (ko) 다채널 사운드 무선 전송 시스템의 스피커간 동기를 위한 사전 보상 방법 및 장치
KR100793790B1 (ko) 무선 비디오 시스템 및 이 무선 비디오 시스템에서 신호를처리하는 방법
KR100677162B1 (ko) A/v 동기를 자동 조정하는 av 시스템
US20180183870A1 (en) Synchronization setting device and distribution system
JP2013143706A (ja) 映像音声処理装置、及びそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17753233

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17753233

Country of ref document: EP

Kind code of ref document: A1