WO2009098878A1 - 映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム - Google Patents

映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム Download PDF

Info

Publication number
WO2009098878A1
WO2009098878A1 PCT/JP2009/000439 JP2009000439W WO2009098878A1 WO 2009098878 A1 WO2009098878 A1 WO 2009098878A1 JP 2009000439 W JP2009000439 W JP 2009000439W WO 2009098878 A1 WO2009098878 A1 WO 2009098878A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
audio
delay amount
output device
unit
Prior art date
Application number
PCT/JP2009/000439
Other languages
English (en)
French (fr)
Inventor
Ayako Takatsuji
Junji Yoshida
Masazumi Yamada
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to US12/866,075 priority Critical patent/US8238726B2/en
Priority to JP2009550123A priority patent/JP4516156B2/ja
Publication of WO2009098878A1 publication Critical patent/WO2009098878A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/14Use of low voltage differential signaling [LVDS] for display data communication

Definitions

  • the present invention relates to a video / audio data synchronization method for synchronizing audio output from an audio output device and video output from the video output device in a video / audio output system including an audio output device and a video output device. .
  • HDMI High-Definition Multimedia Interface
  • the HDMI standard defines the CEC (Consumer Electronics Control) protocol as a protocol for transmitting control signals in both directions. If the CEC protocol is used, the control signal is relayed via a plurality of AV devices, so that the user can control the plurality of AV devices using a single remote controller. Specifically, for example, control signals are bidirectionally transmitted between a television receiver (hereinafter referred to as “TV”), an AV amplifier, and a DVD player / recorder (hereinafter referred to as “DVD recorder”). Thus, the user can operate the entire home theater including the TV, the AV amplifier, and the DVD recorder using one remote controller.
  • TV television receiver
  • DVD recorder DVD player / recorder
  • HDMI not only has a characteristic that signal degradation does not occur due to digital transmission, but also a playback device such as a DVD recorder reads the playback capability information of the connected device, thereby outputting video data and audio data. It has a feature that the format can be adjusted to an output format that can be played back by the connected device. Further, the HDMI has a feature that illegal copying can be prevented by encrypting video data and audio data and transmitting the encrypted video data and audio data.
  • HDMI transmission capability information is transmitted from a device having an HDMI input port (hereinafter referred to as “HDMI input device”) such as a TV and an AV amplifier to a connection partner device having an HDMI output port (hereinafter, “A DDC (Display Data Channel) bus that is a one-way connection to an “HDMI output device” is used.
  • HDMI input device such as a TV and an AV amplifier
  • a DDC (Display Data Channel) bus that is a one-way connection to an “HDMI output device” is used.
  • DDC Display Data Channel
  • VESA Video Electronics Standards Association
  • EDID Enhanced Display Identification Data
  • This EDID is data read from the HDMI input device connected to the HDMI output device via the DDC bus in response to the switching (or pulse) of the HPD (Hot Plug Detect) signal from Low to High by the HDMI input device. is there. That is, if the HPD signal is High, the HDMI output device can read the EDID of the HDMI input device.
  • the video format and audio format described in EDID suggest that the TV and AV amplifier, which are HDMI input devices, have the ability to reproduce digital video data and digital audio data in that format (HPD signal). Is Low when the power of the connection partner device is off or not connected).
  • the output of the video is delayed from the output of the audio, so that the synchronization between the audio and the video that must be synchronized originally, so-called lip There is a case where the sync (LipSync) shift occurs. Therefore, in the HDMI standard version 1.3a (see Non-Patent Document 1), by describing the delay amount of video and audio output processing (hereinafter simply referred to as “delay amount”) in the EDID, the output device
  • delay amount the delay amount of video and audio output processing
  • a video / audio data synchronization method has been disclosed that enables automatic adjustment of video output and audio output so as not to cause a synchronization shift between video and audio.
  • Non-Patent Document 1 when the delay amount changes in the HDMI input device, the HDMI input device updates the information on the delay amount of EDID. Then, the HDMI output device automatically adjusts the video output and the audio output by reading the changed EDID.
  • the HPD signal when the HDMI input device updates the EDID, the HPD signal needs to be Low. Further, when the HDMI output device reads EDID, the HPD signal needs to be High. Therefore, in the method described in Non-Patent Document 1, when the delay amount is changed, the HPD signal is switched from Low to High (or pulse).
  • HDMI standard adopts HDCP (High-bandwidth Digital Content Protection System), which is an authentication protocol for confirming that the connected device is a valid device when outputting content that requires copyright protection. It is specified that the authentication is started in response to the switching (or pulse) of the HPD signal from Low to High.
  • HDCP High-bandwidth Digital Content Protection System
  • FIG. 1 is a diagram showing an example of the configuration of a conventional HDMI-connected video / audio output system. As shown in FIG. 1, the DVD recorder 100, the AV amplifier 200, and the TV 300 are HDMI-connected.
  • the DVD recorder 100 has one HDMI output port 100PO.
  • the AV amplifier 200 includes one HDMI input port 200PI and one HDMI output port 200PO.
  • the TV 300 includes one HDMI input port 300PI.
  • DVD recorder 100, AV amplifier 200, and TV 300 are each connected by an HDMI cable.
  • the video data and the audio data are transmitted in one direction through the HDMI output port 100PO, the HDMI input port 200PI, the HDMI output port 200PO, and the HDMI input port 300PI in order.
  • the control message is transmitted bi-directionally on the HDMI control signal bus.
  • the state of the present system is a state in which video is output from the TV 300 and audio is output from the AV amplifier 200 (hereinafter referred to as “theater mode”).
  • the state in which audio is output from the TV is referred to as “TV mode”.
  • FIG. 2 is a diagram for explaining the operation of each device in a conventional HDMI-connected video / audio output system.
  • the horizontal axis in the figure represents the time axis (the same applies to FIGS. 3, 11, 12, and 17 described later).
  • the EDID shown in (f) is necessary for the video to be output to the display device together with information indicating that 1080p is supported as an initial value.
  • the time that is, the video output processing delay amount is described.
  • the video output processing delay amount for example, a time “100 ms” required for 1080p video output processing is set. Detailed descriptions of other EDID descriptions will be omitted. Since the TV 300 and the AV amplifier 200 are effectively HDMI-connected, as shown in (e), the HPD signal output from the TV 300 to the AV amplifier 200 is set to High.
  • the AV amplifier 200 since the AV amplifier 200 outputs audio, the AV amplifier 200 performs audio output based on the video output processing delay amount obtained from the EDID read from the TV 300 as shown in (f). Adjust (delay) the output of. Therefore, the video output processing delay amount is not set in the EDID of the AV amplifier 200 shown in (c) (or “0 ms” is set). Since the AV amplifier 200 and the DVD recorder 100 are effectively HDMI-connected, as shown in (b), the HPD signal output from the AV amplifier 200 to the DVD recorder 100 is set to High.
  • DVD recorder 100 reads EDID of AV amplifier 200 shown in (c), and transmits video data and audio data.
  • FIG. 3 is a diagram for explaining the operation when the output format of the video data output from the DVD recorder 100 is switched in the conventional HDMI-connected video / audio output system.
  • the video output processing delay amount in standard quality 480p is smaller than the video output processing delay amount in high quality 1080p. Therefore, when the format of the video data output from the DVD recorder 100 is switched from 1080p to 480p at time T11, the audio output timing is adjusted based on the video output processing delay amount when the AV amplifier 200 is 1080p. As a result, a synchronization error occurs between the audio output from the AV amplifier 200 and the video output from the TV 300 (the audio output is delayed with respect to the video output).
  • the TV 300 determines that (e) As shown, the HPD signal is temporarily switched to Low (time T12). Then, while the HPD signal shown in (e) is Low, the TV 300 updates the video output processing delay amount of EDID shown in (f) to, for example, 30 ms. Thereafter, the TV 300 switches the HPD signal shown in (e) to High again (time T13).
  • the AV amplifier 200 When the AV amplifier 200 detects that the HPD signal of the TV 300 shown in (e) is switched from Low to High (time T13), the AV amplifier 200 reads the EDID of the TV 300 shown in (f). Then, the AV amplifier 200 switches the HPD signal of (b) from Low to High (time T14).
  • the DVD recorder 100 determines that there is a possibility that the HDMI connection status has changed. Then, in order to comply with HDCP, the DVD recorder 100 checks whether or not the connection partner device is a valid device, that is, starts authentication. At the start of authentication, the DVD recorder 100 stops outputting video data and audio data that require content protection. Then, the DVD recorder 100 reads the EDID of the AV amplifier 200 shown in (c) again and transmits the video data (for example, blackout) that does not require content protection, while the AV amplifier 200 is a valid device. Check whether or not. Then, when the DVD recorder 100 can confirm that the AV amplifier 200 is a valid device, it starts outputting video data and audio data again (time T15). Since HDCP authentication is not the main point of the present invention, a detailed description thereof will be omitted.
  • the EDID of the video output device is always rewritten when the video output processing delay amount changes in the video output device. Then, the video / audio reproduction device stops outputting video data and audio data (contents) that need to be protected, and performs HDCP authentication. As a result, in the video / audio data synchronization method described in Non-Patent Document 1, the video / audio data is not received for a few seconds until the video / audio reproduction device finishes authentication and starts outputting video data and audio data again. There is a problem that a period in which no data is output occurs.
  • Patent Document 1 discloses a technique for providing video processing delay time information from a video output device (TV) to an audio output device (AV amplifier) using a control message.
  • Non-Patent Document 1 when the video output processing delay amount changes in a device that outputs video, a period in which video data and audio data are not output occurs. It has the problem that it ends up.
  • Patent Document 1 has a problem that the amount of control message transmission increases and the processing becomes complicated.
  • the present invention has been made in view of the above problems, and provides a video / audio data synchronization method and the like that can suppress an increase in the amount of transmission of control messages and can avoid stopping video output.
  • the purpose is to do.
  • a video / audio data synchronization method provides an output from an audio output device in a video / audio output system including an audio output device and a video output device connected to each other through a predetermined interface.
  • the playback capability information indicating the playback capability of the video output device and the connection status information indicating the validity of the connection status of the video output device can be transmitted in one direction from the video output device to the audio output device.
  • the control message can be transmitted bi-directionally.
  • connection status information is invalid.
  • An authentication step for authenticating that the video output device is a valid device and when the authentication in the authentication step is successful, the connection status information is valid.
  • the audio output device When the video output step indicates that the connection status information has changed from invalid to valid, the audio output device includes information indicating a first delay amount that is a time required for video output by the video output device A first delay acquisition step of acquiring reproduction capability information from the video output device through the interface; The audio output device adjusts the audio output timing based on the first delay amount acquired in the first delay amount acquisition step, and the video output device is in the video output step.
  • the audio output device can acquire the reproduction capability information including the information indicating the first delay amount without transmitting the control message. It is possible to suppress an increase in the amount of message transmission and to synchronize the output of video and audio. Furthermore, when the connection status information indicates that it is valid, the audio output device can acquire the second delay amount, which is the delay amount measured in the video output device, by the control message, so that the reproduction capability information is acquired. It is not necessary to change the connection status. In other words, since it is not necessary to change the connection status information when the connection status information indicates that it is valid, it is possible to avoid stopping the video output without causing unnecessary authentication and Output synchronization can be achieved.
  • the video output device is a rewritable memory when the connection state information indicates invalidity, and includes a memory storing the first delay amount.
  • the memory It is preferable that the reproduction capability information including information indicating the first delay amount stored in is acquired, and the first delay amount stored in the memory is not updated in the delay amount transmitting step.
  • connection state information indicates that the connection state information has changed from valid to invalid
  • a delay amount document that is written in the memory as the first delay amount using the second delay amount obtained in the second delay amount obtaining step. It is preferable to include an inclusion step.
  • the first delay amount stored in the memory is updated when the connection state information indicates that the connection state information has changed from valid to invalid, so that the delay amount when the connection state information is valid is continued. Makes it possible to quickly synchronize the output of video and audio when the connection state becomes valid again.
  • the first delay amount is preferably a fixed time that is uniquely determined in advance by the video output device.
  • the fixed time uniquely determined in advance by the video output device is the first delay amount
  • the video is quickly displayed when the connection state becomes valid. And the output can be synchronized.
  • the second delay amount acquired in the second delay amount acquisition step when the connection state information indicates a change from valid to invalid is transmitted as the first delay amount. It is preferable to do.
  • the delay amount measured when the connection state information indicates that the connection state has changed from valid to invalid is acquired as the first delay amount when the connection state becomes valid again, so the connection state becomes valid. It is possible to quickly synchronize the output of video and audio.
  • the delay amount transmission step the first delay amount acquired in the first delay amount acquisition step or the second delay amount previously transmitted in the delay amount transmission step and the second delay amount acquisition step are acquired. If the difference value from the second delay amount exceeds a predetermined threshold, it is preferable to transmit the second delay amount acquired in the second delay amount acquisition step.
  • the second delay amount measured in the video output device is transmitted. Therefore, when the delay amount measured in the video output device deviates from the delay amount used in the audio output device, it is possible to quickly synchronize the output of the video and audio.
  • the method further includes a delay amount requesting step of transmitting a control message including information requesting transmission of the second delay amount from the audio output device to the video output device, wherein in the delay amount transmitting step, the delay amount When the control message is transmitted in the request step, it is preferable to transmit the second delay amount.
  • the video / audio data synchronization method is a video / audio output system comprising an audio output device and a video output device connected to each other by a predetermined interface, a first audio cable, and a second audio cable.
  • the video signal can be transmitted in one direction to the video output device, and the control message can be transmitted in both directions.
  • the first audio cable can transmit the second audio data from the video output device to the audio output device.
  • the second audio cable is capable of transmitting third audio data from the video output device to the audio output device.
  • the audio output device outputs a first delay amount, which is a time required for the video output device to output video, and second audio data transmitted by the first audio cable.
  • the audio output device outputs the second delay amount that is the time required for video output and the third audio data transmitted by the second audio cable, the third delay that is the time required for video output.
  • a delay amount transmitting step for transmitting the amount from the video output device to the audio output device, first audio data transmitted through the interface, second audio data transmitted through the first audio cable, and the second An audio switching step for instructing which of the third audio data transmitted through the audio cable is to be used to output audio; and the audio switching step
  • the audio output device adjusts the timing of outputting audio based on the first delay amount transmitted in the delay amount transmission step;
  • the sound output device outputs sound based on the second delay amount transmitted in the delay amount transmitting step.
  • the voice output device is based on the third delay amount transmitted in the delay amount sending step.
  • an audio output step for adjusting the timing of outputting the audio.
  • the delay amount corresponding to each transmission path is transmitted to the audio output device, so that even if the audio output in the audio output device is switched, the output of the video and audio can be quickly synchronized. Is possible.
  • an increase in the transmission amount of the control message can be suppressed.
  • the video output device is a video output device connected to an audio output device by a predetermined interface, and the interface transmits video data from the audio output device to the video output device in one direction.
  • Transmission capability information indicating the playback capability of the video output device and connection status information indicating the validity of the connection status of the video output device are transmitted in one direction from the video output device to the audio output device.
  • the video output device receives the video data from the audio output device through the interface, and the video data receiving unit receives the video data from the audio output device through the interface.
  • a video output unit that outputs video based on the video data, and indicates that the connection status information has changed from invalid to valid
  • a first delay amount transmission unit that transmits the reproduction capability information including information indicating a first delay amount that is a time required for video output by the video output unit to the audio output device through the interface; and A second delay for transmitting a control message including information indicating a second delay amount, which is a time required for the video output by the video output unit, to the audio output device through the interface when the status information indicates that the status information is valid;
  • a quantity transmission unit is
  • the audio output device is an audio output device connected to the video output device by a predetermined interface, and the interface transmits video data in one direction from the audio output device to the video output device.
  • Transmission capability information indicating the playback capability of the video output device and connection status information indicating the validity of the connection status of the video output device are transmitted in one direction from the video output device to the audio output device.
  • the control message can be transmitted bidirectionally, and the video output device is a valid device when the audio output device indicates that the connection status information has changed from invalid to valid And when the authentication by the authenticating unit succeeds, the video output device displays the video data while the connection status information is valid.
  • a video data transmission unit that transmits through the interface; and information indicating a first delay amount that is a time required for video output by the video output device when the connection status information indicates that the connection status information has changed from invalid to valid.
  • the first delay amount receiving unit that receives the reproduction capability information from the video output device through the interface, and the time required for the video output by the video output device when the connection status information is valid.
  • a second delay amount receiving unit that receives a control message including information indicating a second delay amount from the video output device through the interface, a first delay amount received by the first delay amount receiving unit, and the second delay amount Audio output for adjusting the audio output timing using either one of the second delay amounts acquired by the delay amount receiving unit Provided with a door.
  • the video / audio output system is a video / audio output system including an audio output device and a video output device, which are connected to each other by a predetermined interface, wherein the interface transmits video data to the audio output device.
  • the video output device is capable of transmitting in one direction from the video output device to the video output device, and includes reproduction capability information indicating the reproduction capability of the video output device and connection state information indicating the validity of the connection state of the video output device.
  • a video data receiving unit that is capable of transmitting in one direction to the audio output device and bi-directionally transmitting a control message, and wherein the video output device receives video data from the audio output device through the interface
  • a video output unit that outputs video based on the video data received by the video data receiving unit; and
  • the playback capability information including information indicating a first delay amount, which is a time required for the video output by the video output unit, is transmitted to the audio output device when the connection state information indicates that the status has changed from invalid to valid.
  • a control message including information indicating a second delay amount that is a time required for video output when the connection state information indicates that the connection state information is valid, and the audio output device.
  • a second delay amount transmission unit for transmitting through the interface and when the audio output device indicates that the connection status information has changed from invalid to valid, the video output device is a valid device. And when the authentication by the authenticating unit succeeds, the video data is sent to the video output device while the connection status information is valid.
  • a first delay amount receiving unit that receives the control message, and a control message that includes information indicating the second delay amount when the connection status information indicates that the connection state information is valid.
  • a voice is output using either one of the two delay amount receivers and the first delay amount received by the first delay amount receiver and the second delay amount received by the second delay amount receiver.
  • an audio output unit for adjusting timing is output using either one of the two delay amount receivers and the first delay amount received by the first delay amount receiver and the second delay amount received by the second delay amount receiver.
  • the video / audio data synchronization method according to the present invention can suppress an increase in the transmission amount of the control message and avoid stopping the video output.
  • FIG. 1 is a diagram illustrating an example of a configuration of a conventional HDMI-connected video / audio output system.
  • FIG. 2 is a diagram for explaining the operation of each device in a conventional HDMI-connected video / audio output system.
  • FIG. 3 is a diagram for explaining the operation when the output format of video data is switched in a conventional HDMI-connected video / audio output system.
  • FIG. 4 is a diagram showing a configuration of an HDMI-connected video / audio output system according to Embodiment 1 of the present invention.
  • FIG. 5 is a block diagram showing a functional configuration of the DVD recorder according to Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing a functional configuration of the AV amplifier according to Embodiment 1 of the present invention.
  • FIG. 1 is a diagram illustrating an example of a configuration of a conventional HDMI-connected video / audio output system.
  • FIG. 2 is a diagram for explaining the operation of each device in a conventional HDMI-connected video / audio output
  • FIG. 7 is a block diagram showing a functional configuration of the TV according to Embodiment 1 of the present invention.
  • FIG. 8 is a diagram showing a flow of processing by each device constituting the video / audio output system according to Embodiment 1 of the present invention.
  • FIG. 9 is a diagram showing a flow of processing by each device constituting the video / audio output system according to Embodiment 1 of the present invention.
  • FIG. 10 is a diagram showing a flow of processing by each device constituting the video / audio output system according to Embodiment 1 of the present invention.
  • FIG. 11 is a diagram for explaining the operation of each device constituting the video / audio output system according to Embodiment 1 of the present invention.
  • FIG. 12 is a diagram for explaining the operation of each device constituting the video / audio output system according to the modification of the first embodiment of the present invention.
  • FIG. 13 is a diagram showing a configuration of an HDMI-connected video / audio output system according to Embodiment 2 of the present invention.
  • FIG. 14 is a block diagram showing a functional configuration of the AV amplifier according to the second embodiment of the present invention.
  • FIG. 15 is a block diagram showing a functional configuration of the TV according to the second embodiment of the present invention.
  • FIG. 16 is a diagram showing the flow of processing by each device constituting the video / audio output system according to Embodiment 2 of the present invention.
  • FIG. 17 is a diagram for explaining the operation of each device constituting the video / audio output system according to the present embodiment.
  • the video output processing delay of the video output device is caused by the change of the video output format or the like when the connection of the device for transmitting / receiving the video data and the audio data is valid.
  • the video output device notifies the changed video output processing delay amount by a control message. That is, the video output device does not change the video output processing delay amount of EDID transmitted in one direction to the audio output device. In other words, the video output device does not need to generate a disclosure trigger that temporarily invalidates and validates the connection by the HPD signal.
  • the audio output device uses the video output processing delay amount notified later by the control message in preference to the video output processing delay amount obtained from the EDID read from the video output device at the start of connection, Adjust the audio output timing.
  • the audio output device since the video output device does not need to switch (pulse) the HPD signal transmitted to the audio output device from Low to High, the audio output device also transmits the HPD signal transmitted to the video / audio reproduction device. There is no need to switch (pulse) from Low to High. Therefore, the video / audio reproduction device does not need to perform authentication based on HDCP again. For this reason, the audio output device and the video output device can synchronize temporally the audio output and the video output without interrupting the output of the video and audio.
  • FIG. 4 is a diagram showing a configuration of the HDMI-connected video / audio output system 1 according to Embodiment 1 of the present invention.
  • the video / audio output system 1 includes a DVD recorder 10, an AV amplifier 20, and a TV 30. These devices (DVD recorder 10, AV amplifier 20 and TV 30) constituting the video / audio output system 1 are connected to each other by an HDMI cable (hereinafter also simply referred to as “HDMI”).
  • HDMI cable hereinafter also simply referred to as “HDMI”.
  • the DVD recorder 10 is an example of a video / audio playback device that plays back video data and audio data, and includes an HDMI output port 10PO.
  • the AV amplifier 20 is an example of an audio output device that outputs audio, and includes an HDMI input port 20PI and an HDMI output port 20PO.
  • the TV 30 is an example of a video output device that outputs video, and includes an HDMI input port 30PI.
  • the HDMI output port 10PO and the HDMI input port 20PI are connected by an HDMI cable.
  • the HDMI output port 20PO and the HDMI input port 30PI are connected by an HDMI cable.
  • This HDMI can transmit the video data and audio data reproduced by the DVD recorder 10 in one direction in the order of the AV amplifier 20 and the TV 30. Also, the HDMI can transmit reproduction capability information indicating the reproduction capability of the TV 30 and connection state information indicating the validity of the connection state of the TV 30 in one direction from the TV 30 to the AV amplifier 20. Also, HDMI can transmit control messages (hereinafter referred to as “CEC messages”) bidirectionally between devices connected to each other.
  • CEC messages control messages
  • FIG. 5 is a block diagram showing a functional configuration of the DVD recorder 10 in the present embodiment.
  • the DVD recorder 10 includes an HDMI output unit 101, an HPD switching detection unit 102, an EDID information acquisition unit 103, an authentication / encryption unit 104, a CEC device cooperation unit 105, and a decoding unit 106.
  • a TMDS (Transition-Minimized Differential Signaling) encoding unit 107 and a TMDS output unit 108 are provided.
  • the HDMI output unit 101 includes an HDMI output port 10PO, and transmits video data and audio data and transmits and receives control messages (bidirectional communication).
  • the HDMI output unit 101 includes an HPD terminal 101a that receives an HPD signal 210a, a DDC terminal 101b that transmits and receives a DDC signal, a TMDS terminal 101c that transmits a TMDS signal, and a CEC terminal 101d that transmits and receives a CEC signal.
  • the HPD switching detection unit 102 detects switching of the HPD signal 210a received via the HPD terminal 101a of the HDMI output unit 101.
  • the HPD signal is an example of connection state information indicating the validity of the connection state of an HDMI-connected device.
  • the connection is valid when the HPD signal is High, and the connection is invalid when the HPD signal is Low.
  • the HPD switching detection unit 102 detects the switching of the HPD signal 210a from High to Low (change from valid to invalid) or the switching of the HPD signal 210a from Low to High (change from invalid to valid).
  • the EDID information acquisition unit 103 acquires the EDID 209a of the AV amplifier 20 by transmitting and receiving the DDC signal via the DDC terminal 101b when the HPD switching detection unit 102 detects that the HPD signal 210a is switched from Low to High. To do.
  • the EDID 209a of the AV amplifier 20 describes reproduction capability information such as the format of video data and audio data that the AV amplifier 20 can support.
  • the EDID information acquisition unit 103 outputs the reproduction capability information to the decoding unit 106.
  • the EDID 209a of the AV amplifier 20 also describes whether or not the AV amplifier 20 is an HDMI device.
  • the EDID information acquisition unit 103 instructs the authentication / encryption unit 104 to apply HDCP for authentication of the AV amplifier 20. At the same time, it instructs to start authentication of the AV amplifier 20.
  • the EDID information acquisition unit 103 instructs the authentication / encryption unit 104 to stop authentication when the HPD switching detection unit 102 detects that the HPD signal 210a is switched from High to Low.
  • the video output processing delay amount is not described in the EDID 209a of the AV amplifier 20 according to the present embodiment.
  • the EDID of the AV amplifier according to the present invention is a video that conforms to Version 1.3a of the HDMI standard.
  • the output processing delay amount may be described, or “0 ms” may be described as the video output processing delay amount.
  • the authentication / encryption unit 104 confirms whether or not the AV amplifier 20 is a legitimate device according to the authentication start instruction from the EDID information acquisition unit 103. That is, the authentication / encryption unit 104 confirms whether the AV amplifier 20 is a device that properly supports HDCP. Specifically, the authentication / encryption unit 104 performs authentication processing according to the HDCP authentication protocol by transmitting and receiving a DDC signal via the DDC terminal 101b. Note that a legitimate device indicates a device that properly conforms to a copyright protection standard such as HDCP. Since TMDS output is required at the time of authentication, the authentication / encryption unit 104 outputs, to the TMDS output unit 108, data obtained by TMDS encoding content data that does not require copyright protection.
  • content data that does not require copyright protection refers to data such as a blackout video that is a video of only one black color.
  • the authentication / encryption unit 104 instructs the TMDS encoding unit 107 to generate data for TMDS transmission. Then, the authentication / encryption unit 104 generates encrypted TMDS transmission data by encrypting the TMDS transmission data generated by the TMDS encoding unit 107 using the successful authentication information. The authentication / encryption unit 104 then outputs the encrypted TMDS transmission data to the TMDS output unit 108.
  • the authentication / encryption unit 104 instructs the TMDS encoding unit 107 to stop TMDS encoding of video data and audio data and to stop outputting TMDS transmission data to the authentication / encryption unit 104.
  • the CEC device cooperation unit 105 transmits / receives a CEC message to / from an HDMI-connected device by transmitting / receiving a CEC signal via the CEC terminal 101d.
  • the decoding unit 106 generates video data and audio data by decoding the video stream and the audio stream based on the reproduction capability information acquired from the EDID information acquisition unit 103. Then, the decoding unit 106 outputs the generated video data and audio data to the TMDS encoding unit 107.
  • the TMDS encoding unit 107 generates TMDS transmission data by TMDS encoding the video data and audio data acquired from the decoding unit 106 in accordance with an instruction from the authentication / encryption unit 104. Then, the TMDS encoding unit 107 outputs the generated TMDS transmission data to the authentication / encryption unit 104.
  • the TMDS output unit 108 transmits the TMDS signal via the TMDS terminal 101c, thereby transmitting the encrypted TMDS transmission data acquired from the authentication / encryption unit 104 or the unencrypted TMDS transmission data to the AV amplifier. 20 output.
  • FIG. 6 is a block diagram showing a functional configuration of the AV amplifier 20 in the present embodiment.
  • the AV amplifier 20 includes an HDMI output unit 201, an HPD switching detection unit 202, an EDID information acquisition unit 203, an authentication / encryption unit 204, a CEC device cooperation unit 205, and a TMDS output unit 206.
  • the HDMI output unit 201 includes an HDMI output port 20PO, and transmits video data and audio data and transmits and receives control messages (bidirectional communication).
  • the HDMI output unit 201 includes an HPD terminal 201a that receives an HPD signal 304a, a DDC terminal 201b that transmits and receives a DDC signal, a TMDS terminal 201c that transmits a TMDS signal, and a CEC terminal 201d that transmits and receives a CEC signal.
  • the HPD switching detection unit 202 detects that the connection state information has changed from invalid to valid or from valid to invalid. Specifically, the HPD switching detection unit 202 detects switching of the HPD signal 304 a received via the HPD terminal 201 a of the HDMI output unit 201. That is, the HPD switching detection unit 202 detects the switching of the HPD signal 304a from High to Low (change from valid to invalid) or the switching of the HPD signal 304a from Low to High (change from invalid to valid).
  • the EDID information acquisition unit 203 is an example of a first delay amount acquisition unit.
  • the HPD switch detection unit 202 detects that the HPD signal 304a is switched from Low to High
  • the EDID information acquisition unit 203 transmits and receives a DDC signal via the DDC terminal 201b.
  • the EDID 303a of the TV 30 is acquired.
  • the EDID 303a of the TV 30 describes reproduction capability information including information such as the video data and audio data formats that can be supported by the TV 30, the video output processing delay amount of the TV 30, and the like.
  • the video output processing delay amount is a time required for video output by the TV 30.
  • the video output processing delay amount is a time from when video data is received until video based on the received video data is output to the display.
  • the EDID information acquisition unit 203 outputs the reproduction capability information to the EDID setting unit 208 and the audio output unit 214.
  • the EDID 303a of the TV 30 also describes that the TV 30 is an HDMI device. Therefore, when the TV 30 is described as an HDMI device in the EDID 303a, the EDID information acquisition unit 203 instructs the authentication / encryption unit 204 to apply HDCP for authentication to the TV 30.
  • the EDID information acquisition unit 203 only instructs to apply HDCP, and does not instruct the start of authentication.
  • the EDID information acquisition unit 203 instructs the authentication / encryption unit 204 to stop authentication when the HPD switch detection unit 202 detects that the HPD signal 304a is switched from High to Low.
  • the authentication / encryption unit 204 confirms whether the TV 30 is a legitimate device in accordance with the authentication start instruction from the authentication / decryption unit 212. Specifically, the authentication / encryption unit 204 performs authentication processing according to the HDCP authentication protocol by transmitting and receiving a DDC signal via the DDC terminal 201b. Since TMDS output is required at the time of authentication, the authentication / encryption unit 204 outputs, to the TMDS output unit 206, data obtained by TMDS encoding content data that does not require copyright protection.
  • the authentication / encryption unit 204 instructs the authentication / decryption unit 212 to output data for TMDS transmission. Then, the authentication / encryption unit 204 generates encrypted TMDS transmission data by encrypting the TMDS transmission data decrypted by the authentication / decryption unit 212 using the successful authentication information. Then, the authentication / encryption unit 204 outputs the encrypted TMDS transmission data to the TMDS output unit 206.
  • the authentication / encryption unit 204 instructs the authentication / decryption unit 212 to stop outputting the TMDS transmission data.
  • the CEC device cooperation unit 205 transmits and receives CEC messages to and from the TV 30 and the DVD recorder 10 by transmitting and receiving CEC signals via the CEC terminal 201 d and the CEC terminal 207 d. Further, the CEC device cooperation unit 205 recognizes the setting of the television mode or the theater mode by transmitting and receiving a CEC message with the TV 30. Then, the CEC device cooperation unit 205 notifies the EDID setting unit 208 and the authentication / decryption unit 212 of information related to the recognized television mode or theater mode setting as setting information.
  • the CEC device cooperation unit 205 includes a video output processing delay amount acquisition unit 205a.
  • the video output processing delay amount acquisition unit 205a is an example of a second delay amount reception unit, and receives a CEC message instructing switching of the video output processing delay amount from the TV 30.
  • the video output processing delay amount acquisition unit 205 a outputs the video output processing delay amount obtained from the received CEC message to the audio output unit 214.
  • the TMDS output unit 206 is an example of a video data transmission unit, and transmits the TMDS signal to the TV 30 via the TMDS terminal 201c, whereby the encrypted TMDS transmission data acquired from the authentication / encryption unit 204 or encrypted The TMDS transmission data that has not been sent is output to the TV 30. Specifically, the TMDS output unit 206 transmits TMDS transmission data including video data to the TV 30 via the HDMI output unit 201 while indicating that the HPD signal 304a is valid.
  • the HDMI input unit 207 includes an HDMI input port 20PI, and receives video data and audio data and transmits and receives control messages (bidirectional communication).
  • the HDMI input unit 207 includes an HPD terminal 207a that transmits an HPD signal 210a, a DDC terminal 207b that transmits and receives a DDC signal, a TMDS terminal 207c that receives a TMDS signal, and a CEC terminal 207d that transmits and receives a CEC signal.
  • the EDID setting unit 208 determines the description content of the EDID 209a based on the setting information (television mode or theater mode) notified from the CEC device cooperation unit 205.
  • the EDID setting unit 208 changes the description content of the EDID 209a while the HPD signal 210a is Low. If the HPD signal 210a is High when changing the description of the EDID 209a, the EDID setting unit 208 instructs the HPD control unit 210 to change the HPD signal 210a to Low (HPD negate instruction). Then, after the change of the description of the EDID 209a is completed, the EDID setting unit 208 instructs the HPD control unit 210 to change the HPD signal 210a to High (HPD assert instruction).
  • the EDID storage unit 209 includes, for example, a nonvolatile memory and stores the EDID 209a.
  • the EDID 209a includes reproduction capability information.
  • the HPD control unit 210 changes the HPD signal 210a to be transmitted through the HPD terminal 207a to High (valid) or Low (invalid) according to the HPD assert instruction or HPD negate instruction from the EDID setting unit 208.
  • the TMDS input unit 211 receives the encrypted TMDS transmission data transmitted from the DVD recorder 10 via the TMDS terminal 207c. Then, the TMDS input unit 211 outputs the encrypted TMDS transmission data to the authentication / decryption unit 212.
  • the authentication / decryption unit 212 responds to the authentication process according to the authentication protocol of the AV amplifier 20 by the DVD recorder 10.
  • the authentication / decryption unit 212 instructs the authentication / encryption unit 204 to start authentication with the TV 30. Since an TMDS input is required at the time of an authentication response, the authentication / decryption unit 212 acquires TMDS transmission data that does not require copyright protection and is not encrypted from the TMDS input unit 211.
  • the authentication / decryption unit 212 acquires encrypted TMDS transmission data from the TMDS input unit 211.
  • the authentication / decryption unit 212 generates TMDS transmission data (unencrypted) by decrypting the acquired encrypted TMDS transmission data.
  • the authentication / decryption unit 212 outputs the generated TMDS transmission data to the authentication / encryption unit 204 based on the setting information (television mode or theater mode) notified by the CEC device cooperation unit 205.
  • the setting information is the theater mode
  • the authentication / decryption unit 212 outputs the data obtained by removing the audio data from the decrypted TMDS transmission data to the authentication / encryption unit 204, and the decrypted TMDS.
  • the transmission data is output to the TMDS decoding unit 213.
  • the authentication / decryption unit 212 outputs the decrypted TMDS transmission data to the authentication / encryption unit 204 as it is without removing the audio data.
  • the TMDS decoding unit 213 generates an audio stream by TMDS decoding the TMDS transmission data. Then, the TMDS decoding unit 213 outputs the generated audio stream to the audio output unit 214.
  • the audio output unit 214 includes a speaker and outputs audio using the audio stream generated by the TMDS decoding unit 213.
  • the audio output unit 214 adjusts (delays) the audio output timing based on the video output processing delay amount acquired by the EDID information acquisition unit 203 or the video output processing delay amount acquisition unit 205a. Note that when a plurality of video output processing delay amounts are acquired by the EDID information acquisition unit 203 and the video output processing delay amount acquisition unit 205a, the audio output unit 214 performs audio processing based on the latest video output processing delay amount. Adjust the output timing.
  • FIG. 7 is a block diagram showing a functional configuration of the TV 30 in the present embodiment.
  • the TV 30 includes an HDMI input unit 301, an EDID setting unit 302, an EDID storage unit 303, an HPD control unit 304, a TMDS input unit 305, an authentication / decryption unit 306, a CEC device cooperation unit 307, and a TMDS decoding unit. 308, a video output unit 309, and an audio output unit 310.
  • the HDMI input unit 301 includes an HDMI input port 30PI, and receives video data and audio data and transmits and receives control messages (bidirectional communication).
  • the HDMI input unit 301 includes an HPD terminal 301a that transmits an HPD signal 304a, a DDC terminal 301b that transmits and receives a DDC signal, a TMDS terminal 301c that receives a TMDS signal, and a CEC terminal 301d that transmits and receives a CEC signal.
  • the EDID setting unit 302 determines the description content of the EDID 303 a when the power is turned on, and sets the determined description content in the EDID 303 a stored in the EDID storage unit 303.
  • the EDID setting unit 302 sets a fixed time, which is uniquely determined in advance by the TV 30, in the EDID 303a as a video output processing delay amount.
  • the EDID setting unit 302 always sets the delay amount 100 ms generated when outputting the video of “1080p” which is the maximum resolution video format among the video formats supported by the TV 30 as the video output processing delay amount. To do.
  • the HDMI output device selects the data output format by acquiring the playback capability information of the connected HDMI input device, the highest quality video format supported by both the HDMI output device and the HDMI input device. And the assumption that the audio format is likely to be selected as the output format. That is, the video / audio output system 1 can increase the possibility that the video output and the audio output can be synchronized by setting the delay amount in the video format of the maximum resolution as the video output processing delay amount. Then, after setting the description content of the EDID 303a, the EDID setting unit 302 instructs the HPD control unit 304 to change the HPD signal 304a to High (HPD assert instruction).
  • the EDID storage unit 303 includes, for example, a nonvolatile memory and stores the EDID 303a.
  • reproduction capability information including information indicating the video output processing delay amount is set.
  • the HPD control unit 304 changes the HPD signal 304a to be transmitted to the AV amplifier 20 via the HPD terminal 301a to High (valid) in accordance with an HPD assert instruction from the EDID setting unit 302.
  • the TMDS input unit 305 receives the encrypted TMDS transmission data transmitted by the AV amplifier 20 via the TMDS terminal 301 c of the HDMI input unit 301. Then, the TMDS input unit 305 outputs the encrypted TMDS transmission data to the authentication / decryption unit 306.
  • the authentication / decryption unit 306 responds to the authentication of the TV 30 by the AV amplifier 20. Since the TMDS input is required at the time of the authentication response, the authentication / decryption unit 306 acquires from the TMDS input unit 305 TMDS transmission data that does not require copyright protection and is not encrypted. If the authentication of the TV 30 is successful, the authentication / decryption unit 306 obtains encrypted TMDS transmission data from the TMDS input unit 305. The authentication / decryption unit 306 generates TMDS transmission data (not encrypted) by decrypting the acquired encrypted TMDS transmission data. Then, authentication / decryption unit 306 outputs the generated TMDS transmission data to TMDS decoding unit 308.
  • the CEC device cooperation unit 307 transmits / receives a CEC message to / from the AV amplifier 20 by transmitting / receiving a CEC signal to / from the AV amplifier 20 via the CEC terminal 301d.
  • the CEC device cooperation unit 307 switches the setting of the television mode or the theater mode by transmitting / receiving a CEC message to / from the AV amplifier 20 or transmitting / receiving a CEC message to / from the DVD recorder 10 via the AV amplifier 20.
  • the CEC device cooperation unit 307 includes a video output processing delay amount setting unit 307a.
  • the video output processing delay amount setting unit 307 a acquires the video output processing delay amount from the video output unit 309. Then, the video output processing delay amount setting unit 307a uses the video output processing delay amount acquired from the video output unit 309 and the video output processing delay amount set in the EDID 303a or the video output processing delay amount setting unit 307a before AV.
  • the difference value from the video output processing delay amount transmitted to the amplifier 20 exceeds a threshold (for example, 0 to 50 ms) indicating a value that can be accepted by a person as a lip sync deviation
  • a threshold for example, 0 to 50 ms
  • a CEC message instructing switching to the processing delay amount is transmitted to the AV amplifier 20.
  • the TMDS decoding unit 308 generates a video stream and an audio stream by TMDS decoding the TMDS transmission data. Then, the TMDS decoding unit 308 outputs the generated video stream to the video output unit 309, and outputs the generated audio stream to the audio output unit 310.
  • the video output unit 309 outputs video to an output medium such as a display.
  • the video output unit 309 measures the time required from when the TV 30 receives the encrypted TMDS transmission data until it is displayed on the output medium. Then, the video output unit 309 notifies the video output processing delay amount setting unit 307a of the measured time as a video output processing delay amount.
  • the audio output unit 310 includes a speaker or the like, and outputs audio using the audio stream generated by the TMDS decoding unit 213 in the television mode.
  • 8 to 10 are diagrams showing the flow of processing by each device constituting the video / audio output system 1 in the present embodiment.
  • 8 to 10 are diagrams showing the flow of processing when the theater mode is selected in the video / audio output system 1.
  • FIG. 8 to 10 are diagrams showing the flow of processing when the theater mode is selected in the video / audio output system 1.
  • the EDID setting unit 302 of the TV 30 sets the video output processing delay amount in the EDID 303a (step S101). Then, the HPD control unit 304 of the TV 30 changes the HPD signal 304a from Low to High (Step S102).
  • the HPD switching detection unit 202 of the AV amplifier 20 detects switching of the HPD signal 304a from Low to High (Step S103).
  • the EDID information acquisition unit 203 of the AV amplifier 20 acquires the EDID 303a stored in the EDID storage unit 303 of the TV 30 (step S104). That is, when the HPD signal 304a changes from Low to High, the AV amplifier 20 acquires the EDID 303a from the TV 30 through HDMI.
  • the EDID 303a describes reproduction capability information including information indicating a video output processing delay amount (first delay amount) that is a time required for video output by the TV 30.
  • the HPD control unit 210 of the AV amplifier 20 changes the HPD signal 210a from Low to High (Step S105).
  • the HPD switching detection unit 102 of the DVD recorder 10 detects switching from Low to High of the HPD signal 210a (Step S106).
  • the EDID information acquisition unit 103 of the DVD recorder 10 acquires the EDID 209a stored in the EDID storage unit 209 of the AV amplifier 20 (step S107).
  • the authentication / encryption unit 104 of the DVD recorder 10 starts authentication that the AV amplifier 20 is a valid device (step S108).
  • the authentication / decryption unit 212 of the AV amplifier 20 transmits authentication information to the DVD recorder 10 in accordance with an authentication instruction from the DVD recorder 10 (step S109).
  • the authentication / encryption unit 104 of the DVD recorder 10 authenticates the AV amplifier 20 using the received authentication information (step S110).
  • the authentication / encryption unit 204 of the AV amplifier 20 starts authentication of the TV 30 (step S111).
  • the authentication / decryption unit 306 of the TV 30 transmits the authentication information to the AV amplifier 20 in accordance with the authentication instruction from the AV amplifier 20 (step S112).
  • the authentication / encryption unit 204 of the AV amplifier 20 authenticates the TV 30 using the received authentication information (step S113).
  • the TMDS output unit 108 of the DVD recorder 10 transmits the encrypted TMDS transmission data to the AV amplifier 20 (step S114). Specifically, the TMDS encoding unit 107 of the DVD recorder 10 generates TMDS transmission data by TMDS encoding video data and audio data. Then, the authentication / encryption unit 104 of the DVD recorder 10 generates encrypted TMDS transmission data by encrypting the generated TMDS transmission data using the authentication information of the AV amplifier 20. The TMDS output unit 108 of the DVD recorder 10 transmits the encrypted TMDS transmission data generated in this way to the AV amplifier 20 via the HDMI output unit 101. Also, the DVD recorder 10 performs authentication for confirming that the TV 30 is a valid device for the AV amplifier 20 (step S115).
  • the authentication / decryption unit 212 of the AV amplifier 20 decrypts the received encrypted TMDS transmission data (step S116).
  • the TMDS output unit 206 of the AV amplifier 20 transmits the encrypted TMDS transmission data to the TV 30 (step S117).
  • the authentication / encryption unit 204 of the AV amplifier 20 generates encrypted TMDS transmission data by encrypting the decrypted TMDS transmission data using the authentication information of the TV 30.
  • the TMDS output unit 206 of the AV amplifier 20 transmits the encrypted TMDS transmission data generated in this way to the TV 30 via the HDMI output unit 201.
  • the AV amplifier 20 responds to authentication from the DVD recorder 10 for confirming that the TV 30 is a valid device (step S118).
  • the authentication start from the AV amplifier 20 to the TV 30 (step S111) is performed after the authentication start from the DVD recorder 10 to the AV amplifier 20 (step S108), and the respective authentications are performed in parallel.
  • the authentication / decryption unit 306 of the TV 30 decrypts the received encrypted TMDS transmission data (step S119). Then, the TMDS decoding unit 308 of the TV 30 generates a video stream and an audio stream by performing TMDS decoding on the decoded TMDS transmission data (step S120). The video output unit 309 outputs a video using the generated video stream (step S121).
  • the TMDS decoding unit 213 of the AV amplifier 20 generates an audio stream by performing TMDS decoding on the decoded TMDS transmission data (step S122). Then, the audio output unit 214 of the AV amplifier 20 synchronizes with the video output in step S121 by adjusting the audio output timing based on the video output processing delay amount obtained from the EDID 303a acquired in step S104. The voice is output so as to do (step S123).
  • the decoding unit 106 of the DVD recorder 10 changes the video format of the video data (step S124). For example, the decoding unit 106 changes the video format from 1080p to 480p. Similarly to steps S114 to S121, the video data whose video format has been changed is also transmitted to the TV 30, and a video is output based on the transmitted video data. As a result, the video output processing delay amount setting unit 307a of the TV 30 detects that the video output processing delay amount has changed (step S125). For example, the video output unit 309 measures the time required for video output, and notifies the video output processing delay amount setting unit 307a of the measured time as a video output processing delay amount (second delay amount).
  • the video output processing delay amount setting unit 307a when the difference value between the measured video output processing delay amount notified from the video output unit 309 and the video output processing delay amount obtained from the EDID 303a exceeds a predetermined threshold value In addition, it is detected that the video output processing delay amount has changed.
  • a predetermined threshold value a value (for example, 0 to 50 ms) that can be accepted by a person as the lip sync deviation may be used.
  • the video output unit 309 notifies the video output processing delay amount setting unit 307a of the measured video output processing delay amount, but the video output processing delay amount may not necessarily be measured.
  • the video output unit 309 may acquire the video output processing delay amount corresponding to the video format of the video being output by referring to a table previously stored in a memory included in the video output device. Then, the video output unit 309 may notify the acquired video output processing delay amount to the video output processing delay amount setting unit 307a.
  • the video output processing delay amount setting unit 307a transmits a CEC message instructing switching to the video output processing delay amount acquired from the video output unit 309 to the AV amplifier 20 (step S126).
  • This instruction is transmitted to the AV amplifier 20 using, for example, a CEC message command (Vendor Command).
  • the EDID setting unit 302 of the TV 30 does not update the video output processing delay amount of the EDID 303 a stored in the EDID storage unit 303.
  • the audio output unit 214 of the AV amplifier 20 adjusts the timing of outputting audio based on the video output processing delay amount obtained from the CEC message, thereby outputting the video output based on the changed video format. Audio is output so as to be synchronized (step S127).
  • FIG. 11 is a diagram for explaining the operation of each device constituting the video / audio output system 1 according to the present embodiment.
  • the video output processing delay amount changes, for example, from 100 ms to 30 ms.
  • the TV 30 transmits a CEC message instructing the AV amplifier 20 to switch the video output processing delay amount at time T2.
  • This instruction includes, for example, information indicating a video output processing delay amount transmitted using a command (Vendor Command) of a CEC message and measured by the TV 30.
  • the TV 30 does not change the video output processing delay amount of the EDID 303a as 100 ms. That is, the TV 30 does not need to pulse the HPD signal 304a. Therefore, the DVD recorder 10 does not need to start HDCP authentication for confirming whether or not the AV amplifier 20 is a legitimate device, and therefore can continue outputting content (video data and audio data) as it is. it can.
  • the AV amplifier 20 preferentially uses the video output processing delay amount obtained from the received CEC message. Therefore, the AV amplifier 20 can adjust the audio output timing irrespective of the video output processing delay amount described in the EDID 303a of the TV 30.
  • the video / audio data synchronization method it is possible to eliminate the need for command notification by useless control messages by acquiring the video output processing delay amount optimal for the system from the EDID at the start of the HDMI connection. it can.
  • the video output processing delay amount when the video output processing delay amount changes, the video output processing delay amount is calculated using a command based on a control message that does not require the HDMI connection to be invalidated.
  • the AV amplifier 20 sets the audio output timing to the optimum synchronization timing according to the video output without stopping the transmission of the content (video data and audio data) reproduced by the DVD recorder 10. Can be adjusted.
  • the video / audio data synchronization method reproduces information including the video output processing delay amount without transmitting a control message when the connection state information indicates that the connection status information has changed from invalid to valid. Since the audio output device can acquire the capability information, it is possible to suppress an increase in the transmission amount of the control message and to synchronize the output of the video and the audio. Furthermore, when the connection status information indicates that it is valid, the video output processing delay amount measured in the video output device can be acquired by the audio output device receiving the control message, so the playback capability information is acquired. No need to change the connection state. In other words, since it is not necessary to change the connection status information when the connection status information indicates that it is valid, it is possible to avoid stopping the video output without causing unnecessary authentication and Output synchronization can be achieved.
  • the EDID setting unit 302 causes the video output processing delay in the highest quality video format supported by both the HDMI output device and the HDMI input device when the power is turned on.
  • the amount is set to EDID 303a, the video / audio data synchronization method according to the present invention is not necessarily limited to the video output processing delay amount in the highest quality video format.
  • the EDID setting unit 302 may set a fixed value determined as the product specification of the HDMI input device as the video output processing delay amount. Also, the EDID setting unit 302 uses the video output processing delay amount measured by the video output unit 309 as the video output processing delay amount of the EDID 303a stored in the EDID storage unit 303 when the HPD signal changes from High to Low. May be updated. Specifically, the latest video output processing delay amount transmitted by the video output processing delay amount setting unit 307a is stored when the power is turned off, and the stored video output processing delay amount is set by EDID when the power is turned on again. The unit 302 may read the data.
  • the audio output device can adjust the audio output timing to the optimum synchronization timing in accordance with the video output.
  • FIG. 12 is a diagram for explaining the operation of each device constituting the video / audio output system 1 in a modification of the present embodiment.
  • FIG. 12 is a diagram in which operations after time T6 are added to FIG.
  • the HPD signal 304a of the TV 30 becomes Low.
  • the EDID 303a of the TV 30 changes to the video output processing delay amount immediately before the power is turned off, that is, “30 ms”.
  • the HPD signal of the TV 30 becomes High, and the EDID 304a of the TV 30 is transmitted to the AV amplifier 20.
  • the audio output delay amount of the AV amplifier 20 continues to be “30 ms”. Then, the HPD signal 210a of the AV amplifier 20 becomes Low at time T8, then becomes High at time T9, and the re-authentication operation starts.
  • the video output unit 309 of the TV 30 measures the time taken until the input video data is displayed on the output medium, and notifies the video output processing delay amount setting unit 307a of the measured time.
  • the video output unit 309 it is not always necessary for the video output unit 309 to measure time.
  • the TMDS decoding unit 308 sets the video output processing delay amount by referring to a database that holds in advance the video output processing delay amount corresponding to the output video format, environment setting conditions, and the like. You may notify to the part 307a.
  • the TMDS decoding unit 308 recognizes the video format and acquires the video output processing delay amount corresponding to the recognized video format.
  • the video output device may be a video / audio output device having an audio output function.
  • the TV 30 when the video output processing delay amount changes, the TV 30 voluntarily transmits a CEC message specifying the video output processing delay amount to the AV amplifier 20.
  • the TV 30 may respond to the inquiry CEC message with a CEC message that specifies the video output processing delay amount. That is, when the AV amplifier 20 transmits a control message including information requesting transmission of the video output processing delay amount to the TV 30, the TV 30 may transmit the video output processing delay amount to the AV amplifier 20.
  • the video / audio output system can synchronize the output of video and audio using the video output processing delay amount easily measured at an arbitrary timing.
  • FIG. 13 is a diagram showing a configuration of the HDMI-connected video / audio output system 2 according to Embodiment 2 of the present invention.
  • the video / audio output system 2 includes a DVD recorder 10, an AV amplifier 25, and a TV 35.
  • the video / audio output system 2 according to the present embodiment is different from the video / audio output system 1 according to the first embodiment shown in FIG. 4 in that the AV amplifier 25 and the TV 35 are connected to the first audio cable in addition to the HDMI cable. (Hereinafter referred to as “optical digital audio cable”) and a second audio cable (hereinafter referred to as “analog audio cable”).
  • the DVD recorder 10 has the same function as the DVD recorder 10 according to the first embodiment shown in FIG.
  • the AV amplifier 25 is an example of an audio output device that outputs audio, and includes an HDMI input port 25PI, an HDMI output port 25PO, an optical digital audio input port 25PId, and an analog audio input port 25PIa.
  • the TV 35 is an example of a video output device that outputs video, and includes an HDMI input port 35PI, an optical digital audio output port 35POd, and an analog audio output port 35POa.
  • HDMI is capable of transmitting video data and first audio data (hereinafter referred to as “HDMI audio data”) reproduced by the DVD recorder 10 in one direction in the order of the AV amplifier 25 and the TV 35. Also, the HDMI can transmit reproduction capability information indicating the reproduction capability of the TV 35 and connection state information indicating the validity of the connection state of the TV 35 from the TV 35 to the AV amplifier 25 in one direction. Also, HDMI can transmit control messages bidirectionally between devices connected to each other.
  • the optical digital audio cable can transmit second audio data (hereinafter referred to as “optical digital audio data”) in one direction from the optical digital audio output port 35POd of the TV 35 to the optical digital audio input port 25PId of the AV amplifier 25. is there.
  • the analog audio cable can transmit the third audio data (hereinafter referred to as “analog audio data”) in one direction from the analog audio output port 35POa of the TV 35 to the analog audio input port 25PIa of the AV amplifier 25.
  • analog audio data hereinafter referred to as “analog audio data”
  • the optical digital audio data is transmitted from the TV 35 to the AV amplifier 25 via an optical digital audio cable.
  • Analog audio data is transmitted from the TV 35 to the AV amplifier 25 by an analog audio cable.
  • the AV amplifier 25 adjusts the audio output timing based on the video output processing delay amount when video is output based on video data and audio data transmitted by HDMI. In this case, since the delay due to the difference in the transmission path of the audio data is not taken into account, a deviation occurs between the audio output from the AV amplifier 25 and the video output from the TV 35.
  • the video output processing delay amount reflecting the audio output processing delay amount for each transmission path of the audio data is calculated, and all the calculated video output processing delay amounts are calculated. Is transmitted from the video output device to the audio output device. Then, the audio output device uses the video output processing delay amount corresponding to the audio switching setting to adjust the audio output timing. Therefore, the video output device does not need to recognize the audio input setting state of the audio output device. Furthermore, the audio output device adjusts the timing of outputting audio so that it synchronizes with the video output by the video output device without transmitting / receiving a new control message when the audio input of the own device is switched. Can do.
  • the functional configuration of the DVD recorder 10 according to the present embodiment is the same as that shown in FIG.
  • the AV amplifier 25 includes an HDMI output unit 251, an HPD switching detection unit 252, an EDID information acquisition unit 253, an authentication / encryption unit 254, a CEC device cooperation unit 255, and a TMDS output unit 256.
  • the HDMI output unit 251 includes an HDMI output port 25PO, and transmits video data and audio data and transmits and receives control messages (bidirectional communication).
  • the HDMI output unit 251 includes an HPD terminal 251a that receives an HPD signal 354a, a DDC terminal 251b that transmits and receives a DDC signal, a TMDS terminal 251c that transmits a TMDS signal, and a CEC terminal 251d that transmits and receives a CEC signal.
  • the HPD switching detection unit 252 detects that the connection state information has changed from invalid to valid or from valid to invalid. Specifically, the HPD switching detection unit 202 detects switching of the HPD signal 354a received via the HPD terminal 251a of the HDMI output unit 251. That is, the HPD switching detection unit 202 detects the switching of the HPD signal 354a from High to Low (change from valid to invalid) or the switching of the HPD signal 354a from Low to High (change from invalid to valid).
  • the EDID information acquisition unit 253 acquires the EDID 353a of the TV 35 by transmitting and receiving the DDC signal via the DDC terminal 251b when the HPD switching detection unit 252 detects the switching of the HPD signal 354a from Low to High.
  • the EDID 353a of the TV 35 describes playback capability information including information such as the video data and audio data formats that can be supported by the TV 35 and the video output processing delay amount of the TV 35.
  • the EDID information acquisition unit 253 outputs the reproduction capability information to the EDID setting unit 258 and the audio output unit 264.
  • the EDID 353a of the TV 35 also describes that the TV 35 is an HDMI device.
  • the authentication / encryption unit 254 confirms whether the TV 35 is a legitimate device in accordance with the authentication start instruction from the authentication / decryption unit 262. Specifically, the authentication / encryption unit 204 performs authentication processing according to the HDCP authentication protocol by transmitting and receiving a DDC signal via the DDC terminal 251b. Since TMDS output is required at the time of authentication, the authentication / encryption unit 254 outputs to the TMDS output unit 256 data that is TMDS-encoded content data that does not require copyright protection.
  • the authentication / encryption unit 254 instructs the authentication / decryption unit 262 to output data for TMDS transmission. Then, the authentication / encryption unit 254 generates encrypted TMDS transmission data by encrypting the TMDS transmission data decrypted by the authentication / decryption unit 212 using the successful authentication information. Then, the authentication / encryption unit 204 outputs the encrypted TMDS transmission data to the TMDS output unit 256.
  • the CEC device cooperation unit 255 transmits / receives a CEC message to / from the DVD recorder 10 and the TV 35 by transmitting / receiving a CEC signal via the CEC terminal 251d and the CEC terminal 257d.
  • the CEC device cooperation unit 255 recognizes information regarding the setting of the television mode or the theater mode by transmitting and receiving a CEC message with the TV 35. Then, the CEC device cooperation unit 255 notifies the EDID setting unit 258 and the authentication / decryption unit 262 of the information related to the recognized television mode or theater mode setting as setting information.
  • the CEC device cooperation unit 255 includes a video output processing delay amount acquisition unit 255a.
  • the video output processing delay amount acquisition unit 255a receives a CEC message including information indicating the first, second, and third video output processing delay amounts from the TV 35.
  • the video output processing delay amount acquisition unit 255a outputs the first, second, and third video output processing delay amounts obtained from the received CEC message to the audio output unit 264.
  • the CEC device cooperation unit 255 receives a CEC message including information related to the voice switching instruction.
  • the CEC device cooperation unit 255 outputs information obtained from the received CEC message to the voice input switching unit 267.
  • the CEC device cooperation unit 255 acquires the CEC message from the HDMI input unit 257.
  • the audio input switching unit 267 is instructed to switch the audio output unit 264 so as to output audio based on the audio data. Details of the input switching operation by the CEC message are not the main point of the present invention, and thus the description thereof is omitted.
  • the TMDS output unit 256 transmits the TMDS signal to the TV 35 via the TMDS terminal 251c, thereby transmitting the encrypted TMDS transmission data acquired from the authentication / encryption unit 254 or the unencrypted TMDS transmission data, Output to TV35. That is, when the authentication / encryption unit 254 succeeds in authenticating the TV 35, the TMDS output unit 256 transmits TMDS transmission data including video data to the TV 35 via the HDMI output unit 251.
  • the HPD control unit 260 changes the HPD signal 260a transmitted via the HPD terminal 257a to High (valid) or Low (invalid) in accordance with an HPD assert instruction or HPD negate instruction from the EDID setting unit 258.
  • the TMDS input unit 261 receives the encrypted TMDS transmission data transmitted by the DVD recorder 10 via the TMDS terminal 257c. Then, the TMDS input unit 261 outputs the encrypted TMDS transmission data to the authentication / decryption unit 262.
  • the authentication / decryption unit 262 responds to authentication processing in accordance with the authentication protocol of the AV amplifier 25 by the DVD recorder 10.
  • the authentication / decryption unit 262 instructs the authentication / encryption unit 254 to start authentication with the TV 35. Since the TMDS input is required at the time of the authentication response, the authentication / decryption unit 262 acquires from the TMDS input unit 261 TMDS transmission data that does not require copyright protection and is not encrypted.
  • the authentication / decryption unit 262 acquires encrypted TMDS transmission data from the TMDS input unit 261.
  • the TMDS decoding unit 263 generates an audio stream by TMDS decoding the TMDS transmission data. Then, the TMDS decoding unit 263 outputs the generated audio stream to the audio output unit 264.
  • the analog audio input unit 266 includes an analog audio input port 25PIa and receives analog audio data from the TV 35. Then, the analog audio input unit 266 outputs an audio stream obtained from the received analog audio data to the audio output unit 264.
  • the audio output unit 264 when an audio switching instruction is issued that instructs the audio output unit 264 to output audio based on the optical digital audio data acquired by the optical digital audio input unit 265, the audio output unit 264 The audio output timing is adjusted using the second video output processing delay amount, which is the video output processing delay amount corresponding to the audio data acquired by the input unit 265.
  • the TV 35 includes an HDMI input unit 351, an EDID setting unit 352, an EDID storage unit 353, an HPD control unit 354, a TMDS input unit 355, an authentication / decryption unit 356, and CEC device cooperation.
  • the HDMI input unit 351 includes an HDMI input port 35PI, and receives video data and audio data and transmits and receives control messages (bidirectional communication).
  • the HDMI input unit 351 includes an HPD terminal 351a that transmits an HPD signal 354a, a DDC terminal 351b that transmits and receives a DDC signal, a TMDS terminal 351c that receives a TMDS signal, and a CEC terminal 351d that transmits and receives a CEC signal.
  • the EDID setting unit 352 determines the description content of the EDID 353a when the power is turned on, and sets the determined description content in the EDID 353a. After setting the description content of EDID 353a, EDID setting unit 352 instructs HPD control unit 354 to change HPD signal 354a to High (HPD assertion instruction). For example, when the EDID setting unit 352 acquires a video switching instruction that instructs to output video based on video data other than video data transmitted by HDMI, the EDID setting unit 352 transmits the video switching instruction to the AV amplifier 25 via the HPD terminal 351a. The HPD control unit 354 is instructed to change the HPD signal 354a to be output to Low.
  • the EDID storage unit 353 includes, for example, a nonvolatile memory and stores the EDID 353a.
  • reproduction capability information including information indicating the video output processing delay amount is set.
  • the HPD control unit 354 changes the HPD signal 354a to be transmitted to the AV amplifier 25 via the HPD terminal 351a to High (valid) in accordance with the HPD assert instruction from the EDID setting unit 352. Further, the HPD control unit 354 changes the HPD signal 354a transmitted to the AV amplifier 25 via the HPD terminal 351a to Low (invalid) in accordance with the HPD negation instruction from the EDID setting unit 352.
  • the TMDS input unit 355 receives the encrypted TMDS data transmitted by the AV amplifier 25 by receiving the TMDS signal from the TMDS terminal 351c. Then, the TMDS input unit 355 outputs the received encrypted TMDS transmission data to the authentication / decryption unit 356.
  • the first video output processing delay amount is a video output processing delay amount (for example, 100 ms) acquired from the video output unit 359.
  • the second video output processing delay amount is a video output processing delay amount when audio is output from the optical digital audio output unit 363.
  • the video output processing delay amount acquired from the video output unit 359 for example, 100 ms
  • the audio output processing delay amount for example, 60 ms
  • the third video output processing delay amount is a video output processing delay amount when audio is output from the analog audio output unit 364.
  • the TV 35 When the audio is output based on the first video output processing delay amount 100 ms for synchronizing the timing with the video output by the TV 35 when outputting the audio and the audio data transmitted by the optical digital audio cable, the TV 35 To synchronize the timing with the video output by the TV 35 when outputting the audio based on the second video output processing delay amount 40 ms for synchronizing the timing with the video to be output and the audio data transmitted by the analog audio cable.
  • the third video output processing delay amount of 50 ms can be received.
  • the video output unit 359 outputs video to an output medium such as a display.
  • the video output unit 359 detects the time required from when the TV 35 receives the encrypted TMDS transmission data until it is displayed on the output medium. Then, the video output unit 359 notifies the video output processing delay amount setting unit 357a of the detected time as a video output processing delay amount.
  • the audio output unit 360 includes a speaker or the like, and outputs audio using the audio stream generated by the TMDS decoding unit 213 in the television mode.
  • the optical digital audio output unit 363 includes an optical digital audio output port 35POd, and transmits the audio stream generated by the tuner decoding unit 362 to the AV amplifier 25 as audio data. Also, the optical digital audio output unit 363 measures the time taken for the acquired audio stream to be received by the AV amplifier 25. If the measured time changes, the measured time is used as the video output processing delay amount. You may notify to the setting part 357a.
  • FIG. 16 is a diagram showing the flow of processing by each device constituting the video / audio output system 2 in the present embodiment.
  • the same processing as the processing by the video / audio output system 1 in the first embodiment shown in FIGS. 8 to 10 is executed, and therefore FIG. 16 shows the processing in FIGS. Only the processing that is different from the above processing is shown.
  • the video output processing delay amount setting unit 357a of the TV 35 acquires various delay amounts (step S202). Specifically, the video output processing delay amount setting unit 357 a obtains from the video output unit 359 the video output processing delay amount that is the time required for video output based on the video data in the TV 35. Further, the video output processing delay amount setting unit 357 a sets an optical digital audio output processing delay amount, which is a time required for the TV 35 to generate optical digital audio data transmitted by the optical digital audio cable, from the optical digital audio output unit 363. get. Further, the video output processing delay amount setting unit 357a acquires from the analog audio output unit 364 an analog audio output processing delay amount that is a time required for the TV 35 to generate analog audio data transmitted by the analog audio cable.
  • the video output processing delay amount setting unit 357a of the TV 35 obtains the first, second, and third obtained from the acquired video output processing delay amount, optical digital audio output processing delay amount, and analog audio output processing delay amount.
  • a CEC message including information indicating the video output processing delay amount is transmitted to the AV amplifier 25 (step S203).
  • the first video output processing delay amount is the video output processing delay amount acquired from the video output unit 359.
  • the second video output processing delay amount is a value obtained by subtracting the optical digital audio output processing delay amount from the video output processing delay amount acquired from the video output unit 359.
  • the third video output processing delay amount is a value obtained by subtracting the analog audio output processing delay amount from the video output processing delay amount acquired from the video output unit 359.
  • the audio input switching unit 267 of the AV amplifier 25 notifies the audio output unit 264 of an audio switching instruction (step S204). Specifically, the audio input switching unit 267 outputs an audio based on an audio switching instruction that instructs to output audio based on audio data transmitted by HDMI, and audio data transmitted by an optical digital audio cable.
  • the voice output unit 264 is notified of a voice switching instruction instructing to perform or a voice switching instruction instructing to output voice based on voice data transmitted through the analog voice cable.
  • the AV amplifier 25 since the first, second, and third video output processing delay amounts are transmitted to the AV amplifier 25, after time T4, in the AV amplifier 25, from the optical digital to the analog, or from the analog to the optical digital. Even when the audio switching instruction is generated, the AV amplifier 25 can achieve temporal synchronization with the video output from the TV 35 when outputting audio. In other words, the AV amplifier 25 does not depend on the video output processing delay amount described in the EDID 353a, and does not receive a CEC message every time an audio switching instruction of the own device is generated. Synchronization with the audio output from the amplifier 25 can be achieved.
  • the TV 35 does not change the video output processing delay amount of the EDID 353a, it is not necessary to recognize the audio switching instruction in the AV amplifier 25. That is, since only the AV amplifier 25 needs to recognize the audio switching instruction of the own device, it is possible to easily correct the change in the lip sync deviation amount.
  • the TV 35 since the TV 35 does not need to recognize the audio switching of the AV amplifier 25, it can easily correct the change in the amount of lip sync deviation.
  • the video output processing delay amount corresponding to the transmission path is transmitted to the audio output device, even when the audio output in the audio output device is switched, It is possible to quickly synchronize the output of video and audio.
  • it is not necessary to transmit a control message each time the sound output in the audio output device is switched an increase in the transmission amount of the control message can be suppressed.
  • the TV 35 spontaneously transmits a CEC message including the video output processing delay amount to the AV amplifier 25 has been described, but when the CEC message received from the AV amplifier 25 is received as an inquiry.
  • the TV may respond with a CEC message including information indicating the video output processing delay amount.
  • the video output processing delay amount is described in the EDID 353a of the TV 35, and the audio output unit 264 of the AV amplifier 25 acquires the video output processing delay amount from the EDID information acquisition unit 253.
  • the present invention is not limited to this.
  • the video output processing delay amount compliant with the HDMI standard Version 1.3a may not be described in the EDID 353a.
  • the present invention can be realized not only as such a video / audio data synchronization method but also as a program for causing a computer to execute the steps executed in such a video / audio data synchronization method.
  • a program can be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet.

Abstract

 制御メッセージの送信量の増大を抑制するとともに、映像の出力が停止することを回避できる映像音声データ同期方法を提供する。映像音声データ同期方法は、接続状態情報が無効から有効へ変化したことを示すときに、映像出力機器による映像出力に要する時間である第1遅延量を示す情報を含む再生能力情報を、音声出力機器が映像出力機器から取得する第1遅延量取得ステップと、音声出力機器が第1遅延量に基づいて音声を出力するタイミングを調整する第1音声出力ステップと、映像出力ステップで映像出力に要する時間を第2遅延量として映像出力機器が取得する第2遅延量取得ステップと、接続状態情報が有効であることを示すときに、第2遅延量取得ステップで取得された第2遅延量を示す情報を含む制御メッセージを、映像出力機器から音声出力機器へ送信する遅延量送信ステップと、音声出力機器が第2遅延量に基づいて音声を出力するタイミングを調整する第2音声出力ステップとを含む。

Description

映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム
 本発明は、音声出力機器と映像出力機器とを備える映像音声出力システムにおいて、音声出力機器から出力される音声と映像出力機器から出力される映像とを同期させるための映像音声データ同期方法などに関する。
 近年、家庭内の複数のデジタル機器が相互に接続されたデジタル機器システムにおいて、ユーザが高画質及び高音質の各種コンテンツを視聴することが実現されつつある。例えば、2002年12月に仕様が策定されたHDMI(High-Definition Multimedia Interface)を用いることにより、デジタル機器システムは、高画質及び高音質の各種コンテンツを出力することができる。このようなHDMIの仕様が規定されるHDMI規格は、1本のケーブルにより、映像、音声及び制御信号の伝送が可能なインターフェース規格であり、次世代AV(Audio-Visual)機器向けのデジタル映像及びデジタル音声の入出力インターフェース規格である。
 HDMI規格は、制御信号を双方向に伝送させるためのプロトコルとしてCEC(Consumer Electronics Control)プロトコルを規定している。CECプロトコルを用いれば、制御信号が複数のAV機器を介して中継されることにより、ユーザは1台のリモコンを用いて複数のAV機器を制御することが可能となる。具体的には、例えば、テレビ受像機(以下、「TV」と呼ぶ。)とAVアンプとDVDプレーヤ/レコーダ(以下、「DVDレコーダ」と呼ぶ。)との間で制御信号が双方向に伝送されることにより、ユーザは、1つのリモコンを用いて、TV、AVアンプ及びDVDレコーダにより構成されるホームシアター全体を操作することが可能となる。
 そして、HDMIは、デジタル伝送によって信号の劣化が発生しないという特徴を有するだけではなく、DVDレコーダなどの再生機器が、接続先の機器の再生能力情報を読み取ることにより、映像データ及び音声データの出力形式を接続先の機器が再生可能な出力形式に合わせることができるという特徴を有する。さらに、HDMIは、映像データ及び音声データを暗号化し、暗号化した映像データ及び音声データを伝送することにより違法コピーを防止することがきるという特徴を有する。
 HDMIにおいて、再生能力情報の伝達には、TV及びAVアンプなどのHDMI入力ポートを備えた機器(以下、「HDMI入力機器」と呼ぶ。)からHDMI出力ポートを備えた接続相手機器(以下、「HDMI出力機器」と呼ぶ。)への一方向接続であるDDC(Display Data Channel)バスが利用される。ここで「DDC」とは、ディスプレイのプラグ&プレイを実現するために、接続相手機器にディスプレイの機種情報などを伝える機能として、VESA(Video Electronics Standards Association)により定められた規格である。
 また、ディスプレイの機種情報、サポートする映像フォーマット及び音声フォーマットなどの情報は、EDID(Enhanced Extended Display Identification Data)としてHDMI入力機器のメモリに格納される。このEDIDは、HDMI入力機器によるHPD(Hot Plug Detect)信号のLowからHighへの切替(あるいはパルス)に応答して、HDMI出力機器に接続されたHDMI入力機器からDDCバス経由で読み出されるデータである。つまり、HPD信号がHighであれば、HDMI出力機器は、HDMI入力機器のEDIDを読み出すことができる。また、EDIDに記載された映像フォーマット及び音声フォーマットは、HDMI入力機器であるTV及びAVアンプなどが、そのフォーマットのデジタル映像データ及びデジタル音声データを再生する能力を備えるということを示唆する(HPD信号は、接続相手機器の電源がオフの場合や、接続されていない場合にはLowとなる)。
 ここで、映像を出力する機器と音声を出力する機器とが異なる場合、音声の出力より映像の出力が遅れることにより、本来、同期がとれていなければならない音声と映像との同期ずれ、いわゆるリップシンク(LipSync)のずれが発生するときがある。そこで、HDMI規格Version 1.3aでは(非特許文献1参照)、EDIDに、映像及び音声の出力処理の遅延量(以下、単に「遅延量」と呼ぶ。)をそれぞれ記載することにより、出力機器が、映像と音声との同期ずれを発生させないように映像出力及び音声出力を自動調整できるようにする映像音声データ同期方法が開示された。非特許文献1に記載の方法では、HDMI入力機器において遅延量が変化した場合、HDMI入力機器は、EDIDの遅延量の情報を更新する。そして、HDMI出力機器は、変更されたEDIDを読み出すことにより、映像出力及び音声出力を自動調整する。ここで、HDMI入力機器がEDIDを更新する際には、HPD信号はLowである必要がある。また、HDMI出力機器がEDIDを読み出す際には、HPD信号はHighである必要がある。したがって、非特許文献1に記載の方法では、遅延量の変更があった場合、HPD信号のLowからHighへの切替(あるいはパルス)が発生する。
 一方、HDMI規格では、著作権保護が必要なコンテンツ出力を行う場合、接続相手機器が正当な機器であることを確認するための認証プロトコルであるHDCP(High-bandwidth Digital Content Protection System)が採用されており、HPD信号のLowからHighへの切替(あるいはパルス)に応答して、認証を開始することが規定されている。
 したがって、非特許文献1に記載の映像音声データ同期方法により音声と映像との同期ずれを調整する場合、遅延量の変更があるたびに、HDMI出力機器において不必要な認証処理が行われてしまうため、後述のブラックアウトの問題が生じてしまうというデメリットがある。
 以下、図面を用いて、上記従来の映像音声データ同期方法について説明する。
 図1は、従来のHDMI接続された映像音声出力システムの構成の一例を示す図である。図1に示すように、DVDレコーダ100と、AVアンプ200と、TV300とがHDMI接続されている。
 DVDレコーダ100は、1つのHDMI出力ポート100POを備える。AVアンプ200は、1つのHDMI入力ポート200PIと、1つのHDMI出力ポート200POとを備える。TV300は、1つのHDMI入力ポート300PIを備える。
 DVDレコーダ100、AVアンプ200、TV300は、それぞれHDMIケーブルで接続される。また、映像データ及び音声データは、HDMI出力ポート100PO、HDMI入力ポート200PI、HDMI出力ポート200PO及びHDMI入力ポート300PIを順に介して一方向に伝送される。また、制御メッセージは、HDMIの制御信号のバス上で、双方向に伝送される。ここで、本システムの状態は、映像はTV300から出力され、かつ、音声はAVアンプ200から出力される状態(以下、「シアターモード」と呼ぶ。)であるとする(これに対して、映像及び音声がTVから出力される状態を「テレビモード」と呼ぶ。)。
 図2は、従来のHDMI接続された映像音声出力システムにおける各機器の動作を説明するための図である。ここで、図中の横軸は時間軸を表す(後述の図3、図11、図12及び図17も同様)。
 TV300がサポートする映像フォーマットの最大解像度が1080pである場合、(f)に示すEDIDには、初期値として、1080pをサポートすることを示す情報などとともに、映像が表示装置に出力されるまでに要する時間、すなわち映像出力処理遅延量が記載される。映像出力処理遅延量には、例えば、1080pの映像出力処理に要する時間「100ms」が設定される。その他のEDIDの記載内容についての詳細な説明は省略する。なお、TV300とAVアンプ200とは、有効にHDMI接続されているので、(e)に示すように、TV300がAVアンプ200に出力するHPD信号は、Highに設定されている。
 ここで、シアターモードの場合には、AVアンプ200が音声を出力するため、AVアンプ200は、(f)に示すように、TV300から読み出したEDIDから得られる映像出力処理遅延量に基づき、音声の出力を調整する(遅延させる)。したがって、(c)に示すAVアンプ200のEDIDには映像出力処理遅延量は設定されない(あるいは、「0ms」と設定される)。なお、AVアンプ200とDVDレコーダ100とは、有効にHDMI接続されているので、(b)に示すように、AVアンプ200がDVDレコーダ100に出力するHPD信号は、Highに設定される。
 DVDレコーダ100は、(c)に示すAVアンプ200のEDIDを読み出し、映像データ及び音声データを送信する。
 図3は、従来のHDMI接続された映像音声出力システムにおいて、DVDレコーダ100から出力される映像データの出力フォーマットが切り換わったときの動作を説明するための図である。
 標準品位の480pにおける映像出力処理遅延量は、高品位の1080pにおける映像出力処理遅延量と比べると小さい。したがって、時刻T11において、DVDレコーダ100が出力する映像データのフォーマットが1080pから480pに切り替わった場合、AVアンプ200が1080pのときの映像出力処理遅延量を基準にして音声出力のタイミングを調整した場合、AVアンプ200からの音声出力とTV300からの映像出力との間に同期ずれが生じてしまう(音声の出力が映像の出力に対し遅れる)。そこで、例えば、TV300が、時刻T11の後480pのデータを受信し、映像出力を開始することにより、映像出力処理遅延量が100msから30msに変化したことを検出した場合、TV300は、(e)に示すようにHPD信号を、一旦Lowに切り替える(時刻T12)。そして、(e)に示すHPD信号がLowである間に、TV300は、(f)に示すEDIDの映像出力処理遅延量を、例えば、30msに更新する。その後、TV300は、(e)に示すHPD信号を再度Highに切り替える(時刻T13)。
 AVアンプ200は、(e)に示すTV300のHPD信号がLowからHighに切り替えられたことを検出したとき(時刻T13)、(f)に示すTV300のEDIDを読み出す。そして、AVアンプ200は、(b)のHPD信号をLowからHighに切り替える(時刻T14)。
 AVアンプ200の(b)のHPD信号がLowからHighに切り替えられたことを検出したとき(時刻T14)、DVDレコーダ100は、HDMI接続状況に変化が発生した可能性があると判断する。そして、DVDレコーダ100は、HDCPに準拠するために、接続相手機器が正当な機器であるか否かを確認、つまり認証を開始する。認証開始の際には、DVDレコーダ100は、コンテンツ保護の必要がある映像データ及び音声データの出力を停止する。そして、DVDレコーダ100は、もう一度(c)に示すAVアンプ200のEDIDを読み出し、コンテンツ保護の必要のない映像データ(例えば、ブラックアウトなど)を伝送しながら、AVアンプ200が正当な機器であるか否かを確認する。そして、DVDレコーダ100は、AVアンプ200が正当な機器であると確認できた時に、再度、映像データ及び音声データの出力を開始する(時刻T15)。HDCPの認証については、本発明の主眼ではないので、詳細な説明は省略する。
 このように、非特許文献1に記載の映像音声データ同期方法では、映像を出力する機器において映像出力処理遅延量が変化した場合には、必ず、映像出力機器のEDIDの書換えが発生する。そして、映像音声再生機器は、コンテンツ保護の必要がある映像データ及び音声データ(コンテンツ)の出力を停止し、HDCPの認証を実施する。その結果、非特許文献1に記載の映像音声データ同期方法では、映像音声再生機器が認証を終了し、再度映像データ及び音声データの出力を開始するまでに、数秒間、映像データ及び音声データが出力されない期間が発生してしまうという課題を有する。
 一方、映像データと音声データとの間の出力時のリップシンクのずれに関して、EDIDを利用しない方法も提案されている(例えば、特許文献1を参照)。特許文献1には、映像出力機器(TV)から音声出力機器(AVアンプ)へ、制御メッセージを利用して映像処理遅延時間の情報を提供する技術が開示されている。
High-Definition Multimedia Interface Specification Version 1.3a 特開2006-33436号公報
 上述のように、非特許文献1に記載の映像音声データ同期方法では、映像を出力する機器において映像出力処理遅延量が変化した場合には、映像データ及び音声データが出力されない期間が発生してしまうという課題を有する。
 また、特許文献1に記載の技術では、制御メッセージの送信量が増大し、処理が煩雑となるという課題がある。
 そこで、本発明は、上記課題を鑑みてなされたものであり、制御メッセージの送信量の増大を抑制するとともに、映像の出力が停止することを回避することができる映像音声データ同期方法等を提供することを目的とする。
 上記目的を達成するために、本発明に係る映像音声データ同期方法は、互いに所定のインターフェースにより接続された、音声出力機器と映像出力機器とを備える映像音声出力システムにおいて、前記音声出力機器から出力される音声と前記映像出力機器から出力される映像とを同期させるための映像音声データ同期方法であって、前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、前記映像音声データ同期方法は、前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器が正当な機器であることを認証する認証ステップと、前記認証ステップにおける認証が成功した場合、前記接続状態情報が有効であることを示す間、映像データを前記音声出力機器から前記映像出力機器へ前記インターフェースを通じて送信する映像データ送信ステップと、前記映像出力機器が、前記映像データ送信ステップで送信された映像データに基づいて映像を出力する映像出力ステップと、前記接続状態情報が無効から有効へ変化したことを示すときに、前記音声出力機器が、前記映像出力機器による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記映像出力機器から前記インターフェースを通じて取得する第1遅延量取得ステップと、前記音声出力機器が、前記第1遅延量取得ステップで取得された第1遅延量に基づいて、音声を出力するタイミングを調整する第1音声出力ステップと、前記映像出力機器が、前記映像出力ステップで映像出力に要する時間を第2遅延量として取得する第2遅延量取得ステップと、前記接続状態情報が有効であることを示すときに、前記第2遅延量取得ステップで取得された第2遅延量を示す情報を含む制御メッセージを、前記映像出力機器から前記音声出力機器へ前記インターフェースを通じて送信する遅延量送信ステップと、前記音声出力機器が、前記遅延量送信ステップで送信された第2遅延量に基づいて、音声を出力するタイミングを調整する第2音声出力ステップとを含む。
 これにより、接続状態情報が無効から有効へ変化したことを示すときに、制御メッセージが送信されることなく、第1遅延量を示す情報を含む再生能力情報を音声出力機器が取得できるので、制御メッセージの送信量の増大を抑制するとともに映像と音声との出力の同期を図ることが可能となる。さらに、接続状態情報が有効であることを示すときに、映像出力機器において計測された遅延量である第2遅延量を、音声出力機器が制御メッセージにより取得できるので、再生能力情報を取得するための接続状態の変更を必要としない。つまり、接続状態情報が有効であることを示すときに接続状態情報を変更する必要がないので、不要な認証を発生させることなく、映像の出力が停止することを回避するとともに映像と音声との出力の同期を図ることが可能となる。
 また、前記映像出力機器は、前記接続状態情報が無効を示すときに書き換え可能なメモリであり、前記第1遅延量を格納しているメモリを備え、前記第1遅延量取得ステップにおいて、前記メモリに格納された第1遅延量を示す情報を含む前記再生能力情報を取得し、前記遅延量送信ステップにおいて、前記メモリに格納された第1遅延量を更新しないことが好ましい。
 これにより、メモリに格納された第1遅延量を用いて映像と音声との出力の同期を図ることが可能となる。
 また、さらに、前記接続状態情報が有効から無効に変化したことを示すときに、前記第2遅延量取得ステップで取得された第2遅延量を前記第1遅延量として前記メモリに書き込む遅延量書込ステップを含むことが好ましい。
 これにより、接続状態情報が有効から無効に変化したことを示すときにメモリに格納された第1遅延量が更新されるので、接続状態情報が有効であったときの遅延量が継続される場合は、再び接続状態が有効となったときに迅速に映像と音声との出力の同期を図ることが可能となる。
 また、前記第1遅延量は、前記映像出力機器により予め一意に定まる固定の時間であることが好ましい。
 これにより、映像出力機器により予め一意に定まる固定の時間が第1遅延量となるので、映像出力機器において特定の遅延量となる確率が高い場合、接続状態が有効となったときに迅速に映像と音声との出力の同期を図ることが可能となる。
 また、前記遅延量送信ステップにおいて、前記接続状態情報が有効から無効へ変化したことを示した際に前記第2遅延量取得ステップで取得された第2遅延量を、前記第1遅延量として送信することが好ましい。
 これにより、接続状態情報が有効から無効に変化したことを示すときに計測された遅延量が再び接続状態が有効となったときに第1遅延量として取得されるので、接続状態が有効となったときに迅速に映像と音声との出力の同期を図ることが可能となる。
 また、前記遅延量送信ステップにおいて、前記第1遅延量取得ステップで取得された第1遅延量又は前に前記遅延量送信ステップで送信された第2遅延量と前記第2遅延量取得ステップで取得された第2遅延量との差分値が所定閾値を超える場合、前記第2遅延量取得ステップで取得された第2遅延量を送信することが好ましい。
 これにより、第1遅延量又は前に送信された第2遅延量と計測された第2遅延量との差分値が所定閾値を超える場合に、映像出力機器において計測された第2遅延量が送信されるので、音声出力機器において利用されている遅延量から映像出力機器において計測された遅延量が乖離したときに、迅速に映像と音声との出力の同期を図ることが可能となる。
 また、さらに、前記第2遅延量の送信を要求する情報を含む制御メッセージを、前記音声出力機器から前記映像出力機器へ送信する遅延量要求ステップを含み、前記遅延量送信ステップにおいて、前記遅延量要求ステップで制御メッセージが送信された場合、前記第2遅延量を送信することが好ましい。
 これにより、音声出力機器において任意のタイミングにて容易に遅延量を用いて映像と音声との出力の同期を図ることが可能となる。
 また、本発明に係る映像音声データ同期方法は、所定のインターフェース、第1音声ケーブル及び第2音声ケーブルにより互いに接続された、音声出力機器と映像出力機器とを備える映像音声出力システムにおいて、前記音声出力機器から出力される音声と前記映像出力機器から出力される映像とを同期させるための映像音声データ同期方法であって、前記インターフェースは、映像データ及び第1音声データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、前記第1音声ケーブルは、第2音声データを前記映像出力機器から前記音声出力機器へ伝送可能であり、前記第2音声ケーブルは、第3音声データを前記映像出力機器から前記音声出力機器へ伝送可能であり、前記映像音声データ同期方法は、前記映像出力機器が映像を出力する際に要する時間である第1遅延量と、前記第1音声ケーブルにより伝送される第2音声データを前記音声出力機器が出力する場合に、映像出力に要する時間である第2遅延量と、前記第2音声ケーブルにより伝送される第3音声データを前記音声出力機器が出力する場合に、映像出力に要する時間である第3遅延量とを、前記映像出力機器から前記音声出力機器へ送信する遅延量送信ステップと、前記インターフェースを通じて伝送される第1音声データ、前記第1音声ケーブルを通じて伝送される第2音声データ及び前記第2音声ケーブルを通じて伝送される第3音声データのいずれに基づいて音声を出力するかを指示する音声切替ステップと、前記音声切替ステップで前記第1音声データに基づいて音声を出力することを指示された場合、前記音声出力機器が、前記遅延量送信ステップで送信された第1遅延量に基づいて音声を出力するタイミングを調整し、前記音声切替ステップで前記第2音声データに基づいて音声を出力することを指示された場合、前記音声出力機器が、前記遅延量送信ステップで送信された第2遅延量に基づいて音声を出力するタイミングを調整し、前記音声切替ステップで前記第3音声データに基づいて音声を出力することを指示された場合、前記音声出力機器が、前記遅延量送信ステップで送信された第3遅延量に基づいて音声を出力するタイミングを調整する音声出力ステップとを含む。
 これにより、各伝送路に応じた遅延量が音声出力機器へ送信されるので、音声出力機器において出力する音声を切り替えた場合であっても、迅速に映像と音声との出力の同期を図ることが可能となる。また、音声出力機器において出力する音声を切り替えるたびに、制御メッセージを送信する必要がないので、制御メッセージの送信量の増大を抑制することが可能となる。
 また、本発明に係る映像出力機器は、所定のインターフェースにより音声出力機器と接続された映像出力機器であって、前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、前記映像出力機器は、映像データを前記音声出力機器から前記インターフェースを通じて受信する映像データ受信部と、前記映像データ受信部により受信された映像データに基づいて映像を出力する映像出力部と、前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力部による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記音声出力機器へ前記インターフェースを通じて送信する第1遅延量送信部と、前記接続状態情報が有効であることを示すときに、前記映像出力部による映像出力に要する時間である第2遅延量を示す情報を含む制御メッセージを、前記音声出力機器へ前記インターフェースを通じて送信する第2遅延量送信部とを備える。
 これにより、上記映像音声データ同期方法と同様の効果を奏することが可能となる。
 また、本発明に係る音声出力機器は、所定のインターフェースにより映像出力機器と接続された音声出力機器であって、前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、前記音声出力機器は、前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器が正当な機器であることを認証する認証部と、前記認証部による認証が成功した場合、前記接続状態情報が有効であることを示す間、映像データを前記映像出力機器へ前記インターフェースを通じて送信する映像データ送信部と、前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記映像出力機器から前記インターフェースを通じて受信する第1遅延量受信部と、前記接続状態情報が有効であることを示すときに、前記映像出力機器によりその映像出力に要する時間である第2遅延量を示す情報を含む制御メッセージを、前記映像出力機器から前記インターフェースを通じて受信する第2遅延量受信部と、前記第1遅延量受信部により受信された第1遅延量及び前記第2遅延量受信部により取得された第2遅延量のいずれか一方を用いて、音声を出力するタイミングを調整する音声出力部とを備える。
 これにより、上記映像音声データ同期方法と同様の効果を奏することが可能となる。
 また、本発明に係る映像音声出力システムは、互いに所定のインターフェースにより接続された、音声出力機器と映像出力機器とを備える映像音声出力システムであって、前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、前記映像出力機器は、映像データを前記音声出力機器から前記インターフェースを通じて受信する映像データ受信部と、前記映像データ受信部により受信された映像データに基づいて映像を出力する映像出力部と、前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力部による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記音声出力機器へ前記インターフェースを通じて送信する第1遅延量送信部と、前記接続状態情報が有効であることを示すときに、その映像出力に要する時間である第2遅延量を示す情報を含む制御メッセージを、前記音声出力機器へ前記インターフェースを通じて送信する第2遅延量送信部とを備え、前記音声出力機器は、前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器が正当な機器であることを認証する認証部と、前記認証部による認証が成功した場合、前記接続状態情報が有効であることを示す間、映像データを前記映像出力機器へ前記インターフェースを通じて送信する映像データ送信部と、前記接続状態情報が無効から有効へ変化したことを示すときに、前記第1遅延量を示す情報を含む前記再生能力情報を、前記映像出力機器から前記インターフェースを通じて受信する第1遅延量受信部と、前記接続状態情報が有効であることを示すときに、前記第2遅延量を示す情報を含む制御メッセージを、前記映像出力機器から前記インターフェースを通じて受信する第2遅延量受信部と、前記第1遅延量受信部により受信された第1遅延量及び前記第2遅延量受信部により受信された第2遅延量のいずれか一方を用いて、音声を出力するタイミングを調整する音声出力部とを備える。
 これにより、上記映像音声データ同期方法と同様の効果を奏することが可能となる。
 以上の説明から明らかなように、本発明に係る映像音声データ同期方法は、制御メッセージの送信量の増大を抑制するとともに、映像の出力が停止することを回避することが可能となる。
図1は、従来のHDMI接続された映像音声出力システムの構成の一例を示す図である。 図2は、従来のHDMI接続された映像音声出力システムにおける各機器の動作を説明するための図である。 図3は、従来のHDMI接続された映像音声出力システムにおいて、映像データの出力フォーマットが切り換わったときの動作を説明するための図である。 図4は、本発明の実施の形態1におけるHDMI接続された映像音声出力システムの構成を示す図である。 図5は、本発明の実施の形態1におけるDVDレコーダの機能構成を示すブロック図である。 図6は、本発明の実施の形態1におけるAVアンプの機能構成を示すブロック図である。 図7は、本発明の実施の形態1におけるTVの機能構成を示すブロック図である。 図8は、本発明の実施の形態1における映像音声出力システムを構成する各機器による処理の流れを示す図である。 図9は、本発明の実施の形態1における映像音声出力システムを構成する各機器による処理の流れを示す図である。 図10は、本発明の実施の形態1における映像音声出力システムを構成する各機器による処理の流れを示す図である。 図11は、本発明の実施の形態1における映像音声出力システムを構成する各機器の動作を説明するための図である。 図12は、本発明の実施の形態1の変形例における映像音声出力システムを構成する各機器の動作を説明するための図である。 図13は、本発明の実施の形態2におけるHDMI接続された映像音声出力システムの構成を示す図である。 図14は、本発明の実施の形態2におけるAVアンプの機能構成を示すブロック図である。 図15は、本発明の実施の形態2におけるTVの機能構成を示すブロック図である。 図16は、本発明の実施の形態2における映像音声出力システムを構成する各機器による処理の流れを示す図である。 図17は、本実施の形態における映像音声出力システムを構成する各機器の動作を説明するための図である。
符号の説明
 1、2  映像音声出力システム
 10  DVDレコーダ
 10PO、20PO、25PO  HDMI出力ポート
 20、25  AVアンプ
 20PI、25PI、30PI、35PI  HDMI入力ポート
 25PIa  アナログ音声入力ポート
 25PId  光デジタル音声入力ポート
 30、35  TV
 35POa  アナログ音声出力ポート
 35POd  光デジタル音声出力ポート
 101、201、251  HDMI出力部
 101a、201a、207a、251a、257a、301a、351a  HPD端子
 101b、201b、207b、251b、257b、301b、351b  DDC端子
 101c、201c、207c、251c、257c、301c、351c  TMDS端子
 101d、201d、207d、251d、257d、301d、351d  CEC端子
 102、202、252  HPD切替検出部
 103、203、253  EDID情報取得部
 104、204、254  認証/暗号部
 105、205、255、307、357  CEC機器連携部
 106  デコード部
 107  TMDSエンコード部
 108  TMDS出力部
 205a、255a  映像出力処理遅延量取得部
 206、256  TMDS出力部
 207、257、301、351  HDMI入力部
 208、258、302、352  EDID設定部
 209、259、303、353  EDID記憶部
 209a、259a、303a、353a  EDID
 210、260、304、354  HPD制御部
 210a、260a、304a、354a  HPD信号
 211、261、305、355  TMDS入力部
 212、262、306、356  認証/復号部
 213、263、308、358  TMDSデコード部
 214、264、310、360  音声出力部
 265  光デジタル音声入力部
 266  アナログ音声入力部
 267  音声入力切替部
 307a、357a  映像出力処理遅延量設定部
 309、359  映像出力部
 361  入力切替部
 362  チューナデコード部
 363  光デジタル音声出力部
 364  アナログ音声出力部
 以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
 (実施の形態1)
 本発明の実施の形態1における映像音声データ同期方法では、映像データ及び音声データの送受信のための機器の接続が有効である時に映像出力フォーマットが変更になるなどにより映像出力機器の映像出力処理遅延量が変化した場合に、映像出力機器は、制御メッセージにより、変化した映像出力処理遅延量を通知する。つまり、映像出力機器は、音声出力機器に対して一方向に送信するEDIDの映像出力処理遅延量を変更しない。すなわち、映像出力機器は、HPD信号により接続を一旦無効化し、有効化するという、開示トリガを発生させる必要がない。そして、音声出力機器は、接続開始時に映像出力機器から読み出したEDIDから得られる映像出力処理遅延量よりも、後から制御メッセージにより通知された映像出力処理遅延量の方を優先して用いて、音声を出力するタイミングを調整する。
 つまり、映像出力機器は音声出力機器に対して送信されるHPD信号をLowからHighへ切り替える(パルスする)必要がなくなるので、音声出力機器も、映像音声再生機器に対して送信されるHPD信号をLowからHighへ切り替える(パルスする)必要がなくなる。そのため、映像音声再生機器は、HDCPに基づく認証を再度実施する必要がない。このため、音声出力機器及び映像出力機器は、映像及び音声の出力を途切れさせることなく、音声の出力と映像の出力とを時間的に同期させることが可能となる。
 図4は、本発明の実施の形態1におけるHDMI接続された映像音声出力システム1の構成を示す図である。この映像音声出力システム1は、DVDレコーダ10、AVアンプ20及びTV30により構成される。映像音声出力システム1を構成するこれらの機器(DVDレコーダ10、AVアンプ20及びTV30)は、HDMIケーブル(以下、単に「HDMI」ともいう。)により相互に接続されている。
 DVDレコーダ10は、映像データ及び音声データを再生する映像音声再生機器の一例であり、HDMI出力ポート10POを備える。
 AVアンプ20は、音声を出力する音声出力機器の一例であり、HDMI入力ポート20PIとHDMI出力ポート20POとを備える。
 TV30は、映像を出力する映像出力機器の一例であり、HDMI入力ポート30PIを備える。
 そして、HDMI出力ポート10POとHDMI入力ポート20PIとは、HDMIケーブルにより繋がれている。また、HDMI出力ポート20POとHDMI入力ポート30PIとは、HDMIケーブルにより繋がれている。
 このHDMIは、DVDレコーダ10により再生された映像データ及び音声データを、AVアンプ20、TV30の順に一方向に伝送可能である。また、HDMIは、TV30の再生能力を示す再生能力情報とTV30の接続状態の有効性を示す接続状態情報とを、TV30からAVアンプ20へ一方向に伝送可能である。また、HDMIは、制御メッセージ(以下、「CECメッセージ」という。)を互いに接続された機器間において双方向に伝送可能である。
 次に、本実施の形態に係る映像音声データ同期方法を実現する各機器の構成について、図面を参照しながら詳細に説明する。
 図5は、本実施の形態におけるDVDレコーダ10の機能構成を示すブロック図である。
 図5に示すように、DVDレコーダ10は、HDMI出力部101と、HPD切替検出部102と、EDID情報取得部103と、認証/暗号部104と、CEC機器連携部105と、デコード部106と、TMDS(Transition-Minimized Differential Signaling:遷移時間最短差動信号伝送方式)エンコード部107と、TMDS出力部108とを備える。
 HDMI出力部101は、HDMI出力ポート10POからなり、映像データ及び音声データの送信並びに制御メッセージの送受信(双方向通信)を行う。HDMI出力部101は、HPD信号210aを受信するHPD端子101a、DDC信号を送受信するDDC端子101b、TMDS信号を送信するTMDS端子101c及びCEC信号を送受信するCEC端子101dを有する。
 HPD切替検出部102は、HDMI出力部101のHPD端子101aを介して受信されたHPD信号210aの切替を検出する。ここで、HPD信号とは、HDMI接続された機器の接続状態の有効性を示す接続状態情報の一例である。本実施の形態では、HPD信号がHighの場合に接続が有効であることを示し、HPD信号がLowの場合に接続が無効であることを示す。HPD切替検出部102は、HPD信号210aのHighからLowへの切替(有効から無効への変化)、又はHPD信号210aのLowからHighへの切替(無効から有効へ変化)を検出する。
 EDID情報取得部103は、HPD切替検出部102によりHPD信号210aのLowからHighへの切替が検出された場合、DDC端子101bを介してDDC信号を送受信することにより、AVアンプ20のEDID209aを取得する。AVアンプ20のEDID209aには、AVアンプ20がサポート可能な映像データ及び音声データのフォーマット等の再生能力情報が記載されている。EDID情報取得部103は、これらの再生能力情報をデコード部106へ出力する。また、AVアンプ20のEDID209aには、AVアンプ20がHDMI機器であるか否かも記載されている。したがって、EDID情報取得部103は、取得したEDID209aにAVアンプ20がHDMI機器であると記載されている場合、認証/暗号部104へ、AVアンプ20に対する認証にはHDCPを適用することを指示するとともに、AVアンプ20の認証を開始することを指示する。また、EDID情報取得部103は、HPD切替検出部102によりHPD信号210aのHighからLowへの切替が検出された場合、認証/暗号部104へ、認証を停止することを指示する。
 なお、本実施の形態に係るAVアンプ20のEDID209aには、映像出力処理遅延量が記載されていないが、本発明に係るAVアンプのEDIDには、HDMI規格のVersion 1.3aに準拠した映像出力処理遅延量が記載されてもよいし、「0ms」が映像出力処理遅延量として記載されてもよい。
 認証/暗号部104は、EDID情報取得部103からの認証開始の指示に従って、AVアンプ20が正当な機器であるか否かを確認する。つまり、認証/暗号部104は、AVアンプ20がHDCPに正規に対応した機器であるかどうかを確認する。具体的には、認証/暗号部104は、DDC端子101bを介してDDC信号を送受信することにより、HDCPの認証プロトコルに沿った認証処理を実施する。なお、正当な機器とは、HDCP等の著作権保護のための規格に正規に対応した機器であることを示す。認証時にはTMDS出力が必要なため、認証/暗号部104は、TMDS出力部108へ、著作権保護が不要なコンテンツデータをTMDSエンコードしたデータを出力する。ここで、著作権保護が不要なコンテンツデータとは、黒一色のみの映像であるブラックアウト映像などのデータを示す。
 ここで、認証/暗号部104によるAVアンプ20の認証が成功した場合、認証/暗号部104は、TMDSエンコード部107へ、TMDS伝送用データの生成を指示する。そして、認証/暗号部104は、TMDSエンコード部107により生成されたTMDS伝送用データを成功した認証情報を用いて暗号化することにより、暗号化TMDS伝送用データを生成する。そして、認証/暗号部104は、暗号化TMDS伝送用データをTMDS出力部108へ出力する。
 一方、認証/暗号部104によるAVアンプ20の認証が失敗した場合、DVDレコーダ10は、著作権保護が必要なコンテンツデータをAVアンプ20へ出力できない。したがって、認証/暗号部104は、TMDSエンコード部107へ、映像データ及び音声データのTMDSエンコードの停止と、認証/暗号部104へのTMDS伝送用データの出力の停止とを指示する。
 CEC機器連携部105は、CEC端子101dを介してCEC信号を送受信することにより、HDMI接続された機器とCECメッセージの送受信を行う。
 デコード部106は、EDID情報取得部103から取得した再生能力情報に基づいて映像ストリーム及び音声ストリームをデコードすることにより、映像データ及び音声データを生成する。そして、デコード部106は、生成した映像データ及び音声データを、TMDSエンコード部107へ出力する。
 TMDSエンコード部107は、認証/暗号部104からの指示に従って、デコード部106から取得した映像データ及び音声データをTMDSエンコードすることにより、TMDS伝送用データを生成する。そして、TMDSエンコード部107は、生成したTMDS伝送用データを認証/暗号部104へ出力する。
 TMDS出力部108は、TMDS端子101cを介してTMDS信号を送信することにより、認証/暗号部104から取得した暗号化TMDS伝送用データ、又は、暗号化されていないTMDS伝送用データを、AVアンプ20へ出力する。
 図6は、本実施の形態におけるAVアンプ20の機能構成を示すブロック図である。
 図6に示すように、AVアンプ20は、HDMI出力部201と、HPD切替検出部202と、EDID情報取得部203と、認証/暗号部204と、CEC機器連携部205と、TMDS出力部206と、HDMI入力部207と、EDID設定部208と、EDID記憶部209と、HPD制御部210と、TMDS入力部211と、認証/復号部212と、TMDSデコード部213と、音声出力部214とを備える。
 HDMI出力部201は、HDMI出力ポート20POからなり、映像データ及び音声データの送信並びに制御メッセージの送受信(双方向通信)を行う。HDMI出力部201は、HPD信号304aを受信するHPD端子201a、DDC信号を送受信するDDC端子201b、TMDS信号を送信するTMDS端子201c及びCEC信号を送受信するCEC端子201dを有する。
 HPD切替検出部202は、接続状態情報が無効から有効へ又は有効から無効へ変化したことを検出する。具体的には、HPD切替検出部202は、HDMI出力部201のHPD端子201aを介して受信されたHPD信号304aの切替を検出する。つまり、HPD切替検出部202は、HPD信号304aのHighからLowへの切替(有効から無効へ変化)、又はHPD信号304aのLowからHighへの切替(無効から有効へ変化)を検出する。
 EDID情報取得部203は、第1遅延量取得部の一例であり、HPD切替検出部202によりHPD信号304aのLowからHighへの切替が検出された場合、DDC端子201bを介してDDC信号を送受信することにより、TV30のEDID303aを取得する。TV30のEDID303aには、TV30がサポート可能な、映像データ及び音声データのフォーマット、TV30の映像出力処理遅延量等の情報を含む再生能力情報が記載されている。ここで、映像出力処理遅延量とは、TV30による映像出力に要する時間である。例えば、映像出力処理遅延量は、映像データが受信されてから受信した映像データに基づく映像がディスプレイに出力されるまでの時間である。EDID情報取得部203は、これらの再生能力情報を、EDID設定部208及び音声出力部214へ出力する。また、TV30のEDID303aには、TV30がHDMI機器であることも記載されている。したがって、EDID情報取得部203は、EDID303aにTV30がHDMI機器であると記載されている場合、認証/暗号部204へ、TV30に対する認証にはHDCPを適用することを指示する。ここで、EDID情報取得部203は、HDCPを適用することを指示するだけであり、認証の開始は指示しない。また、EDID情報取得部203は、HPD切替検出部202によりHPD信号304aのHighからLowへの切替が検出された場合、認証/暗号部204へ、認証を停止することを指示する。
 認証/暗号部204は、認証/復号部212からの認証開始の指示に従って、TV30が正当な機器であるか否かを確認する。具体的には、認証/暗号部204は、DDC端子201bを介してDDC信号を送受信することにより、HDCPの認証プロトコルに沿った認証処理を実施する。なお、認証時にはTMDS出力が必要なため、認証/暗号部204は、TMDS出力部206へ、著作権保護が不要なコンテンツデータをTMDSエンコードしたデータを出力する。
 ここで、認証/暗号部204によるTV30の認証が成功した場合、認証/暗号部204は、認証/復号部212へ、TMDS伝送用データの出力を指示する。そして、認証/暗号部204は、認証/復号部212により復号されたTMDS伝送用データを、成功した認証情報を用いて暗号化することにより、暗号化TMDS伝送用データを生成する。そして、認証/暗号部204は、暗号化TMDS伝送用データをTMDS出力部206へ出力する。
 一方、認証/暗号部204によるTV30の認証が失敗した場合、AVアンプ20は、著作権保護が必要なコンテンツデータをTV30へ出力できない。したがって、認証/暗号部204は、認証/復号部212へ、TMDS伝送用データの出力の停止を指示する。
 CEC機器連携部205は、CEC端子201d及びCEC端子207dを介してCEC信号を送受信することにより、TV30及びDVDレコーダ10とCECメッセージの送受信を行う。また、CEC機器連携部205は、TV30とのCECメッセージの送受信により、テレビモード又はシアターモードの設定を認識する。そして、CEC機器連携部205は、認識したテレビモード又はシアターモードの設定に関する情報を設定情報としてEDID設定部208と認証/復号部212とに通知する。
 また、CEC機器連携部205は、映像出力処理遅延量取得部205aを有する。映像出力処理遅延量取得部205aは、第2遅延量受信部の一例であり、TV30から映像出力処理遅延量を切り替えることを指示するCECメッセージを受信する。映像出力処理遅延量取得部205aは、受信したCECメッセージから得られる映像出力処理遅延量を、音声出力部214へ出力する。
 TMDS出力部206は、映像データ送信部の一例であり、TMDS端子201cを介してTMDS信号をTV30へ送信することにより、認証/暗号部204から取得した暗号化TMDS伝送用データ、又は、暗号化されていないTMDS伝送用データをTV30へ出力する。具体的には、TMDS出力部206は、HPD信号304aが有効であることを示す間、映像データを含むTMDS伝送用データをTV30へHDMI出力部201を介して送信する。
 HDMI入力部207は、HDMI入力ポート20PIからなり、映像データ及び音声データの受信並びに制御メッセージの送受信(双方向通信)を行う。HDMI入力部207は、HPD信号210aを送信するHPD端子207a、DDC信号を送受信するDDC端子207b、TMDS信号を受信するTMDS端子207c及びCEC信号を送受信するCEC端子207dを有する。
 EDID設定部208は、EDID情報取得部203から再生能力情報を取得した場合に、CEC機器連携部205から通知された設定情報(テレビモード又はシアターモード)に基づき、EDID209aの記載内容を決定する。ここで、決定された記載内容と既にEDID209aに記載されている内容とが異なる場合、EDID設定部208は、HPD信号210aがLowである間にEDID209aの記載内容を変更する。なお、EDID209aの記載内容を変更する際にHPD信号210aがHighである場合は、EDID設定部208は、HPD制御部210へHPD信号210aをLowに変更することを指示する(HPDネゲート指示)。そして、EDID209aの記載内容の変更が終了した後、EDID設定部208は、HPD制御部210へHPD信号210aをHighに変更することを指示する(HPDアサート指示)。
 EDID記憶部209は、例えば不揮発性メモリなどからなり、EDID209aを格納している。このEDID209aには、再生能力情報が含まれる。
 HPD制御部210は、EDID設定部208からのHPDアサート指示又はHPDネゲート指示に従って、HPD端子207aを介して送信するHPD信号210aをHigh(有効)又はLow(無効)に変更する。
 TMDS入力部211は、DVDレコーダ10により送信された暗号化TMDS伝送用データを、TMDS端子207cを介して受信する。そして、TMDS入力部211は、暗号化TMDS伝送用データを認証/復号部212へ出力する。
 認証/復号部212は、DVDレコーダ10によるAVアンプ20の認証プロトコルに沿った認証処理に対して応答する。また、DVDレコーダ10により認証が開始された場合には、認証/復号部212は、認証/暗号部204へ、TV30との認証を開始することを指示する。なお、認証応答時にはTMDS入力が必要なため、認証/復号部212は、TMDS入力部211から、著作権保護が不要であり、かつ、暗号化されていないTMDS伝送用データを取得する。また、AVアンプ20の認証が成功した場合、認証/復号部212は、TMDS入力部211から、暗号化TMDS伝送用データを取得する。認証/復号部212は、取得した暗号化TMDS伝送用データを復号することにより、(暗号化されていない)TMDS伝送用データを生成する。ここで、認証/復号部212は、CEC機器連携部205により通知された設定情報(テレビモード又はシアターモード)に基づき、生成したTMDS伝送用データを認証/暗号部204などへ出力する。具体的には、設定情報がシアターモードの場合には、認証/復号部212は、復号したTMDS伝送用データから音声データを取り除いたデータを認証/暗号部204へ出力し、かつ、復号したTMDS伝送用データをTMDSデコード部213へ出力する。一方、設定情報がテレビモードの場合には、認証/復号部212は、復号したTMDS伝送用データを、音声データを取り除かずに、そのまま認証/暗号部204へ出力する。
 TMDSデコード部213は、TMDS伝送用データをTMDSデコードすることにより、音声ストリームを生成する。そして、TMDSデコード部213は、生成した音声ストリームを音声出力部214へ出力する。
 音声出力部214は、スピーカなどからなり、TMDSデコード部213により生成された音声ストリームを用いて音声を出力する。ここで、音声出力部214は、EDID情報取得部203、又は、映像出力処理遅延量取得部205aにより取得された映像出力処理遅延量に基づき、音声を出力するタイミングを調整(遅延)する。なお、EDID情報取得部203及び映像出力処理遅延量取得部205aにより、複数の映像出力処理遅延量が取得されている場合、音声出力部214は、最新の映像出力処理遅延量に基づいて、音声を出力するタイミングを調整する。
 図7は、本実施の形態におけるTV30の機能構成を示すブロック図である。
 TV30は、HDMI入力部301と、EDID設定部302と、EDID記憶部303と、HPD制御部304と、TMDS入力部305と、認証/復号部306と、CEC機器連携部307と、TMDSデコード部308と、映像出力部309と、音声出力部310とを備える。
 HDMI入力部301は、HDMI入力ポート30PIからなり、映像データ及び音声データの受信並びに制御メッセージの送受信(双方向通信)を行う。HDMI入力部301は、HPD信号304aを送信するHPD端子301a、DDC信号を送受信するDDC端子301b、TMDS信号を受信するTMDS端子301c及びCEC信号を送受信するCEC端子301dを有する。
 EDID設定部302は、電源投入時などに、EDID303aの記載内容を決定し、決定した記載内容をEDID記憶部303に格納されたEDID303aに設定する。ここで、EDID設定部302は、TV30により予め一意に定まる固定の時間を映像出力処理遅延量としてEDID303aに設定する。例えば、EDID設定部302は、TV30がサポートする映像フォーマットのうち、最大解像度の映像フォーマットである「1080p」の映像を出力する場合に発生する遅延量100msを常に固定で映像出力処理遅延量として設定する。これは、例えば、HDMI出力機器が接続先のHDMI入力機器の再生能力情報を取得することによりデータ出力形式を選択する場合、HDMI出力機器及びHDMI入力機器の双方でサポートされる最高品質の映像フォーマット及び音声フォーマットが出力フォーマットとして選択される確率が高いという想定に基づいている。つまり、映像音声出力システム1は、最大解像度の映像フォーマットにおける遅延量を映像出力処理遅延量として設定することにより、映像出力と音声出力の同期を図ることができる可能性を高めることができる。そして、EDID設定部302は、EDID303aの記載内容を設定した後に、HPD制御部304へHPD信号304aをHighに変更することを指示する(HPDアサート指示)。
 EDID記憶部303は、例えば不揮発性メモリなどからなり、EDID303aを格納している。このEDID303aには、映像出力処理遅延量を示す情報を含む再生能力情報が設定される。
 HPD制御部304は、EDID設定部302からのHPDアサート指示に従って、HPD端子301aを介してAVアンプ20へ送信するHPD信号304aをHigh(有効)に変更する。
 TMDS入力部305は、AVアンプ20により送信された暗号化TMDS伝送用データを、HDMI入力部301のTMDS端子301cを介して受信する。そして、TMDS入力部305は、暗号化TMDS伝送用データを認証/復号部306へ出力する。
 認証/復号部306は、AVアンプ20によるTV30の認証に対して応答する。なお、認証応答時にはTMDS入力が必要なため、認証/復号部306は、TMDS入力部305から、著作権保護が不要であり、かつ、暗号化されていないTMDS伝送用データを取得する。また、TV30の認証が成功した場合、認証/復号部306は、TMDS入力部305から、暗号化TMDS伝送用データを取得する。認証/復号部306は、取得した暗号化TMDS伝送用データを復号することにより、(暗号化されていない)TMDS伝送用データを生成する。そして、認証/復号部306は、生成したTMDS伝送用データをTMDSデコード部308へ出力する。
 CEC機器連携部307は、CEC端子301dを介してCEC信号をAVアンプ20と送受信することにより、AVアンプ20とCECメッセージの送受信を行う。また、CEC機器連携部307は、AVアンプ20とCECメッセージを送受信すること、又は、AVアンプ20を介してDVDレコーダ10とCECメッセージを送受信することにより、テレビモード又はシアターモードの設定を切り替える。
 また、CEC機器連携部307は、映像出力処理遅延量設定部307aを有する。映像出力処理遅延量設定部307aは、映像出力部309から映像出力処理遅延量を取得する。そして、映像出力処理遅延量設定部307aは、映像出力部309から取得した映像出力処理遅延量と、EDID303aに設定されている映像出力処理遅延量又は映像出力処理遅延量設定部307aにより以前にAVアンプ20へ送信された映像出力処理遅延量との差分値が、リップシンクのずれとして人が許容できる値を示す閾値(例えば、0~50ms)を超える場合、映像出力部309から取得した映像出力処理遅延量に切り替えることを指示するCECメッセージをAVアンプ20へ送信する。
 TMDSデコード部308は、TMDS伝送用データをTMDSデコードすることにより、映像ストリーム及び音声ストリームを生成する。そして、TMDSデコード部308は、生成した映像ストリームを映像出力部309へ出力し、生成した音声ストリームを音声出力部310へ出力する。
 映像出力部309は、ディスプレイなどの出力媒体に映像を出力する。ここで、映像出力部309は、TV30が暗号化TMDS伝送データを受信してから出力媒体に表示されるまでに要する時間を計測する。そして、映像出力部309は、計測した時間を映像出力処理遅延量として映像出力処理遅延量設定部307aへ通知する。
 音声出力部310は、スピーカなどからなり、テレビモードの場合に、TMDSデコード部213により生成された音声ストリームを用いて音声を出力する。
 次に、以上のように構成された映像音声出力システム1において実行される映像音声データ同期方法について、図8~図10を用いて説明する。
 図8~図10は、本実施の形態における映像音声出力システム1を構成する各機器による処理の流れを示す図である。なお、図8~図10は、映像音声出力システム1において、シアターモードが選択されている場合の処理の流れを示す図である。
 まず、例えばTV30の電源投入時などに、TV30のEDID設定部302は、EDID303aに映像出力処理遅延量を設定する(ステップS101)。そして、TV30のHPD制御部304は、HPD信号304aをLowからHighに変更する(ステップS102)。
 AVアンプ20のHPD切替検出部202は、HPD信号304aのLowからHighへの切替を検出する(ステップS103)。次に、AVアンプ20のEDID情報取得部203は、TV30のEDID記憶部303に格納されたEDID303aを取得する(ステップS104)。つまり、HPD信号304aがLowからHighへ変化したときに、AVアンプ20が、EDID303aをTV30からHDMIを通じて取得する。このEDID303aには、TV30による映像出力に要する時間である映像出力処理遅延量(第1遅延量)を示す情報を含む再生能力情報が記載されている。そして、AVアンプ20のHPD制御部210は、HPD信号210aをLowからHighに変更する(ステップS105)。
 DVDレコーダ10のHPD切替検出部102は、HPD信号210aのLowからHighへの切替を検出する(ステップS106)。次に、DVDレコーダ10のEDID情報取得部103は、AVアンプ20のEDID記憶部209に格納されたEDID209aを取得する(ステップS107)。そして、DVDレコーダ10の認証/暗号部104は、AVアンプ20が正当な機器であることの認証を開始する(ステップS108)。AVアンプ20の認証/復号部212は、DVDレコーダ10による認証の指示に従って、認証情報をDVDレコーダ10へ送信する(ステップS109)。そして、DVDレコーダ10の認証/暗号部104は、受信した認証情報を用いてAVアンプ20を認証する(ステップS110)。
 続いて、AVアンプ20の認証/暗号部204は、TV30の認証を開始する(ステップS111)。TV30の認証/復号部306は、AVアンプ20による認証の指示に従って、認証情報をAVアンプ20に送信する(ステップS112)。そして、AVアンプ20の認証/暗号部204は、受信した認証情報を用いてTV30を認証する(ステップS113)。
 DVDレコーダ10によるAVアンプ20の認証が成功した場合、DVDレコーダ10のTMDS出力部108は、暗号化TMDS伝送用データをAVアンプ20に送信する(ステップS114)。具体的には、DVDレコーダ10のTMDSエンコード部107は、映像データ及び音声データをTMDSエンコードすることにより、TMDS伝送用データを生成する。そして、DVDレコーダ10の認証/暗号部104は、生成されたTMDS伝送用データをAVアンプ20の認証情報を用いて暗号化することにより、暗号化TMDS伝送用データを生成する。このように生成された暗号化TMDS伝送用データを、DVDレコーダ10のTMDS出力部108は、HDMI出力部101を介してAVアンプ20へ送信する。また、DVDレコーダ10は、TV30が正当な機器であることを確認するための認証をAVアンプ20に対し実施する(ステップS115)。
 AVアンプ20によるTV30の認証が成功した場合、AVアンプ20の認証/復号部212は、受信した暗号化TMDS伝送用データを復号する(ステップS116)。続いて、AVアンプ20のTMDS出力部206は、暗号化TMDS伝送用データをTV30に送信する(ステップS117)。具体的には、AVアンプ20の認証/暗号部204は、復号されたTMDS伝送用データをTV30の認証情報を用いて暗号化することにより、暗号化TMDS伝送用データを生成する。このように生成された暗号化TMDS伝送用データを、AVアンプ20のTMDS出力部206はHDMI出力部201を介してTV30へ送信する。また、AVアンプ20は、DVDレコーダ10からの、TV30が正当な機器であることを確認するための認証に応答する(ステップS118)。
 なお、AVアンプ20からTV30への認証開始(ステップS111)は、DVDレコーダ10からAVアンプ20への認証開始(ステップS108)の後に実施され、それぞれの認証が並列に実施される状態となる。
 TV30の認証/復号部306は、受信した暗号化TMDS伝送用データを復号する(ステップS119)。そして、TV30のTMDSデコード部308は、復号したTMDS伝送用データをTMDSデコードすることにより、映像ストリーム及び音声ストリームを生成する(ステップS120)。映像出力部309は、生成された映像ストリームを用いて映像を出力する(ステップS121)。
 また、AVアンプ20のTMDSデコード部213は、復号されたTMDS伝送用データをTMDSデコードすることにより、音声ストリームを生成する(ステップS122)。そして、AVアンプ20の音声出力部214は、ステップS104において取得されたEDID303aから得られる映像出力処理遅延量に基づいて音声を出力するタイミングを調整することにより、ステップS121において出力される映像と同期するように音声を出力する(ステップS123)。
 次に、DVDレコーダ10のデコード部106は、映像データの映像フォーマットを変更する(ステップS124)。例えば、デコード部106は、映像フォーマットを1080pから480pに変更する。そして、ステップS114~S121と同様に、映像フォーマットが変更された映像データもTV30へ送信され、送信された映像データに基づいて映像が出力される。その結果、TV30の映像出力処理遅延量設定部307aは、映像出力処理遅延量が変化したことを検出する(ステップS125)。例えば、映像出力部309が、映像出力に要する時間を計測し、計測した時間を映像出力処理遅延量(第2遅延量)として映像出力処理遅延量設定部307aに通知する。そして、映像出力処理遅延量設定部307aは、映像出力部309から通知される、計測された映像出力処理遅延量と、EDID303aから得られる映像出力処理遅延量との差分値が所定閾値を超える場合に、映像出力処理遅延量が変化したと検出する。ここで、所定閾値には、リップシンクのずれとして人が許容できる値(例えば、0~50ms)が利用されればよい。なお、映像出力部309は、計測した映像出力処理遅延量を映像出力処理遅延量設定部307aに通知しているが、必ずしも映像出力処理遅延量は計測されなくてもよい。例えば、映像出力部309は、出力している映像の映像フォーマットに対応する映像出力処理遅延量を映像出力機器が備えるメモリに予め保持されたテーブルを参照することにより取得してもよい。そして、映像出力部309は、取得した映像出力処理遅延量を映像出力処理遅延量設定部307aに通知してもよい。
 そして、映像出力処理遅延量設定部307aは、映像出力部309から取得した映像出力処理遅延量に切り替えることを指示するCECメッセージをAVアンプ20へ送信する(ステップS126)。この指示は、例えば、CECメッセージのコマンド(Vendor Command)を用いてAVアンプ20へ伝送される。なお、ここでは、TV30のEDID設定部302は、EDID記憶部303に格納されたEDID303aの映像出力処理遅延量を更新しない。
 次に、AVアンプ20の音声出力部214は、CECメッセージから得られる映像出力処理遅延量に基づいて音声を出力するタイミングを調整することにより、変更後の映像フォーマットに基づいて出力される映像と同期するように音声を出力する(ステップS127)。
 次に、図11を用いて上記の処理をさらに具体的に説明する。
 図11は、本実施の形態における映像音声出力システム1を構成する各機器の動作を説明するための図である。
 図11に示すように、時刻T1に、DVDレコーダ10が出力する映像データの映像フォーマットが1080pから480pに切り替わった場合、TV30では、映像出力処理遅延量が、例えば、100msから30msに変化する。
 TV30は、映像出力処理遅延量がそれまでの100msから30msへと変化したため、時刻T2に、AVアンプ20へ、映像出力処理遅延量の切替を指示するCECメッセージを送信する。この指示は、例えば、CECメッセージのコマンド(Vendor Command)を用いて伝送され、TV30により計測された映像出力処理遅延量を示す情報を含む。
 このように映像フォーマットが1080pから480pに切り替わることによりTV30の映像出力処理遅延量が変化した場合であっても、TV30は、EDID303aの映像出力処理遅延量を100msのまま変更しない。すなわち、TV30は、HPD信号304aをパルスする必要がない。したがって、DVDレコーダ10は、AVアンプ20に対し、正当な機器か否かを確認するためのHDCP認証を開始する必要がないので、そのままコンテンツ(映像データ及び音声データ)の出力を継続することができる。
 一方、AVアンプ20は、TV30とのHDMI接続が有効(HPD信号304aがHigh)である場合、受信したCECメッセージから得られる映像出力処理遅延量を優先して使用する。したがって、AVアンプ20は、TV30のEDID303aに記載の映像出力処理遅延量とは無関係に、音声の出力のタイミングを調整することが可能となる。
 以上により、本実施の形態における映像音声データ同期方法では、HDMI接続の開始時にシステムに最適な映像出力処理遅延量をEDIDから取得することにより、無駄な制御メッセージによるコマンド通知を不要とすることができる。
 さらに、本実施の形態における映像音声データ同期方法では、映像出力処理遅延量が変化した場合に、HDMI接続の無効化を必要としない制御メッセージによるコマンドを用いて映像出力処理遅延量をAVアンプ20へ通知することにより、DVDレコーダ10により再生されたコンテンツ(映像データ及び音声データ)の伝送を停止することなく、AVアンプ20は、音声出力のタイミングを、映像出力に合わせた最適な同期タイミングに調整することができる。
 すなわち、本実施の形態における映像音声データ同期方法は、接続状態情報が無効から有効へ変化したことを示すときに、制御メッセージが送信されることなく、映像出力処理遅延量を示す情報を含む再生能力情報を音声出力機器が取得できるので、制御メッセージの送信量の増大を抑制するとともに映像と音声との出力の同期を図ることが可能となる。さらに、接続状態情報が有効であることを示すときに、映像出力機器において計測された映像出力処理遅延量を、音声出力機器が制御メッセージを受信することにより取得できるので、再生能力情報を取得するための接続状態の変更を必要としない。つまり、接続状態情報が有効であることを示すときに接続状態情報を変更する必要がないので、不要な認証を発生させることなく、映像の出力が停止することを回避するとともに映像と音声との出力の同期を図ることが可能となる。
 なお、本実施の形態に係る映像音声データ同期方法では、EDID設定部302は、電源投入時などに、HDMI出力機器及びHDMI入力機器の双方でサポートされる最高品質の映像フォーマットにおける映像出力処理遅延量をEDID303aに設定するとしたが、本発明に係る映像音声データ同期方法では、必ずしも最高品質の映像フォーマットにおける映像出力処理遅延量に限定されるわけではない。
 例えば、EDID設定部302は、HDMI入力機器の商品仕様として決定された固定値を映像出力処理遅延量として設定してもよい。また、EDID設定部302は、HPD信号がHighからLowに変化したときに、EDID記憶部303に格納されたEDID303aの映像出力処理遅延量を、映像出力部309により計測された映像出力処理遅延量に更新してもよい。具体的には、映像出力処理遅延量設定部307aにおいて送信された最新の映像出力処理遅延量を、電源オフ時に記憶し、再び電源が投入された時に、記憶した映像出力処理遅延量をEDID設定部302が読み出してもよい。これにより、例えば、音声出力機器と映像出力機器とのHDMI接続が無効となった後、再びHDMI接続が有効になった場合に、HDMI接続が無効となる直前に出力されていた映像フォーマットが継続されるときには、HDMI接続が有効となった時にすぐに、音声出力機器は音声出力のタイミングを、映像出力に合わせた最適な同期タイミングに調整することができる。
 この動作を図12に示す。図12は、本実施の形態の変形例における映像音声出力システム1を構成する各機器の動作を説明するための図である。また、図12は、図11に時刻T6以降の動作を追加した図である。図12に示すように、時刻T6にTV30の電源がOFFになると、TV30のHPD信号304aはLowとなる。時刻T7にTV30の電源がONになることにより、TV30のEDID303aが電源OFF直前の映像出力処理遅延量、すなわち「30ms」に変化する。そして、時刻T8にTV30のHPD信号がHighになり、TV30のEDID304aがAVアンプ20へ伝送される。その結果、AVアンプ20の音声出力の遅延量は、引き続き「30ms」となる。そして、AVアンプ20のHPD信号210aは、時刻T8でLowになった後、時刻T9でHighとなり、再認証動作が開始する。
 なお、本実施の形態では、TV30の映像出力部309が、入力された映像データが出力媒体に表示されるまでにかかる時間を計測し、計測した時間を映像出力処理遅延量設定部307aに通知するとしたが、必ずしも映像出力部309が時間を計測する必要はない。例えば、TMDSデコード部308が、出力映像のフォーマット、環境設定条件などに対応した映像出力処理遅延量を予め保持しているデータベースを参照することにより、映像出力処理遅延量を映像出力処理遅延量設定部307aに通知してもよい。この場合、TMDSデコード部308は、映像ストリームを映像出力部309に出力する際に、映像フォーマットなどを認識し、認識した映像フォーマットなどに対応する映像出力処理遅延量を取得する。
 また、映像出力機器は、音声出力機能を有する映像音声出力機器であってもよい。
 なお、本実施の形態では、映像出力処理遅延量が変化した場合に、TV30が自発的に、AVアンプ20へ、映像出力処理遅延量を指定するCECメッセージを送信したが、AVアンプ20からの問い合わせのCECメッセージに対し、TV30が映像出力処理遅延量を指定するCECメッセージで応答してもよい。つまり、AVアンプ20がTV30へ映像出力処理遅延量の送信を要求する情報を含む制御メッセージを送信した場合に、TV30は、AVアンプ20へ映像出力処理遅延量を送信してもよい。これにより、映像音声出力システムは、任意のタイミングで、容易に計測された映像出力処理遅延量を用いて映像と音声との出力の同期を図ることが可能となる。
 (実施の形態2)
 図13は、本発明の実施の形態2におけるHDMI接続された映像音声出力システム2の構成を示す図である。この映像音声出力システム2は、DVDレコーダ10、AVアンプ25、及びTV35により構成される。本実施の形態に係る映像音声出力システム2が、図4に示す実施の形態1に係る映像音声出力システム1と異なる点は、AVアンプ25とTV35とがHDMIケーブルに加えて、第1音声ケーブル(以下、「光デジタル音声ケーブル」という。)及び第2音声ケーブル(以下、「アナログ音声ケーブル」という。)によって接続されている点などである。なお、DVDレコーダ10は、図4に示す実施の形態1のDVDレコーダ10と同一の機能を有するので説明を省略する。
 AVアンプ25は、音声を出力する音声出力機器の一例であり、HDMI入力ポート25PIと、HDMI出力ポート25POと、光デジタル音声入力ポート25PIdと、アナログ音声入力ポート25PIaとを備える。
 TV35は、映像を出力する映像出力機器の一例であり、HDMI入力ポート35PIと、光デジタル音声出力ポート35POdと、アナログ音声出力ポート35POaとを備える。
 HDMIは、DVDレコーダ10により再生された映像データ及び第1音声データ(以下、「HDMI音声データ」という。)を、AVアンプ25、TV35の順に一方向に伝送可能である。また、HDMIは、TV35の再生能力を示す再生能力情報とTV35の接続状態の有効性を示す接続状態情報とを、TV35からAVアンプ25へ一方向に伝送可能である。また、HDMIは、制御メッセージを互いに接続された機器間において双方向に伝送可能である。
 光デジタル音声ケーブルは、TV35の光デジタル音声出力ポート35POdからAVアンプ25の光デジタル音声入力ポート25PIdへ、第2音声データ(以下、「光デジタル音声データ」という。)を一方向に伝送可能である。
 アナログ音声ケーブルは、TV35のアナログ音声出力ポート35POaからAVアンプ25のアナログ音声入力ポート25PIaへ、第3音声データ(以下、「アナログ音声データ」という。)を一方向に伝送可能である。
 このような映像音声出力システム2において、TV35に備えられたチューナが受信した映像データ及び音声データに基づいて映像及び音声を出力する場合、光デジタル音声ケーブルにより光デジタル音声データがTV35からAVアンプ25へ伝送され、アナログ音声ケーブルによりアナログ音声データがTV35からAVアンプ25へ伝送される。
 このとき、AVアンプ25が、例えば、HDMIにより伝送される映像データ及び音声データに基づいて映像が出力される場合の映像出力処理遅延量を基準にして、音声を出力するタイミングを調整している場合、音声データの伝送路の違いによる遅延が考慮されていないため、AVアンプ25からの音声出力とTV35からの映像出力との間にずれが生じてしまう。
 また、光デジタル音声ケーブルにより伝送される光デジタル音声データに基づいて音声を出力するか、又は、アナログ音声ケーブルにより伝送されるアナログ音声データに基づいて音声を出力するかは、AVアンプ25により選択される。したがって、実施の形態1における映像音声データ同期方法では、AVアンプ25の選択した音声データをTV35が把握することができないので、AVアンプ25からの音声出力とTV35からの映像出力との間に生じたずれを解消することができない。
 そこで、本発明の実施の形態2における映像音声データ同期方法では、音声データの伝送路毎の音声出力処理遅延量を反映した映像出力処理遅延量を算出し、算出した映像出力処理遅延量のすべてを含む制御メッセージを、映像出力機器から音声出力機器へ送信する。そして、音声出力機器は、音声切替の設定に対応する映像出力処理遅延量を用いて、音声を出力するタイミングを調整する。したがって、映像出力機器は、音声出力機器の音声入力の設定状態を認識する必要がない。さらに、音声出力機器は、自機器の音声入力の切替が発生した場合、新たな制御メッセージを送受信することなく、映像出力機器が出力する映像と同期するように音声を出力するタイミングを調整することができる。
 以下に、本実施の形態に係る映像音声データ同期方法を実現する各機器の構成について、図面を参照しながら詳細に説明する。
 本実施の形態に係るDVDレコーダ10の機能構成は、図5と同様のため図示及び説明を省略する。
 図14は、本実施の形態におけるAVアンプ25の機能構成を示すブロック図である。
 図14に示すように、AVアンプ25は、HDMI出力部251と、HPD切替検出部252と、EDID情報取得部253と、認証/暗号部254と、CEC機器連携部255と、TMDS出力部256と、HDMI入力部257と、EDID設定部258と、EDID記憶部259と、HPD制御部260と、TMDS入力部261と、認証/復号部262と、TMDSデコード部263と、音声出力部264と、光デジタル音声入力部265と、アナログ音声入力部266と、音声入力切替部267とを備える。
 HDMI出力部251は、HDMI出力ポート25POからなり、映像データ及び音声データの送信並びに制御メッセージの送受信(双方向通信)を行う。HDMI出力部251は、HPD信号354aを受信するHPD端子251a、DDC信号を送受信するDDC端子251b、TMDS信号を送信するTMDS端子251c及びCEC信号を送受信するCEC端子251dを有する。
 HPD切替検出部252は、接続状態情報が無効から有効へ又は有効から無効へ変化したことを検出する。具体的には、HPD切替検出部202は、HDMI出力部251のHPD端子251aを介して受信されたHPD信号354aの切替を検出する。つまり、HPD切替検出部202は、HPD信号354aのHighからLowへの切替(有効から無効へ変化)、又はHPD信号354aのLowからHighへの切替(無効から有効へ変化)を検出する。
 EDID情報取得部253は、HPD切替検出部252によりHPD信号354aのLowからHighへの切替が検出された場合、DDC端子251bを介してDDC信号を送受信することにより、TV35のEDID353aを取得する。TV35のEDID353aには、TV35がサポート可能な、映像データ及び音声データのフォーマット及びTV35の映像出力処理遅延量等の情報を含む再生能力情報が記載されている。EDID情報取得部253は、これらの再生能力情報を、EDID設定部258及び音声出力部264へ出力する。また、TV35のEDID353aには、TV35がHDMI機器であることも記載されている。したがって、EDID情報取得部253は、認証/暗号部254へ、TV35に対する認証にはHDCPを適用することを指示する。ここで、EDID情報取得部253は、HDCPを適用することを指示するだけであり、認証の開始は指示しない。また、EDID情報取得部253は、HPD信号354aのHighからLowへの切替が検出された場合、認証/暗号部254へ、認証を停止することを指示する。
 認証/暗号部254は、認証/復号部262からの認証開始の指示に従って、TV35が正当な機器であるか否かを確認する。具体的には、認証/暗号部204は、DDC端子251bを介してDDC信号を送受信することにより、HDCPの認証プロトコルに沿った認証処理を実施する。なお、認証時にはTMDS出力が必要なため、認証/暗号部254は、TMDS出力部256へ、著作権保護が不要なコンテンツデータをTMDSエンコードしたデータを出力する。
 ここで、認証/暗号部254によるTV35の認証が成功した場合、認証/暗号部254は、認証/復号部262へ、TMDS伝送用データの出力を指示する。そして、認証/暗号部254は、認証/復号部212により復号されたTMDS伝送用データを、成功した認証情報を用いて暗号化することにより、暗号化TMDS伝送用データを生成する。そして、認証/暗号部204は、暗号化TMDS伝送用データをTMDS出力部256へ出力する。
 一方、認証/暗号部254によるTV35の認証が失敗した場合、AVアンプ25は、著作権保護が必要なコンテンツデータをTV35へ出力できない。したがって、認証/暗号部254は、認証/復号部262へ、TMDS伝送用データの出力の停止を指示する。つまり、AVアンプ25は、HPD信号354aがHighである間、映像データを認証されたTV35へHDMIを通じて送信する。
 CEC機器連携部255は、CEC端子251d及びCEC端子257dを介してCEC信号を送受信することにより、DVDレコーダ10及びTV35とのCECメッセージの送受信を行う。また、CEC機器連携部255は、TV35とのCECメッセージの送受信により、テレビモード又はシアターモードの設定に関する情報を認識する。そして、CEC機器連携部255は、認識したテレビモード又はシアターモードの設定に関する情報を設定情報としてEDID設定部258と認証/復号部262とに通知する。
 また、CEC機器連携部255は、映像出力処理遅延量取得部255aを有する。映像出力処理遅延量取得部255aは、TV35から第1、第2及び第3の映像出力処理遅延量を示す情報を含むCECメッセージを受信する。映像出力処理遅延量取得部255aは、受信したCECメッセージから得られる第1、第2及び第3の映像出力処理遅延量を、音声出力部264へ出力する。
 また、CEC機器連携部255は、音声切替指示に関する情報を含むCECメッセージを受信する。この音声切替指示に関する情報を含むCECメッセージを受信した場合、CEC機器連携部255は、受信したCECメッセージから得られる情報を音声入力切替部267へ出力する。例えば、CEC機器連携部255は、DVDレコーダ10により出力された映像データ及び音声データに基づいて音声を出力することを指示する音声切替指示を含むCECメッセージを受信した場合、HDMI入力部257により取得された音声データに基づいて音声出力部264が音声を出力するように切り替えることを、音声入力切替部267へ指示する。CECメッセージによる入力切替の動作の詳細は、本発明の主眼ではないため説明を省略する。
 TMDS出力部256は、TMDS端子251cを介してTMDS信号をTV35へ送信することにより、認証/暗号部254から取得した暗号化TMDS伝送用データ、又は、暗号化されていないTMDS伝送用データを、TV35へ出力する。つまり、TMDS出力部256は、認証/暗号部254によるTV35の認証が成功した場合、映像データを含むTMDS伝送用データをTV35へHDMI出力部251を介して送信する。
 HDMI入力部257は、HDMI入力ポート25PIからなり、映像データ及び音声データの受信並びに制御メッセージの送受信(双方向通信)を行う。HDMI入力部257は、HPD信号260aを送信するHPD端子257a、DDC信号を送受信するDDC端子257b、TMDS信号を受信するTMDS端子257c及びCEC信号を送受信するCEC端子257dを有する。
 EDID設定部258は、EDID情報取得部253から再生能力情報を取得した場合に、CEC機器連携部255から通知された設定情報(テレビモード又はシアターモード)に基づき、EDID259aの記載内容を決定する。ここで、決定された記載内容とEDID259aの内容とが異なる場合、EDID設定部258は、HPD信号210aがLowである間にEDID209aの記載内容を変更する。なお、EDID209aの記載内容を変更する際にHPD信号210aがHighである場合は、EDID設定部208は、HPD制御部210へHPD信号210aをLowに変更することを指示する(HPDネゲート指示)。そして、EDID209aの記載内容の変更が終了した後、EDID設定部208は、HPD制御部210へHPD信号210aをHighに変更することを指示する(HPDアサート指示)。また、例えば、EDID設定部258は、音声入力切替部267によりHDMI入力部257以外からの音声データに基づいて音声を出力することを指示する音声切替指示が通知された場合、HPD端子257aを介してDVDレコーダ10へ出力するHPD信号260aをLowに変更することをHPD制御部260に指示する。一方、音声入力切替部267によりHDMI入力部257からの音声データに基づいて音声を出力することを指示する音声切替指示が通知された場合、EDID259aの記載内容を決定し、必要に応じて決定された記載内容にEDID259aの記載を変更した上で、HPD端子257aを介してDVDレコーダ10へ出力するHPD信号260aをHighに変更することをHPD制御部260に指示する。
 EDID記憶部259は、例えば不揮発性メモリなどからなり、EDID259aを格納している。このEDID259aには、再生能力情報が含まれる。
 HPD制御部260は、EDID設定部258からのHPDアサート指示又はHPDネゲート指示に従って、HPD端子257aを介して送信するHPD信号260aをHigh(有効)又はLow(無効)に変更する。
 TMDS入力部261は、DVDレコーダ10により送信された暗号化TMDS伝送用データを、TMDS端子257cを介して受信する。そして、TMDS入力部261は、暗号化TMDS伝送用データを認証/復号部262へ出力する。
 認証/復号部262は、DVDレコーダ10によるAVアンプ25の認証プロトコルに沿った認証処理に対して応答する。また、DVDレコーダ10により認証が開始された場合には、認証/復号部262は、認証/暗号部254へ、TV35との認証を開始することを指示する。なお、認証応答時にはTMDS入力が必要なため、認証/復号部262は、TMDS入力部261から、著作権保護が不要であり、かつ、暗号化されていないTMDS伝送用データを取得する。また、AVアンプ25の認証が成功した場合、認証/復号部262は、TMDS入力部261から、暗号化TMDS伝送用データを取得する。認証/復号部262は、取得した暗号化TMDS伝送用データを復号することにより、(暗号化されていない)TMDS伝送用データを生成する。ここで、認証/復号部262は、CEC機器連携部255により通知された設定情報(テレビモード又はシアターモード)に基づき、生成したTMDS伝送用データを認証/暗号部254などへ出力する。具体的には、設定情報がシアターモードの場合には、認証/復号部262は、復号したTMDS伝送用データから音声データを取り除いたデータを認証/暗号部254へ出力し、かつ、復号したTMDS伝送用データをTMDSデコード部263へ出力する。一方、設定情報がテレビモードの場合には、認証/復号部262は、復号したTMDS伝送用データを認証/暗号部254へ出力する。
 TMDSデコード部263は、TMDS伝送用データをTMDSデコードすることにより、音声ストリームを生成する。そして、TMDSデコード部263は、生成した音声ストリームを音声出力部264へ出力する。
 光デジタル音声入力部265は、光デジタル音声入力ポート25PIdからなり、TV35から光デジタル音声データを受信する。そして、光デジタル音声入力部265は、受信した光デジタル音声データから得られる音声ストリームを音声出力部264へ出力する。
 アナログ音声入力部266は、アナログ音声入力ポート25PIaからなり、TV35からアナログ音声データを受信する。そして、アナログ音声入力部266は、受信したアナログ音声データから得られる音声ストリームを音声出力部264へ出力する。
 音声入力切替部267は、ユーザからの指示又はCEC機器連携部255からの指示に従って、音声切替指示を生成する。音声切替指示とは、音声入力の切替を指示する情報である。具体的には、音声切替指示とは、HDMI入力部257、光デジタル音声入力部265及びアナログ音声入力部266のいずれの構成部により取得された音声データに基づいて音声出力部264が音声を出力するかを制御するための指示情報である。つまり、本実施の形態において、音声切替指示とは、HDMIにより伝送された音声データに基づいて音声を出力するか、光デジタル音声ケーブルにより伝送された光デジタル音声データに基づいて音声を出力するか、アナログ音声ケーブルにより伝送されたアナログ音声データに基づいて音声を出力するかを指示する情報である。そして、音声入力切替部267は、生成した音声切替指示を、音声出力部264及びEDID設定部258へ通知する。
 音声出力部264は、スピーカなどからなり、音声入力切替部267から通知された音声切替指示に従って、TMDSデコード部263、光デジタル音声入力部265又はアナログ音声入力部266により出力された音声ストリームを用いて音声を出力する。ここで、音声出力部264は、EDID情報取得部253、又は、映像出力処理遅延量取得部255aにより取得された映像出力処理遅延量の中から、音声入力切替部267により通知された音声切替指示に対応する映像出力処理遅延量を選択する。そして、音声出力部264は、選択した映像出力処理遅延量を用いて音声を出力するタイミングを調整(遅延)する。例えば、光デジタル音声入力部265により取得された光デジタル音声データに基づいて音声出力部264が音声を出力することを指示する音声切替指示が通知された場合、音声出力部264は、光デジタル音声入力部265により取得された音声データに対応する映像出力処理遅延量である第2の映像出力処理遅延量を用いて音声を出力するタイミングを調整する。
 図15は、本実施の形態におけるTV35の機能構成を示すブロック図である。
 図15に示すように、TV35は、HDMI入力部351と、EDID設定部352と、EDID記憶部353と、HPD制御部354と、TMDS入力部355と、認証/復号部356と、CEC機器連携部357と、TMDSデコード部358と、映像出力部359と、音声出力部360と、入力切替部361と、チューナデコード部362と、光デジタル音声出力部363と、アナログ音声出力部364とを備える。
 HDMI入力部351は、HDMI入力ポート35PIからなり、映像データ及び音声データの受信並びに制御メッセージの送受信(双方向通信)を行う。HDMI入力部351は、HPD信号354aを送信するHPD端子351a、DDC信号を送受信するDDC端子351b、TMDS信号を受信するTMDS端子351c及びCEC信号を送受信するCEC端子351dを有する。
 EDID設定部352は、電源投入時などに、EDID353aの記載内容を決定し、決定した記載内容をEDID353aに設定する。EDID設定部352は、EDID353aの記載内容を設定した後に、HPD制御部354へHPD信号354aをHighに変更することを指示する(HPDアサート指示)。また、例えば、EDID設定部352は、HDMIにより伝送された映像データ以外の映像データに基づいて映像を出力することを指示する映像切替指示を取得した場合、HPD端子351aを介してAVアンプ25へ出力するHPD信号354aをLowに変更することをHPD制御部354に指示する。一方、例えば、HDMIにより伝送された映像データに基づいて映像を出力することを指示する映像切替指示を取得した場合、EDID設定部352は、EDID353の記載内容を決定し、必要があれば変更した上で、HPD制御部354にHPD端子351aへ出力するHPD信号をHighに引き上げるように指示する。
 EDID記憶部353は、例えば不揮発性メモリなどからなり、EDID353aを格納している。このEDID353aには、映像出力処理遅延量を示す情報を含む再生能力情報が設定される。
 HPD制御部354は、EDID設定部352からのHPDアサート指示に従って、HPD端子351aを介してAVアンプ25へ送信するHPD信号354aをHigh(有効)に変更する。また、HPD制御部354は、EDID設定部352からのHPDネゲート指示に従って、HPD端子351aを介してAVアンプ25へ送信するHPD信号354aをLow(無効)に変更する。
 TMDS入力部355は、TMDS端子351cからTMDS信号を受信することにより、AVアンプ25により送信された暗号化TMDSデータを受信する。そして、TMDS入力部355は、受信した暗号化TMDS伝送用データを認証/復号部356へ出力する。
 認証/復号部356は、AVアンプ25によるTV35の認証に対して応答する。なお、認証応答時にはTMDS入力が必要なため、認証/復号部356は、TMDS入力部355から、著作権保護が不要であり、かつ、暗号化されていないTMDS伝送用データを取得する。また、TV35の認証が成功した場合、認証/復号部356は、TMDS入力部355から、暗号化TMDS伝送用データを取得する。認証/復号部356は、取得した暗号化TMDS伝送用データを復号することにより、(暗号化されていない)TMDS伝送用データを生成する。そして、認証/復号部356は、生成したTMDS伝送用データをTMDSデコード部358へ出力する。
 CEC機器連携部357は、CEC端子351dを介してCEC信号を送受信することにより、AVアンプ25とCECメッセージの送受信を行う。また、CEC機器連携部357は、AVアンプ25とCECメッセージを送受信すること、又は、AVアンプ20を介してDVDレコーダ10とCECメッセージを送受信することにより、テレビモード又はシアターモードの設定を切り替える。
 また、CEC機器連携部357は、映像出力処理遅延量設定部357aを有する。映像出力処理遅延量設定部357aは、映像出力部359から映像出力処理遅延量を取得する。さらに、映像出力処理遅延量設定部357aは、光デジタル音声出力部363及びアナログ音声出力部364から音声出力処理遅延量を取得する。ここで、チューナデコード部362により生成された映像ストリームを用いて映像を出力することを指示する映像切替指示が入力切替部361から通知された場合、映像出力処理遅延量設定部357aは、第1、第2及び第3の映像出力処理遅延量を含むCECメッセージをAVアンプ25へ送信する。ここで、第1の映像出力処理遅延量とは、映像出力部359から取得した映像出力処理遅延量(例えば、100ms)である。また、第2の映像出力処理遅延量とは、光デジタル音声出力部363から音声を出力する場合の映像出力処理遅延量であり、例えば、映像出力部359から取得した映像出力処理遅延量(例えば、100ms)と、光デジタル音声出力部363から取得した音声出力処理遅延量(例えば、60ms)との差分値(40ms=100ms-60ms)である。また、第3の映像出力処理遅延量とは、アナログ音声出力部364から音声を出力する場合の映像出力処理遅延量であり、例えば、映像出力部359から取得した映像出力処理遅延量(例えば、100ms)と、アナログ音声出力部364から取得した音声出力処理遅延量(例えば、50ms)との差分値(50ms=100ms-50ms)である。つまり、CEC機器連携部357が第1、第2及び第3の映像出力処理遅延量を示す情報を含むCECメッセージを送信することにより、AVアンプ25は、HDMIにより伝送された音声データに基づいて音声を出力する際にTV35が出力する映像とタイミングを同期させるための第1の映像出力処理遅延量100msと、光デジタル音声ケーブルにより伝送された音声データに基づいて音声を出力する際にTV35が出力する映像とタイミングを同期させるための第2の映像出力処理遅延量40msと、アナログ音声ケーブルにより伝送された音声データに基づいて音声を出力する際にTV35が出力する映像とタイミングを同期させるための第3の映像出力処理遅延量50msとを受信することができる。
 TMDSデコード部358は、TMDS伝送用データをTMDSデコードすることにより、映像ストリーム及び音声ストリームを生成する。そして、TMDSデコード部358は、生成した映像ストリームを映像出力部359へ出力する。また、TMDSデコード部358は、生成した音声ストリームを音声出力部360へ出力する。
 チューナデコード部362は、図示していないチューナからの映像データ及び音声データをデコードすることにより、映像ストリーム及び音声ストリームを生成する。そして、チューナデコード部362は、生成した映像ストリームを映像出力部359へ出力する。また、チューナデコード部362は、生成した音声ストリームを光デジタル音声出力部363及びアナログ音声出力部364へ出力する。
 映像出力部359は、ディスプレイなどの出力媒体に映像を出力する。ここで、映像出力部359は、TV35が暗号化TMDS伝送データを受信してから出力媒体に表示されるまでに要する時間を検出する。そして、映像出力部359は、検出した時間を映像出力処理遅延量として映像出力処理遅延量設定部357aへ通知する。
 音声出力部360は、スピーカなどからなり、テレビモードの場合に、TMDSデコード部213により生成された音声ストリームを用いて音声を出力する。
 光デジタル音声出力部363は、光デジタル音声出力ポート35POdからなり、チューナデコード部362により生成された音声ストリームを音声データとしてAVアンプ25へ送信する。また、光デジタル音声出力部363は、取得した音声ストリームが、AVアンプ25により受信されるまでにかかる時間を計測し、計測した時間に変化があった場合、計測した時間を映像出力処理遅延量設定部357aに通知してもよい。
 アナログ音声出力部364は、アナログ音声出力ポート35POaからなり、チューナデコード部362により生成された音声ストリームを音声データとしてAVアンプ25へ送信する。また、アナログ音声出力部364は、取得した音声ストリームが、AVアンプ25に受信されるまでにかかる時間を計測し、計測した時間に変化があった場合、計測した時間を音声出力処理遅延量として映像出力処理遅延量設定部357aに通知してもよい。
 入力切替部361は、ユーザからの指示又はCEC機器連携部357からの指示に従って、映像切替指示を生成する。ここで映像切替指示とは、映像入力の切替を指示する情報である。具体的には、映像切替指示とは、TMDSデコード部358及びチューナデコード部362のいずれの構成部により生成された映像ストリームを用いて映像出力部359が映像を出力するかを制御するための指示情報である。つまり、本実施の形態において、映像切替指示とは、HDMIにより伝送された映像データに基づいて映像を出力するか、チューナにより取得された映像データに基づいて映像を出力するかを指示する情報である。そして、入力切替部361は、生成した映像切替指示を、EDID設定部352及び映像出力処理遅延量設定部357aへ通知する。
 次に、以上のように構成された映像音声出力システム2において実行される映像音声データ同期方法について、図16を用いて説明する。
 図16は、本実施の形態における映像音声出力システム2を構成する各機器による処理の流れを示す図である。なお、本実施の形態では、図8~図10に示した実施の形態1における映像音声出力システム1による処理と同様の処理が実行されるため、図16には、図8~図10に示した処理と異なる処理のみを示す。
 まず、TV35の入力切替部361は、チューナデコード部362により生成された映像ストリームを用いて映像を出力することを指示する映像切替指示を映像出力処理遅延量設定部357aへ通知する(ステップS201)。
 次に、TV35の映像出力処理遅延量設定部357aは、各種遅延量を取得する(ステップS202)。具体的には、映像出力処理遅延量設定部357aは、TV35において映像データに基づいて映像が出力される際に要する時間である映像出力処理遅延量を映像出力部359から取得する。さらに、映像出力処理遅延量設定部357aは、光デジタル音声ケーブルにより伝送される光デジタル音声データをTV35が生成する際に要する時間である光デジタル音声出力処理遅延量を光デジタル音声出力部363から取得する。さらに、映像出力処理遅延量設定部357aは、アナログ音声ケーブルにより伝送されるアナログ音声データをTV35が生成する際に要する時間であるアナログ音声出力処理遅延量をアナログ音声出力部364から取得する。
 そして、TV35の映像出力処理遅延量設定部357aは、取得した映像出力処理遅延量と光デジタル音声出力処理遅延量とアナログ音声出力処理遅延量とから得られる、第1、第2及び第3の映像出力処理遅延量を示す情報を含むCECメッセージをAVアンプ25へ送信する(ステップS203)。具体的には、第1映像出力処理遅延量は、映像出力部359から取得した映像出力処理遅延量である。また、第2映像出力処理遅延量は、映像出力部359から取得した映像出力処理遅延量から光デジタル音声出力処理遅延量を減じた値である。また、第3映像出力処理遅延量は、映像出力部359から取得した映像出力処理遅延量からアナログ音声出力処理遅延量を減じた値である。
 続いて、AVアンプ25の音声入力切替部267は、音声切替指示を音声出力部264へ通知する(ステップS204)。具体的には、音声入力切替部267は、HDMIにより伝送された音声データに基づいて音声を出力することを指示する音声切替指示、光デジタル音声ケーブルにより伝送された音声データに基づいて音声を出力することを指示する音声切替指示、又は、アナログ音声ケーブルにより伝送された音声データに基づいて音声を出力することを指示する音声切替指示を、音声出力部264へ通知する。
 そして、AVアンプ25の音声出力部264は、音声入力切替部267から通知された音声切替指示に対応する、ステップS203において送信された第1、第2又は第3の映像出力処理遅延量を用いて、出力タイミングを調整しながら音声を出力する(ステップS205)。具体的には、HDMIにより伝送された音声データに基づいて音声を出力することを指示する音声切替指示が通知された場合、音声出力部264は、第1の映像出力処理遅延量を用いて出力タイミングを調整しながら音声を出力する。また、光デジタル音声ケーブルにより伝送された音声データに基づいて音声を出力することを指示する音声切替指示が通知された場合、音声出力部264は、第2の映像出力処理遅延量を用いて出力タイミングを調整しながら音声を出力する。また、アナログ音声ケーブルにより伝送された音声データに基づいて音声を出力することを指示する音声切替指示が通知された場合、第3の映像出力処理遅延量を用いて出力タイミングを調整しながら音声を出力する。
 また、TV35の映像出力部359は、ステップS201における映像切替指示に従って、映像を出力する(ステップS206)。具体的には、映像出力部359は、チューナデコード部362により生成された映像ストリームを用いて映像を出力する。
 次に、図17を用いて上記の処理をさらに具体的に説明する。
 図17は、本実施の形態における映像音声出力システム2を構成する各機器の動作を説明するための図である。
 図17に示すように、時刻T3に、TV35において、DVDレコーダから得られる映像データからTVチューナから得られる映像データに入力を切り替える映像切替指示が発生した場合、シアターモードのときには、音声データは、TV35からAVアンプ25へ、光デジタル音声ケーブル(光デジタル音声出力ポート35POd→光デジタル音声入力ポート25PId)又はアナログ音声ケーブル(アナログ音声出力ポート35POa→アナログ音声入力ポート25PIa)によって伝送される。ここで、TV35が映像データをディスプレイに表示するまでに要する時間である映像出力処理遅延量は、DVDレコーダ10から受信していた1080pフォーマットの映像データに基づいて映像を出力していた場合と変化はなく、「100ms」とする。
 そして、映像切替指示が発生した後、時刻T4に、TV35は、第1、第2及び第3の映像出力処理遅延量を示す情報を含むCECメッセージをAVアンプ25へ送信する。この指示は、例えば、CECメッセージのコマンド(Vendor Command)を用いて伝送される。
 ここで、TV35において、光デジタル音声ケーブルにより伝送される光デジタル音声データを生成及び伝送するために要する時間が「60ms」である場合、AVアンプ25において、光デジタル音声ケーブルにより伝送された光デジタル音声データに基づいて音声を出力する際に利用する第2の映像出力処理遅延量は「40ms(=100ms-60ms)」となる。一方、TV35において、アナログ音声ケーブルにより伝送するアナログ音声データを生成及び伝送するために要する時間が「50ms」である場合、AVアンプ25において、アナログ音声ケーブルにより伝送されたアナログ音声データに基づいて音声を出力する際に利用する第3の映像出力処理遅延量は「50ms(=100ms-50ms)」となる。
 このように、第1、第2及び第3の映像出力処理遅延量がAVアンプ25へ送信されているので、時刻T4以降に、AVアンプ25において、光デジタルからアナログ、又は、アナログから光デジタルへの音声切替指示が発生しても、AVアンプ25は、音声を出力する際にTV35において出力される映像との時間的同期を図ることができる。つまり、AVアンプ25はEDID353aに記載された映像出力処理遅延量とは無関係に、かつ、自機器の音声切替指示が発生する度にCECメッセージを受信することなく、TV35において出力される映像とAVアンプ25において出力される音声との同期を図ることができる。
 また、TV35は、EDID353aの映像出力処理遅延量を変更しないのでAVアンプ25における音声切替指示を認識する必要がない。つまり、AVアンプ25のみが自機器の音声切替指示を認識すればよいので、リップシンクのずれ量の変化を簡単に補正できる。
 以上により、本実施の形態における映像音声データ同期方法では、それぞれの伝送路により送信される音声データに対応した映像出力処理遅延量をAVアンプ25が予め取得することができるので、AVアンプ25において、光デジタル音声からアナログ音声へ、又はアナログ音声から光デジタル音声への音声切替が発生した場合に、制御メッセージを毎回受信することなく、映像と音声とを同期させるために利用する映像出力処理遅延量を、最適な映像出力処理遅延量に切り替えることができる。
 また、TV35は、AVアンプ25の音声切替を認識する必要がないので、リップシンクのずれ量の変化を簡単に補正できることができる。
 すなわち、本実施の形態における映像音声データ同期方法は、伝送路に応じた映像出力処理遅延量が音声出力機器へ送信されるので、音声出力機器において出力する音声を切り替えた場合であっても、迅速に映像と音声との出力の同期を図ることが可能となる。また、音声出力機器において出力する音声を切り替えるたびに、制御メッセージを送信する必要がないので、制御メッセージの送信量の増大を抑制することも可能となる。
 なお、本実施の形態では、TV35の入力切替部361が、HDMIにより伝送された映像データ以外の映像データに基づいて映像を出力することを指示する映像切替指示を通知した場合に、映像出力処理遅延量設定部357aから、映像出力処理遅延量を含むCECメッセージを送信する場合について説明したが、送信タイミングはこれに限定されない。
 また、本実施の形態では、TV35が自発的にAVアンプ25へ、映像出力処理遅延量を含むCECメッセージを送信する場合について説明したが、AVアンプ25からの問い合わせのCECメッセージに受信した場合にTVが映像出力処理遅延量を示す情報を含むCECメッセージを応答してもよい。
 なお、本実施の形態では、TV35のEDID353aに映像出力処理遅延量が記載され、AVアンプ25の音声出力部264は、EDID情報取得部253から映像出力処理遅延量を取得する場合について説明しているが、本発明はこれに限定されない。例えば、本発明に係る映像音声データ同期方法では、HDMI規格のVersion1.3aに準拠した映像出力処理遅延量がEDID353aに記載されなくてもよい。
 以上、本発明に係る映像音声データ同期方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
 例えば、上記実施の形態において、映像音声出力システムを構成する各機器がHDMIにより互いに接続されている場合について説明したが、本発明は、必ずしもこのような実施の形態に限定されるものではない。例えば、映像音声出力システムを構成する各機器は、有線、無線を問わず、HDMIと同等の機能を提供することが可能な他の通信方式に対応したインターフェースにより互いに接続されてもよい。
 また、本発明は、このような映像音声データ同期方法として実現することができるだけでなく、このような映像音声データ同期方法において実行されるステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD-ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
 本発明は、TVなどの映像出力機器により映像が出力され、AVアンプなどの音声出力機器により音声が出力される場合の、映像音声データ同期方法に適用でき、特に、複数の機器間においてメッセージが双方向に送受信されることを可能とするホームエンターテイメント・ネットワーク等のネットワークに接続される複数の機器での映像データ及び音声データの出力の時間的同期を取る方法として適用できる。

Claims (11)

  1.  互いに所定のインターフェースにより接続された、音声出力機器と映像出力機器とを備える映像音声出力システムにおいて、前記音声出力機器から出力される音声と前記映像出力機器から出力される映像とを同期させるための映像音声データ同期方法であって、
     前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、
     前記映像音声データ同期方法は、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器が正当な機器であることを認証する認証ステップと、
     前記認証ステップにおける認証が成功した場合、前記接続状態情報が有効であることを示す間、映像データを前記音声出力機器から前記映像出力機器へ前記インターフェースを通じて送信する映像データ送信ステップと、
     前記映像出力機器が、前記映像データ送信ステップで送信された映像データに基づいて映像を出力する映像出力ステップと、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記音声出力機器が、前記映像出力機器による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記映像出力機器から前記インターフェースを通じて取得する第1遅延量取得ステップと、
     前記音声出力機器が、前記第1遅延量取得ステップで取得された第1遅延量に基づいて、音声を出力するタイミングを調整する第1音声出力ステップと、
     前記映像出力機器が、前記映像出力ステップで映像出力に要する時間を第2遅延量として取得する第2遅延量取得ステップと、
     前記接続状態情報が有効であることを示すときに、前記第2遅延量取得ステップで取得された第2遅延量を示す情報を含む制御メッセージを、前記映像出力機器から前記音声出力機器へ前記インターフェースを通じて送信する遅延量送信ステップと、
     前記音声出力機器が、前記遅延量送信ステップで送信された第2遅延量に基づいて、音声を出力するタイミングを調整する第2音声出力ステップとを含む
     映像音声データ同期方法。
  2.  前記映像出力機器は、前記接続状態情報が無効を示すときに書き換え可能なメモリであり、前記第1遅延量を格納しているメモリを備え、
     前記第1遅延量取得ステップにおいて、前記メモリに格納された第1遅延量を示す情報を含む前記再生能力情報を取得し、
     前記遅延量送信ステップにおいて、前記メモリに格納された第1遅延量を更新しない
     請求項1に記載の映像音声データ同期方法。
  3.  さらに、前記接続状態情報が有効から無効に変化したことを示すときに、前記第2遅延量取得ステップで取得された第2遅延量を前記第1遅延量として前記メモリに書き込む遅延量書込ステップを含む
     請求項2に記載の映像音声データ同期方法。
  4.  前記第1遅延量は、前記映像出力機器により予め一意に定まる固定の時間である
     請求項1に記載の映像音声データ同期方法。
  5.  前記遅延量送信ステップにおいて、前記接続状態情報が有効から無効へ変化したことを示した際に前記第2遅延量取得ステップで取得された第2遅延量を、前記第1遅延量として送信する
     請求項1に記載の映像音声データ同期方法。
  6.  前記遅延量送信ステップにおいて、前記第1遅延量取得ステップで取得された第1遅延量又は前に前記遅延量送信ステップで送信された第2遅延量と前記第2遅延量取得ステップで取得された第2遅延量との差分値が所定閾値を超える場合、前記第2遅延量取得ステップで取得された第2遅延量を送信する
     請求項1に記載の映像音声データ同期方法。
  7.  さらに、前記第2遅延量の送信を要求する情報を含む制御メッセージを、前記音声出力機器から前記映像出力機器へ送信する遅延量要求ステップを含み、
     前記遅延量送信ステップにおいて、前記遅延量要求ステップで制御メッセージが送信された場合、前記第2遅延量を送信する
     請求項1に記載の映像音声データ同期方法。
  8.  所定のインターフェース、第1音声ケーブル及び第2音声ケーブルにより互いに接続された、音声出力機器と映像出力機器とを備える映像音声出力システムにおいて、前記音声出力機器から出力される音声と前記映像出力機器から出力される映像とを同期させるための映像音声データ同期方法であって、
     前記インターフェースは、映像データ及び第1音声データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、
     前記第1音声ケーブルは、第2音声データを前記映像出力機器から前記音声出力機器へ伝送可能であり、
     前記第2音声ケーブルは、第3音声データを前記映像出力機器から前記音声出力機器へ伝送可能であり、
     前記映像音声データ同期方法は、
     前記映像出力機器が映像を出力する際に要する時間である第1遅延量と、前記第1音声ケーブルにより伝送される第2音声データを前記音声出力機器が出力する場合に、映像出力に要する時間である第2遅延量と、前記第2音声ケーブルにより伝送される第3音声データを前記音声出力機器が出力する場合に、映像出力に要する時間である第3遅延量とを、前記映像出力機器から前記音声出力機器へ送信する遅延量送信ステップと、
     前記インターフェースを通じて伝送される第1音声データ、前記第1音声ケーブルを通じて伝送される第2音声データ及び前記第2音声ケーブルを通じて伝送される第3音声データのいずれに基づいて音声を出力するかを指示する音声切替ステップと、
     前記音声切替ステップで前記第1音声データに基づいて音声を出力することを指示された場合、前記音声出力機器が、前記遅延量送信ステップで送信された第1遅延量に基づいて音声を出力するタイミングを調整し、前記音声切替ステップで前記第2音声データに基づいて音声を出力することを指示された場合、前記音声出力機器が、前記遅延量送信ステップで送信された第2遅延量に基づいて音声を出力するタイミングを調整し、前記音声切替ステップで前記第3音声データに基づいて音声を出力することを指示された場合、前記音声出力機器が、前記遅延量送信ステップで送信された第3遅延量に基づいて音声を出力するタイミングを調整する音声出力ステップとを含む
     映像音声データ同期方法。
  9.  所定のインターフェースにより音声出力機器と接続された映像出力機器であって、
     前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、
     前記映像出力機器は、
     映像データを前記音声出力機器から前記インターフェースを通じて受信する映像データ受信部と、
     前記映像データ受信部により受信された映像データに基づいて映像を出力する映像出力部と、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力部による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記音声出力機器へ前記インターフェースを通じて送信する第1遅延量送信部と、
     前記接続状態情報が有効であることを示すときに、前記映像出力部による映像出力に要する時間である第2遅延量を示す情報を含む制御メッセージを、前記音声出力機器へ前記インターフェースを通じて送信する第2遅延量送信部とを備える
     映像出力機器。
  10.  所定のインターフェースにより映像出力機器と接続された音声出力機器であって、
     前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、
     前記音声出力機器は、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器が正当な機器であることを認証する認証部と、
     前記認証部による認証が成功した場合、前記接続状態情報が有効であることを示す間、映像データを前記映像出力機器へ前記インターフェースを通じて送信する映像データ送信部と、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記映像出力機器から前記インターフェースを通じて受信する第1遅延量受信部と、
     前記接続状態情報が有効であることを示すときに、前記映像出力機器によりその映像出力に要する時間である第2遅延量を示す情報を含む制御メッセージを、前記映像出力機器から前記インターフェースを通じて受信する第2遅延量受信部と、
     前記第1遅延量受信部により受信された第1遅延量及び前記第2遅延量受信部により取得された第2遅延量のいずれか一方を用いて、音声を出力するタイミングを調整する音声出力部とを備える
     音声出力機器。
  11.  互いに所定のインターフェースにより接続された、音声出力機器と映像出力機器とを備える映像音声出力システムであって、
     前記インターフェースは、映像データを前記音声出力機器から前記映像出力機器へ一方向に伝送可能であり、かつ、前記映像出力機器の再生能力を示す再生能力情報と前記映像出力機器の接続状態の有効性を示す接続状態情報とを前記映像出力機器から前記音声出力機器へ一方向に伝送可能であり、かつ、制御メッセージを双方向に伝送可能であり、
     前記映像出力機器は、
     映像データを前記音声出力機器から前記インターフェースを通じて受信する映像データ受信部と、
     前記映像データ受信部により受信された映像データに基づいて映像を出力する映像出力部と、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力部による映像出力に要する時間である第1遅延量を示す情報を含む前記再生能力情報を、前記音声出力機器へ前記インターフェースを通じて送信する第1遅延量送信部と、
     前記接続状態情報が有効であることを示すときに、その映像出力に要する時間である第2遅延量を示す情報を含む制御メッセージを、前記音声出力機器へ前記インターフェースを通じて送信する第2遅延量送信部とを備え、
     前記音声出力機器は、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記映像出力機器が正当な機器であることを認証する認証部と、
     前記認証部による認証が成功した場合、前記接続状態情報が有効であることを示す間、映像データを前記映像出力機器へ前記インターフェースを通じて送信する映像データ送信部と、
     前記接続状態情報が無効から有効へ変化したことを示すときに、前記第1遅延量を示す情報を含む前記再生能力情報を、前記映像出力機器から前記インターフェースを通じて受信する第1遅延量受信部と、
     前記接続状態情報が有効であることを示すときに、前記第2遅延量を示す情報を含む制御メッセージを、前記映像出力機器から前記インターフェースを通じて受信する第2遅延量受信部と、
     前記第1遅延量受信部により受信された第1遅延量及び前記第2遅延量受信部により受信された第2遅延量のいずれか一方を用いて、音声を出力するタイミングを調整する音声出力部とを備える
     映像音声出力システム。
PCT/JP2009/000439 2008-02-06 2009-02-05 映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム WO2009098878A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/866,075 US8238726B2 (en) 2008-02-06 2009-02-05 Audio-video data synchronization method, video output device, audio output device, and audio-video output system
JP2009550123A JP4516156B2 (ja) 2008-02-06 2009-02-05 映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-026162 2008-02-06
JP2008026162 2008-02-06

Publications (1)

Publication Number Publication Date
WO2009098878A1 true WO2009098878A1 (ja) 2009-08-13

Family

ID=40951958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000439 WO2009098878A1 (ja) 2008-02-06 2009-02-05 映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム

Country Status (3)

Country Link
US (1) US8238726B2 (ja)
JP (1) JP4516156B2 (ja)
WO (1) WO2009098878A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012213193A (ja) * 2012-05-31 2012-11-01 Toshiba Corp 映像処理装置及び映像処理方法、音声再生装置及び音声再生方法
JP2015039092A (ja) * 2012-01-13 2015-02-26 株式会社東芝 電子機器、及び電子機器の制御方法
JP2015056894A (ja) * 2013-09-12 2015-03-23 三星電子株式会社Samsung Electronics Co.,Ltd. オーディオ処理装置、オーディオ処理方法、初期化モード設定方法及びコンピュータ読み取り可能な記録媒体
JP2020102744A (ja) * 2018-12-21 2020-07-02 オンキヨー株式会社 中継装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4912296B2 (ja) 2005-04-28 2012-04-11 パナソニック株式会社 リップシンク補正システム、リップシンク補正装置及びリップシンク補正方法
WO2008056707A1 (fr) 2006-11-07 2008-05-15 Sony Corporation Dispositif électronique, procédé de transmission d'informations de commande et procédé de réception d'informations de commande
JP5316189B2 (ja) * 2008-05-23 2013-10-16 ヤマハ株式会社 Avシステム
JP5609010B2 (ja) * 2009-05-26 2014-10-22 ヤマハ株式会社 Av機器制御装置
JP2012119924A (ja) * 2010-11-30 2012-06-21 Toshiba Corp 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
EP2795914A4 (en) * 2011-12-22 2015-08-12 Intel Corp COLLABORATIVE ENTERTAINMENT PLATFORM
US8554049B2 (en) 2011-12-28 2013-10-08 United Video Properties, Inc. Systems and methods for synchronizing playback at multiple locations
US20130173742A1 (en) * 2011-12-28 2013-07-04 United Video Properties, Inc. Systems and methods for latency-based synchronized playback at multiple locations
US11178489B2 (en) * 2012-02-02 2021-11-16 Arris Enterprises Llc Audio control module
KR102140612B1 (ko) * 2013-09-13 2020-08-11 삼성전자주식회사 오디오 신호의 출력을 지연시키는 a/v 수신 장치 및 그 방법, 그리고, a/v 신호 처리 시스템
KR102201617B1 (ko) * 2014-01-07 2021-01-12 삼성전자 주식회사 Av기기 및 그 제어방법
US9942605B2 (en) * 2014-03-12 2018-04-10 Lg Electronics Inc. Devices and methods for transmitting and receiving data of a sink device to change video display resolution based on error counter value detected at the sink device using HDMI
CN105100859A (zh) * 2014-05-21 2015-11-25 中兴通讯股份有限公司 多模机顶盒及其模式管理方法
TWI554113B (zh) * 2015-01-27 2016-10-11 宏正自動科技股份有限公司 影像切換器及其切換方法
JP2016177701A (ja) * 2015-03-20 2016-10-06 ソニー株式会社 ネットワーク装置、情報処理方法およびhdmiデバイス
US10405054B2 (en) * 2016-08-17 2019-09-03 Nuovo Solutions Llc System and method of remotely determining QoE
KR20180024616A (ko) * 2016-08-30 2018-03-08 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 캘리브레이션 수행 방법
JP6973402B2 (ja) * 2016-09-30 2021-11-24 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
CN106878787B (zh) * 2017-03-08 2020-02-14 深圳创维-Rgb电子有限公司 电视影院模式实现方法及装置
JP2019004401A (ja) * 2017-06-19 2019-01-10 セイコーエプソン株式会社 プロジェクションシステム、プロジェクター及びプロジェクションシステムの制御方法
JP6995659B2 (ja) * 2018-02-14 2022-01-14 株式会社フジクラ 撮像モジュール、内視鏡、及びカテーテル
CN109587546B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
WO2020125076A1 (zh) * 2018-12-20 2020-06-25 青岛海信电器股份有限公司 音频播放、发送方法和装置
EP3918808A1 (en) * 2019-02-20 2021-12-08 Huawei Technologies Co., Ltd. Techniques for enabling ultra-high definition alliance specified reference mode (uhda-srm)
CN110312137A (zh) * 2019-04-01 2019-10-08 浙江工业大学 一种音频播放驱动录像的视频文件生成方法
US11457266B2 (en) 2019-07-18 2022-09-27 Realtek Semiconductor Corporation Method for synchronizing audio and video and related apparatus
US11323766B2 (en) 2019-10-03 2022-05-03 Dolby International Ab Method and device for providing audio/video content to a rendering device
CN110971783B (zh) * 2019-11-29 2022-08-02 深圳创维-Rgb电子有限公司 电视音画同步自整定方法、装置和存储介质
CN113162837B (zh) * 2020-01-07 2023-09-26 腾讯科技(深圳)有限公司 语音消息的处理方法、装置、设备及存储介质
US11699205B1 (en) 2020-05-20 2023-07-11 State Farm Mutual Automobile Insurance Company Providing a GUI to enable analysis of time-synchronized data sets pertaining to a road segment
US11933765B2 (en) * 2021-02-05 2024-03-19 Evident Canada, Inc. Ultrasound inspection techniques for detecting a flaw in a test object
US11665392B2 (en) * 2021-07-16 2023-05-30 Rovi Guides, Inc. Methods and systems for selective playback and attenuation of audio based on user preference
EP4287632A1 (en) * 2021-08-03 2023-12-06 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof
CN113868084A (zh) * 2021-09-27 2021-12-31 联想(北京)有限公司 智能控制方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033436A (ja) * 2004-07-16 2006-02-02 Sony Corp 映像音声処理システム、アンプ装置および音声遅延処置方法
JP2007089013A (ja) * 2005-09-26 2007-04-05 Matsushita Electric Ind Co Ltd 操作画面を高速に出画するav機器
JP2007274409A (ja) * 2006-03-31 2007-10-18 Sony Corp 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法
JP2007318604A (ja) * 2006-05-29 2007-12-06 Funai Electric Co Ltd ディジタル音声信号処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688344B2 (en) * 2004-12-17 2010-03-30 Fuji Xerox Co., Ltd. Systems and methods for mediating teleconferences
JP4660184B2 (ja) 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
US7672742B2 (en) * 2005-02-16 2010-03-02 Adaptec, Inc. Method and system for reducing audio latency

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033436A (ja) * 2004-07-16 2006-02-02 Sony Corp 映像音声処理システム、アンプ装置および音声遅延処置方法
JP2007089013A (ja) * 2005-09-26 2007-04-05 Matsushita Electric Ind Co Ltd 操作画面を高速に出画するav機器
JP2007274409A (ja) * 2006-03-31 2007-10-18 Sony Corp 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法
JP2007318604A (ja) * 2006-05-29 2007-12-06 Funai Electric Co Ltd ディジタル音声信号処理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015039092A (ja) * 2012-01-13 2015-02-26 株式会社東芝 電子機器、及び電子機器の制御方法
JP2012213193A (ja) * 2012-05-31 2012-11-01 Toshiba Corp 映像処理装置及び映像処理方法、音声再生装置及び音声再生方法
JP2015056894A (ja) * 2013-09-12 2015-03-23 三星電子株式会社Samsung Electronics Co.,Ltd. オーディオ処理装置、オーディオ処理方法、初期化モード設定方法及びコンピュータ読み取り可能な記録媒体
US10405043B2 (en) 2013-09-12 2019-09-03 Samsung Electronics Co., Ltd. Apparatus and method for processing audio, method for setting initialization mode, and computer-readable recording medium
JP2020102744A (ja) * 2018-12-21 2020-07-02 オンキヨー株式会社 中継装置
JP7202174B2 (ja) 2018-12-21 2023-01-11 オンキヨーテクノロジー株式会社 中継装置

Also Published As

Publication number Publication date
JPWO2009098878A1 (ja) 2011-05-26
US20100315553A1 (en) 2010-12-16
JP4516156B2 (ja) 2010-08-04
US8238726B2 (en) 2012-08-07

Similar Documents

Publication Publication Date Title
JP4516156B2 (ja) 映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム
JP5210244B2 (ja) 映像制御装置及び映像制御装置を制御する制御方法
JP5450118B2 (ja) 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム
JP4221446B2 (ja) 映像音声出力機器、音声出力機器、映像音声再生機器、映像音声データ再生システム及び映像音声データ再生方法
US20080151113A1 (en) Digital broadcast receiving apparatus and synchronization method
JP2008219796A (ja) データ再生装置と送信器
WO2015174108A1 (ja) 通信装置及び通信方法、並びにコンピューター・プログラム
JP2008131557A (ja) 映像音声出力機器、認証処理方法及び映像音声処理システム
US8174619B2 (en) Reception apparatus and method of controlling image output by reception apparatus
JP2012119924A (ja) 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
KR100722025B1 (ko) 티브이에서 hdmi 입력 소스로의 전환 방법
JP5172591B2 (ja) 無線伝送システム
JP2013081062A (ja) 伝送システム、送信装置、受信装置、制御情報送信装置、伝送方法、送信方法、受信方法、および制御情報送信方法
JP5291532B2 (ja) Avシステム、オーディオシステム及び映像表示装置
JP2010147542A (ja) データ送信回路
JP2008131567A (ja) 画像暗号化送信装置
WO2018163358A1 (ja) 電子機器および表示方法
JP5349663B2 (ja) 映像処理装置及び映像処理方法
JP5055651B2 (ja) コンテンツ送受信システム、コンテンツ送受信装置、コンテンツ受信装置、及びそれらのプログラム、並びにそれらの認証方法
JP5127992B2 (ja) 映像処理装置及び映像処理方法、音声再生装置及び音声再生方法
JP2009141699A (ja) コンテンツ再生装置
JP2009094601A (ja) 光ディスク再生装置
JP2005117491A (ja) コンテンツデータ出力装置及びビデオシステム
KR101285658B1 (ko) 디지털 티브이의 화이트 노이즈 제거 장치 및 방법
JP2012095122A (ja) テレビジョン受像機

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09708047

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009550123

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12866075

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09708047

Country of ref document: EP

Kind code of ref document: A1