WO2013132562A1 - 映像音声処理装置および映像音声処理方法 - Google Patents

映像音声処理装置および映像音声処理方法 Download PDF

Info

Publication number
WO2013132562A1
WO2013132562A1 PCT/JP2012/007669 JP2012007669W WO2013132562A1 WO 2013132562 A1 WO2013132562 A1 WO 2013132562A1 JP 2012007669 W JP2012007669 W JP 2012007669W WO 2013132562 A1 WO2013132562 A1 WO 2013132562A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
audio
unit
delay
signal
Prior art date
Application number
PCT/JP2012/007669
Other languages
English (en)
French (fr)
Inventor
田中　俊介
豪 山田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/376,575 priority Critical patent/US20140376873A1/en
Publication of WO2013132562A1 publication Critical patent/WO2013132562A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006—Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Definitions

  • the present invention relates to a video / audio processing apparatus, and more particularly to a video / audio processing apparatus that performs processing for synchronizing a video signal and an audio signal during reproduction.
  • a video / audio processing apparatus that processes and outputs a video signal and an audio signal.
  • a video signal and an audio signal may be output to different devices, and video or audio may be played back respectively.
  • synchronization between the video signal and the audio signal during reproduction for example, called “lip sync” becomes a problem.
  • Patent Document 1 describes an audio / video transmission apparatus that reduces the difference between reproduced video and reproduced sound by delaying an audio signal.
  • an audio signal of the broadcast program transmitted from the television is received by an external device (external speaker or headphones) of the television and played.
  • an external device external speaker or headphones
  • the audio signal reproduced by the external device may be delayed with respect to the video signal displayed on the display.
  • This disclosure provides a video / audio processing apparatus capable of efficiently executing processing for synchronization between a video signal and an audio signal during reproduction.
  • a video / audio processing device includes a video output unit that outputs a video signal, an audio output unit that outputs an audio signal corresponding to the video signal, and the video signal.
  • the audio signal is output from the audio output unit; and an audio transmission unit that transmits the audio signal corresponding to the audio signal to an audio reproduction device external to the audio / video processing device, and an operation mode of the audio / video processing device.
  • a control unit that switches from one of the second modes to the other, and an audio delay amount that is an amount by which the audio signal output from the audio output unit is delayed during the period in which the operation mode is the first mode
  • a reception unit that receives input of delay information, a sound delay unit that delays a sound signal output from the sound output unit according to the sound delay amount specified by the delay information received by the reception unit,
  • a video delay unit that delays a video signal output from the video output unit by a video delay amount corresponding to the audio delay amount during a period in which the operation mode is the second mode.
  • the video / audio processing apparatus of the present disclosure it is possible to efficiently execute the process for synchronizing the video signal and the audio signal during reproduction.
  • FIG. 1 is a diagram showing an outline of the configuration of an AV (Audio Visual) system according to an embodiment.
  • FIG. 2 is a block diagram showing a basic functional configuration of the AV system in the embodiment.
  • FIG. 3 is a flowchart showing a basic processing flow in the video / audio processing apparatus according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a user interface screen output by the video / audio processing apparatus according to the embodiment.
  • FIG. 5 is a diagram for explaining the synchronization adjustment between the video signal and the audio signal performed by the video / audio processing apparatus according to the embodiment.
  • FIG. 6 is a diagram illustrating the relationship between one frame time and the amount of deviation in sound output timing between the speaker and the headphones.
  • FIG. 1 is a diagram showing an outline of the configuration of an AV (Audio Visual) system according to an embodiment.
  • FIG. 2 is a block diagram showing a basic functional configuration of the AV system in the embodiment.
  • FIG. 3 is a flowchar
  • FIG. 7 is a block diagram illustrating a basic functional configuration in the case where the video / audio processing device according to the embodiment includes a storage unit.
  • FIG. 8 is a diagram showing an outline of the configuration in the case where the AV system of the embodiment includes a plurality of audio playback devices.
  • FIG. 9 is a diagram illustrating a data configuration example of the video delay information in the embodiment.
  • FIG. 10 is a block diagram showing a basic functional configuration when the audio / video processing apparatus according to the embodiment acquires a reproduced sound signal as delay information.
  • a broadcast program in digital television broadcasting is transmitted to each television by a stream including a video signal and an audio signal corresponding to the broadcast program and a signal for synchronizing the video signal and the audio signal. For this reason, when the broadcast program is reproduced on a television alone, the problem of lip sync generally does not occur.
  • the audio signal transmitted from the television is received and reproduced by an external device (audio reproduction device) while the image signal is reproduced on the television
  • the reproduced video on the television is reproduced.
  • the playback sound in the audio playback apparatus may be delayed.
  • This delay may be caused by, for example, a communication procedure between the television and the audio reproduction device (such as retransmission of an audio signal when a communication error occurs), or audio signal processing (audio for preventing sound interruptions) in the audio reproduction device. For example, signal buffering.
  • the user needs to input a delay amount of the video signal to the video / audio processing apparatus so as to delay the reproduced video while listening to the sound reproduced by the audio reproducing apparatus.
  • the user adjusts the delay amount of the video signal so as to match the voice and the movement of the person's lips in the reproduced video on the television while listening to the voice of the person reproduced by the audio reproducing device.
  • a video / audio processing apparatus is a video / audio processing apparatus, and includes a video output unit that outputs a video signal, and an audio signal corresponding to the video signal.
  • a video output unit that outputs a video signal, and an audio signal corresponding to the video signal.
  • an audio output unit for output, an audio transmission unit for transmitting the audio signal corresponding to the video signal to an audio reproduction device external to the video / audio processing device, and an operation mode of the video / audio processing device.
  • a reception unit that receives an input of delay information that specifies an audio delay amount that is an amount to be transmitted, and an audio signal that is output from the audio output unit according to the audio delay amount that is specified by the delay information received by the reception unit
  • An audio delay unit that delays a video signal output from the video output unit by a video delay amount corresponding to the audio delay amount during a period in which the operation mode is the second mode.
  • the result of comparison between the audio from the speaker connected to the audio output unit and the audio from the external audio reproduction device that is output while the video / audio processing device is operating in the first mode for example.
  • the obtained delay information can be input to the video / audio processing apparatus.
  • an audio signal that does not have a problem of synchronization with the video signal and is based on the audio signal output from the audio output unit (first audio) and the audio from the external audio reproduction device (second audio)
  • Delay information specifying the amount of deviation is input to the video / audio processing apparatus. Further, the video signal is delayed according to the audio delay amount.
  • the amount of deviation between the second audio from the external audio playback device and the video displayed on the display connected to the video output unit is not a comparison between the second audio and the video.
  • the second audio is determined by comparing the second audio with the first audio that is guaranteed to be synchronized with the video.
  • humans use the time difference between two sounds that are generated from the sound source and arrive at both ears with a slight time lapse in order to specify the position where the sound source is generated. It has the feature that the ability to perceive is excellent. Therefore, it is possible to match the first voice and the second voice with high accuracy. That is, even if the comparison is performed by a human, it is easy to delay the first voice so that the timing coincides with the second voice.
  • the determination of the audio delay amount for synchronizing the first audio with the second audio is facilitated, and as a result, the determination of the video delay amount for synchronizing the second audio and the reproduced video based on the video signal. Is also facilitated.
  • the audio delay amount is determined mechanically, not by a human, it can be easily specified by, for example, comparing the timings of the sound pressure level peaks of the first sound and the second sound. .
  • the audio delay amount is determined without complicated processing such as comparing the result of the audio analysis and the result of the video analysis.
  • the second audio and the reproduced video based on the video signal are synchronized. Therefore, it is easy to determine the video delay amount.
  • the video / audio processing apparatus of this aspect can efficiently specify the video delay amount for synchronization between the video signal and the audio signal at the time of reproduction, and as a result, the processing for the synchronization can be performed. It can be executed efficiently.
  • the video output unit outputs a video signal indicating a user interface screen for a predetermined operation by the user during a period in which the operation mode is the first mode, and the reception unit The delay information input by a predetermined operation may be received.
  • the video / audio processing apparatus can efficiently allow the user to perform adjustment work for lip sync, for example.
  • the video delay unit may delay the video signal output from the video output unit by the video delay amount that is a value equal to or less than the audio delay amount.
  • the video delay amount may be smaller than the strict delay amount for lip sync, but at least a situation in which audio precedes the video is prevented. For example, in an image in which a person is speaking, it is possible to prevent an extremely unnatural situation in which an utterance sound is reproduced by an external audio reproduction device before the person moves his / her mouth.
  • the audio delay unit may output the audio signal output from the audio output unit according to the audio delay amount corresponding to an integral multiple of a time for one frame calculated from the frame rate of the video signal. It may be delayed.
  • the audio delay amount can be used as it is as the video delay amount. That is, the processing load related to the synchronization between the video signal and the audio signal is reduced.
  • the video delay unit delays the video signal output from the video output unit by the video delay amount larger than the audio delay amount, and the audio transmission unit transmits the audio delay amount and the video delay amount.
  • the audio signal transmitted from the audio transmission unit may be delayed by a value corresponding to the difference from the amount.
  • the video delay amount when the video delay amount is determined as an integral multiple of a constant, the video delay amount may not be matched with the audio delay amount even if the audio delay amount can be identified with a strict delay amount.
  • the video delay amount is brought close to the strict delay amount. The same effect is produced. That is, the accuracy of the lip sync is improved.
  • the video delay unit is the video delay amount that is equal to or less than the audio delay amount, and corresponds to an integral multiple of a time for one frame calculated from a frame rate of the video signal. Only the video signal output from the video output unit may be delayed.
  • the delay process of the video signal is performed in units of frames. That is, complication of the delay process is suppressed.
  • the reception unit receives an input of a reproduction sound signal that is an audio signal output from the external audio reproduction device that receives and reproduces the audio signal as the delay information
  • the video delay unit Is output from the video output unit by the video delay amount corresponding to the audio delay amount which is a delay amount between the reproduced sound signal and the audio signal before being delayed by the audio delay unit.
  • the video signal may be delayed.
  • a reproduction sound signal obtained from an external audio reproduction device is used as delay information. Therefore, for example, the lip sync can be automated by the video / audio processing apparatus.
  • the video / audio processing device further includes a storage unit that stores video delay information that is information indicating the video delay amount, and the video delay unit has the operation mode in the first mode.
  • the video signal output from the video output unit may be delayed by the video delay amount indicated in the video delay information read from the storage unit during a period of two modes.
  • the video delay amount determined in the video / audio processing apparatus is stored. Therefore, for example, when there are a plurality of audio reproduction devices as transmission destinations of the audio signal from the video / audio processing device, the video delay amount corresponding to each of the plurality of audio reproduction devices may be stored in the storage unit. it can.
  • the video / audio processing device can perform the delay processing of the video signal using an appropriate video delay amount even when the audio playback device to which the audio signal is transmitted is changed.
  • the storage unit stores the video delay information indicating a plurality of video delay amounts corresponding to each of a plurality of audio playback devices including the audio playback device, and the video delay unit has the operation mode set to In the second mode, and when the audio transmission unit transmits the audio signal to each of the plurality of audio reproduction devices simultaneously, (c) the video delay information stored in the storage unit The largest video delay amount may be selected from the plurality of video delay amounts shown, and (d) the video signal output from the video output unit may be delayed by the selected video delay amount.
  • This configuration produces the following effects, for example. For example, it is assumed that a plurality of users listen to sound through headphones that are attached to each of the video and audio processing apparatuses that are worn while watching the video displayed on one display connected to the video output unit.
  • the audio delay amount is different for each headphone
  • the video delay amount corresponding to each headphone is also different, but the video signal is delayed according to the maximum value of these video delay amounts. In other words, at least the occurrence of a very unnatural situation in which the reproduced sound from each of these headphones precedes the video displayed on the display is suppressed.
  • each of the embodiments described below shows a specific example of the present disclosure.
  • Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present disclosure.
  • constituent elements in the following embodiments constituent elements that are not described in the independent claims are described as arbitrary constituent elements.
  • FIG. 1 is a diagram showing a configuration outline of an AV (Audio Visual) system 10 according to the embodiment.
  • FIG. 2 is a block diagram showing a basic functional configuration of the AV system 10 in the embodiment.
  • the AV system 10 in the embodiment includes a television 100 and headphones 200.
  • the television 100 is a device that receives and reproduces AV content such as a broadcast program, and includes a video / audio processing device 110, a display 150, and a speaker 160.
  • the headphone 200 is an example of an audio playback device external to the video / audio processing device 110. As shown in FIG. 2, the headphone 200 includes a receiving unit 210 that receives an audio signal transmitted from the video / audio processing device 110, and a speaker 220 that outputs a reproduction sound of the audio signal received by the receiving unit 210.
  • the headphone 200 has two speakers 220 for the right and left ears, but in FIG. 2, the illustration of one of the speakers 220 is omitted.
  • the user can watch the video of the AV content on the display 150 of the television 100 while listening to the audio of the AV content through the headphones 200.
  • Bluetooth registered trademark
  • the audio / video processing apparatus 110 is adopted as a communication standard between the audio / video processing apparatus 110 and the headphones 200.
  • the video / audio processing device 110 includes a video output unit 111, an audio output unit 112, an audio transmission unit 113, a control unit 114, a reception unit 115, an audio delay unit 116, and a video delay.
  • the video output unit 111 outputs a video signal.
  • the video output unit 111 outputs the video signal acquired from the video signal processing unit 118 via the video delay unit 117 to the display 150. As a result, a video based on the video signal is displayed on the display 150.
  • the audio output unit 112 outputs an audio signal corresponding to the video signal.
  • the audio output unit 112 outputs the audio signal acquired from the audio signal processing unit 119 via the audio delay unit 116 to the speaker 160.
  • sound based on the sound signal that is, sound corresponding to the video displayed on the display 150 is output from the speaker 160.
  • the audio transmission unit 113 transmits an audio signal corresponding to the video signal to the headphone 200 that is an audio reproduction device external to the video / audio processing device 110.
  • the audio transmission unit 113 transmits the audio signal acquired from the audio signal processing unit 119 to the headphones 200. As a result, sound based on the sound signal is output from the headphones 200.
  • the reception unit 210 receives the audio signal transmitted from the audio transmission unit 113, and performs a predetermined process for reproducing the audio. Thereby, for example, audio corresponding to the video displayed on the display 150 is output from the speaker 220 provided in the headphones 200.
  • the control unit 114 switches the operation mode of the video / audio processing device 110 from one of the adjustment mode and the viewing mode to the other.
  • the control unit 114 also controls each component included in the video / audio processing apparatus 110 such as the video output unit 111.
  • the adjustment mode is an example of the first mode, and is an operation mode in which an audio signal is output from the audio output unit 112 and an audio signal is transmitted from the audio transmission unit 113. Specifically, this is an operation mode in the case of performing adjustment for lip sync (hereinafter referred to as “synchronous adjustment”), which will be described later.
  • the viewing mode is an example of the second mode, and is an operation mode in which a video signal is output from the video output unit 111 and an audio signal is transmitted from the audio transmission unit 113. That is, this is an operation mode when the user listens to the sound corresponding to the video through the headphones 200 while watching the video displayed on the display 150.
  • the audio output from the speaker 160 is stopped in the viewing mode.
  • the video / audio processing device 110 also operates in a normal operation mode (normal mode) in which the AV content is viewed by the user using the display 150 and the speaker 160.
  • normal mode is a general operation mode as the television 100, description thereof is omitted.
  • the accepting unit 115 accepts input of delay information that specifies an audio delay amount that is an amount by which the audio signal output from the audio output unit 112 is delayed during the period in which the operation mode is the adjustment mode.
  • a user interface screen for inputting the delay information is displayed on the display 150 in the adjustment mode.
  • the user interface screen will be described later with reference to FIG.
  • the audio delay unit 116 delays the audio signal output from the audio output unit 112 according to the audio delay amount specified by the delay information received by the reception unit 115. That is, the sound output from the speaker 160 is delayed according to the sound delay amount.
  • the video delay unit 117 delays the video signal output from the video output unit 111 by a video delay amount corresponding to the audio delay amount during the period in which the operation mode is the viewing mode. That is, the video displayed on the display 150 is delayed according to the audio delay amount determined in the adjustment mode.
  • the video / audio processing apparatus 110 can efficiently execute a process for lip sync, that is, a process for synchronizing a video signal and an audio signal during reproduction. it can.
  • Bluetooth registered trademark
  • the audio signal is buffered in the headphones 200 (the buffer is not shown in FIG. 2), and thus the audio signals to be reproduced by the headphones 200 are reproduced without interruption in the headphones 200.
  • the reproduced sound from the headphones 200 can be reproduced with a delay from the original reproduction timing. As a result, a deviation may occur between the reproduced video on the display 150 and the reproduced sound on the headphones 200.
  • the processing between the audio delay unit 116 and the video delay unit 117 is performed to synchronize the reproduced video on the display 150 and the reproduced sound on the headphones 200. Processing can be executed efficiently.
  • the video signal processing unit 118 acquires a video signal from a stream received from a tuner (not shown) of the television 100, for example, and outputs the video signal to the video delay unit 117.
  • the audio signal processing unit 119 acquires an audio signal from the stream and outputs it to the audio delay unit 116.
  • the video signal processing unit 118 and the audio signal processing unit 119 are devices that provide the video and audio processing device 110 with signals that are sources of video and audio to be played back on the television 100, and are provided outside the video and audio processing device 110. It may be done. That is, the video signal processing unit 118 and the audio signal processing unit 119 are not essential elements for the video / audio processing device 110.
  • FIG. 3 is a flowchart showing a basic processing flow in the video / audio processing apparatus 110 according to the embodiment.
  • the control unit 114 switches the operation mode of the video / audio processing device 110 from the viewing mode to the adjustment mode, for example, according to an instruction from the user (S1).
  • the accepting unit 115 accepts input of delay information by a predetermined operation of the user (S2). For example, a voice delay amount of “200 millisecond (msec)” itself or a numerical value indicating the amount of the voice delay amount of “+12” or the like is input as delay information.
  • the audio delay unit 116 delays the audio signal output from the audio output unit 112 according to the audio delay amount specified by the delay information (S3).
  • control unit 114 switches the operation mode of the video / audio processing device 110 from the adjustment mode to the viewing mode after determining the audio delay amount by an instruction from the user, for example (S4).
  • the video delay unit 117 delays the video signal output from the video output unit 111 by the video delay amount corresponding to the audio delay amount during the period in which the operation mode is the viewing mode (S5).
  • FIG. 4 is a diagram illustrating an example of a user interface screen 151 output by the video / audio processing apparatus 110 according to the embodiment.
  • FIG. 5 is a diagram for explaining the synchronization adjustment performed by the video / audio processing apparatus 110 according to the embodiment.
  • the video / audio processing device 110 When operating in the adjustment mode, the video / audio processing device 110 outputs a user interface screen 151 as shown in FIG. 4 to the display 150.
  • a pulse sound is output from both the speaker 160 and the headphones 200 as sound for synchronization adjustment, for example, at predetermined intervals (for example, every 1 sec to 2 sec).
  • a moving image that vibrates simply by rebounding the ball on the floor surface is displayed on the user interface screen 151.
  • the timing of sound output from the headphones 200 is delayed with respect to the timing of sound output from the speaker 160 as shown in FIG.
  • the time between the sounds perceived with the left and right ears is long. It is recognized that there is a gap.
  • the delay information is input to the video / audio processing device 110.
  • the setting value “+12” is displayed in the setting value display field 152 as delay information for specifying the audio delay amount on the user interface screen 151.
  • This set value is changed, for example, when the user operates the cross key on the remote controller 170. Further, the set value is received by the receiving unit 115 as delay information.
  • a value obtained by multiplying a set value that is a positive integer by a unit delay amount d is treated as a voice delay amount.
  • the unit delay amount d is, for example, a time for one frame calculated from the frame rate of the video signal output from the video output unit 111 (hereinafter referred to as “one frame time”).
  • the audio delay unit 116 delays the audio signal received from the audio signal processing unit 119 in accordance with the audio delay amount obtained in this way. As a result, the audio signal output from the audio output unit 112 is delayed.
  • the audio delay unit 116 For example, if the unit of delay by the audio delay unit 116 is 0.1 msec, the audio signal output from the audio output unit 112 is delayed by 200.0 msec. Note that the audio delay amount and the actual audio delay amount do not have to be exactly the same. For example, when the unit of delay by the audio delay unit 116 is 3 msec, the actual audio delay may be 201 msec.
  • the audio signal output from the audio output unit 112 is delayed according to the delay information (set value) input by the user, and as a result, the audio output from the speaker 160 is delayed.
  • the user can change the setting value so that the time lag between the sound from the speaker 160 and the sound from the headphones 200 is minimized.
  • the perceived audio delay amount D is determined when the time shift is minimized.
  • the setting value is “+12”
  • the setting value “+12” is determined as delay information for synchronization adjustment. That is, “200 msec” corresponding to the set value “+12” is specified as the audio delay amount D.
  • the audio signal output from the audio output unit 112 is delayed by the audio delay amount D specified in this way, and as a result, as shown in FIG.
  • the timing of sound output from the speaker 160 coincides (including substantially coincidence, and so on). That is, the audio signal is synchronized between the headphones 200 and the speaker 160.
  • the control unit 114 acquires the audio delay amount D specified in this way and transmits it to the video delay unit 117.
  • the video delay unit 117 determines the video delay amount V according to the received audio delay amount D, and delays the video signal received from the video signal processing unit 118 by the video delay amount V. As a result, the video signal output from the video output unit 111 is delayed by the video delay amount V.
  • the unit delay amount d is one frame time in the video signal, that is, when the audio delay amount D is an integer multiple of the one frame time, for example, the audio delay amount D Is treated as the video delay amount V as it is.
  • the video delay amount V is also determined as “200 msec”.
  • the video delay unit 117 receives the video signal from the video signal processing unit 118, delays it by 12 frames, and outputs it to the video output unit 111.
  • the video signal output from the video output unit 111 to the display 150 is delayed by “200 msec” which is the video delay amount V.
  • the video delay unit 117 may receive a setting value multiplied by the unit delay amount d instead of the audio delay amount D itself. For example, when the setting value is “+12”, the video delay unit 117 that has received the setting value determines “+12” as the video delay amount V, and delays the video signal by 12 frames as described above.
  • the video signal output from the video output unit 111 to the display 150 is delayed by “200 msec” which is the same value as the audio delay amount D.
  • the video delay unit 117 delays the video signal by the video delay amount V corresponding to the audio delay amount D, so that the timing of sound output from the headphones 200 and the timing of video display on the display 150 are obtained. Match.
  • the above-described delay processing of the video signal by the video delay unit 117 is also executed during the operation period in the adjustment mode. That is, following the change in the output timing of the pulse sound from the speaker 160, the timing at which the ball displayed on the user interface screen 151 shown in FIG. 4 hits the floor surface changes.
  • the video signal delay processing by the video delay unit 117 may be performed at least during a period in which the operation mode of the video / audio processing device 110 is the viewing mode. That is, the video (for example, the video of the ball in FIG. 4) output from the speaker 160 and the headphones 200 in the adjustment mode and corresponding to the audio for synchronization adjustment may not be displayed on the user interface screen 151.
  • the user interface screen 151 may be displayed only in a part of the display area of the display 150.
  • the user interface video necessary for inputting and confirming the set value such as the set value display field 152 may be displayed superimposed on the video of the normal broadcast program.
  • the sound of the broadcast program may be used as the sound for synchronization adjustment.
  • the user interface screen 151 is not essential, and the user perceives that the user is operating in the adjustment mode via an image displayed on the display 150, a lamp provided in the television 100, sound from the speaker 160, or the like. You may let them.
  • the speaker is synchronized with the sound from the headphone 200 by synchronizing the sound from the speaker 160.
  • the sound from 160 can be delayed.
  • the switching from the adjustment mode to the viewing mode is executed, for example, by using a predetermined button on the remote controller 170 as a trigger for determining the setting value as described above.
  • the adjustment mode may be switched to the viewing mode with a trigger that the period during which the delay information (setting value) received by the receiving unit 115 is not changed exceeds a threshold value.
  • the operation mode of the video / audio processing device 110 is the viewing mode, the user can view the video delayed as described above on the display 150.
  • an image delayed from the original output timing of the sound output from the headphones 200 is displayed on the display 150.
  • the playback sound from the headphones 200 and the playback video displayed on the display 150 are synchronized.
  • the audio delay unit 116 may delay the audio signal output from the audio output unit 112 by, for example, the audio delay amount D (or video delay amount V).
  • the AV content viewed by the user wearing the headphones 200 can be viewed by the user not wearing the headphones 200. That is, the speaker 160 can provide the user who is not wearing the headphones 200 with the sound synchronized with the reproduced video displayed on the display 150.
  • the termination of the communication is used as a trigger to switch from the viewing mode of the video / audio processing apparatus 110 to the normal mode.
  • the video delay unit 117 ends the delay process of the video signal.
  • the video / audio processing apparatus 110 compares the sound from the speaker 160 and the sound from the headphone 200 in the synchronization adjustment, based on the original output timing of the sound output from the headphone 200. The amount of deviation is determined.
  • the delay amount of the video is determined.
  • the processing for synchronizing the video signal and the audio signal at the time of reproduction can be performed efficiently.
  • the unit delay amount d is not particularly limited, and may be a numerical value smaller than one frame time of the video signal handled by the video / audio processing device 110, such as 1 msec.
  • the strictness of the value input to the audio / video processing apparatus 110 as delay information can be improved. That is, a more accurate value for the synchronization adjustment can be determined as the audio delay amount D.
  • the audio delay amount D may not be an integral multiple of one frame time.
  • the video delay unit 117 may delay the video signal by a unit smaller than one frame time instead of delaying the video signal by the frame unit. As a result, it is possible to more precisely synchronize the playback sound on the headphones 200 and the playback video on the display 150.
  • the video delay amount V is determined to be smaller than the audio delay amount D. May be. Thereby, at least the occurrence of a very unnatural event in which the playback sound from the headphones 200 precedes the playback video displayed on the display 150 is prevented.
  • FIG. 6 is a diagram showing the relationship between one frame time S and the amount of deviation in sound output timing between the speaker 160 and the headphones 200.
  • a case is assumed in which a strict time shift amount between the sound from the speaker 160 and the sound from the headphones 200 is D1.
  • the strict temporal shift amount between the reproduced video on the display 150 and the sound from the headphones 200 is also regarded as D1. It is.
  • delay information indicating D1 as an audio delay amount is input to the audio / video processing apparatus 110.
  • control unit 114 or the video delay unit 117 determines a value equal to or smaller than the audio delay amount D1 specified by the delay information as the video delay amount V.
  • t (n) which is equal to or less than the audio delay amount D1 and is n times the one frame time S that is the audio delay amount D1 or less, is determined as the video delay amount V.
  • the audio delay amount D1 is 210 msec and one frame time S is (50/3) msec, it is 210 msec or less and is the closest to 210 msec, which is 12 times (50/3) msec.
  • “200 msec” is determined as the video delay amount V.
  • “12” which is the number of frames corresponding to “200 msec” may be determined as described above.
  • the audio delay amount D specified from the delay information input to the video / audio processing device 110 is an integer multiple of a constant
  • the video delay amount V cannot take a value that matches the value of the highly accurate audio delay amount D, such as when the video delay amount V is an integral multiple of one frame time, as described above, A value that is equal to or less than the delay amount D and close to the audio delay amount D is determined as the video delay amount V.
  • a value larger than the audio delay amount D1 may be determined as the video delay amount V.
  • t (n + 1) that is an integer multiple of one frame time S closest to the audio delay amount D1 may be determined as the video delay amount V.
  • the reproduction sound of the headphones 200 and the reproduction image of the display 150 can be synchronized.
  • the audio delay amount D1 is 186 msec and one frame time S is (50/3) msec, it is larger than 186 msec and is an integral multiple (12 times) of (50/3) msec. Assume that “200 msec” is determined as the video delay amount V.
  • the reproduction sound from the headphones 200 precedes the reproduction video on the display 150 by 14 msec if no treatment is made.
  • the audio signal transmitted from the audio transmission unit 113 to the headphones 200 is delayed by 14 msec.
  • the audio delay amount D1 is the same as the original delay amount for lip sync, theoretically, the playback sound on the headphones 200 and the playback video on the display 150 are completely synchronized. Even when the error of the audio delay amount D1 is taken into account, the rig sync accuracy between the headphones 200 and the display 150 is improved.
  • the video / audio processing device 110 increases the video delay amount more than the original required amount and delays the audio to the headphone 200, thereby reproducing the playback sound and display on the headphone 200. It is also possible to synchronize with the reproduced video at 150 strictly.
  • the video delay amount V used in the synchronization adjustment of the video / audio processing apparatus 110 described above may be stored.
  • FIG. 7 is a block diagram showing a basic functional configuration when the video / audio processing apparatus 110 according to the embodiment includes the storage unit 130.
  • control unit 114 of the video / audio processing device 110 causes the storage unit 130 to store the video delay amount V determined in the synchronization adjustment as the video delay information 131.
  • the control unit 114 reads the video delay amount V from the storage unit 130 and transmits the video delay amount V to the video delay unit 117, and can cause the video delay unit 117 to delay the video signal according to the video delay amount V. .
  • the video delay information 131 stored in the storage unit 130 may not indicate the video delay amount V itself.
  • the video delay information 131 indicating the audio delay amount D corresponding to the video delay amount V may be stored in the storage unit 130.
  • the storage unit 130 stores video delay information 131 indicating a plurality of video delay amounts corresponding to each of the plurality of audio playback devices. Also good.
  • FIG. 8 is a diagram showing an outline of the configuration in the case where the AV system 10 of the embodiment includes a plurality of audio playback devices.
  • FIG. 9 is a diagram illustrating a data configuration example of the video delay information 131 in the embodiment.
  • the television 100 including the audio / video processing device 110 communicates with two headphones (201, 202) in addition to the headphones 200 described above.
  • the synchronization adjustment described with reference to FIGS. 3 to 5 is executed. Therefore, the video delay amount V corresponding to each of the headphones 201 and 202 is obtained.
  • these three headphones have different models from each other, or due to individual differences, the amount of deviation (delay amount) from the original playback timing of each playback sound is different.
  • video delay information 131 indicating the video delay amount V corresponding to each of these three headphones (200, 201, 202) is stored in association with the external device ID that is the respective identifier. This is stored in the unit 130.
  • the external device ID of each headphone (200, 201, 202) is notified from each headphone (200, 201, 202) to the video / audio processing device 110 when communication with the video / audio processing device 110 is started.
  • the external device ID of the headphones 200 is “HA”
  • the external device ID of the headphones 201 is “HB”
  • the external device ID of the headphones 202 is “ HC ".
  • the video / audio processing device 110 can be used even if the transmission destination headphones of the audio signal are changed. Video signal delay processing using the video delay amount can be performed.
  • each of three users wears headphones (200, 201, or 202) and watches a video displayed on the display 150 of the television 100.
  • the video delay unit 117 of the video / audio processing apparatus 110 executes the following processing. That is, when the operation mode is the viewing mode and the audio transmission unit 113 transmits an audio signal to each of the three headphones (200, 201, 202) simultaneously, the video delay unit 117 (a) The largest video delay amount V is selected from the plurality of video delay amounts V indicated in the video delay information 131 stored in the unit 130, and (b) the video signal output from the video output unit 111 is selected. The image is delayed by the video delay amount V.
  • the video / audio processing device 110 when there are a plurality of audio signal transmission destination devices, the video / audio processing device 110 outputs the video output from the video / audio processing device 110 in accordance with the device having the largest audio delay amount among the plurality of devices. Delay the signal.
  • the audio transmission unit 113 may delay the audio signal transmitted to each of the headphones 200 and 201. Thereby, the synchronization of the video displayed on the display 150 and the reproduced sound from each of the headphones 200 and 201 can be made more strict.
  • the audio transmission unit 113 delays the audio signal by 4 msec with respect to the headphones 200 corresponding to the video delay amount V “197 msec”.
  • the audio transmission unit 113 delays the audio signal by 12 msec for the headphones 200 corresponding to the video delay amount V “189 msec”.
  • the audio signal transmitted to each of the headphones 200 and 201 is delayed so as to match the video delay amount V set relatively late in relation to the headphones 200 and 201.
  • the problem of lip sync is more reliably solved for all three headphones (200, 201, 202).
  • the delay information may not be input to the video / audio processing device 110 via the user interface screen 151.
  • a reproduction sound signal indicating the reproduction sound of the headphones 200 may be input to the video / audio processing apparatus 110 as delay information.
  • FIG. 10 is a block diagram illustrating a basic functional configuration when the video / audio processing apparatus 110 according to the embodiment acquires a reproduced sound signal as delay information.
  • a reproduction sound signal indicating the reproduction sound of the headphones 200 is received by the reception unit 115 as delay information.
  • a reproduction sound signal is input to the reception unit 115 via a microphone (not shown) connected to the reception unit 115.
  • a playback sound signal is input to the reception unit 115 via a voice input terminal (not shown) connected to the reception unit 115.
  • control unit 114 detects the peak timing of the sound pressure level indicated in the audio signal output from the audio delay unit 116 and the peak of the sound pressure level indicated in the audio signal input to the reproduced sound signal.
  • the audio delay amount D is specified from the temporal difference from the timing.
  • the specific method of the audio delay amount D using these two types of signals is not limited to the above method. Further, the audio delay amount D may be specified by the audio delay unit 116 or the reception unit 115 instead of the control unit 114, for example.
  • the audio delay amount D may be specified by a single comparison process.
  • the audio delay amount D is specified by feeding back the amount of deviation between the audio signal output from the audio delay unit 116 and the reproduced sound signal while changing the delay amount of the audio signal by the audio delay unit 116. It may be done.
  • Bluetooth registered trademark
  • a communication standard other than Bluetooth is adopted as the communication standard. May be adopted.
  • the video / audio processing apparatus 110 and the headphones 200 may be wired communication instead of wireless communication.
  • the synchronization adjustment by the video / audio processing apparatus 110 is effective.
  • the video / audio processing device 110 may be provided in a device other than the television 100.
  • the audio / video processing apparatus 110 may be provided in a recorder or player that plays back AV content stored on an optical disk or hard disk such as Blu-ray Disc (registered trademark).
  • the transmission destination device of the audio signal from the video / audio processing device 110 may be a type of audio reproduction device other than the headphones 200.
  • the audio signal from the audio / video processing device 110 may be transmitted to a surround system that includes a plurality of speakers and communicates with the audio / video processing device 110 wirelessly or by wire. That is, the type of the audio playback device that is the source of the audio in the synchronization adjustment by the video / audio processing device 110 is not limited to headphones.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the video / audio processing apparatus according to the above embodiment is the following program.
  • this program causes the computer to execute the following video / audio processing method.
  • the video / audio processing method is a video / audio processing method executed by a video / audio processing apparatus, and the video / audio processing apparatus outputs a video output unit that outputs a video signal and an audio signal corresponding to the video signal.
  • An audio output unit that transmits the audio signal corresponding to the video signal to an audio reproduction device external to the video / audio processing device, and the video / audio processing method includes: The audio signal output from the audio output unit is delayed during the period in which the operation mode is the first mode in which the audio is output from the audio output unit and the audio signal is transmitted from the audio transmission unit.
  • An accepting step for accepting an input of delay information for specifying an audio delay amount that is an amount to be performed, and the sound identified by the delay information accepted in the accepting step An audio delay step for delaying an audio signal output from the audio output unit according to a delay amount, an operation mode of the video / audio processing device, the video signal output from the video output unit, and the audio transmission And a video delay step of delaying the video signal output from the video output unit by a video delay amount corresponding to the audio delay amount during the second mode in which the audio signal is transmitted from the unit. Is the method.
  • the present disclosure is stored in a recording medium such as a television that plays back AV content transmitted via broadcast waves or a network, an optical disk such as Blu-ray Disc (registered trademark), a semiconductor memory such as a flash memory, or a hard disk. It is useful as a video / audio processing apparatus provided in an AV device such as a recorder or a player that reproduces the AV content.
  • a recording medium such as a television that plays back AV content transmitted via broadcast waves or a network
  • an optical disk such as Blu-ray Disc (registered trademark)
  • a semiconductor memory such as a flash memory
  • hard disk a hard disk. It is useful as a video / audio processing apparatus provided in an AV device such as a recorder or a player that reproduces the AV content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　映像音声処理装置（１１０）であって、映像出力部（１１１）と、音声出力部（１１２）と、音声送信部（１１３）と、動作モードを、（ａ）音声出力部（１１２）から音声信号が出力され、かつ、音声送信部（１１３）から音声信号が送信される第一モード、および、（ｂ）映像出力部（１１１）から映像信号が出力され、かつ、音声送信部（１１３）から音声信号が送信される第二モードの一方から他方へ切り換える制御部（１１４）と、動作モードが第一モードである期間に、音声遅延量を特定する遅延情報の入力を受け付ける受付部（１１５）と、音声遅延量に応じて音声信号を遅延させる音声遅延部（１１６）と、動作モードが第二モードである期間に、映像信号を音声遅延量に応じた映像遅延量だけ遅延させる映像遅延部（１１７）とを備える。

Description

映像音声処理装置および映像音声処理方法
　本願発明は、映像音声処理装置に関し、特に再生時における映像信号と音声信号との同期のための処理を行う映像音声処理装置に関する。
　従来、映像信号および音声信号を処理して出力する映像音声処理装置が存在する。このような映像音声処理装置では、例えば、映像信号と音声信号とを互いに異なる機器に出力して、それぞれに映像または音声を再生させる場合がある。この場合、再生時における映像信号と音声信号との同期（例えば、「リップシンク」と呼ばれる）が問題となる。
　そこで、再生時における映像信号と音声信号とを同期させるための技術も開示されている。例えば、特許文献１には、音声信号を遅延させることで再生映像と再生音とのずれを低減させる音声映像伝送装置について記載されている。
特開２００４－８８４４２号公報
　ここで、例えば、ある放送番組をテレビのディスプレイに表示させながら、当該テレビから送信される当該放送番組の音声信号を、当該テレビの外部機器（外部スピーカ、または、ヘッドホンなど）に受信させて再生させる場合を想定する。この場合、当該外部機器で再生される音声信号が、当該ディスプレイに表示される映像信号に対して遅れる場合がある。
　本開示は、再生時における映像信号と音声信号との同期のための処理を効率よく実行することができる映像音声処理装置を提供する。
　上記目的を達成するために、本開示の一態様に係る映像音声処理装置は、映像信号を出力する映像出力部と、前記映像信号に対応する音声信号を出力する音声出力部と、前記映像信号に対応する前記音声信号を、前記映像音声処理装置の外部の音声再生装置に送信する音声送信部と、前記映像音声処理装置の動作モードを、（ａ）前記音声出力部から前記音声信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第一モード、および、（ｂ）前記映像出力部から前記映像信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第二モードの一方から他方へ切り換える制御部と、前記動作モードが前記第一モードである期間に、前記音声出力部から出力される音声信号を遅延させる量である音声遅延量を特定する遅延情報の入力を受け付ける受付部と、前記受付部が受け付けた前記遅延情報によって特定される前記音声遅延量に応じて前記音声出力部から出力される音声信号を遅延させる音声遅延部と、前記動作モードが前記第二モードである期間に、前記映像出力部から出力される映像信号を前記音声遅延量に応じた映像遅延量だけ遅延させる映像遅延部とを備える。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の映像音声処理装置によれば、再生時における映像信号と音声信号との同期のための処理を効率よく実行することができる。
図１は、実施の形態におけるＡＶ（Ａｕｄｉｏ　Ｖｉｓｕａｌ）システムの構成概要を示す図である。 図２は、実施の形態におけるＡＶシステムの基本的な機能構成を示すブロック図である。 図３は、実施の形態の映像音声処理装置における基本的な処理の流れを示すフロー図である。 図４は、実施の形態の映像音声処理装置が出力するユーザインターフェース画面の一例を示す図である。 図５は、実施の形態の映像音声処理装置が行う映像信号と音声信号の同期調整を説明するための図である。 図６は、１フレーム時間と、スピーカおよびヘッドホンの間の出音タイミングのずれ量との関係を示す図である。 図７は、実施の形態における映像音声処理装置が記憶部を備える場合の基本的な機能構成を示すブロック図である。 図８は、実施の形態のＡＶシステムが複数の音声再生装置を備える場合の構成概要を示す図である。 図９は、実施の形態における映像遅延情報のデータ構成例を示す図である。 図１０は、実施の形態における映像音声処理装置が遅延情報として再生音信号を取得する場合の基本的な機能構成を示すブロック図である。
　（本開示の基礎となった知見）
　本発明者は、再生時における映像信号と音声信号との同期に関し、以下の問題が生じることを見出した。
　例えばデジタルテレビ放送における放送番組は、当該放送番組に対応する映像信号および音声信号とともに、映像信号と音声信号とを同期させるための信号を含むストリームによって、各テレビに送信される。そのため、当該放送番組をテレビ単体で再生する場合には、一般にリップシンクの問題は発生しない。
　しかし、上述のように、例えば、テレビで当該映像信号を再生させながら当該テレビから送信される当該音声信号を外部機器（音声再生装置）で受信させて再生させる場合、当該テレビにおける再生映像に対して、当該音声再生装置における再生音が遅れる場合がある。
　この遅れは、例えば、当該テレビと当該音声再生装置との間の通信手順（通信エラー時の音声信号の再送など）、または、当該音声再生装置における音声信号の処理（音切れ防止のための音声信号のバッファリングなど）に起因して発生する。
　このように、再生映像に対して再生音が遅れた場合、上記の当該遅れの要因を考慮すると、再生音の出力を早めることは現実的ではなくかつ困難である。
　そのため、再生映像を遅延させることで、再生映像と再生音との再生タイミングの一致を図ることが考えられる。つまり、映像信号をディスプレイに出力し、かつ、音声信号を外部の音声再生装置に送信する映像音声処理装置において、映像信号の出力を遅延させることで、再生時における映像信号と音声信号との同期を図ることが考えられる。
　しかしながら、この場合、例えば、ユーザは、音声再生装置で再生される音を聞きながら、再生映像を遅らせるように、当該映像音声処理装置に、映像信号の遅延量を入力する必要がある。
　例えば、ユーザは、音声再生装置で再生される人物の声を聞きながら、その声と、テレビでの再生映像における当該人物の唇の動きとを合わせるように、映像信号の遅延量を調整する。
　つまり、聴覚と視覚とを同時に働かせながら、聴覚でとらえた音声の特徴点と、視覚でとらえた映像の特徴点とを時系列上で一致させようとする容易ではない作業が行われる。
　その結果、当該映像音声処理装置では、聴覚および視覚でとらえる音声および映像についてのユーザの違和感がなくなるまで、遅延量の増加および減少を繰り返すという、非効率的な処理が発生することとなる。
　さらに、音声信号を受信して再生する音声再生装置が変更になると、当該遅延量も変わるため、音声再生装置の変更のたびに、非効率的な処理が発生するという問題が生じる。
　このような問題を解決するために、本開示の一態様に係る映像音声処理装置は、映像音声処理装置であって、映像信号を出力する映像出力部と、前記映像信号に対応する音声信号を出力する音声出力部と、前記映像信号に対応する前記音声信号を、前記映像音声処理装置の外部の音声再生装置に送信する音声送信部と、前記映像音声処理装置の動作モードを、（ａ）前記音声出力部から前記音声信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第一モード、および、（ｂ）前記映像出力部から前記映像信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第二モードの一方から他方へ切り換える制御部と、前記動作モードが前記第一モードである期間に、前記音声出力部から出力される音声信号を遅延させる量である音声遅延量を特定する遅延情報の入力を受け付ける受付部と、前記受付部が受け付けた前記遅延情報によって特定される前記音声遅延量に応じて前記音声出力部から出力される音声信号を遅延させる音声遅延部と、前記動作モードが前記第二モードである期間に、前記映像出力部から出力される映像信号を前記音声遅延量に応じた映像遅延量だけ遅延させる映像遅延部とを備える。
　この構成によれば、映像音声処理装置が第一モードで動作中に出力される、例えば音声出力部に接続されたスピーカからの音声と、外部の音声再生装置からの音声との比較の結果から得られる遅延情報を、映像音声処理装置に入力することができる。
　つまり、映像信号との同期の問題のない音声信号であって、音声出力部から出力される音声信号に基づく音声（第一音声）と、外部の音声再生装置からの音声（第二音声）とのずれ量（音声遅延量）を特定する遅延情報が映像音声処理装置に入力される。さらに、当該音声遅延量に応じて映像信号が遅延される。
　簡単にいうと、外部の音声再生装置からの第二音声と、映像出力部に接続されたディスプレイに表示される映像との間のずれ量が、当該第二音声と当該映像との比較ではなく、当該第二音声と、当該映像と同期が保障された第一音声との比較によって決定される。
　ここで、人間は、ある音源の発生位置等の特定に、当該音源から発生し、僅かに時間をあけて両耳に到達する２つの音の時間差を利用するため、音の時間的なずれを知覚する能力が優れているという特長を有する。そのため、第一音声と第二音声とを高い精度で一致させることが可能である。すなわち、上記比較を人間が行った場合であっても、第二音声とタイミングが一致するように、第一音声を遅延させることは容易である。
　従って、第一音声を第二音声に同期させるための音声遅延量の決定は容易化され、その結果、第二音声と、当該映像信号に基づく再生映像との同期のための映像遅延量の決定も容易化される。
　もちろん、人間ではなく、機械的に音声遅延量を決定する場合であっても、例えば、第一音声および第二音声の音圧レベルのピークのタイミングの比較等によって、容易に特定することができる。つまり、音声解析の結果と、映像解析の結果とを比較するような複雑な処理なしに、音声遅延量は決定され、その結果、第二音声と、当該映像信号に基づく再生映像との同期のための映像遅延量の決定も容易化される。
　以上のように、本態様の映像音声処理装置は、再生時における映像信号と音声信号との同期のための映像遅延量を効率よく特定することができ、その結果、当該同期のための処理を効率よく実行することができる。
　また、例えば、前記映像出力部は、前記動作モードが前記第一モードである期間に、ユーザによる所定の操作のためのユーザインターフェース画面を示す映像信号を出力し、前記受付部は、ユーザの前記所定の操作により入力される前記遅延情報の入力を受け付けるとしてもよい。
　この構成によれば、映像音声処理装置は、例えば、リップシンクのための調整作業を、ユーザに効率よく行わせることができる。
　また、例えば、前記映像遅延部は、前記音声遅延量以下の値である前記映像遅延量だけ前記映像出力部から出力される前記映像信号を遅延させるとしてもよい。
　この構成によれば、映像遅延量は、リップシンクのための厳密な遅延量よりも小さくなる可能性があるが、少なくとも、音声が映像に先行する事態が防止される。例えば、人物が喋っている映像において、人物が口を動かす前に発話音が外部の音声再生装置で再生されるような、極めて不自然な状況の発生が防止される。
　また、例えば、前記音声遅延部は、前記映像信号のフレームレートから算出される１フレーム分の時間の整数倍に対応する前記音声遅延量に応じて前記音声出力部から出力される前記音声信号を遅延させるとしてもよい。
　この構成によれば、例えば、映像の遅延がフレーム単位で行われる場合に、音声遅延量をそのまま映像遅延量として用いることができる。つまり、映像信号と音声信号との同期に係る処理負荷が軽減される。
　また、例えば、前記映像遅延部は、前記音声遅延量より大きな前記映像遅延量だけ前記映像出力部から出力される前記映像信号を遅延させ、前記音声送信部は、前記音声遅延量と前記映像遅延量との差分に応じた値だけ、前記音声送信部から送信される前記音声信号を遅延させるとしてもよい。
　この構成によれば、例えば以下のような効果を生ずる。例えば映像遅延量が定数の整数倍として決定される場合、音声遅延量が厳密な遅延量と同一視できる場合であっても、映像遅延量を、音声遅延量と一致させられない場合がある。
　このような場合であっても、映像遅延量を音声遅延量より大きな値として決定し、かつ、音声送信部から送信される音声信号を遅延させることで、映像遅延量を厳密な遅延量に近づける場合と同じ効果が生ずる。つまり、リップシンクの精度が向上される。
　また、例えば、前記映像遅延部は、前記音声遅延量以下である前記映像遅延量であって、前記映像信号のフレームレートから算出される１フレーム分の時間の整数倍に対応する前記映像遅延量だけ前記映像出力部から出力される前記映像信号を遅延させるとしてもよい。
　この構成によれば、映像遅延量が、当該映像信号におけるフレームレートに応じて決定されるため、当該映像信号の遅延処理がフレーム単位で行われる。つまり、当該遅延処理の煩雑化が抑制される。
　また、例えば、前記受付部は、前記遅延情報として、前記音声信号を受信して再生する前記外部の音声再生装置から出力される音声の信号である再生音信号の入力を受け付け、前記映像遅延部は、前記再生音信号と、前記音声遅延部が遅延させる前の前記音声信号との間の遅延量である前記音声遅延量に応じた前記映像遅延量だけ、前記映像出力部から出力される前記映像信号を遅延させるとしてもよい。
　この構成によれば、外部の音声再生装置から得られる再生音信号が遅延情報として用いられる。そのため、例えば、映像音声処理装置による、リップシンクの自動化が可能となる。
　また、例えば、本開示の一態様に係る映像音声処理装置はさらに、前記映像遅延量を示す情報である映像遅延情報を記憶する記憶部を備え、前記映像遅延部は、前記動作モードが前記第二モードである期間に、前記記憶部から読み出した前記映像遅延情報に示される前記映像遅延量だけ、前記映像出力部から出力される前記映像信号を遅延させるとしてもよい。
　この構成によれば、映像音声処理装置において決定された映像遅延量が記憶される。そのため、例えば、映像音声処理装置からの音声信号の送信先として複数の音声再生装置が存在する場合、当該複数の音声再生装置のそれぞれに対応する映像遅延量を記憶部に記憶させておくことができる。
　その結果、映像音声処理装置は、音声信号の送信先の音声再生装置が変更になった場合であっても、適切な映像遅延量を用いた映像信号の遅延処理を行うことができる。
　また、例えば、前記記憶部は、前記音声再生装置を含む複数の音声再生装置のそれぞれに対応する複数の映像遅延量を示す前記映像遅延情報を記憶し、前記映像遅延部は、前記動作モードが前記第二モードであって、かつ、前記音声送信部が、前記複数の音声再生装置のそれぞれに同時に前記音声信号を送信する場合、（ｃ）前記記憶部に記憶されている前記映像遅延情報に示される前記複数の映像遅延量のうち、最も大きな映像遅延量を選択し、（ｄ）前記映像出力部から出力される前記映像信号を、選択した映像遅延量だけ遅延させるとしてもよい。
　この構成によれば、例えば以下のような効果を生ずる。例えば複数のユーザが、映像出力部に接続された一つのディスプレイに表示された映像を見ながら、それぞれが装着する、映像音声処理装置と無線通信するヘッドホンで音声を聞く場合を想定する。
　この場合、ヘッドホンごとに音声の遅延量が異なるため、これらヘッドホンそれぞれに対応する映像遅延量も異なるが、これら映像遅延量のうちの最大値に応じて映像信号が遅延される。つまり、少なくとも、これらヘッドホンそれぞれからの再生音が、当該ディスプレイに表示される映像に先行するような極めて不自然な事態の発生は抑制される。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　（実施の形態）
　以下、実施の形態の映像音声処理装置を、図面を参照しつつ説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。
　また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　図１は、実施の形態におけるＡＶ（Ａｕｄｉｏ　Ｖｉｓｕａｌ）システム１０の構成概要を示す図である。
　図２は、実施の形態におけるＡＶシステム１０の基本的な機能構成を示すブロック図である。
　図１に示すように、実施の形態におけるＡＶシステム１０は、テレビ１００とヘッドホン２００とを備える。
　テレビ１００は、放送番組等のＡＶコンテンツを受信して再生する装置であり、映像音声処理装置１１０と、ディスプレイ１５０と、スピーカ１６０とを備える。
　ヘッドホン２００は、映像音声処理装置１１０の外部の音声再生装置の一例である。ヘッドホン２００は、図２に示すように、映像音声処理装置１１０から送信される音声信号を受信する受信部２１０と、受信部２１０が受信した音声信号の再生音を出力するスピーカ２２０とを有する。
　なお、ヘッドホン２００は右耳用と左耳用の２つのスピーカ２２０を有しているが、図２では、いずれか一方のスピーカ２２０の図示は省略している。
　ユーザは、ヘッドホン２００でＡＶコンテンツの音声を聞きながら、当該ＡＶコンテンツの映像をテレビ１００のディスプレイ１５０で見ることができる。
　なお、映像音声処理装置１１０とヘッドホン２００との間の通信規格としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）が採用される。
　映像音声処理装置１１０は、図２に示すように、映像出力部１１１と、音声出力部１１２と、音声送信部１１３と、制御部１１４と、受付部１１５と、音声遅延部１１６と、映像遅延部１１７と、映像信号処理部１１８と、音声信号処理部１１９とを備える。
　映像出力部１１１は、映像信号を出力する。本実施の形態では、映像出力部１１１は、映像信号処理部１１８から映像遅延部１１７を介して取得した映像信号を、ディスプレイ１５０に出力する。その結果、当該映像信号に基づく映像がディスプレイ１５０に表示される。
　音声出力部１１２は、当該映像信号に対応する音声信号を出力する。本実施の形態では、音声出力部１１２は、音声信号処理部１１９から音声遅延部１１６を介して取得した音声信号を、スピーカ１６０に出力する。その結果、当該音声信号に基づく音声、つまり、ディスプレイ１５０に表示される映像に対応する音声がスピーカ１６０から出力される。
　音声送信部１１３は、当該映像信号に対応する音声信号を、映像音声処理装置１１０の外部の音声再生装置であるヘッドホン２００に送信する。
　本実施の形態では、音声送信部１１３は、音声信号処理部１１９から取得した音声信号を、ヘッドホン２００に送信する。その結果、当該音声信号に基づく音声がヘッドホン２００から出力される。
　具体的には、ヘッドホン２００では、音声送信部１１３から送信された音声信号を受信部２１０が受信し、音声の再生のための所定の処理を行う。これにより、例えばディスプレイ１５０に表示される映像に対応する音声が、ヘッドホン２００が備えるスピーカ２２０から出力される。
　制御部１１４は、映像音声処理装置１１０の動作モードを調整モードおよび視聴モードの一方から他方へ切り換える。また、制御部１１４は、映像出力部１１１等の映像音声処理装置１１０が備える各構成要素の制御も行う。
　なお、調整モードは、第一モードの一例であり、音声出力部１１２から音声信号が出力され、かつ、音声送信部１１３から音声信号が送信される動作モードである。具体的には、後述する、リップシンクのための調整（以下、「同期調整」という。）を実行する場合の動作モードである。
　また、視聴モードは、第二モードの一例であり、映像出力部１１１から映像信号が出力され、かつ、音声送信部１１３から音声信号が送信される動作モードである。つまり、ユーザが、ディスプレイ１５０に表示された映像を見ながら、ヘッドホン２００で当該映像に対応する音声を聞く場合の動作モードである。
　本実施の形態では、視聴モードでは、スピーカ１６０からの音声出力は停止される。
　なお、映像音声処理装置１１０は、ディスプレイ１５０とスピーカ１６０とを用いてＡＶコンテンツをユーザに視聴させる通常の動作モード（通常モード）でも動作する。しかし、当該通常モードは、テレビ１００としての一般的な動作モードであるためその説明は省略する。
　受付部１１５は、動作モードが調整モードである期間に、音声出力部１１２から出力される音声信号を遅延させる量である音声遅延量を特定する遅延情報の入力を受け付ける。
　本実施の形態では、調整モードにおいて、当該遅延情報の入力のためのユーザインターフェース画面がディスプレイ１５０に表示される。ユーザインターフェース画面については図４を用いて後述する。
　音声遅延部１１６は、受付部１１５が受け付けた遅延情報によって特定される音声遅延量に応じて、音声出力部１１２から出力される音声信号を遅延させる。つまり、スピーカ１６０から出力される音声が、当該音声遅延量に応じて遅延される。
　映像遅延部１１７は、動作モードが視聴モードである期間に、映像出力部１１１から出力される映像信号を当該音声遅延量に応じた映像遅延量だけ遅延させる。つまり、調整モードにおいて決定された音声遅延量に応じて、ディスプレイ１５０に表示される映像が遅延される。
　本実施の形態の映像音声処理装置１１０は、上記構成を有することで、リップシンクのための処理、つまり、再生時における映像信号と音声信号との同期のための処理を効率よく実行することができる。
　具体的には、本実施の形態では、上述のように音声信号の送信の通信規格として、Ｂｌｕｅｔｏｏｔｈ（登録商標）が採用されている。
　また、ヘッドホン２００では音声信号のバッファリングが行われており（バッファは図２に図示せず）、これにより、ヘッドホン２００では、ヘッドホン２００で再生されるべき音声信号が途切れることなく再生される。
　しかしながら、音声信号のバッファリング等の処理に起因して、ヘッドホン２００での再生音が本来的な再生タイミングより遅れて再生され得る。その結果、ディスプレイ１５０での再生映像と、ヘッドホン２００での再生音との間にずれが生じ得る。
　そこで、本実施の形態の映像音声処理装置１１０では、音声遅延部１１６と映像遅延部１１７との処理により、ディスプレイ１５０での再生映像と、ヘッドホン２００での再生音との間の同期のための処理を効率よく実行することができる。
　なお、本実施の形態では、映像信号処理部１１８は、例えば、テレビ１００が有するチューナ（図示せず）から受け取ったストリームから映像信号を取得し、映像遅延部１１７に出力する。また、音声信号処理部１１９は、当該ストリームから音声信号を取得し、音声遅延部１１６に出力する。
　つまり、映像信号処理部１１８および音声信号処理部１１９は、テレビ１００で再生される映像および音声のソースである信号を映像音声処理装置１１０に与える装置であり、映像音声処理装置１１０の外部に備えられていてもよい。つまり、映像信号処理部１１８および音声信号処理部１１９は、映像音声処理装置１１０に必須の要素ではない。
　以下、図３～図６を用いて、本実施の形態の映像音声処理装置１１０の処理の流れを説明する。
　図３は、実施の形態の映像音声処理装置１１０における基本的な処理の流れを示すフロー図である。
　制御部１１４は、例えばユーザからの指示により、映像音声処理装置１１０の動作モードを視聴モードから調整モードに切り換える（Ｓ１）。
　動作モードが調整モードである期間に、受付部１１５は、ユーザの所定の操作により、遅延情報の入力を受け付ける（Ｓ２）。例えば、“２００ｍｉｌｌｉ　ｓｅｃｏｎｄ（ｍｓｅｃ）”という音声遅延量そのもの、または、“＋１２”等の音声遅延量の大きさを表す数値等が、遅延情報として入力される。
　音声遅延部１１６は、当該遅延情報によって特定される音声遅延量に応じて音声出力部１１２から出力される音声信号を遅延させる（Ｓ３）。
　その後、制御部１１４は、例えばユーザからの指示により、音声遅延量を決定した後で映像音声処理装置１１０の動作モードを調整モードから視聴モードに切り換える（Ｓ４）。
　映像遅延部１１７は、動作モードが視聴モードである期間に、映像出力部１１１から出力される映像信号を当該音声遅延量に応じた映像遅延量だけ遅延させる（Ｓ５）。
　以上の処理を実行する映像音声処理装置１１０の具体的な動作を、図４および図５を参照しながら説明する。
　図４は、実施の形態の映像音声処理装置１１０が出力するユーザインターフェース画面１５１の一例を示す図である。
　図５は、実施の形態の映像音声処理装置１１０が行う同期調整を説明するための図である。
　映像音声処理装置１１０は、調整モードで動作する場合、図４に示すようなユーザインターフェース画面１５１を、ディスプレイ１５０に出力する。
　また、この調整モードでは、スピーカ１６０およびヘッドホン２００の双方から、同期調整のための音声として、例えば所定の間隔ごと（例えば、１ｓｅｃ～２ｓｅｃごと）のパルス音が出力される。
　また、スピーカ１６０から出力される所定の間隔ごとのパルス音に同期して、例えば、図５に示すような、ボールが床面で跳ね返されることで単振動する動画がユーザインターフェース画面１５１に表示される。具体的には、ボールが床面に当たるタイミングでスピーカ１６０からパルス音が出力される。
　また、同期調整が完了されていない時点では、図５の（ａ）に示すように、ヘッドホン２００からの出音のタイミングは、スピーカ１６０からの出音のタイミングに対して遅れている。
　従って、ユーザは、例えば、左右の一方の耳で、ヘッドホン２００からの音声を聞きながら、他方の耳で、スピーカ１６０からの音声を聞いた場合、左右の耳で知覚される音声の間に時間的なずれがあることが認識される。
　このような状況において、例えばユーザがテレビ１００のリモコン１７０の十字キーを操作することで、遅延情報が映像音声処理装置１１０に入力される。
　図４に示す例では、ユーザインターフェース画面１５１には、音声遅延量を特定する遅延情報として、設定値“＋１２”が、設定値表示フィールド１５２に表示されている。この設定値は、例えばユーザがリモコン１７０の十字キーを操作することで変更される。さらに、当該設定値が遅延情報として受付部１１５に受け付けられる。
　具体的には、正の整数である設定値に単位遅延量ｄを乗じた値が、音声遅延量として扱われる。単位遅延量ｄは、例えば、映像出力部１１１から出力される映像信号のフレームレートから算出される１フレーム分の時間（以下、「１フレーム時間」という。）である。
　例えば、当該フレームレートが６０Ｆｒａｍｅｓ／ｓｅｃである場合、単位遅延量ｄは、１フレーム時間である（５０／３（＝１６．６６６６６．．．））ｍｓｅｃである。そのため、設定値が“１２”である場合、（５０／３）ｍｓｅｃに１２を乗じた結果である２００ｍｓｅｃが音声遅延量として算出される。なお、この算出は、例えば、受付部１１５、制御部１１４、または音声遅延部１１６によって行われる。
　音声遅延部１１６は、このようにして得られた音声遅延量に応じて、音声信号処理部１１９から受信する音声信号を遅延させる。その結果、音声出力部１１２から出力される音声信号が遅延される。
　例えば、音声遅延部１１６による遅延の単位が０．１ｍｓｅｃであれば、音声出力部１１２から出力される音声信号が、２００．０ｍｓｅｃだけ遅延される。なお、音声遅延量と実際の音声の遅延量とが厳密に一致しなくてもよい。例えば、音声遅延部１１６による遅延の単位が３ｍｓｅｃである場合、実際の音声の遅延量が２０１ｍｓｅｃであってもよい。
　このように、ユーザにより入力される遅延情報（設定値）に応じて、音声出力部１１２から出力される音声信号が遅延され、その結果、スピーカ１６０から出力される音声が遅延される。
　そのため、ユーザは、スピーカ１６０からの音声とヘッドホン２００からの音声の間に時間的なずれが最も小さくなるように、設定値を変更することができる。
　その結果、図５の（ｂ）に示すように、当該時間的なずれが最も小さくなると知覚される音声遅延量Ｄが決定される。例えば、設定値が“＋１２”である場合に、ユーザによりリモコン１７０の所定のボタンが押下されることで、設定値“＋１２”が、同期調整のための遅延情報として決定される。つまり、設定値“＋１２”に対応する“２００ｍｓｅｃ”が、音声遅延量Ｄとして特定される。
　また、このように特定された音声遅延量Ｄだけ音声出力部１１２から出力される音声信号が遅延され、これにより、図５の（ｂ）に示すように、ヘッドホン２００からの出音のタイミングとスピーカ１６０からの出音のタイミングとが一致（略一致も含む、以下同じ）する。つまり、ヘッドホン２００とスピーカ１６０との間における音声信号の同期がなされる。
　制御部１１４は、このように特定された音声遅延量Ｄを取得し、映像遅延部１１７に送信する。
　映像遅延部１１７は、受信した音声遅延量Ｄに応じて映像遅延量Ｖを決定し、映像信号処理部１１８から受信する映像信号を映像遅延量Ｖだけ遅延させる。その結果、映像出力部１１１から出力される映像信号が映像遅延量Ｖだけ遅延される。
　ここで、上記のように、単位遅延量ｄが映像信号における１フレーム時間である場合、つまり、音声遅延量Ｄが、当該１フレーム時間の整数倍の値である場合、例えば、音声遅延量Ｄがそのまま映像遅延量Ｖとして扱われる。
　例えば、音声遅延量Ｄが“２００ｍｓｅｃ”である場合、映像遅延量Ｖも“２００ｍｓｅｃ”と決定される。
　この場合、映像遅延部１１７は、映像信号を映像信号処理部１１８から受信して１２フレーム遅延させて映像出力部１１１に出力する。これにより、映像出力部１１１からディスプレイ１５０に出力される映像信号は、映像遅延量Ｖである“２００ｍｓｅｃ”だけ遅延される。
　なお、単位遅延量ｄが映像信号における１フレーム時間である場合、映像遅延部１１７は、音声遅延量Ｄそのものではなく、単位遅延量ｄに乗算される設定値を受け取ってもよい。例えば、設定値が“＋１２”である場合、当該設定値を受け取った映像遅延部１１７は、映像遅延量Ｖとして“＋１２”を決定し、上記のように映像信号を１２フレーム遅延させる。
　その結果、映像出力部１１１からディスプレイ１５０に出力される映像信号は、音声遅延量Ｄと同じ値である“２００ｍｓｅｃ”だけ遅延される。
　このように、映像遅延部１１７が、音声遅延量Ｄに応じた映像遅延量Ｖだけ映像信号を遅延させることで、ヘッドホン２００からの出音のタイミングとディスプレイ１５０での映像の表示のタイミングとが一致する。
　ここで、本実施の形態においては、以上の映像遅延部１１７による映像信号の遅延処理は、調整モードでの動作期間中にも実行される。つまり、スピーカ１６０からのパルス音の出力のタイミングの変化に追随して、図４に示すユーザインターフェース画面１５１に表示されたボールが床面に当たるタイミングが変化する。
　なお、映像遅延部１１７による映像信号の遅延処理は、少なくとも、映像音声処理装置１１０の動作モードが視聴モードである期間に行われればよい。つまり、調整モードにおいてスピーカ１６０およびヘッドホン２００から出力される、同期調整用の音声に対応する映像（例えば、図４におけるボールの映像）は、ユーザインターフェース画面１５１に表示されていなくてもよい。
　また、ユーザインターフェース画面１５１は、ディスプレイ１５０の表示領域の一部のみに表示されてもよい。例えば、通常の放送番組の映像に重畳させて、設定値表示フィールド１５２等の、設定値の入力および確認に必要なユーザインターフェース用の映像を表示させてもよい。この場合、同期調整用の音声として、当該放送番組の音声が用いられてもよい。
　また、ユーザインターフェース画面１５１は必須ではなく、ディスプレイ１５０に表示される画像、テレビ１００に設けられたランプ、またはスピーカ１６０からの音声等を介して、調整モードで動作中であることをユーザに知覚させてもよい。
　この場合、ユーザは、調整モードで動作中であることを認識できるため、例えばリモコン１７０の十字キーを操作することで、スピーカ１６０からの音声を、ヘッドホン２００からの音声と同期させるように、スピーカ１６０からの音声を遅延させることができる。
　また、調整モードから視聴モードへの切り替えは、例えば、上述の、設定値の決定のための、リモコン１７０の所定のボタンの押下をトリガとして実行される。また、例えば、受付部１１５が受け付ける遅延情報（設定値）が変更されない期間が閾値を越えたことをトリガとして、調整モードから視聴モードに切り替えられてもよい。
　映像音声処理装置１１０の動作モードが視聴モードとなった場合、ユーザは、上記のように遅延された映像をディスプレイ１５０で見ることができる。
　具体的には、ヘッドホン２００から出力される音声の、本来的な出力タイミングからのずれ量だけ遅延された映像がディスプレイ１５０に表示される。その結果、ヘッドホン２００での再生音とディスプレイ１５０に表示される再生映像とは同期される。
　なお、映像音声処理装置１１０の動作モードが視聴モードである場合に、スピーカ１６０からの音声出力を停止させずに継続させてもよい。この場合、音声遅延部１１６は、例えば上記の音声遅延量Ｄ（または映像遅延量Ｖ）だけ、音声出力部１１２から出力される音声信号を遅延させればよい。
　これにより、ヘッドホン２００を装着しているユーザが視聴するＡＶコンテンツを、当該ヘッドホン２００を装着していないユーザにも視聴させることができる。つまり、当該ヘッドホン２００を装着していないユーザに、ディスプレイ１５０に表示された再生映像と同期した音声を、スピーカ１６０によって提供することができる。
　また、映像音声処理装置１１０とヘッドホン２００との通信が終了した場合、例えば、当該通信の終了をトリガとして、映像音声処理装置１１０の視聴モードから通常モードに切り替わる。また、映像遅延部１１７は映像信号の遅延処理を終了する。
　このように、本実施の形態の映像音声処理装置１１０は、同期調整において、スピーカ１６０からの音声とヘッドホン２００からの音声との比較により、ヘッドホン２００から出力される音声の本来的な出力タイミングからのずれ量が決定される。
　つまり、ヘッドホン２００での再生音との比較対象として、ヘッドホン２００での再生音と同期されるべき映像そのものではなく、当該映像と同期が保障されたスピーカ１６０からの出力音が用いられ、これにより、当該映像の遅延量が決定される。
　従って、本実施の形態の映像音声処理装置１１０によれば、再生時における映像信号と音声信号との同期のための処理を効率よく行うことができる。
　なお、上記説明では、単位遅延量ｄとして、映像信号のフレームレートから算出される１フレーム時間が用いられるとした。しかしながら、単位遅延量ｄに特に限定はなく、例えば、１ｍｓｅｃなどの、映像音声処理装置１１０が扱う映像信号の１フレーム時間よりも小さな数値であってもよい。
　これにより、例えば、遅延情報として映像音声処理装置１１０に入力される値の厳密性を向上させることができる。つまり、音声遅延量Ｄとして、同期調整のためのより正確な値を決定することが可能となる。
　ここで、このように、単位遅延量ｄとして１フレーム時間よりも小さな数値が採用された場合、音声遅延量Ｄは、１フレーム時間の整数倍にならない場合がある。
　つまり、音声遅延量Ｄとして、厳密な同期のための正確な値が決定された場合であっても、上述のように映像遅延部１１７が映像信号をフレーム単位で遅延させる場合、ヘッドホン２００での再生音とディスプレイ１５０に表示される再生映像とが、厳密には同期しないことになる。
　そのため、映像遅延部１１７は、映像信号をフレーム単位で遅延させるのではなく、１フレーム時間よりも小さな単位で映像信号を遅延させてもよい。これにより、ヘッドホン２００での再生音とディスプレイ１５０での再生映像とのより厳密な同期が可能となる。
　また、例えば映像遅延部１１７による映像遅延の処理負荷を増加させないために、映像信号をフレーム単位で遅延させることを維持する場合、映像遅延量Ｖを、音声遅延量Ｄよりも小さな値に決定してもよい。これにより、少なくとも、ヘッドホン２００からの再生音がディスプレイ１５０に表示される再生映像に先行するような極めて不自然な事象の発生は防止される。
　図６は、１フレーム時間Ｓと、スピーカ１６０およびヘッドホン２００の間の出音タイミングのずれ量との関係を示す図である。
　例えば、スピーカ１６０からの音声とヘッドホン２００からの音声との間の厳密な時間的なずれ量がＤ１である場合を想定する。この場合、スピーカ１６０からの音声とディスプレイ１５０の再生映像とは同期されているため、ディスプレイ１５０の再生映像とヘッドホン２００からの音声との間の厳密な時間的なずれ量もＤ１であるとみなされる。
　ここで、このＤ１を音声遅延量として示す遅延情報が、映像音声処理装置１１０に入力された場合を想定する。
　この想定において、映像遅延部１１７が映像信号をフレーム単位で遅延させた場合、映像遅延量Ｖは１フレーム時間Ｓの整数倍である。つまり、図６において、ｔ（０）を起点（映像遅延量＝０）とした場合、ｔ（０）と、ｔ（１）・・・、ｔ（ｎ＋１）、・・のいずれかの値が、映像遅延量Ｖとして決定される。なお、ｔ（ｎ）＝Ｓ・ｎ（ｎは正の整数）である。
　この場合、例えば制御部１１４または映像遅延部１１７は、遅延情報によって特定される音声遅延量Ｄ１以下の値を、映像遅延量Ｖとして決定する。
　図６に示す場合、音声遅延量Ｄ１以下であって、かつ、音声遅延量Ｄ１に最も近い、１フレーム時間Ｓのｎ倍である、ｔ（ｎ）が、映像遅延量Ｖとして決定される。
　例えば、音声遅延量Ｄ１が２１０ｍｓｅｃであり、１フレーム時間Ｓが（５０／３）ｍｓｅｃである場合、２１０ｍｓｅｃ以下であり、かつ、２１０ｍｓｅｃに最も近い、（５０／３）ｍｓｅｃの１２倍である、“２００ｍｓｅｃ”が、映像遅延量Ｖとして決定される。なお、この場合、映像遅延量Ｖとしては、上述のように、“２００ｍｓｅｃ”に対応するフレーム数である“１２”が決定されてもよい。
　このように、映像音声処理装置１１０に入力される遅延情報から特定される音声遅延量Ｄが定数の整数倍である場合、当該定数が小さいほど、音声遅延量Ｄは、リップシンクのための本来的な遅延量により近い値をとりうる。つまり、音声遅延量Ｄの厳密性を向上させることができる。
　また、映像遅延量Ｖが１フレーム時間の整数倍である場合など、映像遅延量Ｖが、厳密性の高い音声遅延量Ｄの値と一致する値をとり得ない場合、上記のように、音声遅延量Ｄ以下であり、かつ、音声遅延量Ｄに近い値を映像遅延量Ｖとして決定する。これにより、ディスプレイ１５０とヘッドホン２００との間のリップシンクの問題の発生は実質的に防止され、かつ、音声が映像より先行するような極めて不自然な状況の発生は防止される。
　また、図６に示す場合において、音声遅延量Ｄ１より大きな値が、映像遅延量Ｖとして決定されてもよい。例えば、音声遅延量Ｄ１に最も近い、１フレーム時間Ｓの整数倍である、ｔ（ｎ＋１）が、映像遅延量Ｖとして決定されてもよい。
　この場合、例えば、音声送信部１１３からヘッドホン２００に送信する音声信号を遅延させることで、ヘッドホン２００での再生音とディスプレイ１５０での再生映像とを同期させることができる。
　例えば、音声遅延量Ｄ１が１８６ｍｓｅｃであり、１フレーム時間Ｓが（５０／３）ｍｓｅｃである場合において、１８６ｍｓｅｃより大きく、かつ、（５０／３）ｍｓｅｃの整数倍（１２倍）である、“２００ｍｓｅｃ”が、映像遅延量Ｖとして決定された場合を想定する。
　この場合、映像遅延量Ｖが音声遅延量Ｄ１よりも１４ｍｓｅｃ大きいため、なんら手当てをしない場合、ヘッドホン２００での再生音が、１４ｍｓｅｃだけ、ディスプレイ１５０での再生映像に先行することになる。
　そこで、音声送信部１１３からヘッドホン２００に送信する音声信号を、１４ｍｓｅｃだけ遅延させる。
　これにより、音声遅延量Ｄ１が、リップシンクのための本来的な遅延量と同一である場合、理論上、ヘッドホン２００での再生音とディスプレイ１５０での再生映像とは完全に同期する。また、音声遅延量Ｄ１の誤差を考慮した場合であっても、ヘッドホン２００とディスプレイ１５０との間のリップシンクの厳密性は向上する。
　つまり、簡単にいうと、映像音声処理装置１１０は、映像の遅延量を本来的な必要量よりも大きくし、かつ、ヘッドホン２００への音声を遅延させることで、ヘッドホン２００での再生音とディスプレイ１５０での再生映像とを厳密に同期させることも可能である。
　また、以上説明した、映像音声処理装置１１０の同期調整において用いられた映像遅延量Ｖを記憶しておいてもよい。
　図７は、実施の形態における映像音声処理装置１１０が記憶部１３０を備える場合の基本的な機能構成を示すブロック図である。
　例えば、映像音声処理装置１１０の制御部１１４が、上記の同期調整において決定された映像遅延量Ｖを、映像遅延情報１３１として記憶部１３０に記憶させる。
　これにより、その後、ヘッドホン２００と映像音声処理装置１１０との間の通信が一旦終了した後に、ヘッドホン２００と映像音声処理装置１１０とが通信を再開した場合、記憶された映像遅延量Ｖが用いられた自動的な同期調整が実行される。つまり、制御部１１４は、記憶部１３０から映像遅延量Ｖを読み出して、映像遅延部１１７に送信し、映像遅延部１１７に、映像遅延量Ｖに応じた映像信号の遅延を行わせることができる。
　なお、記憶部１３０に記憶される映像遅延情報１３１は、映像遅延量Ｖそのものを示さなくてもよい。例えば、映像遅延量Ｖに対応する音声遅延量Ｄを示す映像遅延情報１３１が、記憶部１３０に記憶されてもよい。
　また、映像音声処理装置１１０が、複数の音声再生装置と通信する場合、記憶部１３０は、これら複数の音声再生装置のそれぞれに対応する複数の映像遅延量を示す映像遅延情報１３１を記憶してもよい。
　図８は、実施の形態のＡＶシステム１０が複数の音声再生装置を備える場合の構成概要を示す図である。
　図９は、実施の形態における映像遅延情報１３１のデータ構成例を示す図である。
　図８に示すように、映像音声処理装置１１０を備えるテレビ１００が、上記のヘッドホン２００の他に、２つのヘッドホン（２０１、２０２）と通信する場合を想定する。
　なお、ヘッドホン２０１および２０２のそれぞれについても、例えば映像音声処理装置１１０とのペアリングが終了した後に、図３～図５を用いて説明した同期調整が実行されている。そのため、ヘッドホン２０１および２０２のそれぞれに対応する映像遅延量Ｖが求められている。
　また、これら３つのヘッドホン（２００、２０１、２０２）は、互いに機種が異なるため、または個体差により、それぞれの再生音の本来的な再生タイミングからのずれ量（遅延量）が互いに異なる。
　そのため、図９に示すように、これら３つのヘッドホン（２００、２０１、２０２）のそれぞれに対応する映像遅延量Ｖを示す映像遅延情報１３１を、それぞれの識別子である外部機器ＩＤと対応付けて記憶部１３０に記憶させておく。なお、各ヘッドホン（２００、２０１、２０２）の外部機器ＩＤは、映像音声処理装置１１０と通信を開始する場合に、各ヘッドホン（２００、２０１、２０２）から映像音声処理装置１１０に通知される。
　また、図９に示す例では、ヘッドホン２００の外部機器ＩＤは、“Ｈ－Ａ”であり、ヘッドホン２０１の外部機器ＩＤは、“Ｈ－Ｂ”であり、ヘッドホン２０２の外部機器ＩＤは、“Ｈ－Ｃ”である。
　このような情報を含む映像遅延情報１３１を、記憶部１３０に記憶させておくことで、映像音声処理装置１１０は、音声信号の送信先のヘッドホンが変更になった場合であっても、適切な映像遅延量を用いた映像信号の遅延処理を行うことができる。
　ここで、これら３つのヘッドホン（２００、２０１、２０２）のうちの少なくとも２つが同時に映像音声処理装置１１０と通信する場合も考えられる。
　例えば、３人のユーザのそれぞれがヘッドホン（２００、２０１、または、２０２）を装着して、テレビ１００のディスプレイ１５０に表示される映像を見る場合が考えられる。
　この場合、映像音声処理装置１１０の映像遅延部１１７は、以下の処理を実行する。すなわち、映像遅延部１１７は、動作モードが視聴モードであって、かつ、音声送信部１１３が、３つのヘッドホン（２００、２０１、２０２）のそれぞれに同時に音声信号を送信する場合、（ａ）記憶部１３０に記憶されている映像遅延情報１３１に示される複数の映像遅延量Ｖのうち、最も大きな映像遅延量Ｖを選択し、（ｂ）映像出力部１１１から出力される映像信号を、選択した映像遅延量Ｖだけ遅延させる。
　例えば、３つのヘッドホン（２００、２０１、２０２）それぞれに対応する映像遅延量が、図９に示す値である場合、映像遅延部１１７が用いる映像遅延量Ｖとして、ヘッドホン２０２に対応する“２０１ｍｓｅｃ”が採用される。
　つまり、映像音声処理装置１１０は、音声信号の送信先の装置が複数ある場合、その複数の装置のうちの、最も音声の遅延量の大きな装置に合わせて、映像音声処理装置１１０から出力する映像信号を遅延させる。
　これにより、少なくとも、これらヘッドホン（２００、２０１、２０２）それぞれからの再生音が、ディスプレイ１５０に表示される再生映像に先行するような極めて不自然な事態の発生は抑制される。
　また、この場合、例えば音声送信部１１３が、ヘッドホン２００および２０１のそれぞれに送信される音声信号を遅延させてもよい。これにより、ディスプレイ１５０に表示される当該映像と、これらヘッドホン２００および２０１のそれぞれでの再生音との同期をより厳密にすることができる。
　例えば、上記のように、映像遅延部１１７が用いる映像遅延量Ｖとして“２０１ｍｓｅｃ”が採用された場合を想定する。この場合、音声送信部１１３は、映像遅延量Ｖ“１９７ｍｓｅｃ”に対応するヘッドホン２００に対しては、４ｍｓｅｃだけ音声信号を遅延させる。
　また、音声送信部１１３は、映像遅延量Ｖ“１８９ｍｓｅｃ”に対応するヘッドホン２００に対しては、１２ｍｓｅｃだけ音声信号を遅延させる。
　つまり、ヘッドホン２００および２０１との関係で、相対的に遅く設定された映像遅延量Ｖに合わせるように、ヘッドホン２００および２０１のそれぞれに送信される音声信号を遅延させる。これにより、これら３つのヘッドホン（２００、２０１、２０２）の全てについて、リップシンクの問題がより確実に解消される。
　また、遅延情報は、ユーザインターフェース画面１５１を介して映像音声処理装置１１０に入力されなくてもよい。例えば、ヘッドホン２００の再生音を示す再生音信号が、遅延情報として映像音声処理装置１１０に入力されてもよい。
　図１０は、実施の形態における映像音声処理装置１１０が遅延情報として再生音信号を取得する場合の基本的な機能構成を示すブロック図である。
　図１０に示すように、ヘッドホン２００の再生音を示す再生音信号が、遅延情報として、受付部１１５に受け付けられる。
　例えば、受付部１１５に接続されたマイクロフォン（図示せず）を介して、再生音信号が受付部１１５に入力される。または、受付部１１５に接続された音声入力端子（図示せず）を介して、再生音信号が受付部１１５に入力される。
　この場合、例えば制御部１１４は、音声遅延部１１６から出力される音声信号に示される音圧レベルのピークのタイミングと、当該再生音信号に入力される音声信号に示される音圧レベルのピークのタイミングとの間の時間的な差分から、音声遅延量Ｄを特定する。
　なお、これら２種類の信号を用いた音声遅延量Ｄの特定の手法は、上記手法に限定されない。また、制御部１１４ではなく、例えば、音声遅延部１１６または受付部１１５によって、音声遅延量Ｄが特定されてもよい。
　また、音声遅延量Ｄの特定は、一回の上記比較処理によって行われてもよい。また、当該音声遅延量Ｄの特定は、音声遅延部１１６による音声信号の遅延量を変化させながら、音声遅延部１１６から出力される音声信号と、再生音信号とのずれ量をフィードバックすることによって行われてもよい。
　また、本実施の形態では、映像音声処理装置１１０とヘッドホン２００との間の通信規格として、Ｂｌｕｅｔｏｏｔｈ（登録商標）が採用されるとしたが、当該通信規格としてＢｌｕｅｔｏｏｔｈ（登録商標）以外の通信規格が採用されてもよい。また、映像音声処理装置１１０とヘッドホン２００との間が無線通信ではなく有線通信であってもよい。
　つまり、通信規格が採用する手順等の都合により、ヘッドホン２００での再生音と、ディスプレイ１５０での再生映像との間に、人間が知覚できる程度のずれが生じる場合、当該通信規格の種類に関係なく、映像音声処理装置１１０による同期調整は有効である。
　また、映像音声処理装置１１０は、テレビ１００以外の種類の装置に備えられてもよい。例えば、Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標）等の光ディスクまたはハードディスクに記憶されたＡＶコンテンツを再生するレコーダまたはプレーヤに、映像音声処理装置１１０が備えられてもよい。
　また、映像音声処理装置１１０からの音声信号の送信先の装置は、ヘッドホン２００以外の種類の音声再生装置であってもよい。
　例えば、複数のスピーカを備え、映像音声処理装置１１０と無線または有線で通信するサラウンドシステムに、映像音声処理装置１１０からの音声信号が送信されてもよい。つまり、映像音声処理装置１１０による同期調整における音声の発生元である音声再生装置の種類は、ヘッドホンに限定されない。
　また、上記の実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の映像音声処理装置を実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、以下の映像音声処理方法を実行させる。
　当該映像音声処理方法は、映像音声処理装置によって実行される映像音声処理方法であって、前記映像音声処理装置は、映像信号を出力する映像出力部と、前記映像信号に対応する音声信号を出力する音声出力部と、前記映像信号に対応する前記音声信号を、前記映像音声処理装置の外部の音声再生装置に送信する音声送信部とを備え、前記映像音声処理方法は、前記映像音声処理装置の動作モードが、前記音声出力部から前記音声が出力され、かつ、前記音声送信部から前記音声信号が送信される第一モードである期間に、前記音声出力部から出力される音声信号を遅延させる量である音声遅延量を特定する遅延情報の入力を受け付ける受付ステップと、前記受付ステップにおいて受け付けられた前記遅延情報によって特定される前記音声遅延量に応じて前記音声出力部から出力される音声信号を遅延させる音声遅延ステップと、前記映像音声処理装置の動作モードが、前記映像出力部から前記映像信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第二モードである期間に、前記映像出力部から出力される映像信号を前記音声遅延量に応じた映像遅延量だけ遅延させる映像遅延ステップとを含む映像音声処理方法である。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、放送波またはネットワーク経由で送信されるＡＶコンテンツを再生するテレビ、および、Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標）等の光ディスク、フラッシュメモリ等の半導体メモリ、またはハードディスク等の記録媒体に記憶されたＡＶコンテンツを再生するレコーダまたはプレーヤ等のＡＶ機器が備える映像音声処理装置として有用である。
　　　１０　ＡＶシステム
　　１００　テレビ
　　１１０　映像音声処理装置
　　１１１　映像出力部
　　１１２　音声出力部
　　１１３　音声送信部
　　１１４　制御部
　　１１５　受付部
　　１１６　音声遅延部
　　１１７　映像遅延部
　　１１８　映像信号処理部
　　１１９　音声信号処理部
　　１３０　記憶部
　　１３１　映像遅延情報
　　１５０　ディスプレイ
　　１５１　ユーザインターフェース画面
　　１５２　設定値表示フィールド
　　１６０、２２０　スピーカ
　　１７０　リモコン
　　２００、２０１、２０２　ヘッドホン
　　２１０　受信部

Claims (10)

  1. 　映像音声処理装置であって、
    　映像信号を出力する映像出力部と、
    　前記映像信号に対応する音声信号を出力する音声出力部と、
    　前記映像信号に対応する前記音声信号を、前記映像音声処理装置の外部の音声再生装置に送信する音声送信部と、
    　前記映像音声処理装置の動作モードを、（ａ）前記音声出力部から前記音声信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第一モード、および、（ｂ）前記映像出力部から前記映像信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第二モードの一方から他方へ切り換える制御部と、
    　前記動作モードが前記第一モードである期間に、前記音声出力部から出力される音声信号を遅延させる量である音声遅延量を特定する遅延情報の入力を受け付ける受付部と、
    　前記受付部が受け付けた前記遅延情報によって特定される前記音声遅延量に応じて前記音声出力部から出力される音声信号を遅延させる音声遅延部と、
    　前記動作モードが前記第二モードである期間に、前記映像出力部から出力される映像信号を前記音声遅延量に応じた映像遅延量だけ遅延させる映像遅延部と
    　を備える映像音声処理装置。
  2. 　前記映像出力部は、前記動作モードが前記第一モードである期間に、ユーザによる所定の操作のためのユーザインターフェース画面を示す映像信号を出力し、
    　前記受付部は、ユーザの前記所定の操作により入力される前記遅延情報の入力を受け付ける
    　請求項１記載の映像音声処理装置。
  3. 　前記映像遅延部は、前記音声遅延量以下の値である前記映像遅延量だけ前記映像出力部から出力される前記映像信号を遅延させる
    　請求項１記載の映像音声処理装置。
  4. 　前記音声遅延部は、前記映像信号のフレームレートから算出される１フレーム分の時間の整数倍に対応する前記音声遅延量に応じて前記音声出力部から出力される前記音声信号を遅延させる
    　請求項１記載の映像音声処理装置。
  5. 　前記映像遅延部は、前記音声遅延量より大きな前記映像遅延量だけ前記映像出力部から出力される前記映像信号を遅延させ、
    　前記音声送信部は、前記音声遅延量と前記映像遅延量との差分に応じた値だけ、前記音声送信部から送信される前記音声信号を遅延させる
    　請求項１記載の映像音声処理装置。
  6. 　前記映像遅延部は、前記音声遅延量以下である前記映像遅延量であって、前記映像信号のフレームレートから算出される１フレーム分の時間の整数倍に対応する前記映像遅延量だけ前記映像出力部から出力される前記映像信号を遅延させる
    　請求項１記載の映像音声処理装置。
  7. 　前記受付部は、前記遅延情報として、前記音声信号を受信して再生する前記外部の音声再生装置から出力される音声の信号である再生音信号の入力を受け付け、
    　前記映像遅延部は、前記再生音信号と、前記音声遅延部が遅延させる前の前記音声信号との間の遅延量である前記音声遅延量に応じた前記映像遅延量だけ、前記映像出力部から出力される前記映像信号を遅延させる
    　請求項１記載の映像音声処理装置。
  8. 　さらに、前記映像遅延量を示す情報である映像遅延情報を記憶する記憶部を備え、
    　前記映像遅延部は、前記動作モードが前記第二モードである期間に、前記記憶部から読み出した前記映像遅延情報に示される前記映像遅延量だけ、前記映像出力部から出力される前記映像信号を遅延させる
    　請求項１記載の映像音声処理装置。
  9. 　前記記憶部は、前記音声再生装置を含む複数の音声再生装置のそれぞれに対応する複数の映像遅延量を示す前記映像遅延情報を記憶し、
    　前記映像遅延部は、前記動作モードが前記第二モードであって、かつ、前記音声送信部が、前記複数の音声再生装置のそれぞれに同時に前記音声信号を送信する場合、（ｃ）前記記憶部に記憶されている前記映像遅延情報に示される前記複数の映像遅延量のうち、最も大きな映像遅延量を選択し、（ｄ）前記映像出力部から出力される前記映像信号を、選択した映像遅延量だけ遅延させる
    　請求項８記載の映像音声処理装置。
  10. 　映像音声処理装置によって実行される映像音声処理方法であって、
    　前記映像音声処理装置は、映像信号を出力する映像出力部と、前記映像信号に対応する音声信号を出力する音声出力部と、前記映像信号に対応する前記音声信号を、前記映像音声処理装置の外部の音声再生装置に送信する音声送信部とを備え、
    　前記映像音声処理方法は、
    　前記映像音声処理装置の動作モードが、前記音声出力部から前記音声信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第一モードである期間に、前記音声出力部から出力される音声信号を遅延させる量である音声遅延量を特定する遅延情報の入力を受け付ける受付ステップと、
    　前記受付ステップにおいて受け付けられた前記遅延情報によって特定される前記音声遅延量に応じて前記音声出力部から出力される音声信号を遅延させる音声遅延ステップと、
    　前記映像音声処理装置の動作モードが、前記映像出力部から前記映像信号が出力され、かつ、前記音声送信部から前記音声信号が送信される第二モードである期間に、前記映像出力部から出力される映像信号を前記音声遅延量に応じた映像遅延量だけ遅延させる映像遅延ステップと
    　を含む映像音声処理方法。
PCT/JP2012/007669 2012-03-08 2012-11-29 映像音声処理装置および映像音声処理方法 WO2013132562A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/376,575 US20140376873A1 (en) 2012-03-08 2012-11-29 Video-audio processing device and video-audio processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-051943 2012-03-08
JP2012051943A JP5957760B2 (ja) 2012-03-08 2012-03-08 映像音声処理装置

Publications (1)

Publication Number Publication Date
WO2013132562A1 true WO2013132562A1 (ja) 2013-09-12

Family

ID=49116078

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007669 WO2013132562A1 (ja) 2012-03-08 2012-11-29 映像音声処理装置および映像音声処理方法

Country Status (3)

Country Link
US (1) US20140376873A1 (ja)
JP (1) JP5957760B2 (ja)
WO (1) WO2013132562A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174753A1 (en) 2014-05-16 2015-11-19 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
WO2017071073A1 (zh) * 2015-10-29 2017-05-04 小米科技有限责任公司 媒体同步方法和装置
CN107113465A (zh) * 2014-12-10 2017-08-29 艾科星科技公司 用于与多个输出装置的视听同步的方法、装置及系统
EP3138300A4 (en) * 2014-05-16 2017-11-29 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
US10616061B2 (en) 2018-05-09 2020-04-07 Dish Network L.L.C. Methods and systems for automated configurations of media presentation devices

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150296247A1 (en) * 2012-02-29 2015-10-15 ExXothermic, Inc. Interaction of user devices and video devices
US8495236B1 (en) 2012-02-29 2013-07-23 ExXothermic, Inc. Interaction of user devices and servers in an environment
US8896765B1 (en) * 2014-05-16 2014-11-25 Shadowbox Media, Inc. Systems and methods for remote control of a television
US10178281B2 (en) * 2014-07-28 2019-01-08 Starkey Laboratories, Inc. System and method for synchronizing audio and video signals for a listening system
JP2016171418A (ja) * 2015-03-12 2016-09-23 パイオニア株式会社 遅延制御装置
US10158905B2 (en) 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
FR3059507B1 (fr) * 2016-11-30 2019-01-25 Sagemcom Broadband Sas Procede de synchronisation d'un premier signal audio et d'un deuxieme signal audio
US10892833B2 (en) * 2016-12-09 2021-01-12 Arris Enterprises Llc Calibration device, method and program for achieving synchronization between audio and video data when using Bluetooth audio devices
US10225516B2 (en) 2017-06-23 2019-03-05 Cisco Technology, Inc. Latency mitigation through intelligent extrapolation in multimedia systems
CN112216277A (zh) * 2019-07-12 2021-01-12 Oppo广东移动通信有限公司 通过耳机进行语音识别的方法、耳机、语音识别装置
WO2021095918A1 (ko) * 2019-11-13 2021-05-20 엘지전자 주식회사 영상표시장치, 서버 및 이를 포함하는 영상표시시스템
CN110971783B (zh) * 2019-11-29 2022-08-02 深圳创维－Rgb电子有限公司 电视音画同步自整定方法、装置和存储介质
KR102711321B1 (ko) * 2020-01-02 2024-09-30 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10924636B1 (en) * 2020-04-30 2021-02-16 Gopro, Inc. Systems and methods for synchronizing information for videos

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219783A (ja) * 2009-03-16 2010-09-30 Toshiba Corp 通信端末、通信方法およびコンピュータプログラム
JP2010541323A (ja) * 2007-09-21 2010-12-24 トムソン ライセンシング ユーザー観察可能な信号を同期化させるための装置および方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222209A (ja) * 1994-01-31 1995-08-18 Nippon Hoso Kyokai <Nhk> ダウンコンバータの特性評価用記録媒体およびダウンコンバータの特性調整方法
KR100651894B1 (ko) * 2004-07-23 2006-12-06 엘지전자 주식회사 영상기기 및 그 제어방법
JP2007043652A (ja) * 2005-06-30 2007-02-15 Shibasoku:Kk リップシンク信号発生装置
US7907212B2 (en) * 2006-03-20 2011-03-15 Vixs Systems, Inc. Multiple path audio video synchronization
JP4360400B2 (ja) * 2006-12-05 2009-11-11 セイコーエプソン株式会社 コンテンツ再生システムおよびこれに用いられる再生装置、並びにコンテンツ再生方法
EP2081373A1 (en) * 2008-01-15 2009-07-22 Hitachi, Ltd. Video/audio reproducing apparatus
JP2009182912A (ja) * 2008-02-01 2009-08-13 Hitachi Ltd 映像音声再生装置
JP5316189B2 (ja) * 2008-05-23 2013-10-16 ヤマハ株式会社 Ａｖシステム
US20090310027A1 (en) * 2008-06-16 2009-12-17 James Fleming Systems and methods for separate audio and video lag calibration in a video game
JP5310007B2 (ja) * 2008-10-16 2013-10-09 ソニー株式会社 情報処理システム、表示装置、出力装置および情報処理装置
JP5342720B2 (ja) * 2009-03-24 2013-11-13 パナソニック株式会社 音声画像再生システム、補聴器、音声画像処理装置
US8505054B1 (en) * 2009-12-18 2013-08-06 Joseph F. Kirley System, device, and method for distributing audio signals for an audio/video presentation
US20120038827A1 (en) * 2010-08-11 2012-02-16 Charles Davis System and methods for dual view viewing with targeted sound projection
US20120154679A1 (en) * 2010-12-21 2012-06-21 Comcast Cable Communications, Llc User-controlled synchronization of audio and video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541323A (ja) * 2007-09-21 2010-12-24 トムソン ライセンシング ユーザー観察可能な信号を同期化させるための装置および方法
JP2010219783A (ja) * 2009-03-16 2010-09-30 Toshiba Corp 通信端末、通信方法およびコンピュータプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174753A1 (en) 2014-05-16 2015-11-19 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
EP3138300A4 (en) * 2014-05-16 2017-11-29 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
US9871992B2 (en) 2014-05-16 2018-01-16 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
US10097787B2 (en) 2014-05-16 2018-10-09 Samsung Electronics Co., Ltd. Content output apparatus, mobile apparatus, and controlling methods thereof
CN107113465A (zh) * 2014-12-10 2017-08-29 艾科星科技公司 用于与多个输出装置的视听同步的方法、装置及系统
US10034035B2 (en) 2014-12-10 2018-07-24 DISH Technologies L.L.C. Methods, devices and systems for audiovisual synchronization with multiple output devices
EP3231186B1 (en) * 2014-12-10 2019-09-25 DISH Technologies L.L.C. Methods, devices and systems for audiovisual synchronization with multiple output devices
WO2017071073A1 (zh) * 2015-10-29 2017-05-04 小米科技有限责任公司 媒体同步方法和装置
US10616061B2 (en) 2018-05-09 2020-04-07 Dish Network L.L.C. Methods and systems for automated configurations of media presentation devices

Also Published As

Publication number Publication date
JP2013187765A (ja) 2013-09-19
JP5957760B2 (ja) 2016-07-27
US20140376873A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
JP5957760B2 (ja) 映像音声処理装置
US10992451B2 (en) Audio and video playback system and method for playing audio data applied thereto
EP3136718B1 (en) Method for synchronizing video and audio in virtual reality system
JP6509116B2 (ja) オーディオ転送デバイス及び対応する方法
JP5660895B2 (ja) ユーザー観察可能な信号を同期化させるための装置および方法
US11678005B2 (en) Latency negotiation in a heterogeneous network of synchronized speakers
KR20170113087A (ko) 오디오 재생을 위한 시스템 및 방법
US9837093B2 (en) Packet based delivery of multi-channel audio over wireless links
US10587954B2 (en) Packet based delivery of multi-channel audio over wireless links
US20220369034A1 (en) Method and system for switching wireless audio connections during a call
US20220345845A1 (en) Method, Systems and Apparatus for Hybrid Near/Far Virtualization for Enhanced Consumer Surround Sound
US11503405B2 (en) Capturing and synchronizing data from multiple sensors
US20220368554A1 (en) Method and system for processing remote active speech during a call
JP7004627B2 (ja) 映像音声再生システム、映像表示装置及び映像表示方法
JP2010154249A (ja) 映像音声再生システム及び配信装置
US20230113703A1 (en) Method and system for audio bridging with an output device
JPWO2006040827A1 (ja) 送信装置、受信装置、並びに再生装置
CN102231853A (zh) 节目处理方法和移动终端
US20240357215A1 (en) Information processing apparatus, information processing method, and information processing system
WO2023032308A1 (ja) 情報処理装置、情報処理方法、情報処理システム
JP2010093614A (ja) 映像信号再生装置
JP2008136027A (ja) 映像音声再生システムと映像再生装置
WO2024020102A1 (en) Intelligent speech or dialogue enhancement
JP2013146043A (ja) ３ｄ映像表示装置、同プログラム及び同プログラムを記憶した記録媒体
JP2012182769A (ja) 映像音声再生装置及び映像音声再生方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12870918

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14376575

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12870918

Country of ref document: EP

Kind code of ref document: A1