WO2010106743A1 - 画像音声通信装置およびその通信方法 - Google Patents

画像音声通信装置およびその通信方法 Download PDF

Info

Publication number
WO2010106743A1
WO2010106743A1 PCT/JP2010/001362 JP2010001362W WO2010106743A1 WO 2010106743 A1 WO2010106743 A1 WO 2010106743A1 JP 2010001362 W JP2010001362 W JP 2010001362W WO 2010106743 A1 WO2010106743 A1 WO 2010106743A1
Authority
WO
WIPO (PCT)
Prior art keywords
pts
image
audio
unit
timing
Prior art date
Application number
PCT/JP2010/001362
Other languages
English (en)
French (fr)
Inventor
本田義雅
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2010800015685A priority Critical patent/CN102067595B/zh
Priority to JP2011504727A priority patent/JP5490782B2/ja
Priority to US12/992,703 priority patent/US9007525B2/en
Publication of WO2010106743A1 publication Critical patent/WO2010106743A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Definitions

  • the present invention relates to a video and audio communication apparatus and a communication method thereof, and more particularly to a video and audio communication apparatus for performing a video conference and a communication method thereof.
  • ADSL Asymmetric Digital Subscriber Line
  • optical fiber networks have rapidly spread, and low-cost and high-speed Internet connections have become available.
  • ADSL Asymmetric Digital Subscriber Line
  • AV Audio Video reproduction is performed according to the time stamp given to each packet on the TV conference apparatus serving as the transmitting terminal, but the system clocks of the transmitting terminal and the receiving terminal are synchronized. By not doing so, a shift occurs in the playback time.
  • the AV playback timing is the TV conference apparatus on the transmitting terminal side Since it is earlier than this, the reproduction data is short (underflow).
  • the system clock in the TV conference apparatus on the receiving terminal side is slower (delayed) than the TV conference apparatus on the transmitting terminal side
  • the AV generation timing on the TV conference apparatus on the receiving terminal side is the TV on the transmitting terminal side Since it is slower than the conference apparatus, reproduction data is accumulated (overflow).
  • a video conference apparatus for coping with this has been disclosed (see Patent Document 1 below).
  • the accuracy of the input timestamp is calculated based on the time difference between the input timestamp and the self-running timestamp, and if the calculated accuracy error is out of the range, the image data is processed. Control to skip or repeat. Thereby, the image data to be reproduced is corrected.
  • control of skip or repeat of image data such as frame skip or frame repeat is performed.
  • the image may be temporarily stopped during the conversation, and the image may be temporarily interrupted. That is, in the video conference terminal disclosed in Patent Document 1, although it is possible to suppress the difference in reproduction time between the transmitting terminal and the receiving terminal, quality deterioration such as video interruption occurs.
  • the present invention provides an image and voice communication apparatus capable of eliminating a system clock shift without causing a user to feel discomfort of images and sounds, and a communication method thereof.
  • the purpose is
  • a video and audio communication apparatus is a video and audio communication apparatus, and comprises: a transmitting / receiving unit for transmitting / receiving an image and audio through a network; A timing determination unit that determines a timing at which the correction amount of PTS (Presentation Time Stamp) in the received image or sound is to be updated based on the content of the image or sound received by the transmission / reception unit; By updating the correction amount of PTS in the received image or sound at the determined timing, a PTS correction unit that corrects the PTS, and the PTS corrected at the current time indicated by the video and audio communication device Output the received image and sound And an image sound output unit.
  • PTS Presentation Time Stamp
  • the image and voice communication apparatus further includes a user input unit to which user operation information is input by a user operation, and the timing determination unit is an image in which the user operation information input to the user input unit is received.
  • the timing of the user operation accompanied by the screen layout change may be determined as the timing at which the correction amount should be updated.
  • the timing determination unit may be configured to determine whether the received image is the received image when the correlation value between the image received by the transmitting and receiving unit and the temporally previous image of the received image is higher than a preset threshold.
  • the timing output by the image / sound output unit may be determined as the timing at which the correction amount should be updated.
  • the PTS correction of the image is performed at the timing when the temporal correlation of the displayed image is high and the movement in the screen is small, so that the user can perform PTS correction of the image, such as frame skipping or frame repeating. You can do it without being aware of it. As a result, it is possible to eliminate the shift of the system clock without causing the user to feel uncomfortable with the image and the sound.
  • the timing determination unit outputs a timing at which the received image is output by the video and audio output unit as the correction amount. It may be determined as the timing to be updated.
  • the PTS correction of the image is performed at a timing when the data amount of the image to be output is small and the movement in the screen is expected to be small, thereby, for example, the PTS of the image such as frame skip or frame repeat.
  • the correction can be made unnoticeable to the user. As a result, it is possible to eliminate the shift of the system clock without causing the user to feel uncomfortable with the image and the sound.
  • the timing determination unit may be configured to output a timing at which the received audio is output by the image audio output unit when the level of the audio received by the transmitting and receiving unit is smaller than a preset threshold. It may be determined as the timing to be updated.
  • the video and audio communication apparatus further includes a voice input unit for collecting and inputting voice transmitted by the transmitting and receiving unit using a microphone, and the timing determination unit inputs the voice to the voice input unit.
  • the timing at which the input audio is output by the image audio output unit may be determined as the timing at which the correction amount should be updated when the level of the acquired audio is larger than a preset threshold.
  • PTS correction is performed, for example, at a timing when the level of the input voice is large so that the surrounding sound is large or the speaker such as the user is in the uttered state, for example PTS correction can be made unnoticeable to the user.
  • PTS correction can be made unnoticeable to the user.
  • the video / audio communication device further monitors a buffer for temporarily storing the image or voice received by the transmitting / receiving unit, and monitors the remaining capacity of the capacity of the buffer, and performs PTS correction based on the remaining capacity.
  • a PTS correction amount calculation unit for calculating an amount, wherein the PTS correction unit adds the PTS correction amount calculated by the PTS correction amount calculation unit to the PTS in the image or audio at the timing determined by the timing determination unit. May be used to correct the PTS in the image or sound of the determined timing.
  • the present invention can be realized not only as an apparatus but also as an integrated circuit including processing means included in such an apparatus, or as a method in which the processing means constituting the apparatus are steps. May be realized as a program that causes a computer to execute the program.
  • the programs may be distributed via a recording medium such as a CD-ROM or a communication medium such as the Internet.
  • an audio-video communication apparatus and a communication method thereof that can eliminate the shift of the system clock without causing the user to feel uncomfortable with the image and the audio.
  • the timing at which the PTS correction amount that the user hardly notices should be updated is determined, and the PTS of the image or audio is corrected at that timing, which may occur as the PTS correction is performed.
  • the system clock shift can be eliminated without causing the user to feel discomfort due to frame skipping or the like.
  • FIG. 1 is a diagram showing an example of the configuration of a TV conference system provided with the video and audio communication apparatus of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the video and audio communication apparatus according to the present invention.
  • FIG. 3 is a flowchart for explaining the transmission side process of the video and audio communication apparatus according to the present invention.
  • FIG. 4 is a flowchart for explaining the reception process of the video and audio communication apparatus according to the present invention.
  • FIG. 5 is a flowchart for explaining an example of PTS correction amount determination processing according to the present invention.
  • FIG. 6 is a flowchart for explaining the image difference value calculation process according to the present invention.
  • FIG. 7 is a flowchart for explaining the screen layout determination process according to the present invention.
  • FIG. 1 is a diagram showing an example of the configuration of a TV conference system provided with the video and audio communication apparatus of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the video and audio communication apparatus according to the present invention.
  • FIG. 8 is a flowchart for explaining the input speech level detection process according to the present invention.
  • FIG. 9 is a flowchart for explaining the received speech level detection process according to the present invention.
  • FIG. 10 is a flowchart for explaining PTS correction timing determination processing of an image of the audio and video communications apparatus according to the present invention.
  • FIG. 11 is a flowchart for explaining a PTS correction timing determination process of audio of the audio and video communications apparatus according to the present invention.
  • FIG. 12 is a block diagram showing the minimum configuration of the video and audio communication apparatus according to the present invention.
  • FIG. 1 is a diagram showing an example of the configuration of a TV conference system provided with the video and audio communication apparatus of the present invention.
  • the video and audio communication apparatus 100 bidirectionally transmits video and audio data to another video and audio communication apparatus 300 via the network 207.
  • the image and sound communication apparatus 100 transmits the image and sound picked up by the camera microphone 101 to another image and sound communication apparatus 300 via the network 207 and receives the image and sound data from the other image and sound communication apparatus 300. Do. Also, the video and audio communication apparatus 100 performs PTS correction on the received video and audio data, thereby preventing an overflow and an underflow caused by a clock shift between the video and audio communication apparatus 300, that is, between the apparatuses. Audio data is output to the monitor / speaker 103.
  • the other video and audio communication apparatus 300 transmits the video and audio captured by the camera and microphone 301 to the other video and audio communication apparatus 300 via the network 207.
  • the other audiovisual communication device 300 receives the audiovisual data from the audiovisual communication device 100, and outputs the received audiovisual data to the monitor / speaker 303.
  • FIG. 2 is a block diagram showing the configuration of the video and audio communication apparatus according to the present invention.
  • the video and audio communication apparatus 100 includes a video and audio input unit 104, an encoding unit 105, a transmitting unit 106, a receiving unit 108, a PTS correction amount calculating unit 109, and a decoding unit 110. And a PTS correction timing determination unit 111, a PTS correction unit 112, an image / sound output unit 113, a reception buffer 114, and an output buffer 115.
  • a camera microphone 101 for capturing an image is connected to the outside, and a user input unit 102, which is a user interface for inputting a GUI operation which is an operation from a user, is connected.
  • the image and sound communication apparatus 100 is connected to a monitor / speaker 103 for reproducing image and sound data.
  • the image / sound input unit 104 is an interface for inputting uncompressed image and sound data from the camera / microphone 101 that picks up an image.
  • the image / sound input unit 104 receives an image and sound data (hereinafter, referred to as own device image / sound data) input in frame units by the camera / microphone 101, the encoding unit 105, the image / sound output unit 113, and PTS correction timing. And output to the determination unit 111.
  • Encoding section 105 encodes (compress-codes) the image-audio data of its own apparatus input from image-audio input section 104, and outputs the encoded image-audio data of itself to transmitting section 106.
  • the encoding unit 105 may use, for example, H.264.
  • H.264 audio and video data are compressed using a compression coding method such as H.264 and MPEG-4 AAC.
  • the transmitting unit 106 outputs the encoded image and sound data input from the encoding unit 105 to the network 207.
  • the transmitting unit 106 packetizes and outputs its own device audio and video data into, for example, an RTP (Realtime Transport Protocol).
  • RTP Realtime Transport Protocol
  • the transmitting unit 106 describes PTS (Presentation Time Stamp), which is an output time, in the time stamp area of the RTP header of the RTP packet, and performs the RTP packetization on its own apparatus image / sound data as the network 207 Output to another video / audio communication device 300.
  • PTS Presentation Time Stamp
  • the receiving unit 108 includes a receiving buffer 114, and receives and receives image and audio data (hereinafter, referred to as an opposing apparatus audio and video data) transmitted from another video and audio communication apparatus 300 via the network 207 and receives the other apparatus
  • the audio / video data is output to the decoding unit 110, and the amount of received data is output to the PTS correction amount calculation unit 109.
  • the reception unit 108 temporarily stores the RTP packet of the other apparatus image / sound data received in the reception buffer 114.
  • the receiving unit 108 outputs the reception time and the reception data amount extracted from the RTP packet of the partner apparatus image and sound data stored in the reception buffer 114 to the PTS correction amount calculation unit 109 and stores the partner apparatus image and sound in the reception buffer 114.
  • the RTP packet of data is output to the decoding unit 110.
  • the reception buffer 114 temporarily stores the RTP packet of the partner apparatus image / sound data received by the reception unit 108.
  • the RTP packet of the partner apparatus image / sound data stored in the reception buffer 114 is output to the decoding unit 110 via the reception unit 108.
  • the PTS correction amount calculation unit 109 observes the received data amount, and calculates the PTS correction amount based on the observed received data amount. Specifically, the PTS correction amount calculation unit 109 calculates the PTS correction amount using the received data amount input from the reception unit 108 and the remaining capacity of the capacity of the reception buffer 114 input from the decoding unit 110, The calculated PTS correction amount is output to the PTS correction timing determination unit 111.
  • the decoding unit 110 decodes the other device image audio data input from the receiving unit 108, and outputs the decoded other device image audio data to the PTS correction unit 112 and the PTS correction timing determination unit 111. Also, the decoding unit 110 confirms the remaining capacity of the capacity of the reception buffer 114 and, while outputting it to the PTS correction amount calculation unit 109, confirms whether or not the output buffer 115 has a vacant state in which there is a vacancy. . Then, the decoding unit 110 performs the decoding process when it is in the state capable of decoding. That is, the decoding unit 110 receives the RTP packet of the partner apparatus image / sound data from the reception buffer 114 and performs the decoding process when the output buffer 115 is in the decoding enabled state where there is a vacancy in the output buffer 115.
  • the decoding unit 110 converts the RTP packet into the encoded image data format and the encoded audio data format, and outputs the PTS as the output time.
  • the decoding unit 110 may use the H.264 standard for encoded image data. In H.264, decoding is performed on the encoded audio data, and MPEG-4 AAC decoding is performed on the encoded audio data, and the image data and audio data after decoding (hereinafter referred to as the opposite device decoded image audio data) are PTS. It is output to the correction timing determination unit 111.
  • the decoding unit 110 associates the PTS with the video / audio data after the other party apparatus decoding, and stores it in the output buffer 115.
  • the PTS correction timing determination unit 111 is based on the sound transmitted by the transmission unit 106 or the content of the image or sound received by the reception unit 108, that is, the own device image sound data input from the image sound input unit 104, Using at least one of the user operation information input from the user input unit 102 and the decoded video / audio data input from the decoding unit 110, the PTS correction timing that is the timing to update the PTS correction amount is determined Together with the PTS correction amount calculated by the PTS correction amount calculation unit 109, a PTS correction request is output to the PTS correction unit 112.
  • the PTS correction timing determination unit 111 determines that the timing at which the user does not notice easily is the timing at which the correction amount of PTS should be updated as the timing for correcting the clock shift, and requests the PTS correction unit 112 for PTS correction timing. Notify by.
  • the PTS correction unit 112 corrects the PTS associated with the video / audio data after decryption of the partner apparatus. Specifically, PTS correction unit 112 outputs PTS correction timing determination unit 111 to the PTS information associated with the partner apparatus's decoded audio / video data stored in output buffer 115 from decoding unit 110. The PTS information is corrected using the PTS correction amount, and the corrected PTS information is output to the image / sound output unit 113.
  • the audio / video output unit 113 outputs the audio / video data after decryption of the other device stored in the output buffer 115 to the monitor / speaker 103 in accordance with the corrected PTS information input from the PTS correction unit 112. That is, the video / audio output unit 113 compares the corrected PTS value input from the PTS correction unit 112 with the system clock (current time) of the video / audio communication device 100 and determines the partner device of the PTS close to the system clock.
  • the decoded image and audio data are output from the output buffer 115 to the monitor / speaker 103.
  • the video and audio communication apparatus 100 is configured.
  • the operation to be described below is stored as a control program in a storage device such as a ROM or a flash memory (not shown) of the video and audio communication device 100 and is controlled by the CPU.
  • FIG. 3 is a flowchart for explaining the transmission process of the video and audio communication apparatus according to the present invention.
  • the video and audio communication apparatus 100 performs video and audio input processing (S201). Specifically, the image / sound input unit 104 receives uncompressed image / sound data from the camera / microphone 101 externally connected in units of frames, and the input device / image / sound data is encoded by the coding unit 105 It is output to the PTS correction timing determination unit 111 and the video / audio output unit 113.
  • the video and audio communication apparatus 100 performs video and audio coding processing (S202).
  • encoding unit 105 applies, for example, to H.264 audio / video data that has not been compressed and input from video / audio input unit 104.
  • H.264 and MPEG-4 AAC or the like are used for compression encoding, and the encoded audio and video data are output to the transmitting unit 106.
  • the video and audio communication apparatus 100 performs transmission processing (S203). Specifically, the transmitting unit 106 packetizes, for example, RTP (Realtime Transport Protocol) of the post-encoding image-audio data input from the encoding unit 105. That is, the transmitting unit 106 describes PTS (Presentation Time Stamp), which is an output time, in the time stamp area of the RTP header, and performs RTP packetization on its own apparatus audiovisual data through another network 207 via the network 207. It is output to the voice communication device 300.
  • RTP Realtime Transport Protocol
  • PTS Presentation Time Stamp
  • the video and audio communication apparatus 100 outputs its own video and audio data to another video and audio communication apparatus 300 via the network 207.
  • FIG. 4 is a flow chart for explaining the reception side process of the video and audio communication apparatus according to the present invention.
  • the audio and video communications apparatus 100 performs a packet reception process (S301). Specifically, the receiving unit 108 receives the RTP packet of the partner apparatus image / voice data transmitted from the other video / audio communication apparatus 300 via the network 207, and receives the RTP packet of the received partner apparatus image / voice data. Once stored in 114. Then, the PTS correction amount calculation unit 109 outputs the reception time and the reception data amount extracted from the received other-party device image and sound data stored in the reception buffer 114 to the PTS correction amount calculation unit 109, and the decoding unit 110 is in a decodable state. In this case, it outputs the received RTP packet of the other-party video / audio data to the decoding unit 110.
  • the video and audio communication apparatus 100 performs a packet decoding process (S302). Specifically, the decoding unit 110 confirms the remaining capacity of the capacity of the reception buffer 114, and outputs it to the PTS correction amount calculation unit 109, and at the same time, there is a vacant state in the output buffer 115. Confirm. Then, when it is in the decodable state, it decodes the RTP packet of the partner apparatus image audio data received from the reception buffer 114, calculates PTS which is the output time, and decodes the partner apparatus image audio data. Are output to the PTS correction timing determination unit 111. In addition, the decoding unit 110 associates the decoded image data and the decoded audio data with the PTS, and stores the PTS in the output buffer 115.
  • the audio and video communications apparatus 100 performs PTS correction amount calculation processing (S303). Specifically, the PTS correction amount calculation unit 109 calculates the PTS correction amount using the received data amount input from the reception unit 108 and the remaining capacity of the reception buffer 114 input from the decoding unit 110, The calculated PTS correction amount is output to the PTS correction timing determination unit 111. The details of the PTS correction amount calculation process will not be described here because they will be described later.
  • the audio and video communications apparatus 100 performs PTS correction timing determination processing (S304). Specifically, the PTS correction timing determination unit 111 receives the image-audio data of its own apparatus input from the image-audio input unit 104, the user operation information input from the user input unit 102, and the decoding input from the decoding unit 110. PTS correction timing is determined using at least one of the post-image audio data. The details of the PTS correction timing determination will not be described here because they will be described later.
  • the PTS correction timing determination unit 111 determines the PTS correction timing in S304 (in the case of YES in S304)
  • the PTS correction unit 112 sends a PTS correction request together with the PTS correction amount calculated by the PTS correction amount calculation unit 109.
  • the audio and video communications apparatus 100 performs PTS offset change (S305) and performs PTS correction (S306).
  • PTS correction unit 112 outputs PTS correction timing determination unit 111 to the PTS information associated with the partner apparatus's decoded audio / video data stored in output buffer 115 from decoding unit 110.
  • the PTS information is corrected using the corrected PTS correction amount.
  • the PTS information after correction is output to the image / sound output unit 113.
  • the PTS correction unit 112 corrects the PTS based on (Expression 1) to (Expression 4) below.
  • Offset_V and Offset_A indicate PTS offset values of image data and audio data, respectively
  • Offset_V_prev and Offset_A_prev indicate previous values of PTS offset values of image data and audio data, respectively.
  • Correct_V and Correct_A indicate PTS correction values of image data and audio data, respectively.
  • PTS_V ′ (t) and PTS_A ′ (t) indicate PTS values after PTS correction of the image and audio of frame t, respectively
  • PTS_V (t) and PTS_A ( t) indicates the PTS values of the image and audio of frame t, respectively.
  • the PTS correction unit 112 uses the PTS values (PTS_V (t) and PTS_A (t)) of the image and audio data of the frame t stored in the output buffer 115 based on (Expression 1) to (Expression 4).
  • the PTS value is always corrected by adding the offset values (Offset_V and Offset_A).
  • the PTS correction unit 112 uses the PTS correction amounts (Correct_V and Correct_A) output from the PTS correction timing determination unit 111 to update offset values (Offset_V and Offset_A) used for PTS correction.
  • the PTS correction unit 112 can change the PTS discontinuously by updating the offset using the PTS correction amount at the timing determined by the PTS correction timing determination unit 111.
  • the audio and video communications apparatus 100 performs audio and video output processing (S307). Specifically, the video / audio output unit 113 compares the corrected PTS value input from the PTS correction unit 112 with the system clock (current time) of the video / audio communication device 100, and the system clock (current time) The video / audio data after the other party's device decoding of the PTS close to is output from the output buffer 115 to the monitor / speaker 103.
  • the PTS correction timing determination unit 111 does not output anything to the PTS correction unit 112.
  • the PTS correction unit 112 does not change the PTS offset (S306). Then, the video / audio output unit 113 compares the PTS value input from the PTS correction unit 112 with the system clock (current time) of the video / audio communication device 100, and the PTS partner close to the system clock (current time). The audio / video data after device decoding is output from the output buffer 115 to the monitor / speaker 103.
  • the video and audio communication apparatus 100 performs processing on the receiving side.
  • FIG. 5 is a flowchart for explaining an example of the PTS correction amount calculation process of the video and audio communication apparatus according to the present invention.
  • the video and audio communication apparatus 100 performs an average reception rate calculation process (S3031). Specifically, the PTS correction amount calculation unit 109 calculates an average reception rate (AverageBps) using the amount of received data input from the reception unit 108.
  • the formula for calculating the average reception rate is shown in (Equation 5), the method for calculating the reception rate is not limited to the formula shown in (Equation 5).
  • AverageBps indicates the average reception rate (bit / s)
  • RecvBits indicates the amount of received data (bit).
  • N indicates a preset statistical section N (seconds)
  • SUM RecvBits indicates a total value of the amount of received data received by the receiving unit 108 in the statistical section N (seconds).
  • the PTS correction amount calculation unit 109 calculates an average reception rate using the average value of the data amount received by the reception unit 108 in the statistical section N (seconds), as shown in (Expression 5).
  • the audio and video communications apparatus 100 performs statistical processing of the remaining amount of the reception buffer 114 (S3032). Specifically, the PTS correction amount calculation unit 109 statistically processes the remaining capacity of the capacity of the reception buffer 114 input from the decoding unit 110, and determines whether the remaining capacity of the buffer tends to increase or decrease. Do.
  • the evaluation value of the increase / decrease tendency a delay time which is one of the influences exerted by the increase / decrease of the remaining capacity of the buffer capacity will be described.
  • a formula for calculating the current delay time (CurrDelay), which is an evaluation value of the increase / decrease tendency, is shown in (Expression 6).
  • CurrDelay indicates the current delay time
  • BufferLevel indicates the current remaining capacity (bit) of the reception buffer 114.
  • AverageBps indicates an average reception rate (bit / s)
  • INIT_DELAY indicates a preset initial delay time.
  • the PTS correction amount calculation unit 109 calculates the time required to consume the buffer by dividing the remaining capacity of the buffer capacity by the average reception rate as shown in (Expression 6), and consumes the calculated buffer.
  • the current delay time is obtained by subtracting the initial delay time from the time required for That is, by observing the tendency of the current delay time, the tendency of the remaining capacity of the reception buffer 114 to be exerted on the delay time is observed.
  • the current delay time (CurrDelay) is calculated at a constant interval (equation 6) without performing statistical processing on the increase / decrease tendency of the current delay time. Since the average reception rate is equivalent to the average coding rate, it is used to calculate the time for consuming the buffer.
  • the audio and video communications apparatus 100 performs PTS correction amount determination processing (S3033). Specifically, the PTS correction amount calculation unit 109 calculates the PTS correction amount using the average reception rate (AveregeBps) and the remaining capacity of the capacity of the reception buffer 114. A formula for calculating the PTS correction amount is shown in (Expression 7).
  • CurrDelay indicates a current delay time
  • Correct_A indicates a PTS correction amount of audio
  • Correct_V indicates a PTS correction amount of an image.
  • TH_H and TH_L indicate predetermined thresholds (however, TH_L ⁇ INIT_DELAY ⁇ TH_L), and SCALE indicates a constant for converting a second to a PTS unit of 90 kHZ.
  • Equation 7 shows the following 1 to 3. 1. When the current delay time is positive and the absolute value is larger than the threshold (TH_H), the PTS correction amount is set to a negative value. 2. If the current delay time is negative and the absolute value is larger than the threshold (TH_L), the PTS correction amount is set to a positive value. 3. In cases other than 1 and 2 above, the PTS correction amount is 0.
  • the PTS correction amount calculation unit 109 determines the PTS correction amount by the threshold determination of the current delay time as shown in (Expression 7).
  • the PTS correction amount calculation unit 109 calculates the PTS correction amount as the same value for the image and the sound according to (Expression 7), the method of calculating the PTS correction amount is not limited to (Expression 7). For example, by treating the current delay time and the average reception rate separately for the image and the sound, the PTS correction amount may be calculated separately for the image and the sound.
  • the video and audio communication apparatus 100 performs PTS correction amount calculation processing.
  • FIG. 6 is a flowchart for explaining the image difference value calculation process according to the present invention.
  • the PTS correction timing determination unit 111 performs difference processing between successive images using the decoded image data input from the decoding unit 110, and calculates a value absolute sum (SAD) as an image difference value (S401). ).
  • the PTS correction timing determination unit 111 determines whether the calculated image difference value is smaller than a predetermined threshold (S402).
  • the PTS correction timing determination unit 111 determines that it is PTS correction timing (S403). As described above, the PTS correction timing determination unit 111 determines that the timing at which the movement of the display image is small and the user hardly notices skip or repeat control such as frame skip is the PTS correction timing at which the PTS correction amount should be updated. .
  • the PTS correction timing determination unit 111 determines that it is not the PTS correction timing (S404).
  • the PTS correction timing determination unit 111 uses the decoded image data input from the decoding unit 110 to determine PTS correction timing.
  • the difference value absolute sum (SAD) as the image difference value described above is calculated, for example, by (Expression 8).
  • SAD (i) indicates the absolute difference sum of the ith image
  • Y (x, y, i) indicates the luminance value of the pixel at the x and y coordinates of the ith image
  • W indicates the number of horizontal pixels of the image
  • H indicates the number of vertical pixels of the image.
  • the image difference value is a total value of the difference absolute values between successive images, and it can be said that the smaller the image difference value is, the smaller the movement in time. Therefore, when the image difference value calculated in this way is smaller than a predetermined threshold, it is determined that it is the timing to update the PTS correction amount that the user is not likely to notice as the timing to correct the clock shift.
  • the calculation method of an image difference value is not limited to (Formula 8), What is necessary is just a method which can detect the motion in an image.
  • the data amount of the received image may be monitored, and when the data amount of the received image is small, it may be determined that the image has little movement. This is because, in image coding, a difference image between frames is often predicted and coding processing is performed, and in an image with a small amount of movement, the difference value is small and the amount of data as the coding result is also small. .
  • FIG. 7 is a flowchart for explaining the screen layout determination process according to the present invention.
  • the PTS correction timing determination unit 111 analyzes user operation information, for example, a user request input from the user input unit 102 (S411), and determines whether there is a screen layout change (S412).
  • the PTS correction timing determination unit 111 analyzes user operation information and determines that there is a screen layout change when the screen transition shown in the following 1 to 3 is performed (YES in S412), it is determined that it is PTS correction timing It determines (S413).
  • the PTS correction timing determination unit 111 changes the screen layout significantly to allow the user to not easily notice timing for PTS correction of an image such as a frame skip and the PTS correction amount. It is determined that it is the PTS correction timing to be updated.
  • the PTS correction timing determination unit 111 determines that the screen layout is not changed (in the case of NO in S402). It is determined not (S414).
  • the PTS correction timing determination unit 111 uses the user operation information input from the user input unit 102 to determine PTS correction timing.
  • the screen transition determined as the screen layout change is not limited to cases 1 to 3 where the above-mentioned screen display changes largely. For example, even if the GUI display is always displayed on the screen viewed by the user, it may be determined that the screen layout has been changed, for example, when the user performs a menu operation on the GUI.
  • FIG. 8 is a flowchart for explaining the input speech level detection process according to the present invention.
  • the PTS correction timing determination unit 111 detects an input audio level (AudioInLevel) using the input audio data input from the video and audio input unit 104 (S421).
  • the input sound level to be detected is, for example, an average volume of a certain section.
  • the PTS correction timing determination unit 111 determines whether the detected input audio level is larger than a predetermined threshold (S422).
  • the PTS correction timing determination unit 111 determines that it is PTS correction timing (S423). Because, if the input voice level to be detected is large, the surrounding voice is large or the user (speaker) is speaking and it is difficult to notice the sound skipping of the received voice, so the PTS correction amount should be updated at PTS correction timing. It is because it can be determined that there is.
  • the PTS correction timing determination unit 111 determines that it is not the PTS correction timing when the detected input audio level is smaller than a predetermined threshold (in the case of NO in S422) (S424).
  • the PTS correction timing determination unit 111 determines the PTS correction timing using the input audio data of the own device input from the video and audio input unit 104.
  • FIG. 9 is a flowchart for explaining the received speech level detection process according to the present invention.
  • the PTS correction timing determination unit 111 detects a received audio level (AudioOutLevel) using the decoded audio data input from the decoding unit 110 (S431).
  • the reception sound level to be detected is, for example, an average volume of a certain section.
  • the PTS correction timing determination unit 111 determines whether the detected received audio level is smaller than a predetermined threshold (S432).
  • the PTS correction timing determination unit 111 determines that it is a PTS correction timing when the detected input audio level is smaller than a predetermined threshold (in the case of YES in S432) (S433). This is because when the detected received audio level is smaller than a predetermined threshold, it is difficult to notice the sound skipping of the received audio, so it can be determined that it is the PTS correction timing at which the PTS correction amount should be updated.
  • a predetermined threshold in the case of YES in S432
  • the PTS correction timing determination unit 111 determines that the PTS correction timing is not reached (S424) when the detected input audio level is larger than a predetermined threshold (NO in S422).
  • the PTS correction timing determination unit 111 determines the PTS correction timing using the decoded audio data input from the decoding unit 110.
  • the PTS correction timing determination unit 111 may determine the PTS correction timing using at least one of FIGS. 6 to 9 described above. For example, the PTS correction timing may be determined for only the image, or the PTS correction timing may be determined for only the audio.
  • FIG. 10 is a flowchart for explaining PTS correction timing determination processing of an image of the audio and video communications apparatus according to the present invention.
  • the PTS correction timing determination unit 111 performs image difference value calculation processing (S400).
  • the PTS correction timing determination unit 111 performs screen layout determination processing (S410).
  • the image difference value calculation process of S400 performs the processes of S401 to S404 described above, and the screen layout determination process of S420 performs the process of S411 to S414 described above, and thus the description thereof is omitted.
  • the PTS correction timing determination unit 111 confirms whether or not the PTS correction timing is determined in at least one process of S400 and S420 (S452).
  • the PTS correction timing determination unit 111 determines that it is the PTS correction timing when it is determined that it is the PTS correction timing in at least one process of S400 and S420 (in the case of YES of S452) (S453).
  • PTS correction timing at which the PTS correction amount should be updated is the timing when the movement of the screen is small or the screen layout changes significantly as the timing at which the user hardly notices skip or repeat control such as frame skip. It is determined that
  • the PTS correction timing determination unit 111 determines that it is not the PTS correction timing when it is determined that it is not the PTS correction timing in any of the processes of S400 and S420 (case of NO of S452) (S454).
  • the PTS correction timing determination unit 111 determines the PTS correction timing of the image.
  • FIG. 11 is a flowchart for explaining a PTS correction timing determination process of audio of the audio and video communications apparatus according to the present invention.
  • the PTS correction timing determination unit 111 performs an input sound level detection process (S420).
  • the PTS correction timing determination unit 111 performs a received audio level detection process (S430).
  • the input speech level detection process of S420 performs the processes of S421 to 424 described above
  • the reception speech level detection process of S430 performs the process of S431 to 434 described above, and thus the description thereof is omitted.
  • the PTS correction timing determination unit 111 confirms whether or not the PTS correction timing is determined in at least one process of S420 and S430 (S452).
  • the PTS correction timing determination unit 111 determines that it is the PTS correction timing when it is determined that it is the PTS correction timing in at least one process of S430 and S420 (in the case of YES of S452) (S453).
  • the timing at which the user hardly notices sound skipping it is determined that the timing when the input audio level is large or the received audio level is small is the PTS correction timing at which the PTS correction amount should be updated.
  • the PTS correction timing determination unit 111 determines that it is not the PTS correction timing when it is determined that it is not the PTS correction timing in any of the processes of S400 and S420 (case of NO of S452) (S454).
  • the PTS correction timing determination unit 111 determines the PTS correction timing of audio.
  • the PTS correction timing determination unit 111 may simultaneously determine PTS correction timings for images and sounds as shown in FIGS. 10 and 11, and the PTS correction timings may be freely combined with S400, S410, S420 and S430. It may be determined.
  • the PTS correction amount calculation unit 109 monitors the increase / decrease tendency of the capacity of the reception buffer 114, calculates the PTS correction amount in the direction to offset the system clock shift amount, and determines the PTS correction timing.
  • the unit 111 determines the PTS correction timing as the timing at which the user hardly notices the correction of the image or the sound. Then, according to the PTS correction request determined by the PTS correction timing determination unit 111, the PTS correction unit 112 corrects the PTS of an image or audio using a PTS correction amount, and the PTS corrected by the image / audio output unit 113 Output image and sound according to.
  • the output time correction (cancellation of the system clock deviation), which is necessary due to the system clock difference between the transmitting and receiving terminals such as the video and audio communication apparatus 100 and another video and audio communication apparatus 300, It can be performed without causing a sense of incongruity with the image and the voice.
  • the present invention is to prevent deterioration of subjective quality due to skipping of frames and skipping of sound which reduces the feeling of facing, particularly in an audiovisual communication apparatus used as a highly realistic TV conference apparatus using a large screen. It is possible and useful.
  • the video and audio communication apparatus 100 includes the video and audio input unit 104, the encoding unit 105, the transmitting unit 106, the receiving unit 108, the PTS correction amount calculating unit 109, and Although the encoding unit 110, the PTS correction timing determination unit 111, the PTS correction unit 112, the video / audio output unit 113, the reception buffer 114, and the output buffer 115 are provided, the present invention is not limited thereto. As shown in FIG. 12, if at least the transmitting / receiving unit 106/108, the PTS correction timing determination unit 111, the PTS correction unit 112, and the video / audio output unit 113 are provided as the minimum configuration of the video / audio communication device 100 Good.
  • the video and audio communication apparatus 100 transmits and receives the image and the voice through the network by the transceiver unit 106/108, the content of the voice transmitted by the transceiver unit 106/108, and the transceiver unit 106/108.
  • the PTS correction timing determination unit 111 that determines the timing at which the PTS correction amount in the received image or sound should be updated based on the content of the received image or the content of sound received by the transmission / reception unit 106/108
  • the PTS correction unit 112 corrects the PTS by updating the correction amount of the PTS in the received image or sound at the timing determined by the PTS correction timing determination unit 111;
  • an image and sound output unit 113 for outputting an image and voice.
  • the transmitting and receiving units 106 and 108 are obtained by integrating the functions of the transmitting unit 106 and the receiving unit 108 described above.
  • the audio-video communication apparatus and the communication method of the present invention of the present invention were explained based on the embodiment, the present invention is not limited to this embodiment. Without departing from the spirit of the present invention, various modifications that may occur to those skilled in the art may be made to the present embodiment, or a form constructed by combining components in different embodiments is also included in the scope of the present invention. .
  • the present invention can be used for a video and audio communication apparatus and method thereof, and in particular, can be used for a highly realistic video and audio communication apparatus and method using a large screen in particular.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる画像音声通信装置は、ネットワークを通じて、画像および音声を送受信する送受信部（１０６／１０８）と、前記送受信部により送信される音声、または前記送受信部により受信された画像もしくは音声の内容に基づいて、当該受信された画像または音声におけるＰＴＳの補正量を更新すべきタイミングを判定するＰＴＳ補正タイミング判定部（１１１）と、前記ＰＴＳ補正タイミング判定部により判定されたタイミングに当該受信された画像または音声におけるＰＴＳの補正量を更新することにより、当該ＰＴＳを補正するＰＴＳ補正部（１１２）と、前記画像音声通信装置が示す現在時刻における補正された当該ＰＴＳに対応する当該受信された画像および音声を出力する画像音声出力部（１１３）とを備える。

Description

画像音声通信装置およびその通信方法
　本発明は、画像音声通信装置およびその通信方法に関し、特にＴＶ会議を行うための画像音声通信装置およびその通信方法に関する。
　近年、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）および光ファイバー網が急速に普及し、低価格で高速なインターネット接続が利用可能となっている。また、こうした低価格の高速インターネットを利用して遠隔の拠点間の映像音声データを双方向に伝送することにより、簡易にＴＶ会議システムを構築することも可能となっている。
　そして、構築可能なＴＶ会議システムとして、ＨＤ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ）解像度を撮像可能なカメラの出現とＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）に代表されるディスプレイ大型化とにより、大画面ディスプレイに等身大で人物を表示するなど対面感のある臨場感の高いＴＶ会議システムがある。
　このような対面感のある臨場感の高い大画面ＴＶ会議システムでは、例えば１９２０ｘ１０８０画素のフルＨＤで秒６０フレームの高精細の動きが滑らかな映像を用いて、等身大で表示することが可能である。そのため、映像の途切れあるいは音声の途切れは品質劣化につながってしまう。
　また、ＴＶ会議装置システムでは、映像音声の一方方向の放送と異なり、映像音声の双方向通信を行うが、送信端末となるＴＶ会議装置と受信端末となるＴＶ会議装置のシステムクロックを同期させることができない。
　そのため、受信端末となるＴＶ会議装置では、送信端末となるＴＶ会議装置側でパケット毎に付与したタイムスタンプに従いＡＶ（Ａｕｄｉｏ　Ｖｉｄｅｏ）再生を行うが、送信端末と受信端末とのシステムクロックが同期していないことにより、再生時刻にズレが発生してしまう。
　例えば受信端末側のＴＶ会議装置におけるシステムクロックが送信端末側であるＴＶ会議装置より早い（進んでいる）場合、受信端末側のＴＶ会議装置では、ＡＶ再生タイミングは送信端末側であるＴＶ会議装置よりも早いため、再生データが不足する（アンダーフロー）状態となる。逆に、受信端末側のＴＶ会議装置におけるシステムクロックが送信端末側であるＴＶ会議装置より遅い（遅れている）場合、受信端末側のＴＶ会議装置では、ＡＶ生成タイミングは送信端末側であるＴＶ会議装置よりも遅いため、再生データが蓄積する（オーバーフロー）状態となる。
　これに対応するためのＴＶ会議装置が開示されている（下記特許文献１参照。）。このＴＶ会議装置では、入力されたストリーム中のタイムスタンプと自走タイムスタンプとの時刻差に基づいて入力タイムスタンプの精度を算出し、算出した精度の誤差が範囲外の場合には、画像データをスキップまたはリピートする制御を行う。それにより、再生する画像データの補正を行う。
特開２００４－１５５５３号公報
　しかしながら、上記特許文献１に開示されるＴＶ会議端末により構成される対面感がある臨場感の高いＴＶ会議システムでは、例えばフレームのスキップまたはフレームのリピートなど画像データのスキップまたはリピートの制御が行われると、例えば映像が会話中に一時的に停止してしまうことがあり画像が一時的だが途切れてしまう。すなわち、特許文献１に開示されるＴＶ会議端末では、送信端末と受信端末との再生時刻のズレを抑制することができるものの、映像の途切れなどの品質劣化を生んでしまうことになる。
　このように、上記特許文献１に開示されるＴＶ会議端末では、品質劣化によりコミュニケーションが阻害されてしまうので、対面感がある臨場感の高いＴＶ会議システムに代表されるコミュニケーション用途用としては不適である。
　そこで、本発明は、上記のような点に鑑みて、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる画像音声通信装置およびその通信方法を提供することを目的とする。
　上記目的を達成するために、本発明に係る画像音声通信装置は、画像音声通信装置であって、ネットワークを通じて、画像および音声を送受信する送受信部と、前記送受信部により送信される音声、または前記送受信部により受信された画像もしくは音声の内容に基づいて、当該受信された画像または音声におけるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）の補正量を更新すべきタイミングを判定するタイミング判定部と、前記タイミング判定部により判定されたタイミングに当該受信された画像または音声におけるＰＴＳの補正量を更新することにより、当該ＰＴＳを補正するＰＴＳ補正部と、前記画像音声通信装置が示す現在時刻における補正された当該ＰＴＳに対応する当該受信された画像および音声を出力する画像音声出力部とを備える。
　この構成によれば、ユーザが気づきにくいタイミングを判定することができ、判定したタイミングにおいてＰＴＳ補正が行われた画像または音声を出力することができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる。
　また、前記画像音声通信装置は、さらに、ユーザ操作によりユーザ操作情報が入力されるユーザ入力部を備え、前記タイミング判定部は、前記ユーザ入力部に入力されたユーザ操作情報が前記受信された画像の画面レイアウト変更を伴うユーザ操作を示す場合に、当該画面レイアウト変更を伴うユーザ操作のタイミングを、前記補正量を更新すべきタイミングとして判定してもよい。
　この構成によれば、画面レイアウトが変更されるタイミングにおいて画像のＰＴＳ補正が行われることにより、例えばフレームのスキップなどの、画像のＰＴＳ補正をユーザに気づかせずにすることができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる。
　また、前記タイミング判定部は、前記送受信部により受信された画像と当該受信された画像の時間的に前の画像との相関値が予め設定した閾値より高い場合に、当該受信された画像が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定してもよい。
　この構成によれば、表示する画像の時間的相関が高く画面内の動きが少ないタイミングにおいて画像のＰＴＳ補正が行われることにより、例えばフレームのスキップまたはフレームのリピートなどの、画像のＰＴＳ補正をユーザに気づかせずにすることができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる。
　また、前記タイミング判定部は、前記送受信部により受信された画像のデータ量が予め設定した閾値より小さい場合に、前記受信された画像が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定してもよい。
　この構成によれば、出力する画像のデータ量が小さく画面内の動きが少ないと予想されるタイミングにおいて画像のＰＴＳ補正が行われることにより、例えばフレームのスキップまたはフレームのリピートなどの、画像のＰＴＳ補正をユーザに気づかせずにすることができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる。
　また、前記タイミング判定部は、前記送受信部により受信された音声のレベルが予め設定した閾値よりも小さい場合に、前記受信された音声が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定するとしてもよい。
　この構成によれば、再生する音のレベルが小さいタイミングにてＰＴＳ補正が行われることにより、例えば音とびなどによる音声のＰＴＳ補正をユーザに気づかせずにすることができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる。
　また、前記画像音声通信装置は、さらに、前記送受信部により送信される音声がマイクを用いて収音されて入力される音声入力部とを備え、前記タイミング判定部は、前記音声入力部に入力された音声のレベルが予め設定した閾値よりも大きい場合に、前記入力された音声が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定してもよい。
　この構成によれば、例えば周辺の音が大きいまたはユーザなどの話者が発話状態にあるように入力される音声のレベルが大きいタイミングにてＰＴＳ補正が行われることにより、例えば音とびなどによる音声のＰＴＳ補正をユーザに気づかせずにすることができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる。
　また、前記画像音声通信装置は、さらに、前記送受信部により受信された画像または音声を一時的に記憶するバッファと、前記バッファの容量の残量を監視し、当該残量に基づいて、ＰＴＳ補正量を算出するＰＴＳ補正量算出部とを備え、前記ＰＴＳ補正部は、前記タイミング判定部により判定されたタイミングの画像または音声におけるＰＴＳに前記ＰＴＳ補正量算出部により算出されたＰＴＳ補正量を加算することを用いて、当該判定されたタイミングの画像または音声におけるＰＴＳを補正してもよい。
　この構成によれば、システムクロックのズレ量を相殺する方向にＰＴＳ補正量を算出することができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる。
　なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、それらプログラムは、ＣＤ－ＲＯＭなどの記録媒体やインターネットなどの通信媒体を介して配信してもよい。
　本発明によれば、ユーザに対して画像・音声の違和感を生むことなくシステムクロックのズレを解消することができる画像音声通信装置およびその通信方法を実現することができる。
　具体的には、ユーザが気づきにくいＰＴＳの補正量を更新すべきタイミングを判定し、そのタイミングで画像または音声のＰＴＳが補正されることにより、ＰＴＳ補正が行われることに伴い発生する例えば音とびまたはフレームのスキップなどによる違和感をユーザに感じさせずにシステムクロックのズレを解消することができる。
図１は、本発明の画像音声通信装置を備えるＴＶ会議システム構成例を示す図である。 図２は、本発明に係る画像音声通信装置の構成を示すブロック図である。 図３は、本発明に係る画像音声通信装置の送信側処理を説明するためのフローチャートである。 図４は、本発明に係る画像音声通信装置の受信処理を説明するためのフローチャートである。 図５は、本発明に係るＰＴＳ補正量決定処理の１例を説明するためのフローチャートである。 図６は、本発明に係る画像差分値算出処理を説明するためのフローチャートである。 図７は、本発明に係る画面レイアウト判定処理を説明するためのフローチャートである。 図８は、本発明に係る入力音声レベル検出処理を説明するためのフローチャートである。 図９は、本発明に係る受信音声レベル検出処理を説明するためのフローチャートである。 図１０は、本発明に係る画像音声通信装置の画像のＰＴＳ補正タイミング判定処理を説明するためのフローチャートである。 図１１は、本発明に係る画像音声通信装置の音声のＰＴＳ補正タイミング判定処理を説明するためのフローチャートである。 図１２は、本発明に係る画像音声通信装置の最小構成を示すブロック図である。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　図１は、本発明の画像音声通信装置を備えるＴＶ会議システム構成例を示す図である。
　図１に示すように、ＴＶ会議システムは、画像音声通信装置１００がネットワーク２０７を介して他の画像音声通信装置３００と、画像音声データを双方向に伝送する。
　画像音声通信装置１００は、ネットワーク２０７を介して、他の画像音声通信装置３００にカメラ・マイク１０１により撮像された画像音声を送信し、かつ、他の画像音声通信装置３００から画像音声データを受信する。また、画像音声通信装置１００は、受信した画像音声データのＰＴＳ補正を行うことにより他の画像音声通信装置３００との間すなわち装置間のクロックのズレにより発生するオーバーフローやアンダーフローを防止しつつ画像音声データをモニタ・スピーカ１０３に出力する。
　他の画像音声通信装置３００は、ネットワーク２０７を介して、他の画像音声通信装置３００にカメラ・マイク３０１により撮像された画像音声を送信する。また、他の画像音声通信装置３００は、画像音声通信装置１００から画像音声データを受信し、受信した画像音声データをモニタ・スピーカ３０３に出力する。
　図２は、本発明に係る画像音声通信装置の構成を示すブロック図である。
　図２に示すように、画像音声通信装置１００は、画像音声入力部１０４と、符号化部１０５と、送信部１０６と、受信部１０８と、ＰＴＳ補正量算出部１０９と、復号化部１１０と、ＰＴＳ補正タイミング判定部１１１と、ＰＴＳ補正部１１２と、画像音声出力部１１３と、受信バッファ１１４と、出力バッファ１１５とを備える。また、画像音声通信装置１００は、画像を撮像するカメラ・マイク１０１が外部に接続され、ユーザからの操作であるＧＵＩ操作が入力されるユーザインターフェースであるユーザ入力部１０２が接続されている。また、画像音声通信装置１００は、画像音声データを再生するモニタ・スピーカ１０３に接続されている。
　画像音声入力部１０４は、画像を撮像するカメラ・マイク１０１から非圧縮の画像および音声データを入力するインターフェースである。画像音声入力部１０４は、カメラ・マイク１０１によりフレーム単位で入力された画像および音声データ（以下、自装置画像音声データと記載。）を、符号化部１０５と画像音声出力部１１３とＰＴＳ補正タイミング判定部１１１とに出力する。
　符号化部１０５は、画像音声入力部１０４より入力された自装置画像音声データを符号化（圧縮符号化）し、符号化した自装置画像音声データを送信部１０６に出力する。ここで、符号化部１０５は、例えばＨ．２６４およびＭＰＥＧ－４　ＡＡＣなどの圧縮符号化方式を用いて自装置画像音声データの圧縮符号化を行う。
　送信部１０６は、符号化部１０５より入力された符号化後の自装置画像音声データをネットワーク２０７に出力する。ここで、例えば、送信部１０６は、自装置画像音声データを例えばＲＴＰ（Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）パケット化して出力する。具体的には、送信部１０６は、ＲＴＰパケットのＲＴＰヘッダのタイムスタンプ領域に出力時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）を記述して、ＲＴＰパケット化を行った自装置画像音声データを、ネットワーク２０７を介して他の画像音声通信装置３００に出力する。
　受信部１０８は、受信バッファ１１４を備え、ネットワーク２０７経由で他の画像音声通信装置３００から送信された画像および音声データ（以下、相手装置画像音声データと記載。）を受信し、受信した相手装置画像音声データを復号化部１１０に出力するとともに、受信データ量をＰＴＳ補正量算出部１０９に出力する。具体的には、受信部１０８は、受信バッファ１１４に受信した相手装置画像音声データのＲＴＰパケットを一旦保存する。受信部１０８は、受信バッファ１１４に保存する相手装置画像音声データのＲＴＰパケットから抽出した受信時刻と受信データ量とをＰＴＳ補正量算出部１０９に出力し、受信バッファ１１４に保存する相手装置画像音声データのＲＴＰパケットを復号化部１１０に出力する。
　受信バッファ１１４は、受信部１０８が受信した相手装置画像音声データのＲＴＰパケットを一時的に保存する。受信バッファ１１４が保存している相手装置画像音声データのＲＴＰパケットは、復号化部１１０に、受信部１０８を介して出力される。
　ＰＴＳ補正量算出部１０９は、受信データ量を観測しており、観測している受信データ量に基づいてＰＴＳ補正量を算出している。具体的には、ＰＴＳ補正量算出部１０９は、受信部１０８から入力される受信データ量と復号化部１１０より入力される受信バッファ１１４の容量の残量を用いてＰＴＳ補正量を算出し、算出したＰＴＳ補正量をＰＴＳ補正タイミング判定部１１１に出力する。
　復号化部１１０は、受信部１０８より入力された相手装置画像音声データの復号化を行い、復号化後の相手装置画像音声データをＰＴＳ補正部１１２とＰＴＳ補正タイミング判定部１１１とに出力する。また、復号化部１１０は、受信バッファ１１４の容量の残量を確認し、ＰＴＳ補正量算出部１０９に出力しつつ、出力バッファ１１５に空きがある状態である復号化可能状態かどうかを確認する。そして、復号化部１１０は、復号化可能状態である場合に復号化処理を行う。すなわち、復号化部１１０は、出力バッファ１１５に空きがある状態である復号化可能状態である場合に、受信バッファ１１４から相手装置画像音声データのＲＴＰパケットを受け取り、復号化処理を行う。
　具体的には、復号化部１１０は、受信バッファ１１４から受け取ったＲＴＰパケットの復号化処理として、ＲＴＰパケットから符号化画像データ形式および符号化音声データ形式への変換を行い、出力時刻であるＰＴＳを算出する。さらに、復号化部１１０は、符号化画像データに対してはＨ．２６４で復号化を、符号化音声データに対してはＭＰＥＧ－４　ＡＡＣ復号化を行い、復号化後の画像データおよび音声データ（以下、相手装置復号化後画像音声データと記載する。）をＰＴＳ補正タイミング判定部１１１に出力する。それと同時に、復号化部１１０は、相手装置復号化後画像音声データとそれにＰＴＳを関連付けて出力バッファ１１５に保存する。
　ＰＴＳ補正タイミング判定部１１１は、送信部１０６により送信される音声、または受信部１０８により受信された画像もしくは音声の内容に基づいて、すなわち画像音声入力部１０４から入力された自装置画像音声データ、ユーザ入力部１０２から入力されたユーザ操作情報および復号化部１１０より入力された復号化後画像音声データの少なくとも１つを用いて、ＰＴＳの補正量を更新すべきタイミングであるＰＴＳ補正タイミングを判定し、ＰＴＳ補正量算出部１０９で算出されたＰＴＳ補正量と共に、ＰＴＳ補正部１１２にＰＴＳ補正要求とを出力する。すなわち、ＰＴＳ補正タイミング判定部１１１は、クロックのズレ補正を行うタイミングとして、ユーザが気づきにくいタイミングをＰＴＳの補正量を更新すべきタイミングと判定し、ＰＴＳ補正部１１２にＰＴＳ補正タイミングをＰＴＳ補正要求で通知する。
　ＰＴＳ補正部１１２は、ＰＴＳ補正タイミング判定部１１１より入力されたＰＴＳ補正要求に応じて、相手装置復号化後画像音声データに関連付けられたＰＴＳの補正を行う。具体的には、ＰＴＳ補正部１１２は、復号化部１１０より出力バッファ１１５に保存された相手装置復号化後画像音声データに関連付けられたＰＴＳ情報に対して、ＰＴＳ補正タイミング判定部１１１より出力されたＰＴＳ補正量を用いてＰＴＳ情報を補正し、補正後のＰＴＳ情報を画像音声出力部１１３に出力する。
　画像音声出力部１１３は、ＰＴＳ補正部１１２より入力される補正後のＰＴＳ情報に従い、出力バッファ１１５に保存されている相手装置復号化後画像音声データをモニタ・スピーカ１０３に出力する。すなわち、画像音声出力部１１３は、ＰＴＳ補正部１１２より入力された補正後のＰＴＳ値と画像音声通信装置１００のシステムクロック（現在時刻）とを比較して、そのシステムクロックに近いＰＴＳの相手装置復号化後画像および音声データを出力バッファ１１５からモニタ・スピーカ１０３に出力する。
　以上のようにして、画像音声通信装置１００は構成される。
　次いで、上記構成を有する画像音声通信装置１００の動作について、図を用いて説明する。なお、以下に説明する動作は、画像音声通信装置１００の図示しない例えばＲＯＭやフラッシュメモリなどの記憶装置に制御プログラムとして記憶されており、ＣＰＵによって制御される。
　図３は、本発明に係る画像音声通信装置の送信処理を説明するためのフローチャートである。
　まず、画像音声通信装置１００は、画像音声入力処理を行う（Ｓ２０１）。具体的には、画像音声入力部１０４は、外部に接続されたカメラ・マイク１０１から非圧縮の自装置画像音声がフレーム単位で入力され、入力された自装置画像音声データを符号化部１０５とＰＴＳ補正タイミング判定部１１１と画像音声出力部１１３とに出力する。
　次に、画像音声通信装置１００は、画像音声符号化処理を行う（Ｓ２０２）。具体的には、符号化部１０５は、画像音声入力部１０４より入力された非圧縮の自装置画像音声データに対して、例えばＨ．２６４およびＭＰＥＧ－４　ＡＡＣなどの圧縮符号化方式を用いて圧縮符号化を行い、符号化後の自装置画像音声データを送信部１０６に出力する。
　次に、画像音声通信装置１００は、送信処理を行う（Ｓ２０３）。具体的には、送信部１０６は、符号化部１０５から入力された符号化後の自装置画像音声データを例えばＲＴＰ（Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）パケット化する。すなわち、送信部１０６は、ＲＴＰヘッダのタイムスタンプ領域に出力時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）を記述して、ＲＴＰパケット化を行った自装置画像音声データを、ネットワーク２０７を介して他の画像音声通信装置３００に出力する。
　以上のように、画像音声通信装置１００は、自装置画像音声データをネットワーク２０７を介して他の画像音声通信装置３００に出力する。
　図４は、本発明に係る画像音声通信装置の受信側処理を説明するためのフローチャートである。
　まず、画像音声通信装置１００は、パケット受信処理を行う（Ｓ３０１）。具体的には、受信部１０８は、ネットワーク２０７経由で他の画像音声通信装置３００から送信された相手装置画像音声データのＲＴＰパケットを受信し、受信した相手装置画像音声データのＲＴＰパケットを受信バッファ１１４に一旦保存する。そして、受信バッファ１１４に保存している受信した相手装置画像音声データから抽出した受信時刻と受信データ量とをＰＴＳ補正量算出部１０９に出力するとともに、復号化部１１０が復号化可能状態である場合に、受信した相手装置画像音声データのＲＴＰパケットを復号化部１１０に出力する。
　次に、画像音声通信装置１００は、パケット復号化処理を行う（Ｓ３０２）。具体的には、復号化部１１０は、受信バッファ１１４の容量の残量を確認し、ＰＴＳ補正量算出部１０９に出力しつつ、出力バッファ１１５に空きがある状態である復号化可能状態かどうかを確認する。そして、復号化可能状態である場合に受信バッファ１１４から受け取った相手装置画像音声データのＲＴＰパケットの復号化処理を行い、出力時刻であるＰＴＳを算出するとともに、復号化後の相手装置画像音声データをＰＴＳ補正タイミング判定部１１１に出力する。また、復号化部１１０は、復号化画像データおよび復号化音声データとそれぞれのＰＴＳを関連付けて出力バッファ１１５に保存する。
　次に、画像音声通信装置１００は、ＰＴＳ補正量算出処理を行う（Ｓ３０３）。具体的には、ＰＴＳ補正量算出部１０９は、受信部１０８から入力された受信データ量と復号化部１１０より入力された受信バッファ１１４の容量の残量を用いてＰＴＳ補正量を算出し、算出したＰＴＳ補正量をＰＴＳ補正タイミング判定部１１１に出力する。なお、ＰＴＳ補正量算出処理の詳細については、後述するためここでは説明を省略する。
　次に、画像音声通信装置１００は、ＰＴＳ補正タイミング判定処理を行う（Ｓ３０４）。具体的には、ＰＴＳ補正タイミング判定部１１１は、画像音声入力部１０４より入力された自装置画像音声データ、ユーザ入力部１０２から入力されたユーザ操作情報および復号化部１１０より入力された復号化後画像音声データの少なくとも１つを用いてＰＴＳ補正タイミングを判定する。なお、ＰＴＳ補正タイミング判定の詳細については、後述するためここでは説明を省略する。
　ＰＴＳ補正タイミング判定部１１１は、Ｓ３０４において、ＰＴＳ補正タイミングを判定する場合（Ｓ３０４のＹＥＳの場合）、ＰＴＳ補正量算出部１０９より算出されたＰＴＳ補正量と共に、ＰＴＳ補正部１１２にＰＴＳ補正要求とを出力する。
　次に、画像音声通信装置１００は、ＰＴＳオフセット変更を行い（Ｓ３０５）、ＰＴＳ補正を行う（Ｓ３０６）。具体的には、ＰＴＳ補正部１１２は、復号化部１１０より出力バッファ１１５に保存された相手装置復号化後画像音声データに関連付けられたＰＴＳ情報に対して、ＰＴＳ補正タイミング判定部１１１より出力されたＰＴＳ補正量を用いてＰＴＳ情報を補正する。そして、補正後のＰＴＳ情報を画像音声出力部１１３に出力する。
　ここで、ＰＴＳ補正部１１２が行うＰＴＳ補正方法の例について説明する。ＰＴＳ補正部１１２は、下記の（式１）～（式４）に基づいてＰＴＳを補正する。
Figure JPOXMLDOC01-appb-M000001
  
Figure JPOXMLDOC01-appb-M000002
  
Figure JPOXMLDOC01-appb-M000003
  
Figure JPOXMLDOC01-appb-M000004
  
　（式１）および（式２）において、Ｏｆｆｓｅｔ＿ＶおよびＯｆｆｓｅｔ＿Ａは、それぞれ画像データおよび音声データのＰＴＳオフセット値を示し、Ｏｆｆｓｅｔ＿Ｖ＿ｐｒｅｖおよびＯｆｆｓｅｔ＿Ａ＿ｐｒｅｖは、それぞれ画像データおよび音声データのＰＴＳオフセット値の前回の値を示す。また、Ｃｏｒｒｅｃｔ＿ＶおよびＣｏｒｒｅｃｔ＿Ａは、それぞれ画像データおよび音声データのＰＴＳ補正値を示す。また、（式３）および（式４）において、ＰＴＳ＿Ｖ’（ｔ）およびＰＴＳ＿Ａ’（ｔ）は、それぞれフレームｔの画像および音声のＰＴＳ補正後のＰＴＳ値を示し、ＰＴＳ＿Ｖ（ｔ）およびＰＴＳ＿Ａ（ｔ）は、それぞれフレームｔの画像および音声のＰＴＳ値を示す。
　ＰＴＳ補正部１１２は、（式１）～（式４）に基づいて、出力バッファ１１５に保存されたフレームｔの画像および音声データのＰＴＳ値（ＰＴＳ＿Ｖ（ｔ）および　ＰＴＳ＿Ａ（ｔ））に、ＰＴＳオフセット値（Ｏｆｆｓｅｔ＿ＶおよびＯｆｆｓｅｔ＿Ａ）を加えることによりＰＴＳ値を常に補正する。
　さらに、ＰＴＳ補正部１１２は、ＰＴＳ補正タイミング判定部１１１より出力されたＰＴＳ補正量（Ｃｏｒｒｅｃｔ＿ＶおよびＣｏｒｒｅｃｔ＿Ａ）を用いてＰＴＳ補正に用いるオフセット値（Ｏｆｆｓｅｔ＿Ｖおよび　Ｏｆｆｓｅｔ＿Ａ）の更新を行う。
　このようにして、ＰＴＳ補正部１１２は、ＰＴＳ補正タイミング判定部１１１により決定されたタイミングでＰＴＳ補正量を用いてオフセットを更新することによりＰＴＳを不連続に変更することができる。
　次に、画像音声通信装置１００は、画像音声出力処理を行う（Ｓ３０７）。具体的には、画像音声出力部１１３は、ＰＴＳ補正部１１２より入力された補正後のＰＴＳ値と画像音声通信装置１００のシステムクロック（現在時刻）とを比較して、そのシステムクロック（現在時刻）に近いＰＴＳの相手装置復号化後画像音声データを出力バッファ１１５からモニタ・スピーカ１０３に出力する。
　なお、ＰＴＳ補正タイミング判定部１１１は、Ｓ３０４において、ＰＴＳ補正タイミングを判定しない場合（Ｓ３０４のＮＯの場合）、ＰＴＳ補正部１１２にはなにも出力しない。
　その場合、ＰＴＳ補正部１１２は、ＰＴＳのオフセット変更を行わない（Ｓ３０６）。そして、画像音声出力部１１３は、ＰＴＳ補正部１１２より入力されたＰＴＳ値と画像音声通信装置１００のシステムクロック（現在時刻）とを比較して、そのシステムクロック（現在時刻）に近いＰＴＳの相手装置復号化後画像音声データを出力バッファ１１５からモニタ・スピーカ１０３に出力する。
　以上のようにして、画像音声通信装置１００は、受信側の処理を行う。
　図５は、本発明に係る画像音声通信装置のＰＴＳ補正量算出処理の１例を説明するためのフローチャートである。
　まず、画像音声通信装置１００は、平均受信レート算出処理を行う（Ｓ３０３１）。具体的には、ＰＴＳ補正量算出部１０９は、受信部１０８から入力された受信データ量を用いて、平均受信レート（ＡｖｅｒａｇｅＢｐｓ）を算出する。（式５）に平均受信レートの算出式を示すが、受信レートの算出方法は、（式５）に示される算出式に限定されるものではない。
Figure JPOXMLDOC01-appb-M000005
  
　ここで、ＡｖｅｒａｇｅＢｐｓは、平均受信レート（ｂｉｔ／ｓ）を示しており、ＲｅｃｖＢｉｔｓは受信データ量（ｂｉｔ）を示している。Ｎは、予め設定された統計区間Ｎ（秒）を示しており、ＳＵＭ（ＲｅｃｖＢｉｔｓ）は、統計区間Ｎ（秒）に受信部１０８が受信した受信データ量の合計値を示している。
　ＰＴＳ補正量算出部１０９は、（式５）に示すように、統計区間Ｎ（秒）に受信部１０８が受信したデータ量の平均値を用いて平均受信レートを算出する。
　次に、画像音声通信装置１００は、受信バッファ１１４の残量統計処理を行う（Ｓ３０３２）。具体的には、ＰＴＳ補正量算出部１０９は、復号化部１１０より入力された受信バッファ１１４の容量の残量を統計処理し、バッファ残量が増加傾向にあるのか減少傾向にあるのかを判定する。ここでは、増減傾向の評価値として、バッファ容量の残量の増減が及ぼす影響の１つである遅延時間を用いて説明する。増減傾向の評価値である現在遅延時間（ＣｕｒｒＤｅｌａｙ）の算出式を（式６）に示す。
Figure JPOXMLDOC01-appb-M000006
  
　ここで、ＣｕｒｒＤｅｌａｙは、現在遅延時間を示し、ＢｕｆｆｅｒＬｅｖｅｌは、現在の受信バッファ１１４の容量の残量（ｂｉｔ）を示している。ＡｖｅｒａｇｅＢｐｓは、平均受信レート（ｂｉｔ／ｓ）を示し、ＩＮＩＴ＿ＤＥＬＡＹは、予め設定された初期遅延時間を示している。
　ＰＴＳ補正量算出部１０９は、（式６）に示すように、バッファ容量の残量を平均受信レートで割ることによりバッファを消費するために必要な時間を算出し、算出したバッファを消費するために必要な時間から初期遅延時間を差分することで現在遅延時間とする。すなわち、現在遅延時間の傾向を見ることにより、受信バッファ１１４の容量の残量が遅延時間に及ぼす傾向を観測する。ただし、ここでは説明を簡単にするために、現在遅延時間の増減傾向を統計処理することはしないで、一定間隔で（式６）により現在遅延時間（ＣｕｒｒＤｅｌａｙ）を算出するものとして説明する。なお、平均受信レートは、平均符号化レートと等価であるため、バッファを消費するための時間を算出するのに用いる。
　次に、画像音声通信装置１００は、ＰＴＳ補正量決定処理を行う（Ｓ３０３３）。具体的には、ＰＴＳ補正量算出部１０９は、平均受信レート（ＡｖｅｒｅｇｅＢｐｓ）と受信バッファ１１４の容量の残量とを用いてＰＴＳ補正量を算出する。（式７）にＰＴＳ補正量の算出式を示す。
Figure JPOXMLDOC01-appb-M000007
　ここで、ＣｕｒｒＤｅｌａｙは、現在遅延時間を、Ｃｏｒｒｅｃｔ＿Ａは、音声のＰＴＳ補正量を、Ｃｏｒｒｅｃｔ＿Ｖは、画像のＰＴＳ補正量を示している。ＴＨ＿ＨおよびＴＨ＿Ｌは、予め決められた閾値（ただしＴＨ＿Ｌ＜　ＩＮＩＴ＿ＤＥＬＡＹ＜　ＴＨ＿Ｌとする。）を示しており、ＳＣＡＬＥは、秒からＰＴＳ単位である９０ｋＨＺに変換するための定数を示している。
　また、（式７）は次の１～３について示している。１．現在遅延時間が正であり、絶対値が閾値（ＴＨ＿Ｈ）よりも大きい場合、ＰＴＳ補正量を負の値とする。２．現在遅延時間が負であり、絶対値が閾値（ＴＨ＿Ｌ）よりも大きい場合、ＰＴＳ補正量を正の値とする。３．上記１および２以外の場合、ＰＴＳ補正量は０とする。
　このように、ＰＴＳ補正量算出部１０９は、（式７）に示すように現在遅延時間の閾値判定によりＰＴＳ補正量を決定する。
　なお、ＰＴＳ補正量算出部１０９は、（式７）によりＰＴＳ補正量を画像と音声とで同じ値として算出しているが、ＰＴＳ補正量の算出方法は（式７）に限定されない。例えば現在遅延時間および平均受信レートを画像と音声とで別々に扱うことにより、画像と音声とで個別のＰＴＳ補正量を算出してもよい。
　以上のようにして、画像音声通信装置１００は、ＰＴＳ補正量算出処理を行う。
　次に、図６～図１１を用いて、画像音声通信装置１００におけるＰＴＳ補正タイミング判定処理の例を説明する。
　図６は、本発明に係る画像差分値算出処理を説明するためのフローチャートである。
　まず、ＰＴＳ補正タイミング判定部１１１は、復号化部１１０より入力された復号化画像データを用いて連続する画像間で差分処理を行い、画像差分値として値絶対和（ＳＡＤ）を算出する（Ｓ４０１）。
　次に、ＰＴＳ補正タイミング判定部１１１は、算出した画像差分値が、予め定めた閾値より小さいどうかを判定する（Ｓ４０２）。
　ＰＴＳ補正タイミング判定部１１１は、算出した画像差分値が予め定めた閾値よりも小さい場合（Ｓ４０２のＹＥＳの場合）、ＰＴＳ補正タイミングであると判定する（Ｓ４０３）。このように、ＰＴＳ補正タイミング判定部１１１は、表示画像の動きが小さくユーザがフレームのスキップなどのスキップまたはリピート制御に気づきにくいタイミングを、ＰＴＳ補正量を更新すべきＰＴＳ補正タイミングであると判定する。
　一方、ＰＴＳ補正タイミング判定部１１１は、算出した画像差分値が予め定めた閾値よりも大きい場合（Ｓ４０２のＮＯの場合）、ＰＴＳ補正タイミングではないと判定する（Ｓ４０４）。
　以上のように、ＰＴＳ補正タイミング判定部１１１は、復号化部１１０より入力された復号化画像データを用いて、ＰＴＳ補正タイミングを判定する。
　上述した画像差分値としての差分値絶対和（ＳＡＤ）は、例えば（式８）により算出する。
Figure JPOXMLDOC01-appb-M000008
  　ここで、ＳＡＤ（ｉ）は、ｉ番目の画像の差分絶対和を示しており、Ｙ（ｘ、ｙ、ｉ）は、ｉ番目の画像のｘおよびｙ座標の画素の輝度値を示している。Ｗは、画像の水平画素数を示しており、Ｈは、画像の垂直画素数を示している。
　また、（式８）に示すように、画像差分値は、連続する画像間の差分絶対値の合計値となっており、画像差分値が小さいほど時間的に動きの少ない画像であるといえる。したがって、このように算出した画像差分値が予め定めた閾値よりも小さい場合に、クロックのズレの補正を行うタイミングとしてユーザが気づきにくいＰＴＳ補正量を更新すべきタイミングであると判定する。
　なお、画像差分値の算出方法は、（式８）に限定されるものではなく、画像内の動きを検出できる方法であればよい。画像内の動きを検出する別の方法としては、例えば受信画像のデータ量を監視し、受信画像のデータ量が小さい場合には動きの少ない画像であると判定する方法でもよい。なぜなら、画像符号化においては、フレーム間の差分画像を予測し符号化処理を行うことが多く、動きの少ない画像では、その差分値が小さくなり符号化結果であるデータ量も小さくなるためである。
　図７は、本発明に係る画面レイアウト判定処理を説明するためのフローチャートである。
　まず、ＰＴＳ補正タイミング判定部１１１は、ユーザ入力部１０２より入力された例えばユーザ要求であるユーザ操作情報を解析し（Ｓ４１１）、画面レイアウト変更があるか否かを判定する（Ｓ４１２）。
　ＰＴＳ補正タイミング判定部１１１は、ユーザ操作情報を解析し下記１～３に示す画面遷移が行われる場合に画面レイアウト変更があると判定した場合（Ｓ４１２のＹＥＳの場合）、ＰＴＳ補正タイミングであると判定する（Ｓ４１３）。
　１．自画像表示と相手画像表示との画面遷移
　２．相手画像表示とＧＵＩ表示との画面遷移
　３．ＧＵＩ表示と自画像表示との画面遷移
　このように、ＰＴＳ補正タイミング判定部１１１は、画面レイアウトが大きく変わることで、フレームのスキップなどの画像のＰＴＳ補正にユーザが気づきにくいタイミングを、ＰＴＳ補正量を更新すべきＰＴＳ補正タイミングであると判定する。
　一方、ＰＴＳ補正タイミング判定部１１１は、ユーザ操作情報により、上記に示すような画面遷移は行われないと解析する場合、画面レイアウト変更はないと判定し（Ｓ４０２のＮＯの場合）、ＰＴＳ補正タイミングではないと判定する（Ｓ４１４）。
　以上のように、ＰＴＳ補正タイミング判定部１１１は、ユーザ入力部１０２から入力されたユーザ操作情報を用いてＰＴＳ補正タイミングを判定する。
　なお、画面レイアウト変更ありと判定される画面遷移は、上述した画面表示が大きく変わる１～３の場合に限らない。例えば、ユーザが見ている画面にＧＵＩ表示が常にされていたとしても、例えばユーザによりＧＵＩに対してメニュー操作などが行われている場合には、画面レイアウト変更ありと判定してもよい。
　図８は、本発明に係る入力音声レベル検出処理を説明するためのフローチャートである。
　まず、ＰＴＳ補正タイミング判定部１１１は、画像音声入力部１０４より入力された入力音声データを用いて、入力音声レベル（ＡｕｄｉｏＩｎＬｅｖｅｌ）を検出する（Ｓ４２１）。ここで、検出される入力音声レベルは、例えば一定区間の平均音量としている。
　次に、ＰＴＳ補正タイミング判定部１１１は、検出した入力音声レベルが、予め定めた閾値より大きいかどうかを判定する（Ｓ４２２）。
　検出した入力音声レベルが、予め定めた閾値よりも大きい場合（Ｓ４２２のＹＥＳの場合）、ＰＴＳ補正タイミング判定部１１１は、ＰＴＳ補正タイミングであると判定する（Ｓ４２３）。なぜなら、検出する入力音声レベルが大きい場合は、周辺の音声が大きいまたはユーザ（話者）が発言中であり、受信音声の音とびに気づきにくいので、ＰＴＳ補正量を更新すべきＰＴＳ補正タイミングであると判定できるからである。
　一方、ＰＴＳ補正タイミング判定部１１１は、検出した入力音声レベルが、予め定めた閾値よりも小さい場合（Ｓ４２２のＮＯの場合）、ＰＴＳ補正タイミングではないと判定する（Ｓ４２４）。
　以上のように、ＰＴＳ補正タイミング判定部１１１は、画像音声入力部１０４から入力された自装置の入力音声データを用いて、ＰＴＳ補正タイミングを判定する。
　図９は、本発明に係る受信音声レベル検出処理を説明するためのフローチャートである。
　まず、ＰＴＳ補正タイミング判定部１１１は、復号化部１１０より入力された復号化音声データを用いて、受信音声レベル（ＡｕｄｉｏＯｕｔＬｅｖｅｌ）を検出する（Ｓ４３１）。ここで、検出される受信音声レベルは、例えば一定区間の平均音量としている。
　次に、ＰＴＳ補正タイミング判定部１１１は、検出した受信音声レベルが、予め定めた閾値より小さいかどうかを判定する（Ｓ４３２）。
　ＰＴＳ補正タイミング判定部１１１は、検出した入力音声レベルが、予め定めた閾値よりも小さい場合（Ｓ４３２のＹＥＳの場合）、ＰＴＳ補正タイミングであると判定する（Ｓ４３３）。これは、検出した受信音声レベルが予め定めた閾値よりも小さいときは、受信音声の音とびに気づきにくいので、ＰＴＳ補正量を更新すべきＰＴＳ補正タイミングであると判定できるからである。
　一方、ＰＴＳ補正タイミング判定部１１１は、検出した入力音声レベルが、予め定めた閾値よりも大きい場合（Ｓ４２２のＮＯの場合）、ＰＴＳ補正タイミングではないと判定する（Ｓ４２４）。
　以上のように、ＰＴＳ補正タイミング判定部１１１は、復号化部１１０より入力された復号化後の音声データを用いて、ＰＴＳ補正タイミングを判定する。
　また、ＰＴＳ補正タイミング判定部１１１は、上述の図６～図９の少なくとも１つを用いてＰＴＳ補正タイミングを判定すればよい。例えば、画像に関してのみＰＴＳ補正タイミングを判定してもよいし、音声に関してのみＰＴＳ補正タイミングを判定してもよい。
　図１０は、本発明に係る画像音声通信装置の画像のＰＴＳ補正タイミング判定処理を説明するためのフローチャートである。
　図１０に示すように、まず、ＰＴＳ補正タイミング判定部１１１は、画像差分値算出処理を行う（Ｓ４００）。次いで、ＰＴＳ補正タイミング判定部１１１は、画面レイアウト判定処理を行う（Ｓ４１０）。なお、Ｓ４００の画像差分値算出処理は、上述したＳ４０１～４０４の処理を行い、Ｓ４２０の画面レイアウト判定処理は、上述したＳ４１１～４１４の処理を行うため説明を省略する。
　次に、ＰＴＳ補正タイミング判定部１１１は、Ｓ４００およびＳ４２０の少なくとも１つの処理でＰＴＳ補正タイミングと判定されたかを確認する（Ｓ４５２）。
　ＰＴＳ補正タイミング判定部１１１は、Ｓ４００およびＳ４２０の少なくとも１つの処理で、ＰＴＳ補正タイミングであると判定された場合（Ｓ４５２のＹＥＳの場合）、ＰＴＳ補正タイミングであると判定する（Ｓ４５３）。
　このように、ユーザがフレームのスキップなどのスキップまたはリピート制御に気づきにくいタイミングとして、画面の動きが少ないときまたは画面レイアウトが大きく変わるときのタイミングを、ＰＴＳ補正量を更新すべきＰＴＳ補正タイミングであると判定する。
　一方、ＰＴＳ補正タイミング判定部１１１は、Ｓ４００およびＳ４２０のいずれの処理でも、ＰＴＳ補正タイミングではないと判定された場合（Ｓ４５２のＮＯの場合）、ＰＴＳ補正タイミングでないと判定する（Ｓ４５４）。
　以上のように、ＰＴＳ補正タイミング判定部１１１は、画像のＰＴＳ補正タイミングを判定する。
　以下同様に、音声のＰＴＳ補正タイミングを判定する場合を説明する。
　図１１は、本発明に係る画像音声通信装置の音声のＰＴＳ補正タイミング判定処理を説明するためのフローチャートである。
　図１１に示すように、まず、ＰＴＳ補正タイミング判定部１１１は、入力音声レベル検出処理を行う（Ｓ４２０）。次いで、ＰＴＳ補正タイミング判定部１１１は、受信音声レベル検出処理を行う（Ｓ４３０）。なお、Ｓ４２０の入力音声レベル検出処理は、上述したＳ４２１～４２４の処理を行い、Ｓ４３０の受信音声レベル検出処理は、上述したＳ４３１～４３４の処理を行うため説明を省略する。
　次に、ＰＴＳ補正タイミング判定部１１１は、Ｓ４２０およびＳ４３０の少なくとも１つの処理でＰＴＳ補正タイミングと判定されたかを確認する（Ｓ４５２）。ＰＴＳ補正タイミング判定部１１１は、Ｓ４３０およびＳ４２０の少なくとも１つの処理で、ＰＴＳ補正タイミングであると判定された場合（Ｓ４５２のＹＥＳの場合）、ＰＴＳ補正タイミングであると判定する（Ｓ４５３）。
　このように、ユーザが音飛びに気づきにくいタイミングとして、入力音声レベルが大きいときまたは受信音声レベルが小さいときのタイミングを、ＰＴＳ補正量を更新すべきＰＴＳ補正タイミングであると判定する。
　一方、ＰＴＳ補正タイミング判定部１１１は、Ｓ４００およびＳ４２０のいずれの処理でも、ＰＴＳ補正タイミングではないと判定された場合（Ｓ４５２のＮＯの場合）、ＰＴＳ補正タイミングでないと判定する（Ｓ４５４）。
　以上のように、ＰＴＳ補正タイミング判定部１１１は、音声のＰＴＳ補正タイミングを判定する。
　なお、ＰＴＳ補正タイミング判定部１１１は、図１０および図１１に示すような画像および音声のＰＴＳ補正タイミングを同時に判定してもよく、Ｓ４００、Ｓ４１０、Ｓ４２０およびＳ４３０を自由に組み合わせてＰＴＳ補正タイミングを判定すればよい。
　以上のように、本実施の形態では、ＰＴＳ補正量算出部１０９が受信バッファ１１４の容量の増減傾向を監視しシステムクロックのズレ量を相殺する方向にＰＴＳ補正量を算出し、ＰＴＳ補正タイミング判定部１１１が、ユーザが画像または音声の補正に気づきにくいタイミングとしてＰＴＳ補正タイミングを判定する。そして、ＰＴＳ補正部１１２は、ＰＴＳ補正タイミング判定部１１１により判定されたＰＴＳ補正要求に応じて、ＰＴＳ補正量を用いて画像または音声のＰＴＳを補正し、画像音声出力部１１３が補正されたＰＴＳに従い画像および音声の出力を行う。
　以上、本発明によれば、画像音声通信装置１００と他の画像音声通信装置３００とのような送受信端末間のシステムクロック差により必要となる出力時刻補正（システムクロックのズレの解消）を、ユーザに対して画像・音声の違和感を生じさせずに行うことができる。
　また、本発明では、上述のようにＰＴＳ補正を行うことによりＡＶ同期を保ちつつ受信バッファ１１４のオーバーフローまたはアンダーフローを防止することができる。
　また、本発明は、特に大画面を利用する臨場感の高いＴＶ会議装置として使用される画像音声通信装置において、対面感を低下させるフレームのスキップや音飛びによる主観品質の低下を防止することが可能であり有用である。
　なお、上記の説明では、本発明に係る画像音声通信装置１００は、画像音声入力部１０４と、符号化部１０５と、送信部１０６と、受信部１０８と、ＰＴＳ補正量算出部１０９と、復号化部１１０と、ＰＴＳ補正タイミング判定部１１１と、ＰＴＳ補正部１１２と、画像音声出力部１１３と、受信バッファ１１４と、出力バッファ１１５とを備えるとしたが、それに限られない。図１２に示すように、画像音声通信装置１００の最小構成として、送受信部１０６／１０８と、ＰＴＳ補正タイミング判定部１１１と、ＰＴＳ補正部１１２と、画像音声出力部１１３とを少なくとも備えていればよい。
　具体的には、最小構成として画像音声通信装置１００は、ネットワークを通じて、画像および音声を送受信する送受信部１０６／１０８と、送受信部１０６／１０８により送信される音声の内容、送受信部１０６／１０８により受信された画像の内容、または送受信部１０６／１０８により受信された音声の内容に基づいて、受信された画像または音声におけるＰＴＳの補正量を更新すべきタイミングを判定するＰＴＳ補正タイミング判定部１１１と、ＰＴＳ補正タイミング判定部１１１により判定されたタイミングに当該受信された画像または音声におけるＰＴＳの補正量を更新することにより、当該ＰＴＳを補正するＰＴＳ補正部１１２と、前記画像音声通信装置が示す現在時刻における補正された当該ＰＴＳに対応する当該受信された画像および音声を出力する画像音声出力部１１３とを備える。ここで、送受信部１０６／１０８は、上記の、送信部１０６と受信部１０８との機能を一体にしたものである。
そして、この最小構成によれば、ユーザが気づきにくいタイミングを判定することができ、判定したタイミングにおいてＰＴＳ補正が行われた画像または音声を出力することができる。それにより、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消する効果を奏することができる。すなわち、ユーザに対して画像・音声の違和感を生じさせずにシステムクロックのズレを解消することができる画像音声通信装置を実現することができる。
　以上、本発明の画像音声通信装置およびその通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　本発明は、画像音声通信装置およびその方法に利用でき、特に、特に大画面を利用する臨場感の高い画像音声通信装置およびその方法に利用することができる。
　１００　画像音声通信装置
　１０１、３０１　カメラ・マイク
　１０２　ユーザ入力
　１０３、３０３　モニタ・スピーカ
　１０４　画像音声入力部
　１０５　符号化部
　１０６　送信部
　１０８　受信部
　１０９　ＰＴＳ補正量算出部
　１１０　復号化部
　１１１　ＰＴＳ補正タイミング判定部
　１１２　ＰＴＳ補正部
　１１３　画像音声出力部
　１１４　受信バッファ
　１１５　出力バッファ
　２０７　ネットワーク
　３００　他の画像音声通信装置

Claims (11)

  1. 　画像音声通信装置であって、
    　ネットワークを通じて、画像および音声を送受信する送受信部と、
    　前記送受信部により送信される音声の内容、前記送受信部により受信された画像の内容、または前記送受信部により受信された音声の内容に基づいて、当該受信された画像または音声におけるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）の補正量を更新すべきタイミングを判定するタイミング判定部と、
    　前記タイミング判定部により判定されたタイミングに当該受信された画像または音声におけるＰＴＳの補正量を更新することにより、当該ＰＴＳを補正するＰＴＳ補正部と、
    　前記画像音声通信装置が示す現在時刻における補正された当該ＰＴＳに対応する当該受信された画像および音声を出力する画像音声出力部とを備える
    　画像音声通信装置。
  2. 　前記画像音声通信装置は、さらに、
    　ユーザ操作によりユーザ操作情報が入力されるユーザ入力部を備え、
    　前記タイミング判定部は、前記ユーザ入力部に入力されたユーザ操作情報が前記受信された画像の画面レイアウト変更を伴うユーザ操作を示す場合に、当該画面レイアウト変更を伴うユーザ操作のタイミングを、前記補正量を更新すべきタイミングとして判定する
    　請求項１に記載の画像音声通信装置。
  3. 　前記タイミング判定部は、
    　前記送受信部により受信された画像と当該受信された画像の時間的に前の画像との相関値が予め設定した閾値より高い場合に、当該受信された画像が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定する
    　請求項１に記載の画像音声通信装置。
  4. 　前記タイミング判定部は、
    　前記送受信部により受信された画像のデータ量が予め設定した閾値より小さい場合に、前記受信された画像が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定する
    　請求項１に記載の画像音声通信装置。
  5. 　前記タイミング判定部は、
    　前記送受信部により受信された音声のレベルが予め設定した閾値よりも小さい場合に、前記受信された音声が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定する
    　請求項１に記載の画像音声通信装置。
  6. 　前記画像音声通信装置は、さらに、前記送受信部により送信される音声がマイクを用いて収音されて入力される音声入力部とを備え、
    　前記タイミング判定部は、
    　前記音声入力部に入力された音声のレベルが予め設定した閾値よりも大きい場合に、前記入力された音声が前記画像音声出力部により出力されるタイミングを前記補正量の更新すべきタイミングとして判定する
    　請求項１に記載の画像音声通信装置。
  7. 　前記画像音声通信装置は、さらに、前記送受信部により受信された画像または音声を一時的に記憶するバッファと、
    　前記バッファの容量の残量を監視し、当該残量に基づいて、ＰＴＳ補正量を算出するＰＴＳ補正量算出部とを備え、
    　前記ＰＴＳ補正部は、前記タイミング判定部により判定されたタイミングの画像または音声におけるＰＴＳに前記ＰＴＳ補正量算出部により算出されたＰＴＳ補正量を加算することを用いて、当該判定されたタイミングの画像または音声におけるＰＴＳを補正する
    　請求項１に記載の画像音声通信装置。
  8. 　前記ＰＴＳ補正量算出部は、
    　当該残量が単調増加する場合にマイナス値のＰＴＳ補正量を算出し、当該残量が単調減少する場合にプラス値のＰＴＳ補正量を算出する
    　請求項７に記載の画像音声通信装置。
  9. 　画像音声通信装置の通信方法であって、
    　ネットワークを通じて、画像および音声を送受信する送受信ステップと、
    　前記送受信ステップにおいて送信される音声、または前記送受信部により受信された画像もしくは音声の内容に基づいて、当該受信された画像または音声におけるＰＴＳの補正量を更新すべきタイミングを判定するタイミング判定ステップと、
    　前記タイミング判定ステップにおいて判定されたタイミングに当該受信された画像または音声におけるＰＴＳの補正量を更新することにより、当該ＰＴＳを補正するＰＴＳ補正ステップと、
    　前記画像音声通信装置が示す現在時刻における補正された当該ＰＴＳに対応する当該受信された画像および音声を出力する画像音声出力ステップとを含む
    　通信方法。
  10. 　画像音声通信装置が通信するためのプログラムであって、
    　ネットワークを通じて、画像および音声を送受信する送受信ステップと、
    　前記送受信ステップにおいて送信される音声、または前記送受信部により受信された画像もしくは音声の内容に基づいて、当該受信された画像または音声におけるＰＴＳの補正量を更新すべきタイミングを判定するタイミング判定ステップと、
    　前記タイミング判定ステップにおいて判定されたタイミングに当該受信された画像または音声におけるＰＴＳの補正量を更新することにより、当該ＰＴＳを補正するＰＴＳ補正ステップと、
    　前記画像音声通信装置が示す現在時刻における補正された当該ＰＴＳに対応する当該受信された画像および音声を出力する画像音声出力ステップとを含む
    　ことをコンピュータに実行させるためのプログラム。
  11. 　画像音声通信装置の集積回路であって、
    　ネットワークを通じて、画像および音声を送受信する送受信部と、
    　前記送受信部により送信される音声、または前記送受信部により受信された画像もしくは音声の内容に基づいて、当該受信された画像または音声におけるＰＴＳの補正量を更新すべきタイミングを判定するタイミング判定部と、
    　前記タイミング判定部により判定されたタイミングに当該受信された画像または音声におけるＰＴＳの補正量を更新することにより、当該ＰＴＳを補正するＰＴＳ補正部と、
    　前記画像音声通信装置が示す現在時刻における補正された当該ＰＴＳに対応する当該受信された画像および音声を出力する画像音声出力部とを備える
    　集積回路。
PCT/JP2010/001362 2009-03-16 2010-03-01 画像音声通信装置およびその通信方法 WO2010106743A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2010800015685A CN102067595B (zh) 2009-03-16 2010-03-01 图像声音通信装置以及其通信方法
JP2011504727A JP5490782B2 (ja) 2009-03-16 2010-03-01 画像音声通信装置およびその通信方法
US12/992,703 US9007525B2 (en) 2009-03-16 2010-03-01 Audio and video communications apparatus and communications method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-063498 2009-03-16
JP2009063498 2009-03-16

Publications (1)

Publication Number Publication Date
WO2010106743A1 true WO2010106743A1 (ja) 2010-09-23

Family

ID=42739411

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001362 WO2010106743A1 (ja) 2009-03-16 2010-03-01 画像音声通信装置およびその通信方法

Country Status (4)

Country Link
US (1) US9007525B2 (ja)
JP (1) JP5490782B2 (ja)
CN (1) CN102067595B (ja)
WO (1) WO2010106743A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241264A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740131B (zh) * 2012-07-09 2015-12-02 深圳市香江文化传播有限公司 基于实时传输协议的网络电视直播方法及系统
US10158927B1 (en) * 2012-09-05 2018-12-18 Google Llc Systems and methods for detecting audio-video synchronization using timestamps
US9531921B2 (en) * 2013-08-30 2016-12-27 Audionow Ip Holdings, Llc System and method for video and secondary audio source synchronization
CN106507217B (zh) * 2016-10-27 2019-07-02 腾讯科技（北京）有限公司 视频流的时间戳的处理方法和装置
CN113573119B (zh) * 2021-06-15 2022-11-29 荣耀终端有限公司 多媒体数据的时间戳生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004015553A (ja) * 2002-06-07 2004-01-15 Sanyo Electric Co Ltd 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
JP2007049460A (ja) * 2005-08-10 2007-02-22 Hitachi Ltd ディジタル放送受信装置
JP2008258665A (ja) * 2007-03-30 2008-10-23 Toshiba Corp ストリーム再生装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594467A (en) * 1989-12-06 1997-01-14 Video Logic Ltd. Computer based display system allowing mixing and windowing of graphics and video
US6081299A (en) * 1998-02-20 2000-06-27 International Business Machines Corporation Methods and systems for encoding real time multimedia data
US6760749B1 (en) * 2000-05-10 2004-07-06 Polycom, Inc. Interactive conference content distribution device and methods of use thereof
JP4182437B2 (ja) * 2004-10-04 2008-11-19 ソニー株式会社 オーディオビデオ同期システム及びモニター装置
CN100362864C (zh) * 2005-07-13 2008-01-16 浙江大学 基于单芯片的网络可视电话系统
US7657668B2 (en) * 2006-08-16 2010-02-02 Qnx Software Systems (Wavemakers), Inc. Clock synchronization of data streams
EP2081373A1 (en) * 2008-01-15 2009-07-22 Hitachi, Ltd. Video/audio reproducing apparatus
US8279945B2 (en) * 2008-01-28 2012-10-02 Mediatek Inc. Method for compensating timing mismatch in A/V data stream
CN102177726B (zh) * 2008-08-21 2014-12-03 杜比实验室特许公司 用于音频和视频签名生成和检测的特征优化和可靠性估计
US8428145B2 (en) * 2008-12-31 2013-04-23 Entropic Communications, Inc. System and method for providing fast trick modes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004015553A (ja) * 2002-06-07 2004-01-15 Sanyo Electric Co Ltd 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
JP2007049460A (ja) * 2005-08-10 2007-02-22 Hitachi Ltd ディジタル放送受信装置
JP2008258665A (ja) * 2007-03-30 2008-10-23 Toshiba Corp ストリーム再生装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241264A1 (ja) * 2020-05-27 2021-12-02 ソニーグループ株式会社 放送コンテンツ制作システムおよび放送コンテンツ制作方法、並びにプログラム

Also Published As

Publication number Publication date
US9007525B2 (en) 2015-04-14
CN102067595B (zh) 2013-07-24
JP5490782B2 (ja) 2014-05-14
JPWO2010106743A1 (ja) 2012-09-20
US20110063504A1 (en) 2011-03-17
CN102067595A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
US7843974B2 (en) Audio and video synchronization
JP5490782B2 (ja) 画像音声通信装置およびその通信方法
JP5718292B2 (ja) ビデオテレフォニーのためのピクチャーインピクチャー処理
CA2552769A1 (en) Synchronization watermarking in multimedia streams
CN101710997A (zh) 基于mpeg-2系统实现视、音频同步的方法及系统
US20070116113A1 (en) System and method for decreasing end-to-end delay during video conferencing session
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
JP2007259142A (ja) ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，映像出力装置，信号変換装置
JP4768250B2 (ja) 送信装置、受信装置、送受信装置、送信方法及び伝送システム
US20150312294A1 (en) Content Message for Video Conferencing
KR20060096044A (ko) 미디어 신호의 송신 방법 및 수신 방법과 송수신 방법 및장치
US20130166769A1 (en) Receiving device, screen frame transmission system and method
JP4662085B2 (ja) 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
CN114554277A (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
JP2008131591A (ja) リップシンク制御装置及びリップシンク制御方法
Bertoglio et al. Intermedia synchronization for videoconference over IP
JP3913726B2 (ja) 多地点テレビ会議制御装置及び多地点テレビ会議システム
US8872971B2 (en) Video display apparatus, video processing method, and video display system
JP2012141787A (ja) 映像表示装置及びその表示方法
US20130136191A1 (en) Image processing apparatus and control method thereof
KR20090010385A (ko) 화상 통신 단말의 화상 통화 녹화 방법 및 장치
KR20160111662A (ko) 영상 처리 시스템 및 방법
JP2004180190A (ja) カメラ制御装置及びその制御ステップを実行するプログラム
JP4348238B2 (ja) 遠隔通信方法及び装置
KR20030057505A (ko) 실시간 전송 프로토콜을 이용한 멀티미디어 데이터 전송시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080001568.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011504727

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10753240

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12992703

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10753240

Country of ref document: EP

Kind code of ref document: A1