WO2012173020A1 - 送信装置、送信方法、及びプログラム - Google Patents

送信装置、送信方法、及びプログラム Download PDF

Info

Publication number
WO2012173020A1
WO2012173020A1 PCT/JP2012/064535 JP2012064535W WO2012173020A1 WO 2012173020 A1 WO2012173020 A1 WO 2012173020A1 JP 2012064535 W JP2012064535 W JP 2012064535W WO 2012173020 A1 WO2012173020 A1 WO 2012173020A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
capture
adjustment amount
time
image
Prior art date
Application number
PCT/JP2012/064535
Other languages
English (en)
French (fr)
Inventor
ヴィジタ サンジー ラナトゥンガ
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12800505.5A priority Critical patent/EP2582133A4/en
Priority to US13/814,636 priority patent/US20130141596A1/en
Priority to CN2012800023905A priority patent/CN103262536A/zh
Publication of WO2012173020A1 publication Critical patent/WO2012173020A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Definitions

  • the present disclosure relates to a transmission device, a transmission method, and a program, and in particular, can suppress image disturbance or the like that occurs when, for example, an image transmitted from a transmission device via a data transmission path such as a network is displayed with low delay.
  • the present invention relates to a transmission apparatus, a transmission method, and a program.
  • remote surgery has been performed in which a patient is operated by operating a robot arm in a remote place.
  • the surgeon operates the robot arm while watching the moving image obtained by imaging the state of the operation, so that the moving image is displayed with a low delay (near real time) of several frames (or several fields). It is desirable to be transmitted.
  • encoding is started without waiting for the input of all the block data in the picture in the transmitting device, and the resulting encoded data is transmitted.
  • Decoding decompression
  • the encoded data can be decoded and the picture can be displayed before the predetermined display timing for displaying the picture. Therefore, the receiving apparatus can display the picture on the monitor in synchronization with the display timing.
  • the transmission apparatus may not be able to transmit a moving image with a low delay of several frames or less.
  • the receiving apparatus cannot make the picture displayable by a predetermined display timing.
  • a picture that has not been made displayable by the display timing is skipped without being displayed on the monitor, for example, so that an image displayed on the monitor may be disturbed.
  • the present disclosure has been made in view of such a situation, and suppresses image disturbance or the like that occurs when an image transmitted from a data transmission path is displayed with a low delay.
  • a transmission apparatus includes an acquisition unit that acquires an adjustment amount for adjusting a capture timing for starting image capture, and a capture adjustment unit that adjusts the capture capture timing based on the adjustment amount.
  • the transmission device includes a capture unit that captures the image in synchronization with the adjusted capture timing, and a transmission unit that transmits the captured image to the reception device.
  • the receiving device has a holding unit that temporarily holds the image, writes the image received from the transmission unit to the holding unit, and writes the image written in the holding unit, Displayed in synchronization with a predetermined display timing, and the acquisition unit is allowed when writing cannot be completed within a predetermined time from a writing start time at which writing of the image to the holding unit is started. Calculated based on a comparison result between an allowable delay time indicating a delay time to be displayed and a required time required at least from the writing start time of the image written with a delay time equal to or shorter than the allowable delay time to the display timing. The adjustment amount can be acquired.
  • a comparison result of the first calculation unit that calculates the allowable delay time, a second calculation unit that calculates the necessary time, a comparison unit that compares the allowable delay time and the necessary time, and a comparison result of the comparison unit Based on this, an adjustment amount calculation unit that calculates the adjustment amount can be further provided, and the acquisition unit can acquire the adjustment amount calculated by the adjustment amount calculation unit.
  • the adjustment amount calculation unit obtains a comparison result that the required time is longer than the allowable delay time, the required time is within a range that satisfies the condition that the required time is longer than the allowable delay time. It is possible to calculate the adjustment amount for adjusting the capture timing so as to be short.
  • the adjustment amount calculation unit adjusts the capture timing so that the required time is longer than the allowable delay time when the comparison result indicates that the required time is not longer than the allowable delay time.
  • the adjustment amount can be calculated.
  • the acquisition unit can be acquired by receiving the adjustment amount from the reception device.
  • a first measuring unit that measures a writing time required for writing the image to the holding unit of the receiving device can be further provided, and the first calculating unit is configured based on the distribution of the writing time. An allowable delay time can be calculated.
  • a second measuring unit that measures a writing preparation time required to start writing the image to the holding unit of the receiving device can be further provided, and the second calculating unit has a distribution of the writing preparation time. Based on this, the required time can be calculated.
  • a transmission method is a transmission method of a transmission device that captures and transmits an image, and obtains an adjustment amount for adjusting a capture timing for starting capture of the image by the transmission device
  • a transmission method including a transmission step of transmitting.
  • a program includes an acquisition unit that acquires an adjustment amount for adjusting a capture timing to start capturing an image, and a capture adjustment that adjusts the capture capture timing based on the adjustment amount. And a capture unit that captures the image in synchronization with the adjusted capture timing and a transmission control unit that causes the reception device to transmit the captured image.
  • an adjustment amount for adjusting a capture timing at which image capture is started is acquired, and the cap capture timing is adjusted based on the adjustment amount, and the adjusted capture timing is adjusted.
  • the image is captured synchronously, and the captured image is transmitted to the receiving device.
  • FIG. 1 illustrates a transmission / reception system according to the present disclosure.
  • This transmission / reception system includes a transmission device 21, a reception device 22, and a network 23 such as the Internet.
  • the transmission device 21 adjusts the capture timing Vblank for starting image capture (acquisition), and transmits the image captured at the adjusted capture timing to the reception device 22. .
  • the receiving device 22 can display the image received from the transmitting device 21 with low delay without causing disturbance or the like.
  • the transmission device 21 includes a capture unit 41, an encoding unit 42, a packet configuration unit 43, an RTP (real-time transport protocol) communication unit 44, a capture adjustment unit 45, an operation unit 46, and a control unit 47.
  • RTP real-time transport protocol
  • the capture unit 41 acquires (captures) image data (corresponding to video IN) input from the outside in synchronization with the capture timing Vblank adjusted by the capture adjustment unit 45 and supplies the image data to the encoding unit 42.
  • image data for example, a frame image composed of a plurality of lines can be adopted.
  • a field image composed of one of an odd line or an even line among a plurality of lines can be employed.
  • the image data is assumed to be a field image.
  • the capture unit 41 alternately acquires the odd field image and the even field image as the image data in synchronization with the capture timing Vblank adjusted by the capture adjustment unit 45 and supplies it to the encoding unit 42.
  • the odd field image refers to a field image composed of odd lines among a plurality of lines.
  • the even field image is a field image composed of even lines among a plurality of lines.
  • the encoding unit 42 performs an encoding process for encoding the image data from the capture unit 41, and supplies encoded data obtained by the encoding process to the packet configuration unit 43.
  • a wavelet encoding process that compresses image data by encoding using, for example, wavelet transform can be employed.
  • the packet configuration unit 43 packetizes (converts) the encoded data from the encoding unit 42 into a plurality of RTP packets and outputs the packet to the RTP communication unit 44.
  • the RTP packet represents a packet conforming to the RTP described in IETF / RFC 3550.
  • the RTP communication unit 44 adds, for example, a transmission time when transmitting the RTP packet to the receiving device 22 as a time stamp to the RTP packet from the packet configuration unit 43 according to RTP. Then, the RTP communication unit 44 transmits the RTP packet with the time stamp added thereto to the receiving device 22 via the network 23.
  • the RTP communication unit 44 receives an RTCP message supplied from the receiving device 22 via the network 23 according to RTP, and supplies the RTCP message to the capture adjustment unit 45.
  • the RTCP message includes adjustment amounts Zforward and Zbackward for adjusting the capture timing Vblank.
  • the adjustment amounts Zforward and Zbackward are calculated and transmitted by the receiving device 22, for example. Note that one of the adjustment amounts Zforward and Zbackward is set to 0, for example.
  • the capture adjustment unit 45 performs capture adjustment processing for adjusting the capture timing Vblank of the capture unit 41 based on the adjustment amounts Zforward and Zbackward from the RTP communication unit 44.
  • the operation unit 46 is an operation button or the like operated by the user, and supplies an operation signal corresponding to the user operation to the control unit 47.
  • the control unit 47 controls each unit of the capture unit 41, the encoding unit 42, the packet configuration unit 43, and the RTP communication unit 44 based on, for example, an operation signal from the operation unit 46.
  • the receiving device 22 includes an RTP communication unit 61, a packet assembly unit 62, a decoding unit 63, a write control unit 64, a buffer 65, a display control unit 66, a display unit 67, a write information measurement unit 68, and a write information storage unit 69. , An adjustment amount calculation unit 70, an operation unit 71, and a control unit 72.
  • the RTP communication unit 61 receives the RTP packet transmitted from the RTP communication unit 44 via the network 23 and supplies it to the packet assembly unit 62. Further, the RTP communication unit 61 generates an RTCP message including the adjustment amount based on the adjustment amount from the adjustment amount calculation unit 70 and transmits the RTCP message to the RTP communication unit 44 via the network 23.
  • the packet assembling unit 62 generates encoded data to be decoded by assembling the RTP packet from the RTP communication unit 61, and supplies the encoded data to the decoding unit 63.
  • the decoding unit 63 performs a decoding process corresponding to the encoding process performed by the encoding unit 42 on the encoded data from the packet assembling unit 62, and sends the resulting image data to the write control unit 64.
  • Supply for example, a decoding process or the like that is expanded by decoding by inverse transformation of wavelet transform is adopted.
  • the writing control unit 64 supplies the image data from the decoding unit 63 to the buffer 65 for storage (writing). Further, the writing control unit 64 supplies the writing information measuring unit 68 with the writing start time Ts at which writing to the buffer 65 is started and the writing end time Te at which writing is ended for each image data.
  • the buffer 65 temporarily holds the image data from the writing control unit 64.
  • the display control unit 66 reads the image data from the buffer 65 and supplies it to the display unit 67. Then, the display control unit 66 causes the display unit 67 to display the image data read from the buffer 65 in synchronization with a predetermined display timing Vblank.
  • FIG. 2 shows an example in which the display control unit 66 displays each image data at a predetermined display timing Vblank.
  • the image data is, for example, a field image, and an odd field image n odd composed of odd lines among a plurality of lines, or an even field composed of even lines among a plurality of lines.
  • n even One of the images n even .
  • the horizontal axis represents time
  • the vertical axis represents the line number of the line displayed at the corresponding time.
  • the odd field image n odd and the even field image n even are each composed of 540 lines.
  • the display timing Vblank (n odd ) represents the time when display of the odd field image n odd starts.
  • the display timing Vblank (n even ) represents the time when display of the even field image n even is started.
  • the display control unit 66 reads out the odd field image n odd from the buffer 65 and displays it on the display unit 67 in synchronization with a predetermined display timing Vblank (n odd ). In addition, the display control unit 66 reads the even field image n even from the buffer 65 and causes the display unit 67 to display it in synchronization with a predetermined display timing Vblank (n even ).
  • the display unit 67 displays each image data by, for example, an interlace method. That is, for example, the display unit 67 alternately displays the odd field image n odd and the even field image n even as each image data in accordance with the control from the display control unit 66.
  • the display unit 67 is a component part of the reception device 22, and may be provided independently without being included in the component part of the reception device 22.
  • the display control unit 66 in the receiving device 22 and the display unit 67 provided outside the receiving device 22 are connected by, for example, a cable.
  • the write information measuring unit 68 measures the write information of the even field image n even written in the buffer 65.
  • the write information measurement unit 68 instead of the write information of the even-numbered field image n the even, or together with the write information of the even-numbered field image n the even, to measure the write information of the odd-numbered field image n odd written in the buffer 65 You may do it. This will be described later with reference to FIG.
  • the writing information measuring unit 68 sets each image data as a frame image, and The writing information of the frame image is measured. This will be described later with reference to FIG.
  • the write information measuring unit 68 measures the write information of the even field image n even written in the buffer 65.
  • the write information measuring unit 68 for example, as write information of the even field image n even written in the buffer 65, for example, a write preparation time Xn required until the start of writing of the even field image n even , and an even number
  • the buffer write time Pn required for writing the field image n even is measured.
  • FIG. 3 shows an example in which the write information measuring unit 68 measures the write preparation time Xn and the buffer write time Pn of the even field image n even .
  • the writing start time Ts represents the time at which writing of the even field image n even to the buffer 65 is started.
  • the writing end time Te represents the time when the writing of the even field image n even to the buffer 65 is ended.
  • the writing information measuring unit 68 is supplied from the writing control unit 64 with the writing start time Ts and the writing end time Te of the even field image n even .
  • the write information measuring unit 68 supplies the write preparation time Xn and the buffer write time Pn measured for each even field image n even to the write information storage unit 69 for storage.
  • the write information storage unit 69 stores the write preparation time Xn and the buffer write time Pn from the write information measuring unit 68 as write information.
  • the adjustment amount calculation unit 70 calculates adjustment amounts Zforward and Zbackward for adjusting the capture timing Vblank in the capture unit 41 of the transmission device 21 based on the write information stored in the write information storage unit 69. Perform the calculation process. The adjustment amount calculation process will be described in detail with reference to FIG.
  • the adjustment amount calculation unit 70 supplies the adjustment amounts Zforward and Zbackward calculated by the adjustment amount calculation process to the RTP communication unit 61.
  • the operation unit 71 is an operation button or the like operated by the user, and supplies an operation signal corresponding to the user operation to the control unit 72.
  • the control unit 72 is based on the RTP communication unit 61, the packet assembly unit 62, the decoding unit 63, the write control unit 64, the display control unit 66, the write information measurement unit 68, And each part of the adjustment amount calculation part 70 is controlled.
  • FIG. 4 shows an example of the distribution of the write preparation time Xn stored in the write information storage unit 69.
  • the horizontal axis indicates the write preparation time Xn
  • the vertical axis indicates the frequency of the write preparation time Xn.
  • the adjustment amount calculation unit 70 generates X distribution information representing the distribution of the write preparation time Xn as shown in FIG. 4 based on the write preparation time Xn stored in the write information storage unit 69.
  • the value is less than the minimum value of the write preparation time Xn.
  • the value ⁇ is determined in advance by a user operation, for example.
  • FIG. 5 shows an example of the distribution of the buffer write time Pn stored in the write information storage unit 69.
  • the horizontal axis represents the buffer write time Pn
  • the vertical axis represents the frequency of the buffer write time Pn.
  • the adjustment amount calculation unit 70 generates P distribution information representing the distribution of the buffer write time Pn as shown in FIG. 5 based on the plurality of buffer write times Pn stored in the write information storage unit 69.
  • the adjustment amount calculation unit 70 based on the P distribution information of the buffer write time Pn, the buffer write time Pn of the upper ⁇ percentage when the buffer write times Pn are arranged in ascending order and the lower (100 ⁇ ) percent of the buffer write time Pn.
  • a threshold value Pth for distinguishing from the buffer write time Pn is calculated.
  • the threshold value Pth is equal to or greater than the maximum value of the buffer write time Pn of the upper ⁇ percent when the buffer write times Pn are arranged in ascending order, and the minimum value of the buffer write time Pn of the lower (100 ⁇ ) percent The value is less than.
  • FIG. 6 shows an example in which the adjustment amount calculation unit 70 calculates the allowable delay time Yth based on the threshold value Pth and the required time Y based on the threshold value Xth.
  • the adjustment amount calculation unit 70 calculates the allowable delay time Yth by Expression (1) based on the threshold value Pth calculated from the P distribution information of the buffer write time Pn.
  • Yth Pth-(1/60) (1)
  • the allowable delay time Yth is a delay time when writing cannot be completed at a predetermined expected writing time 1/60 from the writing start time Ts at which writing of the even field image n even is started, and at least A delay time that is allowed to display an even field image n even without any disturbance with an ⁇ percentage probability.
  • the expected write time 1/60 is the write time of the even field image n even (or odd field image n odd ) that is expected when there is no delay in the data write in the write control unit 64.
  • the expected writing time 1/60 is determined according to the time required for displaying the even field image n even (or odd field image n odd ), for example.
  • the display unit 67 displays the odd-numbered field image and the even-numbered field image at the display time 1/60. Therefore, for example, the expected write time is also set to 1/60.
  • the expected writing time is set to 1 / m.
  • the adjustment amount calculation unit 70 is based on the threshold value Xth calculated from the X distribution information of the write preparation time Xn, and receives even field images n even received with a probability of ⁇ percent, that is, the allowable delay time Yth or less. The necessary time Y of the even field image n even written with the delay time is calculated.
  • the required time Y represents a time required at least from the writing start time Ts to the display timing (n even ) in the even field image n even written to the buffer 65 with a delay time equal to or shorter than the allowable delay time Yth.
  • the adjustment amount calculation unit 70 based on the display interval Vblank Interval of the display timing Vblank (n ⁇ 1 even ) and the display timing (n even ), and the threshold value Xth, The required time Y is calculated from (2).
  • Y Vblank Interval -Xth (2)
  • the adjustment amount calculation unit 70 can display the even field image n even without any disturbance with a probability of at least ⁇ percent based on whether or not the calculated required time Y satisfies the following expression (3). It is determined whether or not. Y> Yth (3)
  • the display timing on the reception device 22 side is synchronized with the capture timing on the transmission device 21 side, but the display timing may not be synchronized with the capture timing.
  • the RTP communication unit 61 generates an RTCP message including the adjustment amounts Zforward and Zbackward from the adjustment amount calculation unit 70 and transmits the RTCP message to the RTP communication unit 44 of the transmission device 21 via the network 23.
  • the RTP communication unit 44 of the transmission device 21 supplies the RTCP message received from the RTP communication unit 61 via the network 23 to the capture adjustment unit 45.
  • the capture adjustment unit 45 adjusts the capture timing Vblank of the capture unit 41 based on the adjustment amounts Zforward and Zbackward included in the RTCP message from the RTP communication unit 44.
  • the capture adjustment unit 45 adjusts the current capture timing Vblank as shown in A of FIG. 8 to the capture timing Vblank as shown in B of FIG. 8 so as to be delayed by the adjustment amount Zforward.
  • the capture unit 41 captures an even field image n even from the outside at a capture timing Vblank adjusted to be delayed by the adjustment amount Zforward, for example, as shown in FIG. 9A.
  • writing to the buffer 65 is started at the writing start time Ts in the even field image n even as shown in B of FIG.
  • the line after the line number L (i ⁇ L) is written into the buffer 65 after the display timing of the line (i ⁇ L).
  • the RTP communication unit 61 generates an RTCP message including the adjustment amounts Zforward and Zbackward from the adjustment amount calculation unit 70 and transmits the RTCP message to the RTP communication unit 44 of the transmission device 21 via the network 23.
  • the RTP communication unit 44 of the transmission device 21 supplies the RTCP message received from the RTP communication unit 61 via the network 23 to the capture adjustment unit 45.
  • the capture adjustment unit 45 adjusts the capture timing Vblank of the capture unit 41 based on the adjustment amounts Zforward and Zbackward included in the RTCP message from the RTP communication unit 44.
  • the capture adjustment unit 45 adjusts the current capture timing Vblank as shown in A of FIG. 11 to the capture timing Vblank as shown in B of FIG. 11 so as to advance by the adjustment amount Zbackward.
  • the capture unit 41 captures the even field image n even from the outside at the capture timing Vblank adjusted so as to be advanced by the adjustment amount Zforward, for example, as shown in A of FIG.
  • the write control unit 64 of the reception device 22 uses the even field from the write start time Ts ′ (Ts ⁇ Zbackward) that is earlier than the write start time Ts by the adjustment amount Zbackward.
  • the writing of the image n even is started.
  • the expression (3) is satisfied.
  • the adjustment amount calculation unit 70 performs an adjustment amount calculation process as appropriate. This is because the transmission time of the image data changes according to the congestion state of the network 23 and the like, even at the capture timing Vblank after adjustment, FIG. 7A and FIG. 7B, FIG. 10A and FIG. This is due to the occurrence of the situation shown in 10B.
  • FIG. 13 and FIG. 14 each show an example of how the transmission time changes according to the congestion status of the network 23 and the like.
  • the vertical axis indicates the packet number representing each RTP packet of the image data.
  • the horizontal axis represents “capture” processing performed by the capture unit 41, “encoding” processing performed by the encoding unit 42, and “packet configuration” processing performed by the packet configuration unit 43 on the data constituting the image data, RTP packet “transfer” processing performed between the RTP communication unit 44 and the RTP communication unit 61 via the network 23, “packet assembly” processing performed by the packet assembly unit 62, and “decoding” processing performed by the decoding unit 63 Shows the time required for each.
  • the time required for the “transfer” process varies greatly depending on the status of the network 23. That is, when the congestion of the network 23 is relatively small, as shown in FIG. 13, the time required for the “transfer” process is shortened. When the congestion of the network 23 is relatively large, as shown in FIG. The time required for the “transfer” process is long.
  • the adjustment amount calculation unit 70 needs to appropriately perform the adjustment amount calculation process.
  • the capture adjustment unit 45 sets the capture timing Vblank of the capture unit 41 based on the adjustment amounts Zforward and Zbackward supplied from the adjustment amount calculation unit 70 via the RTP communication unit 61, the network 23, and the RTP communication unit 44. It needs to be adjusted.
  • This transmission process is started, for example, when the operation unit 46 is operated so as to capture and transmit image data.
  • the control unit 47 performs transmission processing by controlling the capture unit 41 to the capture adjustment unit 45 in accordance with an operation signal from the operation unit 46.
  • step S1 the capture unit 41 acquires image data input from the outside in synchronization with the capture timing Vblank adjusted in the capture adjustment process in step S6 described later according to the control from the control unit 47. To the encoding unit 42.
  • the capture unit 41 acquires image data input from the outside in synchronization with a predetermined capture timing Vblank and performs encoding, for example. To the unit 42.
  • step S ⁇ b> 2 the encoding unit 42 performs an encoding process for encoding the image data from the capture unit 41, and supplies encoded data obtained by the encoding process to the packet configuration unit 43.
  • step S3 the packet configuration unit 43 packetizes (converts) the encoded data from the encoding unit 42 into a plurality of RTP packets and outputs the packet to the RTP communication unit 44.
  • step S4 the RTP communication unit 44 adds, for example, a transmission time when transmitting the RTP packet to the receiving device 22 as a time stamp to the RTP packet from the packet configuration unit 43 according to RTP. Then, the RTP communication unit 44 transmits the RTP packet with the time stamp added thereto to the receiving device 22 via the network 23.
  • step S5 the RTP communication unit 44 determines whether or not an RTCP message including the adjustment amounts Zforward and Zbackward has been received from the receiving device 22 via the network 23. Returning to step S1, the same processing is performed thereafter.
  • step S5 when the RTP communication unit 44 determines that the RTCP message including the adjustment amounts Zforward and Zbackward is received from the reception device 22 via the network 23, the RTP communication unit 44 supplies the RTCP message to the capture adjustment unit 45. .
  • step S6 the capture adjustment unit 45 performs capture adjustment processing for adjusting the capture timing Vblank based on the RTCP message from the RTP communication unit 44.
  • step S6 the capture adjustment unit 45 returns the process to step S1 after the end of the capture adjustment process, and the same process is performed thereafter. Note that this transmission processing is ended when the operation unit 46 is operated by the user so as to stop transmission of image data, for example.
  • the RTCP message is supplied from the RTP communication unit 44 to the capture adjustment unit 45.
  • step S21 the capture adjustment unit 45 acquires (extracts) adjustment amounts Zforward and Zbackward included in the RTCP message from the RTCP message supplied from the RTP communication unit 44.
  • step S22 the capture adjustment unit 45 determines whether or not the acquired adjustment amount Zbackward is 0. If it is determined that the adjustment amount Zbackward is 0, the process proceeds to step S23.
  • step S23 the capture adjustment unit 45 controls the capture unit 41 and adjusts the capture timing Vblank of the capture unit 41 so as to be delayed by another acquired adjustment amount Zforward.
  • the capture adjustment unit 45 adjusts the current capture timing Vblank as shown in A of FIG. 8 to the capture timing Vblank as shown in B of FIG.
  • the capture unit 41 captures each image data in synchronization with the adjusted capture timing Vblank as shown in FIG. 9A. Then, as shown in FIG. 9B, the display control unit 66 of the receiving device 22 receives the image data at the display timing Vblank in which the required time Y is shortened as much as possible within the range that satisfies the equation (3). It will be displayed.
  • step S22 the capture adjustment unit 45 determines whether or not the acquired adjustment amount Zbackward is 0. If it is determined that the adjustment amount Zbackward is not 0, that is, the adjustment amount Zforward is 0. If so, the process proceeds to step S24.
  • step S24 the capture adjustment unit 45 controls the capture unit 41 to adjust the capture timing Vblank of the capture unit 41 so as to be advanced by another acquired adjustment amount Zbackward.
  • the capture adjustment unit 45 adjusts the current capture timing Vblank as shown in A of FIG. 11 to the capture timing Vblank as shown in B of FIG.
  • the capture unit 41 captures each image data in synchronization with the adjusted capture timing Vblank as shown in A of FIG.
  • the display control unit 66 of the receiving device 22 displays the image data at the display timing Vblank that satisfies Expression (3).
  • step S1 the capture unit 41 captures each image data in synchronization with the capture timing Vblank after the adjustment by the capture adjustment process.
  • step S24 the capture adjustment unit 45 adjusts the capture timing Vblank so that the expression (3) is satisfied when the expression (3) is not satisfied. did.
  • the receiving apparatus 22 it is possible to suppress a situation in which the image is disturbed by skipping a part of the image.
  • step S23 the capture adjustment unit 45 adjusts the capture timing Vblank so that the required time Y is as short as possible within the range that satisfies the equation (3) even when the equation (3) is satisfied. I tried to do it.
  • This adjustment amount calculation process is started when an RTP packet is transmitted from the transmission device 21 via the network 23, for example.
  • the RTP communication unit 61 receives the RTP packet transmitted from the RTP communication unit 44 via the network 23 and supplies it to the packet assembly unit 62.
  • the packet assembly unit 62 generates encoded data to be decoded by assembling the RTP packet from the RTP communication unit 61, and supplies the encoded data to the decoding unit 63.
  • the decoding unit 63 performs a decoding process corresponding to the encoding process performed by the encoding unit 42 on the encoded data from the packet assembling unit 62, and supplies the resulting image data to the write control unit 64. To do.
  • the writing control unit 64 supplies the image data (odd field image and even field image) from the decoding unit 63 to the buffer 65 for storage (writing). Further, the writing control unit 64 supplies the writing information measuring unit 68 with the writing start time Ts at which the writing to the buffer 65 is started and the writing end time Te at which the writing is ended for each even field image n even .
  • the display control unit 66 reads out the odd field image and the even field image as the image data from the buffer 65, and displays them on the display unit 67 in synchronization with a predetermined display timing Vblank.
  • step S41 the write information measuring unit 68 measures the write preparation time Xn of the even field image n even based on the write start time Ts from the write control unit 64 and the predetermined display timing Vblank, The information is supplied to and stored in the write information storage unit 69.
  • step S42 the write information measuring unit 68 measures the buffer write time Pn of the even field image n even based on the disclosure time Ts and the end time Te from the write control unit 64, and the write information storage unit 69. To be stored.
  • step S43 the adjustment amount calculation unit 70 determines whether or not the time measured by a built-in time measuring unit (not shown) has passed a predetermined time, and the time measured has passed the predetermined time. If it is determined that it is not, the process returns to step S41, and thereafter the same process is performed.
  • step S43 when the adjustment amount calculation unit 70 determines that the predetermined time has elapsed, the process proceeds to step S44.
  • step S44 the adjustment amount calculation unit 70 reads the write preparation time Xn from the write information storage unit 69, and calculates X distribution information representing the distribution of the read write preparation time Xn.
  • step S45 the adjustment amount calculation unit 70 calculates a threshold value Xth based on the X distribution information calculated in step S44.
  • step S46 the adjustment amount calculation unit 70 calculates the required time Y by the expression (2) based on the display interval Vblank Interval and the threshold value Xth.
  • step S47 the adjustment amount calculation unit 70 reads the buffer write time Pn from the write information storage unit 69, and calculates P distribution information representing the distribution of the read buffer write time Pn.
  • step S48 the adjustment amount calculation unit 70 calculates the threshold value Pth based on the P distribution information calculated in step S47.
  • step S49 the adjustment amount calculation unit 70 calculates the allowable delay time Yth by the equation (1) based on the threshold value Pth calculated in step S48 and the expected write time 1/60.
  • step S50 the adjustment amount calculation unit 70 determines whether or not Expression (3) is satisfied based on the required time Y calculated in Step S46 and the allowable delay time Yth calculated in Step S49. ), The process proceeds to step S51.
  • This adjustment amount Zforward is an adjustment amount for adjusting the capture timing Vblank so that the required time Y is shortened within a range satisfying the expression (3).
  • step S 53 the RTP communication unit 61 generates an RTCP message including the adjustment amounts Zforward and Zbackward from the adjustment amount calculation unit 70 and transmits the RTCP message to the RTP communication unit 44 of the transmission device 21 via the network 23.
  • step S50 if the adjustment amount calculation unit 70 determines that Expression (3) is not satisfied based on the required time Y calculated in step S46 and the allowable delay time Yth calculated in step S49, Advances to step S54.
  • This adjustment amount Zbackward is an adjustment amount for adjusting the capture timing Vblank so as to satisfy Expression (3).
  • the adjustment amounts Zforward and Zbackward for obtaining the capture timing Vblank satisfying the expression (3) are calculated according to the writing information of the even field image n even. I tried to do it.
  • the capture timing Vblank is adjusted based on the adjustment amounts Zforward and Zbackward calculated by the adjustment amount calculation process.
  • the capture timing Vblank is adjusted so that the required time Y is as short as possible within the range that satisfies Expression (3). Adjustment amounts Zforward and Zbackward are calculated.
  • the present invention is not limited to this.
  • the adjustment amount calculation unit 70 of the receiving device 22 calculates the adjustment amounts Zforward and Zbackward, only the adjustment amount used for the adjustment of the capture timing may be calculated. In this case, the RTP communication unit 61 transmits only the adjustment amount used for adjusting the capture timing without transmitting the adjustment amount set to 0.
  • the capture adjustment unit 45 of the transmission device 21 adjusts the capture timing using the adjustment amount acquired from the RTP communication unit 61 via the network 23 and the RTP communication unit 44.
  • the adjustment amount calculation unit 70 of the receiving device 22 calculates the adjustment amounts Zforward and Zbackward.
  • the transmission device 21 may be provided with the write information measurement unit 68 through the adjustment amount calculation unit 70 so that the adjustment amounts Zforward and Zbackward are calculated on the transmission device 21 side.
  • the capture adjustment unit 45 adjusts the capture timing based on the adjustment amounts Zforward and Zbackward calculated by the adjustment amount calculation unit 70 on the transmission device 21 side.
  • the writing control unit 64 of the receiving device 22 writes the writing start time Ts, the writing end time Te, and the display timing for each image data.
  • Vblank is supplied to the RTP communication unit 61. Then, the RTP communication unit 61 supplies the write start time Ts, the write end time Te, and the display timing Vblank from the write control unit 64 to the write information measurement unit 68 on the transmission device 21 side via the network 23. Will be.
  • the transmission device 21 When the transmission device 21 is provided with the write information measurement unit 68 through the adjustment amount calculation unit 70, it is not necessary to provide the write information measurement unit 68 through the adjustment amount calculation unit 70 in the reception device 22.
  • the required time Y and the allowable delay time Yth are calculated based on the write information of the even field image n even .
  • the odd field image n The required time Y and the allowable delay time Yth can be calculated based on the odd writing information.
  • the necessary time Y and the allowable delay time Yth may be calculated based on the writing information of the odd field image n odd and the writing information of the even field image n even .
  • each image is set as a progressive image (frame image), and the required time is determined based on the writing information of the progressive image.
  • the adjustment amount calculation unit 70 when generating the X distribution information representing the distribution of the write preparation time Xn as shown in FIG. 4, the adjustment amount calculation unit 70 writes the write preparation time Xn regardless of the measured timing of the write preparation time Xn.
  • X distribution information is generated with the frequency of 1 as 1.
  • the adjustment amount calculation unit 70 may generate the X distribution information by adding the frequency of the write preparation time Xn as the measured time is closest. This is because the write preparation time Xn measured most recently is considered to more accurately represent the write preparation time of an image received from now on.
  • the adjustment amount calculation unit 70 can generate X distribution information that more accurately reflects the write preparation time of an image received from now on, and more accurately reflects the buffer write time of an image received from now on. P distribution information can be generated.
  • the adjustment amount calculation unit 70 can more accurately calculate the required time Y and allowable delay time Yth of an image to be received from such X distribution information and P distribution information. Therefore, the adjustment amount calculation unit 70 can calculate a more accurate adjustment amount based on the comparison result between the required time Y and the allowable delay time Yth (whether or not the expression (3) is satisfied). . For this reason, the capture adjustment unit 45 of the transmission device 21 can adjust the capture timing Vblank more appropriately based on the adjustment amount calculated by the adjustment amount calculation unit 70.
  • this technique can also take the following structures.
  • An acquisition unit that acquires an adjustment amount for adjusting a capture timing for starting image capture, a capture adjustment unit that adjusts the cap capture timing based on the adjustment amount, and the adjusted capture timing
  • a transmission device including a capture unit that captures the image in synchronization with the transmission unit, and a transmission unit that transmits the captured image to the reception device.
  • the reception device includes a holding unit that temporarily holds the image, writes the image received from the transmission unit to the holding unit, and writes the image written in the holding unit.
  • the transmission apparatus further including an adjustment amount calculation unit that calculates the adjustment amount based on a comparison result, wherein the acquisition unit acquires the adjustment amount calculated by the adjustment amount calculation unit. .
  • the adjustment amount calculation unit obtains a comparison result that the required time is longer than the allowable delay time
  • the adjustment amount calculation unit includes the condition that the required time is longer than the allowable delay time.
  • the adjustment amount calculation unit adjusts the capture timing so that the required time is longer than the allowable delay time.
  • the transmitter according to (3), which calculates a delay time.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose computer or the like.
  • FIG. 20 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processes by a program.
  • a CPU (Central Processing Unit) 201 executes various processes according to a program stored in a ROM (Read Only Memory) 202 or a storage unit 208.
  • a RAM (Random Access Memory) 203 appropriately stores programs executed by the CPU 201, data, and the like. These CPU 201, ROM 202, and RAM 203 are connected to each other by a bus 204.
  • the CPU 201 is also connected with an input / output interface 205 via the bus 204.
  • an input unit 206 composed of a keyboard, a mouse, a microphone, and the like
  • an output unit 207 composed of a display, a speaker, and the like.
  • the CPU 201 executes various processes in response to commands input from the input unit 206. Then, the CPU 201 outputs the processing result to the output unit 207.
  • the storage unit 208 connected to the input / output interface 205 includes, for example, a hard disk and stores programs executed by the CPU 201 and various data.
  • the communication unit 209 communicates with an external device via a network such as the Internet or a local area network.
  • the program may be acquired via the communication unit 209 and stored in the storage unit 208.
  • the drive 210 connected to the input / output interface 205 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives programs and data recorded there. Etc. The acquired program and data are transferred to and stored in the storage unit 208 as necessary.
  • a recording medium that is installed in a computer and records (stores) a program that can be executed by the computer includes a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc- Removable media 211, which is a package media made up of read only memory, DVD (digital versatile disc), magneto-optical disk (including MD (mini-disc)), or semiconductor memory, etc. It is composed of a ROM 202 that is permanently stored, a hard disk that constitutes the storage unit 208, and the like.
  • Recording of a program on a recording medium is performed using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via a communication unit 209 that is an interface such as a router or a modem as necessary. Is called.
  • a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting
  • a communication unit 209 that is an interface such as a router or a modem as necessary. Is called.
  • steps describing the series of processes described above are not limited to the processes performed in time series in the described order, but are not necessarily processed in time series, either in parallel or individually.
  • the process to be executed is also included.
  • system represents the entire apparatus composed of a plurality of apparatuses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術は、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止することができるようにする送信装置、送信方法、及びプログラムに関する。RTP通信部は、画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得し、キャプチャ調整部は、調整量に基づいて、キャプキャプチャタイミングを調整し、キャプチャ部は、調整されたキャプチャタイミングに同期して画像をキャプチャし、RTP通信部は、キャプチャされた画像を受信装置に送信する。本技術は、例えば、画像をキャプチャして送信する送信装置に適用できる。

Description

送信装置、送信方法、及びプログラム
　本開示は、送信装置、送信方法、及びプログラムに関し、特に、例えば、送信装置からネットワーク等のデータ伝送路を介して伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止できるようにした送信装置、送信方法、及びプログラムに関する。
近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム（又は数フィールド）以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
　そこで、動画像を構成する各ピクチャの数ラインをブロックデータとし、各ブロックデータ毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、特許文献１参照）。
　この符号化技術によれば、送信装置において、ピクチャ内の各ブロックデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信し、受信装置において、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することになる。
　このため、受信装置では、予め決められた、ピクチャを表示すべき表示タイミングまでに、符号化データを復号してピクチャを表示可能な状態にすることができる。よって、受信装置は、表示タイミングに同期してピクチャをモニタに表示させることができる。
特開２００７－３１１９２４号公報
　しかしながら、例えば、ネットワーク等のデータ伝送路に輻輳が生じている場合、送信装置は、数フレーム以下の低遅延で動画像を送信できないことが生じ得る。
　この場合、受信装置では、予め決められた表示タイミングまでに、ピクチャを表示可能な状態にすることができなくなってしまう。表示タイミングまでに表示可能な状態とされなかったピクチャは、例えばモニタに表示されずにスキップされるため、モニタに表示される画像に乱れ等が生じ得る。
　本開示は、このような状況に鑑みてなされたものであり、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止するものである。
　本開示の一側面の送信装置は、画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得する取得部と、前記調整量に基づいて、前記キャプキャプチャタイミングを調整するキャプチャ調整部と、調整された前記キャプチャタイミングに同期して前記画像をキャプチャするキャプチャ部と、キャプチャされた前記画像を受信装置に送信する送信部とを含む送信装置である。
　前記受信装置は、前記画像を一時的に保持する保持部を有し、前記保持部に対して、前記送信部から受信した前記画像の書込みを行い、前記保持部に書き込まれた前記画像を、予め決められた表示タイミングに同期して表示させ、前記取得部には、前記保持部に対する前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記表示タイミングまでに少なくとも要する必要時間との比較結果に基づいて算出される前記調整量を取得させることができる。
　前記許容遅延時間を算出する第１の算出部と、前記必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記調整量を算出する調整量算出部とをさらに設けることができ、前記取得部には、前記調整量算出部により算出された前記調整量を取得させることができる。
　前記調整量算出部には、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間が短くなるように前記キャプチャタイミングを調整するための前記調整量を算出させることができる。
　前記調整量算出部には、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記キャプチャタイミングを調整するための前記調整量を算出させることができる。
　前記取得部には、前記受信装置からの前記調整量を受信することにより取得させることができる。
　前記受信装置の前記保持部に対する前記画像の書込みに要する書込み時間を測定する第１の測定部をさらに設けることができ、前記第１の算出部には、前記書込み時間の分布に基づいて、前記許容遅延時間を算出させることができる。
　前記受信装置の前記保持部に対する前記画像の書込みの開始に要する書込み準備時間を測定する第２の測定部をさらに設けることができ、前記第２の算出部には、前記書込み準備時間の分布に基づいて、前記必要時間を算出させることができる。
　本開示の一側面の送信方法は、画像をキャプチャして送信する送信装置の送信方法であって、前記送信装置による、画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得する取得ステップと、前記調整量に基づいて、前記キャプキャプチャタイミングを調整するキャプチャ調整ステップと、調整された前記キャプチャタイミングに同期して前記画像をキャプチャするキャプチャステップと、キャプチャされた前記画像を受信装置に送信する送信ステップとを含む送信方法である。
　本開示の一側面のプログラムは、コンピュータを、画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得する取得部と、前記調整量に基づいて、前記キャプキャプチャタイミングを調整するキャプチャ調整部と、調整された前記キャプチャタイミングに同期して前記画像をキャプチャするキャプチャ部と、キャプチャされた前記画像を受信装置に送信させる送信制御部として機能させるためのプログラムである。
　本開示の一側面によれば、画像のキャプチャを開始するキャプチャタイミングを調整するための調整量が取得され、前記調整量に基づいて、前記キャプキャプチャタイミングが調整され、調整された前記キャプチャタイミングに同期して前記画像がキャプチャされ、キャプチャされた前記画像が受信装置に送信される。
　本開示によれば、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止することが可能となる。
本開示における送受信システムの構成例を示すブロック図である。 表示タイミングに同期して画像を表示するときの一例を示す図である。 書込み情報を測定する測定方法の一例を示す図である。 書込み準備時間の分布の一例を示す図である。 バッファ書込み時間の分布の一例を示す図である。 必要時間及び許容遅延時間を算出する算出方法の一例を示す図である。 キャプチャタイミングに応じて、画像の書込みを開始する書込み開始時刻が変化する場合の一例を示す第１の図である。 キャプチャタイミングを調整する様子の一例を示す第１の図である。 調整後のキャプチャタイミングにより、画像の書込みを開始する書込み開始時刻が変化した場合の一例を示す第１の図である。 キャプチャタイミングに応じて、画像の書込みを開始する書込み開始時刻が変化する場合の一例を示す第２の図である。 キャプチャタイミングを調整する様子の一例を示す第２の図である。 調整後のキャプチャタイミングにより、画像の書込みを開始する書込み開始時刻が変化した場合の一例を示す第２の図である。 伝送時間が変化する様子の一例を示す第１の図である。 伝送時間が変化する様子の一例を示す第２の図である。 送信装置が行う送信処理を説明するためのフローチャートである。 図１５におけるステップＳ６のキャプチャ調整処理を説明するためのフローチャートである。 受信装置が行う調整量算出処理を説明するためのフローチャートである。 奇数フィールド画像の書込み情報を測定する測定方法の一例を示す図である。 プログレッシブ画像の書込み情報を測定する測定方法の一例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（キャプチャタイミングVblankを調整するようにして、画像の乱れ等を抑止するときの一例）
２．変形例
＜１．本実施の形態＞
[送受信システムの構成例]
　図１は、本開示における送受信システムを示している。
　この送受信システムは、送信装置２１、受信装置２２、及びインターネット等のネットワーク２３から構成される。
　なお、この送受信システムは、送信装置２１において、例えば、画像のキャプチャ（取得）を開始するキャプチャタイミングVblankを調整するようにして、調整後のキャプチャタイミングでキャプチャした画像を、受信装置２２に送信する。
　これにより、受信装置２２では、送信装置２１から受信した画像に乱れ等を生じさせることなく、低遅延で表示できるようになる。
[送信装置２１の構成例]
　送信装置２１は、キャプチャ部４１、符号化部４２、パケット構成部４３、RTP(real-time transport protocol)通信部４４、キャプチャ調整部４５、操作部４６、及び制御部４７から構成される。
　キャプチャ部４１は、キャプチャ調整部４５により調整されたキャプチャタイミングVblankに同期して、外部から入力される画像データ（ビデオINに対応）を取得（キャプチャ）し、符号化部４２に供給する。なお、画像データとしては、例えば、複数のラインにより構成されるフレーム画像を採用することができる。その他、例えば、複数のラインのうち、奇数ライン又は偶数ラインの一方により構成されるフィールド画像を採用することができる。
　本実施の形態において、図１乃至図１８を参照して行う説明では、画像データは、フィールド画像であるものとして説明する。この場合、キャプチャ部４１は、キャプチャ調整部４５により調整されたキャプチャタイミングVblankに同期して、画像データとして、奇数フィールド画像及び偶数フィールド画像を交互に取得し、符号化部４２に供給する。
　なお、奇数フィールド画像とは、複数のラインのうち、奇数ラインにより構成されるフィールド画像をいう。また、偶数フィールド画像とは、複数のラインのうち、偶数ラインにより構成されるフィールド画像をいう。
　さらに、画像データとして、フレーム画像を採用する場合については、図１９を参照して説明する。
　符号化部４２は、キャプチャ部４１からの画像データを符号化する符号化処理を行い、その符号化処理により得られる符号化データを、パケット構成部４３に供給する。
　なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。
　パケット構成部４３は、符号化部４２からの符号化データを、複数のRTPパケットにパケット化（変換）してRTP通信部４４に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
　RTP通信部４４は、RTPに従って、パケット構成部４３からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置２２に送信する際の送信時刻等を付加する。そして、RTP通信部４４は、タイムスタンプを付加したRTPパケットを、ネットワーク２３を介して受信装置２２に送信する。
　また、RTP通信部４４は、RTPに従って、受信装置２２からネットワーク２３を介して供給されるRTCPメッセージを受信し、キャプチャ調整部４５に供給する。
　ここで、RTCPメッセージには、キャプチャタイミングVblankを調整するための調整量Zforward及びZbackwardが含まれている。調整量Zforward及びZbackwardは、例えば、受信装置２２により算出されて送信される。なお、調整量Zforward又はZbackwardの一方は、例えば０とされる。
　キャプチャ調整部４５は、RTP通信部４４からの調整量Zforward及びZbackwardに基づいて、キャプチャ部４１のキャプチャタイミングVblankを調整するキャプチャ調整処理を行う。
　すなわち、例えば、キャプチャ調整部４５は、調整量Zforward=0である場合、キャプチャタイミングVblankを、調整量Zbackwardだけ早めるように調整する。また、例えば、キャプチャ調整部４５は、調整量Zbackward=0である場合、キャプチャタイミングVblankを、調整量Zforwardだけ遅れるように調整する。なお、キャプチャ調整部４５が行うキャプチャ調整処理の詳細は、図１６を参照して後述する。
　操作部４６は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部４７に供給する。
　制御部４７は、例えば、操作部４６からの操作信号に基づいて、キャプチャ部４１、符号化部４２、パケット構成部４３、及びRTP通信部４４の各部を制御する。
[受信装置２２の構成例]
　受信装置２２は、RTP通信部６１、パケット組立部６２、復号部６３、書込制御部６４、バッファ６５、表示制御部６６、表示部６７、書込情報測定部６８、書込情報記憶部６９、調整量算出部７０、操作部７１、及び制御部７２から構成される。
　RTP通信部６１は、RTP通信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。また、RTP通信部６１は、調整量算出部７０からの調整量に基づいて、その調整量を含むRTCPメッセージを生成し、ネットワーク２３を介して、RTP通信部４４に送信する。
　パケット組立部６２は、RTP通信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。
　復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを、書込制御部６４に供給する。ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
　書込制御部６４は、復号部６３からの画像データを、バッファ６５に供給して記憶させる（書き込ませる）。また、書込制御部６４は、各画像データ毎に、バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。
　バッファ６５は、書込制御部６４からの画像データを一時的に保持する。
　表示制御部６６は、バッファ６５から画像データを読み出し、表示部６７に供給する。そして、表示制御部６６は、予め決められた表示タイミングVblankに同期して、バッファ６５から読み出した画像データを、表示部６７に表示させる。
　次に、図２は、表示制御部６６が、予め決められた表示タイミングVblankで各画像データを表示させる場合の一例を示している。
　なお、画像データは、例えば、フィールド画像であり、複数のラインのうち、奇数番目のラインにより構成される奇数フィールド画像nodd、又は複数のラインのうち、偶数番目のラインにより構成される偶数フィールド画像nevenの一方である。
　また、図２において、横軸は時刻を表し、縦軸は、対応する時刻において表示されるラインのライン番号を表す。ここで、奇数フィールド画像nodd及び偶数フィールド画像nevenは、それぞれ、５４０ラインで構成されているものとする。
　表示タイミングVblank(nodd)は、奇数フィールド画像noddの表示を開始する時刻を表す。また、表示タイミングVblank(neven)は、偶数フィールド画像nevenの表示を開始する時刻を表す。
　表示制御部６６は、奇数フィールド画像noddをバッファ６５から読み出し、予め決められた表示タイミングVblank(nodd)に同期して、表示部６７に表示させる。また、表示制御部６６は、偶数フィールド画像nevenをバッファ６５から読み出し、予め決められた表示タイミングVblank(neven)に同期して、表示部６７に表示させる。
　表示部６７は、例えばインタレース方式により、各画像データを表示する。すなわち、例えば、表示部６７は、表示制御部６６からの制御にしたがって、各画像データとして、奇数フィールド画像noddと偶数フィールド画像nevenとを交互に表示する。なお、表示部６７は、図１に示されるように、受信装置２２の構成部分とされる他、受信装置２２の構成部分に含めずに、独立して設けるようにしてもよい。この場合、受信装置２２内の表示制御部６６と、受信装置２２の外部に設けられた表示部６７とは、例えばケーブル等により接続される。
　書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報を測定する。なお、書込情報測定部６８は、偶数フィールド画像nevenの書込み情報に代えて、又は偶数フィールド画像nevenの書込み情報とともに、バッファ６５に書き込まれた奇数フィールド画像noddの書込み情報を測定するようにしてもよい。このことは、図１８を参照して後述する。
　また、例えば、画像データとしてフレーム画像が採用され、表示部６７が、プログレッシブ方式により各画像データを表示するものである場合、書込情報測定部６８は、各画像データを、フレーム画像とし、そのフレーム画像の書込み情報を測定することとなる。このことは、図１９を参照して後述する。
　以下では、書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報を測定するものとして説明する。
　書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報として、例えば、偶数フィールド画像nevenの書き込みが開始されるまでに必要とされる書込み準備時間Xn、及び偶数フィールド画像nevenの書き込みに要するバッファ書込み時間Pnを測定する。
　次に、図３は、書込情報測定部６８が、偶数フィールド画像nevenの書込み準備時間Xn及びバッファ書込み時間Pnを測定する場合の一例を示している。
　ここで、図３において、書込み開始時刻Tsは、バッファ６５に対して偶数フィールド画像nevenの書込みが開始された時刻を表す。また、書込み終了時刻Teは、バッファ６５に対して偶数フィールド画像nevenの書込みが終了された時刻を表す。
　なお、書込情報測定部６８には、書込制御部６４から、偶数フィールド画像nevenの書込み開始時刻Ts及び書き込み終了時刻Teが供給される。
　書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Tsと、予め決められた表示タイミングVblank(n-1even)とに基づいて、書込み準備時間Xn（=Vblank(n-1even)-Ts）を測定する。
　また、例えば、書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Ts及び書込み終了時刻Teに基づいて、バッファ書込み時間Pn（=Te-Ts）を測定する。
　書込情報測定部６８は、偶数フィールド画像neven毎に測定した書込み準備時間Xn及びバッファ書込み時間Pnを、書込情報記憶部６９に供給して記憶させる。
　図１に戻り、書込情報記憶部６９は、書込情報測定部６８からの書込み準備時間Xn及びバッファ書込み時間Pnを、書込み情報として記憶する。
　調整量算出部７０は、書込情報記憶部６９に記憶されている書込み情報に基づいて、送信装置２１のキャプチャ部４１におけるキャプチャタイミングVblankを調整するための調整量Zforward及びZbackwardを算出する調整量算出処理を行う。なお、この調整量算出処理については、例えば、図１７を参照して詳述する。
　そして、調整量算出部７０は、調整量算出処理により算出した調整量Zforward及びZbackwardを、RTP通信部６１に供給する。
　操作部７１は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部７２に供給する。
　制御部７２は、例えば、操作部７１からの操作信号に基づいて、RTP通信部６１、パケット組立部６２、復号部６３、書込制御部６４、表示制御部６６、書込情報測定部６８、及び調整量算出部７０の各部を制御する。
[調整量算出処理及びキャプチャ調整処理の詳細]
　次に、図４乃至図１２を参照して、受信装置２２の調整量算出部７０が行う調整量算出処理、及び送信装置２１のキャプチャ調整部４５が行うキャプチャ調整処理について説明する。
　図４は、書込情報記憶部６９に記憶されている書込み準備時間Xnの分布の一例を示している。
　図４において、横軸は書込み準備時間Xnを示しており、縦軸は書込み準備時間Xnの度数を示す。
　調整量算出部７０は、書込情報記憶部６９に記憶されている書込み準備時間Xnに基づいて、図４に示されるような書込み準備時間Xnの分布を表すX分布情報を生成する。
　そして、調整量算出部７０は、書込み準備時間XnのX分布情報に基づいて、書込み準備時間Xnを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xnと、残りの下位（100-α）パーセントの書込み準備時間Xnとを区別するための閾値Xthを算出する。
　ここで、この閾値Xthは、書込み準備時間Xnを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xnの最大値以上であって、下位（100-α）パーセントの書込み準備時間Xnの最小値未満の値とされる。なお、値αは、例えば、ユーザ操作により予め決定される。
　次に、図５は、書込情報記憶部６９に記憶されているバッファ書込み時間Pnの分布の一例を示している。
　図５において、横軸はバッファ書込み時間Pnを示しており、縦軸はバッファ書込み時間Pnの度数を示す。
　調整量算出部７０は、書込情報記憶部６９に記憶されている複数のバッファ書込み時間Pnに基づいて、図５に示されるようなバッファ書込み時間Pnの分布を表すP分布情報を生成する。
　そして、調整量算出部７０は、バッファ書込み時間PnのP分布情報に基づいて、バッファ書込み時間Pnを昇順に並べたときの上位αパーセントのバッファ書込み時間Pnと、下位（100-α）パーセントのバッファ書込み時間Pnとを区別するための閾値Pthを算出する。
　ここで、この閾値Pthは、バッファ書込み時間Pnを昇順に並べたときの上位αパーセントのバッファ書込み時間Pnの最大値以上であって、下位（100-α）パーセントのバッファ書込み時間Pnの最小値未満の値とされる。
　次に、図６は、調整量算出部７０が、閾値Pthに基づいて許容遅延時間Ythを、閾値Xthに基づいて必要時間Yをそれぞれ算出する場合の一例を示している。
　調整量算出部７０は、図６に示されるように、バッファ書込み時間PnのP分布情報から算出した閾値Pthに基づいて、式（１）により許容遅延時間Ythを算出する。
　Yth = Pth -(1/60)　　　　　　　・・・（１）
　ここで、許容遅延時間Ythとは、偶数フィールド画像nevenの書込みを開始した書込み開始時刻Tsから、予め決められた期待書込み時間1/60で書込みを終了できないときの遅延時間であって、少なくともαパーセントの確率で、偶数フィールド画像nevenに乱れ等を生じさせることなく表示させるために許容される遅延時間をいう。
　なお、期待書込み時間1/60は、書込制御部６４において、データの書込みに遅延等が生じていない場合に期待される、偶数フィールド画像neven（又は奇数フィールド画像nodd）の書込み時間を表す。
　この期待書込み時間1/60は、例えば、偶数フィールド画像neven（又は奇数フィールド画像nodd）の表示に要する時間に応じて決定される。いまの場合、表示部６７は、奇数フィールド画像と偶数フィールド画像をそれぞれ表示時間1/60で表示するようにしている。したがって、例えば、期待書込み時間も同様にして1/60とされる。なお、表示部６７が、奇数フィールド画像と偶数フィールド画像をそれぞれ表示時間1/ｍで表示する場合、例えば期待書込み時間は1/ｍとされる。
　また、例えば、調整量算出部７０は、書込み準備時間XnのX分布情報から算出した閾値Xthに基づいて、αパーセントの確率で受信される偶数フィールド画像neven、すなわち、許容遅延時間Yth以下の遅延時間で書き込まれる偶数フィールド画像nevenの必要時間Yを算出する。
　ここで、必要時間Yとは、許容遅延時間Yth以下の遅延時間でバッファ６５に書き込まれる偶数フィールド画像nevenにおいて、書込み開始時刻Tsから表示タイミング（neven）までに少なくとも要する時間を表す。
　すなわち、例えば、調整量算出部７０は、図６に示されるように、表示タイミングVblank(n-1even)と表示タイミング(neven)の表示間隔Vblank Interval、及び閾値Xthに基づいて、次式（２）により必要時間Yを算出する。
　Y = Vblank Interval -Xth　　　・・・（２）
　調整量算出部７０は、算出した必要時間Yが、次式（３）を満たすか否かに基づいて、少なくともαパーセントの確率で、偶数フィールド画像nevenに乱れ等を発生させることなく表示できるか否かを判定する。
　Y > Yth　　　　　　　　　　　・・・（３）
　そして、調整量算出部７０は、その判定結果に基づいて、調整量Zforward及びZbackwardを算出する。すなわち、例えば、調整量算出部７０は、式（３）を満たす場合、図６に示されるように、調整量Zforward(=Y-Yth)を算出する。そして、調整量算出部７０は、算出した調整量Zforwardと、０とされた調整量Zbackwardを、RTP通信部６１に供給する。
　次に、図７乃至図９を参照して、式（３）を満たす場合に、調整量算出部７０が行う調整量算出処理及びキャプチャ調整部４５が行うキャプチャ調整処理について説明する。
　なお、以下では、受信装置２２側の表示タイミングは、送信装置２１側のキャプチャタイミングに同期しているものとして説明するが、表示タイミングは、キャプチャタイミングに同期していなくてもよい。
　図７のAに示されるように、送信装置２１側では、キャプチャタイミングVblank(neven)に同期して、偶数フィールド画像nevenのキャプチャが開始される。
　受信装置２２側において、式（３）を満たす場合、図７のBに示されるように、偶数フィールド画像nevenにおいて、書込み開始時刻Tsでバッファ６５に対する書き込みが開始される。そして、ライン番号iのライン（i）は、ライン（i）の表示タイミングよりも前に、バッファ６５に書き込まれることとなる。
　この場合、調整量算出部７０は、図７のBに示されるように、調整量Zforward(=Y-Yth)を算出し、調整量Zbackward=0として、調整量Zforward及びZbackwardを、RTP通信部６１に供給する。RTP通信部６１は、調整量算出部７０からの調整量Zforward及びZbackwardを含むRTCPメッセージを生成し、ネットワーク２３を介して、送信装置２１のRTP通信部４４に送信する。
　送信装置２１のRTP通信部４４は、RTP通信部６１からネットワーク２３を介して受信したRTCPメッセージを、キャプチャ調整部４５に供給する。
　キャプチャ調整部４５は、RTP通信部４４からのRTCPメッセージに含まれる調整量Zforward及びZbackwardに基づいて、キャプチャ部４１のキャプチャタイミングVblankを調整する。
　いまの場合、RTCPメッセージに含まれる調整量Zbackward=0である。したがって、キャプチャ調整部４５は、図８のAに示されるような現在のキャプチャタイミングVblankを、調整量Zforwardだけ遅れるようにして、図８のBに示されるようなキャプチャタイミングVblankに調整する。
　これにより、キャプチャ部４１は、例えば、図９のAに示されるように、調整量Zforwardだけ遅れるように調整されたキャプチャタイミングVblankで、外部からの偶数フィールド画像nevenをキャプチャすることとなる。
　このため、受信装置２２の書込制御部６４は、図９のBに示されるように、調整量Zforwardだけ遅れた書込み開始時刻Ts'(=Ts+Zforward)から、偶数フィールド画像nevenの書込みを開始することとなる。この場合、式（３）を満たす範囲内で、必要時間Yは限りなく小さくされる。
　次に、図１０乃至図１２を参照して、式（３）を満たさない場合に、調整量算出部７０が行う調整量算出処理及びキャプチャ調整部４５が行うキャプチャ調整処理について説明する。
　なお、図１０のAに示されるように、送信装置２１側では、キャプチャタイミングVblank(neven)に同期して、偶数フィールド画像nevenのキャプチャが開始される。
受信装置２２側において、式（３）を満たさない場合、図１０のBに示されるように、偶数フィールド画像nevenにおいて、書込み開始時刻Tsでバッファ６５に対する書き込みが開始される。そして、ライン番号iのライン（i）のうち、例えばライン番号L以降のライン（i≧L）が、ライン（i≧L）の表示タイミング以降に、バッファ６５に書き込まれることとなる。
　なお、ライン番号Lのラインとは、図１０のBにおいて、偶数フィールド画像nevenの各ラインの書込みタイミングを表す太い点線と、偶数フィールド画像nevenの各ラインの表示タイミングを表す実線とが交差するときのラインを表す。
　この場合、調整量算出部７０は、図１０のBに示されるように、調整量Zbackward(=Yth-Y)を算出し、調整量Zforward=0として、調整量Zforward及びZbackwardを、RTP通信部６１に供給する。RTP通信部６１は、調整量算出部７０からの調整量Zforward及びZbackwardを含むRTCPメッセージを生成し、ネットワーク２３を介して、送信装置２１のRTP通信部４４に送信する。
　送信装置２１のRTP通信部４４は、RTP通信部６１からネットワーク２３を介して受信したRTCPメッセージを、キャプチャ調整部４５に供給する。
　キャプチャ調整部４５は、RTP通信部４４からのRTCPメッセージに含まれる調整量Zforward及びZbackwardに基づいて、キャプチャ部４１のキャプチャタイミングVblankを調整する。
　いまの場合、RTCPメッセージに含まれる調整量Zforward=0である。したがって、キャプチャ調整部４５は、図１１のAに示されるような現在のキャプチャタイミングVblankを、調整量Zbackwardだけ早めるようにして、図１１のBに示されるようなキャプチャタイミングVblankに調整する。
　これにより、キャプチャ部４１は、例えば、図１２のAに示されるように、調整量Zforwardだけ早めるように調整されたキャプチャタイミングVblankで、外部からの偶数フィールド画像nevenをキャプチャすることとなる。
　このため、受信装置２２の書込制御部６４は、図１２のBに示されるように、書込み開始時刻Tsよりも調整量Zbackwardだけ早めた書込み開始時刻Ts'(Ts-Zbackward)から、偶数フィールド画像nevenの書込みを開始することとなる。この場合、図１２のBに示されるように、式（３）は満たすものとなる。
　なお、調整量算出部７０は、適宜、調整量算出処理を行う。これは、ネットワーク２３の輻輳状況等に応じて、画像データの伝送時間が変化することにより、調整後のキャプチャタイミングVblankにおいても、図７のA及び図７のBや、図１０のA及び図１０のBに示されるような状態が生じることによる。
　次に、図１３及び図１４は、それぞれ、ネットワーク２３の輻輳状況等に応じて伝送時間が変化する様子の一例を示している。
　図１３及び図１４において、縦軸は、画像データの各RTPパケットをそれぞれ表すパケット番号を示している。また、横軸は、画像データを構成するデータに対して、キャプチャ部４１が行う「キャプチャ」処理、符号化部４２が行う「符号化」処理、パケット構成部４３が行う「パケット構成」処理、RTP通信部４４とRTP通信部６１との間でネットワーク２３を介して行われるRTPパケットの「転送」処理、パケット組立部６２が行う「パケット組立」処理、及び復号部６３が行う「復号」処理にそれぞれ要する時間を示す。
　図１３及び図１４に示されるように、ネットワーク２３の状況に応じて、「転送」処理に要する時間が大きく異なるものとなる。すなわち、ネットワーク２３の輻輳が比較的小さい場合、図１３に示されるように、「転送」処理に要する時間は短くなり、ネットワーク２３の輻輳が比較的大きい場合、図１４に示されるように、「転送」処理に要する時間は長いものとなる。
　したがって、ネットワーク２３の輻輳状況等に応じて、「転送」処理に要する時間、ひいては伝送時間が変化することにより、図７のA及び図７のBや、図１０のA及び図１０のBに示されるような状態が生じるため、調整量算出部７０は、適宜、調整量算出処理を行う必要がある。
　そして、キャプチャ調整部４５は、調整量算出部７０から、RTP通信部６１、ネットワーク２３及びRTP通信部４４を介して供給される調整量Zforward及びZbackwardに基づいて、キャプチャ部４１のキャプチャタイミングVblankを調整する必要がある。
[送信装置２１の動作説明]
　次に、図１５のフローチャートを参照して、送信装置２１が行う送信処理について説明する。
　この送信処理は、例えば、画像データをキャプチャして送信するように、操作部４６が操作されたときに開始される。このとき、制御部４７は、操作部４６からの操作信号に応じて、キャプチャ部４１乃至キャプチャ調整部４５を制御して送信処理を行う。
　すなわち、ステップＳ１において、キャプチャ部４１は、制御部４７からの制御にしたがって、後述するステップＳ６のキャプチャ調整処理で調整されたキャプチャタイミングVblankに同期して、外部から入力される画像データを取得し、符号化部４２に供給する。
　なお、キャプチャ部４１は、ステップＳ６のキャプチャ調整処理がまだ行われていない場合には、例えば、予め決められたキャプチャタイミングVblankに同期して、外部から入力される画像データを取得し、符号化部４２に供給する。
　ステップＳ２において、符号化部４２は、キャプチャ部４１からの画像データを符号化する符号化処理を行い、その符号化処理により得られる符号化データを、パケット構成部４３に供給する。
　ステップＳ３において、パケット構成部４３は、符号化部４２からの符号化データを、複数のRTPパケットにパケット化（変換）してRTP通信部４４に出力する。
　ステップＳ４において、RTP通信部４４は、RTPに従って、パケット構成部４３からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置２２に送信する際の送信時刻等を付加する。そして、RTP通信部４４は、タイムスタンプを付加したRTPパケットを、ネットワーク２３を介して受信装置２２に送信する。
　ステップＳ５において、RTP通信部４４は、受信装置２２からネットワーク２３を介して、調整量Zforward及びZbackwardを含むRTCPメッセージを受信したか否かを判定し、受信していないと判定した場合、処理をステップＳ１に戻し、それ以降同様の処理が行われる。
　また、ステップＳ５において、RTP通信部４４は、受信装置２２からネットワーク２３を介して、調整量Zforward及びZbackwardを含むRTCPメッセージを受信したと判定した場合、そのRTCPメッセージをキャプチャ調整部４５に供給する。
　そして、ステップＳ６では、キャプチャ調整部４５は、RTP通信部４４からのRTCPメッセージに基づいて、キャプチャタイミングVblankを調整するキャプチャ調整処理を行う。また、ステップＳ６では、キャプチャ調整部４５は、キャプチャ調整処理の終了後、処理をステップＳ１に戻し、それ以降同様の処理が行われる。なお、この送信処理は、例えば、画像データの送信を停止するように、ユーザにより、操作部４６が操作されたときに終了される。
　次に、図１６のフローチャートを参照して、図１５のステップＳ６におけるキャプチャ調整処理について説明する。
　上述のように、キャプチャ調整部４５には、RTP通信部４４からRTCPメッセージが供給される。
　ステップＳ２１において、キャプチャ調整部４５は、RTP通信部４４から供給されるRTCPメッセージから、そのRTCPメッセージに含まれる調整量Zforward及びZbackwardを取得（抽出）する。
　ステップＳ２２において、キャプチャ調整部４５は、取得した調整量Zbackwardが０であるか否かを判定し、調整量Zbackwardが０であると判定した場合、処理をステップＳ２３に進める。
　ステップＳ２３では、キャプチャ調整部４５は、キャプチャ部４１を制御し、キャプチャ部４１のキャプチャタイミングVblankを、取得した他の調整量Zforwardだけ遅れるように調整する。
　すなわち、例えば、キャプチャ調整部４５は、図８のAに示されるような現在のキャプチャタイミングVblankを、図８のBに示されるようなキャプチャタイミングVblankに調整する。
　これにより、キャプチャ部４１は、図９のAに示されるような調整後のキャプチャタイミングVblankに同期して、各画像データをキャプチャする。そして、受信装置２２の表示制御部６６は、図９のBに示されるように、式（３）を満たす範囲内で、必要時間Yが可能な限り短くされた表示タイミングVblankで、画像データを表示するものとなる。
　また、ステップＳ２２において、キャプチャ調整部４５は、取得した調整量Zbackwardが０であるか否かを判定し、調整量Zbackwardが０ではないと判定した場合、つまり、調整量Zforwardが０であると判定した場合、処理をステップＳ２４に進める。
　ステップＳ２４では、キャプチャ調整部４５は、キャプチャ部４１を制御し、キャプチャ部４１のキャプチャタイミングVblankを、取得した他の調整量Zbackwardだけ早めるように調整する。
　すなわち、例えば、キャプチャ調整部４５は、図１１のAに示されるような現在のキャプチャタイミングVblankを、図１１のBに示されるようなキャプチャタイミングVblankに調整する。これにより、キャプチャ部４１は、図１２のAに示されるような調整後のキャプチャタイミングVblankに同期して、各画像データをキャプチャする。そして、受信装置２２の表示制御部６６は、図１２のBに示されるように、式（３）を満たす表示タイミングVblankで、画像データを表示するものとなる。
　以上で、キャプチャ調整処理は終了され、図１５のステップＳ６にリターンされ、処理はステップＳ１に戻される。そして、ステップＳ１では、キャプチャ部４１は、キャプチャ調整処理により調整後のキャプチャタイミングVblankに同期して、各画像データをキャプチャする。
　以上説明したように、キャプチャ調整処理によれば、ステップＳ２４において、キャプチャ調整部４５は、式（３）を満たさない場合、式（３）が満たされるように、キャプチャタイミングVblankを調整するようにした。
　このため、受信装置２２において、画像の一部分がスキップされることにより、画像に乱れ等が生じる事態を抑止することが可能となる。
　また、例えば、ステップＳ２３において、キャプチャ調整部４５は、式（３）を満たす場合でも、式（３）を満たす範囲内で、必要時間Yが可能な限り短くなるように、キャプチャタイミングVblankを調整するようにした。
　このため、奇数フィールド画像nodd及び偶数フィールド画像nevenにおいて、書込み開始時間から表示タイミングまでに要する時間が全体的に短くなるため、最小限の低遅延で画像を表示することが可能となる。
[受信装置２２の動作説明]
　次に、図１７のフローチャートを参照して、受信装置２２が行う調整量算出処理について説明する。
　この調整量算出処理は、例えば、送信装置２１からネットワーク２３を介して、RTPパケットが送信されたときに開始される。このとき、RTP通信部６１は、RTP通信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。パケット組立部６２は、RTP通信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを書込制御部６４に供給する。
　書込制御部６４は、復号部６３からの画像データ（奇数フィールド画像及び偶数フィールド画像）を、バッファ６５に供給して記憶させる（書き込ませる）。また、書込制御部６４は、偶数フィールド画像neven毎に、バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。
　表示制御部６６は、バッファ６５から、画像データとしての奇数フィールド画像及び偶数フィールド画像を読み出し、予め決められた表示タイミングVblankに同期して、表示部６７に表示させる。
　ステップＳ４１において、書込情報測定部６８は、書込制御部６４からの書込み開始時刻Ts、及び予め決められた表示タイミングVblankに基づいて、偶数フィールド画像nevenの書込み準備時間Xnを測定し、書込情報記憶部６９に供給して記憶させる。
　ステップＳ４２において、書込情報測定部６８は、書込制御部６４からの開示時刻Ts及び終了時間Teに基づいて、偶数フィールド画像nevenのバッファ書込み時間Pnを測定し、書込情報記憶部６９に供給して記憶させる。
　ステップＳ４３において、調整量算出部７０は、内蔵する計時部（図示せず）により計時された計時時間が、所定の時間を経過したか否かを判定し、計時時間が所定の時間を経過していないと判定した場合、処理をステップＳ４１に戻し、それ以降同様の処理が行われる。
　また、ステップＳ４３において、調整量算出部７０は、計時時間が所定の時間を経過したと判定した場合、処理をステップＳ４４に進める。
　ステップＳ４４において、調整量算出部７０は、書込情報記憶部６９から書込み準備時間Xnを読み出し、読み出した書込み準備時間Xnの分布を表すX分布情報を算出する。
　ステップＳ４５では、調整量算出部７０は、ステップＳ４４で算出したX分布情報に基づいて、閾値Xthを算出する。
　ステップＳ４６では、調整量算出部７０は、表示間隔Vblank Intervalと閾値Xthに基づいて、式（２）により必要時間Yを算出する。
　ステップＳ４７では、調整量算出部７０は、書込情報記憶部６９からバッファ書込み時間Pnを読み出し、読み出したバッファ書込み時間Pnの分布を表すP分布情報を算出する。
　ステップＳ４８では、調整量算出部７０は、ステップＳ４７で算出したP分布情報に基づいて、閾値Pthを算出する。
　ステップＳ４９では、調整量算出部７０は、ステップＳ４８で算出した閾値Pthと、期待書込み時間1/60に基づいて、式（１）により許容遅延時間Ythを算出する。
　ステップＳ５０では、調整量算出部７０は、ステップＳ４６で算出した必要時間Yと、ステップＳ４９で算出した許容遅延時間Ythに基づいて、式（３）を満たすか否かを判定し、式（３）を満たすと判定した場合、処理をステップＳ５１に進める。
　ステップＳ５１では、調整量算出部７０は、図７のBに示したように、必要時間Yと許容遅延時間Ythに基づいて、調整量Zforward(=Y-Yth)を算出する。この調整量Zforwardは、式（３）を満たす範囲内で、必要時間Yが短くなるようにキャプチャタイミングVblankを調整するための調整量となる。
　ステップＳ５２では、調整量算出部７０は、調整量Zbackward=0とし、調整量Zforward及びZbackwardを、RTP通信部６１に供給して、処理をステップＳ５３に進める。
　そして、ステップＳ５３において、RTP通信部６１は、調整量算出部７０からの調整量Zforward及びZbackwardを含むRTCPメッセージを生成し、ネットワーク２３を介して、送信装置２１のRTP通信部４４に送信する。
　また、ステップＳ５０では、調整量算出部７０は、ステップＳ４６で算出した必要時間Yと、ステップＳ４９で算出した許容遅延時間Ythに基づいて、式（３）を満たしていないと判定した場合、処理をステップＳ５４に進める。
　ステップＳ５４では、調整量算出部７０は、図１０のBに示したように、必要時間Yと許容遅延時間Ythに基づいて、調整量Zbackward(=Yth-Y)を算出する。この調整量Zbackwardは、式（３）を満たすように、キャプチャタイミングVblankを調整するための調整量となる。
　ステップＳ５５では、調整量算出部７０は、調整量Zforward=0とし、調整量Zforward及びZbackwardを、RTP通信部６１に供給して、処理をステップＳ５３に進め、上述したステップＳ５３の処理が行われる。以上で調整量算出処理は終了される。
　以上説明したように、調整量算出処理によれば、例えば、偶数フィールド画像nevenの書込み情報に応じて、式（３）を満たすようなキャプチャタイミングVblankとするための調整量Zforward及びZbackwardを算出するようにした。
　そして、キャプチャ調整処理において、調整量算出処理により算出された調整量Zforward及びZbackwardに基づいて、キャプチャタイミングVblankを調整するようにした。
　このため、受信装置２２では、式（３）を満たした状態で、画像の書込みが行われることになるので、画像の一部分がスキップされることにより、画像に乱れ等が生じる事態を抑止することが可能となる。
　また、例えば、調整量算出処理によれば、式（３）を満たしている場合でも、式（３）を満たす範囲内で、必要時間Yが可能な限り短くなるように、キャプチャタイミングVblankを調整するための調整量Zforward及びZbackwardを算出するようにした。
　このため、奇数フィールド画像nodd及び偶数フィールド画像nevenにおいて、書込み開始時間から表示タイミングまでに要する時間が全体的に短くなるため、最小限の低遅延で画像を表示することが可能となる。
＜２．変形例＞
　なお、キャプチャ調整処理では、ステップＳ２２において、調整量Zbackward=0である場合に、処理をステップＳ２３に進めて、キャプチャタイミングVblankを、調整量Zforwardだけ早めるようにしたが、これに限定されない。
　すなわち、例えば、調整量Zbackward=0である場合には、式（３）を満たしているので、キャプチャタイミングVblankを調整せずに、そのままとするようにしてもよい。この場合、図７のBに示されるようにして、偶数フィールド画像nevenが、表示タイミングVblank(neven)に同期して表示されることとなる。
　また、受信装置２２の調整量算出部７０は、調整量Zforward及びZbackwardを算出するようにしたが、キャプチャタイミングの調整に用いる調整量のみを算出するようにしてもよい。この場合、RTP通信部６１は、０とされる調整量の送信を行わずに、キャプチャタイミングの調整に用いる調整量のみを送信することとなる。
　そして、送信装置２１のキャプチャ調整部４５では、RTP通信部６１から、ネットワーク２３及びRTP通信部４４を介して取得される調整量を用いて、キャプチャタイミングを調整することとなる。
　なお、本実施の形態では、受信装置２２の調整量算出部７０が、調整量Zforward及びZbackwardを算出するようにした。しかしながら、例えば、送信装置２１に、書込情報測定部６８乃至調整量算出部７０を設けるようにして、送信装置２１側で調整量Zforward及びZbackwardを算出するようにしてもよい。
　この場合、キャプチャ調整部４５は、送信装置２１側の調整量算出部７０で算出された調整量Zforward及びZbackwardに基づいて、キャプチャタイミングを調整する。
　送信装置２１に、書込情報測定部６８乃至調整量算出部７０を設ける場合、受信装置２２の書込制御部６４は、各画像データ毎の書込み開始時刻Tsと書込み終了時刻Te、及び表示タイミングVblankを、RTP通信部６１に供給する。そして、RTP通信部６１は、書込制御部６４からの書込み開始時刻Ts、書込み終了時刻Te、及び表示タイミングVblankを、ネットワーク２３を介して、送信装置２１側の書込情報測定部６８に供給することとなる。
　なお、送信装置２１に、書込情報測定部６８乃至調整量算出部７０を設ける場合、受信装置２２において、書込情報測定部６８乃至調整量算出部７０を設ける必要がなくなる。
　本実施の形態では、偶数フィールド画像nevenの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するようにしたが、その他、例えば、図１８に示されるように、奇数フィールド画像noddの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出することができる。また、例えば、奇数フィールド画像noddの書込み情報、及び偶数フィールド画像nevenの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するようにしてもよい。
　また、例えば、表示部６７において、プログレッシブ方式で画像を表示する場合には、図１９に示されるように、各画像をプログレッシブ画像（フレーム画像）とし、プログレッシブ画像の書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するものとなる。そして、算出した必要時間Y及び許容遅延時間Ythに基づいて、調整量Zforward(=Y-Yth)又は調整量Zbackward(=Yth-Y)が算出される。
　さらに、調整量算出部７０は、図４に示されるような書込み準備時間Xnの分布を表すX分布情報を生成する際に、書込み準備時間Xnの測定された時期に拘らず、書込み準備時間Xnの度数を１として、X分布情報を生成するようにした。
　しかしながら、調整量算出部７０は、測定された時期が直近であるほどに、書込み準備時間Xnの度数を多く加算するようにして、X分布情報を生成するようにしてもよい。これは、直近に測定された書込み準備時間Xnほど、これから受信される画像の書込み準備時間をより正確に表していると考えられるからである。
　このことは、図５に示されるようなバッファ書込み時間Pnの分布を表すP分布情報を生成する際についても同様である。
　これにより、調整量算出部７０では、これから受信される画像の書込み準備時間を、より正確に反映したX分布情報を生成できるとともに、これから受信される画像のバッファ書込み時間を、より正確に反映したP分布情報を生成できるようになる。
　このため、調整量算出部７０は、そのようなX分布情報及びP分布情報から、これから受信される画像の必要時間Y及び許容遅延時間Ythを、より正確に算出することができるようになる。よって、調整量算出部７０において、必要時間Yと許容遅延時間Ythとの比較結果（式（３）を満たすか否か野判定結果）に基づいて、より正確な調整量を算出できるようになる。このため、送信装置２１のキャプチャ調整部４５において、調整量算出部７０で算出された調整量に基づいて、キャプチャタイミングVblankの調整をより適切に行うことが可能となる。
　なお、本技術は以下のような構成もとることができる。
　（１）画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得する取得部と、前記調整量に基づいて、前記キャプキャプチャタイミングを調整するキャプチャ調整部と、調整された前記キャプチャタイミングに同期して前記画像をキャプチャするキャプチャ部と、キャプチャされた前記画像を受信装置に送信する送信部とを含む送信装置。
　（２）前記受信装置は、前記画像を一時的に保持する保持部を有し、前記保持部に対して、前記送信部から受信した前記画像の書込みを行い、前記保持部に書き込まれた前記画像を、予め決められた表示タイミングに同期して表示させ、前記取得部は、前記保持部に対する前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記表示タイミングまでに少なくとも要する必要時間との比較結果に基づいて算出される前記調整量を取得する前記（１）に記載の送信装置。
　（３）前記許容遅延時間を算出する第１の算出部と、前記必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記調整量を算出する調整量算出部とをさらに含み、前記取得部は、前記調整量算出部により算出された前記調整量を取得する前記（２）に記載の送信装置。
　（４）前記調整量算出部は、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間が短くなるように前記キャプチャタイミングを調整するための前記調整量を算出する前記（３）に記載の送信装置。
　（５）前記調整量算出部は、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記キャプチャタイミングを調整するための前記調整量を算出する前記（３）又は（４）に記載の送信装置。
　（６）前記取得部は、前記受信装置からの前記調整量を受信することにより取得する前記（２）に記載の送信装置。
　（７）前記受信装置の前記保持部に対する前記画像の書込みに要する書込み時間を測定する第１の測定部をさらに含み、前記第１の算出部は、前記書込み時間の分布に基づいて、前記許容遅延時間を算出する前記（３）に記載の送信装置。
　（８）前記受信装置の前記保持部に対する前記画像の書込みの開始に要する書込み準備時間を測定する第２の測定部をさらに含み、前記第２の算出部は、前記書込み準備時間の分布に基づいて、前記必要時間を算出する前記（３）又は（７）に記載の送信装置。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
　図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
　CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
　入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
　また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
　入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
　コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図２０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
　なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
　なお、本開示における実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　２１　送信装置，　２２　受信装置，　２３　ネットワーク，　４１　キャプチャ部，　４２　符号化部，　４３　パケット構成部，　４４　RTP通信部，　４５　キャプチャ調整部，　４６　操作部，　４７　制御部，　６１　RTP通信部，　６２　パケット組立部，　６３　復号部，　６４　書込制御部，　６５　バッファ，　６６　表示制御部，　６７　表示部，　６８　書込情報測定部，　６９　書込情報記憶部，　７０　調整量算出部，　７１　操作部，　７２　制御部

Claims (10)

  1. 　画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得する取得部と、
    　前記調整量に基づいて、前記キャプキャプチャタイミングを調整するキャプチャ調整部と、
    　調整された前記キャプチャタイミングに同期して前記画像をキャプチャするキャプチャ部と、
    　キャプチャされた前記画像を受信装置に送信する送信部と
    　を含む送信装置。
  2. 　前記受信装置は、前記画像を一時的に保持する保持部を有し、
    　　前記保持部に対して、前記送信部から受信した前記画像の書込みを行い、
    　　前記保持部に書き込まれた前記画像を、予め決められた表示タイミングに同期して表示させ、
    　前記取得部は、
    　　前記保持部に対する前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間と、
    　　前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記表示タイミングまでに少なくとも要する必要時間と
    　の比較結果に基づいて算出される前記調整量を取得する
    　請求項１に記載の送信装置。
  3. 　前記許容遅延時間を算出する第１の算出部と、
    　前記必要時間を算出する第２の算出部と、
    　前記許容遅延時間と前記必要時間とを比較する比較部と、
    　前記比較部の比較結果に基づいて、前記調整量を算出する調整量算出部と
    　をさらに含み、
    　前記取得部は、前記調整量算出部により算出された前記調整量を取得する
    　請求項２に記載の送信装置。
  4. 　前記調整量算出部は、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間が短くなるように前記キャプチャタイミングを調整するための前記調整量を算出する
    　請求項３に記載の送信装置。
  5. 　前記調整量算出部は、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記キャプチャタイミングを調整するための前記調整量を算出する
    　請求項４に記載の送信装置。
  6. 　前記取得部は、前記受信装置からの前記調整量を受信することにより取得する
    　請求項２に記載の送信装置。
  7. 　前記受信装置の前記保持部に対する前記画像の書込みに要する書込み時間を測定する第１の測定部をさらに含み、
    　前記第１の算出部は、前記書込み時間の分布に基づいて、前記許容遅延時間を算出する
    　請求項３に記載の送信装置。
  8. 　前記受信装置の前記保持部に対する前記画像の書込みの開始に要する書込み準備時間を測定する第２の測定部をさらに含み、
    　前記第２の算出部は、前記書込み準備時間の分布に基づいて、前記必要時間を算出する
    　請求項３に記載の送信装置。
  9. 　画像をキャプチャして送信する送信装置の送信方法において、
    　前記送信装置による、
    　　画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得する取得ステップと、
    　　前記調整量に基づいて、前記キャプキャプチャタイミングを調整するキャプチャ調整ステップと、
    　　調整された前記キャプチャタイミングに同期して前記画像をキャプチャするキャプチャステップと、
    　キャプチャされた前記画像を受信装置に送信する送信ステップと
    　を含む送信方法。
  10. 　コンピュータを、
    　画像のキャプチャを開始するキャプチャタイミングを調整するための調整量を取得する取得部と、
    　前記調整量に基づいて、前記キャプキャプチャタイミングを調整するキャプチャ調整部と、
    　調整された前記キャプチャタイミングに同期して前記画像をキャプチャするキャプチャ部と、
    　キャプチャされた前記画像を受信装置に送信させる送信制御部と
    　して機能させるためのプログラム。
PCT/JP2012/064535 2011-06-13 2012-06-06 送信装置、送信方法、及びプログラム WO2012173020A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12800505.5A EP2582133A4 (en) 2011-06-13 2012-06-06 TRANSMITTER, TRANSMITTING METHOD, AND PROGRAM
US13/814,636 US20130141596A1 (en) 2011-06-13 2012-06-06 Transmitter, transmission method, and program
CN2012800023905A CN103262536A (zh) 2011-06-13 2012-06-06 发送装置、发送方法、和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-131672 2011-06-13
JP2011131672A JP2013005064A (ja) 2011-06-13 2011-06-13 送信装置、送信方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2012173020A1 true WO2012173020A1 (ja) 2012-12-20

Family

ID=47357009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/064535 WO2012173020A1 (ja) 2011-06-13 2012-06-06 送信装置、送信方法、及びプログラム

Country Status (5)

Country Link
US (1) US20130141596A1 (ja)
EP (1) EP2582133A4 (ja)
JP (1) JP2013005064A (ja)
CN (1) CN103262536A (ja)
WO (1) WO2012173020A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222643A (ja) * 2011-04-11 2012-11-12 Sony Corp 表示制御装置、表示制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215480A (ja) * 1998-01-21 1999-08-06 Canon Inc 映像通信システム及び映像送信装置及び映像受信装置及びそれらの制御方法及び記憶媒体
JP2007082045A (ja) * 2005-09-16 2007-03-29 Toa Corp 通信装置、その通信方法、通信プログラム及び通信プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007311924A (ja) 2006-05-16 2007-11-29 Sony Corp 帯域分析装置及び方法、帯域合成装置及び方法、画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917943A (en) * 1995-03-31 1999-06-29 Canon Kabushiki Kaisha Image processing apparatus and method
US5999656A (en) * 1997-01-17 1999-12-07 Ricoh Co., Ltd. Overlapped reversible transforms for unified lossless/lossy compression
US6701372B2 (en) * 1997-08-22 2004-03-02 Canon Kabushiki Kaisha Data communication apparatus and method
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
GB2406014B (en) * 2003-09-10 2007-01-31 Thales Uk Plc Video system
JP5286050B2 (ja) * 2008-11-28 2013-09-11 株式会社日立国際電気 符号化−復号化装置および映像伝送システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11215480A (ja) * 1998-01-21 1999-08-06 Canon Inc 映像通信システム及び映像送信装置及び映像受信装置及びそれらの制御方法及び記憶媒体
JP2007082045A (ja) * 2005-09-16 2007-03-29 Toa Corp 通信装置、その通信方法、通信プログラム及び通信プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2007311924A (ja) 2006-05-16 2007-11-29 Sony Corp 帯域分析装置及び方法、帯域合成装置及び方法、画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2582133A4

Also Published As

Publication number Publication date
JP2013005064A (ja) 2013-01-07
CN103262536A (zh) 2013-08-21
EP2582133A1 (en) 2013-04-17
EP2582133A4 (en) 2014-11-12
US20130141596A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
US11240543B2 (en) Synchronizing playback of segmented video content across multiple video playback devices
US8964921B2 (en) Information processing apparatus, method, and program
CN106686438B (zh) 一种跨设备的音频图像同步播放的方法、装置及系统
US8675728B2 (en) Transmitting apparatus and method, and receiving apparatus and method
US20110123170A1 (en) Information processing apparatus and method
WO2012141014A1 (ja) 表示制御装置、表示制御方法、及びプログラム
US9697328B2 (en) Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
JP5610199B2 (ja) 受信装置、受信方法、及び通信システム
WO2010143550A1 (ja) 情報処理装置および方法、並びにプログラム
WO2012173020A1 (ja) 送信装置、送信方法、及びプログラム
WO2012169404A1 (ja) 表示制御装置、表示制御方法、及びプログラム
JP7542245B2 (ja) 映像伝送システム、通信装置、転送装置及びプログラム
JP5697494B2 (ja) 映像送信装置、映像送信方法、映像受信装置、および映像受信方法
JP2004215199A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
KR101446421B1 (ko) 영상 전송 시스템 및 방법
JP5522987B2 (ja) 送信装置、送信方法、及びコンピュータプログラム
JP2017224928A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP2017028385A (ja) 受信装置及びシステム
JP2011010091A (ja) 出力情報制御装置および出力情報制御方法
JP2012195880A (ja) 画像処理装置、画像処理方法およびプログラム
WO2005122578A1 (ja) 映像受信装置
JP2007329628A (ja) 画像送信装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2012800505

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13814636

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12800505

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE