WO2012141014A1 - 表示制御装置、表示制御方法、及びプログラム - Google Patents

表示制御装置、表示制御方法、及びプログラム Download PDF

Info

Publication number
WO2012141014A1
WO2012141014A1 PCT/JP2012/058379 JP2012058379W WO2012141014A1 WO 2012141014 A1 WO2012141014 A1 WO 2012141014A1 JP 2012058379 W JP2012058379 W JP 2012058379W WO 2012141014 A1 WO2012141014 A1 WO 2012141014A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
image
display
unit
writing
Prior art date
Application number
PCT/JP2012/058379
Other languages
English (en)
French (fr)
Inventor
ヴィジタ サンジー ラナトゥンガ
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN2012800156593A priority Critical patent/CN103460697A/zh
Priority to EP12771307.1A priority patent/EP2698993A4/en
Priority to US14/009,894 priority patent/US20140028656A1/en
Publication of WO2012141014A1 publication Critical patent/WO2012141014A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Definitions

  • the present disclosure relates to a display control device, a display control method, and a program, and in particular, can suppress, for example, image disturbance that occurs when an image transmitted from a data transmission path such as a network is displayed with a low delay.
  • the present invention relates to a display control device, a display control method, and a program.
  • remote surgery has been performed in which a patient is operated by operating a robot arm in a remote place.
  • the surgeon operates the robot arm while watching the moving image obtained by imaging the state of the operation, so that the moving image is displayed with a low delay (near real time) of several frames (or several fields). It is desirable to be transmitted.
  • encoding is started without waiting for the input of all the block data in the picture in the transmitting device, and the resulting encoded data is transmitted.
  • Decoding decompression
  • the encoded data can be decoded and the picture can be displayed before the predetermined display timing for displaying the picture. Therefore, the receiving apparatus can display the picture on the monitor in synchronization with the display timing.
  • the transmission apparatus may not be able to transmit a moving image with a low delay of several frames or less.
  • the receiving apparatus cannot make the picture displayable by a predetermined display timing.
  • a picture that has not been made displayable by the display timing is skipped without being displayed on the monitor, for example, so that an image displayed on the monitor may be disturbed.
  • the present disclosure has been made in view of such a situation, and suppresses image disturbance or the like that occurs when an image transmitted from a data transmission path is displayed with a low delay.
  • the display control device includes a receiving unit that receives an image, a writing unit that writes the image in a holding unit that temporarily holds the received image, and writing of the image is started.
  • a first calculation unit that calculates an allowable delay time that represents a delay time that is allowed when writing cannot be completed within a predetermined required time from the write start time, and written with a delay time equal to or less than the allowable delay time
  • a second calculating unit that calculates at least a necessary time from the writing start time of the image to a display timing for starting display of the image, a comparing unit that compares the allowable delay time and the necessary time;
  • a display adjustment unit that adjusts the display timing based on a comparison result of the comparison unit; and a display control unit that displays the image in synchronization with the display timing after adjustment. It is a display control device.
  • a first measuring unit that measures the writing time required for writing the image can be further provided, and the first calculating unit can calculate the allowable delay time based on the distribution of the writing time. it can.
  • a second measuring unit that measures a writing preparation time required to start writing the image can be further provided, and the second calculating unit calculates the necessary time based on the distribution of the writing preparation time. Can be made.
  • the display of the image is terminated at the predetermined time from the display timing in synchronization with the display timing after adjustment, and the display adjustment unit has the required time for the allowable delay time.
  • the display timing can be adjusted so as to shorten the necessary time within a range where the necessary time is longer than the allowable delay time.
  • the display adjustment unit obtains a comparison result that the required time is not longer than the allowable delay time
  • the display adjustment unit adjusts the display timing so that the required time is longer than the allowable delay time. can do.
  • the writing unit When the writing unit obtains a comparison result that the required time is not longer than the delay time, the writing unit starts writing the image after the first display timing, and the display control unit The image can be displayed in synchronization with a second display timing after the first display timing.
  • the display controller can display the image written with a delay time equal to or shorter than the allowable delay time in synchronization with the adjusted display timing.
  • a display control method is a display control method of a display control device that displays an image, and includes a reception step of receiving the image by the display control device, and temporarily holding the received image
  • a writing step for writing the image to the holding unit and an allowable delay time that represents a delay time that is allowed when the writing cannot be completed within a predetermined required time from the writing start time at which the writing of the image is started.
  • a comparison step for comparing the allowable delay time with the required time, and a comparison result of the comparison step.
  • a display adjustment step of adjusting the display timing in synchronization with the display timing after adjustment is display control method and a display control step of displaying the image.
  • a program includes a reception control unit that causes an image to be received, a writing unit that writes the image in a holding unit that temporarily holds the received image, and writing of the image is started
  • a first calculation unit for calculating an allowable delay time representing a delay time allowed when writing cannot be completed within a predetermined required time from the written start time, and writing with a delay time equal to or less than the allowable delay time
  • a second calculation unit for calculating at least a necessary time from the writing start time of the image to a display timing for starting display of the image, and comparing the allowable delay time with the necessary time.
  • a display adjustment unit that adjusts the display timing based on a comparison result of the comparison unit, and the image is synchronized with the display timing after adjustment.
  • an image is received, the image is written to a holding unit that temporarily holds the received image, and the writing start time at which the writing of the image is started in advance.
  • An allowable delay time representing a delay time allowed when writing cannot be completed within a determined required time is calculated, and from the writing start time of the image written with a delay time equal to or less than the allowable delay time, the image The required time required at least before the display timing to start display is calculated, the allowable delay time is compared with the required time, and the display timing is adjusted based on the comparison result, and the adjusted The image is displayed in synchronization with the display timing.
  • First embodiment an example of suppressing image distortion by adjusting display timing Vblank
  • Second embodiment an example of suppressing image distortion and the like without adjusting the display timing Vblank
  • FIG. 1 shows a transmission / reception system 1 according to the present disclosure.
  • the transmission / reception system 1 includes a transmission device 21, a reception device 22, and a network 23 such as the Internet.
  • the transmission / reception system 1 adjusts the display timing Vblank when displaying an image on the reception device 22 side, for example, without causing disturbance or the like in the image transmitted from the transmission device 21.
  • the display is made with a low delay.
  • the transmission device 21 includes a capture unit 41, an encoding unit 42, a packet configuration unit 43, an RTP (real-time transport protocol) transmission unit 44, an operation unit 45, and a control unit 46.
  • the capture unit 41 acquires (captures) image data (corresponding to video IN) input from the outside, and supplies it to the encoding unit 42.
  • the encoding unit 42 performs an encoding process for encoding the image data from the capture unit 41, and supplies encoded data obtained by the encoding process to the packet configuration unit 43.
  • a wavelet encoding process that compresses image data by encoding using, for example, wavelet transform can be employed.
  • the packet configuration unit 43 packetizes (converts) the encoded data from the encoding unit 42 into a plurality of RTP packets, and outputs the packet to the RTP transmission unit 44.
  • the RTP packet represents a packet conforming to the RTP described in IETF / RFC 3550.
  • the RTP transmission unit 44 adds, for example, a transmission time when transmitting the RTP packet to the reception device 22 as a time stamp to the RTP packet from the packet configuration unit 43 according to RTP. Then, the RTP transmission unit 44 transmits the RTP packet with the time stamp added thereto to the reception device 22 via the network 23.
  • the operation unit 45 is an operation button or the like operated by the user, and supplies an operation signal corresponding to the user operation to the control unit 46.
  • the control unit 46 controls each unit of the capture unit 41, the encoding unit 42, the packet configuration unit 43, and the RTP transmission unit 44 based on, for example, an operation signal from the operation unit 45.
  • the receiving device 22 includes an RTP receiving unit 61, a packet assembling unit 62, a decoding unit 63, a writing control unit 64, a buffer 65, a display control unit 66, a display unit 67, a writing information measuring unit 68, and a writing information storage unit 69. , A display adjustment unit 70, an operation unit 71, and a control unit 72.
  • the RTP receiver 61 receives the RTP packet transmitted from the RTP transmitter 44 via the network 23 and supplies it to the packet assembly unit 62.
  • the packet assembling unit 62 generates encoded data to be decoded by assembling the RTP packet from the RTP receiving unit 61, and supplies the encoded data to the decoding unit 63.
  • the decoding unit 63 performs a decoding process corresponding to the encoding process performed by the encoding unit 42 on the encoded data from the packet assembling unit 62, and sends the resulting image data to the write control unit 64.
  • Supply for example, a decoding process or the like that is expanded by decoding by inverse transformation of wavelet transform is adopted.
  • the writing control unit 64 supplies the image data from the decoding unit 63 to the buffer 65 for storage (writing). Further, the writing control unit 64 supplies the writing information measuring unit 68 with the writing start time Ts at which writing to the buffer 65 is started and the writing end time Te at which writing is ended for each image data.
  • the buffer 65 temporarily holds the image data from the writing control unit 64.
  • the display control unit 66 reads the image data from the buffer 65 and supplies it to the display unit 67.
  • the display control unit 66 causes the display unit 67 to display the image data read from the buffer 65 in synchronization with the display timing Vblank from the display adjustment unit 70.
  • FIG. 2 shows an example in which the display control unit 66 displays each image data at the display timing Vblank from the display adjustment unit 66.
  • the image data n is composed of an odd-numbered field image n odd composed of odd-numbered lines among the lines constituting the image data n and an even-numbered line among the lines constituting the image data n. And even field image n even .
  • the horizontal axis represents time
  • the vertical axis represents the line number of the line displayed at the corresponding time.
  • the image data n is composed of, for example, 1080 lines. Therefore, the odd field image n odd and the even field image n even are each composed of 540 lines.
  • the display timing Vblank (n odd ) represents the time when display of the odd field image n odd starts.
  • the display timing Vblank (n even ) represents the time when display of the even field image n even is started.
  • the display control unit 66 reads out the odd field image n odd from the buffer 65 in synchronization with the display timing Vblank (n odd ) from the display adjustment unit 70 and displays it on the display unit 67. Further, the display control unit 66 reads out the even field image n even from the buffer 65 in synchronization with the display timing Vblank (n even ) from the display adjustment unit 70 and causes the display unit 67 to display it.
  • the display unit 67 displays each image data n by, for example, an interlace method. That is, for example, the display unit 67 displays the odd field image n odd and the even field image n even alternately according to the control from the display control unit 66. As shown in FIG. 1, the display unit 67 is a component part of the reception device 22, and may be provided independently without being included in the component part of the reception device 22. In this case, the display control unit 66 in the receiving device 22 and the display unit 67 provided outside the receiving device 22 are connected by, for example, a cable.
  • the write information measuring unit 68 measures the write information of the even field image n even written in the buffer 65.
  • the write information measurement unit 68 instead of the write information of the even-numbered field image n the even, or together with the write information of the even-numbered field image n the even, to measure the write information of the odd-numbered field image n odd written in the buffer 65 You may do it. This will be described later with reference to FIG.
  • the writing information measurement unit 68 sets each image data n as a progressive image, and measures writing information of the progressive image. It will be. This will be described later with reference to FIG.
  • the write information measuring unit 68 measures the write information of the even field image n even written in the buffer 65.
  • the write information measuring unit 68 for example, as write information of the even field image n even written in the buffer 65, for example, a write preparation time Xn required until the start of writing of the even field image n even , and an even number
  • the buffer write time Pn required for writing the field image n even is measured.
  • FIG. 3 shows an example in which the write information measuring unit 68 measures the write preparation time Xn and the buffer write time Pn of the even field image n even .
  • the writing start time Ts represents the time at which writing of the even field image n even to the buffer 65 is started.
  • the writing end time Te represents the time when the writing of the even field image n even to the buffer 65 is ended.
  • the write information measuring unit 68 receives the write start time Ts and the write end time Te of the even field image n even from the write control unit 64, and the display timing Vblank (n ⁇ 1 even ) from the display adjustment unit 70. And Vblank (n even ) are supplied.
  • the write information measuring unit 68 supplies the write preparation time Xn and the buffer write time Pn measured for each even field image n even to the write information storage unit 69 for storage.
  • the write information storage unit 69 stores the write preparation time Xn and the buffer write time Pn from the write information measuring unit 68 as write information.
  • the display adjustment unit 70 performs display timing adjustment processing for adjusting the display timing Vblank based on the write information stored in the write information storage unit 69.
  • the display timing adjustment process will be described in detail with reference to FIGS.
  • the display adjustment unit 70 supplies the display timing Vblank adjusted by the display timing adjustment process to the display control unit 66 and the writing information measurement unit 68.
  • the operation unit 71 is an operation button or the like operated by the user, and supplies an operation signal corresponding to the user operation to the control unit 72.
  • the control unit 72 is based on the RTP reception unit 61, the packet assembly unit 62, the decoding unit 63, the write control unit 64, the display control unit 66, the write information measurement unit 68, And each part of the display adjustment part 70 is controlled.
  • FIG. 4 shows an example of the distribution of the write preparation time Xn stored in the write information storage unit 69.
  • the horizontal axis indicates the write preparation time Xn
  • the vertical axis indicates the frequency of the write preparation time Xn.
  • the display adjustment unit 70 generates X distribution information representing the distribution of the write preparation time Xn as shown in FIG. 4 based on the write preparation time Xn stored in the write information storage unit 69.
  • the value is less than the minimum value of the write preparation time Xn.
  • the value ⁇ is determined in advance by a user operation, for example.
  • FIG. 5 shows an example of the distribution of the buffer write time Pn stored in the write information storage unit 69.
  • the horizontal axis represents the buffer write time Pn
  • the vertical axis represents the frequency of the buffer write time Pn.
  • the display adjustment unit 70 generates P distribution information representing the distribution of the buffer write time Pn as shown in FIG. 5 based on the plurality of buffer write times Pn stored in the write information storage unit 69.
  • the display adjustment unit 70 based on the P distribution information of the buffer write time Pn, the buffer write time Pn of the upper ⁇ percent and the buffer of the lower (100 ⁇ ) percent when the buffer write time Pn is arranged in ascending order.
  • a threshold value Pth for distinguishing from the writing time Pn is calculated.
  • the threshold value Pth is equal to or greater than the maximum value of the buffer write time Pn of the upper ⁇ percent when the buffer write times Pn are arranged in ascending order, and the minimum value of the buffer write time Pn of the lower (100 ⁇ ) percent The value is less than.
  • FIG. 6 shows an example where the display adjustment unit 70 calculates the allowable delay time Yth based on the threshold value Pth and the required time Y based on the threshold value Xth.
  • the display adjustment unit 70 calculates the allowable delay time Yth by Expression (1) based on the threshold value Pth calculated from the P distribution information of the buffer write time Pn.
  • Yth Pth-(1/60) (1)
  • the allowable delay time Yth is a delay time when writing cannot be completed at a predetermined expected writing time 1/60 from the writing start time Ts at which writing of the even field image n even is started, and at least A delay time that is allowed to display an even field image n even without any disturbance with an ⁇ percentage probability.
  • the expected write time 1/60 is the write time of the even field image n even (or odd field image n odd ) that is expected when there is no delay in the data write in the write control unit 64.
  • the expected writing time 1/60 is determined according to the time required for displaying the even field image n even (or odd field image n odd ), for example.
  • the display unit 67 displays the odd-numbered field image and the even-numbered field image at the display time 1/60. Therefore, for example, the expected write time is also set to 1/60.
  • the expected writing time is set to 1 / m.
  • the display adjustment unit 70 based on the threshold value Xth calculated from the X distribution information of the write preparation time Xn, receives even field image n even received with a probability of ⁇ percent, that is, a delay equal to or shorter than the allowable delay time Yth.
  • the required time Y of the even field image n even written in time is calculated.
  • the required time Y represents a time required at least from the writing start time Ts to the display timing (n even ) in the even field image n even written to the buffer 65 with a delay time equal to or shorter than the allowable delay time Yth.
  • the display adjustment unit 70 based on the display interval Vblank Interval of the display timing Vblank (n ⁇ 1 even ) and the display timing (n even ), and the threshold value Xth, The required time Y is calculated according to 2).
  • Y Vblank Interval -Xth (2)
  • the display adjustment unit 70 can display the even-numbered field image n even without any disturbance with a probability of at least ⁇ percent based on whether or not the calculated required time Y satisfies the following expression (3). Determine whether or not. Then, the display adjustment unit 70 adjusts the display timing Vblank based on the determination result. Y> Yth (3)
  • the display adjustment unit 70 adjusts each display timing Vblank so as to be delayed by the time Z, and increases the necessary time Y so as to satisfy Expression (3).
  • the display adjustment unit 70 performs display timing adjustment processing as appropriate even after adjustment of the display timing Vblank. This is because the transmission time of the image data changes depending on the congestion state of the network 23 and the like, as shown in A of FIG. 7 and A of FIG. 8, at the adjusted display timing Vblank. It depends.
  • FIG. 9 and FIG. 10 each show an example of how the transmission time changes according to the congestion status of the network 23 and the like.
  • the vertical axis indicates the packet number representing each RTP packet of the image data n.
  • the horizontal axis indicates “capture” processing performed by the capture unit 41, “encoding” processing performed by the encoding unit 42, and “packet configuration” processing performed by the packet configuration unit 43 on the data constituting the image data n.
  • the time required for the “transfer” process varies greatly depending on the state of the network 23. That is, when the congestion of the network 23 is relatively small, as shown in FIG. 9, the time required for the “transfer” process is shortened. When the congestion of the network 23 is relatively large, as shown in FIG. The time required for the “transfer” process is long.
  • the time required for the “transfer” process, and hence the transmission time changes depending on the congestion state of the network 23, the state shown in FIG. 7A or FIG.
  • the unit 70 needs to perform display timing adjustment processing as appropriate.
  • step S21 the RTP receiving unit 61 receives the RTP packet transmitted from the RTP transmitting unit 44 via the network 23 and supplies it to the packet assembling unit 62.
  • step S 22 the packet assembling unit 62 assembles the RTP packet from the RTP receiving unit 61 to generate encoded data to be decoded, and supplies the encoded data to the decoding unit 63.
  • step S23 the decoding unit 63 performs a decoding process corresponding to the encoding process performed by the encoding unit 42 on the encoded data from the packet assembling unit 62, and performs write control on the image data obtained as a result. Supplied to the unit 64.
  • the decoding process for example, a decoding process or the like that is expanded by decoding by inverse transformation of wavelet transform is adopted.
  • step S24 the writing control unit 64 supplies the image data from the decoding unit 63 (the odd field image and the even field image constituting the image data) to the buffer 65 for storage (writing). Further, the writing control unit 64 supplies the writing information measuring unit 68 with the writing start time Ts at which the writing to the buffer 65 is started and the writing end time Te at which the writing is ended for each even field image n even .
  • step S25 the display control unit 66 reads out the odd field image and the even field image as the image data from the buffer 65, and displays them on the display unit 67 in synchronization with the display timing Vblank from the display adjustment unit 70.
  • step S26 the write information measuring unit 68 measures the write preparation time Xn of the even field image n even based on the write start time Ts from the write control unit 64 and the display timing Vblank from the display adjustment unit 70. Then, the data is supplied to and stored in the write information storage unit 69.
  • step S27 the write information measuring unit 68 measures the buffer write time Pn of the even field image n even based on the disclosure time Ts and the end time Te from the write control unit 64, and the write information storage unit 69. To be stored.
  • step S28 the display adjustment unit 70 determines whether or not the time measured by a built-in time measuring unit (not shown) has passed a predetermined time, and the time measured has passed the predetermined time. If it is determined that there is not, the process returns to step S21, and the same process is performed thereafter.
  • step S28 if the display adjustment unit 70 determines that the predetermined time has elapsed, the process proceeds to step S29, where the write preparation time Xn stored in the write information storage unit 69 and the buffer are stored. Display timing adjustment processing for adjusting the display timing Vblank based on the writing time Pn is performed.
  • step S29 the display adjustment unit 70 deletes the write preparation time Xn and the buffer write time Pn stored in the write information storage unit 69 after performing the display timing adjustment process. Then, the display adjustment unit 70 resets the time count of the built-in time count unit, starts the time count again, returns the process to step S21, and thereafter performs the same process.
  • step S41 the display adjustment unit 70 reads the write preparation time Xn from the write information storage unit 69, and calculates X distribution information representing the distribution of the read write preparation time Xn.
  • step S42 the display adjustment unit 70 calculates a threshold value Xth based on the X distribution information calculated in step S41.
  • step S43 the display adjustment unit 70 calculates the required time Y by the expression (2) based on the display interval Vblank Interval and the threshold value Xth.
  • step S44 the display adjustment unit 70 reads the buffer write time Pn from the write information storage unit 69, and calculates P distribution information representing the distribution of the read buffer write time Pn.
  • step S45 the display adjustment unit 70 calculates a threshold value Pth based on the P distribution information calculated in step S41.
  • step S46 the display adjustment unit 70 calculates the allowable delay time Yth by the equation (1) based on the threshold value Pth calculated in step S45 and the expected writing time 1/60.
  • step S47 the display adjustment unit 70 determines whether or not Expression (3) is satisfied based on the required time Y calculated in Step S43 and the allowable delay time Yth calculated in Step S46, and Expression (3). When it determines with satisfy
  • step S48 the display adjustment unit 70 adjusts the display timing Vblank so as to be advanced by time Z as shown in FIG. 7, and supplies the adjusted display timing Vblank to the display control unit 66.
  • step S47 when the display adjustment unit 70 determines that Expression (3) is not satisfied based on the required time Y calculated in step S43 and the allowable delay time Yth calculated in step S46, the process is performed in step S49. Proceed to
  • step S49 the display adjustment unit 70 adjusts the display timing Vblank to be delayed by the time Z, and supplies the adjusted display timing Vblank to the display control unit 66.
  • step S48 or step S49 the processing returns to step S29 in FIG. 11, and the subsequent processing is performed.
  • the display timing Vblank is adjusted so as to satisfy the expression (3) according to the writing information of the even field image n even.
  • the display control unit 66 does not cause image distortion or the like in the even field image n even and the odd field image n odd written in the buffer 65 with a delay time equal to or shorter than the allowable delay time Yth. Can be displayed in synchronization with the display timing Vblank.
  • the display timing Vblank is adjusted so that the necessary time Y is as short as possible within the range satisfying Expression (3). I did it.
  • Second Embodiment> [Example when display timing Vblank is not adjusted] As shown in FIGS. 7 and 8, the receiving device 22 suppresses image distortion and the like by adjusting the display timing Vblank based on the comparison result between the required time Y and the allowable delay time Yth. In addition, images can be displayed with a minimum of low delay.
  • image disturbance can be suppressed without adjusting the display timing Vblank.
  • the image receiving apparatus 22 does not cause image distortion, so that the image is displayed in synchronization with the display timing Vblank as it is without adjusting the display timing Vblank. To do.
  • the receiving device 22 suppresses image disturbance by shifting the display timing of the image as shown in FIG.
  • FIG. 13 shows an example of shifting the image display timing when Expression (3) is not satisfied.
  • the writing control unit 64 writes the even field image n even in the buffer 65 at time t4 after time t2, as shown in FIG. 13B.
  • the writing control unit 64 has a memory (not shown) built therein, and the even field image n even from the decoding unit 63 is written in the buffer 65 so as to be held in the built-in memory. The timing is adjusted.
  • the display control unit 66 can shift the display timing Vblank (n even ) from the time t2 to the time t4 and display the even field image n even with the time t4 as the display timing Vblank (n even ).
  • the display timing Vblank is adjusted as shown in FIG. 7, and when the expression (3) is not satisfied, the display timing Vblank is changed as shown in FIG. It may be shifted.
  • the display timing Vblank is not adjusted and the display timing Vblank is displayed as it is.
  • Expression (3) is not satisfied, as shown in FIG.
  • the display timing Vblank can be adjusted.
  • the required time Y and the allowable delay time Yth are calculated based on the writing information of the even field image n even .
  • the necessary time Y and the allowable delay time Yth can be calculated based on the writing information of the odd field image n odd .
  • the necessary time Y and the allowable delay time Yth may be calculated based on the writing information of the odd field image n odd and the writing information of the even field image n even .
  • each image is set as a progressive image, and the necessary time Y and allowable delay are determined based on the progressive image writing information.
  • the time Yth is calculated.
  • the display adjusting unit 70 sets the write preparation time Xn regardless of the measured timing of the write preparation time Xn.
  • the frequency is set to 1 and X distribution information is generated.
  • the display adjustment unit 70 may generate the X distribution information by adding the frequency of the write preparation time Xn as the measured time is closest. This is because the write preparation time Xn measured most recently is considered to more accurately represent the write preparation time of an image received from now on.
  • the display adjustment unit 70 can generate X distribution information that more accurately reflects the writing preparation time of an image received from now on, and more accurately reflects the buffer writing time of the image received from now on. Distribution information can be generated.
  • the display adjustment unit 70 can more accurately calculate the required time Y and allowable delay time Yth of an image to be received from such X distribution information and P distribution information. Therefore, the display timing Vblank can be adjusted more appropriately according to the received image.
  • this technique can also take the following structures. (1) It is determined in advance from a receiving unit that receives an image, a writing unit that writes the image in a holding unit that temporarily holds the received image, and a writing start time at which the writing of the image is started. A first calculation unit that calculates an allowable delay time that represents an allowable delay time when writing cannot be completed within the required time, and the writing start time of the image written with a delay time equal to or less than the allowable delay time A second calculation unit that calculates at least a necessary time required to display the image, a comparison unit that compares the allowable delay time with the necessary time, and a comparison result of the comparison unit.
  • a display control unit that adjusts the display timing and a display control unit that displays the image in synchronization with the adjusted display timing.
  • Display control device It further includes a second measuring unit that measures a write preparation time required to start writing the image, and the second calculation unit calculates the necessary time based on the distribution of the write preparation time.
  • the display control apparatus according to (1) or (2).
  • the display control is for ending the display of the image at the predetermined time from the display timing in synchronization with the display timing after adjustment, and the display adjustment unit is configured to allow the required time to be within the permissible time.
  • the display timing is adjusted so as to shorten the required time within a range where the required time is longer than the allowable delay time.
  • the display control apparatus according to any one of (3) to (3). (5)
  • the display adjustment unit obtains a comparison result that the required time is not longer than the allowable delay time, the display adjustment unit adjusts the display timing so that the required time is longer than the allowable delay time.
  • the display control apparatus according to (4).
  • the writing unit obtains a comparison result that the required time is not longer than the delay time
  • the writing unit starts writing the image after the first display timing, and the display control unit
  • the display control apparatus according to (4) wherein the image is displayed in synchronization with a second display timing later than the first display timing.
  • the display according to (1) to (3) wherein the display control unit displays the image written with a delay time equal to or less than the allowable delay time in synchronization with the adjusted display timing. Control device.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose computer or the like.
  • FIG. 16 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.
  • a CPU (Central Processing Unit) 201 executes various processes according to a program stored in a ROM (Read Only Memory) 202 or a storage unit 208.
  • a RAM (Random Access Memory) 203 appropriately stores programs executed by the CPU 201, data, and the like. These CPU 201, ROM 202, and RAM 203 are connected to each other by a bus 204.
  • the CPU 201 is also connected with an input / output interface 205 via the bus 204.
  • an input unit 206 composed of a keyboard, a mouse, a microphone, and the like
  • an output unit 207 composed of a display, a speaker, and the like.
  • the CPU 201 executes various processes in response to commands input from the input unit 206. Then, the CPU 201 outputs the processing result to the output unit 207.
  • the storage unit 208 connected to the input / output interface 205 includes, for example, a hard disk and stores programs executed by the CPU 201 and various data.
  • the communication unit 209 communicates with an external device via a network such as the Internet or a local area network.
  • the program may be acquired via the communication unit 209 and stored in the storage unit 208.
  • the drive 210 connected to the input / output interface 205 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives programs and data recorded there. Etc. The acquired program and data are transferred to and stored in the storage unit 208 as necessary.
  • a recording medium for recording (storing) a program that is installed in a computer and can be executed by the computer includes a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc- Removable media 211, which is a package media made up of read only memory, DVD (digital versatile disc), magneto-optical disk (including MD (mini-disc)), or semiconductor memory, etc. It is composed of a ROM 202 that is permanently stored, a hard disk that constitutes the storage unit 208, and the like.
  • Recording of a program on a recording medium is performed using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via a communication unit 209 that is an interface such as a router or a modem as necessary. Is called.
  • a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting
  • a communication unit 209 that is an interface such as a router or a modem as necessary. Is called.
  • steps describing the series of processes described above are not limited to the processes performed in time series according to the described order, but are not necessarily performed in time series, either in parallel or individually.
  • the process to be executed is also included.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)

Abstract

本技術は、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止することができる表示制御装置、表示制御方法、及びプログラムに関する。第１の算出部が、画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出し、第２の算出部が、許容遅延時間以下の遅延時間で書き込まれた画像の書込み開始時刻から、画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出し、比較部が、許容遅延時間と必要時間とを比較し、表示調整部が、比較部の比較結果に基づいて表示タイミングを調整し、表示制御部が、調整後の表示タイミングに同期して画像を表示させる。本技術は、例えば、伝送されてくる画像データを低遅延で表示する表示装置に適用できる。

Description

表示制御装置、表示制御方法、及びプログラム
　本開示は、表示制御装置、表示制御方法、及びプログラムに関し、特に、例えば、ネットワーク等のデータ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止できるようにした表示制御装置、表示制御方法、及びプログラムに関する。
　近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム（又は数フィールド）以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
　そこで、動画像を構成する各ピクチャの数ラインをブロックデータとし、各ブロックデータ毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、特許文献１参照）。
　この符号化技術によれば、送信装置において、ピクチャ内の各ブロックデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信し、受信装置において、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することになる。
　このため、受信装置では、予め決められた、ピクチャを表示すべき表示タイミングまでに、符号化データを復号してピクチャを表示可能な状態にすることができる。よって、受信装置は、表示タイミングに同期してピクチャをモニタに表示させることができる。
特開２００７－３１１９２４号公報
　しかしながら、例えば、ネットワーク等のデータ伝送路に輻輳が生じている場合、送信装置は、数フレーム以下の低遅延で動画像を送信できないことが生じ得る。
　この場合、受信装置では、予め決められた表示タイミングまでに、ピクチャを表示可能な状態にすることができなくなってしまう。表示タイミングまでに表示可能な状態とされなかったピクチャは、例えばモニタに表示されずにスキップされるため、モニタに表示される画像に乱れ等が生じ得る。
　本開示は、このような状況に鑑みてなされたものであり、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止するものである。
　本開示の一側面の表示制御装置は、画像を受信する受信部と、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部とを含む表示制御装置である。
　前記画像の書込みに要する書込み時間を計測する第１の計測部をさらに設けることができ、前記第１の算出部には、前記書込み時間の分布に基づいて、前記許容遅延時間を算出させることができる。
　前記画像の書込みの開始に要する書込み準備時間を計測する第２の計測部をさらに設けることができ、前記第２の算出部には、前記書込み準備時間の分布に基づいて、前記必要時間を算出させることができる。
　前記表示制御には、調整後の前記表示タイミングに同期して、前記表示タイミングから前記所定時間で前記画像の表示を終了させるようにし、前記表示調整部には、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間を短くするように前記表示タイミングを調整させることができる。
　前記表示調整部には、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記表示タイミングを調整させるようにすることができる。
　前記書込み部には、前記必要時間が前記遅延時間よりも長くないとの比較結果を得た場合、第１の前記表示タイミングの後に前記画像の書込みを開始させ、前記表示制御部には、前記第１の表示タイミングよりも後の第２の表示タイミングに同期して、前記画像を表示させることができる。
　前記表示制御部には、調整後の前記表示タイミングに同期して、前記許容遅延時間以下の遅延時間で書込まれた前記画像を表示させることができる。
　本開示の一側面の表示制御方法は、画像を表示させる表示制御装置の表示制御方法であって、前記表示制御装置による、前記画像を受信する受信ステップと、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込みステップと、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出ステップと、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出ステップと、前記許容遅延時間と前記必要時間とを比較する比較ステップと、前記比較ステップの比較結果に基づいて、前記表示タイミングを調整する表示調整ステップと、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御ステップとを含む表示制御方法である。
　本開示の一側面のプログラムは、コンピュータを、画像を受信させる受信制御部と、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部として機能させるためのプログラムである。
　本開示の一側面によれば、画像が受信され、受信された前記画像を一時的に保持する保持部に前記画像の書込みが行われ、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間が算出され、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間が算出され、前記許容遅延時間と前記必要時間とが比較され、その比較結果に基づいて、前記表示タイミングが調整され、調整後の前記表示タイミングに同期して、前記画像が表示される。
　本開示によれば、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止することが可能となる。
本開示における送受信システム１の構成例を示すブロック図である。 表示タイミングに同期して画像を表示するときの一例を示す図である。 書込み情報を測定する測定方法の一例を示す図である。 書込み準備時間の分布の一例を示す図である。 バッファ書込み時間の分布の一例を示す図である。 必要時間及び許容遅延時間を算出する算出方法の一例を示す図である。 表示タイミングの調整方法を説明するための第１の図である。 表示タイミングの調整方法を説明するための第２の図である。 伝送時間が変化する様子の一例を示す第１の図である。 伝送時間が変化する様子の一例を示す第２の図である。 表示制御処理を説明するためのフローチャートである。 表示タイミング調整処理を説明するためのフローチャートである。 画像を書き込むタイミングをずらす場合の一例を示す図である。 奇数フィールド画像の書込み情報を測定する測定方法の一例を示す図である。 プログレッシブ画像の書込み情報を測定する測定方法の一例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（表示タイミングVblankを調整するようにして、画像の乱れ等を抑止するときの一例）
２．第２の実施の形態（表示タイミングVblankを調整することなく、画像の乱れ等を抑止するときの一例）
３．変形例
＜１．第１の実施の形態＞
[送受信システム１の構成例]
　図１は、本開示における送受信システム１を示している。
　この送受信システム１は、送信装置２１、受信装置２２、及びインターネット等のネットワーク２３から構成される。
　なお、この送受信システム１は、受信装置２２側で、例えば、画像を表示する際の表示タイミングVblankを調整するようにして、送信装置２１から送信されてくる画像に乱れ等を生じさせることなく、低遅延で表示させるようにするものである。
[送信装置２１の構成例]
　送信装置２１は、キャプチャ部４１、符号化部４２、パケット構成部４３、RTP(real-time transport protocol)送信部４４、操作部４５、及び制御部４６から構成される。
　キャプチャ部４１は、外部から入力される画像データ（ビデオINに対応）を取得（キャプチャ）し、符号化部４２に供給する。
　符号化部４２は、キャプチャ部４１からの画像データを符号化する符号化処理を行い、その符号化処理により得られる符号化データを、パケット構成部４３に供給する。
　なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。
　パケット構成部４３は、符号化部４２からの符号化データを、複数のRTPパケットにパケット化（変換）してRTP送信部４４に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
　RTP送信部４４は、RTPに従って、パケット構成部４３からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置２２に送信する際の送信時刻等を付加する。そして、RTP送信部４４は、タイムスタンプを付加したRTPパケットを、ネットワーク２３を介して受信装置２２に送信する。
　操作部４５は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部４６に供給する。
　制御部４６は、例えば、操作部４５からの操作信号に基づいて、キャプチャ部４１、符号化部４２、パケット構成部４３、及びRTP送信部４４の各部を制御する。
[受信装置２２の構成例]
　受信装置２２は、RTP受信部６１、パケット組立部６２、復号部６３、書込制御部６４、バッファ６５、表示制御部６６、表示部６７、書込情報測定部６８、書込情報記憶部６９、表示調整部７０、操作部７１、及び制御部７２から構成される。
　RTP受信部６１は、RTP送信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。
　パケット組立部６２は、RTP受信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。
　復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを、書込制御部６４に供給する。ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
　書込制御部６４は、復号部６３からの画像データを、バッファ６５に供給して記憶させる（書き込ませる）。また、書込制御部６４は、各画像データ毎に、バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。
　バッファ６５は、書込制御部６４からの画像データを一時的に保持する。
　表示制御部６６は、バッファ６５から画像データを読み出し、表示部６７に供給する。そして、表示制御部６６は、表示調整部７０からの表示タイミングVblankに同期して、バッファ６５から読み出した画像データを、表示部６７に表示させる。
　次に、図２は、表示制御部６６が、表示調整部６６からの表示タイミングVblankで各画像データを表示させる場合の一例を示している。
　なお、画像データnは、画像データnを構成する各ラインのうち、奇数番目のラインにより構成される奇数フィールド画像noddと、画像データnを構成する各ラインのうち、偶数番目のラインにより構成される偶数フィールド画像nevenとにより構成されているものとする。
　また、図２において、横軸は時刻を表し、縦軸は、対応する時刻において表示されるラインのライン番号を表す。ここで、画像データnは例えば1080ラインにより構成されており、したがって、奇数フィールド画像nodd及び偶数フィールド画像nevenは、それぞれ、５４０ラインで構成されているものとする。
　表示タイミングVblank(nodd)は、奇数フィールド画像noddの表示を開始する時刻を表す。また、表示タイミングVblank(neven)は、偶数フィールド画像nevenの表示を開始する時刻を表す。
　表示制御部６６は、表示調整部７０からの表示タイミングVblank(nodd)に同期して、奇数フィールド画像noddをバッファ６５から読み出し、表示部６７に表示させる。また、表示制御部６６は、表示調整部７０からの表示タイミングVblank(neven)に同期して、偶数フィールド画像nevenをバッファ６５から読み出し、表示部６７に表示させる。
　表示部６７は、例えばインタレース方式により各画像データnを表示する。すなわち、例えば、表示部６７は、表示制御部６６からの制御にしたがって、奇数フィールド画像noddと偶数フィールド画像nevenとを交互に表示する。なお、表示部６７は、図１に示されるように、受信装置２２の構成部分とされる他、受信装置２２の構成部分に含めずに、独立して設けるようにしてもよい。この場合、受信装置２２内の表示制御部６６と、受信装置２２の外部に設けられた表示部６７とは、例えばケーブル等により接続される。
　書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報を測定する。なお、書込情報測定部６８は、偶数フィールド画像nevenの書込み情報に代えて、又は偶数フィールド画像nevenの書込み情報とともに、バッファ６５に書き込まれた奇数フィールド画像noddの書込み情報を測定するようにしてもよい。このことは、図１４を参照して後述する。
　また、例えば、表示部６７が、プログレッシブ方式により各画像データnを表示するものである場合、書込情報測定部６８は、各画像データnをプログレッシブ画像とし、そのプログレッシブ画像の書込み情報を測定することとなる。このことは、図１５を参照して後述する。
　以下では、書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報を測定するものとして説明する。
　書込情報測定部６８は、バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報として、例えば、偶数フィールド画像nevenの書き込みが開始されるまでに必要とされる書込み準備時間Xn、及び偶数フィールド画像nevenの書き込みに要するバッファ書込み時間Pnを測定する。
　次に、図３は、書込情報測定部６８が、偶数フィールド画像nevenの書込み準備時間Xn及びバッファ書込み時間Pnを測定する場合の一例を示している。
　ここで、図３において、書込み開始時刻Tsは、バッファ６５に対して偶数フィールド画像nevenの書込みが開始された時刻を表す。また、書込み終了時刻Teは、バッファ６５に対して偶数フィールド画像nevenの書込みが終了された時刻を表す。
　なお、書込情報測定部６８には、書込制御部６４から、偶数フィールド画像nevenの書込み開始時刻Ts及び書き込み終了時刻Teが、表示調整部７０から、表示タイミングVblank(n-1even)及びVblank(neven)が供給される。
　書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Tsと、表示調整部７０からの表示タイミングVblank(n-1even)とに基づいて、書込み準備時間Xn（=Vblank(n-1even)-Ts）を測定する。
　また、例えば、書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Ts及び書込み終了時刻Teに基づいて、バッファ書込み時間Pn（=Te-Ts）を測定する。
　書込情報測定部６８は、偶数フィールド画像neven毎に測定した書込み準備時間Xn及びバッファ書込み時間Pnを、書込情報記憶部６９に供給して記憶させる。
　図１に戻り、書込情報記憶部６９は、書込情報測定部６８からの書込み準備時間Xn及びバッファ書込み時間Pnを、書込み情報として記憶する。
　表示調整部７０は、書込情報記憶部６９に記憶されている書込み情報に基づいて、表示タイミングVblankを調整する表示タイミング調整処理を行う。なお、この表示タイミング調整処理については、図４乃至図８を参照して詳述する。
　そして、表示調整部７０は、表示タイミング調整処理により調整された表示タイミングVblankを、表示制御部６６及び書込情報測定部６８に供給する。
　操作部７１は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部７２に供給する。
　制御部７２は、例えば、操作部７１からの操作信号に基づいて、RTP受信部６１、パケット組立部６２、復号部６３、書込制御部６４、表示制御部６６、書込情報測定部６８、及び表示調整部７０の各部を制御する。
[表示タイミング調整処理の詳細]
　次に、図４乃至図８を参照して、表示調整部７０が行う表示タイミング調整処理について説明する。
　図４は、書込情報記憶部６９に記憶されている書込み準備時間Xnの分布の一例を示している。
　図４において、横軸は書込み準備時間Xnを示しており、縦軸は書込み準備時間Xnの度数を示す。
　表示調整部７０は、書込情報記憶部６９に記憶されている書込み準備時間Xnに基づいて、図４に示されるような書込み準備時間Xnの分布を表すX分布情報を生成する。
　そして、表示調整部７０は、書込み準備時間XnのX分布情報に基づいて、書込み準備時間Xnを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xnと、残りの下位（100-α）パーセントの書込み準備時間Xnとを区別するための閾値Xthを算出する。
　ここで、この閾値Xthは、書込み準備時間Xnを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xnの最大値以上であって、下位（100-α）パーセントの書込み準備時間Xnの最小値未満の値とされる。なお、値αは、例えば、ユーザ操作により予め決定される。
　次に、図５は、書込情報記憶部６９に記憶されているバッファ書込み時間Pnの分布の一例を示している。
　図５において、横軸はバッファ書込み時間Pnを示しており、縦軸はバッファ書込み時間Pnの度数を示す。
　表示調整部７０は、書込情報記憶部６９に記憶されている複数のバッファ書込み時間Pnに基づいて、図５に示されるようなバッファ書込み時間Pnの分布を表すP分布情報を生成する。
　そして、表示調整部７０は、バッファ書込み時間PnのP分布情報に基づいて、バッファ書込み時間Pnを昇順に並べたときの上位αパーセントのバッファ書込み時間Pnと、下位（100-α）パーセントのバッファ書込み時間Pnとを区別するための閾値Pthを算出する。
　ここで、この閾値Pthは、バッファ書込み時間Pnを昇順に並べたときの上位αパーセントのバッファ書込み時間Pnの最大値以上であって、下位（100-α）パーセントのバッファ書込み時間Pnの最小値未満の値とされる。
　次に、図６は、表示調整部７０が、閾値Pthに基づいて許容遅延時間Ythを、閾値Xthに基づいて必要時間Yをそれぞれ算出する場合の一例を示している。
　表示調整部７０は、図６に示されるように、バッファ書込み時間PnのP分布情報から算出した閾値Pthに基づいて、式（１）により許容遅延時間Ythを算出する。
　Yth = Pth -(1/60)　　　　　　　・・・（１）
　ここで、許容遅延時間Ythとは、偶数フィールド画像nevenの書込みを開始した書込み開始時刻Tsから、予め決められた期待書込み時間1/60で書込みを終了できないときの遅延時間であって、少なくともαパーセントの確率で、偶数フィールド画像nevenに乱れ等を生じさせることなく表示させるために許容される遅延時間をいう。
　なお、期待書込み時間1/60は、書込制御部６４において、データの書込みに遅延等が生じていない場合に期待される、偶数フィールド画像neven（又は奇数フィールド画像nodd）の書込み時間を表す。
　この期待書込み時間1/60は、例えば、偶数フィールド画像neven（又は奇数フィールド画像nodd）の表示に要する時間に応じて決定される。いまの場合、表示部６７は、奇数フィールド画像と偶数フィールド画像をそれぞれ表示時間1/60で表示するようにしている。したがって、例えば、期待書込み時間も同様にして1/60とされる。なお、表示部６７が、奇数フィールド画像と偶数フィールド画像をそれぞれ表示時間1/ｍで表示する場合、例えば期待書込み時間は1/ｍとされる。
　また、例えば、表示調整部７０は、書込み準備時間XnのX分布情報から算出した閾値Xthに基づいて、αパーセントの確率で受信される偶数フィールド画像neven、すなわち、許容遅延時間Yth以下の遅延時間で書き込まれる偶数フィールド画像nevenの必要時間Yを算出する。
　ここで、必要時間Yとは、許容遅延時間Yth以下の遅延時間でバッファ６５に書き込まれる偶数フィールド画像nevenにおいて、書込み開始時刻Tsから表示タイミング（neven）までに少なくとも要する時間を表す。
　すなわち、例えば、表示調整部７０は、図６に示されるように、表示タイミングVblank(n-1even)と表示タイミング(neven)の表示間隔Vblank Interval、及び閾値Xthに基づいて、次式（２）により必要時間Yを算出する。
　Y = Vblank Interval -Xth　　　・・・（２）
　表示調整部７０は、算出した必要時間Yが、次式（３）を満たすか否かに基づいて、少なくともαパーセントの確率で、偶数フィールド画像nevenに乱れ等を発生させることなく表示できるか否かを判定する。そして、表示調整部７０は、その判定結果に基づいて、表示タイミングVblankを調整する。
　Y > Yth　　　　　　　　　　　・・・（３）
　なお、式（３）を満たす場合、図７のAに示されるように、偶数フィールド画像nevenにおいて、ライン番号iのライン（i）は、ライン（i）の表示タイミングよりも前に、バッファ６５に書き込まれることとなる。この場合、表示調整部７０は、図７のBに示されるように、各表示タイミングVblankを時間Zだけ早めるように調整して、式（３）を満たす範囲内で、必要時間Yを限りなく小さくさせる。
　また、式（３）を満たさない場合、図８のAに示されるように、偶数フィールド画像nevenにおいて、ライン番号iのライン（i）のうち、例えばライン番号L以降のライン（i≧L）が、ライン（i≧L）の表示タイミングよりも後に、バッファ６５に書き込まれることとなる。この場合、表示調整部７０は、図８のBに示されるように、各表示タイミングVblankを時間Zだけ遅らせるように調整して、式（３）を満たすように、必要時間Yを大きくさせる。
　なお、表示調整部７０は、表示タイミングVblankの調整後にも、適宜、表示タイミング調整処理を行う。これは、ネットワーク２３の輻輳状況等に応じて、画像データの伝送時間が変化することにより、調整後の表示タイミングVblankにおいても、図７のAや図８のAに示されるような状態が生じることによる。
　次に、図９及び図１０は、それぞれ、ネットワーク２３の輻輳状況等に応じて伝送時間が変化する様子の一例を示している。
　図９及び図１０において、縦軸は、画像データnの各RTPパケットをそれぞれ表すパケット番号を示している。また、横軸は、画像データnを構成するデータに対して、キャプチャ部４１が行う「キャプチャ」処理、符号化部４２が行う「符号化」処理、パケット構成部４３が行う「パケット構成」処理、RTP送信部４４とRTP受信部６１との間でネットワーク２３を介して行われるRTPパケットの「転送」処理、パケット組立部６２が行う「パケット組立」処理、及び復号部６３が行う「復号」処理にそれぞれ要する時間を示す。
　図９及び図１０に示されるように、ネットワーク２３の状況に応じて、「転送」処理に要する時間が大きく異なるものとなる。すなわち、ネットワーク２３の輻輳が比較的小さい場合、図９に示されるように、「転送」処理に要する時間は短くなり、ネットワーク２３の輻輳が比較的大きい場合、図１０に示されるように、「転送」処理に要する時間は長いものとなる。
　したがって、ネットワーク２３の輻輳状況等に応じて、「転送」処理に要する時間、ひいては伝送時間が変化することにより、図７のAや図８のAに示されるような状態が生じるため、表示調整部７０は、適宜、表示タイミング調整処理を行う必要がある。
[受信装置２２の動作説明]
　次に、図１１のフローチャートを参照して、受信装置２２が行う表示制御処理について説明する。
　ステップＳ２１において、RTP受信部６１は、RTP送信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。
　ステップＳ２２において、パケット組立部６２は、RTP受信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。
　ステップＳ２３において、復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを書込制御部６４に供給する。ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
　ステップＳ２４において、書込制御部６４は、復号部６３からの画像データ（を構成する奇数フィールド画像及び偶数フィールド画像）を、バッファ６５に供給して記憶させる（書き込ませる）。また、書込制御部６４は、偶数フィールド画像neven毎に、バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。
　ステップＳ２５において、表示制御部６６は、バッファ６５から、画像データとしての奇数フィールド画像及び偶数フィールド画像を読み出し、表示調整部７０からの表示タイミングVblankに同期して、表示部６７に表示させる。
　ステップＳ２６において、書込情報測定部６８は、書込制御部６４からの書込み開始時刻Ts、及び表示調整部７０からの表示タイミングVblankに基づいて、偶数フィールド画像nevenの書込み準備時間Xnを測定し、書込情報記憶部６９に供給して記憶させる。
　ステップＳ２７において、書込情報測定部６８は、書込制御部６４からの開示時刻Ts及び終了時間Teに基づいて、偶数フィールド画像nevenのバッファ書込み時間Pnを測定し、書込情報記憶部６９に供給して記憶させる。
　ステップＳ２８において、表示調整部７０は、内蔵する計時部（図示せず）により計時された計時時間が、所定の時間を経過したか否かを判定し、計時時間が所定の時間を経過していないと判定した場合、処理をステップＳ２１に戻し、それ以降同様の処理が行われる。
　また、ステップＳ２８において、表示調整部７０は、計時時間が所定の時間を経過したと判定した場合、処理をステップＳ２９に進め、書込情報記憶部６９に記憶されている書込み準備時間Xn及びバッファ書込み時間Pnに基づいて表示タイミングVblankを調整する表示タイミング調整処理を行う。
　そして、ステップＳ２９において、表示調整部７０は、表示タイミング調整処理を行なった後に、書込情報記憶部６９に記憶されている書込み準備時間Xn及びバッファ書込み時間Pnを削除する。そして、表示調整部７０は、内蔵する計時部の計時をリセットした上で、再度、計時を開始して、処理をステップＳ２１に戻し、それ以降、同様の処理が行われる。
　次に、図１２のフローチャートを参照して、図１１のステップＳ２９における表示タイミング調整処理の詳細について説明する。
　ステップＳ４１において、表示調整部７０は、書込情報記憶部６９から書込み準備時間Xnを読み出し、読み出した書込み準備時間Xnの分布を表すX分布情報を算出する。
　ステップＳ４２では、表示調整部７０は、ステップＳ４１で算出したX分布情報に基づいて、閾値Xthを算出する。
　ステップＳ４３では、表示調整部７０は、表示間隔Vblank Intervalと閾値Xthに基づいて、式（２）により必要時間Yを算出する。
ステップＳ４４では、表示調整部７０は、書込情報記憶部６９からバッファ書込み時間Pnを読み出し、読み出したバッファ書込み時間Pnの分布を表すP分布情報を算出する。
　ステップＳ４５では、表示調整部７０は、ステップＳ４１で算出したP分布情報に基づいて、閾値Pthを算出する。
　ステップＳ４６では、表示調整部７０は、ステップＳ４５で算出した閾値Pthと、期待書込み時間1/60に基づいて、式（１）により許容遅延時間Ythを算出する。
　ステップＳ４７では、表示調整部７０は、ステップＳ４３で算出した必要時間Yと、ステップＳ４６で算出した許容遅延時間Ythに基づいて、式（３）を満たすか否かを判定し、式（３）を満たすと判定した場合、処理をステップＳ４８に進める。
　ステップＳ４８では、表示調整部７０は、図７に示したように、表示タイミングVblankを、時間Zだけ早くなるように調整し、調整後の表示タイミングVblankを、表示制御部６６に供給する。
　ステップＳ４７では、表示調整部７０は、ステップＳ４３で算出した必要時間Yと、ステップＳ４６で算出した許容遅延時間Ythに基づいて、式（３）を満たしていないと判定した場合、処理をステップＳ４９に進める。
　ステップＳ４９では、表示調整部７０は、図８に示したように、表示タイミングVblankを、時間Zだけ遅くなるように調整し、調整後の表示タイミングVblankを、表示制御部６６に供給する。
　以上、ステップＳ４８又はステップＳ４９の処理の終了後、処理は、図１１のステップＳ２９にリターンし、それ以降の処理が行われる。
　以上説明したように、表示制御処理によれば、例えば、偶数フィールド画像nevenの書込み情報に応じて、式（３）を満たすように表示タイミングVblankを調整するようにしたので、画像の一部分がスキップされることにより、画像に乱れ等が生じる事態を抑止することが可能となる。すなわち、表示制御部６６は、許容遅延時間Yth以下の遅延時間でバッファ６５に書き込まれた偶数フィールド画像neven及び奇数フィールド画像noddに画像の乱れ等を生じさせることなく、表示調整部７０からの表示タイミングVblankに同期して表示させることができる。
　また、例えば、表示制御処理によれば、式（３）を満たしている場合でも、式（３）を満たす範囲内で、必要時間Yを可能な限り短くするように、表示タイミングVblankを調整するようにした。
　このため、奇数フィールド画像nodd及び偶数フィールド画像nevenにおいて、書込み開始時間から表示タイミングまでに要する時間が全体的に短くなるため、最小限の低遅延で画像を表示することが可能となる。
＜２．第２の実施の形態＞
[表示タイミングVblankを調整しないときの一例]
　なお、受信装置２２では、図７及び図８に示されるように、必要時間Yと許容遅延時間Ythとの比較結果に基づいて、表示タイミングVblankを調整するようにして、画像の乱れ等を抑止するとともに、最小限の低遅延で画像を表示できるようにした。
　しかしながら、その他、例えば、表示タイミングVblankを調整することなく、画像の乱れ等を抑止することができる。
　すなわち、例えば、受信装置２２は、式（３）を満たす場合、画像の乱れ等は生じないので、表示タイミングVblankを調整せずに、そのままの表示タイミングVblankに同期させて画像を表示させるようにする。
　また、例えば、受信装置２２は、式（３）を満たさない場合、図１３に示すようにして、画像の表示タイミングをずらすようにして、画像の乱れ等を抑止する。
　図１３は、式（３）を満たさない場合に、画像の表示タイミングをずらす場合の一例を示している。
　式（３）を満たさない場合、図１３のAに示されるように、偶数フィールド画像nevenにおいて、ライン番号iのラインi（≧L）は、ラインiを表示すべきライン表示タイミングが経過した後に、バッファ６５に書き込まれることとなる。
　この場合、時刻t2を表示タイミングVblank(neven)として、偶数フィールド画像nevenを表示させると、偶数フィールド画像nevenに乱れ等が生じてしまう。
　したがって、書込制御部６４は、図１３のBに示されるように、時刻t2の後の時刻t4に、偶数フィールド画像nevenをバッファ６５に書き込むようにする。
　なお、この場合、書込制御部６４は、図示せぬメモリを内蔵しているものとし、復号部６３からの偶数フィールド画像nevenを、内蔵のメモリに保持するようにして、バッファ６５に書き込むタイミングを調整するようにしている。
　これにより、表示制御部６６では、表示タイミングVblank(neven)を、時刻t2から時刻t4にずらし、時刻t4を表示タイミングVblank(neven)として偶数フィールド画像nevenを表示させることができる。
＜２．変形例＞
　なお、表示タイミングVblankを調整する場合と調整しない場合との両方を組み合わせるようにして、画像の乱れ等を抑止するようにしてもよい。
　すなわち、例えば、式（３）を満たす場合、図７に示したようにして表示タイミングVblankを調整するようにし、式（３）を満たさない場合、図１３に示したようにして表示タイミングVblankをずらすようにしてもよい。
　また、例えば、式（３）を満たす場合、表示タイミングVblankを調整せずに、そのままの表示タイミングVblankで表示させるようにし、式（３）を満たさない場合に、図８に示したようにして表示タイミングVblankを調整するようにすることができる。
　第１及び第２の実施の形態では、偶数フィールド画像nevenの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するようにしたが、その他、例えば、図１４に示されるように、奇数フィールド画像noddの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出することができる。また、例えば、奇数フィールド画像noddの書込み情報、及び偶数フィールド画像nevenの書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するようにしてもよい。
　また、例えば、表示部６７において、プログレッシブ方式で画像を表示する場合には、図１５に示されるように、各画像をプログレッシブ画像とし、プログレッシブ画像の書込み情報に基づいて、必要時間Y及び許容遅延時間Ythを算出するものとなる。
　さらに、表示調整部７０は、図４に示されるような書込み準備時間Xnの分布を表すX分布情報を生成する際に、書込み準備時間Xnの測定された時期に拘らず、書込み準備時間Xnの度数を１として、X分布情報を生成するようにした。
　しかしながら、表示調整部７０は、測定された時期が直近であるほどに、書込み準備時間Xnの度数を多く加算するようにして、X分布情報を生成するようにしてもよい。これは、直近に測定された書込み準備時間Xnほど、これから受信される画像の書込み準備時間をより正確に表していると考えられるからである。
　このことは、図５に示されるようなバッファ書込み時間Pnの分布を表すP分布情報を生成する際についても同様である。
　これにより、表示調整部７０では、これから受信される画像の書込み準備時間を、より正確に反映したX分布情報を生成できるとともに、これから受信される画像のバッファ書込み時間を、より正確に反映したP分布情報を生成できるようになる。
　このため、表示調整部７０は、そのようなX分布情報及びP分布情報から、これから受信される画像の必要時間Y及び許容遅延時間Ythを、より正確に算出することができるようになる。よって、受信される画像に応じた、表示タイミングVblankの調整をより適切に行うことが可能となる。
　なお、本技術は以下のような構成もとることができる。
（１）画像を受信する受信部と、受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出する第２の算出部と、前記許容遅延時間と前記必要時間とを比較する比較部と、前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部とを含む表示制御装置。
（２）前記画像の書込みに要する書込み時間を計測する第１の計測部をさらに含み、前記第１の算出部は、前記書込み時間の分布に基づいて、前記許容遅延時間を算出する前記（１）に記載の表示制御装置。
（３）前記画像の書込みの開始に要する書込み準備時間を計測する第２の計測部をさらに含み、前記第２の算出部は、前記書込み準備時間の分布に基づいて、前記必要時間を算出する前記（１）又は（２）に記載の表示制御装置。
（４）前記表示制御は、調整後の前記表示タイミングに同期して、前記表示タイミングから前記所定時間で前記画像の表示を終了させるものであり、前記表示調整部は、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間を短くするように前記表示タイミングを調整する前記（１）乃至（３）に記載の表示制御装置。
（５）前記表示調整部は、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記表示タイミングを調整する前記（４）に記載の表示制御装置。
（６）前記書込み部は、前記必要時間が前記遅延時間よりも長くないとの比較結果を得た場合、第１の前記表示タイミングの後に前記画像の書込みを開始し、前記表示制御部は、前記第１の表示タイミングよりも後の第２の表示タイミングに同期して、前記画像を表示させる前記（４）に記載の表示制御装置。
（７）前記表示制御部は、調整後の前記表示タイミングに同期して、前記許容遅延時間以下の遅延時間で書込まれた前記画像を表示させる前記（１）乃至（３）に記載の表示制御装置。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
　CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
　入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
　また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
　入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
　コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
　なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本発明の実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　２２　受信装置，　６１　RTP受信部，　６２　パケット組立部，　６３　復号部，　６４　書込制御部，　６５　バッファ，　６６　表示制御部，　６７　表示部，　６８　書込情報測定部，　６９　書込情報記憶部，　７０　表示調整部，　７１　操作部，　７２　制御部

Claims (9)

  1. 　画像を受信する受信部と、
    　受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、
    　前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、
    　前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも要する必要時間を算出する第２の算出部と、
    　前記許容遅延時間と前記必要時間とを比較する比較部と、
    　前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、
    　調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部と
    　を含む表示制御装置。
  2. 　前記画像の書込みに要する書込み時間を計測する第１の計測部をさらに含み、
    　前記第１の算出部は、前記書込み時間の分布に基づいて、前記許容遅延時間を算出する
    　請求項１に記載の表示制御装置。
  3. 　前記画像の書込みの開始に要する書込み準備時間を計測する第２の計測部をさらに含み、
    　前記第２の算出部は、前記書込み準備時間の分布に基づいて、前記必要時間を算出する
    　請求項１に記載の表示制御装置。
  4. 　前記表示制御部は、調整後の前記表示タイミングに同期して、前記表示タイミングから前記所定時間で前記画像の表示を終了させるものであり、
    　前記表示調整部は、前記必要時間が前記許容遅延時間よりも長いとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長いという条件を満たす範囲内で、前記必要時間を短くするように前記表示タイミングを調整する
    　請求項１に記載の表示制御装置。
  5. 　前記表示調整部は、前記必要時間が前記許容遅延時間よりも長くないとの比較結果を得た場合、前記必要時間が前記許容遅延時間よりも長くなるように前記表示タイミングを調整する
    　請求項４に記載の表示制御装置。
  6. 　前記書込み部は、前記必要時間が前記遅延時間よりも長くないとの比較結果を得た場合、第１の前記表示タイミングの後に前記画像の書込みを開始し、
    　前記表示制御部は、前記第１の表示タイミングよりも後の第２の表示タイミングに同期して、前記画像を表示させる
    　請求項４に記載の表示制御装置。
  7. 　前記表示制御部は、調整後の前記表示タイミングに同期して、前記許容遅延時間以下の遅延時間で書込まれた前記画像を表示させる
    　請求項１に記載の表示制御装置。
  8. 　画像を表示させる表示制御装置の表示制御方法において、
    　前記表示制御装置による、
    　　前記画像を受信する受信ステップと、
    　　受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込みステップと、
    　　前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出ステップと、
    　　前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出ステップと、
    　　前記許容遅延時間と前記必要時間とを比較する比較ステップと、
    　　前記比較ステップの比較結果に基づいて、前記表示タイミングを調整する表示調整ステップと、
    　　調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御ステップと
    　を含む表示制御方法。
  9. 　コンピュータを、
    　画像を受信させる受信制御部と、
    　受信した前記画像を一時的に保持する保持部に前記画像の書込みを行う書込み部と、
    　前記画像の書込みが開始された書込み開始時刻から、予め決められた所要時間で書込みを終了できないときに許容される遅延時間を表す許容遅延時間を算出する第１の算出部と、
    　前記許容遅延時間以下の遅延時間で書き込まれた前記画像の前記書込み開始時刻から、前記画像の表示を開始する表示タイミングまでに少なくとも必要とされる必要時間を算出する第２の算出部と、
    　前記許容遅延時間と前記必要時間とを比較する比較部と、
    　前記比較部の比較結果に基づいて、前記表示タイミングを調整する表示調整部と、
    　調整後の前記表示タイミングに同期して、前記画像を表示させる表示制御部と
    　して機能させるためのプログラム。
PCT/JP2012/058379 2011-04-11 2012-03-29 表示制御装置、表示制御方法、及びプログラム WO2012141014A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2012800156593A CN103460697A (zh) 2011-04-11 2012-03-29 显示控制装置、显示控制方法和程序
EP12771307.1A EP2698993A4 (en) 2011-04-11 2012-03-29 DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM
US14/009,894 US20140028656A1 (en) 2011-04-11 2012-03-29 Display control apparatus, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-087233 2011-04-11
JP2011087233A JP2012222643A (ja) 2011-04-11 2011-04-11 表示制御装置、表示制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2012141014A1 true WO2012141014A1 (ja) 2012-10-18

Family

ID=47009194

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/058379 WO2012141014A1 (ja) 2011-04-11 2012-03-29 表示制御装置、表示制御方法、及びプログラム

Country Status (5)

Country Link
US (1) US20140028656A1 (ja)
EP (1) EP2698993A4 (ja)
JP (1) JP2012222643A (ja)
CN (1) CN103460697A (ja)
WO (1) WO2012141014A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2527577B (en) * 2014-06-26 2016-09-14 Canon Kk Frame rate augmentation
JP6489802B2 (ja) 2014-11-13 2019-03-27 キヤノン株式会社 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP6544939B2 (ja) 2015-02-16 2019-07-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN118678173A (zh) * 2024-08-22 2024-09-20 深圳市众鑫创展科技有限公司 基于图像数据的帧同步方法和系统、设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6429141A (en) * 1987-07-24 1989-01-31 Nec Corp Packet exchange system
JPH11163892A (ja) * 1997-12-01 1999-06-18 Matsushita Electric Ind Co Ltd パケット分解装置、パケット分解方法及びパケット分解システム
JP2007311924A (ja) 2006-05-16 2007-11-29 Sony Corp 帯域分析装置及び方法、帯域合成装置及び方法、画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP2009278545A (ja) * 2008-05-16 2009-11-26 Sony Corp 受信装置、受信方法、プログラム、及び通信システム
JP2010035003A (ja) * 2008-07-30 2010-02-12 Nec Corp ジッターバッファ制御方法と通信装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701372B2 (en) * 1997-08-22 2004-03-02 Canon Kabushiki Kaisha Data communication apparatus and method
JP2005534219A (ja) * 2002-07-19 2005-11-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ウォールクロックを持つシステムに対するジッタ補正方法
JP5286050B2 (ja) * 2008-11-28 2013-09-11 株式会社日立国際電気 符号化−復号化装置および映像伝送システム
JP5493471B2 (ja) * 2009-05-27 2014-05-14 ソニー株式会社 情報処理装置および方法
JP2013005064A (ja) * 2011-06-13 2013-01-07 Sony Corp 送信装置、送信方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6429141A (en) * 1987-07-24 1989-01-31 Nec Corp Packet exchange system
JPH11163892A (ja) * 1997-12-01 1999-06-18 Matsushita Electric Ind Co Ltd パケット分解装置、パケット分解方法及びパケット分解システム
JP2007311924A (ja) 2006-05-16 2007-11-29 Sony Corp 帯域分析装置及び方法、帯域合成装置及び方法、画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
JP2009278545A (ja) * 2008-05-16 2009-11-26 Sony Corp 受信装置、受信方法、プログラム、及び通信システム
JP2010035003A (ja) * 2008-07-30 2010-02-12 Nec Corp ジッターバッファ制御方法と通信装置

Also Published As

Publication number Publication date
EP2698993A1 (en) 2014-02-19
CN103460697A (zh) 2013-12-18
JP2012222643A (ja) 2012-11-12
EP2698993A4 (en) 2014-09-17
US20140028656A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
US10924787B2 (en) Synchronizing playback of segmented video content across multiple video playback devices
US8964921B2 (en) Information processing apparatus, method, and program
JP5493471B2 (ja) 情報処理装置および方法
US8675728B2 (en) Transmitting apparatus and method, and receiving apparatus and method
JP4797446B2 (ja) 情報処理システム、情報処理装置および方法、並びにプログラム
JP5581317B2 (ja) 動画像再生システムおよび動画像再生方法
JP5974881B2 (ja) 情報処理装置およびその制御方法
US20110310965A1 (en) Communication device, communication method, and communication program product
WO2012141014A1 (ja) 表示制御装置、表示制御方法、及びプログラム
JP5183231B2 (ja) 映像再生装置及び制御方法
JP5610199B2 (ja) 受信装置、受信方法、及び通信システム
WO2012173020A1 (ja) 送信装置、送信方法、及びプログラム
WO2012169404A1 (ja) 表示制御装置、表示制御方法、及びプログラム
JP7542245B2 (ja) 映像伝送システム、通信装置、転送装置及びプログラム
JP5217912B2 (ja) 撮像装置と撮像方法およびプログラム
KR101446421B1 (ko) 영상 전송 시스템 및 방법
JP2017224928A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
JP2016005220A (ja) 送信装置、送信方法、プログラム
JP2008252333A (ja) 映像データ伝送システム
JP2008270939A (ja) 動画像配信システム並びにサーバー装置及びクライアント装置
JP2011010091A (ja) 出力情報制御装置および出力情報制御方法
WO2018207253A1 (ja) 映像記録再生装置、映像伝送装置、及び映像伝送方法
JP2012195880A (ja) 画像処理装置、画像処理方法およびプログラム
US20100321375A1 (en) Information reproducing apparatus, information reproducing method, and program
JP2015088950A (ja) 記録装置および記録方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12771307

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012771307

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14009894

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE