WO2012169404A1 - 表示制御装置、表示制御方法、及びプログラム - Google Patents

表示制御装置、表示制御方法、及びプログラム Download PDF

Info

Publication number
WO2012169404A1
WO2012169404A1 PCT/JP2012/063912 JP2012063912W WO2012169404A1 WO 2012169404 A1 WO2012169404 A1 WO 2012169404A1 JP 2012063912 W JP2012063912 W JP 2012063912W WO 2012169404 A1 WO2012169404 A1 WO 2012169404A1
Authority
WO
WIPO (PCT)
Prior art keywords
writing
image
display
time
write
Prior art date
Application number
PCT/JP2012/063912
Other languages
English (en)
French (fr)
Inventor
ヴィジタ サンジ－ ラナトゥンガ
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN2012800023943A priority Critical patent/CN103069479A/zh
Priority to US13/813,545 priority patent/US20130127884A1/en
Priority to EP12796501.0A priority patent/EP2584557A4/en
Publication of WO2012169404A1 publication Critical patent/WO2012169404A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0224—Details of interlacing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal

Definitions

  • the present disclosure relates to a display control device, a display control method, and a program, and in particular, can suppress, for example, image disturbance that occurs when an image transmitted from a data transmission path such as a network is displayed with a low delay.
  • the present invention relates to a display control device, a display control method, and a program.
  • remote surgery has been performed in which a patient is operated by operating a robot arm in a remote place.
  • the surgeon operates the robot arm while watching the moving image obtained by imaging the state of the operation, so that the moving image is displayed with a low delay (near real time) of several frames (or several fields). It is desirable to be transmitted.
  • encoding is started without waiting for the input of all the block data in the picture in the transmitting device, and the resulting encoded data is transmitted.
  • Decoding decompression
  • the encoded data can be decoded and the picture can be displayed before the predetermined display timing for displaying the picture. Therefore, the receiving apparatus can display the picture on the monitor in synchronization with the display timing.
  • the transmission apparatus may not be able to transmit a moving image with a low delay of several frames or less.
  • the receiving apparatus cannot make the picture displayable by a predetermined display timing.
  • a picture that has not been made displayable by the display timing is skipped without being displayed on the monitor, for example, so that an image displayed on the monitor may be disturbed.
  • the present disclosure has been made in view of such a situation, and suppresses image disturbance or the like that occurs when an image transmitted from a data transmission path is displayed with a low delay.
  • a display control device includes a measuring unit that measures a write preparation time required to start writing of the image to a holding unit that temporarily holds a received image, and the write preparation time.
  • the writing of the image is performed according to whether or not the display end time when displaying the image in synchronization with the display timing to display the image is equal to or greater than a threshold time indicating a writing preparation time for ending the writing of the image.
  • An image written in the holding unit under the control of the write control unit is displayed in synchronization with the display timing by a writing control unit to be controlled and a writing time that can be displayed in synchronization with the display timing.
  • a display control device including a display control unit.
  • the writing control unit when the writing preparation time is equal to or longer than the threshold time, the writing of the image that is started when the writing preparation time has elapsed is delayed and started after the display timing has passed. be able to.
  • a calculation unit that calculates the maximum value of the buffer capacity used for delaying the writing of the image in the writing control unit may be further provided.
  • the writing control unit when the writing of the first image to be displayed at the first display timing is started after the first display timing has elapsed, the writing control unit controls the writing to the holding unit. A second image that is different from the first image that has been completed can be displayed in synchronization with the first display timing.
  • the writing of the first image when the writing of the first image is started after the elapse of the first display timing, the writing is performed after the elapse of the second display timing that occurs before the first display timing.
  • the started second image can be displayed in synchronization with the first display timing.
  • writing of the image can be started when the writing preparation time has elapsed.
  • the display control unit when writing of the first image to be displayed at the first display timing is started when the writing preparation time has elapsed, the display control unit can display in synchronization with the first display timing.
  • the writing of a portion of the first image is completed by the writing time and the writing of the remaining portion of the first image is not completed, the writing of the first image written in the holding unit is completed. A part can be displayed in synchronization with the first display timing.
  • the first control unit when writing of the second image to be displayed at the second display timing that occurs after the first display timing is started after the second display timing has elapsed, the first control unit The first image in which writing of the remaining part of the first image in addition to a part of the image is completed can be displayed in synchronization with the second display timing.
  • Another measuring unit that measures the writing time required for writing the image, and a threshold calculating unit that calculates the threshold time based on the distribution of the writing preparation time and the distribution of the writing time can be further provided.
  • the writing control unit can control writing of the image according to whether or not the writing preparation time is equal to or longer than the calculated threshold time.
  • a display control method is a display control method of a display control device that displays a received image, and the image is displayed on a holding unit that temporarily holds the received image by the display control device.
  • Measurement step for measuring the write preparation time required to start writing the image, and the writing preparation time is finished at the display end time when the image is displayed in synchronization with the display timing to display the image.
  • a writing control step for controlling writing of the image according to whether or not a threshold time representing a writing preparation time to be performed and the writing control by a writing time that can be displayed in synchronization with the display timing
  • a program includes a measurement unit that measures a write preparation time required to start writing of the image to a holding unit that temporarily holds a received image, and the write preparation time. Depending on whether or not the image writing time is equal to or greater than a threshold time indicating a writing preparation time for ending writing of the image at a display end time when the image is displayed in synchronization with a display timing to be displayed.
  • a writing control unit that controls the display and an image written in the holding unit under the control of the writing control unit by a writing time that can be displayed in synchronization with the display timing in synchronization with the display timing. This is a program for causing a display control unit to function.
  • a write preparation time required to start writing the image to the holding unit that temporarily holds the received image is measured, and the write preparation time is displayed.
  • the writing of the image is controlled according to whether or not the display end time when displaying in synchronization with the display timing to be performed is equal to or greater than a threshold time indicating a writing preparation time for ending writing of the image, and the display
  • the image written in the holding unit under the control of the writing control unit by the writing time that can be displayed in synchronization with the timing is displayed in synchronization with the display timing.
  • FIG. 1 illustrates an example of a transmission / reception system according to the present disclosure.
  • This transmission / reception system includes a transmission device 21, a reception device 22, and a network 23 such as the Internet.
  • the image writing timing to the display buffer 65 (described later) is adjusted on the reception device 22 side, so that the image transmitted from the transmission device 21 is not disturbed.
  • the display is made with a low delay.
  • the transmission device 21 includes a capture unit 41, an encoding unit 42, a packet configuration unit 43, an RTP (real-time transport protocol) transmission unit 44, an operation unit 45, and a control unit 46.
  • the capture unit 41 acquires (captures) image data (corresponding to video IN) input from the outside, and supplies it to the encoding unit 42.
  • the encoding unit 42 performs an encoding process for encoding the image data from the capture unit 41, and supplies encoded data obtained by the encoding process to the packet configuration unit 43.
  • a wavelet encoding process that compresses image data by encoding using, for example, wavelet transform can be employed.
  • the packet configuration unit 43 packetizes (converts) the encoded data from the encoding unit 42 into a plurality of RTP packets, and outputs the packet to the RTP transmission unit 44.
  • the RTP packet represents a packet conforming to the RTP described in IETF / RFC 3550.
  • the RTP transmission unit 44 adds, for example, a transmission time when transmitting the RTP packet to the reception device 22 as a time stamp to the RTP packet from the packet configuration unit 43 according to RTP. Then, the RTP transmission unit 44 transmits the RTP packet with the time stamp added thereto to the reception device 22 via the network 23.
  • the operation unit 45 is an operation button or the like operated by the user, and supplies an operation signal corresponding to the user operation to the control unit 46.
  • the control unit 46 controls each unit of the capture unit 41, the encoding unit 42, the packet configuration unit 43, and the RTP transmission unit 44 based on, for example, an operation signal from the operation unit 45.
  • the receiving device 22 includes an RTP receiving unit 61, a packet assembling unit 62, a decoding unit 63, a write control unit 64 incorporating a delay buffer 64a, a display buffer 65, a display control unit 66, a display unit 67, and write information measurement.
  • the RTP receiver 61 receives the RTP packet transmitted from the RTP transmitter 44 via the network 23 and supplies it to the packet assembly unit 62.
  • the packet assembling unit 62 generates encoded data to be decoded by assembling the RTP packet from the RTP receiving unit 61, and supplies the encoded data to the decoding unit 63.
  • the decoding unit 63 performs a decoding process corresponding to the encoding process performed by the encoding unit 42 on the encoded data from the packet assembling unit 62, and sends the resulting image data to the write control unit 64.
  • Supply for example, a decoding process or the like that is expanded by decoding by inverse transformation of wavelet transform is adopted.
  • the writing control unit 64 supplies the image data from the decoding unit 63 to the display buffer 65 for storage (writing). That is, the write control unit 64 controls the writing of image data to the display buffer 65 in accordance with information from the write information measuring unit 68. Further, the writing control unit 64 supplies the writing information measuring unit 68 with the writing start time Ts at which writing is started in the display buffer 65 and the writing end time Te at which writing is ended for each image data.
  • the display buffer 65 temporarily holds the image data from the writing control unit 64.
  • the display control unit 66 reads the image data from the display buffer 65. Then, the display control unit 66 causes the display unit 67 to display the image data read from the display buffer 65 in synchronization with a predetermined display timing Vblank.
  • FIG. 2 shows an example in which the display control unit 66 displays each image data at a predetermined display timing Vblank.
  • the image data n is image data captured nth by the capture unit 41 of the transmission device 21.
  • the image data n is composed of an odd-numbered field image n odd composed of odd-numbered lines among the lines constituting the image data n and an even-numbered line among lines constituting the image data n. It is assumed that it is composed of an even field image n even .
  • the horizontal axis represents time
  • the vertical axis represents the line number of the line displayed at the corresponding time.
  • the image data n is composed of, for example, 1080 lines. Therefore, the odd field image n odd and the even field image n even are each composed of 540 lines.
  • the display timing Vblank (n odd ) represents the time when display of the odd field image n odd starts.
  • the display timing Vblank (n even ) represents the time when display of the even field image n even is started.
  • the display control unit 66 reads out the odd field image n odd from the display buffer 65 in synchronization with the display timing Vblank (n odd ) and causes the display unit 67 to display it. Further, the display control unit 66 reads the even field image n even from the display buffer 65 in synchronization with the display timing Vblank (n even ), and causes the display unit 67 to display it.
  • the display unit 67 displays each image data n by, for example, an interlace method. That is, for example, the display unit 67 displays the odd field image n odd and the even field image n even alternately according to the control from the display control unit 66. As shown in FIG. 1, the display unit 67 is a component part of the reception device 22, and may be provided independently without being included in the component part of the reception device 22. In this case, the display control unit 66 in the receiving device 22 and the display unit 67 provided outside the receiving device 22 are connected by, for example, a cable.
  • the write information measuring unit 68 measures the write information of the even field image n even written in the display buffer 65.
  • the write information measurement unit 68 instead of the write information of the even-numbered field image n the even, or together with the write information of the even-numbered field image n the even, the writing information of the odd-numbered field image n odd written in the display buffer 65 You may make it measure.
  • the writing information measurement unit 68 sets each image data n as a progressive image, and measures writing information of the progressive image. It will be. This will be described later with reference to FIG.
  • the write information measuring unit 68 measures the write information of each field image (odd field image n odd and even field image n even ) written in the display buffer 65.
  • the write information measuring unit 68 uses, for example, the write preparation time Xn even required for starting the writing of the even field image n even as the write information of the even field image n even written to the display buffer 65. , and measures the buffer write time Pn the even required for writing the even field image n the even.
  • FIG. 3 shows an example in which the write information measuring unit 68 measures the write preparation time Xn even and the buffer write time Pn even of the even field image n even .
  • the writing start time Ts represents the time when the writing of the even field image n even to the display buffer 65 is started.
  • the write end time Te represents the time when the even field image n even has been written to the display buffer 65.
  • the writing information measuring unit 68 is supplied from the writing control unit 64 with the writing start time Ts and the writing end time Te of the even field image n even .
  • Writing information measurement unit 68 in the same manner for the odd field image n odd, measures the write preparation time Xn odd and the buffer write time Pn odd odd field image n odd.
  • the even-numbered field image n write preparation time was measured every the even Xn the even and the buffer write time Pn the even
  • odd-numbered field image n write preparation time was measured every odd Xn odd and the buffer write time Pn odd Is supplied to and stored in the write information storage unit 69.
  • field image m when it is not necessary to distinguish between the even-numbered field image n even and even-numbered field image n even, simply referred to as field image m.
  • the field image m represents the m-th even field image
  • the field image m represents the m-th odd field image
  • the write preparation time Xn odd or Xn even of the field image m is referred to as a write preparation time Xm
  • the buffer write time Pn odd or Pn even of the field image m is referred to as a buffer write time Pm.
  • the write information storage unit 69 stores the write preparation time Xm and the buffer write time Pm from the write information measuring unit 68 as write information.
  • the threshold calculation unit 70 performs a threshold calculation process for calculating a threshold time Sth and a delay buffer maximum time (Y-Zth), which will be described later, based on the writing information stored in the writing information storage unit 69. This threshold value calculation process will be described in detail with reference to FIGS.
  • the threshold calculation unit 70 supplies the threshold time Sth and the delay buffer maximum time (Y-Zth) calculated by the threshold calculation process to the writing information measurement unit 68.
  • the operation unit 71 is an operation button or the like operated by the user, and supplies an operation signal corresponding to the user operation to the control unit 72.
  • the control unit 72 is based on the RTP reception unit 61, the packet assembly unit 62, the decoding unit 63, the write control unit 64, the display control unit 66, the write information measurement unit 68, And each part of the threshold value calculation part 70 is controlled.
  • FIG. 4 shows an example of the distribution of the write preparation time Xm stored in the write information storage unit 69.
  • the horizontal axis represents the write preparation time Xm
  • the vertical axis represents the frequency of the write preparation time Xm.
  • the threshold value calculation unit 70 generates X distribution information representing the distribution of the write preparation time Xm as shown in FIG. 4 based on the write preparation time Xm stored in the write information storage unit 69.
  • the value is less than the minimum value of the write preparation time Xm.
  • the value ⁇ is determined in advance by a user operation, for example.
  • FIG. 5 shows an example of the distribution of the buffer write time Pm stored in the write information storage unit 69.
  • the horizontal axis indicates the buffer write time Pm
  • the vertical axis indicates the frequency of the buffer write time Pm.
  • the threshold calculation unit 70 generates P distribution information representing the distribution of the buffer write time Pm as shown in FIG. 5 based on the plurality of buffer write times Pm stored in the write information storage unit 69.
  • the threshold calculation unit 70 based on the P distribution information of the buffer write time Pm, the upper ⁇ percent buffer write time Pm and the lower (100 ⁇ ) percent buffer when the buffer write times Pm are arranged in ascending order. A threshold value Pth for distinguishing from the writing time Pm is calculated.
  • the threshold value Pth is equal to or greater than the maximum value of the upper ⁇ percent buffer write time Pm when the buffer write times Pm are arranged in ascending order, and is the minimum value of the lower (100 ⁇ ) percent buffer write time Pm. The value is less than.
  • FIG. 6 shows an example in which the threshold calculation unit 70 calculates the threshold time Sth and the maximum delay buffer time (Y-Zth) based on the calculated threshold Xth and threshold Pth.
  • the expected writing time 1/60 represents the writing time of the field image m that is expected when there is no delay in data writing in the writing control unit 64.
  • the expected writing time 1/60 is determined according to the time required for displaying the field image m, for example.
  • the display unit 67 displays the field images m at the display time 1/60. Therefore, for example, the expected write time is also set to 1/60.
  • the display unit 67 displays the field image m at the display time 1 / a, for example, the expected writing time is set to 1 / a.
  • the threshold calculation unit 70 calculates the threshold time Sth by the following equation (2) based on the threshold Zth and the threshold Xth.
  • Sth Xth + Zth (2)
  • the threshold time Sth is the display end time when the writing of the field image m performed at the threshold Pth as the writing time displays the field image m in synchronization with the display timing at which the field image m should be displayed. This is the write preparation time when ending with.
  • the threshold time Sth is an even field image synchronized with the display timing Vblank (n even ) in FIG. 6 in which writing of the even field image n even performed at the threshold Pth as the writing time is performed.
  • n Write preparation time when ending at the display end time when displaying even .
  • the threshold calculation unit 70 calculates the required time Y of the field image m based on the threshold Xth and the display interval VblankblaInterval.
  • the required time Y statistically represents the time required from the writing start time Ts to the display timing (display timing Vblank (n even ) in FIG. 6).
  • the threshold calculation unit 70 calculates the delay buffer maximum time (Y-Zth) based on the calculated required time Y and the threshold Zth, as shown in FIG.
  • the threshold calculation unit 70 supplies the calculated threshold time Sth and the delay buffer maximum time (Y-Zth) to the write information measurement unit 68.
  • the writing information measuring unit 68 determines whether or not the writing preparation time Xm of the field image m is equal to or longer than the threshold time Sth from the threshold calculating unit 70 by the following equation (4), and the determination result is written: Supply to the control unit 64. Xm ⁇ Sth (4)
  • the writing control unit 64 controls writing of the field image m to the display buffer 65 according to the determination result from the writing information measuring unit 68.
  • FIG. 8 shows an example of writing control performed by the writing control unit 64 when the expression (4) is satisfied.
  • a line segment 81 represents a writing time required when writing of the even field image n even to the display buffer 65 is started after the writing preparation time Xn even has elapsed.
  • the write time represented by the line segment 81 actually varies depending on the time required for transfer, the time required for decoding, etc., but for the sake of convenience, the write preparation time Xm and the allowable delay Based on the time Pm, the writing time is determined statistically. That is, for example, the writing time 81 represents the upper limit of the writing time of the field image m received with a probability of ⁇ percent.
  • line 82 in synchronism with the display timing for displaying the even-numbered field image n even Vblank (n even), representing a display time required when viewing the even field image n the even.
  • a line segment 83 represents a writing time required when writing of the even field image n even is started by delaying by the delay time B from the time when the writing preparation time Xn even has elapsed.
  • the writing time represented by the line segment 83 is 1/60 of the expected writing time. This is because the even-numbered field image n even written in the display buffer 65 at the write time represented by the line segment 83 is not transferred from the transmission device 21 and decoded and written in the display buffer 65. This is because the even field image n even held in 64a.
  • the line segment 81 and the line segment 82 intersect with each other. Therefore, in the even-numbered field image n even , among the lines (i) of the line number i, for example, after the line number L
  • the line (i ⁇ L) is written into the display buffer 65 after the display time of the line (i ⁇ L).
  • the write control unit 64 obtains the determination result that the expression (4) is satisfied from the write information measurement unit 68, the even field from the decoding unit 63 until the display timing Vblank (n even ) elapses.
  • the image n even is held in the built-in delay buffer 64a.
  • the writing control unit 64 starts writing the even field image n even held in the delay buffer 64a to the display buffer 65 after the display timing Vblank (n even ) has elapsed.
  • the writing control unit 64 delays the delay buffer time B from the time when the writing preparation time Xn even has elapsed, and starts writing the even field image n even .
  • the write control unit 64 delays the start of writing by a delay time B using, for example, a built-in delay buffer 64a.
  • the write control unit 64 can calculate the maximum buffer capacity necessary for the write delay and the remaining buffer capacity not necessary for the write delay based on the supplied delay buffer maximum time Bmax. .
  • the write control unit 64 can secure the maximum buffer capacity necessary for delaying the start of writing and use the remaining buffer capacity for other processing.
  • the even field image n even written at the writing time indicated by the line segment 83 is displayed, for example, when the odd field image n + 1 odd is not displayed at the next display timing Vblank (n + 1 odd ). It is displayed at timing Vblank (n + 1 odd ).
  • the writing control unit 64 delays the start of writing and writes data at the writing time represented by the line segment 83 ′.
  • the odd field image n + 1 odd is not displayed in the display time indicated by the line segment 82 ′. Therefore, in the display time represented by the line segment 82 ′, the even field image n even that has been written at the write time represented by the line segment 83 is displayed.
  • even field image n even is displayed in synchronization with display timing Vblank (n even ), and display is performed when odd field image n + 1 odd is not displayed at display timing Vblank (n + 1 odd ).
  • the even field image n even held in the buffer 65 can be displayed at the display timing Vblank (n + 1 odd ).
  • the even-numbered field image n even in addition to the display timing Vblank (n + 1 odd), to display at the display timing Vblank (n + 1 odd) after the display timing (e.g., display timing Vblank (n + 1 even))
  • the power field image When the power field image is not displayed, it may be displayed at the display timing.
  • FIG. 11 shows an example of writing control performed by the writing control unit 64 when the expression (4) is not satisfied.
  • the write control unit 64 obtains the determination result that the expression (4) is not satisfied from the write information measurement unit 68, the even field for the display buffer 65 when the write preparation time Xn even has elapsed. Start writing image n even .
  • the display control unit 66 displays the even field image n even written in the display buffer 65 on the display unit 67 in synchronization with the display timing Vblank (n even ).
  • the line after the line number L (i ⁇ L) is written into the display buffer 65 after the display time of the line (i ⁇ L). End up.
  • the write information measuring unit 68 determines whether or not the write time of the line (i) is after the display time of the line (i). Shows an example of a method for monitoring.
  • the display time Ti ′ can be expressed by the following equation (6).
  • Ti ' i x Vblank Interval / (2 x I) (6)
  • Vblank Interval / 2 represents the display time required to display the entire field image m (even field image n even in the case of FIG. 13).
  • the display buffer 65 holds the lines (L + 1) to (540), that is, all of the even field images n even together with the 1 to L lines.
  • the Rukoto is, the lines (L + 1) to (540), that is, all of the even field images n even together with the 1 to L lines.
  • the even field image n even held in the display buffer 65 is, for example, an odd number at the display timing Vblank (n + 1 odd ) next to the display timing Vblank (n even ), as in the case of FIG.
  • the field image n + 1 odd is not displayed, it is displayed at the display timing Vblank (n + 1 odd ).
  • the write information when writing is performed at the write time indicated by the line segment 83 is not stored in the write information storage unit 69, and the threshold time Sth and the like are calculated. It is desirable not to use it.
  • the threshold value calculation unit 70 updates the threshold time Sth and the delay buffer maximum time (Y-Zth) by appropriately performing threshold value calculation processing. This is because the transmission time changes according to the congestion state of the network 23 and the like. That is, this is because the write preparation time Xm and the buffer write time Pm used to calculate the threshold time Sth and the delay buffer maximum time (Y-Zth) also change due to the change in the transmission time.
  • FIGS. 14 and 15 each show an example of how the transmission time changes according to the congestion status of the network 23 and the like.
  • the vertical axis indicates the packet number representing each RTP packet of the image data n.
  • the horizontal axis indicates “capture” processing performed by the capture unit 41, “encoding” processing performed by the encoding unit 42, and “packet configuration” processing performed by the packet configuration unit 43 on the data constituting the image data n.
  • the time required for the “transfer” process varies greatly depending on the state of the network 23. That is, when the congestion of the network 23 is relatively small, as shown in FIG. 14, the time required for the “transfer” process is shortened. When the congestion of the network 23 is relatively large, as shown in FIG. The time required for the “transfer” process is long.
  • the write preparation time Xm and the buffer write time Pm change as the time required for the “transfer” process, and hence the transmission time, changes according to the congestion status of the network 23, etc. It is necessary to perform threshold calculation processing.
  • step S21 the RTP receiving unit 61 receives the RTP packet transmitted from the RTP transmitting unit 44 via the network 23 and supplies it to the packet assembling unit 62.
  • step S 22 the packet assembling unit 62 assembles the RTP packet from the RTP receiving unit 61 to generate encoded data to be decoded, and supplies the encoded data to the decoding unit 63.
  • step S23 the decoding unit 63 performs a decoding process corresponding to the encoding process performed by the encoding unit 42 on the encoded data from the packet assembling unit 62, and performs write control on the image data obtained as a result. Supplied to the unit 64.
  • the decoding process for example, a decoding process or the like that is expanded by decoding by inverse transformation of wavelet transform is adopted.
  • the writing control unit 64 writes the writing start time Ts at which writing is started to the display buffer 65 and the writing end time Te at which writing is ended for each field image m constituting the image data from the decoding unit 63. This is supplied to the information measuring unit 68.
  • the field image m is one of an odd-numbered field image and an even-numbered field image and refers to an m-th displayed image.
  • the write control unit 64 supplies the field image m constituting the image data from the decoding unit 63 to the display buffer 65 for storage (writing) in step S27, S30, or S34 described later.
  • step S24 the writing information measuring unit 68 measures the writing preparation time Xm of the field image m based on the writing start time Ts from the writing control unit 64 and the predetermined display timing Vblank, and writing The information is stored in the information storage unit 69.
  • step S 25 the writing information measuring unit 68 measures the buffer writing time Pm of the field image m based on the disclosure time Ts and the end time Te from the writing control unit 64, and supplies it to the writing information storage unit 69. And memorize it.
  • step S26 the write information measuring unit 68 determines whether or not the write preparation time Xm measured in the process of step S24 is equal to or longer than the threshold time Sth calculated in the process of the previous step S36 according to equation (4). judge.
  • the threshold time Sth is set to a predetermined value.
  • step S26 when the write information measuring unit 68 determines that the write preparation time Xm is equal to or greater than the threshold time Sth, the determination result is supplied to the write control unit 64, and the process proceeds to step S27. .
  • step S27 when the write control unit 64 obtains a determination result that the write preparation time Xm is equal to or greater than the threshold time Sth from the write information measurement unit 68, the write control unit 64 uses the built-in delay buffer 64a, The start of writing the field image m to the display buffer 65 is delayed.
  • the writing control unit 64 writes the even field image n even to the display buffer 65 as described with reference to FIG. Is delayed after the display timing Vblank (n even ).
  • step S28 the display control unit 66 reads the field image m-1 from the display buffer 65 when the field image m-1 has been written in the display buffer 65 in the previous step S27 or step S34 described later. Instead of the field image m, it is displayed.
  • the display control unit 66 writes the odd number already written in the display buffer 65.
  • the field image n odd is displayed on the display unit 67 in synchronization with the display timing Vblank (n even ).
  • step S29 the write control unit 64 calculates an unused buffer capacity in the delay buffer 64a based on the delay buffer maximum time (Y-Zth) calculated in the immediately preceding step S36.
  • the write control unit 64 uses the unused buffer capacity in the delay buffer 64a for other processing. As a result, the unused buffer capacity can be efficiently used in the delay buffer 64a.
  • step S26 when the write information measuring unit 68 determines that the write preparation time Xm is not equal to or shorter than the threshold time Sth in step S26, the write information measurement unit 68 supplies the determination result to the write control unit 64. The process proceeds to step S30.
  • step S30 when the write control unit 64 obtains the determination result that the write preparation time Xm is less than the threshold time Sth from the write information measurement unit 68, the write control unit 64 displays the data from the time when the write preparation time Xm has elapsed. Writing of the field image m to the buffer 65 is started.
  • step S31 the display control unit 66 displays the field image m written in the display buffer 65.
  • the display control unit 66 synchronizes the even field image n even written in the display buffer 65 with the display timing Vblank (n even ). To display.
  • step S32 the writing information measuring unit 68 determines the writing time of each line (i) of the field image m based on whether or not the expression (5) is satisfied in parallel with the processing of step S30 and step S31. Then, it is determined whether or not it has arrived after the display time of line (i).
  • step S32 the writing information measuring unit 68 is such that the writing time of each line (i) of the field image m comes after the display time of the line (i) until the processing of step S30 and step S31 is completed. If it is not determined that it has become, the process proceeds to step S35.
  • step S32 the writing information measuring unit 68 sets the writing time of each line (i) of the field image m after the display time of the line (i) until the processing of step S30 and step S31 is completed. If it is determined that it has arrived, the process proceeds to step S33.
  • step S33 the display control unit 66 skips the display of the remaining part of the field image m that is written in the display buffer 65 at the writing time that does not satisfy the expression (5), and advances the processing to step S34.
  • step S34 the write control unit 64 causes the display control unit 66 to write the remaining part of the field image m in the display buffer 65 at the write time that does not satisfy the expression (5). Thereby, a part of the field image m and the remaining part, that is, all the field images m are written in the display buffer 65.
  • step S35 the threshold calculation unit 70 determines whether or not the time measured by a built-in time measuring unit (not shown) has passed a predetermined time, and the time measured has passed the predetermined time. If it is determined that there is not, the process returns to step S21, and the same process is performed thereafter.
  • step S35 if the threshold value calculation unit 70 determines that the predetermined time has elapsed, the process proceeds to step S36, where the write preparation time Xm and the buffer stored in the write information storage unit 69 are stored. Based on the write time Pm, a threshold value calculation process for calculating the threshold time Sth and the delay buffer maximum time (Y-Zth) is performed. Then, the threshold calculation unit 70 supplies the calculated threshold time Sth and delay buffer maximum time (Y-Zth) to the write information measurement unit 68.
  • step S36 the threshold value calculation unit 70 deletes the write preparation time Xm and the buffer write time Pm stored in the write information storage unit 69 after performing the threshold value calculation process. Then, the threshold value calculation unit 70 resets the time count of the built-in time count unit, starts the time count again, returns the process to step S21, and thereafter performs the same process.
  • step S41 the threshold value calculation unit 70 reads the write preparation time Xm from the write information storage unit 69, and calculates X distribution information representing the distribution of the read write preparation time Xm.
  • step S42 the threshold value calculation unit 70 calculates the threshold value Xth based on the X distribution information calculated in step S41.
  • step S43 the threshold value calculation unit 70 calculates the required time Y by the expression (3) based on the display interval Vblank Interval and the threshold value Xth.
  • step S44 the threshold value calculation unit 70 reads the buffer write time Pm from the write information storage unit 69, and calculates P distribution information representing the distribution of the read buffer write time Pm.
  • step S45 the threshold value calculation unit 70 calculates the threshold value Pth based on the P distribution information calculated in step S44.
  • step S46 the threshold value calculation unit 70 calculates the threshold value Zth by Expression (1) based on the threshold value Xth calculated in step S42, the threshold value Pth calculated in step S45, and the display interval VblankblaInterval.
  • step S47 the threshold value calculation unit 70 calculates the threshold time Sth by Equation (2) based on the threshold value Xth calculated in step S42 and the threshold value Zth calculated in step S46.
  • step S48 the threshold calculation unit 70 calculates the delay buffer maximum time (Y-Zth) based on the required time Y calculated in step S43 and the threshold Zth calculated in step S46.
  • the threshold value calculation process is completed, and the process is returned to step S36 in FIG. And it returns to step S21 from step S36, and the same process is performed after that.
  • the even-numbered field image n writing preparation time Xm Xn even the even satisfies the equation (4) (Xm ⁇ Sth) , the even-numbered field image n even write Start is delayed until after the display timing Vblank (n even ) has elapsed.
  • the threshold time Sth, the delay buffer maximum time (Y-Zth), and the like are calculated based on the writing information of the field image m.
  • the image data n is used as it is as the progressive image m, and the threshold time is set based on the writing information of the progressive image m.
  • Sth, delay buffer maximum time (Y-Zth), and the like are calculated.
  • Ti ′ in equation (5) is represented by the following equation (6 ′).
  • Ti ' i x Vblank Interval / I (6)
  • Vblank Interval represents the display time required to display the entire progressive image m.
  • the threshold calculation unit 70 sets the write preparation time Xm regardless of the measured timing of the write preparation time Xm.
  • the frequency is set to 1 and X distribution information is generated.
  • the threshold calculation unit 70 may generate the X distribution information by adding the frequency of the write preparation time Xm as the measured time is closest. This is because the writing preparation time Xm measured most recently is considered to more accurately represent the writing preparation time of an image to be received.
  • the threshold value calculation unit 70 can generate X distribution information that more accurately reflects the write preparation time of an image to be received from now on, and more accurately reflect the buffer write time of an image to be received from now on. Distribution information can be generated.
  • the threshold calculation unit 70 can calculate a more appropriate threshold time Sth, delay buffer maximum time (Y-Zth), and the like from such X distribution information and P distribution information. Therefore, it is possible to further suppress a situation in which the image is disturbed by skipping a part of the image.
  • this technique can also take the following structures.
  • a measuring unit that measures a write preparation time required to start writing the image to a holding unit that temporarily holds the received image, and a display on which the image is to be displayed.
  • a writing control unit that controls writing of the image according to whether or not the display preparation time for displaying the image in synchronization with the timing is equal to or greater than a threshold time indicating a writing preparation time for ending writing of the image;
  • a display control unit including a display control unit configured to display an image written in the holding unit by the control of the write control unit in synchronization with the display timing by a writing time that can be displayed in synchronization with the display timing. apparatus.
  • the writing control unit delays writing of the image that is started when the writing preparation time has elapsed, and the display timing has elapsed.
  • the display control apparatus according to (1) which is started later.
  • the display control device according to (2) further including a calculating unit that calculates a maximum value of a buffer capacity used for delaying writing of the image in the writing control unit.
  • the display control unit performs the holding under the control of the writing control unit.
  • the display control device according to (2) or (3) wherein a second image different from the first image that has been written to a part is displayed in synchronization with the first display timing.
  • the display control unit elapses of the second display timing that occurs before the first display timing.
  • the display control device according to (4) wherein the second image that has been written later is displayed in synchronization with the first display timing.
  • the writing control unit described in (2) or (3) in which the writing of the image is started when the writing preparation time has elapsed when the writing preparation time is less than the threshold time. Display controller.
  • the display control unit synchronizes with the first display timing.
  • Another measurement unit that measures a writing time required for writing the image, and a threshold calculation unit that calculates the threshold time based on the distribution of the writing preparation time and the distribution of the writing time.
  • the writing control unit controls the writing of the image according to whether or not the writing preparation time is equal to or longer than the calculated threshold time.
  • the display control according to any one of (1) to (8), apparatus.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose computer or the like.
  • FIG. 19 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processing by a program.
  • a CPU (Central Processing Unit) 201 executes various processes according to a program stored in a ROM (Read Only Memory) 202 or a storage unit 208.
  • a RAM (Random Access Memory) 203 appropriately stores programs executed by the CPU 201, data, and the like. These CPU 201, ROM 202, and RAM 203 are connected to each other by a bus 204.
  • the CPU 201 is also connected with an input / output interface 205 via the bus 204.
  • an input unit 206 composed of a keyboard, a mouse, a microphone, and the like
  • an output unit 207 composed of a display, a speaker, and the like.
  • the CPU 201 executes various processes in response to commands input from the input unit 206. Then, the CPU 201 outputs the processing result to the output unit 207.
  • the storage unit 208 connected to the input / output interface 205 includes, for example, a hard disk and stores programs executed by the CPU 201 and various data.
  • the communication unit 209 communicates with an external device via a network such as the Internet or a local area network.
  • the program may be acquired via the communication unit 209 and stored in the storage unit 208.
  • the drive 210 connected to the input / output interface 205 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives programs and data recorded there. Etc. The acquired program and data are transferred to and stored in the storage unit 208 as necessary.
  • a recording medium for recording (storing) a program installed in a computer and ready to be executed by the computer includes a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc- Removable media 211, which is a package media made up of read only memory, DVD (digital versatile disc), magneto-optical disk (including MD (mini-disc)), or semiconductor memory, etc. It is composed of a ROM 202 that is permanently stored, a hard disk that constitutes the storage unit 208, and the like.
  • Recording of a program on a recording medium is performed using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via a communication unit 209 that is an interface such as a router or a modem as necessary. Is called.
  • a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting
  • a communication unit 209 that is an interface such as a router or a modem as necessary. Is called.
  • steps describing the series of processes described above are not limited to the processes performed in time series in the described order, but are not necessarily processed in time series, either in parallel or individually.
  • the process to be executed is also included.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

　本技術は、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止することができる表示制御装置、表示制御方法、及びプログラムに関する。書込情報測定部は、受信した画像を一時的に保持する表示用バッファに対して画像の書込みを開始する際に要する書込み準備時間を計測し、書込制御部は、書込み準備時間が、画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、画像の書込みを制御し、表示制御部は、表示タイミングに同期して表示可能な書込み時刻までに、書込制御部の制御により表示用バッファに書き込まれた画像を、表示タイミングに同期して表示させる。本技術は、例えば、伝送されてくる画像データを低遅延で表示する表示装置に適用できる。

Description

表示制御装置、表示制御方法、及びプログラム
　本開示は、表示制御装置、表示制御方法、及びプログラムに関し、特に、例えば、ネットワーク等のデータ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止できるようにした表示制御装置、表示制御方法、及びプログラムに関する。
　近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム（又は数フィールド）以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
　そこで、動画像を構成する各ピクチャの数ラインをブロックデータとし、各ブロックデータ毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、特許文献１参照）。
　この符号化技術によれば、送信装置において、ピクチャ内の各ブロックデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信し、受信装置において、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することになる。
　このため、受信装置では、予め決められた、ピクチャを表示すべき表示タイミングまでに、符号化データを復号してピクチャを表示可能な状態にすることができる。よって、受信装置は、表示タイミングに同期してピクチャをモニタに表示させることができる。
特開２００７－３１１９２４号公報
　しかしながら、上述した符号化技術を適用しても、例えば、ネットワーク等のデータ伝送路に輻輳が生じている場合、送信装置は、数フレーム以下の低遅延で動画像を送信できないことが生じ得る。
　この場合、受信装置では、予め決められた表示タイミングまでに、ピクチャを表示可能な状態にすることができなくなってしまう。表示タイミングまでに表示可能な状態とされなかったピクチャは、例えばモニタに表示されずにスキップされるため、モニタに表示される画像に乱れ等が生じ得る。
　本開示は、このような状況に鑑みてなされたものであり、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止するものである。
　本開示の一側面の表示制御装置は、受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間を計測する計測部と、前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みを制御する書込制御部と、前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像を、前記表示タイミングに同期して表示させる表示制御部とを含む表示制御装置である。
　前記書込制御部では、前記書込み準備時間が、前記閾値時間以上である場合、前記書込み準備時間を経過したときに開始される前記画像の書込みを遅延させて、前記表示タイミングの経過後に開始させることができる。
　前記書込制御部における前記画像の書込みの遅延に用いるバッファ容量の最大値を算出する算出部をさらに設けることができる。
　前記表示制御部では、第１の前記表示タイミングに表示すべき第１の画像の書込みが前記第１の表示タイミングの経過後に開始される場合、前記書込制御部の制御により前記保持部に書き込み済みの、前記第１の画像とは異なる第２の画像を、前記第１の表示タイミングに同期して表示させることができる。
　前記表示制御部では、前記第１の画像の書込みが前記第１の表示タイミングの経過後に開始される場合、前記第１の表示タイミングよりも前に生じた第２の表示タイミングの経過後に書込みが開始された前記第２の画像を、前記第１の表示タイミングに同期して表示させることができる。
　前記書込制御部では、前記書込み準備時間が、前記閾値時間未満である場合、前記書込み準備時間を経過したときに前記画像の書込みを開始させることができる。
　前記表示制御部では、第１の前記表示タイミングに表示すべき第１の画像の書込みが、前記書込み準備時間を経過したときに開始される場合、前記第１の表示タイミングに同期して表示可能な書込み時刻までに、前記第１の画像の一部分の書込みが終了し、前記第１の画像の残りの部分の書込みが終了しなかったときには、前記保持部に書き込まれた前記第１の画像の一部分を、前記第１の表示タイミングに同期して表示させることができる。
　前記表示制御部では、前記第１の表示タイミングの後に生じる第２の表示タイミングに表示すべき第２の画像の書込みが、前記第２の表示タイミングの経過後に開始される場合、前記第１の画像の一部分の他、前記第１の画像の残りの部分の書込みが終了した前記第１の画像を、前記第２の表示タイミングに同期して表示させることができる。
　前記画像の書込みに要する書込み時間を計測する他の計測部と、前記書込み準備時間の分布、及び前記書込み時間の分布に基づいて、前記閾値時間を算出する閾値算出部とをさらに設けることができ、前記書込制御部では、前記書込み準備時間が、算出された前記閾値時間以上であるか否かに応じて、前記画像の書込みを制御することができる。
　本開示の一側面の表示制御方法は、受信した画像を表示させる表示制御装置の表示制御方法であって、前記表示制御装置による、受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間を計測する計測ステップと、前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みを制御する書込制御ステップと、前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像を、前記表示タイミングに同期して表示させる表示制御ステップとを含む表示制御方法である。
　本開示の一側面のプログラムは、コンピュータを、受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間を計測する計測部と、前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みを制御する書込制御部と、前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像を、前記表示タイミングに同期して表示させる表示制御部として機能させるためのプログラムである。
　本開示の一側面によれば、受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間が計測され、前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みが制御され、前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像が、前記表示タイミングに同期して表示される。
　本開示によれば、データ伝送路から伝送される画像を低遅延で表示する際に生じる画像の乱れ等を抑止することが可能となる。
本開示における送受信システムの構成例を示すブロック図である。 表示タイミングに同期して画像を表示するときの一例を示す図である。 フィールド画像の書込み情報を測定する測定方法の一例を示す図である。 書込み準備時間の分布の一例を示す図である。 バッファ書込み時間の分布の一例を示す図である。 書込み準備時間と比較される閾値、及び遅延バッファ最大時間を算出する算出方法の一例を示す第１の図である。 書込み準備時間と比較される閾値、及び遅延バッファ最大時間を算出する算出方法の一例を示す第２の図である。 書込みの開始を遅延させる場合の一例を示す図である。 遅延バッファ最大時間の一例を示す図である。 書込みの開始を遅延させて書き込んだフィールド画像を表示する場合の一例を示す図である。 書込み準備時間が経過したときに書込みを開始する場合の一例を示す図である。 書込み準備時間が経過したときに書込みを開始する場合、書込み時刻が表示時刻以降になるときの一例を示す図である。 書込み準備時間が経過したときに書込みを開始する場合、書込み時刻が表示時刻以降になるか否かを監視するときの一例を示す図である。 伝送時間が変化する様子の一例を示す第１の図である。 伝送時間が変化する様子の一例を示す第２の図である。 表示制御処理を説明するためのフローチャートである。 閾値算出処理を説明するためのフローチャートである。 プログレッシブ画像の書込み情報を測定する測定方法の一例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（表示用バッファに対する画像の書込みタイミングを調整するようにして、画像の乱れ等を抑止するときの一例）
２．変形例
＜１．本実施の形態＞
[送受信システムの構成例]
　図１は、本開示における送受信システムの一例を示している。
　この送受信システムは、送信装置２１、受信装置２２、及びインターネット等のネットワーク２３から構成される。
　なお、この送受信システムは、受信装置２２側で、例えば、後述する表示用バッファ６５に対する画像の書込みタイミングを調整するようにして、送信装置２１から送信されてくる画像に乱れ等を生じさせることなく、低遅延で表示させるようにするものである。
[送信装置２１の構成例]
　送信装置２１は、キャプチャ部４１、符号化部４２、パケット構成部４３、RTP(real-time transport protocol)送信部４４、操作部４５、及び制御部４６から構成される。
　キャプチャ部４１は、外部から入力される画像データ（ビデオINに対応）を取得（キャプチャ）し、符号化部４２に供給する。
　符号化部４２は、キャプチャ部４１からの画像データを符号化する符号化処理を行い、その符号化処理により得られる符号化データを、パケット構成部４３に供給する。
　なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。
　パケット構成部４３は、符号化部４２からの符号化データを、複数のRTPパケットにパケット化（変換）してRTP送信部４４に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
　RTP送信部４４は、RTPに従って、パケット構成部４３からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置２２に送信する際の送信時刻等を付加する。そして、RTP送信部４４は、タイムスタンプを付加したRTPパケットを、ネットワーク２３を介して受信装置２２に送信する。
　操作部４５は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部４６に供給する。
　制御部４６は、例えば、操作部４５からの操作信号に基づいて、キャプチャ部４１、符号化部４２、パケット構成部４３、及びRTP送信部４４の各部を制御する。
[受信装置２２の構成例]
　受信装置２２は、RTP受信部６１、パケット組立部６２、復号部６３、遅延用バッファ６４aを内蔵する書込制御部６４、表示用バッファ６５、表示制御部６６、表示部６７、書込情報測定部６８、書込情報記憶部６９、閾値算出部７０、操作部７１、及び制御部７２から構成される。
　RTP受信部６１は、RTP送信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。
　パケット組立部６２は、RTP受信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。
　復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを、書込制御部６４に供給する。ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
　書込制御部６４は、復号部６３からの画像データを、表示用バッファ６５に供給して記憶させる（書き込ませる）。すなわち、書込制御部６４は、書込情報測定部６８からの情報に応じて、表示用バッファ６５に対する画像データの書込みを制御する。また、書込制御部６４は、各画像データ毎に、表示用バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。
　表示用バッファ６５は、書込制御部６４からの画像データを一時的に保持する。
　表示制御部６６は、表示用バッファ６５から画像データを読み出す。そして、表示制御部６６は、表示用バッファ６５から読み出した画像データを、予め決められた表示タイミングVblankに同期して、表示部６７に表示させる。
　次に、図２は、表示制御部６６が、予め決められた表示タイミングVblankで各画像データを表示させる場合の一例を示している。
　なお、画像データnは、送信装置２１のキャプチャ部４１により、n番目にキャプチャされた画像データである。画像データnは、画像データnを構成する各ラインのうち、奇数番目のラインにより構成される奇数フィールド画像noddと、画像データnを構成する各ラインのうち、偶数番目のラインにより構成される偶数フィールド画像nevenとにより構成されているものとする。
　また、図２において、横軸は時刻を表し、縦軸は、対応する時刻において表示されるラインのライン番号を表す。ここで、画像データnは例えば1080ラインにより構成されており、したがって、奇数フィールド画像nodd及び偶数フィールド画像nevenは、それぞれ、５４０ラインで構成されているものとする。
　表示タイミングVblank(nodd)は、奇数フィールド画像noddの表示を開始する時刻を表す。また、表示タイミングVblank(neven)は、偶数フィールド画像nevenの表示を開始する時刻を表す。
　表示制御部６６は、表示タイミングVblank(nodd)に同期して、奇数フィールド画像noddを表示用バッファ６５から読み出し、表示部６７に表示させる。また、表示制御部６６は、表示タイミングVblank(neven)に同期して、偶数フィールド画像nevenを表示用バッファ６５から読み出し、表示部６７に表示させる。
　表示部６７は、例えばインタレース方式により各画像データnを表示する。すなわち、例えば、表示部６７は、表示制御部６６からの制御にしたがって、奇数フィールド画像noddと偶数フィールド画像nevenとを交互に表示する。なお、表示部６７は、図１に示されるように、受信装置２２の構成部分とされる他、受信装置２２の構成部分に含めずに、独立して設けるようにしてもよい。この場合、受信装置２２内の表示制御部６６と、受信装置２２の外部に設けられた表示部６７とは、例えばケーブル等により接続される。
　書込情報測定部６８は、表示用バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報を測定する。なお、書込情報測定部６８は、偶数フィールド画像nevenの書込み情報に代えて、又は偶数フィールド画像nevenの書込み情報とともに、表示用バッファ６５に書き込まれた奇数フィールド画像noddの書込み情報を測定するようにしてもよい。
　また、例えば、表示部６７が、プログレッシブ方式により各画像データnを表示するものである場合、書込情報測定部６８は、各画像データnをプログレッシブ画像とし、そのプログレッシブ画像の書込み情報を測定することとなる。このことは、図１８を参照して後述する。
　以下では、書込情報測定部６８は、表示用バッファ６５に書き込まれた各フィールド画像（奇数フィールド画像nodd及び偶数フィールド画像neven）の書込み情報を測定するものとして説明する。
　書込情報測定部６８は、表示用バッファ６５に書き込まれた偶数フィールド画像nevenの書込み情報として、例えば、偶数フィールド画像nevenの書き込みが開始されるまでに必要とされる書込み準備時間Xneven、及び偶数フィールド画像nevenの書き込みに要するバッファ書込み時間Pnevenを測定する。
　次に、図３は、書込情報測定部６８が、偶数フィールド画像nevenの書込み準備時間Xneven及びバッファ書込み時間Pnevenを測定する場合の一例を示している。
　ここで、図３において、書込み開始時刻Tsは、表示用バッファ６５に対して偶数フィールド画像nevenの書込みが開始された時刻を表す。また、書込み終了時刻Teは、表示用バッファ６５に対して偶数フィールド画像nevenの書込みが終了された時刻を表す。
　なお、書込情報測定部６８には、書込制御部６４から、偶数フィールド画像nevenの書込み開始時刻Ts及び書き込み終了時刻Teが供給される。
　書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Tsと、予め決められた表示タイミングVblank(n-1even)とに基づいて、書込み準備時間Xneven（=Vblank(n-1even)-Ts）を測定する。
　また、例えば、書込情報測定部６８は、図３に示されるように、書込制御部６４からの書込み開始時刻Ts及び書込み終了時刻Teに基づいて、バッファ書込み時間Pneven（=Te-Ts）を測定する。
　書込情報測定部６８は、奇数フィールド画像noddについても同様にして、奇数フィールド画像noddの書込み準備時間Xnodd及びバッファ書込み時間Pnoddを測定する。
　書込情報測定部６８は、偶数フィールド画像neven毎に測定した書込み準備時間Xneven及びバッファ書込み時間Pneven、並びに奇数フィールド画像nodd毎に測定した書込み準備時間Xnodd及びバッファ書込み時間Pnoddを、書込情報記憶部６９に供給して記憶させる。
　以下、偶数フィールド画像nevenと偶数フィールド画像nevenを区別する必要がない場合、単に、フィールド画像mという。
　なお、mは、フィールド画像mがm番目に表示されることを表す。すなわち、偶数フィールド画像nevenは、2n番目に表示される画像であり、奇数フィールド画像noddは、2n-1番目に表示される画像である。いま、2n=mとすれば、偶数フィールド画像nevenは、m番目に表示される画像であり、奇数フィールド画像noddは、m-1番目に表示される画像となる。
　したがって、mが偶数である場合、フィールド画像mは、m番目に表示される偶数フィールド画像を表し、mが奇数である場合、フィールド画像mは、m番目に表示される奇数フィールド画像を表すものとなる。
　また、以下では、フィールド画像mの書込み準備時間Xnodd又はXnevenを、書込み準備時間Xmといい、フィールド画像mのバッファ書込み時間Pnodd又はPnevenを、バッファ書込み時間Pmということとする。
　書込情報記憶部６９は、書込情報測定部６８からの書込み準備時間Xm及びバッファ書込み時間Pmを、書込み情報として記憶する。
　閾値算出部７０は、書込情報記憶部６９に記憶されている書込み情報に基づいて、後述する閾値時間Sth及び遅延バッファ最大時間(Y-Zth)を算出する閾値算出処理を行う。なお、この閾値算出処理については、図４乃至図７を参照して詳述する。
　閾値算出部７０は、閾値算出処理により算出した閾値時間Sth及び遅延バッファ最大時間(Y-Zth)を、書込情報測定部６８に供給する。
　操作部７１は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部７２に供給する。
　制御部７２は、例えば、操作部７１からの操作信号に基づいて、RTP受信部６１、パケット組立部６２、復号部６３、書込制御部６４、表示制御部６６、書込情報測定部６８、及び閾値算出部７０の各部を制御する。
[閾値算出処理の詳細]
　次に、図４乃至図７を参照して、閾値算出部７０が行う閾値算出処理について説明する。
　図４は、書込情報記憶部６９に記憶されている書込み準備時間Xmの分布の一例を示している。
　図４において、横軸は書込み準備時間Xmを示しており、縦軸は書込み準備時間Xmの度数を示す。
　閾値算出部７０は、書込情報記憶部６９に記憶されている書込み準備時間Xmに基づいて、図４に示されるような書込み準備時間Xmの分布を表すX分布情報を生成する。
　そして、閾値算出部７０は、書込み準備時間XmのX分布情報に基づいて、書込み準備時間Xmを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xmと、残りの下位（100-α）パーセントの書込み準備時間Xmとを区別するための閾値Xthを算出する。
　ここで、この閾値Xthは、書込み準備時間Xmを昇順に並べたときの上位α（例えば、α=95）パーセントの書込み準備時間Xmの最大値以上であって、下位（100-α）パーセントの書込み準備時間Xmの最小値未満の値とされる。なお、値αは、例えば、ユーザ操作により予め決定される。
　次に、図５は、書込情報記憶部６９に記憶されているバッファ書込み時間Pmの分布の一例を示している。
　図５において、横軸はバッファ書込み時間Pmを示しており、縦軸はバッファ書込み時間Pmの度数を示す。
　閾値算出部７０は、書込情報記憶部６９に記憶されている複数のバッファ書込み時間Pmに基づいて、図５に示されるようなバッファ書込み時間Pmの分布を表すP分布情報を生成する。
　そして、閾値算出部７０は、バッファ書込み時間PmのP分布情報に基づいて、バッファ書込み時間Pmを昇順に並べたときの上位αパーセントのバッファ書込み時間Pmと、下位（100-α）パーセントのバッファ書込み時間Pmとを区別するための閾値Pthを算出する。
　ここで、この閾値Pthは、バッファ書込み時間Pmを昇順に並べたときの上位αパーセントのバッファ書込み時間Pmの最大値以上であって、下位（100-α）パーセントのバッファ書込み時間Pmの最小値未満の値とされる。
　次に、図６は、閾値算出部７０が、算出した閾値Xth及び閾値Pthに基づいて、閾値時間Sth及び遅延バッファ最大時間(Y-Zth)を算出する場合の一例を示している。
　閾値算出部７０は、図６に示されるように、閾値Xth、閾値Pth、及び予め決められた表示間隔Vblank Intervalに基づいて、式（１）により閾値Zthを算出する。
　Zth = (3/2)×Vblank Interval - (Xth + Pth)　　　・・・（１）
　なお、図６において、期待書込み時間1/60は、書込制御部６４において、データの書込みに遅延等が生じていない場合に期待される、フィールド画像mの書込み時間を表す。
　この期待書込み時間1/60は、例えば、フィールド画像mの表示に要する時間に応じて決定される。いまの場合、表示部６７は、フィールド画像mをそれぞれ表示時間1/60で表示するようにしている。したがって、例えば、期待書込み時間も同様にして1/60とされる。なお、表示部６７が、フィールド画像mをそれぞれ表示時間1/aで表示する場合、例えば期待書込み時間は1/aとされる。
　また、閾値算出部７０は、図６に示されるように、閾値Zth及び閾値Xthに基づいて、次式（２）により閾値時間Sthを算出する。
　Sth = Xth + Zth　　　　　　　　　　　　　　　・・・（２）
　ここで、閾値時間Sthとは、書込み時間としての閾値Pthで行われるフィールド画像mの書込みが、フィールド画像mを表示すべき表示タイミングに同期して、フィールド画像mを表示するときの表示終了時刻で終了するときの書込み準備時間をいう。
　具体的には、例えば、閾値時間Sthとは、図６において、書込み時間としての閾値Pthで行われる偶数フィールド画像nevenの書込みが、表示タイミングVblank(neven)に同期して、偶数フィールド画像nevenを表示するときの表示終了時刻で終了するときの書込み準備時間をいう。
　さらに、例えば、閾値算出部７０は、閾値Xth及び表示間隔Vblank Intervalに基づいて、フィールド画像mの必要時間Yを算出する。
　ここで、必要時間Yとは、統計的に、書込み開始時刻Tsから表示タイミング（図６の場合、表示タイミングVblank（neven））までに要する時間を表す。
　すなわち、例えば、閾値算出部７０は、図６に示されるように、表示タイミングVblank(n-1even)と表示タイミング(neven)の表示間隔Vblank Interval、及び閾値Xthに基づいて、次式（３）により必要時間Yを算出する。
　Y = Vblank Interval -Xth　　　・・・（３）
　そして、閾値算出部７０は、図６に示されるように、算出した必要時間Y及び閾値Zthに基づいて、遅延バッファ最大時間（Y-Zth）を算出する。
　なお、図６では、Zth ≧ 0となる場合について説明したが、図７に示されるように、Zth < 0となる場合についても同様にして、閾値時間Sth及び遅延バッファ最大時間（Y-Zth）が算出される。
　閾値算出部７０は、算出した閾値時間Sth及び遅延バッファ最大時間（Y-Zth）を、書込情報測定部６８に供給する。
　書込情報測定部６８は、次式（４）により、フィールド画像mの書込み準備時間Xmが、閾値算出部７０からの閾値時間Sth以上であるか否かを判定し、その判定結果を、書込制御部６４に供給する。
　Xm ≧ Sth　　　　　・・・・（４）
　書込制御部６４は、書込情報測定部６８からの判定結果に応じて、表示用バッファ６５に対するフィールド画像mの書込みを制御する。
[書込制御部６４が行う書込み制御の詳細]
　次に、図８乃至図１３を参照して、書込制御部６４が、書込情報測定部６８からの判定結果に応じて、フィールド画像mの書込みを制御する処理の詳細を説明する。
　図８乃至図１３では、フィールド画像mが偶数フィールド画像nevenであり、書込み準備期間Xmが書込み準備時間Xnevenである場合について具体的に説明する。なお、フィールド画像mが奇数フィールド画像noddであり、書込み準備期間Xmが書込み準備時間Xnoddである場合についても同様であるため、その説明は省略する。
　図８は、式（４）を満たす場合に、書込制御部６４が行う書込みの制御の一例を示している。
　なお、図８において、線分８１は、書込み準備時間Xnevenが経過したときから、表示用バッファ６５に対する偶数フィールド画像nevenの書込みを開始した場合に要する書込み時間を表す。
　ここで、線分８１が表す書込み時間は、実際には、転送に要した時間や、復号に要した時間等に応じて変化するものであるが、便宜的に、書込み準備時間Xm及び許容遅延時間Pmに基づき、統計的に求められた書込み時間とされる。すなわち、例えば、書込み時間８１は、αパーセントの確率で受信されるフィールド画像mの書込み時間の上限を表す。
　また、図８において、線分８２は、偶数フィールド画像nevenを表示すべき表示タイミングVblank(neven)に同期して、偶数フィールド画像nevenを表示したときに要する表示時間を表す。
　さらに、図８において、線分８３は、書込み準備時間Xnevenが経過したときから遅延時間Bだけ遅延させて、偶数フィールド画像nevenの書込みを開始したときに要する書込み時間を表す。
　ここで、線分８３が表す書込み時間は、期待書込みによる時間1/60とされる。これは、線分８３が表す書込み時間において、表示用バッファ６５に書き込まれる偶数フィールド画像nevenが、送信装置２１から転送され、復号されて表示用バッファ６５に書き込まれるものではなく、遅延用バッファ６４aに保持された偶数フィールド画像nevenであることによる。
　図８では、Xneven ≧ Xth+Zth(=Sth）であり、式（４）を満たしている。いま、書込み準備時間Xnevenを経過したときから、表示用バッファ６５に対する偶数フィールド画像nevenの書込みを開始する場合を考える。
　この場合、図８に示すように、線分８１と線分８２とが交差するものとなるので、偶数フィールド画像nevenにおいて、ライン番号iのライン（i）のうち、例えばライン番号L以降のライン（i≧L）が、ライン（i≧L）の表示時刻以降に、表示用バッファ６５に書き込まれることになる。
　なお、ライン（i=L）は、線分８１と線分８２とが交差するときに、表示用バッファ６５に書込みが行われるラインを表す。
　このため、図８では、例えばライン番号L以降のライン（i≧L）を、線分８２が表す表示時間で表示できないものとなる。
　したがって、書込制御部６４は、式（４）を満たすとの判定結果を書込情報測定部６８から得た場合、表示タイミングVblank(neven)が経過するまで、復号部６３からの偶数フィールド画像nevenを、内蔵する遅延用バッファ６４aに保持させる。
　そして、書込制御部６４は、遅延用バッファ６４aに保持させた偶数フィールド画像nevenの、表示用バッファ６５に対する書込みを、表示タイミングVblank(neven)の経過後に開始させる。
　すなわち、例えば、書込制御部６４は、図８に示されるように、書込み準備時間Xnevenが経過したときから、遅延バッファ時間Bだけ遅延させて、偶数フィールド画像nevenの書込みを開始させる。
　なお、書込制御部６４は、例えば、内蔵の遅延用バッファ６４aを用いて、遅延時間Bだけ、書込みの開始を遅延させるようにしている。また、遅延バッファ時間Bの最大時間である遅延バッファ最大時間Bmaxは、図９に示されるように、Xneven=Xth+Zth（=Sth)である場合の遅延バッファ時間Bであり、（Y-Zth）となる。
　この遅延バッファ最大時間Bmax（=Y-Zth）は、閾値算出部７０により算出され、書込情報測定部６８を介して書込制御部６４に供給される。
　したがって、書込制御部６４では、供給される遅延バッファ最大時間Bmaxに基づいて、書込みの遅延に必要な最大のバッファ容量や、書込みの遅延に必要のない残りのバッファ容量を算出することができる。
　このため、書込制御部６４では、書込みの開始を遅延させるために必要な最大のバッファ容量を確保した上で、残りのバッファ容量を他の処理で用いるようにすることができる。
　また、線分８３が示す書込み時間で書込まれた偶数フィールド画像nevenは、例えば、次の表示タイミングVblank(n+1odd)で奇数フィールド画像n+1oddが表示されない場合に、その表示タイミングVblank(n+1odd)で表示されることとなる。
　例えば、図１０に示されるように、奇数フィールド画像n+1oddにおいて、奇数フィールド画像n+1oddの書込み時間を表す線分８１'と、奇数フィールド画像n+1oddの表示時間を表す線分８２'とが交差する場合、書込制御部６４は、書込みの開始を遅延させて、線分８３'が表す書込み時間で書込むこととなる。
　この場合、図８で説明した場合と同様に、線分８２'が示す表示時間では、奇数フィールド画像n+1oddの表示は行われない。したがって、線分８２'が表す表示時間において、線分８３が表す書込み時間で書込み済みの偶数フィールド画像nevenの表示が行われる。
　なお、例えば、偶数フィールド画像nevenが、表示タイミングVblank(neven)に同期して表示され、表示タイミングVblank(n+1odd)で奇数フィールド画像n+1oddが表示されない場合には、表示用バッファ６５に保持されている偶数フィールド画像nevenを、その表示タイミングVblank(n+1odd)で表示することができる。
　また、偶数フィールド画像nevenは、表示タイミングVblank(n+1odd)の他、表示タイミングVblank(n+1odd)以降の表示タイミング（例えば、表示タイミングVblank(n+1even)）で表示すべきフィールド画像が表示されない場合に、その表示タイミングで表示するようにしてもよい。
　次に、図１１は、式（４）を満たさない場合に、書込制御部６４が行う書込みの制御の一例を示している。
　図１１では、Xneven < Xth+Zth(=Sth)であり、式（４）を満たさない場合、統計的には、線分８１と線分８２とが交差しないものとなる。この場合、ライン番号iのライン（i）は、ライン（i）の表示時刻よりも前に、表示用バッファ６５に書き込まれることとなる。
　したがって、書込制御部６４は、式（４）を満たさないとの判定結果を書込情報測定部６８から得た場合、書込み準備時間Xnevenが経過したときに、表示用バッファ６５に対する偶数フィールド画像nevenの書込みを開始させる。
　そして、表示制御部６６は、表示用バッファ６５に書き込まれた偶数フィールド画像nevenを、表示タイミングVblank(neven)に同期して、表示部６７に表示させることとなる。
　なお、式（４）を満たす場合、上述のように、統計的には、線分８１と線分８２とが交差しないものとなる。しかしながら、実際には、図１２に示されるように、線分８１と線分８２とが交差する場合が生じ得る。
　この場合、ライン番号iのライン（i）のうち、例えばライン番号L以降のライン（i≧L）が、ライン（i≧L）の表示時刻以降に、表示用バッファ６５に書き込まれることとなってしまう。
　このため、図１２に示した場合において、例えばライン番号L以降のライン（i≧L）を、ライン（i≧L）を表示すべき表示時刻で表示できないものとなってしまう。
　したがって、式（４）を満たさない場合には、ライン（i）の書込み時刻が、ライン（i）の表示時刻以降となるか否かを監視することが望ましい。
　次に、図１３を参照して、式（４）を満たさない場合に、書込情報測定部６８が、ライン（i）の書込み時刻が、ライン（i）の表示時刻以降となるか否かを監視する方法の一例を示している。
　ライン（i）の書込み時刻が、ライン（i）の表示時刻以降になる事態を回避するためには、次式（５）に示すように、ライン（i）の書込み時刻Tiが、ライン（i）の表示時刻Ti'よりも早い必要がある。
　Ti < Ti'　　　・・・（５）
　なお、表示時刻Ti'は、次式（６）により表すことができる。
　Ti' = i×Vblank Interval/(2 × I)　　　・・・（６）
　ここで、Vblank Interval/2は、フィールド画像m（図１３の場合、偶数フィールド画像neven）全体を表示する際に要する表示時間を表す。また、総ライン数Iは、フィールド画像mの総ライン数(図１３の場合、I=540)を表す。したがって、Vblank Interval/2 ×1/I（= Vblank Interval/(2 × I)）は、フィールド画像mの１ラインの表示に要する表示時間を表す。このため、i×Vblank Interval/(2 × I)=Ti'は、ライン数iの表示に要する表示時間を表す。
　なお、図１３に示されるように、書込み時刻Tiが、表示タイミングVblank(neven)である時刻t3よりも早い場合、すなわち、Ti < t3である場合、必ず、式（５）を満たすこととなる。したがって、開始時刻t3が到来するまでは、式（５）を満たすか否かを判定する必要はない。
　図１３において、式（５）を満たす書込み時刻T1乃至Ti=Lで書き込まれたライン(１)乃至(L)については、表示タイミングVblank(neven)に同期して、表示時刻T1'乃至Ti=L'で、表示部６７に表示される。
　また、式（５）を満たさない書込み時刻Ti=L+1乃至Ti=540で書き込まれた残りのライン(L+1)乃至(540)ラインについては、書込み時刻Ti=L+1乃至Ti=540には、すでに表示時刻Ti=L+1'乃至Ti=540'が経過しているため、表示タイミングVblank(neven)に同期して、表示部６７に表示することは行われない。
　ここで、書込み時刻Ti=540の経過後、表示用バッファ６５には、１乃至Lラインとともに、ライン(L+1)乃至(540)ライン、すなわち、偶数フィールド画像nevenの全てが保持されることとなる。
　したがって、表示用バッファ６５に保持された偶数フィールド画像nevenは、上述した図１０の場合と同様に、例えば、表示タイミングVblank(neven)の次の表示タイミングVblank(n+1odd)で奇数フィールド画像n+1oddが表示されない場合に、その表示タイミングVblank(n+1odd)で表示されることとなる。
　なお、例えば、図８に示したように、線分８３が示す書込み時間で書き込みを行なったときの書込み情報については、書込情報記憶部６９に記憶させないようにして、閾値時間Sth等の算出に用いないようにすることが望ましい。
　ところで、閾値算出部７０は、適宜、閾値算出処理を行うようにして、閾値時間Sth及び遅延バッファ最大時間（Y-Zth）を更新する。これは、ネットワーク２３の輻輳状況等に応じて、伝送時間が変化することによる。すなわち、伝送時間の変化により、閾値時間Sth及び遅延バッファ最大時間（Y-Zth）の算出に用いる書込み準備時間Xm及びバッファ書込み時間Pmも変化するためである。
　次に、図１４及び図１５は、それぞれ、ネットワーク２３の輻輳状況等に応じて伝送時間が変化する様子の一例を示している。
　図１４及び図１５において、縦軸は、画像データnの各RTPパケットをそれぞれ表すパケット番号を示している。また、横軸は、画像データnを構成するデータに対して、キャプチャ部４１が行う「キャプチャ」処理、符号化部４２が行う「符号化」処理、パケット構成部４３が行う「パケット構成」処理、RTP送信部４４とRTP受信部６１との間でネットワーク２３を介して行われるRTPパケットの「転送」処理、パケット組立部６２が行う「パケット組立」処理、及び復号部６３が行う「復号」処理にそれぞれ要する時間を示す。
　図１４及び図１５に示されるように、ネットワーク２３の状況に応じて、「転送」処理に要する時間が大きく異なるものとなる。すなわち、ネットワーク２３の輻輳が比較的小さい場合、図１４に示されるように、「転送」処理に要する時間は短くなり、ネットワーク２３の輻輳が比較的大きい場合、図１５に示されるように、「転送」処理に要する時間は長いものとなる。
　したがって、ネットワーク２３の輻輳状況等に応じて、「転送」処理に要する時間、ひいては伝送時間が変化することにより、書込み準備時間Xmやバッファ書込み時間Pmも変化するため、閾値算出部７０は、適宜、閾値算出処理を行う必要がある。
[受信装置２２の動作説明]
　次に、図１６のフローチャートを参照して、受信装置２２が行う表示制御処理について説明する。
　ステップＳ２１において、RTP受信部６１は、RTP送信部４４からネットワーク２３を介して送信されてくるRTPパケットを受信し、パケット組立部６２に供給する。
　ステップＳ２２において、パケット組立部６２は、RTP受信部６１からのRTPパケットを組み立てることにより、復号対象とされる符号化データを生成し、復号部６３に供給する。
　ステップＳ２３において、復号部６３は、パケット組立部６２からの符号化データに対して、符号化部４２で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを書込制御部６４に供給する。ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
　書込制御部６４は、復号部６３からの画像データを構成するフィールド画像m毎に、表示用バッファ６５に書込みを開始した書込み開始時刻Ts、及び書込みを終了した書込み終了時刻Teを、書込情報測定部６８に供給する。ここで、フィールド画像mは、奇数フィールド画像又は偶数フィールド画像の一方であり、m番目に表示される画像をいう。
　なお、書込制御部６４は、後述するステップＳ２７，Ｓ３０又はＳ３４において、復号部６３からの画像データを構成するフィールド画像mを、表示用バッファ６５に供給して記憶させる（書き込ませる）。
　ステップＳ２４において、書込情報測定部６８は、書込制御部６４からの書込み開始時刻Ts、及び予め決められた表示タイミングVblankに基づいて、フィールド画像mの書込み準備時間Xmを測定し、書込情報記憶部６９に供給して記憶させる。
　ステップＳ２５において、書込情報測定部６８は、書込制御部６４からの開示時刻Ts及び終了時間Teに基づいて、フィールド画像mのバッファ書込み時間Pmを測定し、書込情報記憶部６９に供給して記憶させる。
　ステップＳ２６において、書込情報測定部６８は、式（４）により、ステップＳ２４の処理で測定した書込み準備時間Xmが、直前のステップＳ３６の処理で算出した閾値時間Sth以上であるか否かを判定する。なお、ステップＳ３６の処理がまだ行われていない場合、例えば、閾値時間Sthは、予め決められた値とされる。
　ステップＳ２６では、書込情報測定部６８は、書込み準備時間Xmが閾値時間Sth以上であると判定した場合、その判定結果を、書込制御部６４に供給して、処理はステップＳ２７に進められる。
　そして、ステップＳ２７では、書込制御部６４は、書込み準備時間Xmが閾値時間Sth以上であるとの判定結果を書込情報測定部６８から得た場合、内蔵する遅延用バッファ６４aを用いて、表示用バッファ６５に対するフィールド画像mの書込みの開始を遅延させる。
　具体的には、例えば、フィールド画像mが偶数フィールド画像nevenである場合、書込制御部６４は、図８を参照して説明したように、表示用バッファ６５に対する偶数フィールド画像nevenの書込みの開始を、表示タイミングVblank(neven)よりも後に遅延させる。
　ステップＳ２８では、表示制御部６６は、前回のステップＳ２７又は後述するステップＳ３４で、フィールド画像m-1が表示用バッファ６５に書込み済みである場合、表示用バッファ６５からフィールド画像m-1を読み出し、フィールド画像mに代えて表示させる。
　具体的には、例えば、フィールド画像mが偶数フィールド画像nevenであるため、フィールド画像m-1が奇数フィールド画像noddである場合、表示制御部６６は、表示用バッファ６５に書込み済みの奇数フィールド画像noddを、表示タイミングVblank(neven)に同期して、表示部６７に表示させる。
　ステップＳ２９において、書込制御部６４は、直前のステップＳ３６で算出済みの遅延バッファ最大時間（Y-Zth）に基づいて、遅延用バッファ６４aにおいて未使用のバッファ容量を算出する。
　そして、書込制御部６４は、遅延用バッファ６４aにおける未使用のバッファ容量を、他の処理で使用する。これにより、遅延用バッファ６４aにおいて、未使用のバッファ容量を効率的に使用できるようになる。
　一方、ステップＳ２６において、書込情報測定部６８は、書込み準備時間Xmが閾値時間Sth以上ではない（未満である）と判定した場合、その判定結果を、書込制御部６４に供給して、処理はステップＳ３０に進められる。
　ステップＳ３０において、書込制御部６４は、書込み準備時間Xmが閾値時間Sth未満であるとの判定結果を書込情報測定部６８から得た場合、書込み準備時間Xmを経過したときから、表示用バッファ６５に対するフィールド画像mの書込みを開始させる。
　そして、ステップＳ３１では、表示制御部６６は、表示用バッファ６５に書き込まれたフィールド画像mを表示させる。
　具体的には、例えば、フィールド画像mが偶数フィールド画像nevenである場合、表示制御部６６は、表示用バッファ６５に書き込まれた偶数フィールド画像nevenを、表示タイミングVblank(neven)に同期して表示させる。
　ステップＳ３２では、書込情報測定部６８は、ステップＳ３０及びステップＳ３１の処理と並行して、式（５）を満たすか否かに基づいて、フィールド画像mの各ライン（i）の書込み時刻が、ライン（i）の表示時刻以降に到来するものとなったか否かを判定する。
　ステップＳ３２において、書込情報測定部６８は、ステップＳ３０及びステップＳ３１の処理が終了するまで、フィールド画像mの各ライン（i）の書込み時刻が、ライン（i）の表示時刻以降に到来するものとなったと判定しなかった場合、処理はステップＳ３５に進められる。
　また、ステップＳ３２において、書込情報測定部６８は、ステップＳ３０及びステップＳ３１の処理が終了するまでに、フィールド画像mの各ライン（i）の書込み時刻が、ライン（i）の表示時刻以降に到来するものとなったと判定した場合、処理をステップＳ３３に進める。
　ステップＳ３３では、表示制御部６６は、式（５）を満たさない書込み時刻で表示用バッファ６５に書き込まれる、フィールド画像mの残りの部分の表示をスキップして、処理をステップＳ３４に進める。
　なお、式（５）を満たす書込み時刻で書き込まれた、フィールド画像mの一部分については、ステップＳ３１の処理で表示される。
　ステップＳ３４において、書込制御部６４は、表示制御部６６は、式（５）を満たさない書込み時刻で、フィールド画像mの残りの部分を、表示用バッファ６５に書き込ませる。これにより、表示用バッファ６５には、フィールド画像mの一部分と残りの部分、すなわち、フィールド画像m全てが書き込まれたこととなる。
　ステップＳ３５において、閾値算出部７０は、内蔵する計時部（図示せず）により計時された計時時間が、所定の時間を経過したか否かを判定し、計時時間が所定の時間を経過していないと判定した場合、処理をステップＳ２１に戻し、それ以降同様の処理が行われる。
　また、ステップＳ３５において、閾値算出部７０は、計時時間が所定の時間を経過したと判定した場合、処理をステップＳ３６に進め、書込情報記憶部６９に記憶されている書込み準備時間Xm及びバッファ書込み時間Pmに基づいて、閾値時間Sth及び遅延バッファ最大時間（Y-Zth）を算出する閾値算出処理を行う。そして、閾値算出部７０は、算出した閾値時間Sth及び遅延バッファ最大時間（Y-Zth）を、書込情報測定部６８に供給する。
　ステップＳ３６において、閾値算出部７０は、閾値算出処理を行なった後に、書込情報記憶部６９に記憶されている書込み準備時間Xm及びバッファ書込み時間Pmを削除する。そして、閾値算出部７０は、内蔵する計時部の計時をリセットした上で、再度、計時を開始して、処理をステップＳ２１に戻し、それ以降、同様の処理が行われる。
[閾値算出処理の詳細]
　次に、図１７のフローチャートを参照して、図１６のステップＳ３６における閾値算出処理の詳細について説明する。
　ステップＳ４１において、閾値算出部７０は、書込情報記憶部６９から書込み準備時間Xmを読み出し、読み出した書込み準備時間Xmの分布を表すX分布情報を算出する。
　ステップＳ４２では、閾値算出部７０は、ステップＳ４１で算出したX分布情報に基づいて、閾値Xthを算出する。
　ステップＳ４３では、閾値算出部７０は、表示間隔Vblank Intervalと閾値Xthに基づいて、式（３）により必要時間Yを算出する。
　ステップＳ４４では、閾値算出部７０は、書込情報記憶部６９からバッファ書込み時間Pmを読み出し、読み出したバッファ書込み時間Pmの分布を表すP分布情報を算出する。
　ステップＳ４５では、閾値算出部７０は、ステップＳ４４で算出したP分布情報に基づいて、閾値Pthを算出する。
　ステップＳ４６では、閾値算出部７０は、ステップＳ４２で算出した閾値Xth、ステップＳ４５で算出した閾値Pth、及び表示間隔Vblank Intervalに基づいて、式（１）により、閾値Zthを算出する。
　ステップＳ４７では、閾値算出部７０は、ステップＳ４２で算出した閾値Xthと、ステップＳ４６で算出した閾値Zthとに基づいて、式（２）により、閾値時間Sthを算出する。
　ステップＳ４８では、閾値算出部７０は、ステップＳ４３で算出した必要時間Yと、ステップＳ４６で算出した閾値Zthとに基づいて、遅延バッファ最大時間（Y-Zth）を算出する。
　以上で閾値算出処理は終了され、処理は図１６のステップＳ３６にリターンされる。そして、ステップＳ３６からステップＳ２１に戻されて、それ以降同様の処理が行われる。
　以上説明したように、表示制御処理によれば、例えば、偶数フィールド画像nevenの書込み準備時間Xm=Xnevenが式（４）（Xm ≧ Sth）を満たす場合、偶数フィールド画像nevenの書込みの開始を、表示タイミングVblank(neven)の経過後まで遅延させるようにした。
　そして、表示タイミングVblank(neven)では、偶数フィールド画像nevenに代えて、偶数フィールド画像nevenよりも前に表示されるべきフィールド画像（例えば、奇数フィールド画像nodd）を表示するようにした。
　また、表示制御処理によれば、例えば、偶数フィールド画像nevenの書込み準備時間Xm=Xnevenが式（４）（Xm ≧ Sth）を満たさない場合、統計的に、線分８２と交差しない線分８１が表す書込み時間で、偶数フィールド画像nevenの書込みを行うようにした。
　さらに、式（４）を満たさない場合、式（５）を満たすか否かに応じて、線分８１が、線分８２と交差する事態の発生を監視するようにした。
　そして、線分８１が、線分８２と交差する事態が発生したと判定した場合、すでに書込み済みの、偶数フィールド画像nevenの一部分を、表示タイミングVblank(neven)で表示するようにした。また、残りの部分も表示用バッファ６５に書込むことにより、表示用バッファ６５に保持された偶数フィールド画像nevenを、必要に応じて、後の表示タイミングで表示できるようにした。
　このため、以上のような表示制御処理によれば、画像の一部分がスキップされることにより、画像に乱れ等が生じる事態を抑止することが可能となる。
＜２．変形例＞
　本実施の形態では、フィールド画像mの書込み情報に基づいて、閾値時間Sth及び遅延バッファ最大時間（Y-Zth）等を算出するようにした。
　しかしながら、例えば、表示部６７において、プログレッシブ方式で画像を表示する場合には、図１８に示されるように、画像データnをそのままプログレッシブ画像mとし、プログレッシブ画像mの書込み情報に基づいて、閾値時間Sth及び遅延バッファ最大時間（Y-Zth）等を算出するものとなる。
　なお、プログレッシブ画像mにおいては、式（５）におけるTi'は、次式（６'）により表されるものとなる。
　　Ti' = i×Vblank Interval/I　　　　　・・・（６）
　ここで、Vblank Intervalは、プログレッシブ画像m全体を表示する際に要する表示時間を表す。また、総ライン数Iは、プログレッシブ画像mの総ライン数を表す。したがって、Vblank Interval×1/I（= Vblank Interval/I）は、プログレッシブ画像mの１ラインの表示に要する表示時間を表す。このため、i×Vblank Interval/I=Ti'は、プログレッシブ画像mにおけるライン数iの表示に要する時間を表すものとなる。
　さらに、閾値算出部７０は、図４に示されるような書込み準備時間Xmの分布を表すX分布情報を生成する際に、書込み準備時間Xmの測定された時期に拘らず、書込み準備時間Xmの度数を１として、X分布情報を生成するようにした。
　しかしながら、閾値算出部７０は、測定された時期が直近であるほどに、書込み準備時間Xmの度数を多く加算するようにして、X分布情報を生成するようにしてもよい。これは、直近に測定された書込み準備時間Xmほど、これから受信される画像の書込み準備時間をより正確に表していると考えられるからである。
　このことは、図５に示されるようなバッファ書込み時間Pmの分布を表すP分布情報を生成する際についても同様である。
　これにより、閾値算出部７０では、これから受信される画像の書込み準備時間を、より正確に反映したX分布情報を生成できるとともに、これから受信される画像のバッファ書込み時間を、より正確に反映したP分布情報を生成できるようになる。
　このため、閾値算出部７０は、そのようなX分布情報及びP分布情報から、より適切な閾値時間Sth及び遅延バッファ最大時間（Y-Zth）等を算出することができるようになる。よって、画像の一部分がスキップされることにより、画像に乱れ等が生じる事態をより抑止することが可能となる。
　なお、本技術は以下のような構成もとることができる。
（１）受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間を計測する計測部と、前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みを制御する書込制御部と、前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像を、前記表示タイミングに同期して表示させる表示制御部とを含む表示制御装置。
（２）前記書込制御部は、前記書込み準備時間が、前記閾値時間以上である場合、前記書込み準備時間を経過したときに開始される前記画像の書込みを遅延させて、前記表示タイミングの経過後に開始させる前記（１）に記載の表示制御装置。
（３）前記書込制御部における前記画像の書込みの遅延に用いるバッファ容量の最大値を算出する算出部をさらに含む前記（２）に記載の表示制御装置。
（４）前記表示制御部は、第１の前記表示タイミングに表示すべき第１の画像の書込みが前記第１の表示タイミングの経過後に開始される場合、前記書込制御部の制御により前記保持部に書き込み済みの、前記第１の画像とは異なる第２の画像を、前記第１の表示タイミングに同期して表示させる前記（２）又は（３）に記載の表示制御装置。
（５）前記表示制御部は、前記第１の画像の書込みが前記第１の表示タイミングの経過後に開始される場合、前記第１の表示タイミングよりも前に生じた第２の表示タイミングの経過後に書込みが開始された前記第２の画像を、前記第１の表示タイミングに同期して表示させる前記（４）に記載の表示制御装置。
（６）前記書込制御部は、前記書込み準備時間が、前記閾値時間未満である場合、前記書込み準備時間を経過したときに前記画像の書込みを開始させる前記（２）又は（３）に記載の表示制御装置。
（７）前記表示制御部は、第１の前記表示タイミングに表示すべき第１の画像の書込みが、前記書込み準備時間を経過したときに開始される場合、前記第１の表示タイミングに同期して表示可能な書込み時刻までに、前記第１の画像の一部分の書込みが終了し、前記第１の画像の残りの部分の書込みが終了しなかったときには、前記保持部に書き込まれた前記第１の画像の一部分を、前記第１の表示タイミングに同期して表示させる前記（６）に記載の表示制御装置。
（８）前記表示制御部は、前記第１の表示タイミングの後に生じる第２の表示タイミングに表示すべき第２の画像の書込みが、前記第２の表示タイミングの経過後に開始される場合、前記第１の画像の一部分の他、前記第１の画像の残りの部分の書込みが終了した前記第１の画像を、前記第２の表示タイミングに同期して表示させる前記（７）に記載の表示制御装置。
（９）前記画像の書込みに要する書込み時間を計測する他の計測部と、前記書込み準備時間の分布、及び前記書込み時間の分布に基づいて、前記閾値時間を算出する閾値算出部とをさらに含み、前記書込制御部は、前記書込み準備時間が、算出された前記閾値時間以上であるか否かに応じて、前記画像の書込みを制御する前記（１）乃至（８）に記載の表示制御装置。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
　図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
　CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
　入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
　また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
　入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
　コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
　なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本開示における実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　２２　受信装置，　６１　RTP受信部，　６２　パケット組立部，　６３　復号部，　６４　書込制御部，　６４a　遅延用バッファ，　６５　表示用バッファ，　６６　表示制御部，　６７　表示部，　６８　書込情報測定部，　６９　書込情報記憶部，　７０　閾値算出部，　７１　操作部，　７２　制御部

Claims (11)

  1. 　受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間を計測する計測部と、
    　前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みを制御する書込制御部と、
    　前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像を、前記表示タイミングに同期して表示させる表示制御部と
    　を含む表示制御装置。
  2. 　前記書込制御部は、前記書込み準備時間が、前記閾値時間以上である場合、前記書込み準備時間を経過したときに開始される前記画像の書込みを遅延させて、前記表示タイミングの経過後に開始させる
    　請求項１に記載の表示制御装置。
  3. 　前記書込制御部における前記画像の書込みの遅延に用いるバッファ容量の最大値を算出する算出部をさらに含む
    　請求項２に記載の表示制御装置。
  4. 　前記表示制御部は、第１の前記表示タイミングに表示すべき第１の画像の書込みが前記第１の表示タイミングの経過後に開始される場合、前記書込制御部の制御により前記保持部に書き込み済みの、前記第１の画像とは異なる第２の画像を、前記第１の表示タイミングに同期して表示させる
    　請求項２に記載の表示制御装置。
  5. 　前記表示制御部は、前記第１の画像の書込みが前記第１の表示タイミングの経過後に開始される場合、前記第１の表示タイミングよりも前に生じた第２の表示タイミングの経過後に書込みが開始された前記第２の画像を、前記第１の表示タイミングに同期して表示させる
    　請求項４に記載の表示制御装置。
  6. 　前記書込制御部は、前記書込み準備時間が、前記閾値時間未満である場合、前記書込み準備時間を経過したときに前記画像の書込みを開始させる
    　請求項２に記載の表示制御装置。
  7. 　前記表示制御部は、第１の前記表示タイミングに表示すべき第１の画像の書込みが、前記書込み準備時間を経過したときに開始される場合、前記第１の表示タイミングに同期して表示可能な書込み時刻までに、前記第１の画像の一部分の書込みが終了し、前記第１の画像の残りの部分の書込みが終了しなかったときには、前記保持部に書き込まれた前記第１の画像の一部分を、前記第１の表示タイミングに同期して表示させる
    　請求項６に記載の表示制御装置。
  8. 　前記表示制御部は、前記第１の表示タイミングの後に生じる第２の表示タイミングに表示すべき第２の画像の書込みが、前記第２の表示タイミングの経過後に開始される場合、前記第１の画像の一部分の他、前記第１の画像の残りの部分の書込みが終了した前記第１の画像を、前記第２の表示タイミングに同期して表示させる
    　請求項７に記載の表示制御装置。
  9. 　前記画像の書込みに要する書込み時間を計測する他の計測部と、
    　前記書込み準備時間の分布、及び前記書込み時間の分布に基づいて、前記閾値時間を算出する閾値算出部と
    　をさらに含み、
    　前記書込制御部は、前記書込み準備時間が、算出された前記閾値時間以上であるか否かに応じて、前記画像の書込みを制御する
    　請求項１に記載の表示制御装置。
  10. 　受信した画像を表示させる表示制御装置の表示制御方法において、
    　前記表示制御装置による、
    　　受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間を計測する計測ステップと、
    　　前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みを制御する書込制御ステップと、
    　　前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像を、前記表示タイミングに同期して表示させる表示制御ステップと
    　を含む表示制御方法。
  11. 　コンピュータを、
    　受信した画像を一時的に保持する保持部に対して前記画像の書込みを開始する際に要する書込み準備時間を計測する計測部と、
    　前記書込み準備時間が、前記画像を表示すべき表示タイミングに同期して表示するときの表示終了時刻で前記画像の書込みを終了する書込み準備時間を表す閾値時間以上であるか否かに応じて、前記画像の書込みを制御する書込制御部と、
    　前記表示タイミングに同期して表示可能な書込み時刻までに、前記書込制御部の制御により前記保持部に書き込まれた画像を、前記表示タイミングに同期して表示させる表示制御部と
    　して機能させるためのプログラム。
PCT/JP2012/063912 2011-06-08 2012-05-30 表示制御装置、表示制御方法、及びプログラム WO2012169404A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2012800023943A CN103069479A (zh) 2011-06-08 2012-05-30 显示控制装置、显示控制方法、和程序
US13/813,545 US20130127884A1 (en) 2011-06-08 2012-05-30 Display control apparatus, display control method, and program
EP12796501.0A EP2584557A4 (en) 2011-06-08 2012-05-30 DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCEDURE AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-128099 2011-06-08
JP2011128099A JP2012255865A (ja) 2011-06-08 2011-06-08 表示制御装置、表示制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2012169404A1 true WO2012169404A1 (ja) 2012-12-13

Family

ID=47295970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063912 WO2012169404A1 (ja) 2011-06-08 2012-05-30 表示制御装置、表示制御方法、及びプログラム

Country Status (5)

Country Link
US (1) US20130127884A1 (ja)
EP (1) EP2584557A4 (ja)
JP (1) JP2012255865A (ja)
CN (1) CN103069479A (ja)
WO (1) WO2012169404A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094239A (ja) * 2002-08-12 2004-03-25 Matsushita Electric Ind Co Ltd クロック変換装置，クロック変換方法，映像表示装置およびそのメモリアドレス設定方法
JP2005124167A (ja) * 2003-09-25 2005-05-12 Canon Inc フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置
JP2009015248A (ja) * 2007-07-09 2009-01-22 Toshiba Corp 画像生成装置、画像生成方法および画像生成プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141055A (en) * 1997-07-10 2000-10-31 Aitech Int'l Corporation Method and apparatus for reducing video data memory in converting VGA signals to TV signals
US6747656B2 (en) * 2000-04-07 2004-06-08 Sony Corporation Image processing apparatus and method of the same, and display apparatus using the image processing apparatus
US20040061530A1 (en) * 2002-08-12 2004-04-01 Satoru Tanigawa Clock conversion apparatus, clock conversion method, video display apparatus, and memory address setting method
JP4560490B2 (ja) * 2006-02-14 2010-10-13 キヤノン株式会社 画像形成装置の制御方法、画像形成装置の制御プログラム、および画像形成装置
JP4933284B2 (ja) * 2007-01-25 2012-05-16 株式会社日立製作所 ストレージ装置及び負荷分散方法
KR101313330B1 (ko) * 2007-02-28 2013-09-27 삼성전자주식회사 이미지 티어링 효과를 방지할 수 있는 영상 표시 시스템 및그것의 영상 표시 방법
JP4488042B2 (ja) * 2007-08-14 2010-06-23 セイコーエプソン株式会社 画像処理回路、表示装置及び印刷装置
JP2009077192A (ja) * 2007-09-21 2009-04-09 Sony Corp 受信装置および受信装置の出画制御方法
US8346995B2 (en) * 2008-09-30 2013-01-01 Microsoft Corporation Balancing usage of hardware devices among clients
JP2011158804A (ja) * 2010-02-03 2011-08-18 Canon Inc 画像表示装置、および、画像表示装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094239A (ja) * 2002-08-12 2004-03-25 Matsushita Electric Ind Co Ltd クロック変換装置，クロック変換方法，映像表示装置およびそのメモリアドレス設定方法
JP2005124167A (ja) * 2003-09-25 2005-05-12 Canon Inc フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置
JP2009015248A (ja) * 2007-07-09 2009-01-22 Toshiba Corp 画像生成装置、画像生成方法および画像生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2584557A4 *

Also Published As

Publication number Publication date
US20130127884A1 (en) 2013-05-23
EP2584557A4 (en) 2014-12-17
EP2584557A1 (en) 2013-04-24
JP2012255865A (ja) 2012-12-27
CN103069479A (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
US11240543B2 (en) Synchronizing playback of segmented video content across multiple video playback devices
CN112437242B (zh) 用于处理媒体信号的方法和装置
JP4965957B2 (ja) 表示制御装置、表示システム、及び表示制御方法
EP2437493A1 (en) Information processing device and method
JP5974881B2 (ja) 情報処理装置およびその制御方法
US9197876B2 (en) Frame rate conversion apparatus for 3D display and associated method
WO2012141014A1 (ja) 表示制御装置、表示制御方法、及びプログラム
US9697328B2 (en) Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
JP4247759B2 (ja) 被験者情報伝送システム及び被験者情報同期方法
WO2012169404A1 (ja) 表示制御装置、表示制御方法、及びプログラム
WO2012173020A1 (ja) 送信装置、送信方法、及びプログラム
JP2017224928A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
WO2016117480A1 (ja) テレコミュニケーションシステム
JP2004215199A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP7542245B2 (ja) 映像伝送システム、通信装置、転送装置及びプログラム
JP2012054693A (ja) 映像音声送受信装置、映像音声送受信システム、コンピュータプログラム及び記録媒体
JP2011130035A (ja) 送信装置、送信方法
JP2017085483A (ja) 映像送信装置及び無線指示装置
JP5499207B2 (ja) データ伝送システム
JP5336336B2 (ja) データ伝送システム、およびデータ伝送システムのデータ伝送方法
JP2009124471A (ja) 再生装置、再生方法、再生プログラム及び記録媒体
WO2005122578A1 (ja) 映像受信装置
JP2008182545A (ja) 画像再生制御方法、画像共有システム、および画像再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280002394.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012796501

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13813545

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12796501

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE