WO2011086952A1 - 動画像符号化データの表示方法、装置及び通信システム - Google Patents

動画像符号化データの表示方法、装置及び通信システム Download PDF

Info

Publication number
WO2011086952A1
WO2011086952A1 PCT/JP2011/050008 JP2011050008W WO2011086952A1 WO 2011086952 A1 WO2011086952 A1 WO 2011086952A1 JP 2011050008 W JP2011050008 W JP 2011050008W WO 2011086952 A1 WO2011086952 A1 WO 2011086952A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoded data
data
frame
target image
moving image
Prior art date
Application number
PCT/JP2011/050008
Other languages
English (en)
French (fr)
Inventor
康仁 藤田
畑　洋一
由光 後藤
柿井　俊昭
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Priority to BR112012017465A priority Critical patent/BR112012017465A2/pt
Priority to EP11732822.9A priority patent/EP2547106A4/en
Priority to US13/521,851 priority patent/US9219925B2/en
Priority to JP2011549954A priority patent/JP5549681B2/ja
Priority to CN201180006249.8A priority patent/CN102714728B/zh
Publication of WO2011086952A1 publication Critical patent/WO2011086952A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Definitions

  • the present invention relates to a display technology for moving image encoded data distributed via an existing network, regardless of whether it is wired or wireless, and in particular, it can conceal image quality degradation caused by transmission errors of video displayed on a display device.
  • the present invention relates to a method, an apparatus, and a communication system.
  • moving image compression technology is also actively studied.
  • Motion-JPEG, Motion-JPEG2000, H264, and the like are known as such moving image compression techniques, and compression (encoding) for each image frame is performed on the transmission side, while compression is performed on the reception side.
  • decoding each image frame it is possible to display a moving image on a monitor or the like.
  • Patent Documents 1 to 3 describe that even when a transmission error occurs in the moving image distribution service, the moving image data is retransmitted from the transmitting side to the receiving side, or the moving image data that is not normally received is A technique for preventing image quality deterioration during reproduction of moving image data as much as possible by executing error recovery processing is disclosed.
  • the observer recognizes obvious image quality degradation such as block noise or the like generated in the monitor video.
  • image quality degradation such as block noise or the like generated in the monitor video.
  • the quality of the display image is unavoidably deteriorated because data deterioration exceeding the corresponding range occurs.
  • the present invention has been made to solve the above-described problems, and avoids image quality degradation during moving image data reproduction by image restoration processing as much as possible, while degrading display image quality due to transmission errors. It is an object of the present invention to provide a method, an apparatus, and a communication system for displaying encoded video data that is concealed from being recognized by an observer.
  • a communication system includes receiving means such as a server connected to a network and receiving means such as a terminal device, each of which is constituted by encoded data of a plurality of compressed image frames.
  • a display method performed by the receiving means includes a reception step of sequentially receiving encoded data of a plurality of image frames to be distributed,
  • the image processing apparatus includes a selection step of sequentially selecting image frames to be decoded from a plurality of target image frames to be displayed per unit time among image frames, a decoding step, and a display step.
  • the present invention may be applied independently when displaying moving image encoded data, or may be applied in combination with a conventional error concealment technique.
  • the selection process calculates a data loss rate due to a transmission error for each encoded data of target image frames to be displayed per unit time and arranged at a predetermined frame interval (error determination). ),
  • the target image frame to be decoded is selected from each of the target image frames based on the obtained calculation result.
  • the decoding step only the encoded data of the target image frame selected in the selection step is decoded. Therefore, in the selection process, target image frames that have not been selected (target image frames that have not been subjected to decoding due to deterioration in data quality below a certain level) are discarded.
  • the target image frame is displayed on a predetermined display device while adjusting the frame rate based on the number of frames of the target image frame decoded in the decoding step.
  • the present invention it is possible to effectively conceal image quality degradation of a display image by displaying an image frame of a certain quality or higher on a predetermined display device while adjusting the frame rate. become.
  • the conventional error concealment is performed as long as it is within an allowable range even if the target frame is not subject to decoding by error determination. It can be the object of decoding by error recovery by technology. In this case, since the number of discarded moving image frames can be reduced, the concealment effect according to the present invention can be further improved.
  • a retransmission request for missing data included in the received encoded data is made until reception of the encoded data of the target image frame is completed. If data that can be decoded can be received by a retransmission request for eliminating missing data, it is not necessary to determine whether to perform image restoration processing or discard. As a result, it is possible to reduce the number of missing data at the time when data that can be decoded is received. Normally, one image frame is transmitted and received in packet units.
  • the “encoded data reception completion” point in time is, for example, when the last packet of the target image frame is received, the first packet of the next target image frame is received It may be determined depending on the time, timeout, etc. Moreover, it is preferable that the encoded data corresponding to the missing data having received the retransmission request is distributed with priority over the encoded data scheduled to be transmitted. If retransmission of encoded data (normal encoded data that can be decoded before distribution) corresponding to missing data that has been subject to a retransmission request is delayed, it will cause a delay in the decoding process of the next and subsequent image frames. It is.
  • the target image frame to be decoded from each of the target image frames based on the calculation result of the data loss rate and the continuity between the received data May be selected. Even if the encoded data has a data loss rate outside the allowable range, loss concealment can be achieved by using other received data in the same frame or inter-frame prediction if the continuity of the received data is ensured above a certain level. This is because sufficient information can be obtained for data complementation.
  • a retransmission request may be made for at least one of the target image frames excluded from the decoding target. This is because, even for an image frame that is to be discarded, depending on the image characteristics, it may be appropriate to make a retransmission request again until the data loss rate falls within the allowable range.
  • the target image frames decoded in the decoding step are evenly arranged within the unit time so that the respective frame intervals coincide with each other.
  • the moving image encoded data display method detects pixel movement by comparing adjacent target image frames among target image frames, and the space in the frame data of the target image frame in which pixel movement is detected. It is also possible to weight the area to determine the sorting reference value in the sorting process. Note that the spatial region where pixel movement is detected is a region that is highly likely to be visually recognized by an observer, and it is preferable to avoid discarding the target image frame to be displayed as much as possible. Therefore, it is preferable to differentiate the target image frame in which the pixel movement is detected so that the selection reference value is lower than that of the other target image frames.
  • the encoded data of the target image frame received in the receiving step includes a plurality of types of information having different priorities.
  • the encoded data of the target image frame is distributed in order from the information with the highest priority. This is because when one image frame is divided into a plurality of transmission packets, the possibility of recovery is increased by preferentially transmitting information with higher importance (contribution to image decoding).
  • the priority order is determined in advance on the transmission side, for example, in the order of image quality, resolution, color component, and position (spatial region).
  • a display device is a device for realizing a display method of moving image encoded data configured as described above, and includes at least an input / output unit, a memory, a control unit, and a display unit. .
  • the input / output unit takes in moving image encoded data composed of encoded data of a plurality of compressed image frames through a predetermined transmission unit.
  • the memory temporarily stores the moving image encoded data fetched through the input / output unit.
  • the control unit executes the moving image encoded data display method configured as described above (the moving image encoded data display method according to the present invention).
  • the display unit sequentially displays the decoded target image frames at the frame rate adjusted by the control unit.
  • the moving image code or data display method, apparatus, and communication system according to the present invention, only a deteriorated image frame is discarded while avoiding image quality deterioration during moving image data reproduction by error recovery processing or the like as much as possible.
  • the decoded image frames are sequentially displayed on a predetermined display device while adjusting the frame rate for display. For this reason, it is possible to effectively conceal the deterioration of the image quality of the displayed video while minimizing the deteriorated image frame to be discarded.
  • FIG. 1 It is a conceptual diagram for demonstrating an example of the system configuration (communication system which concerns on this invention) for implement
  • FIG. 1 is a conceptual diagram for explaining an example of a system configuration (a communication system according to the present invention) for realizing an embodiment of a method for displaying moving image encoded data according to the present invention.
  • the moving image encoded data to be displayed according to the present invention is encoded in the communication system from the server 20 serving as a moving image encoded data transmission unit via the network 10.
  • Each of the terminal devices 30 (indicated by terminals A and B in the figure) serving as a data receiving means is distributed to each of the encoded data of a plurality of compressed image frames.
  • any one of the terminal devices connected to the network 10 functions as a server for controlling content distribution
  • the other terminal device 30 is a receiving terminal device (according to the present invention). Function as such a display device).
  • the server 20 includes a database 21 (indicated by D / B in the figure) in which a plurality of types of distribution contents are stored, and compresses video data read from the D / B 21 for each image frame. (Encoding 22), moving image encoded data is generated.
  • the server 20 distributes the encoded moving image data (a plurality of divided transmission packets) generated in this way to the terminal device 30 (for example, the terminal A) that has requested distribution via the network 10 (transmission). 23).
  • the server 20 receives the retransmission request from the terminal A (request reception 24) and adjusts the transmission order of the transmission packets.
  • the moving image encoded data distributed from the server 20 has a priority determined in advance in the order of image quality, resolution, color component, and position, for example, and the server 20 has a higher priority as the moving image encoded data.
  • the transmission packet is delivered to terminal A in order (transmission 23).
  • the terminal A receives moving image encoded data transmitted from the server 20 via the network 10 (reception 31), and selects and discards target image frames to be displayed per unit time (error determination). 32).
  • the terminal A decodes the selected target image frame (decoding 33), and then sequentially displays it on a predetermined display device while adjusting the display frame rate (display 34). Note that display control similar to that performed by the terminal A is also performed at the terminal B.
  • the error determination 32 may be performed before the decoding 33, during the decoding 33, or after the decoding 33 ends.
  • a retransmission request for missing data included in the received encoded data is made in order to reduce the number of missing data until reception of the encoded data of the target image frame is completed (request transmission 35).
  • the “encoded data reception completion” time point is determined by, for example, the time when the last packet of the target image frame is received, the time when the first packet of the next target image frame is received, a time-out, or the like.
  • the server 20 distributes the transmission packet including the missing data that received the retransmission request with priority over the other transmission packets (transmission 23).
  • FIG. 2 is a diagram showing a specific structure of the terminal device 30 (the display device according to the present invention, which corresponds to each of the terminal A and the terminal B in FIG. 1) shown in FIG. 2 includes an information processing unit 300 and a display monitor 400.
  • the information processing unit 300 includes an input / output unit 310 (I / O), a control unit 320, and a drawing unit 330.
  • the input / output unit 340 and the memory 350 are provided.
  • the I / O 310 is an interface for capturing moving image encoded data via the network 10.
  • the I / O 340 is an interface of a keyboard 410 and a mouse (pointing device) 420 that are external input devices.
  • the memory 350 stores moving image encoded data taken in via the I / O 310, a program for executing the moving image encoded data display method according to the present invention, various control data, and the like.
  • the control unit 320 executes a program stored in the memory 350 (a program for executing the moving image encoded data display method according to the present invention).
  • the drawing unit 330 is an image processor for sequentially displaying the image frames decoded by the control unit 320 on the display monitor 400, and the image data decoded at a predetermined frame rate in accordance with a display control signal from the control unit 330. The image is displayed on the display monitor 400.
  • FIG. 3 shows the structure of moving image encoded data that is subject to display control in the terminal device 30 having the structure as described above.
  • FIG. 3 is a diagram for explaining the structure of moving image encoded data to be displayed.
  • Motion-JPEG2000 image frame as an example, namely, the structure of the frame data of the image frame f n is shown.
  • the image frame f n is configured by a plurality of types of hierarchical scalability, and each scalability includes color components A, B, C, image quality A1, B1, C1, resolution A2, B2, C2, and spatial regions A3, B3. , C3 is designated.
  • a data loss rate is set by weighting each scalability (color component component, image quality component, resolution component, spatial region) in the image frame f n , Image frames to be decoded are selected using the set data loss rate as a criterion.
  • the data loss rate is defined by the ratio of the number of components lost due to transmission errors to the total number of components subjected to error determination for each scalability.
  • step ST440 and ST441 image frames to be displayed per unit time T are targeted, and error determination is mainly performed while sequentially changing the target image frames (steps ST440 and ST441).
  • a nested structure is adopted as an error determination step for each scalability.
  • an explanation will be given so that error determination is performed independently for each target scalability. Accordingly, there is no substantial difference between the following description and the flowchart of FIG.
  • the data loss rate of the target color component is determined (step ST401).
  • the determination in step ST401 is sequentially performed for all the color components constituting the frame data of the image frame that is the target of error determination (steps ST414 and ST424). Meanwhile, if the calculated data loss rate is equal to or exceeds the pre-weighted determination value L1, data continuity is confirmed (step ST401a).
  • the error determination of the target color component if the data loss is less than the allowable value, or if the data continuity is high enough to ensure the information necessary for data interpolation even if the data loss rate is greater than the allowable value As another scalability, an error determination of an image quality component is performed.
  • a discard determination process S100 is performed.
  • the data loss rate determination of the image quality component (step ST402) is also sequentially performed for all the image quality components in the frame data constituting the image frame that is the object of the error determination (steps ST413 and ST423). Meanwhile, if the calculated data loss rate is equal to or exceeds the pre-weighted determination value L2, data continuity is confirmed (step ST402a).
  • the error determination of the target image quality component when data loss is less than allowable, or when data continuity to the extent that information necessary for data interpolation can be secured even if the data loss rate is greater than or equal to the allowable value can be confirmed. In other scalability, resolution component error determination is performed.
  • a discard determination process S100 is performed.
  • the data loss rate determination of the resolution component is also sequentially performed for all the resolution components in the frame data constituting the image frame that is the object of the error determination (steps ST412 and ST422). Meanwhile, if the calculated data loss rate is equal to or exceeds the pre-weighted determination value L3, data continuity is confirmed (step ST403a).
  • the error determination of the target resolution component when data loss is less than allowable, or when data continuity to the extent that information necessary for data interpolation can be secured even if the data loss rate is greater than or equal to the allowable value can be confirmed.
  • error determination of a spatial domain component is performed.
  • a discard determination process S100 is performed.
  • step ST404 the data loss rate determination of the spatial region (position) component (step ST404) is also sequentially performed for all the resolution components in the frame data constituting the image frame that is the object of the error determination (steps ST411 and ST421). Meanwhile, if the calculated data loss rate is equal to or exceeds the pre-weighted determination value L4, data continuity is confirmed (step ST404a).
  • the error determination of the target space area component when data loss is less than acceptable, or when data continuity to the extent that data necessary for data interpolation can be secured even if the data loss rate is greater than or equal to the allowable value As another scalability, error determination of a spatial domain component is performed.
  • a discard determination process S100 is performed in the error determination of the target resolution component.
  • a data loss state is determined (step ST501).
  • step ST501 is performed based on one of the determination results J1 to J4, at least one of the color component, the image quality component, the resolution component, and the spatial region component satisfies the discard criterion.
  • the process is moved to the confluence J10.
  • a retransmission request is made until frame reception is completed, or depending on the characteristics of the image frame, each component has reached the allowable value even if it has not reached the allowable value.
  • step ST502 the necessity of a retransmission request is determined (step ST502). If it is determined that a retransmission request is necessary, a request transmission (request transmission 35 in FIG. 1) is performed (step ST503), and the process is transferred to a confluence. Transfer. On the other hand, if it is determined in step ST502 that the retransmission request is unnecessary, the target image frame is discarded (step ST504), and the process moves to the junction J10.
  • determination values (L1, L2, L3, and L4) weighted in advance for each scalability are set.
  • the weighting can be dynamically changed. For example, as shown in the area (a) of FIG. 6, the movement of the pixel A is detected by comparing the continuous image frames f n and f n ⁇ 1 , and the target image frame in which the pixel movement is detected is detected. Weighting for determining a sorting reference value in the sorting step may be performed on a spatial region in the frame data of fn.
  • the movement amount V1 is compared with a predetermined determination value L5 (step ST601). If the movement amount V1 is equal to or larger than the determination value L5, a spatial region constituting the frame data of the target image frame is used as a weighting operation.
  • the determination value L4 used at the time of error determination is changed (step ST602).
  • the spatial area where pixel movement is detected is an area that is highly likely to be visually recognized by an observer, and it is preferable to avoid discarding the target image frame to be displayed as much as possible. For this reason, the target image frame f n in which the movement of the pixel A is detected by executing the weighting step shown in the flowchart of the region (b) in FIG. Differentiation is made to lower the standard value).
  • each of these scalability determinations may be performed in a different order. Is possible.
  • an image quality evaluation index such as PSNR or SSIM may be used.
  • the display method of moving image encoded data according to the present invention has been completed based on the knowledge that the viewer's recognition of video degradation is more sensitive to image quality degradation of the displayed video than to increase / decrease of the frame rate.
  • Various frame rate adjustments are performed based on the change in the frame interval (in conjunction with the change in the number of image frames actually selected from the image frames to be displayed per unit time T).
  • FIG. 7 shows frame rate adjustment in the case where the maximum value of the frame interval associated with discarding some image frames is relatively small.
  • display control frame rate: 11/11
  • the maximum frames per unit time T of the image frames f 0 , f 2 to f 5 , and f 7 to f 10 Since the interval is relatively small, 2 ⁇ t, as shown in the region (b) of FIG.
  • the maximum frame interval of image frames to be displayed per unit time T is increased.
  • the display control frame rate: 11 / T
  • the maximum frames per unit time T of the image frames f 0 , f 4 to f 5 , and f 8 to f 10 to be decoded The interval is relatively large at 3 ⁇ t.
  • the target image frames thus arranged are evenly arranged (frame interval: ⁇ t ′) within a unit time so that the respective frame intervals coincide (frame rate: 6 / T). It should be noted that only the frame rate is adjusted by any of the frame rate adjustments shown in FIGS. 7 and 8, and the displayed target image frame has little or no quality degradation. It is possible to effectively hide the quality degradation of the displayed video. Note that the frame rate adjustment can be performed at any stage before or after decoding as long as it is after the error determination step.

Abstract

　本発明は、動画像の画質劣化を可能な限り回避する一方で伝送エラーに起因した映像品質の劣化を観察者に認識されないよう隠蔽する動画像符号化データの表示方法等に関する。当該表示方法は、復号化すべき対象画像フレームと廃棄すべき対象画像フレームを、エラー回復処理等の画像復元処理と並行して行われるエラー判定(32)を経て選別し、選別された対象画像フレームのみを復号化(33)する。所定の表示装置へは、復号化された対象画像フレームのみをフレームレートを調節しながら順次表示(34)していく。

Description

動画像符号化データの表示方法、装置及び通信システム
　本発明は、有線、無線を問わず既存のネットワークなどを介して配信される動画像符号化データの表示技術に関し、特に、表示装置に表示される映像の伝送エラーに起因した画質劣化を隠蔽可能にする方法、装置及び通信システムに関するものである。
　近年、高速データ通信技術の発展に伴い、既存のネットワークを介した動画像データなど大容量データの送受信がネットワーク利用者単位で可能になってきた。しかしながら、大容量データの送受信は、勢いトラフィックの増大を招いてしまうため、一部のネットワーク利用者によってネットワーク資源が占有される状況を招いてしまう。このような状況は、ネットワーク利用者全体がネットワーク資源を享受することを困難にするため、通信事業者、サービスプロバイダ等では、伝送チャネルごとに帯域制限を加えることで、ネットワーク資源が一部のネットワーク利用者に占有されないような運用が実施されている。
　一方、ディジタル信号処理技術の発展に伴い、制限された帯域幅の伝送チャネルを介してより効率的なデータ伝送を可能にするため、動画圧縮技術も盛んに研究されている。特に、このような動画圧縮技術には、Ｍｏｔｉｏｎ－ＪＰＥＧ、Ｍoｔｉｏｎ－ＪＰＥＧ２０００、Ｈ２６４などが知られており、送信側において画像フレームごとの圧縮（符号化）が行われる一方、受信側では圧縮された画像フレームごとに復号化していくことで、モニタ等への動画像表示を可能にしている。
　しかしながら、ネットワークを利用した動画像配信サービスなどでは、通信品質等の劣化に起因した伝送エラーが頻繁に発生する。この場合、受信側で再生されたモニタ映像にはブロックノイズ等が発生するなど、明らかな画質劣化が生じてしまう。そのため、以下の特許文献１～３には、動画像配信サービスにおいて伝送エラーが発生した場合でも、送信側から受信側への動画像データの再送処理や、正常に受信されなかった動画像データに対するエラー回復処理を実行することで、可能な限り動画像データ再生時の画質劣化を防ぐための技術が開示されている。
特表２００７－５１９３３８号公報 特開２００７－２１１５１１号公報 特開２００８－２０３５９７号公報
　発明者らは、従来の動画像符号化データに対する表示技術、特にエラー補償技術（エラー隠蔽技術ともいう）について検討した結果、以下のような課題を発見した。すなわち、上述の特許文献１～３に記載された技術は、動画像符号化データの送受信において伝送エラーが発生した場合でも、再送処理や、エラー回復処理（誤り訂正、フレーム間予測による補間など）などの画像復元処理を実行することにより、可能な限りモニタ表示される動画像の画質劣化を防ぐことを主目的とした技術ではある。しかしながら、最終的に回復できない場合には画質劣化を伴いながら配信された動画像をモニタ等に表示することとなる。そのため、モニタ映像にはブロックノイズ等が発生するなど、明らかな画質劣化が観察者に認識される。特に、実際の動画像符号化データの送受信では、その対応可能な範囲超えるデータ劣化が生じてしまうため、表示画像の品質劣化は避けられないという課題があった。
　本発明は、上述のような課題を解決するためになされたものであり、可能な限り画像復元処理により動画像データ再生時の画質劣化を回避する一方、伝送エラーに起因した表示映像の画質劣化を観察者に認識されないよう隠蔽する動画像符号化データの表示方法、装置及び通信システムを提供することを目的としている。
　一般に、一定レベル以上のフレームレートを持つ動画像データの品質が劣化する場合、観察者には、画質自体の劣化よりもフレームレートの低下の方が、より認識しづらいことが知られている。本発明は、このような観察者の視覚特性に着目して完成されたものであり、可能な限り再送処理、エラー回復処理等の画像復元処理を実行しつつ、表示される映像の画質劣化を観察者に認識させることなく、効果的に伝送エラーに起因したデータ欠損等を隠蔽することを可能にする。具体的に、本発明に係る通信システムは、ネットワークへ接続されたサーバなどの受信手段と、端末装置などの受信手段を備え、それぞれが圧縮された複数の画像フレームの符号化データにより構成されるとともに所定の伝送手段を介して配信される動画像符号化データを処理対象とする。特に受信手段で行われる表示方法（本発明に係る動画像符号化データの表示方法）は、配信される複数の画像フレームの符号化データを順次受信していく受信工程と、受信された複数の画像フレームのうち単位時間当たりに表示されるべき複数の対象画像フレームから復号化対象とすべき画像フレームを順次選別していく選別工程と、復号化工程と、表示工程を備える。なお、本発明は、動画像符号化データの表示に際し、単独で適用されてもよく、また、従来のエラー隠蔽技術と組み合わせて適用されてもよい。
　選別工程は、単位時間当たりに表示されるべき対象画像フレームであって所定のフレーム間隔で配置された対象画像フレームの符号化データそれぞれについて、伝送エラーに起因したデータ欠損率を計算し(エラー判定)、対象画像フレームそれぞれのうち復号化すべき対象画像フレームを、得られた計算結果に基づいて選別する。復号化工程は、選別工程において選別された対象画像フレームの符号化データのみを復号化する。したがって、選別工程では、選別されなかった対象画像フレーム（一定レベル以下にデータ品質が劣化したことにより復号化対象とならなかった対象画像フレーム）については廃棄される。また、表示工程は、復号化工程において復号化された対象画像フレームのフレーム数に基づいてフレームレートを調整しながら、該対象画像フレームを所定の表示装置に表示していく。
　上述のように本発明によれば、一定品質以上の画像フレームを、フレームレートを調整しながら所定の表示装置に表示していくことにより、表示映像の画質劣化を効果的に隠蔽することが可能になる。また、本願発明に係る表示方法と従来のエラー隠蔽技術とを組み合わせた構成では、エラー判定により本来であれば復号化対象とならない対象フレームであっても許容範囲内であれば、従来のエラー隠蔽技術によりエラー回復させることにより復号化対象となり得る。この場合、廃棄される動画像フレームのフレーム数を減らせるため、本発明による隠蔽効果を更に向上させることが可能になる。
　なお、本発明に係る動画像符号化データの表示方法において、対象画像フレームの符号化データの受信完了までの間、受信した符号化データに含まれる欠損データの再送リクエストが行われるのが好ましい。欠損データを解消するための再送リクエストにより復号化可能なデータを受信することが出来れば、画像復元処理や破棄の判断が不要になる。結果的に、復号化可能なデータを受信した時点で欠損データの数を低減させることが可能になるからである。通常、１つの像フレームはパケット単位で送受信されるが、ここで、「符号化データの受信完了」時点とは、例えば、対象画像フレームの最終パケット受信時、次の対象画像フレームの先頭パケット受信時、タイムアウト時などによって決定されればよい。また、再送リクエストを受けた欠損データに相当する符号化データは、他の送信予定の符号化データに優先して配信されるのが好ましい。再送リクエストの対象となった欠損データに相当する符号化データ（配信前においては復号化可能な正常な符号化データ）の再送が遅れると、次以降の画像フレームの復号化処理の遅延を招くからである。
　本発明に係る動画像符号化データの表示方法の選別工程において、データ欠損率の計算結果とともに、受信されたデータ間の連続性に基づいて、対象画像フレームそれぞれのうちから復号化すべき対象画像フレームが選別されてもよい。データ欠損率が許容範囲外となった符号化データであっても、受信データの連続性が一定以上確保されたデータであれば、同フレーム内の他の受信データやフレーム間予測などによってロス隠蔽、データ補完などが可能な程度の情報が十分得られるからである。
　また、本発明に係る動画像符号化データの表示方法の選別工程において、復号化の対象から除外された対象画像フレームのうち少なくともいずれかについて、再送リクエストを行ってもよい。破棄対象となった画像フレームであっても、その画像特性によっては再度データ欠損率が許容範囲に収まるまで再送リクエストを行うことが妥当な場合もあり得るからである。
　本発明に係る動画像符号化データの表示方法において、表示工程におけるフレームレートの調整では、単位時間当たりに表示されるべき対象画像フレームの、時間軸上の位置を変更することなく、選別工程において選別されなかった対象画像フレームのみが廃棄される。ただし、選別工程により複数の画像フレームが連続して廃棄されると、表示される対象画像フレームのフレーム間隔が広がってしまい、観察者に対象画像フレームのスキップ表示が認識されてしまう。このような場合におけるフレームレートの調整では、復号化工程において復号化された対象画像フレームが、それぞれのフレーム間隔が一致するよう単位時間内に均等配置されるのが好ましい。何れのフレームレート調整によっても、上述のように、表示される対象画像フレームは品質劣化がないか少ないため、観察者の視覚特性により表示される映像の画質劣化を効果的に隠蔽することが可能になる。
　本発明に係る動画像符号化データの表示方法は、対象画像フレームのうち隣接する対象画像フレーム間を比較することにより画素移動を検知し、画素移動が検知された対象画像フレームのフレームデータにおける空間領域に、選別工程における選別基準値を決定するための重み付けを行うことも可能である。なお、画素移動が検知される空間領域は、観察者に視認される可能性の高い領域であり、可能な限り、表示されるべき対象画像フレームの廃棄を回避するのが好ましい。そのため、画素移動が検知された対象画像フレームについて、他の対象画像フレームよりも選別基準値を低くするよう、差別化するのが好ましい。
　本発明に係る動画像符号化データの表示方法において、受信工程で受信される対象画像フレームの符号化データは、優先順位の異なる複数種類の情報を含む。また、対象画像フレームの符号化データは、該優先順位の高い情報から順に配信される。1つの画像フレームが複数の送信パケットに分割される際、より重要性（画像復号化への寄与度）の高い情報から優先的に送信することで、回復の可能性が高くなるからである。また、優先順位としては、例えば、画質、解像度、色コンポーネント、位置（空間領域）の順とするなどの予め送信側で決定されているものとする。
　本発明に係る表示装置は、上述のように構成された動画像符号化データの表示方法を実現するための装置であり、少なくとも、入出力部と、メモリと、制御部と、表示部を備える。具体的に、入出力部は、それぞれが圧縮された複数の画像フレームの符号化データにより構成された動画像符号化データを、所定の伝送手段を介して取り込む。メモリは、入出力部を介して取り込まれた動画像符号化データを一旦格納する。制御部は、上述のように構成された動画像符号化データの表示方法（本発明に係る動画像符号化データの表示方法）を実行する。表示部は、制御部により調整されたフレームレートで、復号化された対象画像フレームを順次表示していく。
　なお、本発明に係る各実施例は、以下の詳細な説明及び添付図面によりさらに十分に理解可能となる。これら実施例は単に例示のために示されるものであって、この発明を限定するものと考えるべきではない。
　また、本発明のさらなる応用範囲は、以下の詳細な説明から明らかになる。しかしながら、詳細な説明及び特定の事例はこの発明の好適な実施例を示すものではあるが、例示のためにのみ示されているものであって、本発明の範囲における様々な変形および改良はこの詳細な説明から当業者には自明であることは明らかである。
　本発明に係る動画像符号かデータの表示方法、装置及び通信システムによれば、可能な限りエラー回復処理等により動画像データ再生時の画質劣化を回避しながら、劣化画像フレームのみを廃棄するとともに表示用のフレームレートを調整しながら復号化された画像フレームを順次所定の表示装置に表示していく。そのため、廃棄される劣化画像フレームを最小限に抑制しつつ表示映像の画質劣化が効果的に隠蔽され得る。
本発明に係る動画像符号化データの表示方法の一実施形態を実現するためのシステム構成（本発明に係る通信システム）の一例を説明するための概念図である。 図１に示された端末装置（本発明に係る表示装置）の具体的な構造を示す図である。 表示対象となる動画像符号化データの構造を説明知るための図である。 本発明に係る動画像符号化データの表示方法の一実施形態における主要工程を説明するためのフローチャートである。 本発明に係る動画像符号化データの表示方法のうち破棄判定処理を説明するためのフローチャートである。 本発明に係る動画像符号化データの表示方法における重み付け工程を説明するための図である。 本発明に係る動画像符号化データの表示方法におけるフレームレート調整の第１例を説明するための図である。 本発明に係る動画像符号化データの表示方法におけるフレーム調整の第２例を説明するための図である。
　以下、本発明に係る動画像符号化データの表示方法、表示装置及び通信システムの各実施形態を、図１～図８を参照しながら詳細に説明する。なお、図面の説明において同一の要素には同一符号を付して重複する説明を省略する。
　図１は、本発明に係る動画像符号化データの表示方法の一実施形態を実現するためのシステム構成（本発明に係る通信システム）の一例を説明するための概念図である。本発明の表示対象となる動画像符号化データは、図１に示されたように、通信システムにおいて、動画像符号化データの送信手段であるサーバ２０からネットワーク１０を介して該動画像符号化データの受信手段である各端末装置３０（図中、端末Ａおよび端末Ｂで示す）に配信され、それぞれが圧縮された複数の画像フレームの符号化データにより構成されている。なお、図１に示された通信システムにおいて、ネットワーク１０に接続された端末装置のうち何れかが、コンテンツ配信を制御するサーバとして機能し、他の端末装置３０が受信用端末装置（本発明に係る表示装置）として機能する。
　サーバ２０は、複数種類の配信用コンテンツが格納されたデータベース２１（図中、Ｄ／Ｂで示す）を備えており、このＤ／Ｂ２１から読み出された映像データを画像フレームごとに圧縮することで（符号化２２）、動画像符号化データが生成される。サーバ２０は、このように生成された動画像符号化データ（複数の分割された送信パケット）を、ネットワーク１０を介して、配信要求のあった端末装置３０（例えば端末Ａ）に配信する（送信２３）。なお、サーバ２０では、端末Ａからの再送リクエストを受信し（リクエスト受信２４）、送信パケットの送信順序を調節する。
　サーバ２０から配信される動画像符号化データは、例えば、画質、解像度、色コンポーネント、位置の順に予め優先順位が決定されており、サーバ２０は、動画像符号化データとして、この優先順位の高い送信パケットから順に端末Ａへ配信する（送信２３）。
　一方、端末Ａでは、ネットワーク１０を介してサーバ２０から送信された動画像符号化データを受信し（受信３１）、単位時間当たりに表示されるべき対象画像フレームの選別および廃棄を行う（エラー判定３２）。端末Ａでは、選別された対象画像フレームの復号化を行った後（復号化３３）、表示用のフレームレートを調整しながら所定の表示装置に順次表示していく（表示３４）。なお、端末Ｂにおいても端末Ａと同様の表示制御が行われる。また、エラー判定３２は、復号化３３の前、復号化３３の最中、また、復号化３３の終了後の何れもタイミング行われてもよい。
　また、端末Ａでは、対象画像フレームの符号化データの受信完了までの間、欠損データの数を低減させるため、受信した符号化データに含まれる欠損データの再送リクエストが行われる（リクエスト送信３５）。ここで、「符号化データの受信完了」時点とは、例えば、対象画像フレームの最終パケット受信時、次の対象画像フレームの先頭パケット受信時、タイムアウト時などによって決定される。一方、サーバ２０では、再送リクエストを受けた欠損データを含む送信パケットを、他の送信パケットに優先して配信する（送信２３）。
　図２は、図１に示された端末装置３０（本発明に係る表示装置であって、図１中の端末Ａ、端末Ｂそれぞれに相当する）の具体的な構造を示す図である。図２に示された端末装置は、情報処理部３００と、表示用モニタ４００により構成され、情報処理部３００は、入出力部３１０（Ｉ／Ｏ）と、制御部３２０と、描画部３３０と、入出力部３４０と、メモリ３５０を備える。
　具体的に、Ｉ／Ｏ３１０は、ネットワーク１０を介して動画像符号化データを取り込むためのインターフェースである。また、Ｉ／Ｏ３４０は、外部入力装置であるキーボード４１０やマウス（ポインティングデバイス）４２０のインターフェースである。メモリ３５０は、Ｉ／Ｏ３１０を介して取り込まれた動画像符号化データ、本発明に係る動画像符号化データの表示方法を実行するためのプログラム、各種制御データ等が格納される。制御部３２０は、メモリ３５０に格納されているプログラム（本発明に係る動画像符号化データの表示方法を実行するためのプログラム）を実行する。描画部３３０は、制御部３２０が復号化した画像フレームを順次表示用モニタ４００に表示させる画像プロセッサであり、制御部３３０からの表示制御信号に従って、所定のフレームレートで復号化された画像データを表示用モニタ４００に表示していく。
　上述のような構造を有する端末装置３０において表示制御の対象となる動画像符号化データの構造を図３に示す。なお、図３は、表示対象となる動画像符号化データの構造を説明するための図である。
　動画像データ自体は、図３の領域（ａ）に示されたように、時間軸上において一定間隔（フレーム間隔）を空けて配置された複数の画像フレームｆｎ（ｎ＝０、１，２、…）により構成されており、これら複数の画像フレームｆ０～ｆｎ＋１それぞれを圧縮（符号化）することにより動画像符号化データが得られる。なお、フレームレート単位時間Ｔ中に配置された表意されるべき画像フレームのフレーム数で規定される。
　図３の領域（ｂ）には、一例としてMotion-JPEG2000の画像フレーム、すなわち、画像フレームｆｎのフレームデータの構造が示されている。画像フレームｆｎは、複数種類の階層的スケーラビリティにより構成されており、各スケーラビリティとしては、色コンポーネントＡ、Ｂ、Ｃ、画質Ａ１、Ｂ１、Ｃ１、解像度Ａ２、Ｂ２、Ｃ２、空間領域Ａ３、Ｂ３、Ｃ３が指定されている。図１に示された端末Ａにおけるエラー判定３２では、画像フレームｆｎにおける各スケーラビリティ（色コンポーネント成分、画質成分、解像度成分、空間領域）に対して重みづけを施したデータ欠損率を設定し、その設定されたデータ欠損率を判定基準として、復号化すべき画像フレームの選別が行われる。ここで、データ欠損率は、各スケーラビリティについて、エラー判定の対象となった全成分数に対する伝送エラー等に起因して欠落した成分数の比で定義される。
　具体的に、エラー判定３２から復号化３３までの選別工程を、図４及び図５のフローチャートを用いて詳細に説明する。
　まず、この選別工程では、単位時間Ｔ当りに表示されるべき画像フレームを対象とし、順次対象となる画像フレームを変更しながら主にエラー判定が行われる（ステップＳＴ４４０、ＳＴ４４１）。なお、図４のフローチャートでは、各スケーラビリティのエラー判定ステップとして入れ子構造が採用されているが、説明の都合上、対象となるスケーラビリティごとに独立にエラー判定が行われるよう説明する。したがって、以下の説明内容と図４のフローチャートに実質的な差異はない。
　対象となった各画像フレームについては、対象色コンポーネントのデータ欠損率が判定される（ステップＳＴ４０１）。このステップＳＴ４０１における判定は、エラー判定の対象である画像フレームのフレームデータを構成する色コンポーネント全てについて順次行われる（ステップＳＴ４１４、ＳＴ４２４）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ１と等しいか、あるいは、判定値Ｌ１を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０１ａ）。対象色コンポーネントのエラー判定において、データ欠損が許容値未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、画質成分のエラー判定が行われる。一方、対象色コンポーネントのエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ１）、破棄判定処理Ｓ１００が行われる。
　画質成分のデータ欠損率判定（ステップＳＴ４０２）も、エラー判定の対象である画像フレームを構成するフレームデータのうち画質成分全てについて順次行われる（ステップＳＴ４１３、ＳＴ４２３）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ２と等しいか、あるいは、判定値Ｌ２を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０２ａ）。対象画質成分のエラー判定において、データ欠損が許容未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、解像度成分のエラー判定が行われる。一方、対象画質成分のエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ２）、破棄判定処理Ｓ１００が行われる。
　解像度成分のデータ欠損率判定（ステップＳＴ４０３）も、エラー判定の対象である画像フレームを構成するフレームデータのうち解像度成分全てについて順次行われる（ステップＳＴ４１２、ＳＴ４２２）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ３と等しいか、あるいは、判定値Ｌ３を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０３ａ）。対象解像度成分のエラー判定において、データ欠損が許容未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、空間領域成分のエラー判定が行われる。一方、対象解像度成分のエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ３）、破棄判定処理Ｓ１００が行われる。
　さらに、空間領域（位置）成分のデータ欠損率判定（ステップＳＴ４０４）も、エラー判定の対象である画像フレームを構成するフレームデータのうち解像度成分全てについて順次行われる（ステップＳＴ４１１、ＳＴ４２１）。この間、計算されたデータ欠損率が予め重み付けされた判定値Ｌ４と等しいか、あるいは、判定値Ｌ４を超えた場合、データ連続性の確認が行われる（ステップＳＴ４０４ａ）。対象空間領域成分のエラー判定において、データ欠損が許容未満である場合、又は、データ欠損率が許容値以上であってもデータ補間に必要な情報が確保できる程度のデータ連続性が確認できた場合には、他のスケーラビリティとして、空間領域成分のエラー判定が行われる。一方、対象解像度成分のエラー判定において、データ欠損率、データ連続性の双方について画像復元が不能と判断された場合には（Ｊ４）、破棄判定処理Ｓ１００が行われる。
　図５に示されたように、破棄判定処理Ｓ１００では、データ欠損状態が判定される（ステップＳＴ５０１）。判定結果Ｊ１～Ｊ４のいずれかに基づいてステップＳＴ５０１が行われる場合、色コンポーネント、画質成分、解像度成分、空間領域成分の少なくともいずれかが破棄基準を満たしていることになる。しかしながら、画質成分、解像度成分はエラー判定をクリアしているような場合、実用上十分な品質の画像復号化が可能となる。このような場合には、処理を合流点Ｊ１０へ移す。さらに、ステップＳＴ５０１において画像復元不可能と判定された場合でも、フレーム受信完了前であったり、また、画像フレームの特性によっては各コンポーネントが許容値に達していなくとも許容値に達するまで再送リクエストを行った方がよい場合もある。そこで、ステップＳＴ５０２では、再送リクエストの必要性が判断され（ステップＳＴ５０２）、再送リクエストが必要と判断されればリクエスト送信（図１のリクエスト送信３５）を行い（ステップＳＴ５０３）、処理を合流点へ移す。一方、ステップＳＴ５０２において、再送リクエスト不要と判断した場合には、当該対象画像フレームは破棄され（ステップＳＴ５０４）、処理が合流点Ｊ１０へ移ことになる。
　以上の各スケーラビリティのエラー判定においてデータ欠損率が許容範囲内（設定値Ｌ１、Ｌ２、Ｌ３、Ｌ４未満）であること、データ連続性が確認されたこと等の諸条件を満たした画像フレームのみが選別され、続けて復号化が行われる（ステップＳＴ４５０）。
　なお、上述のエラー判定では、スケーラビリティごとに予め重み付けされた判定値（Ｌ１、Ｌ２、Ｌ３、Ｌ４）を設定したが、この重み付けを動的に変更することも可能である。例えば図６の領域（ａ）に示されたように、連続する画像フレームｆｎ、ｆｎ－１間を比較することにより画素Ａの移動を検知し、この画素移動が検知された対象画像フレームｆｎのフレームデータにおける空間領域に、選別工程における選別基準値を決定するための重み付けが行われてもよい。
　具体的には、図６の領域（ｂ）のフローチャートに示されたように、連続する画像フレームｆｎ、ｆｎ－１間を比較することにより、画素ＡがＶ１だけ移動したことが検知されると、この移動量Ｖ１と予め設定された判定値Ｌ５を比較し（ステップＳＴ６０１）、移動量Ｖ１が判定値Ｌ５以上であれば、重み付け動作として、対象画像フレームのフレームデータを構成する空間領域のエラー判定時に利用される判定値Ｌ４を変更する（ステップＳＴ６０２）。特に、画素移動が検知される空間領域は、観察者に視認される可能性の高い領域であり、可能な限り、表示されるべき対象画像フレームの廃棄を回避するのが好ましい。そのため、図６の領域（ｂ）のフローチャートで示された重み付け工程が実行されることにより、画素Ａの移動が検知された対象画像フレームｆｎは、他の対象画像フレームよりも判定値（選別基準値）を低くするよう、差別化される。
　なお、エラー判定方法としては、上述のようなエラー判定（色、画質、解像度、空間の順で判定するもの、図４参照）以外に、例えば、これら各スケーラビリティの判定を異なる順序で行うことも可能である。また、スケーラビリティ毎にエラー判定を行うだけでなく、各スケーラビリティのデータ欠損率の累積値を求め、この累積データ欠損率を基にエラー判定することとしてもよい。さらには、ＰＳＮＲやＳＳＩＭなどの画質評価指標が用いられてもよい。
　次に、本発明に係る動画像符号化データの表示方法におけるフレームレートの調整方法について図７及び図８を用いて詳細に説明する。上述のように、本発明に係る動画像符号化データの表示方法は、観察者の映像劣化認識がフレームレートの増減よりも表示映像の画質劣化に敏感であるという知見に基づいて完成されたものであり、フレーム間隔の変動（単位時間Ｔ当りの表示すべき画像フレームのうち実際に選別される画像フレーム数の変動に連動する）に基づいて、種々のフレームレート調整が行われる。
　例えば、図７には、一部の画像フレームの廃棄に伴うフレーム間隔の最大値が比較的小さい場合のフレームレート調整が示されている。具体的には、図７の領域（ａ）に示されたように、単位時間Ｔ内にフレーム間隔Δｔで均等配置された複数の画像フレームｆ０～ｆ１０の表示制御（フレームレート：１１／Ｔ）において、選別工程により画像フレームｆ１、ｆ６が廃棄された場合、復号化されるべき画像フレームｆ０、ｆ２～ｆ５、ｆ７～ｆ１０の、単位時間Ｔ当りの最大フレーム間隔は２Δｔと、比較的小さいため、図７の領域（ｂ）に示されたように、単純に廃棄された画像フレームｆ１、ｆ６を間引きした状態で復号化された画像フレームｆ０、ｆ２～ｆ５、ｆ７～ｆ１０が順次表示用モニタ４００（図２参照）に表示されていく（フレームレート：９／Ｔ）。
　一方、図８の領域（ａ）に示されたように、連続する複数の画像フレームが廃棄された場合、単位時間Ｔ当りに表示されるべき画像フレームの最大フレーム間隔は大きくなってしまう。例えば、図８の領域（ａ）の場合、単位時間Ｔ内にフレーム間隔Δｔで均等配置された複数の画像フレームｆ０～ｆ１０の表示制御（フレームレート：１１／Ｔ）において、選別工程により画像フレームｆ１、～ｆ３、ｆ６～ｆ７が廃棄された場合、復号化されるべき画像フレームｆ０、ｆ４～ｆ５、ｆ８～ｆ１０の、単位時間Ｔ当りの最大フレーム間隔は３Δｔと、比較的大きくなる。この場合、図７の領域（ｂ）に示されたフレームレート調整が行われると、観察者に対象画像フレームのスキップ表示が認識されてしまう。したがって、図８の領域（ａ）に示されたように、復号化されるべき画像フレーム間のフレーム間隔が大きくなる場合には、図８の領域（ｂ）に示されたように、復号化された対象画像フレームが、それぞれのフレーム間隔が一致するよう単位時間内に均等配置（フレーム間隔：Δｔ’）されるのが好ましい（フレームレート：６／Ｔ）。なお、図７及び図８それぞれに示された何れのフレームレート調整によっても、フレームレートの調整のみが行われ、表示される対象画像フレームは品質劣化がないか少ないため、観察者の視覚特性により表示される映像の品質劣化を効果的に隠蔽することが可能になる。なお、フレームレート調整については、エラー判定工程の後であれば、復号化の前、後のいずれの段階においても行うことは可能である。
　以上の本発明の説明から、本発明を様々に変形しうることは明らかである。そのような変形は、本発明の思想および範囲から逸脱するものとは認めることはできず、すべての当業者にとって自明である改良は、以下の請求の範囲に含まれるものである。
　１０…ネットワーク、２０…サーバ、３０…端末装置（表示装置）、３００…情報処理部、３１０、３４０…入出力部（Ｉ／Ｏ）、３２０…制御部、４００…表示用モニタ。

Claims (11)

  1. それぞれが圧縮された複数の画像フレームの符号化データにより構成されるとともに所定の伝送手段を介して配信される動画像符号化データの表示方法であって、
    　前記伝送手段を介して前記複数の画像フレームの符号化データを順次受信していく受信工程と、
    　受信された画像フレームのうち単位時間当たりに表示されるべき対象画像フレームであって所定のフレーム間隔で配置された対象画像フレームの符号化データそれぞれについて、伝送エラーに起因したデータ欠損率を計算し、得られた計算結果に基づいて、前記対象画像フレームそれぞれのうちから復号化すべき対象画像フレームを選別する選別工程と、
    　前記選別工程において選別された対象画像フレームの符号化データのみを復号化する復号化工程と、
    　前記復号化工程において復号化された対象画像フレームのフレーム数に基づいてフレームレートを調整しながら、該対象画像フレームを所定の表示装置に表示していく表示工程と、を備えた動画像符号化データの表示方法。
  2. 前記対象画像フレームの符号化データの受信完了までの間、受信した符号化データに含まれる欠損データの再送リクエストが行われることを特徴とする請求項１記載の動画像符号化データの表示方法。
  3. 前記選別工程において、前記データ欠損率の計算結果とともに、受信されたデータ間の連続性に基づいて、前記対象画像フレームそれぞれのうちから復号化すべき対象画像フレームが選別されることを特徴とする請求項１又は２記載の動画像符号化データの表示方法。
  4. 前記選別工程において、復号化の対象から除外された対象画像フレームのうち少なくともいずれかについて、再送リクエストが行われることを特徴とする請求項１～３のいずれか一項記載の動画像符号化データの表示方法。
  5. 前記表示工程におけるフレームレートの調整では、単位時間当たりに表示されるべき対象画像フレームの、時間軸上の位置を変更することなく、前記選別工程において選別されなかった対象画像フレームが廃棄されることを特徴とする請求項１～４のいずれか一項記載の動画像符号化データの表示方法。
  6. 前記表示工程におけるフレームレートの調整では、前記復号化工程において復号化された対象画像フレームが、それぞれのフレーム間隔が一致するよう前記単位時間内に均等配置されることを特徴とする請求項１～４のいずれか一項記載の動画像符号化データの表示方法。
  7. 前記受信工程において受信される前記対象画像フレームの符号化データは、優先順位の異なる複数種類の情報を含み、前記対象画像フレームの符号化データは、該優先順位の高い情報から順に配信されることを特徴とする請求項１～６のいずれか一項記載の動画像符号化データの表示方法。
  8. 前記対象画像フレームのうち隣接する対象画像フレーム間を比較することにより画素移動を検知し、画素移動が検知された対象画像フレームのフレームデータにおける空間領域に、前記選別工程における選別基準値を決定するための重み付けをすることを特徴とする請求項１～６のいずれか一項記載の動画像符号化データの表示方法。
  9. 前記再送リクエストの対象となった欠損データに相当する符号化データは、他の送信予定の符号化データに優先して配信されることを特徴とする請求項２記載の動画像符号化データの表示方法。
  10. それぞれが圧縮された複数の画像フレームの符号化データにより構成された動画像符号化データを、所定の伝送手段を介して取り込むための入出力部と、
    　前記入出力部を介して取り込まれた動画像符号化データを一旦格納するためのメモリと、
    　請求項１～９のいずれか一項記載の動画像符号化データの表示方法を実行するための制御部と、
    　表示部と、を備えた表示装置。
  11. それぞれが圧縮された複数の画像フレームの符号化データにより構成されるとともに所定の伝送手段を介して配信される動画像符号化データのための通信システムであって、
    　請求項７～９のいずれか一項記載の動画像符号化データの表示方法に基づいて、動画像符号化データを配信する送信手段と、
    　請求項１～６記載の動画像符号化データの表示方法を実施する受信手段と、を備えた通信システム。
PCT/JP2011/050008 2010-01-14 2011-01-04 動画像符号化データの表示方法、装置及び通信システム WO2011086952A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
BR112012017465A BR112012017465A2 (pt) 2010-01-14 2011-01-04 método de exibição de dados codificados de imagem de vídeo , dispositvo, e sistema de comunicação
EP11732822.9A EP2547106A4 (en) 2010-01-14 2011-01-04 METHOD, DEVICE AND COMMUNICATION SYSTEM FOR DISPLAYING CODED VIDEO IMAGE DATA
US13/521,851 US9219925B2 (en) 2010-01-14 2011-01-04 Video image coded data display method, device, and communications system
JP2011549954A JP5549681B2 (ja) 2010-01-14 2011-01-04 動画像符号化データの表示方法、装置及び通信システム
CN201180006249.8A CN102714728B (zh) 2010-01-14 2011-01-04 视频图像编码数据的显示方法、设备和通信系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-006046 2010-01-14
JP2010006046 2010-01-14

Publications (1)

Publication Number Publication Date
WO2011086952A1 true WO2011086952A1 (ja) 2011-07-21

Family

ID=44304225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/050008 WO2011086952A1 (ja) 2010-01-14 2011-01-04 動画像符号化データの表示方法、装置及び通信システム

Country Status (7)

Country Link
US (1) US9219925B2 (ja)
EP (1) EP2547106A4 (ja)
JP (1) JP5549681B2 (ja)
CN (1) CN102714728B (ja)
BR (1) BR112012017465A2 (ja)
TW (1) TW201141240A (ja)
WO (1) WO2011086952A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023688A (zh) * 2011-09-23 2013-04-03 赛格纳斯广播公司 用于优先化数据以在通信网络中智能丢弃的系统和方法
CN103248883A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 传输方法和电子设备
US9020498B2 (en) 2009-06-12 2015-04-28 Wi-Lan Labs, Inc. Systems and methods for intelligent discard in a communication network
US9043853B2 (en) 2009-06-12 2015-05-26 Wi-Lan Labs, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US9112802B2 (en) 2009-06-12 2015-08-18 Wi-Lan Labs, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
CN103248883B (zh) * 2012-02-13 2016-11-30 联想(北京)有限公司 传输方法和电子设备
JP2022532604A (ja) * 2019-05-14 2022-07-15 華為技術有限公司 仮想マシンによりｕｓｂデバイスのデータにリモートでアクセスするための方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130071879A (ko) * 2011-12-21 2013-07-01 삼성전자주식회사 서버에 연결 가능한 클라이언트장치 및 그 제어방법
US9332309B2 (en) * 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
US9641867B2 (en) * 2014-10-24 2017-05-02 Megachips Corporation Image processor
US10419512B2 (en) * 2015-07-27 2019-09-17 Samsung Display Co., Ltd. System and method of transmitting display data
US10574995B2 (en) * 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
CN109743628A (zh) * 2019-01-10 2019-05-10 四川长虹电器股份有限公司 一种ip机顶盒促进视频实时播放流畅的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169040A (ja) * 2001-12-04 2003-06-13 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2003179580A (ja) * 2001-12-12 2003-06-27 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2004193924A (ja) * 2002-12-11 2004-07-08 Sony Corp 送受信システム、送信装置および送信方法、受信装置および受信方法、記録媒体、並びにプログラム
JP2006148409A (ja) * 2004-11-18 2006-06-08 Matsushita Electric Ind Co Ltd フレームレート変換方法
JP2007519338A (ja) 2004-01-19 2007-07-12 サムスン エレクトロニクス カンパニー リミテッド 映像フレームのエラー隠蔽装置および方法
JP2007211511A (ja) 2006-02-10 2007-08-23 Kyowa:Kk 外壁材固定具
JP2008203597A (ja) 2007-02-21 2008-09-04 Seiko Epson Corp スクリーン及びプロジェクションシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950014862B1 (ko) * 1992-02-08 1995-12-16 삼성전자주식회사 움직임추정방법 및 그 장치
US20040202249A1 (en) 2003-04-08 2004-10-14 Newsoft Technology Corporation Real-time MPEG video encoding method of maintaining synchronization between video and audio
JP4859014B2 (ja) * 2005-01-24 2012-01-18 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
UA92004C2 (ru) * 2005-03-10 2010-09-27 Квелкомм Инкорпорейтед Структура декодера для оптимизированного управления обработкой ошибок в потоковой передаче мультимедийных данных
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US8279946B2 (en) * 2007-11-23 2012-10-02 Research In Motion Limited System and method for providing a variable frame rate and adaptive frame skipping on a mobile device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169040A (ja) * 2001-12-04 2003-06-13 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2003179580A (ja) * 2001-12-12 2003-06-27 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2004193924A (ja) * 2002-12-11 2004-07-08 Sony Corp 送受信システム、送信装置および送信方法、受信装置および受信方法、記録媒体、並びにプログラム
JP2007519338A (ja) 2004-01-19 2007-07-12 サムスン エレクトロニクス カンパニー リミテッド 映像フレームのエラー隠蔽装置および方法
JP2006148409A (ja) * 2004-11-18 2006-06-08 Matsushita Electric Ind Co Ltd フレームレート変換方法
JP2007211511A (ja) 2006-02-10 2007-08-23 Kyowa:Kk 外壁材固定具
JP2008203597A (ja) 2007-02-21 2008-09-04 Seiko Epson Corp スクリーン及びプロジェクションシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2547106A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020498B2 (en) 2009-06-12 2015-04-28 Wi-Lan Labs, Inc. Systems and methods for intelligent discard in a communication network
US9043853B2 (en) 2009-06-12 2015-05-26 Wi-Lan Labs, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US9112802B2 (en) 2009-06-12 2015-08-18 Wi-Lan Labs, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US9253108B2 (en) 2009-06-12 2016-02-02 Wi-Lan Labs, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US9264372B2 (en) 2009-06-12 2016-02-16 Wi-Lan Labs, Inc. Systems and methods for intelligent discard in a communication network
US9413673B2 (en) 2009-06-12 2016-08-09 Wi-Lan Labs, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
US9876726B2 (en) 2009-06-12 2018-01-23 Taiwan Semiconductor Manufacturing Co., Ltd. Systems and methods for prioritization of data for intelligent discard in a communication network
CN103023688A (zh) * 2011-09-23 2013-04-03 赛格纳斯广播公司 用于优先化数据以在通信网络中智能丢弃的系统和方法
CN103023688B (zh) * 2011-09-23 2017-04-26 台湾积体电路制造股份有限公司 用于优先化数据以在通信网络中智能丢弃的系统和方法
CN103248883A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 传输方法和电子设备
CN103248883B (zh) * 2012-02-13 2016-11-30 联想(北京)有限公司 传输方法和电子设备
JP2022532604A (ja) * 2019-05-14 2022-07-15 華為技術有限公司 仮想マシンによりｕｓｂデバイスのデータにリモートでアクセスするための方法

Also Published As

Publication number Publication date
JP5549681B2 (ja) 2014-07-16
US20120287338A1 (en) 2012-11-15
EP2547106A4 (en) 2014-05-21
CN102714728A (zh) 2012-10-03
CN102714728B (zh) 2015-04-29
BR112012017465A2 (pt) 2019-09-24
JPWO2011086952A1 (ja) 2013-05-20
US9219925B2 (en) 2015-12-22
TW201141240A (en) 2011-11-16
EP2547106A1 (en) 2013-01-16

Similar Documents

Publication Publication Date Title
JP5549681B2 (ja) 動画像符号化データの表示方法、装置及び通信システム
Su et al. QoE in video streaming over wireless networks: perspectives and research challenges
US10951954B2 (en) Methods and systems for video streaming
US9369759B2 (en) Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
JP5882547B2 (ja) シーンの変化に伴うピクチャ内の符号化及び送信パラメータの好適化
KR101920646B1 (ko) 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
US20090234919A1 (en) Method of Transmitting Data in a Communication System
US11889122B2 (en) Quality aware error concealment technique for streaming media
JP2011019068A (ja) 品質制御装置、品質制御システム、品質制御方法およびプログラム
CN111263192A (zh) 视频处理方法及相关设备
US20110067072A1 (en) Method and apparatus for performing MPEG video streaming over bandwidth constrained networks
US11575894B2 (en) Viewport-based transcoding for immersive visual streams
CN110996035B (zh) 信息发送方法及装置
US20150010069A1 (en) Intra video coding in error prone environments
US20120281757A1 (en) Scene change detection for video transmission system
Adeyemi-Ejeye et al. Impact of packet loss on 4K UHD video for portable devices
KR20130124348A (ko) 협업 미디어 시스템에서 다수의 단말 디바이스에 대한 콘텐트 분배를 관리하기 위한 방법 및 장치
US20140321556A1 (en) Reducing amount of data in video encoding
JP6089846B2 (ja) 映像配信システム及びデコーダ並びに映像配信方法
JP4586328B2 (ja) 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
Baik et al. Efficient MAC for real-time video streaming over wireless LAN
WO2023031989A1 (ja) 映像配信装置、システム、方法、及びコンピュータ可読媒体
CN114827668B (zh) 基于解码能力的视频档位选择方法、装置及设备
WO2021140768A1 (ja) 送信装置、送信方法
US20240137606A1 (en) Electronic apparatus, server apparatus and control method thereof

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180006249.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011549954

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011732822

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13521851

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012017465

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012017465

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120713