WO2010032334A1 - 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム - Google Patents
品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム Download PDFInfo
- Publication number
- WO2010032334A1 WO2010032334A1 PCT/JP2008/067130 JP2008067130W WO2010032334A1 WO 2010032334 A1 WO2010032334 A1 WO 2010032334A1 JP 2008067130 W JP2008067130 W JP 2008067130W WO 2010032334 A1 WO2010032334 A1 WO 2010032334A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- error
- index value
- quality index
- frame
- quality
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Definitions
- the present invention relates to a quality index value calculation method, an information processing apparatus, a moving image distribution system, and a quality index value calculation program.
- a distribution server that distributes moving image data generates bit stream data by encoding (encoding) the moving image data.
- a delivery server transmits the produced
- the user terminal restores the moving image data by decoding (decoding) the received bit stream data.
- quality index value an index value indicating the quality of moving image data
- NR Non Reference
- RR Reduced Reference
- NR Non Reference
- RR Reduced Reference
- a quality index value is calculated by comparing a feature amount of moving image data (hereinafter referred to as “transmission moving image”) held by a distribution server with a feature amount of a received moving image held by a user terminal. It is.
- the moving image data decoded by the user terminal is locally degraded.
- the quality evaluation method for moving image data has a problem of calculating a quality index value indicating a quality different from the quality visually perceived by humans even when the moving image data is locally degraded. . This is because the quality index value calculated by the NR method merely indicates objective quality based on the block distortion degree, the degree of blur, and the like.
- a frame F10 illustrated in FIG. 11 is a predetermined frame constituting the transmission moving image.
- frames F11 and F12 shown in FIG. 11 are frames obtained by decoding the frame F10 encoded by the distribution server by the user terminal.
- the quality of the frame F11 is deteriorated as a whole because the user terminal cannot completely restore the frame F10.
- the frame F11 has a larger block distortion or a blurred edge than the frame F10.
- the quality of the frame F12 is deteriorated as a whole, and the region F12a is locally deteriorated due to packet loss or the like.
- the quality index value of the frame F11 and the quality index value of the frame F12 may be almost the same value.
- the quality visually perceived by humans is much worse in the frame F12 than in the frame F11.
- the quality index value calculated by the conventional FR method sometimes shows a quality different from the quality visually perceived by humans when the moving image data is locally degraded due to packet loss or the like.
- FR Full Reference
- the disclosed technique has been made in order to solve the above-described problems caused by the prior art, and a quality index value that can calculate a quality index value that shows almost the same quality as the quality of video data determined by humans. It is an object of the present invention to provide a calculation method, an information processing apparatus, a moving image distribution system, and a quality index value calculation program.
- a quality index value calculation method disclosed in the present application is a quality index value calculation method by an information processing apparatus that calculates the quality of moving image data, and the information processing apparatus
- a receiving step for receiving moving image data divided into packets, a decoding step for decoding the moving image data for each frame when a packet is received by the receiving step, and a packet received by the receiving step
- An error area specifying step for specifying an area corresponding to the packet and a quality index value indicating the quality of the frame. It may be a requirement that contains an error area ratio calculation step of calculating a ratio of the error area which is an area specified by the error area specifying step for each frame.
- FIG. 1 is a diagram illustrating a moving image distribution system including the information processing apparatus according to the first embodiment.
- FIG. 2A is a diagram for explaining processing for calculating a quality index value of an I frame.
- FIG. 2-2 is a diagram for explaining processing for calculating a quality index value of a P frame or a B frame.
- FIG. 3 is a diagram illustrating the configuration of the information processing apparatus according to the first embodiment.
- FIG. 4 is a flowchart of the quality index value calculation processing procedure performed by the information processing apparatus according to the first embodiment.
- FIG. 7 is a diagram showing the configuration of the quality management apparatus shown in FIG. FIG.
- FIG. 8 is a flowchart showing a quality determination processing procedure by the quality management apparatus shown in FIG.
- FIG. 9 is a diagram illustrating a computer that executes a quality index value calculation program.
- FIG. 10 is a diagram illustrating a computer that executes a quality determination program.
- FIG. 11 is a diagram for explaining the prior art.
- Distribution server 20 Network network 100, 100a to 100n Information processing apparatus 110 I / F 120, 220 Control unit 121 Decoding unit 122 Information acquisition unit 123 Quality index value calculation unit 124 Error region specification unit 125 Pixel difference calculation unit 126 Error diffusion region estimation unit 127 Quality index value correction unit 200, 200a to 200n Information processing device 228 Transmission unit 300 Quality control device 310 I / F 320 storage unit 321 quality related information storage unit 322 log information storage unit 330 control unit 331 reception unit 332 reference value determination unit 333 quality determination unit 334 log output unit 1000, 2000 computer 1010, 2010 CPU 1020, 2020 Input device 1030, 2030 Monitor 1040, 2040 Media reader 1050, 2050 Network interface device 1060, 2060 RAM 1061 Quality index value calculation process 1070, 2070 Hard disk device 1071 Quality index value calculation program 1080, 2080 Bus 2061 Quality determination process 2071 Quality determination program 2072 Quality related data 2073 Log file
- FIG. 1 is a diagram illustrating a moving image distribution system 1 including an information processing apparatus 100 according to the first embodiment.
- the moving image distribution system 1 includes a distribution server 10 that distributes moving image data, and information processing apparatuses 100a to 100n that receive the moving image data via a network 20.
- the information processing apparatus 100 when it is not necessary to specify any of the information processing apparatuses 100a to 100n, these are collectively referred to as the information processing apparatus 100.
- the distribution server 10 holds moving image data, and distributes the moving image data to the information processing apparatus 100 via the network 20. Specifically, the distribution server 10 encodes moving image data to generate bit stream data, divides the generated bit stream data into packets of a predetermined size, and transmits the packets to the network 20.
- the information processing apparatus 100 receives bitstream data distributed from the distribution server 10 and controls display of the received bitstream data on a predetermined display unit. Specifically, the information processing apparatus 100 decodes the bit stream data received from the distribution server 10 and stores the decoded moving image data in a predetermined storage unit or controls display on the predetermined display unit. .
- the quality of the moving image data (received moving image) decoded by the information processing apparatus 100 is deteriorated compared to the quality of moving image data (transmitted moving image) held by the distribution server 10. May have.
- the received moving image may have a larger block distortion than the transmitted moving image, the edges may be unclear, or a part of the image may be lost.
- the information processing apparatus 100 completely converts the transmitted moving image because the distribution server 10 compresses and encodes the moving image data by inter-frame prediction or intra prediction. Sometimes it cannot be restored.
- Other reasons for the deterioration of the quality of the received moving image include packet loss during transmission of bit stream data and bit error in bit stream data.
- the information processing apparatus 100 calculates a quality index value indicating the quality of the received moving image as described above for each frame.
- the information processing apparatus 100 calculates not only an objective quality index value but also a quality index value indicating a quality that is almost the same as the quality visually perceived by humans.
- the quality index value calculation processing by the information processing apparatus 100 will be specifically described with reference to FIGS. 2-1 and 2-2.
- the process of calculating the quality index value of the B (Bi directional Predicted Frame) frame will be described separately.
- FIG. 2-1 is a diagram for explaining the process of calculating the quality index value of the I frame.
- the image quality is totally deteriorated because the floc skewness becomes large and the edges become unclear.
- the region F21a of the frame F21 is locally degraded due to packet loss or the like.
- the information processing apparatus 100 When calculating the quality index value S of such a frame F21, the information processing apparatus 100 first calculates the quality index value S ′ of the frame F21 by a method similar to the conventional NR method. Specifically, the information processing apparatus 100 calculates the block skewness of the frame F21, the cumulative value of edges, and the like as the quality index value S ′.
- the calculated quality index value S ′ indicates that the smaller the value, the higher the quality, and the higher the value, the lower the quality.
- the calculated quality index value S ′ is an index value based on the block skewness, the cumulative value of the edge, and the like, it does not change greatly regardless of whether or not a part of the image is locally degraded. Absent. However, the quality visually perceived by humans varies greatly depending on whether or not a part of the image is locally degraded. For example, when the region F21a is locally degraded as compared to the case where the region F21a is not locally degraded, a human feels that the quality of the frame F21 is extremely degraded.
- the information processing apparatus 100 identifies a region that is locally deteriorated due to packet loss or the like, and corrects the quality index value S ′, so that the quality that is substantially the same as the quality visually perceived by humans is obtained.
- An index value S is calculated. Specifically, in the process of decoding the frame F21, the information processing apparatus 100 determines whether or not there is a missing packet among a plurality of packets constituting the frame F21, and a bit error occurs. It is determined whether or not there is a packet that is being processed.
- the information processing apparatus 100 identifies the area corresponding to the missing packet and the area corresponding to the packet in which the bit error has occurred as a locally degraded area.
- the information processing apparatus 100 identifies the region F21a as a locally degraded region.
- an area identified as being locally degraded by the information processing apparatus 100 is referred to as an “error area”.
- the information processing apparatus 100 calculates a ratio (hereinafter referred to as “error area ratio”) Q of the error area in the entire area of the frame F21. Specifically, the information processing apparatus 100 calculates a value obtained by dividing the size of the error area by the size of the frame F21 as the error area ratio Q. The calculated error area ratio Q takes a value of “0.0 to 1.0”, and a larger value indicates that the quality is degraded.
- the information processing apparatus 100 calculates the degree of difference N (hereinafter referred to as “pixel difference degree”) N between the color used in the error area and the color originally used in the frame F21.
- pixel difference degree the degree of difference N
- color information used for an image is represented by a Y (luminance signal) component, a U (color difference signal) component, and a V (color difference signal) component.
- Y luminance signal
- U color difference signal
- V color difference signal
- the reason for calculating the pixel difference degree will be described.
- the U component and the V component used for the frame F21 generally take values of 70 to 130. This is because a U component or V component having a value other than 70 to 130 indicates an artificial color or a fluorescent color and does not exist in nature.
- the color used for moving image data may be generally determined depending on the type of moving image data (natural image, animation, etc.). In such a case, it can be said that the quality is degraded as the color used in the moving image data is significantly different from the originally used color.
- the information processing apparatus 100 calculates how much the color used in the error area is different from the color originally used in the frame F21. Specifically, the information processing apparatus 100 first calculates the average value of the Y component, the average value of the U component, and the average value of the V component in each pixel in the error region. Based on the calculated average value of the Y component, average value of the U component, average value of the V component, and a predetermined threshold range (hereinafter referred to as “image characteristic threshold value”), the information processing apparatus 100 The difference degree N is calculated. The calculated pixel difference N takes a value of “0.0 to 1.0”, and the larger the value is, the more the quality is degraded.
- the average value of the Y component, the average value of the U component, and the average value of the V component in each pixel in the error region may be collectively referred to as an image characteristic C.
- the image characteristic threshold is a color space in which the Y component is “0 to 255” and the U component and V component are “70 to 130”.
- the information processing apparatus 100 calculates the image characteristic C, and calculates the shortest distance between the image characteristic threshold value and the image characteristic C in the color space. Then, the information processing apparatus 100 calculates the pixel difference degree N by dividing the calculated shortest distance by a predetermined representative value.
- the information processing apparatus 100 calculates the quality index value S based on the quality index value S ′, the error area ratio Q, and the pixel difference degree N. Specifically, the information processing apparatus 100 divides the value obtained by subtracting the error area ratio Q from the value “1” and the value obtained by subtracting the pixel difference degree N from the value “1”. As a result, the quality index value S is calculated. That is, the information processing apparatus 100 calculates the quality index value S by the following formula.
- the quality index value S ′ is “100”
- the error area ratio Q is “0.4”
- the pixel difference degree N is “0.2”
- the calculated quality index value S is rounded off.
- the quality index value S calculated by the information processing apparatus 100 increases as the error area ratio Q increases, indicating that the quality is poor.
- the larger the error area size the more the human determines that the quality of the moving image data is degraded.
- the information processing apparatus 100 calculates the quality index value S by correcting the quality index value S ′ so that the higher the error area ratio Q is, the worse the quality is.
- the quality index value S indicating the quality of can be calculated.
- the quality index value S calculated by the information processing apparatus 100 increases as the pixel difference degree N increases, indicating that the quality is poor.
- humans determine that the quality of moving image data is degraded as a color different from the color originally used for moving image data is used. Since the information processing apparatus 100 calculates the quality index value S by correcting the quality index value S ′ so that the higher the pixel difference degree N is, the worse the quality is, it is almost the same as the quality of moving image data determined by humans.
- the quality index value S indicating the quality of can be calculated.
- FIG. 2-2 is a diagram for explaining processing for calculating a quality index value of a P frame or a B frame. It is assumed that the reference frame of the frame F22 is the frame F21 shown in FIG.
- the floc skewness becomes large and the edge is unclear, so that the quality is deteriorated as a whole, and the region F22a of the frame F22 is locally deteriorated due to packet loss or the like.
- the frame F22 refers to the locally degraded area F21a of the frame F21, the quality degradation is propagated to the area F22b.
- the information processing apparatus 100 When calculating the quality index value S of such a frame F22, the information processing apparatus 100 first calculates the quality index value S ′ of the frame F22 by a method similar to the conventional NR method. Specifically, the information processing apparatus 100 calculates the block skewness of the frame F22, the cumulative value of the edge, and the like as the quality index value S ′ as in the example described with reference to FIG.
- the information processing apparatus 100 identifies an area that is locally degraded due to packet loss or the like. Specifically, the information processing apparatus 100, like the example described with reference to FIG. 2A, includes an area corresponding to a missing packet and a packet in which a bit error occurs in the frame F22. The area corresponding to is specified as an error area. In the example illustrated in FIG. 2B, the information processing apparatus 100 identifies the area F22a as an error area.
- the information processing apparatus 100 calculates the pixel difference degree N in the error area. Specifically, the information processing apparatus 100 calculates the pixel difference degree N based on the image characteristic C in the error region and the image characteristic threshold, as in the example described with reference to FIG.
- the information processing apparatus 100 estimates a region where quality degradation is propagated based on the motion vector information.
- the information processing apparatus 100 is an area that refers to the error area F21a of the reference source frame F21, and the average value of the Y component, the average value of the U component, and the average value of the V component are described above.
- the region having a value close to the image characteristic C calculated in step S is estimated as a region where quality degradation is propagated.
- the information processing apparatus 100 estimates the frame region F22b as a region where quality degradation is propagated.
- an area where quality degradation is estimated to be propagated by the information processing apparatus 100 is referred to as an “error diffusion area”.
- the information processing apparatus 100 calculates a ratio (error area ratio Q) occupied by the error area and the error diffusion area in the area of the frame F22. Specifically, the information processing apparatus 100 calculates a value obtained by dividing the sum of the error area size and the error diffusion area size by the size of the frame F22 as the error area ratio Q.
- the information processing apparatus 100 calculates the quality index value S based on the quality index value S ′, the error area ratio Q, and the pixel difference degree N. Specifically, the information processing apparatus 100 calculates the quality index value S by Expression (1), as in the example described with reference to FIG.
- the information processing apparatus 100 performs the quality index value calculation process described above for each frame.
- the information processing apparatus 100 accumulates the calculated quality index value S in a predetermined storage unit or controls display on a predetermined display unit.
- the information processing apparatus 100 calculates an average value of quality index values of all the frames constituting one moving image data, and displays the calculated average value as a quality index value of moving image data on a predetermined display unit. You may do it.
- the information processing apparatus 100 calculates the quality index value S ′ indicating the objective quality in consideration of the block skewness and the sharpness of the edge, and the quality based on the error area ratio Q.
- the quality index value S is calculated by correcting the index value S ′.
- the information processing apparatus 100 calculates a quality index value S indicating a worse quality as the error area ratio Q is larger.
- the information processing apparatus 100 can calculate the quality index value S indicating a bad quality, as the size of the error area is larger, as well as the human feeling that the quality of the moving image data is degraded. .
- the information processing apparatus 100 calculates the quality index value S by correcting the quality index value S ′ based on the pixel difference degree N. Specifically, the information processing apparatus 100 calculates a quality index value S indicating a bad quality as the pixel difference degree N is larger. That is, the information processing apparatus 100 can calculate the quality index value S indicating the poor quality as the pixel difference degree N is large, as well as the human feeling that the quality of the moving image data is deteriorated.
- the information processing apparatus 100 estimates the error diffusion area and calculates the error area ratio Q, the quality index value S of the P frame or the B frame can be calculated in consideration of the propagation of quality degradation.
- the information processing apparatus 100 can calculate the quality index value S indicating the quality that is substantially the same as the quality of the moving image data determined by a human.
- FIG. 3 is a diagram illustrating the configuration of the information processing apparatus 100 according to the first embodiment.
- the information processing apparatus 100 includes an interface (hereinafter referred to as “I / F”) 110 and a control unit 120.
- the I / F 110 transmits / receives various information to / from the network 20.
- the I / F 110 receives a bitstream data packet distributed from the distribution server 10 via the network 20.
- the control unit 120 controls the information processing apparatus 100 as a whole, and includes a decoding unit 121, an information acquisition unit 122, a quality index value calculation unit 123, an error region specification unit 124, a pixel difference calculation unit 125, and an error diffusion.
- An area estimation unit 126 and a quality index value correction unit 127 are included.
- the decoding unit 121 When receiving the bit stream data via the I / F 110, the decoding unit 121 decodes (decodes) the bit stream data for each frame. In addition, the decoding unit 121 performs a decoding process and detects an area of a frame in which a packet loss or a bit error has occurred. Specifically, the decoding unit 121 detects an area other than the area corresponding to the packet input from the I / F 110 among the areas of the frame to be decoded as an area missing due to packet loss. . In addition, the decoding unit 121 detects a region where a bit error has occurred by performing a parity check or the like.
- the decoding unit 121 performs a packet loss or bit error detection process.
- the detection unit may perform a detection process other than the decoding unit 121.
- the information processing apparatus 100 may include an error detection unit that is a predetermined processing unit for detecting that a packet loss or a bit error has occurred.
- the information acquisition unit 122 acquires various types of information from the bit stream data received via the I / F 110 and the frame decoded by the decoding unit 121. Specifically, the information acquisition unit 122 includes time information T, block division size B, reference information R such as motion vector information and encoding type, and information indicating the type of moving image data (for example, (natural image, Information indicating animation etc.) is acquired.
- the time information T acquired by the information acquisition unit 122 is used to specify a frame in the moving image data.
- the pixels in the frame specified by the time information T are denoted as pixels (x, y, T).
- “x” and “y” in the pixel (x, y, T) indicate the position of the x coordinate and the position of the y coordinate when the frame is represented by the xy coordinates.
- the frame (300, 200, T) indicates a pixel whose x coordinate and y coordinate are (300, 200) among the pixels in the frame specified by the time information T.
- the block division size B is used, for example, when calculating the quality index value S ′. Also, reference information R such as motion vector information and coding type is used to estimate an error diffusion region. The type of moving image data is used to calculate the pixel difference degree N.
- the quality index value calculation unit 123 calculates the quality index value S ′ of the frame decoded by the decoding unit 121. Specifically, the quality index value calculation unit 123 calculates the block distortion degree of the frame, the cumulative value of the edge, and the like as the quality index value S ′ as in the conventional NR method. The quality index value calculation unit 123 calculates the cumulative value of edges using an edge detection filter such as a Sobel filter or a Prewitt filter.
- an edge detection filter such as a Sobel filter or a Prewitt filter.
- the error area specifying unit 124 specifies the error area of the frame decoded by the decoding unit 121. Specifically, the error area specifying unit 124 specifies an area where a packet loss has been detected by the decoding unit 121 and an area where a bit error has been detected as an error area. .
- the error area specifying unit 124 defines, for each pixel, information indicating whether or not the pixel is in the error area (hereinafter referred to as “error area information”).
- error area information when the error area information is “0”, it indicates that the pixel is not in the error area, and when the error area information is “1”, it indicates that the pixel is in the error area.
- the error area specifying unit 124 defines the error area information of the pixel (0, 0, T) as “0”.
- the error area specifying unit 124 defines the error area information of the pixel (1, 0, T) as “1”.
- the pixel difference calculation unit 125 calculates the pixel difference degree N in the error area specified by the error area specifying unit 124. Specifically, the pixel difference calculation unit 125 calculates the Y component value, the U component value, and the V component value of each pixel in which “1 (with error)” is defined in the error region information, and the error is calculated. An image characteristic C (average value of Y component, average value of U component, average value of V component) in the region is calculated. Subsequently, the pixel difference calculation unit 125 calculates the shortest distance between the image characteristic threshold in the color space and the calculated image characteristic C. Then, the information processing apparatus 100 calculates the pixel difference degree N by dividing the calculated shortest distance by a predetermined representative value.
- the pixel difference calculation unit 125 changes the image characteristic threshold used when calculating the pixel difference degree N based on information indicating the type of moving image data acquired by the information acquisition unit 122.
- the pixel difference calculation unit 125 may calculate an average value of the R (red) component, the G (green) component, and the B (blue) component in each pixel in the error region. In this case, the pixel difference calculation unit 125 calculates the pixel difference degree N based on the shortest distance between the image characteristic threshold value in the RGB color space and the calculated average value.
- the error diffusion region estimation unit 126 performs error diffusion based on the motion vector information R acquired by the information acquisition unit 122 when the processing target frame is an inter-frame predicted frame such as a P frame or a B frame. Estimate the region. Specifically, the error diffusion area estimation unit 126 is an area that refers to the error area of the reference source frame, and the average value of each YUV component is the image characteristic calculated by the pixel difference calculation unit 125. An area close to C is estimated as an error diffusion area.
- the error diffusion region estimation unit 126 defines information (hereinafter referred to as “error diffusion region information”) indicating whether or not the pixel is in the error diffusion region for each pixel.
- error diffusion region information when the error diffusion region information is “0”, it indicates that the pixel is not in the error diffusion region, and when the error diffusion region information is “1”, it indicates that the pixel is in the error diffusion region. I will show you.
- the error diffusion region estimation unit 126 defines the error diffusion region information of the pixel (0, 0, T) as “0”.
- the error diffusion region estimation unit 126 defines the error diffusion region information of the pixel (1, 0, T) as “1”. To do.
- the quality index value correcting unit 127 corrects the quality index value S ′ calculated by the quality index value calculating unit 123 to calculate the quality index value S. Specifically, when the processing target frame is not an inter-frame predicted frame, the quality index value correction unit 127 calculates the size of the error region by summing up pixels whose error region information is “1”. Subsequently, the quality index value correction unit 127 calculates the error area ratio Q by dividing the error area size by the frame size.
- the quality index value correction unit 127 calculates the size of the error area and totals the pixels whose error diffusion area information indicates “1”. The size of the error diffusion area is calculated. Subsequently, the quality index value correction unit 127 calculates the error area ratio Q by dividing the sum of the error area size and the error diffusion area size by the frame size.
- the quality index value correction unit 127 calculates the error area ratio Q, the quality index value S ′ calculated by the quality index value calculation unit 123, and the pixel difference degree N calculated by the pixel difference calculation unit 125. Based on this, a quality index value S is calculated. Specifically, the quality index value correction unit 127 calculates the quality index value S by the above formula (1).
- FIG. 4 is a flowchart illustrating the quality index value calculation processing procedure performed by the information processing apparatus 100 according to the first embodiment.
- the information processing apparatus 100 receives bit stream data via the I / F 110 (step S101).
- the decoding unit 121 decodes the received bit stream data for each frame (step S102). At this time, the decoding unit 121 detects an area in the frame in which a packet loss or a bit error has occurred (step S103).
- the information acquisition unit 122 acquires various types of information such as time information T, block division size B, and reference information R from the received bitstream data and the frame decoded by the decoding unit 121 (step S104). ).
- the quality index value calculation unit 123 calculates the quality index value S ′ of the frame decoded by the decoding unit 121 (step S105).
- the error region specifying unit 124 specifies an error region based on the region detected by the decoding unit 121 that a packet loss or bit error has occurred (step S106).
- the pixel difference calculation unit 125 calculates the image characteristic C in each pixel in which “1 (error present)” is defined in the error area information (step S107). Subsequently, the pixel difference calculation unit 125 calculates the shortest distance between the image characteristic threshold in the color space and the calculated image characteristic C. Subsequently, the pixel difference calculation unit 125 calculates the pixel difference degree N by dividing the calculated shortest distance by a predetermined representative value (step S108).
- the error diffusion region estimation unit 126 determines that the error diffusion region is based on the motion vector information R acquired by the information acquisition unit 122 when the processing target frame is a frame predicted between frames (Yes in step S109). Is estimated (step S110). Subsequently, the quality index value correction unit 127 calculates an error area ratio Q that is a ratio of the error area and the error diffusion area in the entire area of the frame (step S111).
- the quality index value correction unit 127 calculates an error area ratio Q that is the ratio of the error area to the entire area of the frame. (Step S112).
- the quality index value correction unit 127 calculates the quality index value S ′ calculated by the quality index value calculation unit 123, the pixel difference degree N calculated by the pixel difference calculation unit 125, and the calculation in step S111 or step S112.
- a quality index value S is calculated based on the error area ratio Q (step S113).
- the information processing apparatus 100 ends the process when the quality index value S is calculated for all the frames of the moving image data (Yes in step S114). On the other hand, when the quality index value S has not been calculated for all the frames of the moving image data (No at Step S114), the information processing apparatus 100 repeatedly performs the processes at Steps S102 to S114.
- the information processing apparatus 100 calculates the quality index value S ′ indicating objective quality in consideration of the block distortion degree and the edge sharpness. Then, the quality index value S is calculated by correcting the quality index value S ′ based on the error area ratio Q and the pixel difference degree N. As a result, the information processing apparatus 100 can calculate the quality index value S indicating a quality that is substantially the same as the quality of the moving image data determined by a human.
- the error area specifying unit 124 specifies an area in which a packet loss or a bit error has occurred as an error area.
- the error region may be specified by calculating the characteristic C.
- the information processing apparatus 100 may specify a pixel in which the calculated image characteristic C does not exist within the range of the image characteristic threshold as an error area. Such an information processing apparatus 100 can be applied to the case where the quality index value S of moving image data received without going through the network 20 is calculated.
- a predetermined device may analyze the quality of the moving image data based on the quality index value S calculated by each information processing device. Therefore, in a second embodiment, a moving image distribution system including an information processing device that calculates a quality index value S and a quality management device that analyzes the quality index value S will be described.
- FIG. 5 is a diagram illustrating the moving image distribution system 2 according to the second embodiment.
- the moving image distribution system 2 includes a distribution server 10 and information processing devices 200a to 200n that receive moving image data via the network 20.
- the information processing device 200 when it is not necessary to specify any of the information processing devices 200a to 200n, these are collectively referred to as the information processing device 200.
- the information processing apparatus 200 calculates the quality index value S of the bit stream data received from the distribution server 10 for each frame, as in the first embodiment. Then, the information processing apparatus 200 transmits various information including the calculated quality index value S and the like (hereinafter referred to as “quality related information”) to the quality management apparatus 300.
- the quality management device 300 receives the quality related information from the information processing device 200 and analyzes the quality of the video data held by the information processing device 200 based on the received quality related information. Specifically, when the quality management apparatus 300 receives quality-related information in the same moving image data from a plurality of information processing apparatuses 200, the quality management apparatus 300 compares the quality-related information and holds the information. It is determined whether or not the moving image data has a quality equal to or higher than a predetermined reference value.
- FIG. 6 is a diagram illustrating a configuration of the information processing apparatus 200 illustrated in FIG.
- the information processing apparatus 200 includes an I / F 210 and a control unit 220.
- the control unit 220 newly includes a transmission unit 228 as compared with the control unit 120 illustrated in FIG.
- the transmission unit 228 transmits the quality related information including the quality index value S calculated by the quality index value correction unit 127 to the quality management apparatus 300 via the I / F 210.
- the transmission unit 228 transmits quality-related information including a quality index value S, time information T for specifying a frame, error area information and error diffusion area information, an error area ratio Q, a pixel difference degree N, and the like. Transmit every frame.
- FIG. 7 is a diagram showing a configuration of the quality management apparatus 300 shown in FIG.
- the quality management apparatus 300 includes an I / F 310, a storage unit 320, and a control unit 330.
- the I / F 310 transmits / receives various information to / from the network 20.
- the I / F 310 receives quality-related information from the information processing apparatus 200 via the network 20.
- the storage unit 320 is a storage device that stores various types of information, and includes a quality-related information storage unit 321 and a log information storage unit 322.
- the quality related information storage unit 321 stores quality related information received by the receiving unit 331 described later.
- the log information storage unit 322 stores log information and is, for example, a text file or a table.
- the control unit 330 controls the quality management apparatus 300 as a whole, and includes a reception unit 331, a reference value determination unit 332, a quality determination unit 333, and a log output unit 334.
- the receiving unit 331 receives various information via the I / F 310.
- the reception unit 331 stores the received quality-related information in the quality-related information storage unit 321.
- the reference value determination unit 332 determines a quality index value reference value (hereinafter referred to as “quality index reference value”) for each frame based on the quality related information stored in the quality related information storage unit 321. Specifically, the reference value determination unit 332 acquires, from the quality related information storage unit 321, quality related information with the same moving image data and the same time information T. Furthermore, the reference value determination unit 332 acquires quality related information in which no error due to packet loss or the like has occurred among the acquired quality related information. At this time, the reference value determination unit 332 determines whether or not an error has occurred based on any one of the error area information, the error diffusion area information, and the error area ratio Q. For example, when all the error area information is “0”, it indicates that there is no error area. Therefore, the reference value determination unit 332 can determine that no error has occurred.
- quality index reference value a quality index value reference value reference value
- the reference value determination unit 332 compares all the quality index values S included in the acquired quality related information. If there is no difference in the quality index value S as a result of the comparison, the reference value determination unit 332 determines that the quality index value S included in the acquired quality related information is the quality index reference value Ss. On the other hand, when there is a difference in the quality index value S, the reference value determination unit 332 determines that the highest quality index value S is the quality index reference value Ss. For example, when all the quality index values S included in the acquired quality related information are “100, 100, 100, 105, 110”, “100” is the most, so the reference value determination unit 332 The reference value Ss is determined to be “100”. The reference value determination unit 332 may determine the average value of the acquired quality index values S as the quality index reference value Ss when there is a difference in the acquired quality index values S.
- the quality determination unit 333 determines whether or not each frame has a quality below a predetermined standard. Specifically, the quality determination unit 333 calculates a value (hereinafter referred to as “quality index allowable value”) Sth obtained by dividing the quality index reference value Ss determined by the reference value determination unit 332 by a predetermined threshold. Subsequently, the quality determination unit 333 acquires, from the quality related information storage unit 321, quality related information whose quality index value S is equal to or higher than the quality index allowable value Sth. Then, the quality determination unit 333 determines that the frame indicated by the acquired quality related information is a frame whose quality is equal to or lower than a predetermined reference.
- quality index allowable value a value obtained by dividing the quality index reference value Ss determined by the reference value determination unit 332 by a predetermined threshold.
- the quality determination unit 333 is a value obtained by dividing the quality index reference value Ss “100” by the threshold “0.8”. “125” is calculated as the quality index allowable value Sth. Subsequently, the quality determination unit 333 acquires, from the quality related information storage unit 321, quality related information whose quality index value S is equal to or higher than the quality index allowable value Sth “125”.
- the log output unit 334 outputs information related to the frame specified by the quality determination unit 333 to the log information storage unit 322. Specifically, the log output unit 334 stores information for identifying the information processing apparatus 200 that has transmitted from the frame specified by the quality determination unit 333 and the quality-related information of the frame in a predetermined format as log information. To the unit 322.
- FIG. 8 is a flowchart showing a quality determination processing procedure performed by the quality management apparatus 300 shown in FIG.
- the receiving unit 331 of the quality management device 300 receives quality related information from the information processing device 200 (step S201), and stores the received quality related information in the quality related information storage unit 321.
- the reference value determination unit 332 determines that the moving image data is the same and the time information T is the same from the quality-related information storage unit 321 when the predetermined timing comes (Yes in step S202), and Quality-related information in which no error has occurred is acquired (step S203).
- the “predetermined timing” refers to a case where it is detected that quality related information of frames constituting the same moving image data is acquired from a plurality of information processing apparatuses 200.
- the reference value determining unit 332 compares all the quality index values S included in the acquired quality related information (step S204). As a result of the comparison, if there is no difference in the quality index value S (No at Step S205), the reference value determination unit 332 determines that the acquired quality index value S is the quality index reference value Ss (Step S206). On the other hand, when there is a difference in the acquired quality index value S (Yes at Step S205), the reference value determining unit 332 determines that the highest quality index value S is the quality index reference value Ss (Step S207).
- the quality index allowable value Sth is calculated by dividing the quality index reference value Ss determined by the reference value determining unit 332 by a predetermined threshold (step S208).
- the quality determination unit 333 acquires quality-related information whose quality index value S is equal to or higher than the quality index allowable value Sth from the quality-related information storage unit 321 (step S209). Then, the quality determination unit 333 determines that the frame indicated by the acquired quality related information is a frame whose quality is equal to or lower than a predetermined reference.
- the log output unit 334 outputs information regarding the frame specified by the quality determination unit 333, information for identifying the information processing apparatus 200 that has transmitted the frame, and the like to the log information storage unit 322 (step S210). ).
- the information processing apparatus 200 calculates the quality index value S, and transmits the quality related information including the calculated quality index value S to the quality management apparatus 300. .
- the quality management device 300 receives the quality related information from the plurality of information processing devices 200 and compares the received quality related information so that each frame constituting the moving image data has a quality equal to or higher than a predetermined reference value. It is determined whether or not it has.
- the moving image distribution system 2 can automatically determine whether or not the moving image data held by the information processing apparatus 200 has a quality equal to or higher than a predetermined reference value.
- the user only needs to confirm the result of quality determination processing performed by the quality management device 300 (information stored in the log information storage unit 322). The quality of the moving image data held by the user 200 can be confirmed.
- the quality management apparatus 300 performs the quality determination process for each frame.
- the quality management apparatus 300 divides the moving image data into a plurality of frames, You may determine whether the average value of the quality index value S is below a predetermined reference
- the quality management apparatus 300 may perform quality determination processing for each section by dividing each time an I frame appears in the moving image data. Further, for example, the quality management apparatus 300 may analyze the quality using one moving image data as one section.
- the error diffusion region estimation unit 126 estimates the error diffusion region when the processing target frame is a frame predicted between frames.
- the error diffusion region estimation unit 126 may estimate the error diffusion region even when the processing target frame is an intra-predicted frame.
- the error diffusion region estimation unit 126 is a region that refers to the error region in the processing target frame based on the motion vector information R, and the average value of each YUV component is the pixel difference calculation unit.
- An area having a value close to the image characteristic C calculated by 125 is estimated as an error diffusion area.
- the quality index value calculation unit 123 calculates the quality index value S ′ using the same method as the conventional NR method.
- the quality index value S ′ may be calculated using a method similar to the conventional RR method.
- the distribution server 10 transmits the feature amount for each frame in the moving image data to be distributed to the information processing apparatus 100 or 200. Then, the information processing apparatus 100 or 200 calculates the quality index value S ′ based on the feature amount decoded by the decoding unit 121 and the feature amount received from the distribution server 10.
- the configurations of the information processing apparatuses 100 and 200 shown in FIGS. 3 and 6 can be variously changed without departing from the gist.
- the functions of the control unit 120 or 220 of the information processing apparatus 100 or 200 can be implemented as software, and the functions equivalent to those of the information processing apparatus 100 or 200 can be realized by executing the software on a computer.
- An example of a computer that executes a quality index value calculation program 1071 in which the function of the control unit 120 is implemented as software is shown below.
- FIG. 9 is a diagram showing a computer 1000 that executes the quality index value calculation program 1071.
- the computer 1000 includes a CPU (Central Processing Unit) 1010 that executes various arithmetic processes, an input device 1020 that receives input of data from a user, a monitor 1030 that displays various information, and a medium that reads a program from a recording medium.
- a bus 1080 includes a reading device 1040, a network interface device 1050 that exchanges data with other computers via a network, a RAM (Random Access Memory) 1060 that temporarily stores various information, and a hard disk device 1070. Connected and configured.
- the hard disk device 1070 stores a quality index value calculation program 1071 having the same function as that of the control unit 120 shown in FIG. Then, the CPU 1010 reads the quality index value calculation program 1071 from the hard disk device 1070 and develops it in the RAM 1060, whereby the quality index value calculation program 1071 functions as the quality index value calculation process 1061. Then, the quality index value calculation process 1061 executes various data processing.
- the quality index value calculation program 1071 does not necessarily need to be stored in the hard disk device 1070.
- the computer 1000 reads out and executes this program stored in a storage medium such as a CD-ROM. Also good.
- the computer 1000 stores the program in another computer (or server) connected to the computer 1000 via a public line, the Internet, a LAN (Local Area Network), a WAN (Wide Area Network), or the like. You may make it read and run a program from these.
- the configuration of the quality control device 300 shown in FIG. 7 can be variously changed without departing from the gist.
- the function of the control unit 330 of the quality management apparatus 300 is implemented as software, and is executed by a computer, whereby a function equivalent to the quality management apparatus 300 can be realized.
- An example of a computer that executes a quality determination program 2071 that implements the function of the control unit 330 as software will be described below.
- FIG. 10 is a diagram illustrating a computer 2000 that executes the quality determination program 2071.
- the computer 2000 includes a CPU 2010 that executes various arithmetic processes, an input device 2020 that receives input of data from a user, a monitor 2030 that displays various information, a medium reading device 2040 that reads a program and the like from a recording medium, a network A network interface device 2050 that exchanges data with other computers via the network, a RAM 2060 that temporarily stores various types of information, and a hard disk device 2070 are connected via a bus 2080.
- the hard disk device 2070 has a quality determination program 2071 having the same function as that of the control unit 330 shown in FIG. 7 and quality related data 2072 corresponding to various data stored in the quality related information storage unit 321 shown in FIG. And a log file 2073 corresponding to the log information storage unit 322 shown in FIG. Note that the quality related data 2072 or the log file 2073 may be appropriately distributed and stored in another computer connected via a network.
- the quality determination program 2071 functions as the quality determination process 2061.
- the quality determination process 2061 expands information read from the quality-related data 2072 and the like in an area allocated to itself on the RAM 2060 as appropriate, and executes various data processing based on the expanded data. Then, the quality judgment process 2061 outputs predetermined information to the log file 2073.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することができる品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムを提供することを課題とする。動画データを構成する各フレームのブロック歪度やエッジの鮮明度などの品質指標値S´と、パケットエラー等が発生したエラー領域の割合であるエラー領域割合Qと、動画データに本来用いられる色との差異の度合である画素差分度Nとを算出し、算出した品質指標値S´と、エラー領域割合Qと、画素差分度Nとに基づいて品質指標値Sを算出することにより、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することを実現する。
Description
本発明は、品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムに関する。
従来、動画データをユーザ端末に配信する動画配信システムが利用されている。動画配信システムにおいて、動画データを配信する配信サーバは、動画データを符号化(エンコード)することにより、ビットストリームデータを生成する。そして、配信サーバは、生成したビットストリームデータを、ネットワークを介してユーザ端末へ送信する。ユーザ端末は、受信したビットストリームデータを復号化(デコード)することにより動画データを復元する。
このような動画配信システムでは、配信サーバがフレーム間予測などの技術を用いて動画データを圧縮符号化するために、ユーザ端末が動画データを完全に復元できないことがある。かかる場合、ユーザ端末によって復号化される動画データの品質は劣化する。近年では、このようなユーザ端末が保持する動画データの劣化度合を評価するために、動画データの品質を示す指標値(以下、「品質指標値」という)を算出することがある。
動画データの品質指標値を算出する手法として、例えば、NR(Non Reference)法や、RR(Reduced Reference)法が知られている。NR法は、ユーザ端末によって復号化された動画データ(以下、「受信動画像」という)のブロック歪度(ブロック境界の断層)や、ボケ度(Sobelフィルタなどにより検出したエッジの累計値)などを品質指標値として算出する手法である。RR法は、配信サーバが保持する動画データ(以下、「送信動画像」という)の特徴量と、ユーザ端末が保持する受信動画像の特徴量とを比較することで品質指標値を算出する手法である。
ところで、動画配信システムでは、ビットストリームデータの伝送中にパケットロスが発生したり、ビットエラーが発生したりする場合がある。かかる場合、ユーザ端末によって復号化された動画データは、局所的に劣化する。局所的に劣化した動画データを人間が見た場合、品質(画質など)が著しく低下していると感じる。しかしながら、上述した動画データの品質評価手法には、動画データが局所的に劣化した場合であっても、人間が視覚的に感じる品質と異なる品質を示す品質指標値を算出するという問題があった。これは、NR法によって算出される品質指標値は、あくまでブロック歪度やボケ度などに基づいた客観的な品質を示すに過ぎないからである。
かかる問題点について、図11を用いて具体的に説明する。図11に示したフレームF10は、送信動画像を構成する所定のフレームである。また、図11に示したフレームF11およびF12は、配信サーバによって符号化されたフレームF10がユーザ端末によって復号化されたフレームである。図11に示した例において、フレームF11は、ユーザ端末がフレームF10を完全に復元できなかったために、全体的に品質が劣化している。具体的には、フレームF11は、フレームF10と比較して、ブロック歪度が大きかったり、エッジが不鮮明であったりする。一方、フレームF12は、全体的に品質が劣化しており、さらに、パケットロス等によって領域F12aが局所的に劣化している。
このようなフレームF11およびF12の品質指標値をNR法によって算出する場合、フレームF11の品質指標値と、フレームF12の品質指標値とがほぼ同一の値になる場合がある。しかし、人間が視覚的に感じる品質は、フレームF11よりもフレームF12の方が極めて悪い。このように、従来のFR法によって算出される品質指標値は、パケットロス等によって動画データが局所的に劣化した場合に、人間が視覚的に感じる品質と異なる品質を示す場合があった。
上述した問題点は、RR法においても同様に発生していた。RR法は、送信動画像の特徴量を用いるため、NR法よりも精度の高い品質指標値を算出できるが、動画データが著しく劣化した場合には、やはり、上記問題があった。
なお、動画データの品質指標値を算出する手法には、FR(Full Reference)法と呼ばれる手法もあるが、FR法は、送信動画像と、受信動画像とを画素同士で比較するため、配信サーバと、ユーザ端末が物理的に離れている場合には用いることができなかった。
開示の技術は、上述した従来技術による問題点を解消するためになされたものであり、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することができる品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本願に開示する品質指標値算出方法は、動画データの品質を算出する情報処理装置による品質指標値算出方法であって、前記情報処理装置が、パケットに分割された動画データを受信する受信工程と、前記受信工程によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化工程と、前記受信工程によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出工程と、前記復号化工程によって復号化されたフレームの領域のうち、前記エラー検出工程によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定工程と、前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定工程によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出工程とを含んだことを要件とする。
なお、本願に開示する品質指標値算出方法の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも、他の態様として有効である。
本願に開示した品質指標値算出方法によれば、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値を算出することができるという効果を奏する。
1、2 動画配信システム
10 配信サーバ
20 ネットワーク網
100、100a~100n 情報処理装置
110 I/F
120、220 制御部
121 復号化部
122 情報取得部
123 品質指標値算出部
124 エラー領域特定部
125 画素差分算出部
126 エラー拡散領域推定部
127 品質指標値補正部
200、200a~200n 情報処理装置
228 送信部
300 品質管理装置
310 I/F
320 記憶部
321 品質関連情報記憶部
322 ログ情報記憶部
330 制御部
331 受信部
332 基準値決定部
333 品質判定部
334 ログ出力部
1000、2000 コンピュータ
1010、2010 CPU
1020、2020 入力装置
1030、2030 モニタ
1040、2040 媒体読取り装置
1050、2050 ネットワークインターフェース装置
1060、2060 RAM
1061 品質指標値算出プロセス
1070、2070 ハードディスク装置
1071 品質指標値算出プログラム
1080、2080 バス
2061 品質判定プロセス
2071 品質判定プログラム
2072 品質関連データ
2073 ログファイル
10 配信サーバ
20 ネットワーク網
100、100a~100n 情報処理装置
110 I/F
120、220 制御部
121 復号化部
122 情報取得部
123 品質指標値算出部
124 エラー領域特定部
125 画素差分算出部
126 エラー拡散領域推定部
127 品質指標値補正部
200、200a~200n 情報処理装置
228 送信部
300 品質管理装置
310 I/F
320 記憶部
321 品質関連情報記憶部
322 ログ情報記憶部
330 制御部
331 受信部
332 基準値決定部
333 品質判定部
334 ログ出力部
1000、2000 コンピュータ
1010、2010 CPU
1020、2020 入力装置
1030、2030 モニタ
1040、2040 媒体読取り装置
1050、2050 ネットワークインターフェース装置
1060、2060 RAM
1061 品質指標値算出プロセス
1070、2070 ハードディスク装置
1071 品質指標値算出プログラム
1080、2080 バス
2061 品質判定プロセス
2071 品質判定プログラム
2072 品質関連データ
2073 ログファイル
以下に、本願に開示する品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例により本願に開示する品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラムが限定されるものではない。
まず、実施例1に係る情報処理装置100を含む動画配信システム1について説明する。図1は、実施例1に係る情報処理装置100を含む動画配信システム1を示す図である。図1に示すように、動画配信システム1は、動画データを配信する配信サーバ10と、ネットワーク網20を介して動画データを受信する情報処理装置100a~100nとを含む。なお、以下の説明では、情報処理装置100a~100nについて、いずれかを特定する必要がない場合には、これらを総称して情報処理装置100と表記するものとする。
配信サーバ10は、動画データを保持しており、かかる動画データをネットワーク網20を介して情報処理装置100へ配信する。具体的には、配信サーバ10は、動画データを符号化してビットストリームデータを生成し、生成したビットストリームデータを所定のサイズのパケットに分割してネットワーク網20へ送信する。
情報処理装置100は、配信サーバ10から配信されるビットストリームデータを受信し、受信したビットストリームデータを所定の表示部に表示制御したりする。具体的には、情報処理装置100は、配信サーバ10から受信したビットストリームデータを復号化して、復号化した動画データを所定の記憶部に格納したり、所定の表示部に表示制御したりする。
このような動画配信システム1において、情報処理装置100によって復号化された動画データ(受信動画像)の品質は、配信サーバ10が保持する動画データ(送信動画像)の品質と比較して、劣化している場合がある。具体的には、受信動画像は、送信動画像よりもブロック歪度が大きかったり、エッジが不鮮明であったり、画像の一部分が欠落したりする場合がある。このように受信動画像の品質が劣化する理由の1つとして、配信サーバ10がフレーム間予測やイントラ予測などにより動画データを圧縮符号化するために、情報処理装置100が送信動画像を完全に復元できないことがある。また、受信動画像の品質が劣化する他の理由として、ビットストリームデータの伝送中にパケットロスが発生したり、ビットストリームデータにビットエラーが発生したりすることがある。
実施例1に係る情報処理装置100は、上述したような受信動画像の品質を示す品質指標値をフレームごとに算出する。特に、情報処理装置100は、客観的な品質指標値だけでなく、人間が視覚的に感じる品質とほぼ同様の品質を示す品質指標値を算出する。図2-1および図2-2を用いて、情報処理装置100による品質指標値算出処理について具体的に説明する。なお、以下では、フレーム間予測を用いずに符号化されたI(Intra coded Frame)フレームの品質指標値を算出する処理と、フレーム間予測を用いて符号化されたP(Predicted Frame)フレームまたはB(Bi directional Predicted Frame)フレームの品質指標値を算出する処理とを分けて説明する。
図2-1は、Iフレームの品質指標値を算出する処理を説明するための図である。図2-1に示したフレームF21は、フロック歪度が大きくなったり、エッジが不鮮明になったりしているため、画質が全体的に劣化している。また、フレームF21は、パケットロス等によってフレームF21の領域F21aが局所的に劣化している。
情報処理装置100は、このようなフレームF21の品質指標値Sを算出する場合、まず、従来のNR法と同様の手法によりフレームF21の品質指標値S´を算出する。具体的には、情報処理装置100は、品質指標値S´として、フレームF21のブロック歪度や、エッジの累計値などを算出する。算出された品質指標値S´は、値が小さいほど品質が高いことを示し、値が大きいほど品質が低いことを示す。
算出された品質指標値S´は、ブロック歪度やエッジの累計値などに基づいた指標値であるため、画像の一部分が局所的に劣化しているか否かに関わらず、大きく変化することはない。しかし、人間が視覚的に感じる品質は、画像の一部分が局所的に劣化しているか否かによって大きく異なる。例えば、領域F21aが局所的に劣化していない場合と比較して、領域F21aが局所的に劣化している場合、人間は、フレームF21の品質が極めて劣化していると感じる。
そこで、情報処理装置100は、パケットロス等によって局所的に劣化している領域を特定し、品質指標値S´を補正することで、人間が視覚的に感じる品質とほぼ同様の品質を示す品質指標値Sを算出する。具体的には、情報処理装置100は、フレームF21を復号化する処理において、フレームF21を構成する複数のパケットのうち、欠落しているパケットが存在する否かを判定するとともに、ビットエラーが発生しているパケットが存在するか否かを判定する。
そして、情報処理装置100は、欠落しているパケットに対応する領域、および、ビットエラーが発生しているパケットに対応する領域を、局所的に劣化している領域に特定する。図2-1に示した例では、情報処理装置100は、領域F21aを局所的に劣化している領域に特定する。なお、以下では、情報処理装置100によって局所的に劣化していると特定された領域を「エラー領域」と呼ぶこととする。
続いて、情報処理装置100は、フレームF21の全体領域のうち、エラー領域が占める割合(以下、「エラー領域割合」という)Qを算出する。具体的には、情報処理装置100は、エラー領域のサイズを、フレームF21のサイズによって除算した値をエラー領域割合Qとして算出する。算出されたエラー領域割合Qは、「0.0~1.0」の値を取り、値が大きいほど品質が劣化していることを示す。
例えば、フレームF21のサイズが「300」であり、エラー領域のサイズが「60」である場合、情報処理装置100は、エラー領域割合Qとして、60/300=0.2を算出する。また、例えば、フレームF21のサイズが「300」であり、エラー領域のサイズが「120」である場合、情報処理装置100は、エラー領域割合Qとして、120/300=0.4を算出する。
また、情報処理装置100は、エラー領域に用いられている色と、フレームF21に本来用いられる色との差異の度合(以下、「画素差分度」という)Nを算出する。なお、本明細書では、画像に用いられる色情報を、Y(輝度信号)成分、U(色差信号)成分、V(色差信号)成分によって表すものとする。かかるY成分、U成分、V成分は、それぞれ8ビット(0~255)の数値を取り得る。
ここで、画素差分度を算出する理由について説明する。例えば、フレームF21が自然画である場合、フレームF21に用いられるU成分およびV成分は、概ね70~130の値を取ることが知られている。これは、値が70~130以外であるU成分またはV成分は、人工色や蛍光色を示し、自然界には存在しない色だからである。このように動画データの種類(自然画、アニメーションなど)によって、動画データに用いられる色が概ね決定されることがある。このような場合、動画データに用いられている色が、本来用いられる色と大きく異なるほど、品質が劣化しているといえる。
そこで、情報処理装置100は、エラー領域に用いられている色が、フレームF21に本来用いられる色とどの程度異なるかを算出する。具体的には、情報処理装置100は、まず、エラー領域の各画素におけるY成分の平均値、U成分の平均値、V成分の平均値を算出する。そして、情報処理装置100は、算出したY成分の平均値、U成分の平均値、V成分の平均値と、所定の閾値の範囲(以下、「画像特性閾値」という)とに基づいて、画素差分度Nを算出する。算出された画素差分度Nは、「0.0~1.0」の値を取り、値が大きいほど品質が劣化していることを示す。なお、以下では、エラー領域の各画素におけるY成分の平均値、U成分の平均値、V成分の平均値を総称して画像特性Cと表記することがある。
上述した自然画の例を用いて説明すると、画像特性閾値は、Y成分が「0~255」であり、U成分およびV成分が「70~130」である色空間になる。情報処理装置100は、画像特性Cを算出し、色空間における画像特性閾値と画像特性Cとの最短距離を算出する。そして、情報処理装置100は、算出した最短距離を所定の代表値によって除算することにより画素差分度Nを算出する。ここでいう「所定の代表値」とは、色空間において画像特性閾値との差分が最も大きくなる値である。例えば、代表値が「100」であり、色空間における画像特性閾値と画像特性Cとの最短距離が「10」である場合、情報処理装置100は、画素差分度Nとして、10/100=0.1を算出する。
続いて、情報処理装置100は、品質指標値S´、エラー領域割合Qおよび画素差分度Nに基づいて、品質指標値Sを算出する。具体的には、情報処理装置100は、品質指標値Sに、値「1」からエラー領域割合Qを減算した値を除算するとともに、値「1」から画素差分度Nを減算した値を除算することにより品質指標値Sを算出する。すなわち、情報処理装置100は、以下の式によって品質指標値Sを算出する。
S = S´/{(1-Q)×(1-N)} ・・・ (1)
例えば、品質指標値S´が「100」であり、エラー領域割合Qが「0.2」であり、画素差分度Nが「0.1」である場合、情報処理装置100は、上記式(1)により、品質指標値Sとして、100/{(1-0.2)×(1-0.1)}=139を算出する。また、品質指標値S´が「100」であり、エラー領域割合Qが「0.4」であり、画素差分度Nが「0.2」である場合、情報処理装置100は、上記式(1)により、品質指標値Sとして、100/{(1-0.4)×(1-0.2)}=208を算出する。なお、ここでは、算出された品質指標値Sは四捨五入するものとする。
すなわち、情報処理装置100によって算出された品質指標値Sは、エラー領域割合Qが大きくなるほど、値が大きくなり品質が悪いことを示す。一般的に、エラー領域のサイズが大きいほど、人間は動画データの品質が劣化していると判断する。情報処理装置100は、エラー領域割合Qが大きいほど、悪い品質を示すように、品質指標値S´を補正して品質指標値Sを算出するので、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Sを算出することができる。
また、情報処理装置100によって算出された品質指標値Sは、画素差分度Nが大きくなるほど、値が大きくなり品質が悪いことを示す。一般的に、動画データに本来用いられる色と異なる色が用いられるほど、人間は動画データの品質が劣化していると判断する。情報処理装置100は、画素差分度Nが大きいほど、悪い品質を示すように、品質指標値S´を補正して品質指標値Sを算出するので、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Sを算出することができる。
次に、PフレームまたはBフレームの品質指標値を算出する処理について説明する。図2-2は、PフレームまたはBフレームの品質指標値を算出する処理を説明するための図である。なお、フレームF22の参照元のフレームは、図2-1に示したフレームF21であるものとする。
フレームF22は、フロック歪度が大きくなったり、エッジが不鮮明になったりしているため品質が全体的に劣化しており、パケットロス等によってフレームF22の領域F22aが局所的に劣化している。また、フレームF22は、フレームF21の局所的に劣化している領域F21aを参照しているため、品質劣化が領域F22bに伝搬している。
情報処理装置100は、このようなフレームF22の品質指標値Sを算出する場合、まず、従来のNR法と同様の手法によりフレームF22の品質指標値S´を算出する。具体的には、情報処理装置100は、図2-1を用いて説明した例と同様に、品質指標値S´として、フレームF22のブロック歪度や、エッジの累計値などを算出する。
続いて、情報処理装置100は、パケットロス等によって局所的に劣化している領域を特定する。具体的には、情報処理装置100は、図2-1を用いて説明した例と同様に、フレームF22内において、欠落しているパケットに対応する領域、および、ビットエラーが発生しているパケットに対応する領域を、エラー領域に特定する。図2-2に示した例では、情報処理装置100は、領域F22aをエラー領域に特定する。
続いて、情報処理装置100は、エラー領域における画素差分度Nを算出する。具体的には、情報処理装置100は、図2-1を用いて説明した例と同様に、エラー領域における画像特性Cと、画像特性閾値とに基づいて画素差分度Nを算出する。
さらに、情報処理装置100は、動きベクトル情報に基づいて、品質劣化が伝搬している領域を推定する。具体的には、情報処理装置100は、参照元フレームF21のエラー領域F21aを参照している領域であり、かつ、Y成分の平均値、U成分の平均値およびV成分の平均値が、前述において算出した画像特性Cに近い値である領域を、品質劣化が伝搬している領域に推定する。図2-2に示した例では、情報処理装置100は、フレーム領域F22bを品質劣化が伝搬している領域に推定する。なお、以下では、情報処理装置100によって品質劣化が伝搬していると推定された領域を「エラー拡散領域」と呼ぶこととする。
続いて、情報処理装置100は、フレームF22の領域のうち、エラー領域とエラー拡散領域とが占める割合(エラー領域割合Q)を算出する。具体的には、情報処理装置100は、エラー領域のサイズとエラー拡散領域のサイズとの和を、フレームF22のサイズによって除算した値をエラー領域割合Qとして算出する。
続いて、情報処理装置100は、品質指標値S´、エラー領域割合Qおよび画素差分度Nに基づいて、品質指標値Sを算出する。具体的には、情報処理装置100は、図2-1を用いて説明した例と同様に、式(1)によって品質指標値Sを算出する。
情報処理装置100は、上述した品質指標値算出処理をフレームごとに行う。そして、情報処理装置100は、算出した品質指標値Sを所定の記憶部に蓄積したり、所定の表示部に表示制御したりする。なお、情報処理装置100は、1つの動画データを構成する全てのフレームの品質指標値の平均値を算出して、算出した平均値を動画データの品質指標値として、所定の表示部に表示制御したりしてもよい。
このように、実施例1に係る情報処理装置100は、ブロック歪度やエッジの鮮明度を考慮して客観的な品質を示す品質指標値S´を算出し、エラー領域割合Qに基づいて品質指標値S´を補正することで品質指標値Sを算出する。具体的には、情報処理装置100は、エラー領域割合Qが大きいほど、悪い品質を示す品質指標値Sを算出する。すわなち、情報処理装置100は、エラー領域のサイズが大きいほど、人間が動画データの品質が劣化していると感じることと同様に、悪い品質を示す品質指標値Sを算出することができる。
また、情報処理装置100は、画素差分度Nに基づいて品質指標値S´を補正することで品質指標値Sを算出する。具体的には、情報処理装置100は、画素差分度Nが大きいほど、悪い品質を示す品質指標値Sを算出する。すなわち、情報処理装置100は、画素差分度Nが大きいほど、人間が動画データの品質が劣化していると感じることと同様に、悪い品質を示す品質指標値Sを算出することができる。
また、情報処理装置100は、エラー拡散領域を推定してエラー領域割合Qを算出するので、品質劣化の伝搬を考慮してPフレームまたはBフレームの品質指標値Sを算出することができる。
以上のように、情報処理装置100は、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Sを算出することができる。
次に、実施例1に係る情報処理装置100の構成について説明する。図3は、実施例1に係る情報処理装置100の構成を示す図である。図3に示すように、情報処理装置100は、インタフェース(以下、「I/F」という)110と、制御部120とを有する。
I/F110は、ネットワーク網20との間で各種情報を送受する。例えば、I/F110は、ネットワーク網20を介して、配信サーバ10から配信されるビットストリームデータのパケットを受信する。
制御部120は、情報処理装置100を全体制御し、復号化部121と、情報取得部122と、品質指標値算出部123と、エラー領域特定部124と、画素差分算出部125と、エラー拡散領域推定部126と、品質指標値補正部127とを有する。
復号化部121は、I/F110を介してビットストリームデータを受信した場合に、かかるビットストリームデータをフレームごとに復号化(デコード)する。また、復号化部121は、復号化処理を行うとともに、パケットロスやビットエラーが発生しているフレームの領域を検出する。具体的には、復号化部121は、復号化するフレームの領域のうち、I/F110から入力されたパケットに対応する領域以外の領域を、パケットロスによって欠落している領域であると検出する。また、復号化部121は、パリティチェック等を行うことによりビットエラーが発生している領域を検出する。
なお、実施例1では、パケットロスやビットエラーの検出処理を復号化部121が行うこととするが、かかる検出処理は、復号化部121以外の処理部が行ってもよい。例えば、情報処理装置100は、パケットロスやビットエラーが発生していることを検出するための所定の処理部であるエラー検出部を設けてもよい。
情報取得部122は、I/F110を介して受信したビットストリームデータおよび復号化部121によって復号化されたフレームから、各種情報を取得する。具体的には、情報取得部122は、時間情報Tや、ブロック分割の大きさB、動きベクトル情報や符号化種別などの参照情報R、動画データの種類を示す情報(例えば、(自然画、アニメーションなどを示す情報)等を取得する。
なお、情報取得部122によって取得される時間情報Tは、動画データにおけるフレームを特定するために用いられる。以下では、復号化部121によって復号化されたフレームのうち、時間情報Tによって特定されるフレーム内の画素を画素(x、y、T)と表記する。なお、画素(x、y、T)における「x」および「y」は、フレームをxy座標で表した場合におけるx座標の位置およびy座標の位置を示す。例えば、フレーム(300、200、T)は、時間情報Tによって特定されるフレーム内の画素のうち、x座標およびy座標が(300、200)である画素を示す。
また、ブロック分割の大きさBは、例えば、品質指標値S´を算出する場合などに用いられる。また、動きベクトル情報や符号化種別などの参照情報Rは、エラー拡散領域を推定するために用いられる。また、動画データの種類は、画素差分度Nを算出するために用いられる。
品質指標値算出部123は、復号化部121によって復号化されたフレームの品質指標値S´を算出する。具体的には、品質指標値算出部123は、従来のNR法と同様に、フレームのブロック歪度や、エッジの累計値などを品質指標値S´として算出する。なお、品質指標値算出部123は、Sobel(ゾーベル)フィルタや、Prewitt(プレヴィット)フィルタなどのエッジ検出フィルタを用いてエッジの累計値を算出する。
エラー領域特定部124は、復号化部121によって復号化されたフレームのエラー領域を特定する。具体的には、エラー領域特定部124は、復号化部121によってパケットロスが発生していると検出された領域、および、ビットエラーが発生している検出された領域を、エラー領域に特定する。
そして、エラー領域特定部124は、画素ごとに、エラー領域内の画素であるか否かを示す情報(以下、「エラー領域情報」という)を定義する。本明細書では、エラー領域情報が「0」である場合、エラー領域内の画素でないことを示し、エラー領域情報が「1」である場合、エラー領域内の画素であることを示すこととする。例えば、画素(0、0、T)がエラー領域内の画素でない場合、エラー領域特定部124は、画素(0、0、T)のエラー領域情報を「0」に定義する。また、例えば、画素(1、0、T)がエラー領域内の画素である場合、エラー領域特定部124は、画素(1、0、T)のエラー領域情報を「1」に定義する。
画素差分算出部125は、エラー領域特定部124によって特定されたエラー領域における画素差分度Nを算出する。具体的には、画素差分算出部125は、エラー領域情報に「1(エラー有)」が定義されている各画素のY成分の値、U成分の値、V成分の値を算出し、エラー領域における画像特性C(Y成分の平均値、U成分の平均値、V成分の平均値)を算出する。続いて、画素差分算出部125は、色空間における画像特性閾値と算出した画像特性Cとの最短距離を算出する。そして、情報処理装置100は、算出した最短距離を所定の代表値によって除算することにより画素差分度Nを算出する。
なお、画素差分算出部125は、情報取得部122によって取得された動画データの種類を示す情報に基づいて、画素差分度Nを算出する際に用いる画像特性閾値を変更する。
また、画素差分算出部125は、エラー領域の各画素におけるR(red)成分、G(green)成分、B(blue)成分の平均値を算出してもよい。かかる場合、画素差分算出部125は、RGBの色空間における画像特性閾値と算出した平均値との最短距離に基づいて、画素差分度Nを算出する。
エラー拡散領域推定部126は、処理対象のフレームがPフレームまたはBフレームのようにフレーム間予測されたフレームである場合に、情報取得部122によって取得された動きベクトル情報Rに基づいて、エラー拡散領域を推定する。具体的には、エラー拡散領域推定部126は、参照元フレームのエラー領域を参照している領域であり、かつ、YUV成分のそれぞれの平均値が、画素差分算出部125によって算出された画像特性Cに近い値である領域をエラー拡散領域に推定する。
そして、エラー拡散領域推定部126は、画素ごとに、エラー拡散領域内の画素であるか否かを示す情報(以下、「エラー拡散領域情報」という)を定義する。本明細書では、エラー拡散領域情報が「0」である場合、エラー拡散領域内の画素でないことを示し、エラー拡散領域情報が「1」である場合、エラー拡散領域内の画素であることを示すこととする。例えば、画素(0、0、T)がエラー拡散領域内の画素でない場合、エラー拡散領域推定部126は、画素(0、0、T)のエラー拡散領域情報を「0」に定義する。また、例えば、画素(1、0、T)がエラー拡散領域内の画素である場合、エラー拡散領域推定部126は、画素(1、0、T)のエラー拡散領域情報を「1」に定義する。
品質指標値補正部127は、品質指標値算出部123によって算出された品質指標値S´を補正して品質指標値Sを算出する。具体的には、品質指標値補正部127は、処理対象のフレームがフレーム間予測されたフレームでない場合、エラー領域情報が「1」を示す画素を集計して、エラー領域のサイズを算出する。続いて、品質指標値補正部127は、エラー領域のサイズを、フレームのサイズによって除算することにより、エラー領域割合Qを算出する。
一方、品質指標値補正部127は、処理対象のフレームがフレーム間予測されたフレームである場合、エラー領域のサイズを算出するとともに、エラー拡散領域情報が「1」を示す画素を集計して、エラー拡散領域のサイズを算出する。続いて、品質指標値補正部127は、エラー領域のサイズとエラー拡散領域のサイズとの和を、フレームのサイズによって除算することにより、エラー領域割合Qを算出する。
そして、品質指標値補正部127は、算出したエラー領域割合Qと、品質指標値算出部123によって算出された品質指標値S´と、画素差分算出部125によって算出された画素差分度Nとに基づいて、品質指標値Sを算出する。具体的には、品質指標値補正部127は、上記式(1)によって品質指標値Sを算出する。
次に、実施例1に係る情報処理装置100による品質指標値算出処理の手順について説明する。図4は、実施例1に係る情報処理装置100による品質指標値算出処理手順を示すフローチャートである。図4に示すように、情報処理装置100は、I/F110を介してビットストリームデータを受信する(ステップS101)。
続いて、復号化部121は、受信したビットストリームデータをフレームごとに復号化する(ステップS102)。このとき、復号化部121は、パケットロスやビットエラーが発生しているフレーム内の領域を検出する(ステップS103)。
また、情報取得部122は、受信したビットストリームデータおよび復号化部121によって復号化されたフレームから、時間情報T、ブロック分割の大きさB、参照情報Rなどの各種情報を取得する(ステップS104)。
続いて、品質指標値算出部123は、復号化部121によって復号化されたフレームの品質指標値S´を算出する(ステップS105)。続いて、エラー領域特定部124は、復号化部121によってパケットロスやビットエラーが発生していると検出された領域に基づいて、エラー領域を特定する(ステップS106)。
続いて、画素差分算出部125は、エラー領域情報に「1(エラー有)」が定義されている各画素における画像特性Cを算出する(ステップS107)。続いて、画素差分算出部125は、色空間における画像特性閾値と算出した画像特性Cとの最短距離を算出する。続いて、画素差分算出部125は、算出した最短距離を所定の代表値によって除算することにより画素差分度Nを算出する(ステップS108)。
続いて、エラー拡散領域推定部126は、処理対象のフレームがフレーム間予測されたフレームである場合(ステップS109肯定)、情報取得部122によって取得された動きベクトル情報Rに基づいて、エラー拡散領域を推定する(ステップS110)。続いて、品質指標値補正部127は、フレームの全体領域のうち、エラー領域とエラー拡散領域とが占める割合であるエラー領域割合Qを算出する(ステップS111)。
一方、処理対象のフレームがフレーム間予測されたフレームでない場合(ステップS109否定)、品質指標値補正部127は、フレームの全体領域のうち、エラー領域が占める割合であるエラー領域割合Qを算出する(ステップS112)。
そして、品質指標値補正部127は、品質指標値算出部123によって算出された品質指標値S´と、画素差分算出部125によって算出された画素差分度Nと、ステップS111またはステップS112において算出したエラー領域割合Qとに基づいて、品質指標値Sを算出する(ステップS113)。情報処理装置100は、動画データの全てのフレームについて品質指標値Sを算出した場合に(ステップS114肯定)、処理を終了する。一方、情報処理装置100は、動画データの全てのフレームについて品質指標値Sを算出していない場合に(ステップS114否定)、上記ステップS102~ステップS114における処理を繰り返し行う。
上述してきたように、実施例1に係る情報処理装置100は、ブロック歪度やエッジの鮮明度を考慮して客観的な品質を示す品質指標値S´を算出する。そして、エラー領域割合Qおよび画素差分度Nに基づいて品質指標値S´を補正することで品質指標値Sを算出する。これにより、情報処理装置100は、人間が判断する動画データの品質とほぼ同様の品質を示す品質指標値Sを算出することができる。
なお、上記実施例1では、エラー領域特定部124が、パケットロスやビットエラーが発生している領域をエラー領域に特定する例を示したが、情報処理装置100は、フレームの各画素における画像特性Cを算出してエラー領域を特定してもよい。具体的には、情報処理装置100、算出した画像特性Cが画像特性閾値の範囲内に存在しない画素をエラー領域に特定してもよい。このような情報処理装置100は、ネットワーク網20を経由せずに受信した動画データの品質指標値Sを算出する場合に適用することができる。
ところで、所定の装置が、各情報処理装置によって算出された品質指標値Sに基づいて、動画データの品質を分析するようにしてもよい。そこで、実施例2では、品質指標値Sを算出する情報処理装置と、品質指標値Sを分析する品質管理装置とを含む動画配信システムについて説明する。
まず、実施例2に係る動画配信システム2について説明する。図5は、実施例2に係る動画配信システム2を示す図である。図5に示すように、動画配信システム2は、配信サーバ10と、ネットワーク網20を介して動画データを受信する情報処理装置200a~200nとを含む。なお、以下の説明では、情報処理装置200a~200nについて、いずれかを特定する必要がない場合には、これらを総称して情報処理装置200と表記するものとする。
情報処理装置200は、上記実施例1と同様に、配信サーバ10から受信したビットストリームデータの品質指標値Sをフレームごとに算出する。そして、情報処理装置200は、算出した品質指標値S等を含む各種情報(以下、「品質関連情報」という)を品質管理装置300へ送信する。
品質管理装置300は、情報処理装置200から品質関連情報を受信し、受信した品質関連情報に基づいて、情報処理装置200が保持している動画データの品質を分析する。具体的には、品質管理装置300は、複数の情報処理装置200から、同一の動画データにおける品質関連情報を受信した場合に、品質関連情報を比較して、情報処理装置200が保持している動画データが所定の基準値以上の品質を有しているか否かを判定する。
次に、図5に示した情報処理装置200の構成について説明する。図6は、図5に示した情報処理装置200の構成を示す図である。なお、ここでは、図3に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。図6に示すように、情報処理装置200は、I/F210と、制御部220とを有する。
制御部220は、図3に示した制御部120と比較して、送信部228を新たに有する。送信部228は、品質指標値補正部127によって算出された品質指標値Sを含む品質関連情報を、I/F210を介して品質管理装置300へ送信する。具体的には、送信部228は、品質指標値S、フレームを特定するための時間情報T、エラー領域情報およびエラー拡散領域情報、エラー領域割合Q、画素差分度N等を含む品質関連情報を、フレームごとに送信する。
次に、図5に示した品質管理装置300の構成について説明する。図7は、図5に示した品質管理装置300の構成を示す図である。図7に示すように、品質管理装置300は、I/F310と、記憶部320と、制御部330とを有する。I/F310は、ネットワーク網20との間で各種情報を送受する。例えば、I/F310は、ネットワーク網20を介して、情報処理装置200から品質関連情報を受信する。
記憶部320は、各種情報を記憶する記憶デバイスであり、品質関連情報記憶部321と、ログ情報記憶部322とを有する。品質関連情報記憶部321は、後述する受信部331によって受信された品質関連情報を記憶する。ログ情報記憶部322は、ログ情報を記憶し、例えば、テキストファイルや、テーブルである。
制御部330は、品質管理装置300を全体制御し、受信部331と、基準値決定部332と、品質判定部333と、ログ出力部334とを有する。受信部331は、I/F310を介して、各種情報を受信する。また、受信部331は、品質関連情報を受信した場合、受信した品質関連情報を品質関連情報記憶部321に記憶させる。
基準値決定部332は、品質関連情報記憶部321に記憶されている品質関連情報に基づいて、品質指標値の基準値(以下、「品質指標基準値」という)をフレームごとに決定する。具体的には、基準値決定部332は、品質関連情報記憶部321から、動画データが同一であり、かつ、時間情報Tが同一である品質関連情報を取得する。さらに、基準値決定部332は、取得した品質関連情報のうち、パケットロス等によるエラーが発生していない品質関連情報を取得する。このとき、基準値決定部332は、エラー領域情報、または、エラー拡散領域情報、エラー領域割合Qのいずれかに基づいて、エラーが発生しているか否かを判別する。例えば、エラー領域情報が全て「0」である場合、エラー領域が存在しないことを示すので、基準値決定部332は、エラーが発生していないと判別できる。
続いて、基準値決定部332は、取得した品質関連情報に含まれる全ての品質指標値Sを比較する。比較した結果、品質指標値Sに差異がない場合、基準値決定部332は、取得した品質関連情報に含まれる品質指標値Sを品質指標基準値Ssにすることを決定する。一方、品質指標値Sに差異がある場合、基準値決定部332は、最も多い品質指標値Sを品質指標基準値Ssにすることを決定する。例えば、取得した品質関連情報に含まれる全ての品質指標値Sが、「100、100、100、105、110」である場合、「100」が最も多いので、基準値決定部332は、品質指標基準値Ssを「100」にすることを決定する。なお、基準値決定部332は、取得した品質指標値Sに差異がある場合に、取得した品質指標値Sの平均値を品質指標基準値Ssに決定してもよい。
品質判定部333は、各フレームが所定の基準以下の品質を有しているか否かを判定する。具体的には、品質判定部333は、基準値決定部332によって決定された品質指標基準値Ssを所定の閾値によって除算した値(以下、「品質指標許容値」という)Sthを算出する。続いて、品質判定部333は、品質関連情報記憶部321から、品質指標値Sが品質指標許容値Sth以上である品質関連情報を取得する。そして、品質判定部333は、取得した品質関連情報が示すフレームを、品質が所定の基準以下のフレームであると判定する。
例えば、品質指標基準値Ssが「100」であり、閾値が「0.8」である場合、品質判定部333は、品質指標基準値Ss「100」を閾値「0.8」によって除算した値である「125」を品質指標許容値Sthとして算出する。続いて、品質判定部333は、品質関連情報記憶部321から、品質指標値Sが品質指標許容値Sth「125」以上である品質関連情報を取得する。
ログ出力部334は、品質判定部333によって特定されたフレームに関する情報をログ情報記憶部322に出力する。具体的には、ログ出力部334は、品質判定部333によって特定されたフレームからを送信した情報処理装置200を識別するための情報や、かかるフレームの品質関連情報を所定の形式でログ情報記憶部322に出力する。
次に、図5に示した品質管理装置300による品質判定処理の手順について説明する。図8は、図5に示した品質管理装置300による品質判定処理手順を示すフローチャートである。図8に示すように、品質管理装置300の受信部331は、情報処理装置200から品質関連情報を受信し(ステップS201)、受信した品質関連情報を品質関連情報記憶部321に記憶させる。
続いて、基準値決定部332は、所定のタイミングになった場合に(ステップS202肯定)、品質関連情報記憶部321から、動画データが同一であり、かつ、時間情報Tが同一であり、かつ、エラーが発生していない品質関連情報を取得する(ステップS203)。なお、ここでいう「所定のタイミング」とは、複数の情報処理装置200から同一の動画データを構成するフレームの品質関連情報を取得したことを検知した場合などを示す。
続いて、基準値決定部332は、取得した品質関連情報に含まれる全ての品質指標値Sを比較する(ステップS204)。比較した結果、品質指標値Sに差異がない場合(ステップS205否定)、基準値決定部332は、取得した品質指標値Sを品質指標基準値Ssにすることを決定する(ステップS206)。一方、取得した品質指標値Sに差異がある場合(ステップS205肯定)、基準値決定部332は、最も多い品質指標値Sを品質指標基準値Ssにすることを決定する(ステップS207)。
続いて、基準値決定部332によって決定された品質指標基準値Ssを所定の閾値によって除算することにより品質指標許容値Sthを算出する(ステップS208)。続いて、品質判定部333は、品質関連情報記憶部321から、品質指標値Sが品質指標許容値Sth以上である品質関連情報を取得する(ステップS209)。そして、品質判定部333は、取得した品質関連情報が示すフレームを、品質が所定の基準以下のフレームであると判定する。
そして、ログ出力部334は、品質判定部333によって特定されたフレームに関する情報や、かかるフレームを送信した情報処理装置200を識別するための情報などを、ログ情報記憶部322に出力する(ステップS210)。
上述してきたように、実施例2に係る動画配信システム2は、情報処理装置200が品質指標値Sを算出して、算出した品質指標値Sを含む品質関連情報を品質管理装置300へ送信する。そして、品質管理装置300が、複数の情報処理装置200から品質関連情報を受信して、受信した品質関連情報を比較することにより、動画データを構成する各フレームが所定の基準値以上の品質を有しているか否かを判定する。これにより、動画配信システム2は、情報処理装置200が保持している動画データが所定の基準値以上の品質を有しているか否かを自動的に判定することができる。その結果、動画配信システム2を用いると、利用者は、品質管理装置300によって品質判定処理された結果(ログ情報記憶部322に記憶されている情報)を確認するだけで、複数の情報処理装置200が保持している動画データの品質を確認することができる。
なお、上記実施例2では、品質管理装置300が、フレームごとに、品質判定処理を行う例を示したが、品質管理装置300は、動画データを複数のフレームごとに区切って、複数のフレームの品質指標値Sの平均値が所定の基準以下であるか否かを判定してもよい。例えば、品質管理装置300は、動画データにおいてIフレームが出現するたびに区切って、1つの区間ごとに品質判定処理を行ってもよい。また、例えば、品質管理装置300は、1つの動画データを1つの区間として品質を分析してもよい。
また、上記実施例1および2では、処理対象のフレームがフレーム間予測されたフレームである場合に、エラー拡散領域推定部126がエラー拡散領域を推定する例を示した。しかし、エラー拡散領域推定部126は、処理対象のフレームがイントラ予測されたフレームである場合についても、エラー拡散領域を推定してもよい。かかる場合、エラー拡散領域推定部126は、動きベクトル情報Rに基づいて、処理対象のフレームにおけるエラー領域を参照している領域であり、かつ、YUV成分のそれぞれの平均値が、画素差分算出部125によって算出された画像特性Cに近い値である領域をエラー拡散領域に推定する。
また、上記実施例1および2では、品質指標値算出部123が、従来のNR法と同様の手法を用いて品質指標値S´を算出する例を示したが、品質指標値算出部123は、従来のRR法と同様の手法を用いて品質指標値S´を算出してもよい。かかる場合、配信サーバ10は、配信する動画データにおけるフレームごとの特徴量を、情報処理装置100または200へ送信する。そして、情報処理装置100または200は、復号化部121によって復号化された特徴量と、配信サーバ10から受信した特徴量とに基づいて、品質指標値S´を算出する。
また、図3および図6に示した情報処理装置100および200の構成は、要旨を逸脱しない範囲で種々に変更することができる。例えば、情報処理装置100または200の制御部120または220の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、情報処理装置100または200と同等の機能を実現することもできる。以下に、制御部120の機能をソフトウェアとして実装した品質指標値算出プログラム1071を実行するコンピュータの一例を示す。
図9は、品質指標値算出プログラム1071を実行するコンピュータ1000を示す図である。このコンピュータ1000は、各種演算処理を実行するCPU(Central Processing Unit)1010と、ユーザからのデータの入力を受け付ける入力装置1020と、各種情報を表示するモニタ1030と、記録媒体からプログラム等を読み取る媒体読取り装置1040と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置1050と、各種情報を一時記憶するRAM(Random Access Memory)1060と、ハードディスク装置1070とをバス1080で接続して構成される。
そして、ハードディスク装置1070には、図3に示した制御部120と同様の機能を有する品質指標値算出プログラム1071が記憶される。そして、CPU1010が品質指標値算出プログラム1071をハードディスク装置1070から読み出してRAM1060に展開することにより、品質指標値算出プログラム1071は、品質指標値算出プロセス1061として機能するようになる。そして、品質指標値算出プロセス1061は、各種データ処理を実行する。
なお、上記の品質指標値算出プログラム1071は、必ずしもハードディスク装置1070に格納されている必要はなく、CD-ROM等の記憶媒体に記憶されたこのプログラムを、コンピュータ1000が読み出して実行するようにしてもよい。また、公衆回線、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)等を介してコンピュータ1000に接続される他のコンピュータ(またはサーバ)等にこのプログラムを記憶させておき、コンピュータ1000がこれらからプログラムを読み出して実行するようにしてもよい。
また、図7に示した品質管理装置300の構成についても、要旨を逸脱しない範囲で種々に変更することができる。例えば、品質管理装置300の制御部330の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、品質管理装置300と同等の機能を実現することもできる。以下に、制御部330の機能をソフトウェアとして実装した品質判定プログラム2071を実行するコンピュータの一例を示す。
図10は、品質判定プログラム2071を実行するコンピュータ2000を示す図である。このコンピュータ2000は、各種演算処理を実行するCPU2010と、ユーザからのデータの入力を受け付ける入力装置2020と、各種情報を表示するモニタ2030と、記録媒体からプログラム等を読み取る媒体読取り装置2040と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置2050と、各種情報を一時記憶するRAM2060と、ハードディスク装置2070とをバス2080で接続して構成される。
ハードディスク装置2070には、図7に示した制御部330と同様の機能を有する品質判定プログラム2071と、図7に示した品質関連情報記憶部321に記憶される各種データに対応する品質関連データ2072と、図7に示したログ情報記憶部322に対応するログファイル2073とが記憶される。なお、品質関連データ2072またはログファイル2073を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。
そして、CPU2010が品質判定プログラム2071をハードディスク装置2070から読み出してRAM2060に展開することにより、品質判定プログラム2071は、品質判定プロセス2061として機能するようになる。そして、品質判定プロセス2061は、品質関連データ2072から読み出した情報等を適宜RAM2060上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。そして、品質判定プロセス2061は、所定の情報をログファイル2073に出力する。
Claims (16)
- 動画データの品質を算出する情報処理装置による品質指標値算出方法であって、
前記情報処理装置が、
パケットに分割された動画データを受信する受信工程と、
前記受信工程によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化工程と、
前記受信工程によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出工程と、
前記復号化工程によって復号化されたフレームの領域のうち、前記エラー検出工程によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定工程と、
前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定工程によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出工程と
を含んだことを特徴とする品質指標値算出方法。 - 前記エラー検出工程は、前記受信工程によって受信されたパケットにビットエラーが発生しているか否かを検出し、
前記エラー領域特定工程は、前記エラー検出工程によって欠落していると検出されたパケットに対応する領域、および、前記エラー検出工程によってビットエラーが発生していると検出された領域をエラー領域に特定することを特徴とする請求項1に記載の品質指標値算出方法。 - 前記情報処理装置が、前記エラー領域特定工程によって特定されたエラー領域における画素値の平均値と、所定の閾値との差分をフレームごとに算出する画素差分算出工程をさらに含んだことを特徴とする請求項1または2に記載の品質指標値算出方法。
- 前記情報処理装置が、前記復号化工程によって、フレーム間予測またはイントラ予測によって符号化されたフレームを復号化された場合に、該フレームの領域のうち、エラー領域を参照している領域であるエラー拡散領域を特定するエラー拡散領域特定工程をさらに含み、
前記エラー領域割合算出工程は、前記フレームの領域のうち、前記エラー領域特定工程によって特定されたエラー領域と、前記エラー拡散領域特定工程によって特定されたエラー拡散領域とが占める割合をフレームごとに算出することを特徴とする請求項1~3のいずれか一つに記載の品質指標値算出方法。 - 前記情報処理装置が、前記動画データを構成する各フレームのブロック歪度、エッジの累積値、または、特徴量のいずれかをフレームごとに算出し、算出した値に基づいて各フレームの品質指標値を算出する品質指標値算出工程と、
前記エラー領域割合算出工程によって算出された割合であるエラー領域割合が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正する品質指標値補正工程とをさらに含んだことを特徴とする請求項4に記載の品質指標値算出方法。 - 前記品質指標値補正工程は、前記画素差分算出工程によって算出された画素値の差分が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正することを特徴とする請求項5に記載の品質指標値算出方法。
- 動画データの品質を算出する情報処理装置による品質指標値算出方法であって、
前記情報処理装置が、
動画データを構成する各フレームに対して、画素値が所定の閾値の範囲以外である領域を特定するエラー領域特定工程と、
前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定工程によって特定されたエラー領域が占める割合をフレームごとに算出するエラー領域割合算出工程と
を含んだことを特徴とする品質指標値算出方法。 - 前記情報処理装置が、前記エラー領域特定工程によって特定されたエラー領域における画素値の平均値と、該平均値に最も近い前記所定の閾値の値との差分をフレームごとに算出する画素差分算出工程をさらに含んだことを特徴とする請求項7に記載の品質指標値算出方法。
- 前記情報処理装置が、前記動画データを構成する各フレームのブロック歪度、エッジの累積値、または、特徴量のいずれかをフレームごとに算出し、算出した値に基づいて各フレームの品質指標値を算出する品質指標値算出工程と、
前記エラー領域割合算出工程によって算出された割合であるエラー領域割合が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正するとともに、前記画素差分算出工程によって算出された画素値の差分が大きいほど、前記品質指標値算出工程によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正する品質指標値補正工程とをさらに含んだことを特徴とする請求項8に記載の品質指標値算出方法。 - パケットに分割された動画データを受信する受信手段と、
前記受信手段によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化手段と、
前記受信手段によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出手段と、
前記復号化手段によって復号化されたフレームの領域のうち、前記エラー検出手段によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定手段と、
前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手段によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手段と
を備えたことを特徴とする情報処理装置。 - 前記エラー領域特定手段によって特定されたエラー領域における画素値の平均値と、所定の閾値との差分をフレームごとに算出する画素差分算出手段をさらに備えたことを特徴とする請求項10に記載の情報処理装置。
- 前記復号化手段によって、フレーム間予測またはイントラ予測によって符号化されたフレームを復号化された場合に、該フレームの領域のうち、エラー領域を参照している領域であるエラー拡散領域を特定するエラー拡散領域特定手段をさらに備え、
前記エラー領域割合算出手段は、前記フレームの領域のうち、前記エラー領域特定手段によって特定されたエラー領域と、エラー拡散領域特定手段によって特定されたエラー拡散領域とが占める割合をフレームごとに算出することを特徴とする請求項11に記載の情報処理装置。 - 前記動画データを構成する各フレームのブロック歪度、エッジの累積値、または、特徴量のいずれかをフレームごとに算出し、算出した値に基づいて各フレームの品質指標値を算出する品質指標値算出手段と、
前記エラー領域割合算出手段によって算出された割合であるエラー領域割合が大きいほど、前記品質指標値算出手段によって算出された品質指標値が悪い品質を示すように、該品質指標値を補正する品質指標値補正手段とをさらに備えたことを特徴とする請求項10~12のいずれか一つに記載の情報処理装置。 - 動画データを構成する各フレームに対して、画素値が所定の閾値の範囲以外である領域を特定するエラー領域特定手段と、
前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手段によって特定されたエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手段と
を備えたことを特徴とする情報処理装置。 - パケットに分割された動画データを受信する情報処理装置と、動画データの品質を管理する品質管理装置とを含む動画配信システムであって、
前記情報処理装置は、
前記パケットを受信した場合に、前記動画データをフレームごとに復号化する復号化手段と、
受信したパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出手段と、
前記復号化手段によって復号化されたフレームの領域のうち、前記エラー検出手段によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定手段と、
前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手段によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手段とを備え、
前記品質管理装置は、
前記情報処理装置から動画データを構成するフレームの品質指標値と、パケットロスまたはビットエラーが発生している否かを示すエラー有無情報との組合せを受信する受信手段と、
前記受信手段によって受信された複数の品質指標値のうち、エラー有無情報がパケットロスまたはビットエラーが発生していないことを示す品質指標値を品質指標値の基準値に決定する基準値決定手段と、
前記受信手段によって受信された品質指標値ごとに、該品質指標値と前記基準値決定手段によって決定された基準値との差分が所定の閾値よりも大きいか否かを判定する品質判定手段と
を備えたことを特徴とする動画配信システム。 - パケットに分割された動画データを受信する受信手順と、
前記受信手順によってパケットが受信された場合に、前記動画データをフレームごとに復号化する復号化手順と、
前記受信手順によって受信されたパケットに基づいて、欠落しているパケットが存在するか否かを検出するエラー検出手順と、
前記復号化手順によって復号化されたフレームの領域のうち、前記エラー検出手順によって欠落していると検出されたパケットに対応する領域を特定するエラー領域特定手順と、
前記フレームの品質を示す品質指標値として、前記フレームの領域のうち、前記エラー領域特定手順によって特定された領域であるエラー領域が占める割合をフレームごとに算出するエラー領域割合算出手順と
をコンピュータに実行させることを特徴とする品質指標値算出プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/067130 WO2010032334A1 (ja) | 2008-09-22 | 2008-09-22 | 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム |
JP2010529565A JPWO2010032334A1 (ja) | 2008-09-22 | 2008-09-22 | 品質指標値算出方法、情報処理装置、動画配信システムおよび記録媒体 |
US13/064,363 US20110169964A1 (en) | 2008-09-22 | 2011-03-21 | Quality index value calculation method, information processing apparatus, video delivery system, and non-transitory computer readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/067130 WO2010032334A1 (ja) | 2008-09-22 | 2008-09-22 | 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/064,363 Continuation US20110169964A1 (en) | 2008-09-22 | 2011-03-21 | Quality index value calculation method, information processing apparatus, video delivery system, and non-transitory computer readable storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010032334A1 true WO2010032334A1 (ja) | 2010-03-25 |
Family
ID=42039187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2008/067130 WO2010032334A1 (ja) | 2008-09-22 | 2008-09-22 | 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110169964A1 (ja) |
JP (1) | JPWO2010032334A1 (ja) |
WO (1) | WO2010032334A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011019128A (ja) * | 2009-07-09 | 2011-01-27 | Nec Corp | 画質評価装置、画質評価方法及びそのプログラム |
JP2012119844A (ja) * | 2010-11-30 | 2012-06-21 | Mitsubishi Electric Corp | エラーコンシールメント装置 |
JP2012156650A (ja) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | 動画伝送システム |
CN114765473A (zh) * | 2021-01-15 | 2022-07-19 | 富士通株式会社 | 用于估计通信质量的装置和方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2502251A (en) * | 2012-03-09 | 2013-11-27 | Amberfin Ltd | Automated quality control of audio-video media |
US8848061B2 (en) * | 2012-06-27 | 2014-09-30 | Apple Inc. | Image and video quality assessment |
US20140108495A1 (en) * | 2012-10-11 | 2014-04-17 | Steven A. Benno | Adaptive streaming client |
CN105100886B (zh) * | 2014-04-22 | 2019-03-15 | 腾讯科技(北京)有限公司 | 网络媒介信息的发布控制方法、及装置、服务器和系统 |
US10419512B2 (en) * | 2015-07-27 | 2019-09-17 | Samsung Display Co., Ltd. | System and method of transmitting display data |
KR102225753B1 (ko) * | 2020-08-27 | 2021-03-09 | 세종대학교산학협력단 | 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000341688A (ja) * | 1999-05-31 | 2000-12-08 | Ando Electric Co Ltd | 動画通信品質判定装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5745169A (en) * | 1993-07-19 | 1998-04-28 | British Telecommunications Public Limited Company | Detecting errors in video images |
CA2166884C (en) * | 1993-07-19 | 1999-12-28 | Angela Ruth Murphy | Detecting errors in video images |
GB9822094D0 (en) * | 1998-10-09 | 1998-12-02 | Snell & Wilcox Ltd | Improvements in data compression |
JP2001275136A (ja) * | 2000-03-27 | 2001-10-05 | Ando Electric Co Ltd | 動画受信品質判定装置 |
JP2001285897A (ja) * | 2000-03-28 | 2001-10-12 | Ando Electric Co Ltd | 動画受信品質評価装置 |
US6728318B2 (en) * | 2001-03-02 | 2004-04-27 | Redrock Semiconductor, Ltd. | Error recovery of corrupted MPEG-4 bitstreams using fuzzy decoding of start codes and resync markers |
US9544602B2 (en) * | 2005-12-30 | 2017-01-10 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
JP4817246B2 (ja) * | 2006-07-31 | 2011-11-16 | Kddi株式会社 | 映像品質の客観評価装置 |
KR100834680B1 (ko) * | 2006-09-18 | 2008-06-02 | 삼성전자주식회사 | 이동통신 단말기에서 출력되는 동영상 및 이미지의 화질을개선하기 위한 장치 및 방법 |
JP5113426B2 (ja) * | 2007-05-29 | 2013-01-09 | キヤノン株式会社 | 頭部装着型表示装置、及びその制御方法 |
US8571106B2 (en) * | 2008-05-22 | 2013-10-29 | Microsoft Corporation | Digital video compression acceleration based on motion vectors produced by cameras |
-
2008
- 2008-09-22 JP JP2010529565A patent/JPWO2010032334A1/ja active Pending
- 2008-09-22 WO PCT/JP2008/067130 patent/WO2010032334A1/ja active Application Filing
-
2011
- 2011-03-21 US US13/064,363 patent/US20110169964A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000341688A (ja) * | 1999-05-31 | 2000-12-08 | Ando Electric Co Ltd | 動画通信品質判定装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011019128A (ja) * | 2009-07-09 | 2011-01-27 | Nec Corp | 画質評価装置、画質評価方法及びそのプログラム |
JP2012119844A (ja) * | 2010-11-30 | 2012-06-21 | Mitsubishi Electric Corp | エラーコンシールメント装置 |
JP2012156650A (ja) * | 2011-01-24 | 2012-08-16 | Panasonic Corp | 動画伝送システム |
CN114765473A (zh) * | 2021-01-15 | 2022-07-19 | 富士通株式会社 | 用于估计通信质量的装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2010032334A1 (ja) | 2012-02-02 |
US20110169964A1 (en) | 2011-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010032334A1 (ja) | 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム | |
US10271048B2 (en) | Method of background residual prediction for video coding | |
EP3340623B1 (en) | Method of encoding an image including a privacy mask | |
JP5932332B2 (ja) | 画像補正に対する修復技術の使用 | |
US20170208345A1 (en) | Method and apparatus for false contour detection and removal for video coding | |
KR100721543B1 (ko) | 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템 | |
KR102497153B1 (ko) | 안정성 정보 및 트랜션트/확률적 정보의 구별되는 인코딩 및 디코딩 | |
JP2008504750A5 (ja) | ||
WO2006004605B1 (en) | Multi-pass video encoding | |
US20090022416A1 (en) | Reduction of compression artefacts in displayed images, analysis of encoding parameters | |
JP2009071837A (ja) | 人間の視覚的許容度に基づくビデオ符号化の符号化ツールの選択 | |
GB2497915A (en) | Estimating the quality of a video signal | |
JP5491506B2 (ja) | ダーク・ノイズ・アーチファクトを検出する方法および装置 | |
US7724979B2 (en) | Video preprocessing temporal and spatial filter | |
US9432694B2 (en) | Signal shaping techniques for video data that is susceptible to banding artifacts | |
WO2013075319A1 (en) | Methods and apparatus for an artifact detection scheme based on image content | |
US20140071309A1 (en) | Signal shaping for improved mobile video communication | |
JP2007334457A (ja) | 画像処理装置及び画像処理方法 | |
JP4380498B2 (ja) | ブロック歪み低減装置 | |
JP2005117449A (ja) | モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム | |
JP2007336075A (ja) | ブロック歪み低減装置 | |
US8934733B2 (en) | Method, apparatus, and non-transitory computer readable medium for enhancing image contrast | |
KR20090034624A (ko) | 시감 특성을 이용한 영상 부호화 장치 및 방법 | |
JPWO2007094329A1 (ja) | 動画像処理装置、動画像処理方法、および動画像処理プログラム | |
JP5102810B2 (ja) | 画像補正装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 08876989 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010529565 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 08876989 Country of ref document: EP Kind code of ref document: A1 |