WO2011027507A1 - 動画像符号化装置、動画像符号化方法および動画像符号化プログラム - Google Patents

動画像符号化装置、動画像符号化方法および動画像符号化プログラム Download PDF

Info

Publication number
WO2011027507A1
WO2011027507A1 PCT/JP2010/005002 JP2010005002W WO2011027507A1 WO 2011027507 A1 WO2011027507 A1 WO 2011027507A1 JP 2010005002 W JP2010005002 W JP 2010005002W WO 2011027507 A1 WO2011027507 A1 WO 2011027507A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
encoding
refresh
prediction
reference picture
Prior art date
Application number
PCT/JP2010/005002
Other languages
English (en)
French (fr)
Inventor
青木啓史
仙田裕三
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011529781A priority Critical patent/JP5640979B2/ja
Priority to CN201080039578.8A priority patent/CN102484718B/zh
Priority to EP10813462.8A priority patent/EP2475174A4/en
Priority to US13/394,099 priority patent/US9807422B2/en
Publication of WO2011027507A1 publication Critical patent/WO2011027507A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Definitions

  • the present invention relates to a moving image encoding apparatus, a moving image encoding method, and a moving image encoding program for encoding moving image data.
  • MPEG Motion Picture Experts Group
  • MPEG-4 Motion Picture Experts Group
  • H.264 High-Reliable and Low-Reliable
  • An encoding method based on a standard such as H.264 / MPEG-4 AVC Advanced Video Coding
  • an intra-encoded picture (I picture) encoded without performing prediction from other pictures, a past picture in the display order of images with respect to a picture to be encoded, or a past And inter-picture predictive coded pictures (P pictures or B pictures) coded using predictions from future pictures can be used.
  • a “picture” corresponds to a field when an interlaced moving image is encoded in units of fields, and corresponds to a frame in the case of a non-interlaced (progressive) moving image.
  • “picture” corresponds to a frame. To do.
  • inter-picture predictive coding may be referred to as inter coding.
  • Intra-coded pictures are used to encode the first picture of a moving picture, and to restore a normal picture to a distorted picture that has occurred due to a transmission error that occurs when moving picture encoded data is transmitted. It is used for the purpose of making it possible to play back normal images when playing back from the middle of a moving image.
  • an encoding device for transmitting encoded data and a decoding device for receiving encoded data are provided with a buffer memory having an appropriate capacity for storing the received encoded data.
  • the buffer memory is MPEG-2 or MPEG-4 part. 2 is called a VBV (Video Buffering Verifier) buffer and MPEG-4 AVC is called a CPB (Coded Picture Buffer).
  • the capacity of the buffer memory is, for example, (transmission rate ⁇ 0.5 seconds). Since the compression efficiency of intra-coded pictures is lower than the compression efficiency of inter-coded pictures, the code amount of intra-coded pictures is larger than the code amount of inter-coded pictures. Therefore, when intra-coded pictures and inter-coded pictures coexist, a situation occurs in which the code amount varies for each picture.
  • the buffer memory also plays a role of absorbing the influence of fluctuations in the code amount.
  • FIG. 10 is an explanatory diagram for explaining rearrangement of pictures.
  • FIG. 10A When moving images are input to the encoding device in the order illustrated in FIG. 10A, the order of pictures in the stream of encoded data to be transmitted is as illustrated in FIG. 10B. This is different from the order shown in FIG. 10A and 10B, “B” indicates a B picture, “I” indicates an I picture, and “P” indicates a P picture.
  • the numbers indicate the input order.
  • FIG. 10A and 10B the numbers indicate the input order.
  • I, B, and P represent the components of the moving image before encoding.
  • I, B, and P with “′” in FIG. 10B are attached to distinguish the difference in data that represents the constituent elements of the bit stream after encoding. Only.
  • Delay occurs due to the temporarily staying of the transmitted encoded data in the buffer memory and due to the rearrangement of pictures as shown in FIG. That is, the output time point of the reproduced moving image output from the decoding device is delayed with respect to the time point when the moving image is input to the encoding device.
  • coding in which an intra-coded picture and an inter-coded picture are present in a coded moving image may be referred to as normal delay coding.
  • delay coding in which an intra-coded picture and an inter-coded picture are present in a coded moving image may be referred to as normal delay coding.
  • delays there are also delays in the encoding process and decoding process and delays in the transmission path as delays.
  • the delay is caused by the temporarily staying of the encoded data in the buffer memory and the rearrangement of pictures. Pay attention to the delay.
  • the reference picture includes an I picture and a P picture
  • the non-reference picture includes a B picture.
  • the reference structure can be hierarchized, and B pictures can be referenced. For example, for a group of pictures that are input in the order of I0, B1, B2, B3, and P4, when I0 is encoded as an I picture, P4 is encoded as a P picture, and B1, B2, and B3 are encoded as B pictures, B2 is defined as a reference picture.
  • B2 refers to the two pictures I0 and P4
  • B1 refers to the two pictures I0 and B2
  • B3 refers to the two pictures B2 and P4.
  • the quantization width in a picture that becomes a non-reference picture is increased to suppress an increase in the amount of code after encoding, thereby becoming a reference picture.
  • control is performed to reduce the quantization width in a picture to prevent deterioration in image quality (see, for example, Patent Document 1).
  • FIG. 11 “B” indicates a B picture, “I” indicates an I picture, and “P” indicates a P picture.
  • the numbers indicate the input order.
  • the picture indicated by the arrow corresponds to the reference picture.
  • Delay can be suppressed by making the code amount of each picture substantially uniform in order to reduce the capacity of the buffer memory and by preventing the rearrangement of pictures. In order not to execute the rearrangement of pictures, it is only necessary to avoid using inter-coded pictures or to use only one-way prediction when using inter-coded pictures.
  • the transmission path In order to reduce the variation in the code amount of each picture, prevent the rearrangement of pictures, maintain an appropriate compression efficiency, and prevent the refresh effect from being impaired, the transmission path In the case where the bandwidth is wide, it is preferable not to use inter-coded pictures but to use only intra-coded pictures. Further, when the bandwidth of the transmission path is narrow, for example, slice refresh is used. Slice refresh is a technique for refreshing a screen using only inter-coded pictures without using intra-coded pictures, and is also called intra-slice refresh.
  • FIG. 12 is an explanatory diagram showing how an image (screen) is refreshed by an I picture.
  • each region R j ⁇ 1 , R j , R j + 1 surrounded by a rectangle by a broken line indicates a prediction restriction range.
  • FIG. 12 by not making reference beyond the prediction limit range, error propagation is limited within the prediction limit range.
  • FIG. 13 is an explanatory diagram for explaining slice refresh.
  • Slice refresh does not refresh the entire image (one screen) with an I picture as illustrated in FIG. 12, but as shown in FIG. 13, some slices (one or several strips of strips)
  • a set of macroblocks is set to an intra coding area, slices of the intra coding area in each of consecutive pictures are shifted, and after a predetermined time, the slice of the intra coding area is spread over the entire screen.
  • each region R j ⁇ 2 , R j ⁇ 1 , R j , R j + 1 surrounded by a broken line indicates a prediction restriction range.
  • a partial area constituting an image such as “slice” may be expressed as “segment”.
  • a refresh target segment (refresh area) may be expressed as a “refresh segment”.
  • the expression “segment” refers to either a set of macroblocks having an arbitrary shape, not limited to a belt shape, or one macroblock.
  • a partial area in a picture may be used as a refresh segment.
  • “intra-coded segment” corresponds to a refresh area.
  • the “general coding segment” is an area where intra coding or inter coding is used.
  • each prediction restriction range which is a region R j ⁇ 2 , R j ⁇ 1 , R j , R j + 1 surrounded by a broken line is defined. Even when inter coding can be used without determining a slice of the intra coding area, refresh can be realized.
  • a television broadcasting system in addition to providing the viewer with video and audio recorded on a recording medium, the viewer can view the recorded video and the collected audio in real time, such as when providing a sports program or news reporting. May offer.
  • video and audio are transmitted from the shooting location to the broadcasting station via a plurality of relay facilities (see, for example, Patent Document 3). Thereafter, video and audio are broadcast from the broadcasting station to the receiving facilities of the viewer.
  • the shooting location may be referred to as a video acquisition point.
  • moving image data encoded by an imaging device existing at a video acquisition point is transmitted to a broadcasting station. Thereafter, video and audio are transmitted as digital data from the broadcasting station to the receiving equipment of the viewer. Further, in the relay facility, after the received encoded data is decoded, the re-encoded encoded data may be transmitted to the broadcasting station.
  • JP 2002-125232 A JP 2007-221111 (paragraphs 0005, 0006) JP 2008-252755 A (paragraphs 0003-0005)
  • a delay occurring between the video acquisition point and the reception facility possessed by the viewer is small.
  • the bandwidth of the transmission path from the broadcasting station to the receiving equipment possessed by the viewer is not wide. Therefore, with regard to moving image data transmitted from a broadcasting station to a receiving facility possessed by a viewer, the maintenance of image quality is prioritized and delay encoding is usually used even by reducing the delay.
  • the bandwidth of the transmission path from the video acquisition point to the broadcast station is wide. Therefore, in order to reduce the amount of delay between the video acquisition point and the receiving equipment of the viewer, at the video acquisition point, encoding using only intra coding or code using gradual refresh is used. It is conceivable to use
  • encoding using only intra encoding at the video acquisition point or code using gradual refresh When using encoding, a broadcasting station or the like once decodes a data stream including only intra-coded pictures transmitted from a video acquisition point or a data stream using gradual refresh, and performs re-encoding by normal delay encoding. Is called.
  • the encoding process executed at the video acquisition point is referred to as an encoding process in the previous stage, and the re-encoding executed in a broadcasting station or the like is referred to as the encoding process in the subsequent stage.
  • quantization control in the preceding encoding process that is, execution at the video acquisition point
  • quantization control at the time of executing the encoding process using only intra encoding or the encoding process using gradual refresh when the encoding process by the normal delay encoding in the subsequent stage is not considered, it is referred to at the time of re-encoding.
  • the same quantization control is performed regardless of whether it is a picture or a non-reference picture.
  • FIG. 15 shows a relationship between a data stream of encoded data obtained by the preceding encoding process (see FIG. 15A) and a data stream of encoded data re-encoded in the subsequent stage (see FIG. 15B).
  • FIG. 15 shows an example. It is assumed that normal delay encoding is performed in the encoding process in the subsequent stage, and control is performed to increase the quantization width in the non-reference picture and decrease the quantization width in the reference picture in the normal delay encoding (see FIG. 15 (B)).
  • “B” indicates a B picture
  • “I” indicates an I picture
  • “P” indicates a P picture.
  • large I and P pictures indicated by “I” and “P” are pictures quantized with a relatively small quantization width.
  • FIG. 15A it is assumed that the quantization width of each P picture is the same.
  • FIG. 16 shows a data stream of encoded data (see FIG. 16A) when gradual refresh is executed in the encoding process of the previous stage, and a data stream of encoded data re-encoded in the subsequent stage (FIG. 16).
  • B indicates a B picture
  • I indicates an I picture
  • P indicates a P picture.
  • a hatched area is a refresh area.
  • the large I picture and P picture indicated by “I” and “P” are pictures quantized with a relatively small quantization width.
  • the subsequent re-encoding process in general, in a picture that becomes a reference picture by suppressing an increase in the amount of code after encoding by increasing the quantization width in a picture that is not a reference picture (non-reference picture) Since control to reduce the quantization width is executed, if the gradual refresh in the preceding encoding process is executed without considering the quantization width control in the subsequent re-encoding process, The quantization width for a picture that is a non-reference picture in the re-encoding process is relatively larger than the quantization width in the preceding encoding process, and is assigned to the picture in the preceding encoding process. There is a risk that the amount of code that is lost will be wasted. That is, in the entire moving image data transmission system, the encoding efficiency may be reduced. In other words, the image quality obtained by spending the same code amount may be reduced, or the required code amount for obtaining the same image quality may be increased.
  • the present invention provides a moving picture coding apparatus capable of improving coding efficiency in the whole moving picture data transmission system when re-encoding is performed in an apparatus that receives coded data via a transmission path. Another object is to provide a moving picture coding method and a moving picture coding program.
  • a video encoding apparatus includes a prediction error generation unit that generates a prediction error signal from image data and a prediction value generated by an inter prediction unit or an intra prediction unit, and a prediction error signal generated by the prediction error generation unit.
  • Quantizing means for quantizing picture type determining means for re-encoding to determine whether or not a picture is used as a reference picture in subsequent re-encoding processing, and refreshing with a partial area in the picture as a refresh unit area
  • Refresh means for performing a refresh that shifts the unit area for each picture, and the refresh means is determined by the picture type determining means at the time of re-encoding when the picture is made a non-reference picture in the subsequent re-encoding process.
  • the refresh unit area is not set for the picture, and it is determined that the picture is a reference picture.
  • the refresh unit region in the picture to be divided be included with the reference picture refresh unit areas that should have been set to the picture to be a non-reference picture.
  • the moving image encoding method generates a prediction error signal from image data and a prediction value generated by inter prediction processing or intra prediction processing, quantizes the generated prediction error signal, and reproduces a picture in a subsequent stage. It is determined whether or not to be a reference picture in the encoding process, a partial area in the picture is set as a refresh unit area, and the refresh unit area is shifted for each picture within a prediction restriction range composed of a plurality of pictures. When generating a prediction error signal by performing refresh, it is determined that the prediction value by the inter prediction process or intra prediction process exceeding the prediction limit range is excluded, and the picture is determined to be a non-reference picture in the subsequent re-encoding process. If it is determined that the refresh unit area is not set for the picture and the reference picture is used, Min be included in the refresh unit areas that should have been set to the picture which is puncture and sets the refresh unit region in a picture that is the reference picture.
  • a moving image encoding program causes a computer to generate a prediction error signal from image data and a prediction value generated by inter prediction processing or intra prediction processing, and to quantize the generated prediction error signal.
  • a process a process for determining whether or not a picture is used as a reference picture in a subsequent re-encoding process, a partial area in the picture as a refresh unit area, and within a prediction restriction range composed of a plurality of pictures, A process of performing a refresh that shifts the refresh unit area for each picture, a process of excluding a prediction value by an inter prediction process or an intra prediction process that exceeds a prediction limit range when generating a prediction error signal, When it is determined by the re-encoding process that it is a non-reference picture, the refresh unit area is added to the picture. If it is determined that the reference picture is set, the refresh unit for the picture that is the reference picture including the refresh unit area that should have been set for the picture that is the non-reference picture is determined. And a process of setting an
  • encoding efficiency when re-encoding is performed in an apparatus that receives encoded data via a transmission path, encoding efficiency can be improved in the entire moving image data transmission system.
  • FIG. FIG. 1 is a block diagram showing a first embodiment of a video encoding apparatus according to the present invention.
  • each input image constituting the input moving image is input to the subtractor 11, the quantization control unit 12 and the motion detection unit 19.
  • a frame is taken as an example of a picture.
  • the subtractor 11 generates a prediction error signal for each macroblock in the input image.
  • the macroblock means a partial area obtained by dividing the input image, and is typically a rectangular area of 16 ⁇ 16 pixels.
  • the subtractor 11 generates a prediction error signal by subtracting the prediction value output from the intra-frame prediction unit (intra prediction unit) 17 or the inter-frame prediction unit (inter prediction unit) 18 from the macroblock data.
  • the moving image encoding device is referred to as an encoding device.
  • the quantization control unit 12 determines a quantization parameter based on the input image and the generated code amount, and outputs the determined quantization parameter.
  • the quantization parameter includes the concept of quantization step size or quantization width.
  • the frequency transform unit in the frequency transform / quantization unit 13 performs a discrete cosine transform (DCT) on the prediction error signal generated by the subtractor 11 to convert the prediction error signal from the spatial domain signal to the frequency domain signal. Convert to signal and create DCT coefficients.
  • the quantization unit in the frequency conversion / quantization unit 13 quantizes the DCT coefficient created by the frequency conversion unit with the quantization width determined by the quantization control unit 12.
  • the variable length coding unit 21 performs variable length coding on the quantized DCT coefficient and outputs it as a stream of coded data.
  • the inverse quantization unit in the inverse quantization / inverse frequency transform unit 14 inversely quantizes the DCT coefficient output from the frequency transform / quantization unit 13.
  • the inverse frequency transform unit in the inverse quantization / inverse frequency transform unit 14 performs inverse DCT on the inversely quantized DCT coefficient to reproduce a spatial domain prediction error signal.
  • the adder 15 reproduces the image frame by adding the prediction error signal output from the inverse quantization / inverse frequency conversion unit 14 and the prediction value output from the intra-frame prediction unit 17 or the inter-frame prediction unit 18,
  • the reproduced image frame is stored in the frame memory 16 as a reference frame.
  • the motion detection unit 19 detects a motion vector that minimizes the prediction error signal of the macroblock of the input image from the reference frame stored in the frame memory 16 and outputs the motion vector to the inter-frame prediction unit 18.
  • the adaptive prediction selection unit 20 is a switch for selecting the output of the intra-frame prediction unit 17 or the output of the inter-frame prediction unit 18 as a signal output to the subtracter 11.
  • the adaptive prediction selection unit 20 selects the output of the intra-frame prediction unit 17 when intra coding is executed, and selects the output of the inter-frame prediction unit 18 when inter coding is executed.
  • the encoding device shown in FIG. 1 can be realized by a hardware circuit, but can also be realized by a processor that executes processing based on a program. Therefore, the processing in the encoding apparatus described below can also be realized by software.
  • a re-encoded picture type determination unit 10 that creates a control signal to be given to the quantization control unit 12 based on an input image.
  • the inter-frame prediction unit 18 performs only the encoding process for setting the past picture as the reference picture in the image display order for the encoding target picture, and for the encoding target picture.
  • the encoding process using the prediction from past and future pictures is not executed. That is, the encoding apparatus executes an encoding process that uses only one-way prediction when executing the encoding process using inter-frame prediction. Specifically, the encoding device outputs only the P picture.
  • FIG. 2 is a block diagram showing an example of a moving image data transmission system to which the encoding apparatus according to the present invention can be applied.
  • a stream of encoded data based on a moving image captured by a camera 31 existing at a video acquisition point is transmitted to a local station 33 via a communication network 32.
  • the communication network 32 is an IP network including a wireless transmission path, for example. Broadcast equipment (not shown) in the local station 33 and broadcast equipment (not shown) in the key station 35 communicate via the transmission path 34.
  • a stream of encoded data based on a moving image captured by a camera 41 mounted on a relay vehicle is transmitted via an FPU (FPU (Radio Relay Device)) at a relay point via a microwave line 42 or the like. Field Pickup Unit) 43. There may be multiple relay points. Then, the stream is transmitted from the FPU 43 to the local station 33 via the transmission path 44.
  • FPU Field Relay Device
  • broadcasting digital broadcasting
  • a digital signal using a stream of encoded data is performed from a broadcasting facility to a receiving facility (for example, a television receiver) 51, 52 of a viewer.
  • a receiving facility for example, a television receiver
  • digital broadcasting using a stream of encoded data is performed from the broadcasting facility to the viewer receiving facilities 61 and 62.
  • the bandwidth of the transmission path from the cameras 31 and 41 to the local station 33 is relatively wide.
  • the bandwidth of the transmission path between the local station 33 and the key station 35 is relatively wide. Therefore, when transmitting encoded data of moving images to these transmission paths, encoding using only intra encoding is often used, or encoding using gradual refresh is often used.
  • the bandwidth of the transmission path between the local station 33 and the receiving facilities 51 and 52 and the bandwidth of the transmission path between the key station 35 and the receiving facilities 61 and 62 are not so wide.
  • encoding based on a predetermined standard is required. Therefore, for example, the local station 33 and the key station 35 perform digital broadcasting using encoded data by normal delay encoding.
  • the local station 33 and the key station 35 decode the data based on the encoding based only on the intra encoding or the encoding using the gradual refresh. Then, re-encoding by normal delay encoding is performed.
  • FIG. 2 is an example, and the system to which the encoding apparatus according to the present invention is applicable is not limited to the system shown in FIG.
  • the encoding device illustrated in FIG. 1 is mounted on the cameras 31 and 41 existing at the video acquisition point.
  • a re-encoding point When the local station 33 and the key station 35 perform re-encoding by normal delay coding, control is performed to increase the quantization width in a picture that becomes a non-reference picture and to reduce the quantization width in a picture that becomes a reference picture ( It is assumed that the process shown in FIG. Hereinafter, a point where re-encoding is performed is referred to as a re-encoding point.
  • the encoding device at the video acquisition point estimates a picture that becomes a reference picture in re-encoding executed at the re-encoding point, and calculates a quantization width when encoding the estimated picture as a reference picture, It is made smaller than the quantization width when coding a picture that is estimated not to be a reference picture.
  • a coarse quantization width is used when encoding at a video acquisition point for a picture whose quantization width is reduced when re-encoding at a re-encoding point. A situation may arise.
  • the re-encoded picture type determination unit 10 determines the picture type that is considered to be selected in the subsequent re-encoding for each picture (frame in this embodiment) constituting the input moving image data (step S1). . Any known method may be used as a method for determining the picture type, but the re-encoded picture type determining unit 10 uses the following method as an example.
  • the inter-reference picture distance is a temporal distance between a picture that can be a reference picture and a picture that can be a reference picture next.
  • a distance between reference pictures of “1” means that a picture immediately after a picture that can be a reference picture is also a picture that can be a reference picture.
  • the distance between reference pictures being “3” means that the picture that can be a reference picture is set to a picture that can be a reference picture.
  • the re-encoded picture type determination unit 10 outputs a control signal indicating a picture type to the quantization control unit 12 for each picture constituting the input moving image data (step S2).
  • the quantization controller 12 reduces the size of the quantization step when the control signal indicates a reference picture compared to when the control signal does not indicate a reference picture (steps S3 and S4). In other words, the quantization width is reduced.
  • the control signal does not indicate a reference picture, that is, when the control signal indicates a non-reference picture
  • the size of the quantization step is increased compared to when the control signal indicates a reference picture (step S3). , S5). In other words, the quantization width is increased.
  • control signal from the re-encoded picture type determination unit 10 indicates a reference picture means that the latter stage is connected so as to be communicable with the encoding apparatus illustrated in FIG. 1 via a transmission path. This means that it is used as a reference picture in re-encoding executed in the apparatus.
  • control signal from the re-encoded picture type determination unit 10 indicates a non-reference picture is a subsequent stage that is communicably connected to the encoding apparatus illustrated in FIG. 1 via a transmission path. This means that it is a non-reference picture in the re-encoding executed in the apparatus.
  • the quantization control unit 12 changes the quantization width depending on whether the control signal from the re-encoded picture type determination unit 10 indicates a reference picture or a non-reference picture.
  • the encoding apparatus sets all the encoding types of pictures to be actually encoded to I pictures or P pictures.
  • the adaptive prediction selection unit 20 always selects the output of the intra-frame prediction unit 17.
  • the adaptive prediction selection unit 20 selects either the output of the intra-frame prediction unit 17 or the output of the inter-frame prediction unit 18
  • the inter-frame prediction unit 18 outputs a prediction value using only one-way prediction.
  • FIG. 4 is an explanatory diagram illustrating an example of a relationship between a stream of encoded data by the encoding apparatus illustrated in FIG. 1 and a stream of encoded data re-encoded at a later stage.
  • FIG. 4 (A) illustrates that the encoding apparatus transmits a data stream consisting only of P pictures.
  • P means a P picture, but a large P picture indicated by “P” is a picture quantized with a relatively small quantization width. .
  • the picture quantized by the encoding apparatus with a small quantization width is used as a reference picture (I picture or P picture).
  • the following apparatus includes, for example, the following methods: is there.
  • the subsequent apparatus uses the algorithm used by the encoding apparatus for the determination. Based on the complexity X of the image, the same algorithm is used to determine whether to become a reference picture or a non-reference picture. In that case, the encoding device does not have to transmit information for specifying a picture quantized with a small quantization width to the subsequent device.
  • the subsequent apparatus detects the average quantization step of each picture with reference to a plurality of past and future pictures for each picture, and each picture has a group with a large average quantization step and a small average quantization step. It may be divided into groups. In that case, pictures belonging to a group with a small average quantization step are set as reference pictures, and pictures belonging to a group with a large average quantization step are set as non-reference pictures. Also in such control, the encoding device does not need to transmit information for specifying a picture quantized with a small quantization width to a subsequent device.
  • the encoding device may transmit auxiliary information for specifying a picture quantized with a small quantization width together with encoded data.
  • auxiliary information is set in the area of user_data.
  • MPEG-4 AVC auxiliary information is set in an SEI (Supplemental Enhancement Information) message.
  • SEI Supplemental Enhancement Information
  • auxiliary information can be set in an area in a system layer, for example, MPEG-2 TS (Transport Stream) or MPEG-2 PS (Program Stream).
  • the encoding apparatus determines whether the picture is a reference picture or a non-reference picture according to the complexity of the image. However, all the pictures may be handled as reference pictures.
  • FIG. 5 is a block diagram illustrating a configuration example of an encoding apparatus according to the second embodiment that executes refresh control.
  • the encoding device illustrated in FIG. 5 includes a refresh control unit 22.
  • the refresh control unit 22 performs a process of setting a refresh area (refresh unit area) in each frame. Then, a refresh control signal for refreshing is given to the intra-frame prediction unit 17 and the motion detection unit 19.
  • the refresh control signal is a signal indicating a refresh area. Note that the refresh control signal may include information indicating the prediction restriction range.
  • the adaptive prediction selection unit 20 selects only the output of the intra-frame prediction unit 17 when the refresh control signal is input. That is, refresh is performed by intra coding.
  • inter-coding may be used in the refresh segment as long as the reference exceeding the prediction limit range is not performed.
  • the adaptive prediction selection unit 20 selects the output of the inter-frame prediction unit 18 when the refresh control signal is input.
  • the intra-frame prediction unit 17 limits the prediction range in the frame to the prediction restriction range. That is, the intra-frame prediction unit 17 does not create a prediction value that exceeds the prediction limit range.
  • the motion detection unit 19 does not generate a motion vector that exceeds the prediction limit range.
  • the adaptive prediction selection unit 20 can exclude the prediction value by the intraframe prediction unit 17 exceeding the prediction limit range and the prediction value by the interframe prediction unit 18 exceeding the prediction limit range.
  • the adaptive prediction selection unit 20 detects that a motion vector exceeding the prediction limit range is output from the motion detection unit 19. In this case, the output of the intra-frame prediction unit 17 may be selected.
  • control other than refresh is the same as the control in the first embodiment.
  • FIG. FIG. 6 is a block diagram illustrating a configuration example of the encoding device according to the third embodiment.
  • a gradual refresh as shown in FIG. 13 or FIG. 16A is basically used, but according to the control signal from the re-encoded picture type determination unit 10, The refresh target area is controlled.
  • the re-encoded picture type determination unit 10 sets pictures that are set by subsequent re-encoding for each picture (frame in the present embodiment) constituting the input moving image data.
  • the type is determined (step S11).
  • a control signal indicating a picture type is output to the quantization control unit 12 (step S2).
  • the control signal is input to the refresh control unit 22 and the quantization control unit 12.
  • the refresh control unit 22 determines, for example, the number of segments to be refreshed based on the distance between reference pictures (the number of slices when a slice is adopted as a segment) (step S13). If the distance between reference pictures is M (M: natural number), the number of refresh segments is M. In addition, when the control signal indicating the picture type indicates a reference picture, the refresh control unit 22 performs encoding limited to intra encoding in M consecutive segments in the picture. Control (step S14). Specifically, a refresh control signal indicating that only the output of the intra-frame prediction unit 17 is selected is output to the adaptive prediction selection unit 20. When the refresh control unit 22 determines in step S14 that the reference picture is to be used, the refresh control unit 22 uses the refresh area that should have been set as the non-reference picture as the reference picture. A refresh area is set for the picture.
  • the adaptive prediction selection unit 20 selects only the output of the intra-frame prediction unit 17, so that refresh is executed by intra coding.
  • inter-coding may be used in the refresh segment as long as the reference exceeding the prediction limit range is not performed.
  • the adaptive prediction selection unit 20 selects the output of the inter-frame prediction unit 18 when the refresh control signal is input.
  • the refresh control unit 22 outputs a control signal indicating that the motion detection unit 19 is prohibited from generating a motion vector exceeding the prediction restriction range (see FIG. 13), or to the adaptive prediction selection unit 20.
  • a control signal indicating that input of a motion vector exceeding the prediction limit range is prohibited is output.
  • the adaptive prediction selection unit 20 excludes the prediction value by the inter-frame prediction unit 18 exceeding the prediction limit range according to the control signal.
  • the refresh control unit 22 also outputs a control signal to the intra-frame prediction unit 17.
  • the intra-frame prediction unit 17 does not create a prediction value exceeding the prediction limit range according to the control signal.
  • FIG. 8 shows a stream of encoded data (see FIG. 8A) when refresh in the present embodiment is executed in the encoding process of the previous stage, and a stream of encoded data (see FIG. 8A) re-encoded in the subsequent stage.
  • FIG. 8B is an explanatory diagram illustrating an example of the relationship. In FIG. 8, “B” indicates a B picture, “I” indicates an I picture, and “P” indicates a P picture. In FIG. 8B, large I and P pictures indicated by “I” and “P” are pictures quantized with a relatively small quantization width.
  • the hatched portion indicates that refresh is executed for M segments in a picture that is a reference picture in the subsequent re-encoding process.
  • a horizontal line indicates that execution of refresh is omitted. That is, refresh is not executed for a picture that is a non-reference picture in the subsequent re-encoding process.
  • M 3.
  • the refresh area is a band-like area extending in the horizontal direction (main scanning direction) in one frame. Further, the refresh area moves downward (sub-scanning direction) in one frame as time elapses.
  • the refresh area setting method is not limited to such a method.
  • the refresh area may move upward in one frame as time elapses.
  • the refresh area may be a band-like area extending in the sub-scanning direction.
  • the i-th picture is refreshed by P (i), using a general refresh control, that is, by assigning one segment to each picture regardless of whether it is a reference picture during re-encoding.
  • R (i) be the refresh area of P (i) when using the method in which is executed.
  • the encoding apparatus performs refresh on a picture that is a reference picture in the subsequent re-encoding process, so that the picture quality of the picture that is the reference picture is expected to be relatively improved. it can.
  • the subsequent re-encoding process since the quantization width of the reference picture is reduced, the picture quality of the picture that has been improved relatively in the encoding device is suppressed in the subsequent re-encoding process. can do. That is, in the entire moving image data transmission system in which encoded video data is transmitted from a video acquisition point to a receiving facility possessed by a viewer via a relay facility or a broadcasting station, it is possible to suppress a decrease in image quality of the reference picture. . As a result, it is possible to suppress deterioration in image quality of a picture that refers to a reference picture.
  • the quantization control unit 12 performs the quantization step when the control signal indicates a reference picture compared to when the control signal does not indicate a reference picture.
  • the quantization step is smaller than when the control signal indicates a reference picture. You may make it enlarge the size of.
  • the device that performs the subsequent re-encoding specifies a picture that is estimated to be the reference picture by the encoding device by the same method as in the first embodiment. Then, the quantization width of the specified picture is reduced.
  • the encoding efficiency was measured and the image quality was measured using a subsequent re-encoding device that performs a process of refreshing the entire image (one screen) with a picture.
  • the encoding apparatus according to the present embodiment and a subsequent re-encoding apparatus that performs a process of refreshing the entire image (one screen) with an I picture as shown in FIG. 12 using an encoding method based on MPEG-2. Were used to measure coding efficiency and image quality.
  • the encoding efficiency is improved by about 2% compared to the comparative example. Further, in the comparative example, local subjective image quality degradation was observed, but it was confirmed that the subjective image quality was improved when the encoding apparatus of this embodiment was used.
  • the encoding device is applied to a moving image data transmission system in which encoded video data is transmitted from a video acquisition point to a receiving facility of a viewer via a relay facility or a broadcasting station.
  • the application of the encoding device according to the present invention is not limited to such a system.
  • the present invention can be applied to an encoding device used in two-way communication.
  • FIG. 9 is a block diagram showing the main part of the encoding apparatus according to the present invention.
  • the encoding device includes a prediction error generation unit 101 (a subtractor 11 in the example illustrated in FIG. 6) that generates a prediction error signal from image data and a prediction value generated by the inter prediction unit or the intra prediction unit.
  • the quantizing means 102 for quantizing the prediction error signal generated by the prediction error generating means 101 (subtracter 11, adaptive prediction selecting section 20, intra-frame prediction in the example shown in FIG. 6).
  • Encoding picture type determination means 103 (corresponding to re-encoding picture type determination unit 10 in the example shown in FIG. 6) and a part of the picture in the refresh A refresh unit 104 that performs refresh that shifts the refresh unit region for each picture as a unit region (in the example shown in FIG.
  • the refresh control unit 22, the intra-frame prediction unit 17, the inter-frame prediction unit 18, and the adaptive prediction selection unit 20) Is realized.
  • the refresh means 104 does not set the refresh unit area in the picture when it is determined by the re-encoding picture type determination means 103, and the reference picture When it is determined that the refresh unit area is set to the reference picture including the refresh unit area that should have been set to the non-reference picture.
  • the refresh unit 104 performs re-encoding processing of a picture in the subsequent stage. If the reference picture is determined by the re-encoding picture type determination means, M refresh unit areas are set for the picture.
  • the refresh means 104 may be configured to perform refresh by intra coding. In such a configuration, image quality deterioration is reduced.
  • the refresh unit 104 shifts the refresh unit region within a prediction restriction range composed of a plurality of pictures, and the prediction error generation unit 101 generates an inter prediction unit that exceeds the prediction restriction range when generating a prediction error signal. Excludes the prediction value by the intra prediction unit.
  • the prediction error generation unit 101 may be configured to generate a prediction error signal from a prediction value using only one-way prediction when using a prediction value generated by the inter prediction unit when creating a picture. . In the case of such a configuration, the degree of increase / decrease of the code amount for each picture is suppressed, so that the delay amount can be reduced.
  • the prediction error generation means 101 may be configured to generate a prediction error signal using only the prediction value generated by the intra prediction unit when creating a picture. In the case of such a configuration, the degree of increase / decrease of the code amount for each picture is suppressed, so that the delay amount can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

 動画像符号化装置は、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段を備え、リフレッシュ手段は、ピクチャが後段の再符号化処理で非参照ピクチャとされると再符号化時ピクチャタイプ判定手段によって判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定する。

Description

動画像符号化装置、動画像符号化方法および動画像符号化プログラム
 本発明は、動画像データを符号化する動画像符号化装置、動画像符号化方法および動画像符号化プログラムに関する。
 動画像データを符号化する際に、圧縮効率を高めるために、MPEG(Moving Picture Experts Group)-2、MPEG-4、H.264/MPEG-4 AVC(Advanced Video Coding )等の規格にもとづく符号化方式が用いられる。それらの符号化方式では、他のピクチャからの予測を行うことなく符号化されたイントラ符号化ピクチャ(Iピクチャ)と、符号化対象のピクチャに対して画像の表示順において過去のピクチャ、または過去および未来のピクチャからの予測を利用して符号化されたピクチャ間予測符号化ピクチャ(PピクチャまたはBピクチャ)とを使用することができる。なお、「ピクチャ」は、インターレース方式の動画像をフィールド単位で符号化する場合にはフィールドに相当し、非インターレース方式(プログレッシブ方式)の動画像の場合にはフレームに相当する。また、動画像データを符号化する際に、インターレース方式の動画像において2フィールドを1フレームにまとめてフレーム単位で符号化することも可能であり、その場合には、「ピクチャ」はフレームに相当する。以下、ピクチャ間予測符号化を、インター符号化ということがある。
 イントラ符号化ピクチャは、動画像の最初のピクチャの符号化で用いられる他、動画像の符号化データが伝送される場合に生じた伝送誤りにもとづいて発生した乱れた画像を正常な画像に復旧させたり、動画像の中途から再生するときに正常な画像を再生できるようにする等の目的で使用される。
 符号化データを送信する側の符号化装置および符号化データを受信する側の復号装置には、一般に、受信した符号化データを蓄積する適当な容量のバッファメモリが設けられている。バッファメモリは、MPEG-2やMPEG-4 part.2ではVBV(Video Buffering Verifier)バッファと呼ばれ、MPEG-4 AVCではCPB(Coded Picture Buffer)と呼ばれる。また、バッファメモリの容量は、例えば、(伝送レート×0.5秒)である。イントラ符号化ピクチャの圧縮効率は、インター符号化ピクチャの圧縮効率に比べて低いので、イントラ符号化ピクチャの符号量は、インター符号化ピクチャの符号量よりも多い。従って、イントラ符号化ピクチャとインター符号化ピクチャが混在する場合には、ピクチャ毎に符号量が変動する状況が生ずる。バッファメモリは、符号量の変動の影響を吸収する役割も果たす。
 また、Bピクチャの利用に際して、Bピクチャよりも表示順において未来のIピクチャおよびPピクチャを先に復号することが求められるので、動画像を構成する各画像の入力順序に対して、符号化後のピクチャの順序が変更される。すなわち、ピクチャの並び替えが実行される。図10は、ピクチャの並び替えを説明するための説明図である。図10(A)に例示されたような順序で動画像が符号化装置に入力される場合に、図10(B)に例示するように、伝送される符号化データのストリームにおけるピクチャの順序は、図10(A)に示された順序とは異なる。なお、図10(A),(B)において、”B”はBピクチャを示し、”I”はIピクチャを示し、”P”はPピクチャを示す。図10(A),(B)において、数字は、入力された順番を示す。また、図10(B)において、I,B,Pに”’”が付されているが、図10(A)におけるI,B,Pが符号化前の動画像の構成要素を表しているのに対して、図10(B)における”’”が付されたI,B,Pが符号化後のビットストリームの構成要素を表すというデータ上の差異を区別するために付されているにすぎない。
 伝送された符号化データがバッファメモリに一時滞在することに起因して、また、図10に示すようにピクチャの並び替えに起因して遅延が生ずる。すなわち、動画像が符号化装置に入力された時点に対して、復号装置から出力される再生された動画像の出力時点が遅れる。以下、符号化された動画像中にイントラ符号化ピクチャとインター符号化ピクチャとが存在することになる符号化を、通常遅延符号化ということがある。なお、遅延として、符号化処理および復号処理における遅延や伝送路における遅延もあるが、以下の説明では、符号化データがバッファメモリに一時滞在することに起因する遅延と、ピクチャの並び替えに起因する遅延とに着目する。
 通常遅延符号化では、ピクチャ間予測で他のピクチャから参照されるピクチャである参照ピクチャと、他のピクチャから参照されないピクチャである非参照ピクチャとがある。図11に示すように、参照ピクチャには、IピクチャおよびPピクチャが含まれ、非参照ピクチャにはBピクチャが含まれる。なお、MPEG-4 AVCでは、参照構造を階層化することも可能であり、Bピクチャを参照することもできる。例えば、I0,B1,B2,B3,P4の順で入力されるピクチャ群について、I0をIピクチャ、P4をPピクチャ、B1,B2,B3をBピクチャとして符号化するとき、B2を参照ピクチャとして、B2がI0,P4の2枚のピクチャを参照し、B1がI0,B2の2枚のピクチャを参照し、B3がB2,P4の2枚のピクチャを参照するといった参照構造を取ることができる。いずれにせよ、非参照ピクチャは、他のピクチャから参照されないので、非参照ピクチャで発生した誤差は他のピクチャに伝搬しない。しかし、参照ピクチャにおける画質低下は、他のピクチャに影響を及ぼす。
 そこで、符号化装置において、通常遅延符号化が行われる場合には、非参照ピクチャになるピクチャにおける量子化幅を大きくして符号化後の符号量が増大することを抑制し、参照ピクチャになるピクチャにおける量子化幅を小さくして画質低下を防止する制御が実行されることが多い(例えば、特許文献1参照)。
 なお、図11において、”B”はBピクチャを示し、”I”はIピクチャを示し、”P”はPピクチャを示す。図11において、数字は、入力された順番を示す。また、矢印で指し示されているピクチャが参照ピクチャに相当する。
 上記のように、通常遅延符号化を用いる場合には遅延が生ずるが、動画像を用いた双方向コミュニケーションを実現する場合などには、適度な圧縮効率を維持しつつ、遅延を抑制することが好ましい。バッファメモリの容量を小さくするために各ピクチャの符号量をほぼ均一化すること、およびピクチャの並び替えを実行しないようにすることによって、遅延を抑制することができる。ピクチャの並び替えを実行しないようにするには、インター符号化ピクチャを使用しないようにするか、または、インター符号化ピクチャを使用する場合に片方向予測のみを用いるようにすればよい。
 各ピクチャの符号量のばらつきを小さくし、かつ、ピクチャの並び替えを実行しないようにするとともに、適度な圧縮効率を維持し、かつ、リフレッシュの効果が損なわれないようにするために、伝送路の帯域が広い場合には、インター符号化ピクチャを使用せず、イントラ符号化ピクチャのみを使用することが好ましい。また、伝送路の帯域が狭い場合には、例えば、スライスリフレッシュが使用される。スライスリフレッシュは、イントラ符号化ピクチャを使用せず、インター符号化ピクチャのみを使用しながら画面をリフレッシュする技術であり、イントラスライスリフレッシュとも呼ばれる。
 図12は、Iピクチャによって画像(画面)がリフレッシュされる様子を示す説明図である。図12において、破線による矩形で囲まれた各領域Rj-1,R,Rj+1は、それぞれ、予測制限範囲を示す。図12に示すように、予測制限範囲を越える参照を行わないようにすることによって、誤差の伝搬が予測制限範囲内に限定される。
 図13は、スライスリフレッシュを説明するための説明図である。スライスリフレッシュは、図12に例示されたようなIピクチャによって画像(1画面)全体をリフレッシュするのではなく、図13に示すように、ピクチャ内の一部のスライス(1または数行の帯状のマクロブロックの集合)をイントラ符号化領域にし、連続するピクチャのそれぞれにおけるイントラ符号化領域のスライスをずらし、所定時間が経過すると、画面全体にイントラ符号化領域のスライスが行き渡るようにするリフレッシュである(例えば、特許文献2参照)。図13において、破線で囲まれた各領域Rj-2,Rj-1,R,Rj+1は、それぞれ、予測制限範囲を示す。なお、本明細書および図面において、「スライス」のように画像を構成する部分領域のことを「セグメント」と表現することがある。特に、リフレッシュの対象セグメント(リフレッシュ領域)を「リフレッシュセグメント」と表現することがある。また、以下、「セグメント」と表現する場合は、帯状に限らない任意形状のマクロブロックの集合または1個のマクロブロックのいずれかを指す。例えば、ピクチャを構成するマクロブロック数がn個で、N枚のピクチャが経過すると画面全体にイントラ符号化領域が行き渡るように行うリフレッシュの場合には、N/n個のマクロブロックからなる任意のピクチャ内の部分領域をリフレッシュセグメントとして用いてもよい。また、図13において、「イントラ符号化セグメント」がリフレッシュ領域に相当する。「一般符号化セグメント」は、イントラ符号化またはインター符号化が使用される領域である。
 また、図14の説明図に示すように、破線で囲まれた領域Rj-2,Rj-1,R,Rj+1である各予測制限範囲を定めるが、それぞれの予測制限範囲内では、イントラ符号化領域のスライスを定めることなく、インター符号化を使用することも可能であるようにした場合も、リフレッシュを実現することができる。
 ただし、一般に、予測制限範囲ではイントラ符号化を行った方が符号化効率が高くなるので、図13に例示されたようなイントラ符号化セグメントによるリフレッシュが使用されることが多い。以下、図13および図14に例示されたようなリフレッシュを漸次リフレッシュという。
 テレビジョン放送システムにおいて、記録媒体に記録されている映像および音声を視聴者に提供する場合の他に、スポーツ番組の提供やニュース報道の場合など撮影した映像と採取した音声とをリアルタイムで視聴者に提供する場合がある。撮影場所が放送局から離れている場合には、撮影場所から複数の中継設備を経て映像および音声が放送局に伝送される(例えば、特許文献3参照)。その後、放送局から、視聴者が有する受信設備に対して、映像および音声が放送される。以下、撮影場所を、映像取得地点ということがある。
 ディジタルテレビジョン放送の場合には、一般に、映像取得地点に存在する撮像装置において符号化された動画像データが放送局に伝送される。その後、放送局から、視聴者が有する受信設備に対して、映像および音声がディジタルデータとして送信される。また、中継設備において、受信された符号化データが復号された後、再符号化された符号化データが放送局に向けて送信されることもある。
特開2002-125232号公報(段落0007) 特開2007-221411号公報(段落0005,0006) 特開2008-252755号公報(段落0003-0005)
 テレビジョン放送システムにおいて、撮影した映像と採取した音声とをリアルタイムで視聴者に提供する場合等には、映像取得地点から視聴者が有する受信設備までの間において生ずる遅延は小さいことが望ましい。しかし、一般に、放送局から視聴者が有する受信設備に至る伝送路の帯域は広くない。よって、放送局から視聴者が有する受信設備に送信される動画像データについては、遅延を小さくすることによりも、画質の維持が優先され、通常遅延符号化が使用される。しかし、一般に、映像取得地点から放送局までの間の伝送路の帯域は広い。そこで、映像取得地点から視聴者が有する受信設備までの間での遅延量を少なくするために、映像取得地点では、イントラ符号化のみによる符号化を使用すること、または、漸次リフレッシュを用いた符号化を使用することが考えられる。
 放送局から視聴者が有する受信設備に送信される動画像データについては通常遅延符号化が使用される場合に、映像取得地点ではイントラ符号化のみによる符号化を使用したり漸次リフレッシュを用いた符号化を使用するときには、放送局等において、映像取得地点から伝送されたイントラ符号化ピクチャのみを含むデータストリームや漸次リフレッシュを用いたデータストリームを一旦復号し、通常遅延符号化による再符号化が行われる。
 以下、映像取得地点で実行される符号化処理を前段における符号化処理といい、放送局等で実行される再符号化を後段における符号化処理という。
 映像取得地点から中継設備や放送局を経て視聴者が有する受信設備に映像の符号化データが伝送される動画像データ伝送システムにおいて、前段の符号化処理における量子化制御、すなわち映像取得地点で実行されるイントラ符号化のみによる符号化処理や漸次リフレッシュを用いた符号化処理の実行時における量子化制御において、後段における通常遅延符号化による符号化処理を考慮しない場合には、再符号化時に参照ピクチャとされるか非参照ピクチャとされるかに関わらず、同じ量子化制御が施されることになる。
 図15は、前段の符号化処理による符号化データのデータストリーム(図15(A)参照)と、後段において再符号化される符号化データのデータストリーム(図15(B)参照)との関係の一例を示す説明図である。後段における符号化処理で通常遅延符号化が行われ、その通常遅延符号化において、非参照ピクチャにおける量子化幅を大きくし参照ピクチャにおける量子化幅を小さくする制御が行われることを想定する(図15(B)参照)。図15において、”B”はBピクチャを示し、”I”はIピクチャを示し、”P”はPピクチャを示す。また、図15(B)において、大きく描かれている”I”および”P”が示すIピクチャおよびPピクチャは、相対的に小さい量子化幅で量子化されたピクチャであることを示す。また、図15(A)において、各Pピクチャの量子化幅が同じであることを想定する。
 後段の再符号化処理で、前段の符号化処理で作成された符号化データを復号した後に再符号化を行う場合には、参照ピクチャにおける量子化幅を小さくする制御を実行しても、画質の劣化を抑える効果が低減する可能性がある。図15(A)に示すように、一律な量子化幅を用いて全てのピクチャをPピクチャにする前段の符号化処理において、全てのピクチャの画質はある程度劣化しているからである。
 図16は、前段の符号化処理で漸次リフレッシュが実行される場合の符号化データのデータストリーム(図16(A)参照)と、後段において再符号化される符号化データのデータストリーム(図16(B)参照)との関係の一例を示す説明図である。図16において、”B”はBピクチャを示し、”I”はIピクチャを示し、”P”はPピクチャを示す。図16(A)において斜線で示されている領域がリフレッシュ領域である。また、図16(B)において、大きく描かれている”I”および”P”が示すIピクチャおよびPピクチャは、相対的に小さい量子化幅で量子化されたピクチャであることを示す。
 後段の再符号化処理において、一般に、参照ピクチャではないピクチャ(非参照ピクチャ)になるピクチャにおける量子化幅を大きくして符号化後の符号量が増大することを抑制し参照ピクチャになるピクチャにおける量子化幅を小さくするような制御が実行されるので、前段の符号化処理における漸次リフレッシュが、後段の再符号化処理における量子化幅の制御が考慮されずに実行される場合には、後段の再符号化処理で非参照ピクチャとされるピクチャについての量子化幅が前段の符号化処理での量子化幅に比べて相対的に大きくなり、前段の符号化処理において当該ピクチャに対して割り当てた符号量が無駄になってしまうおそれがある。すなわち、動画像データ伝送システム全体において、符号化効率が低下するおそれがある。換言すれば、同一の符号量を費やして得られる画質が低下したり、同一の画質を得るための所要符号量が増加したりするおそれがある。
 そこで、本発明は、伝送路を介して符号化データを受信する装置において再符号化が行われる場合に、動画像データ伝送システム全体において、符号化効率を改善することができる動画像符号化装置、動画像符号化方法および動画像符号化プログラムを提供することを目的とする。
 本発明による動画像符号化装置は、画像データとインター予測部またはイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段と、予測誤差生成手段が生成した予測誤差信号を量子化する量子化手段と、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段と、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段とを備え、リフレッシュ手段は、ピクチャが後段の再符号化処理で非参照ピクチャとされると再符号化時ピクチャタイプ判定手段によって判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定することを特徴とする。
 本発明による動画像符号化方法は、画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成し、生成された予測誤差信号を量子化し、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定し、ピクチャにおける一部の領域をリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行い、予測誤差信号を生成する際に、予測制限範囲を越えるインター予測処理またはイントラ予測処理による予測値を除外し、ピクチャが後段の再符号化処理で非参照ピクチャとされると判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定することを特徴とする。
 本発明による動画像符号化プログラムは、コンピュータに、画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成する処理と、生成された予測誤差信号を量子化する処理と、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する処理と、ピクチャにおける一部の領域をリフレッシュ単位領域とし、複数のピクチャで構成される予測制限範囲内で、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行う処理と、予測誤差信号を生成する際に、予測制限範囲を越えるインター予測処理またはイントラ予測処理による予測値を除外する処理と、ピクチャが後段の再符号化処理で非参照ピクチャとされると判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定する処理とを実行させることを特徴とする。
 本発明によれば、伝送路を介して符号化データを受信する装置において再符号化が行われる場合に、動画像データ伝送システム全体において、符号化効率を改善することができる。
本発明による動画像符号化装置の第1の実施形態を示すブロック図である。 本発明による符号化装置を適用することが可能な動画像データ伝送システムの一例を示すブロック図である。 符号化装置の動作を示すフローチャートである。 符号化データのストリームと後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。 第2の実施形態の符号化装置の構成例を示すブロック図である。 第3の実施形態の符号化装置の構成例を示すブロック図である。 符号化装置の動作を示すフローチャートである。 符号化データのストリームと後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。 本発明による符号化装置における主要部を示すブロック図である。 ピクチャの並び替えを説明するための説明図である。 ピクチャの参照関係を示す説明図である。 Iピクチャによって画面がリフレッシュされる様子を示す説明図である。 スライスリフレッシュを説明するための説明図である。 予測制限範囲を説明するための説明図である。 符号化データのストリームと後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。 漸次リフレッシュが実行される場合の符号化データのストリームと、後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。
実施形態1.
 図1は、本発明による動画像符号化装置の第1の実施形態を示すブロック図である。図1に示す動画像符号化装置において、入力動画像を構成する各入力画像は、減算器11、量子化制御部12および動き検出部19に入力される。以下、ピクチャとして、フレームを例にする。減算器11は、入力画像におけるマクロブロック単位で、予測誤差信号を生成する。マクロブロックは、入力画像を分割した部分領域を意味し、典型的には、16×16画素の矩形領域である。減算器11は、マクロブロックのデータから、フレーム内予測部(イントラ予測部)17またはフレーム間予測部(インター予測部)18が出力する予測値を減算することによって予測誤差信号を生成する。以下、動画像符号化装置を符号化装置という。
 量子化制御部12は、入力画像と発生符号量とにもとづいて量子化パラメータを決定し、決定した量子化パラメータを出力する。量子化パラメータには、量子化ステップサイズまたは量子化幅の概念が含まれる。
 周波数変換/量子化部13における周波数変換部は、減算器11が生成した予測誤差信号に離散コサイン変換(DCT:Discrete Cosine Transform )を施すことによって、予測誤差信号を空間領域の信号から周波数領域の信号に変換し、DCT係数を作成する。周波数変換/量子化部13における量子化部は、周波数変換部が作成したDCT係数を、量子化制御部12が決定した量子化幅で量子化する。可変長符号化部21は、量子化されたDCT係数を可変長符号化し、符号化データのストリームとして出力する。
 逆量子化/逆周波数変換部14における逆量子化部は、周波数変換/量子化部13が出力するDCT係数を逆量子化する。逆量子化/逆周波数変換部14における逆周波数変換部は、逆量子化されたDCT係数に対して逆DCTを施すことによって、空間領域の予測誤差信号を再生する。
 加算器15は、逆量子化/逆周波数変換部14が出力する予測誤差信号と、フレーム内予測部17またはフレーム間予測部18が出力する予測値とを加算することによって画像フレームを再生し、再生した画像フレームを参照フレームとしてフレームメモリ16に格納する。
 動き検出部19は、フレームメモリ16に格納されている参照フレームから、入力画像のマクロブロックの予測誤差信号を最小にする動きベクトルを検出し、フレーム間予測部18に対して出力する。
 適応予測選択部20は、減算器11に対して出力する信号として、フレーム内予測部17の出力またはフレーム間予測部18の出力を選択するためのスイッチである。適応予測選択部20は、イントラ符号化が実行されるときにはフレーム内予測部17の出力を選択し、インター符号化が実行されるときにはフレーム間予測部18の出力を選択する。
 なお、図1に示された符号化装置を、ハードウェア回路で実現することができるが、プログラムにもとづいて処理を実行するプロセッサで実現することもできる。従って、以下で説明する符号化装置における処理は、ソフトウェアで実現することもできる。
 また、本実施形態で特徴的なことは、入力画像にもとづいて量子化制御部12に与える制御信号を作成する再符号化ピクチャタイプ判定部10が設けられていることである。
 また、本実施形態では、フレーム間予測部18は、符号化対象のピクチャに対して画像の表示順において過去のピクチャを参照ピクチャにする符号化処理のみを実行し、符号化対象のピクチャに対して過去および未来のピクチャからの予測を利用する符号化処理を実行しない。すなわち、符号化装置は、フレーム間予測を使用して符号化処理を実行する場合には、一方向予測のみを利用する符号化処理を実行する。具体的には、符号化装置は、Pピクチャのみを出力する。
 図2は、本発明による符号化装置を適用することが可能な動画像データ伝送システムの一例を示すブロック図である。図2に示すシステムでは、映像取得地点に存在するカメラ31が撮像した動画像にもとづく符号化データのストリームが、通信ネットワーク32を介して地方局33に伝送される。通信ネットワーク32は、例えば、無線伝送路を含むIP網である。地方局33における放送設備(図示せず)とキー局35における放送設備(図示せず)とは、伝送路34を介して通信を行う。
 また、例えば、中継車(図示せず)に搭載されたカメラ41が撮像した動画像にもとづく符号化データのストリームは、マイクロ波回線42などを介して、中継地点における無線中継装置であるFPU(Field Pickup Unit )43に伝送される。中継地点が複数存在することもある。そして、FPU43からストリームが伝送路44を介して地方局33に伝送される。
 地方局33において、放送設備から視聴者の受信設備(例えば、テレビジョン受信機)51,52に対して、符号化データのストリームを用いたディジタル信号による放送(ディジタル放送)が行われる。また、キー局35において、放送設備から視聴者の受信設備61,62に対して、符号化データのストリームを用いたディジタル放送が行われる。
 カメラ31,41から地方局33に至る伝送路の帯域は比較的広い。また、地方局33とキー局35との間の伝送路の帯域も比較的広い。よって、それらの伝送路に動画像の符号化データを送信する場合には、イントラ符号化のみによる符号化を使用するか、または、漸次リフレッシュを用いた符号化を使用することが多い。
 しかし、地方局33と受信設備51,52との間の伝送路の帯域、およびキー局35と受信設備61,62との間の伝送路の帯域は、それほど広くない。また、ディジタル放送では、所定の規格にもとづく符号化を行うことが求められる。従って、例えば、地方局33およびキー局35では、通常遅延符号化による符号化データを用いてディジタル放送を行う。カメラ31,41が取得した動画像を即時に視聴者に配信する場合には、地方局33およびキー局35において、イントラ符号化のみによる符号化や漸次リフレッシュを用いた符号化にもとづくデータを復号し、次いで、通常遅延符号化による再符号化が行われる。
 なお、図2に示すシステムは一例であって、本発明による符号化装置が適用可能なシステムは、図2に示すシステムに限定されない。
 また、図2に例示されたシステムでは、映像取得地点に存在するカメラ31,41に、図1に例示された符号化装置が搭載される。
 地方局33およびキー局35において通常遅延符号化による再符号化が行われる場合に、非参照ピクチャになるピクチャにおける量子化幅を大きくし、参照ピクチャになるピクチャにおける量子化幅を小さくする制御(図15(B)参照)が行われることを想定する。以下、再符号化が行われる地点を再符号化地点という。
 また、伝送路の帯域が広いことから符号量の増大をある程度許容できるので、映像取得地点における符号化装置は、参照ピクチャ(IピクチャおよびPピクチャ)になりうるピクチャタイプのみを用いて符号化を行うことを想定する。
 そして、映像取得地点における符号化装置は、再符号化地点において実行される再符号化において参照ピクチャになるピクチャを推定し、参照ピクチャになると推定したピクチャを符号化する際の量子化幅を、参照ピクチャにならないと推定したピクチャを符号化する際の量子化幅よりも小さくする。そのような制御を行わない場合には、再符号化地点での再符号化の際に量子化幅が小さくされるピクチャについて、映像取得地点において符号化の際に粗い量子化幅が用いられるという状況が生ずる可能性がある。映像取得地点において符号化の際に粗い量子化幅が用いられたピクチャについて、再符号化の際に量子化幅を小さくしても画質劣化の防止を期待することはできない。しかし、本実施形態では、映像取得地点において、再符号化地点での再符号化の際に参照ピクチャになると推定されるピクチャの量子化幅を小さくするので、画質劣化を防止することができる。換言すれば、映像取得地点から視聴者の受信設備に至るまでのシステム全体における符号化効率が改善される。
 次に、図3のフローチャートを参照して符号化装置の動作を説明する。
 再符号化ピクチャタイプ判定部10は、入力動画像データを構成する各ピクチャ(本実施形態では、フレーム)について、後段における再符号化で選択されると考えられるピクチャタイプを判定する(ステップS1)。ピクチャタイプの判定の方法として、公知のいずれの方法を用いてもよいが、再符号化ピクチャタイプ判定部10は、一例として、以下のような方法を用いる。
 各ピクチャを符号化したときのピクチャ内の平均量子化幅をQ、発生符号量をSとした場合に、(S×Q)で表される特徴量X(=S×Q)を複雑度とする。直近にIピクチャとして符号化した複雑度をX、直近にPピクチャとして符号化した複雑度をXとしたときに、ビットレートで定まるしきい値Tに対して、
 (X/X)>T
であるときには、参照ピクチャ間距離を「1」にする。それ以外の場合には、参照ピクチャ間距離を「3」にする。
 参照ピクチャ間距離は、参照ピクチャになりうるピクチャと、次に参照ピクチャになりうるピクチャとの間の時間的な距離である。参照ピクチャ間距離が「1」であるということは、参照ピクチャになりうるピクチャの直後のピクチャも、参照ピクチャになりうるピクチャにすることを意味する。また、参照ピクチャ間距離が「3」であるということは、参照ピクチャになりうるピクチャの3つ後のピクチャを、参照ピクチャになりうるピクチャにすることを意味する。
 再符号化ピクチャタイプ判定部10は、入力動画像データを構成する各ピクチャについて、ピクチャタイプを示す制御信号を量子化制御部12に出力する(ステップS2)。
 量子化制御部12は、制御信号が参照ピクチャを示している場合には、制御信号が参照ピクチャを示していない場合に比べて、量子化ステップのサイズを小さくする(ステップS3,S4)。換言すれば、量子化幅を小さくする。制御信号が参照ピクチャを示していない場合すなわち制御信号が非参照ピクチャを示している場合には、制御信号が参照ピクチャを示している場合に比べて、量子化ステップのサイズを大きくする(ステップS3,S5)。換言すれば、量子化幅を大きくする。
 なお、再符号化ピクチャタイプ判定部10からの制御信号が参照ピクチャを示している場合とは、図1に例示されている符号化装置と伝送路を介して通信可能に接続されている後段の装置で実行される再符号化において参照ピクチャとされることを意味する。また、再符号化ピクチャタイプ判定部10からの制御信号が非参照ピクチャを示している場合とは、図1に例示されている符号化装置と伝送路を介して通信可能に接続されている後段の装置で実行される再符号化において非参照ピクチャとされることを意味する。
 また、本実施形態では、量子化制御部12は、再符号化ピクチャタイプ判定部10からの制御信号が参照ピクチャを示している場合と非参照ピクチャを示している場合とで量子化幅を違えるが、符号化装置は、実際に符号化するピクチャの符号化タイプを全てIピクチャまたはPピクチャにする。実際に符号化するピクチャの符号化タイプを全てIピクチャにする場合には、適応予測選択部20は、常にフレーム内予測部17の出力を選択する。また、実際に符号化するピクチャの符号化タイプを全てPピクチャにする場合には、適応予測選択部20は、フレーム内予測部17の出力とフレーム間予測部18の出力のどちらか一方を選択するが、フレーム間予測部18は、一方向予測のみを利用した予測値を出力する。
 図4は、図1に例示された符号化装置による符号化データのストリームと、後段において再符号化される符号化データのストリームとの関係の一例を示す説明図である。図4(A)には、符号化装置がPピクチャのみからなるデータストリームを送信することが例示されている。図4(A)において、”P”はPピクチャを意味するが、大きく描かれている”P”が示すPピクチャは、相対的に小さい量子化幅で量子化されたピクチャであることを示す。
 そして、図4(B)に示すように、後段の再符号化を行う装置では、符号化装置が小さい量子化幅で量子化したピクチャを、参照ピクチャ(IピクチャまたはPピクチャ)にする。
 なお、後段の装置が、符号化装置が小さい量子化幅で量子化したピクチャを特定する方法、すなわち符号化装置が参照ピクチャになると推定したピクチャを特定する方法として、例えば以下のような方法がある。
 上記のように、符号化装置が画像の複雑度Xにもとづいて参照ピクチャになるか非参照ピクチャになるのかを判定した場合には、後段の装置は、符号化装置が判定に用いらアルゴリズムと同じアルゴリズムによって画像の複雑度Xにもとづいて参照ピクチャになるか非参照ピクチャになるのかを決定する。その場合には、符号化装置は、小さい量子化幅で量子化したピクチャを特定するための情報を後段の装置に送信しなくてもよい。
 また、後段の装置は、各ピクチャに対する過去および未来の複数のピクチャを参照して各ピクチャの平均量子化ステップを検出し、各ピクチャを、平均量子化ステップが大きいグループと平均量子化ステップが小さいグループとにグループ分けしてもよい。その場合、平均量子化ステップが小さいグループに属するピクチャを参照ピクチャにし、平均量子化ステップが大きいグループに属するピクチャを非参照ピクチャにする。そのような制御する場合も、符号化装置は、小さい量子化幅で量子化したピクチャを特定するための情報を後段の装置に送信しなくてもよい。
 また、符号化装置は、符号化データとともに、小さい量子化幅で量子化したピクチャを特定するための補助情報を送信してもよい。例えば、MPEG-2やMPEG-4 part.2では、user_data の領域に補助情報を設定する。MPEG-4 AVCでは、SEI(Supplemental Enhancement Information)メッセージに補助情報を設定する。また、システムレイヤ、例えばMPEG-2 TS(Transport Stream)やMPEG-2 PS(Program Stream)内の領域に、補助情報を設定することもできる。
 なお、本実施形態では、符号化装置は、画像の複雑度に応じて、参照ピクチャになるか非参照ピクチャになるのかを判定したが、全てのピクチャを参照ピクチャとして扱うようにしてもよい。
実施形態2.
 第1の実施形態では、リフレッシュ制御に関する構成は省略されていたが、符号化装置は、所定のリフレッシュ制御を実行してもよい。図5は、リフレッシュ制御を実行する第2の実施形態の符号化装置の構成例を示すブロック図である。
 図5に例示された符号化装置は、リフレッシュ制御部22を備えている。リフレッシュ制御部22は、各フレームにおけるリフレッシュ領域(リフレッシュ単位領域)を設定する処理を行う。そして、フレーム内予測部17および動き検出部19にリフレッシュのためのリフレッシュ制御信号を与える。リフレッシュ制御信号はリフレッシュ領域を示す信号である。なお、リフレッシュ制御信号が、予測制限範囲を示す情報を含んでいてもよい。
 適応予測選択部20は、リフレッシュ制御信号が入力されると、フレーム内予測部17の出力のみを選択する。すなわち、イントラ符号化によってリフレッシュを行う。
 なお、予測制限範囲を越える参照を行わないようにすれば、リフレッシュのセグメントにおいて、インター符号化を用いてもよい。その場合、適応予測選択部20は、リフレッシュ制御信号が入力されると、フレーム間予測部18の出力を選択する。
 また、本実施形態では、基本的に、漸次リフレッシュ(図13および図16(A)参照)を使用する。よって、フレーム内予測部17は、フレーム内の予測範囲を、予測制限範囲内に限定する。すなわち、フレーム内予測部17は、予測制限範囲を越える予測値を作成しないようにする。また、動き検出部19は、予測制限範囲を越える動きベクトルを生成しないようにする。その結果、適応予測選択部20は、予測制限範囲を越えるフレーム内予測部17による予測値および予測制限範囲を越えるフレーム間予測部18による予測値を除外できることになる。
 なお、動き検出部19が予測制限範囲を越える動きベクトルを生成しないようにするのではなく、適応予測選択部20が、動き検出部19から予測制限範囲を越える動きベクトルが出力されたことを検知した場合には、フレーム内予測部17の出力を選択するようにしてもよい。
 なお、リフレッシュ以外の制御は、第1の実施形態における制御と同じである。
実施形態3.
 図6は、第3の実施形態の符号化装置の構成例を示すブロック図である。本実施形態では、リフレッシュとして、基本的には、図13や図16(A)に示されたような漸次リフレッシュを使用するが、再符号化ピクチャタイプ判定部10からの制御信号に応じて、リフレッシュの対象領域が制御される。
 次に、図7のフローチャートを参照して符号化装置の動作を説明する。再符号化ピクチャタイプ判定部10は、第1の実施形態の場合と同様に、入力動画像データを構成する各ピクチャ(本実施形態では、フレーム)について、後段における再符号化で設定されるピクチャタイプを判定する(ステップS11)。そして、入力動画像データを構成する各ピクチャについて、ピクチャタイプを示す制御信号を量子化制御部12に出力する(ステップS2)。制御信号は、リフレッシュ制御部22および量子化制御部12に入力される。
 リフレッシュ制御部22は、例えば、参照ピクチャ間距離にもとづいて、リフレッシュセグメントとなるセグメントの数(セグメントとしてスライスを採用した場合には、スライス数)を決定する(ステップS13)。参照ピクチャ間距離がM(M:自然数)であれば、リフレッシュセグメント数はMである。また、リフレッシュ制御部22は、ピクチャタイプを示す制御信号が参照ピクチャを示している場合に、そのピクチャにおいて、連続するM個のセグメントにおいて、イントラ符号化に限定する符号化が実行されるように制御する(ステップS14)。具体的には、適応予測選択部20に対して、フレーム内予測部17の出力のみを選択することを示すリフレッシュ制御信号を出力する。リフレッシュ制御部22は、ステップS14の処理で、参照ピクチャとされると判定した場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ領域の分も含めて参照ピクチャとされるピクチャにリフレッシュ領域を設定することになる。
 適応予測選択部20は、リフレッシュ制御信号が入力されると、フレーム内予測部17の出力のみを選択するので、イントラ符号化によってリフレッシュが実行される。
 なお、本実施形態でも、予測制限範囲を越える参照を行わないようにすれば、リフレッシュのセグメントにおいて、インター符号化を用いてもよい。その場合、適応予測選択部20は、リフレッシュ制御信号が入力されると、フレーム間予測部18の出力を選択する。
 また、リフレッシュ制御部22は、動き検出部19に対して、予測制限範囲(図13参照)を越える動きベクトルの生成を禁止することを示す制御信号を出力したり、適応予測選択部20に対して、予測制限範囲を越える動きベクトルの入力を禁止することを示す制御信号を出力したりする。その結果、適応予測選択部20は、制御信号に従って、予測制限範囲を越えるフレーム間予測部18による予測値を除外することになる。
 また、リフレッシュ制御部22は、フレーム内予測部17にも、制御信号を出力する。フレーム内予測部17は、制御信号に従って、予測制限範囲を越える予測値を作成しないようにする。
 図8は、前段の符号化処理で本実施形態におけるリフレッシュが実行される場合の符号化データのストリーム(図8(A)参照)と、後段において再符号化される符号化データのストリーム(図8(B)参照)との関係の一例を示す説明図である。図8において、”B”はBピクチャを示し、”I”はIピクチャを示し、”P”はPピクチャを示す。また、図8(B)において、大きく描かれている”I”および”P”が示すIピクチャおよびPピクチャは、相対的に小さい量子化幅で量子化されたピクチャであることを示す。
 また、図8(A)において、斜線部分は、後段の再符号化処理において参照ピクチャとされるピクチャでM個のセグメントに対してリフレッシュが実行されることを示す。また、横線は、リフレッシュの実行が省略されていることを示す。すなわち、後段の再符号化処理において非参照ピクチャとされるピクチャについてリフレッシュは実行されない。なお、図8に示す例では、M=3である。
 図8(A)に示す例では、リフレッシュ領域は、1つのフレームにおいて、横方向(主走査方向)に延びる帯状の領域である。また、リフレッシュ領域は、時間経過に伴って、1つのフレームにおける下方向(副走査方向)に移動することになる。しかし、リフレッシュ領域の設定方法は、そのような方法に限られない。例えば、リフレッシュ領域が、時間経過に伴って、1つのフレームにおける上方向に移動するようにしてもよい。また、例えば、リフレッシュ領域は、副走査方向に延びる帯状の領域であってもよい。
 リフレッシュ領域の設定方法を一般化すると、以下のようになる。
 i枚目のピクチャをP(i)、一般的なリフレッシュ制御を用いた場合の、すなわち、再符号化時に参照ピクチャか否かに依らず各ピクチャに対して1個ずつセグメントを割り当てる方法でリフレッシュが実行される方法を用いた場合のP(i)のリフレッシュ領域をR(i)とする。再符号化時の参照ピクチャをP(i)とし、再符号化時の参照ピクチャ間距離をM(i)とした場合に、本実施形態における一般化されたR’(i)[i≦i≦(M-1)]は、(1)式のように表される。
Figure JPOXMLDOC01-appb-M000001
 (1)式において、「U」は和集合を示し、「ψ」は空集合を示す。
 本実施形態では、符号化装置は、後段の再符号化処理で参照ピクチャとされるピクチャについてリフレッシュを集中的に実行するので、参照ピクチャとされるピクチャの画質が相対的に向上することを期待できる。そして、後段の再符号化処理では、参照ピクチャの量子化幅が小さくされるので、符号化装置において画質を相対的に向上させたピクチャについて、後段の再符号化処理において、画質の低下を抑制することができる。すなわち、映像取得地点から中継設備や放送局を経て視聴者が有する受信設備に映像の符号化データが伝送される動画像データ伝送システムの全体において、参照ピクチャの画質の低下を抑制することができる。その結果、参照ピクチャを参照するピクチャの画質の低下も抑制することができる。
 なお、第1の実施形態の場合と同様に、量子化制御部12は、制御信号が参照ピクチャを示している場合には、制御信号が参照ピクチャを示していない場合に比べて、量子化ステップのサイズを小さくするようにし、制御信号が参照ピクチャを示していない場合すなわち制御信号が非参照ピクチャを示している場合には、制御信号が参照ピクチャを示している場合に比べて、量子化ステップのサイズを大きくするようにしてもよい。
 また、後段の再符号化を行う装置は、第1の実施形態の場合と同様の方法によって、符号化装置が参照ピクチャになると推定したピクチャを特定する。そして、特定したピクチャの量子化幅を小さくする。
 また、図13や図16(A)に示されたような単純な漸次リフレッシュを使用した場合に、量子化幅が粗い非参照ピクチャにおけるリフレッシュ領域も粗く量子化されるので、各々のリフレッシュ領域の画質が不均一になって画質差が視認される可能性があるが、本実施形態における制御によれば、そのような可能性を小さくすることができる。
 比較例として、H.264/MPEG-4 AVCにもとづく符号化方式を用い図13に示されたような漸次リフレッシュを実行する符号化装置と、MPEG-2にもとづく符号化方式を用い図12に示されたようなIピクチャによって画像(1画面)全体をリフレッシュする処理を行う後段の再符号化装置とを用いて、符号化効率を測定するとともに、画質を測定した。また、本実施形態の符号化装置と、MPEG-2にもとづく符号化方式を用い図12に示されたようなIピクチャによって画像(1画面)全体をリフレッシュする処理を行う後段の再符号化装置とを用いて、符号化効率を測定するとともに、画質を測定した。本実施形態の符号化装置を用いた場合には、比較例に対して、約2%符号化効率が改善された。また、比較例では、局所的な主観画質低下が見られたのに対して、本実施形態の符号化装置を用いた場合には、主観画質が改善されることが確認された。
 なお、上記の各実施形態では、符号化装置が、映像取得地点から中継設備や放送局を経て視聴者が有する受信設備に映像の符号化データが伝送される動画像データ伝送システムに適用される場合を例にしたが、本発明による符号化装置の用途は、そのようなシステムに限定されない。例えば、双方向コミュニケーションにおいて使用される符号化装置に本発明を適用することができる。
 図9は、本発明による符号化装置の主要部を示すブロック図である。図9に示すように、符号化装置は、画像データとインター予測部またはイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段101(図6に示す例における減算器11および適応予測選択部20に相当)と、予測誤差生成手段101が生成した予測誤差信号を量子化する量子化手段102(図6に示す例における減算器11、適応予測選択部20、フレーム内予測部17、フレーム間予測部18、動き検出部19および周波数変換/量子化部13における周波数変換部に相当)と、ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段103(図6に示す例における再符号化時ピクチャタイプ判定部10に相当)と、ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段104(図6に示す例では、リフレッシュ制御部22、フレーム内予測部17、フレーム間予測部18および適応予測選択部20で実現される。)とを備えている。リフレッシュ手段104は、ピクチャが後段の再符号化処理で非参照ピクチャとされると再符号化時ピクチャタイプ判定手段103によって判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定する。
 リフレッシュ手段104は、例えば、参照ピクチャになりうるピクチャと次に参照ピクチャになりうるピクチャとの間の時間的な距離である参照ピクチャ間距離をMとした場合、ピクチャが後段の再符号化処理で参照ピクチャとされると再符号化時ピクチャタイプ判定手段によって判定されたときには、当該ピクチャにM個のリフレッシュ単位領域を設定する。
 リフレッシュ手段104は、イントラ符号化によってリフレッシュを行うように構成されていてもよい。そのように構成されている場合には、画質の劣化が低減される。
 例えば、リフレッシュ手段104は、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらし、予測誤差生成手段101は、予測誤差信号を生成する際に、予測制限範囲を越えるインター予測部またはイントラ予測部による予測値を除外する。
 予測誤差生成手段101は、ピクチャを作成する際にインター予測部が生成した予測値を用いる場合には一方向予測のみを利用した予測値から予測誤差信号を生成するように構成されていてもよい。そのように構成されている場合には、ピクチャ毎の符号量の増減の程度が抑制されるので、遅延量を低減することができる。
 予測誤差生成手段101は、ピクチャを作成する際にイントラ予測部が生成した予測値のみを用いて予測誤差信号を生成するように構成されていてもよい。そのように構成されている場合には、ピクチャ毎の符号量の増減の程度が抑制されるので、遅延量を低減することができる。
 以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2009年9月3日に出願された日本特許出願2009-203421を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 10 再符号化ピクチャタイプ判定部
 11 減算器
 12 量子化制御部
 13 周波数変換/量子化部
 14 逆量子化/逆周波数変換部
 15 加算器
 16 フレームメモリ
 17 フレーム内予測部
 18 フレーム関与側部
 19 動き検出部
 20 適応予測選択部
 21 可変長符号化部
 22 リフレッシュ制御部
 31,41 カメラ
 32 通信ネットワーク
 33 地方局
 34 伝送路
 35 キー局
 42 マイクロ波回線
 43 FPU
 44 伝送路
 51,52,61,62 受信設備
 101 予測誤差生成手段
 102 量子化手段
 103 再符号化時ピクチャタイプ判定手段
 104 リフレッシュ手段

Claims (12)

  1.  入力された動画像における画像データをインター符号化またはイントラ符号化して、符号化されたピクチャを作成する動画像符号化装置であって、
     画像データとインター予測部またはイントラ予測部が生成した予測値とから予測誤差信号を生成する予測誤差生成手段と、
     前記予測誤差生成手段が生成した予測誤差信号を量子化する量子化手段と、
     ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する再符号化時ピクチャタイプ判定手段と、
     ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行うリフレッシュ手段とを備え、
     前記リフレッシュ手段は、ピクチャが後段の再符号化処理で非参照ピクチャとされると前記再符号化時ピクチャタイプ判定手段によって判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定する
     ことを特徴とする動画像符号化装置。
  2.  リフレッシュ手段は、参照ピクチャになりうるピクチャと次に参照ピクチャになりうるピクチャとの間の時間的な距離である参照ピクチャ間距離をMとした場合、ピクチャが後段の再符号化処理で参照ピクチャとされると前記再符号化時ピクチャタイプ判定手段によって判定されたときには、当該ピクチャにM個のリフレッシュ単位領域を設定する
     請求項1記載の動画像符号化装置。
  3.  リフレッシュ手段は、イントラ符号化によってリフレッシュを行う
     請求項1または請求項2記載の動画像符号化装置。
  4.  リフレッシュ手段は、複数のピクチャで構成される予測制限範囲内でリフレッシュ単位領域をずらし、
     予測誤差生成手段は、予測誤差信号を生成する際に、前記予測制限範囲を越えるインター予測部またはイントラ予測部による予測値を除外する
     請求項1から請求項3のうちのいずれか1項に記載の動画像符号化装置。
  5.  予測誤差生成手段は、ピクチャを作成する際にインター予測部が生成した予測値を用いる場合には一方向予測のみを利用した予測値から予測誤差信号を生成する
     請求項1から請求項4のうちのいずれか1項に記載の動画像符号化装置。
  6.  予測誤差生成手段は、ピクチャを作成する際にイントラ予測部が生成した予測値のみを用いて予測誤差信号を生成する
     請求項1から請求項4のうちのいずれか1項に記載の動画像符号化装置。
  7.  入力された動画像における画像データをインター符号化またはイントラ符号化して、符号化されたピクチャを作成する動画像符号化方法であって、
     画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成し、
     生成された予測誤差信号を量子化し、
     ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定し、
     ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行い、
     ピクチャが後段の再符号化処理で非参照ピクチャとされると判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定する
     ことを特徴とする動画像符号化方法。
  8.  参照ピクチャになりうるピクチャと次に参照ピクチャになりうるピクチャとの間の時間的な距離である参照ピクチャ間距離をMとした場合、ピクチャが後段の再符号化処理で参照ピクチャとされると判定されたときには、当該ピクチャにM個のリフレッシュ単位領域を設定する
     請求項7記載の動画像符号化方法。
  9.  イントラ符号化によってリフレッシュを行う
     請求項7または請求項8記載の動画像符号化方法。
  10.  入力された動画像における画像データをインター符号化またはイントラ符号化して、符号化されたピクチャを作成するコンピュータに、
     画像データとインター予測処理またはイントラ予測処理で生成された予測値とから予測誤差信号を生成する処理と、
     生成された予測誤差信号を量子化する処理と、
     ピクチャが後段の再符号化処理で参照ピクチャとされるか否か判定する処理と、
     ピクチャにおける一部の領域をリフレッシュ単位領域とし、リフレッシュ単位領域をピクチャごとにずらすようなリフレッシュを行う処理と、
     ピクチャが後段の再符号化処理で非参照ピクチャとされると判定された場合には当該ピクチャにリフレッシュ単位領域を設定せず、参照ピクチャとされると判定された場合に、非参照ピクチャとされるピクチャに設定されるべきであったリフレッシュ単位領域の分も含めて当該参照ピクチャとされるピクチャにリフレッシュ単位領域を設定する処理と
     を実行させるための動画像符号化プログラム。
  11.  コンピュータに、参照ピクチャになりうるピクチャと次に参照ピクチャになりうるピクチャとの間の時間的な距離である参照ピクチャ間距離をMとした場合、ピクチャが後段の再符号化処理で参照ピクチャとされるピクチャになると判定されたときには、当該ピクチャにM個のリフレッシュ単位領域を設定する処理を実行させるための請求項10記載の動画像符号化プログラム。
  12.  コンピュータに、イントラ符号化によってリフレッシュを行う処理を実行させるための請求項10または請求項11記載の動画像符号化プログラム。
PCT/JP2010/005002 2009-09-03 2010-08-09 動画像符号化装置、動画像符号化方法および動画像符号化プログラム WO2011027507A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011529781A JP5640979B2 (ja) 2009-09-03 2010-08-09 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
CN201080039578.8A CN102484718B (zh) 2009-09-03 2010-08-09 视频编码设备、视频编码方法和视频编码程序
EP10813462.8A EP2475174A4 (en) 2009-09-03 2010-08-09 VIDEO CODING DEVICE, VIDEO CODING METHOD AND VIDEO CODING PROGRAM
US13/394,099 US9807422B2 (en) 2009-09-03 2010-08-09 Video encoding device, video encoding method, and video encoding program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009203421 2009-09-03
JP2009-203421 2009-09-03

Publications (1)

Publication Number Publication Date
WO2011027507A1 true WO2011027507A1 (ja) 2011-03-10

Family

ID=43649065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005002 WO2011027507A1 (ja) 2009-09-03 2010-08-09 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Country Status (5)

Country Link
US (1) US9807422B2 (ja)
EP (1) EP2475174A4 (ja)
JP (1) JP5640979B2 (ja)
CN (1) CN102484718B (ja)
WO (1) WO2011027507A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179271A1 (ja) * 2016-04-12 2017-10-19 株式会社Nexpoint 監視カメラシステム及び監視カメラデータ保存方法
WO2018216695A1 (ja) * 2017-05-24 2018-11-29 Nttエレクトロニクス株式会社 映像符号化装置および映像符号化方法
US10708599B2 (en) 2011-07-14 2020-07-07 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5708490B2 (ja) 2009-09-03 2015-04-30 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US9872017B2 (en) * 2011-03-09 2018-01-16 Siemens Aktiengesellschaft Method for coding a sequence of digitized images
KR20190053290A (ko) 2012-06-25 2019-05-17 닛본 덴끼 가부시끼가이샤 비디오 인코딩/디코딩 장치, 방법 및 프로그램
US10841626B2 (en) * 2014-10-27 2020-11-17 Texas Instruments Incorporated Selective picture-based encryption of video streams
US10602139B2 (en) * 2017-12-27 2020-03-24 Omnivision Technologies, Inc. Embedded multimedia systems with adaptive rate control for power efficient video streaming
JP2020123449A (ja) * 2019-01-29 2020-08-13 パナソニックIpマネジメント株式会社 携帯電灯

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125232A (ja) 2000-10-12 2002-04-26 Matsushita Electric Ind Co Ltd 動画像データの符号化装置およびその方法
JP2007221411A (ja) 2006-02-16 2007-08-30 Mie Univ 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
JP2008109693A (ja) * 2007-11-27 2008-05-08 Fujitsu Ltd 動画像再符号化装置
JP2008252755A (ja) 2007-03-30 2008-10-16 Hitachi Kokusai Electric Inc デジタル伝送システム
JP2009021908A (ja) * 2007-07-13 2009-01-29 Fujitsu Ltd 動画像符号化装置及びプログラム
JP2009510930A (ja) * 2005-09-27 2009-03-12 クゥアルコム・インコーポレイテッド プログレッシブなチャネル切り換えのための方法および装置
JP2009203421A (ja) 2008-02-29 2009-09-10 Sanyo Chem Ind Ltd 水性液用ゲル化剤、水性液ゲル及び水性液ゲルの製造方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805223A (en) 1994-05-25 1998-09-08 Canon Kk Image encoding apparatus having an intrapicture encoding mode and interpicture encoding mode
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
JPH11341435A (ja) * 1998-05-22 1999-12-10 Sony Corp 編集方法および編集装置
JP3923898B2 (ja) * 2002-01-18 2007-06-06 株式会社東芝 画像符号化方法及び装置
JP4324844B2 (ja) * 2003-04-25 2009-09-02 ソニー株式会社 画像復号化装置及び画像復号化方法
US20060015799A1 (en) * 2004-07-13 2006-01-19 Sung Chih-Ta S Proxy-based error tracking for real-time video transmission in mobile environments
JP4221667B2 (ja) * 2004-08-25 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP5708490B2 (ja) * 2009-09-03 2015-04-30 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125232A (ja) 2000-10-12 2002-04-26 Matsushita Electric Ind Co Ltd 動画像データの符号化装置およびその方法
JP2009510930A (ja) * 2005-09-27 2009-03-12 クゥアルコム・インコーポレイテッド プログレッシブなチャネル切り換えのための方法および装置
JP2007221411A (ja) 2006-02-16 2007-08-30 Mie Univ 映像符号化、復号化装置および映像符号化、復号化方法、並びにそれらのプログラム
JP2008252755A (ja) 2007-03-30 2008-10-16 Hitachi Kokusai Electric Inc デジタル伝送システム
JP2009021908A (ja) * 2007-07-13 2009-01-29 Fujitsu Ltd 動画像符号化装置及びプログラム
JP2008109693A (ja) * 2007-11-27 2008-05-08 Fujitsu Ltd 動画像再符号化装置
JP2009203421A (ja) 2008-02-29 2009-09-10 Sanyo Chem Ind Ltd 水性液用ゲル化剤、水性液ゲル及び水性液ゲルの製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2475174A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708599B2 (en) 2011-07-14 2020-07-07 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams
US10992940B2 (en) 2011-07-14 2021-04-27 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams
US11539963B2 (en) 2011-07-14 2022-12-27 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams
US11611760B2 (en) 2011-07-14 2023-03-21 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams
WO2017179271A1 (ja) * 2016-04-12 2017-10-19 株式会社Nexpoint 監視カメラシステム及び監視カメラデータ保存方法
JP2017191984A (ja) * 2016-04-12 2017-10-19 株式会社Nexpoint 監視カメラシステム及び監視カメラデータ保存方法
WO2018216695A1 (ja) * 2017-05-24 2018-11-29 Nttエレクトロニクス株式会社 映像符号化装置および映像符号化方法
JP2018198392A (ja) * 2017-05-24 2018-12-13 Nttエレクトロニクス株式会社 映像符号化装置および映像符号化方法

Also Published As

Publication number Publication date
JPWO2011027507A1 (ja) 2013-01-31
CN102484718A (zh) 2012-05-30
EP2475174A1 (en) 2012-07-11
US9807422B2 (en) 2017-10-31
EP2475174A4 (en) 2016-04-27
US20130039411A1 (en) 2013-02-14
JP5640979B2 (ja) 2014-12-17
CN102484718B (zh) 2014-11-12

Similar Documents

Publication Publication Date Title
JP5640979B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
KR100942395B1 (ko) 다층 비디오 설계를 위한 레이트 제어
JP4643454B2 (ja) 動画像復号装置及び動画像復号方法
KR101322498B1 (ko) 부호화 장치, 부호화 방법 및 프로그램
US20040223549A1 (en) Video decoder architecture and method for using same
AU2006223416A1 (en) Content adaptive multimedia processing
KR101096827B1 (ko) 각기 다수의 매크로블록을 포함하는 예측 및 비예측 화상을이용하여 화상 시퀀스를 인코딩하는 방법 및 장치
US8290064B2 (en) Intra-forecast mode selecting method, moving picture coding method, and device and program using the same
JP5708490B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US8442113B2 (en) Effective rate control for video encoding and transcoding
KR100929607B1 (ko) 엠펙-2 메인 프로파일에서 h.264/avc 베이스라인프로파일로의 트랜스코딩 방법
JP5100572B2 (ja) 符号化装置
JP3450384B2 (ja) 動画像符号化装置
US9185420B2 (en) Moving image coding apparatus and moving image coding method
KR100770873B1 (ko) 영상 부호화시 비트율 제어 방법 및 장치
JP6735370B2 (ja) 復号化方法
JP4000581B2 (ja) 画像符号化装置および方法
Chen et al. Improved rate control for MPEG-4 video transport over wireless channel
JP4292658B2 (ja) 画像情報変換装置及び画像情報変換方法
JP2012060423A (ja) 動画像符号化装置
JP4748126B2 (ja) 圧縮動画像再符号化装置及び圧縮動画像再符号化方法
Lin et al. On the error resilience of rate smoothing using explicit slice-based mode selection
Teixeira et al. Joint Coding of Multiple H. 264 Video Programs
KR20080000031A (ko) 동영상 부호화기, 복호화기 및 그 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080039578.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10813462

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13143901

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011529781

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010813462

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13394099

Country of ref document: US