WO2012114774A1 - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
WO2012114774A1
WO2012114774A1 PCT/JP2012/001300 JP2012001300W WO2012114774A1 WO 2012114774 A1 WO2012114774 A1 WO 2012114774A1 JP 2012001300 W JP2012001300 W JP 2012001300W WO 2012114774 A1 WO2012114774 A1 WO 2012114774A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
encoding
reception signal
memory
encoded
Prior art date
Application number
PCT/JP2012/001300
Other languages
English (en)
French (fr)
Inventor
角野　眞也
俊明 渡辺
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP12750072.6A priority Critical patent/EP2680587A4/en
Priority to US13/638,708 priority patent/US20130058409A1/en
Priority to CN2012800011984A priority patent/CN102870416A/zh
Priority to JP2012532183A priority patent/JPWO2012114774A1/ja
Publication of WO2012114774A1 publication Critical patent/WO2012114774A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Definitions

  • the present invention relates to a moving image encoding device and a moving image decoding device, for example, MPEG (Moving Picture Experts Group) -4 system or ITU-T H.264.
  • the present invention relates to a moving image encoding device and a moving image decoding device that encode moving image data using the H.264 system.
  • a part of the stream may be lost due to network congestion or the like.
  • the image corresponding to the lost stream cannot be correctly decoded on the receiving side, and image quality degradation occurs.
  • the decoded pixels cannot always be decoded correctly.
  • H.264, etc. when decoding the next frame of the lost stream, if all the next frames are intra-frame coded (I frame), the pixels are only detected in the stream of the slice coded in the screen. It can be decrypted correctly.
  • the next frame of the lost stream is decoded, if the next frame is inter-coded (P frame), the next frame is the frame decoded immediately before, that is, the image quality deteriorates due to the stream loss. Since the decoding is performed using the correlation with a certain frame (with reference to the frame decoded immediately before), the pixels cannot be decoded correctly.
  • FIG. 16 is an explanatory diagram of a moving picture coding method using conventional ACK / NACK and intra-picture coding.
  • moving image data is encoded in units of frames to generate a compressed stream.
  • the transmitting side transmits a stream to the receiving side, and the receiving side decodes the stream. Thereby, the moving image is restored on the receiving side, and the restored moving image is reproduced.
  • the first frame of the moving image is encoded as an I frame
  • the subsequent frames are encoded as P frames referring to the frame encoded immediately before (the arrow indicated by a broken line toward the left frame is a frame referred to by encoding). Showing).
  • the horizontal axis in FIG. 16 indicates the passage of time, and the time passes as it goes to the right.
  • P0, P1, P2, and P3 represent the 0th, 1st, 2nd, and 3rd frame numbers, respectively.
  • An arrow from each frame on the transmission side to each frame on the reception side indicates a correspondence relationship between the frame on the transmission side and the corresponding frame on the reception side.
  • the direction of the arrow is in the lower right or upper right means that the time moves to the right by the time elapsed when transmitting a stream from the sending side to the receiving side (transmission path delay between sending and receiving). Yes. Further, the “x” mark indicates that a packet loss due to a communication error has occurred.
  • an ACK is sent to the transmitting side.
  • the receiving side transmits ACK to the transmitting side.
  • the transmitting side by receiving ACK, it can be seen that the frame corresponding to the frame number was correctly decoded on the receiving side.
  • the frame P22 that has not been encoded immediately after receiving the NACK is encoded and transmitted with an I frame (intra prediction) instead of a P frame (inter prediction).
  • the receiving side receives the frame I22, which is an I frame, and decodes the received frame I22.
  • the frame I22 which is an I frame
  • decodes the received frame I22 As a result, error propagation by referring to a frame that could not be correctly decoded can be stopped, so that P frames subsequent to the frame P23 can also be correctly decoded.
  • FIG. 17 is an explanatory diagram of a moving picture coding method using conventional ACK and inter-picture coding, which is an improvement of FIG.
  • an ACK with a number identifying the frame that has been correctly decoded is transmitted to the transmitting side. For example, when the frame P0, the frame P1, and the frame P2 are correctly received, the receiving side transmits ACK0, ACK1, and ACK2 to the transmitting side, respectively.
  • the frame P22 is encoded and transmitted as a P frame referring to the frame P16, not the I frame.
  • the receiving side receives the frame P22 referring to the frame P16 that has been correctly decoded, and decodes the received frame P22.
  • error propagation by referring to a frame that could not be correctly decoded can be stopped, so that P frames subsequent to the frame P23 can also be correctly decoded.
  • error propagation can be stopped not by an I frame having a low compression efficiency but by a P frame having a high compression efficiency, so that a stream having a higher compression efficiency than that of FIG. 16 is generated and transmitted. can do.
  • the reception side notifies the transmission side that decoding has not been correctly performed using ACK, but it is also possible to notify using NACK.
  • FIG. 18 is an explanatory diagram of a moving picture coding method using conventional NACK and inter-picture coding.
  • the receiving side instead of ACK, if the received frame cannot be decoded correctly, the receiving side transmits NACK to which the number specifying the frame that cannot be decoded correctly is given to the transmitting side. For example, when the frame P17 cannot be received correctly, the receiving side transmits NACK 17 to the transmitting side.
  • the frame P22 is encoded as a P frame and transmitted with reference to the latest frame P16 that has not received the NACK. Accordingly, as in FIG. 17, error propagation can be stopped not with I frames with low compression efficiency but with P frames with high compression efficiency, so a stream with higher compression efficiency than in FIG. 16 can be generated and transmitted. (See Patent Document 1).
  • the moving picture coding method of FIGS. 17 and 18 requires a lot of memory for storing a reference frame to be referred to when ACK / NACK is notified.
  • the frame P16 needs to be stored in the memory as a reference frame. That is, in this example, it is necessary to store all six frames P16, P17, P18, P19, P20, and P21, which are frames that have not been received yet, in the memory. This is because it is possible to refer to the frame corresponding to the last received ACK after receiving ACK / NACK in frame units and receiving NACK. Since the number of frames that need to be stored in this memory increases in proportion to the transmission delay, the memory capacity required to store the frames increases when the transmission delay is large.
  • the receiving side it is necessary to store in the memory all reference frames that may be referred to when the transmitting side receives a NACK. Therefore, similarly to the transmitting side, the receiving side needs a memory capacity for storing the frames P16, P17, P18, P19, P20, and P21.
  • the present invention has been made in view of the above problems, and provides a mechanism that can stop error propagation in P frames (inter-screen prediction) without substantially increasing the memory capacity for storing reference frames.
  • An object is to transmit a stream having a high compression efficiency with a small memory capacity.
  • a moving image encoding apparatus encodes a frame to be encoded with reference to a decoded image of a frame that has already been encoded.
  • An encoding unit that generates encoded data of a frame; a memory that includes an area for storing a decoded image of the encoded frame; and a transmission unit that transmits the generated encoded data to a video decoding device
  • a normal reception signal that is a signal indicating that the encoded data of all the predetermined number of consecutive frames has been correctly received, or the encoded data of either the predetermined number of consecutive frames is correctly received.
  • An acquisition unit that acquires from the video decoding device an abnormal reception signal that is a signal indicating that the acquisition has failed, and the acquisition unit acquires the normal reception signal when the acquisition unit acquires the normal reception signal.
  • the unit acquires the decoded image of the encoding target frame encoded at the timing when the normal reception signal is acquired in the memory as an error recovery frame, and the acquisition unit acquires the abnormal reception signal
  • a control unit that causes the encoding unit to encode the encoding target frame by referring to any one of the error recovery frames stored in the memory.
  • the moving image encoding device is encoded between the time point and the time point when the latest past normal reception signal is received. It can be known that the video decoding apparatus has correctly received a plurality of frames. Further, when the moving picture decoding apparatus cannot receive a part of the plurality of frames due to packet loss due to a communication error, the reference destination of the frame to be newly encoded is limited to the error recovery frame. Therefore, the moving image encoding apparatus does not need to store all frames in preparation for packet loss due to a communication error, and can reduce the memory capacity. Therefore, the moving picture encoding apparatus can transmit a stream with a high compression efficiency with a small memory capacity.
  • a moving picture decoding apparatus is a moving picture decoding apparatus that receives an encoded stream obtained by inter-picture predictive encoding of a moving picture from the moving picture encoding apparatus.
  • a decoding unit that predicts and decodes the encoded stream with reference to a decoded image of a decoded frame, and correctly acquires encoded data of all the predetermined number of consecutive frames included in the received encoded stream If successful, a normal reception signal is transmitted to the video encoding device, and if an encoded data of any frame included in the encoded stream cannot be acquired correctly, an abnormal reception signal is transmitted.
  • the decoded image of the decoding target frame is stored in the memory as an error recovery frame, and when the abnormal reception signal is transmitted.
  • a second control unit for decoding the decoding target frame to the decoder by referring to one of the error recovery frame stored in said memory.
  • the moving picture decoding apparatus can notify that the predetermined number of consecutive frames have been correctly received by transmitting one normal reception signal to the moving picture encoding apparatus. Further, when the moving picture decoding apparatus cannot receive the predetermined number of consecutive frames, the reference destination of the frame newly encoded by the moving picture encoding apparatus is limited to the error recovery frame. Therefore, the moving image decoding apparatus does not need to store all frames in preparation for packet loss due to a communication error, and can reduce the memory capacity. Therefore, the moving picture decoding apparatus can receive a stream having a high compression efficiency with a small memory capacity.
  • the present invention is not only realized as an apparatus, but also realized as an integrated circuit including processing means included in such an apparatus, or realized as a method using the processing means constituting the apparatus as a step.
  • These programs, information, data, and signals may be distributed via a recording medium such as a CD-ROM or a communication medium such as the Internet.
  • the decoded image of the encoding target frame is stored in the memory as an error recovery frame, and when the abnormality detection signal is acquired.
  • the P frame inter-screen prediction
  • the P frame can be performed without increasing the memory capacity for storing the reference frame.
  • Can stop error propagation As a result, a stream with a high compression efficiency can be generated with a small memory capacity.
  • FIG. 1 is a diagram for explaining a moving picture coding method using ACK, NACK, and inter-picture coding according to each embodiment of the present invention.
  • FIG. 2A is a block diagram showing an example of a configuration of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 2B is a block diagram showing another example of the configuration of the moving picture encoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing a processing procedure for each frame of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 4A is a diagram showing division of memory areas in the frame memory of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 4B is a schematic functional diagram of an example of the moving image transfer system of the present invention.
  • FIG. 5A is a block diagram showing an example of the configuration of the moving picture decoding apparatus according to Embodiment 2 of the present invention.
  • FIG. 5B is a block diagram showing another example of the configuration of the video decoding device in Embodiment 2 of the present invention.
  • FIG. 6 is a flowchart showing a processing procedure for each frame of the moving picture decoding apparatus according to Embodiment 2 of the present invention.
  • FIG. 7 is a flowchart showing a processing procedure for each frame of the moving picture decoding method according to Embodiment 3 of the present invention.
  • FIG. 8 is a flowchart showing a processing procedure for each frame in the moving picture decoding method according to Embodiment 4 of the present invention.
  • FIG. 9 is a diagram illustrating an example of the control packet field.
  • FIG. 10 is a block diagram showing an example of the configuration of the moving picture decoding apparatus according to Embodiment 4 of the present invention.
  • FIG. 11 is a block diagram showing another example of the configuration of the moving picture decoding apparatus according to Embodiment 4 of the present invention.
  • FIG. 12 is a functional outline diagram of another example of the moving image transfer system of the present invention.
  • FIG. 13 is a flowchart showing a processing procedure for each frame of the moving picture decoding method according to Embodiment 4 of the present invention.
  • FIG. 14A is an explanatory diagram of ACK / NACK reception (when ACK is received).
  • FIG. 14B is an explanatory diagram of ACK / NACK reception (at the time of NACK reception).
  • FIG. 14C is an explanatory diagram of ACK / NACK reception (when ACK and NACK are received).
  • FIG. 14D is an explanatory diagram of receiving ACK / NACK (during timeout).
  • FIG. 15 is an explanatory diagram of a recording medium that stores a program for realizing the image coding apparatus according to each embodiment of the present invention by a computer system.
  • FIG. 16 is an explanatory diagram of a moving picture coding method using conventional ACK / NACK and intra-picture coding.
  • FIG. 17 is an explanatory diagram of a moving picture coding method using conventional ACK and inter-picture coding.
  • FIG. 18 is an explanatory diagram of a moving picture coding method using conventional NACK and inter-picture coding.
  • FIG. 1 is a diagram for explaining a moving picture coding method using ACK, NACK, and inter-picture coding used in each embodiment of the present invention. Hereinafter, the operation of FIG. 1 will be described.
  • GOKP Group Of pictures between Key Pictures
  • GOKP is defined as a set of frames.
  • GOKP is a set of frames constituting a moving image.
  • a key frame is set at the end of each GOKP.
  • the key frame is an error recovery reference frame that is stored as a reference frame in order to cut off the propagation of the error in the inter-frame prediction frame when an error occurs on the transmission path.
  • GOKP includes an I frame or a P frame.
  • the I frame is an intra-frame prediction frame and is transmitted by one frame at the head of the encoded stream, and constitutes a GOKP alone as the first key frame of the encoded stream.
  • the P frame is an inter-screen prediction frame that refers to an encoded frame.
  • the frame decoded immediately before the current decoding target frame (hereinafter, decoding target frame) is stored in the frame memory as a reference frame.
  • decoding target frame the frame decoded immediately before the current decoding target frame
  • the key frame that has been correctly decoded and the other reference frames are stored in different areas, and the latest key frame and the latest reference frame that have been correctly decoded are always stored in the memory.
  • the receiving side attaches the identification number of the GOKP to which the frame belongs and transmits an ACK (normal reception signal) to the transmitting side.
  • ACK normal reception signal
  • NACK normal reception signal
  • a frame that has not been encoded when ACK is received is encoded as a new key frame, a GOKP including the frame is completed, and a new GOKP is configured.
  • the transmission side encodes the encoding target frame (P frame) by referring to the latest reference frame having a large correlation between frames.
  • the transmitting side completes the encoding of the currently encoded frame, and then completes the GOKP to which the currently encoded frame belongs.
  • the transmitting side configures a new GOKP with a single frame using the next frame to be encoded as a key frame, and refers to the GOKP key frame corresponding to the latest ACK among the ACKs received so far. It encodes by.
  • the transmitting side when the transmitting side receives NACK, it is encoding the frame P21. Therefore, after completing the encoding of the frame P21, the transmitting side completes GOKP5 to which the frame P21 belongs. Then, the transmitting side configures a new GOKP 6 independently using the next frame P22 as a key frame.
  • the transmission side before receiving NACK4, the transmission side has received ACK3 as the latest ACK. Therefore, the transmission side encodes the frame P22 by referring to the key frame corresponding to the received ACK3, that is, the frame P15 which is the key frame of GOKP3.
  • the storage area in the frame memory is differentiated between the key frame and the other frames for the reference frame.
  • the frame P22 can be decoded as a P frame referring to the frame P15 that has been correctly decoded, so that the error propagation can be stopped.
  • FIG. 2A is a block diagram showing an example of the configuration of the moving picture coding apparatus 1 according to Embodiment 1 of the present invention.
  • the moving image encoding apparatus 1 includes an encoding unit 1a, a memory 1b, a transmission unit 1c, an acquisition unit 1d, and a control unit 1e.
  • the encoding unit 1a compresses and encodes the moving image data, and outputs the compressed and encoded moving image data to the transmitting unit 1c.
  • the memory 1b is a memory having an area for storing a reference frame.
  • the transmission unit 1c adds header information (RTP header, IP header, etc.) for transmission to the compressed and encoded moving image data output from the encoding unit 1a, generates encoded data, and generates a moving image It transmits to the image decoding device.
  • header information RTP header, IP header, etc.
  • the acquisition unit 1d receives a normal reception signal (ACK) or an abnormal reception signal (NACK) from the video decoding device, and notifies the control unit 1e.
  • ACK normal reception signal
  • NACK abnormal reception signal
  • the control unit 1e stores the decoded image of the encoding target frame at the timing when the acquisition unit 1d acquires the normal reception signal in the memory as the error recovery frame. To do. Further, when the acquisition unit 1d acquires an abnormal reception signal (NACK), the encoding unit 1a is made to encode the encoding target frame by referring to any error recovery frame stored in the memory. .
  • ACK normal reception signal
  • NACK abnormal reception signal
  • FIG. 2B is a block diagram showing an example of the configuration of the video encoding device 11 according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing a processing procedure of the moving picture encoding apparatus 11 according to Embodiment 1 of the present invention.
  • the operation of the video encoding device 11 shown in FIG. 2B will be described with reference to FIG.
  • the moving picture encoding apparatus 11 includes an inter-screen prediction unit 100, a frame memory 101, an intra / inter determination unit 102, a predicted image selection unit 103, a predicted image subtraction unit 104, an image
  • the encoding unit 105, the multiplexing transmission unit 106, the image decoding unit 107, the control unit 108, the GOKP update unit 110, the additional information encoding unit 111, and the predicted image addition unit 112 are provided.
  • the inter-screen prediction unit 100, the frame memory 101, the intra / inter determination unit 102, the predicted image selection unit 103, the predicted image subtraction unit 104, the image encoding unit 105, the image decoding unit 107, the control unit 108, and the GOKP update unit 110, the additional information encoding part 111, and the estimated image addition part 112 are equivalent to the encoder part 11a.
  • the multiplexing transmission unit 106 corresponds to the packetizing unit 11b.
  • the moving image input to the input terminal as moving image input data is input to the inter-screen prediction unit 100 and the predicted image subtraction unit 104.
  • the frame memory 101 is a memory having an area for storing a reference frame including two key frames.
  • the inter-screen prediction unit 100 generates predicted image data by referring to the reference frame data stored in the reference frame area of the frame memory 101. Further, the inter-screen prediction unit 100 generates motion information such as a motion vector necessary for encoding the encoding target frame as a P frame as additional information for inter-screen encoding. Then, the inter-screen prediction unit 100 notifies the additional information encoding unit 111 of the generated additional information.
  • the intra / inter determination unit 102 notifies the prediction image selection unit 103 using the intra / inter determination signal so that the first frame is encoded as an I frame and the other frames are encoded as a P frame.
  • the predicted image selection unit 103 follows the instruction indicated by the intra / inter determination signal and, when the encoding target frame is a P frame, the predicted image data read from the frame memory 101 by the inter-screen prediction unit 100. 104 is input. If the encoding target frame is an I frame, “no input” (value 0) is selected and input to the predicted image subtraction unit 104.
  • the prediction image subtraction unit 104 calculates a difference value between the moving image data input from the input terminal and the prediction image data selected by the prediction image selection unit 103, and generates prediction error image data.
  • the image encoding unit 105 compresses and encodes the generated prediction error image data, and outputs the encoded data obtained by the compression encoding to the multiplexing transmission unit 106.
  • the image decoding unit 107 decompresses the encoded data to generate decoded prediction error image data.
  • the predicted image adding unit 112 outputs decoded image data obtained by adding the decoded prediction error image data generated by the image decoding unit 107 and the predicted image data selected by the predicted image selecting unit 103 to the frame memory 101. To do.
  • the control unit 108 determines the decoded image data input from the predicted image adding unit 112 to the frame memory 101 in advance according to whether the decoded decoding target frame is a key frame or a frame other than the key frame.
  • the information indicating the reference frame region in which the decoded image data of each frame is stored is output to the inter-screen prediction unit 100 as a part of the reference frame designation information.
  • the control unit 108 acquires ACK or NACK from an ACK / NACK notification stream received by a receiving unit (not shown) inside or outside the moving picture coding apparatus (S100).
  • the control unit 108 encodes the current encoding target frame as a key frame by the GOKP update unit 110, and encodes it with a new GOKP updated from the next frame.
  • the additional information encoding unit 111 is notified of the GOKP identification information.
  • the control unit 108 transmits reference frame designation information indicating that the immediately previous frame is used as a reference image to the frame memory 101, the inter-screen prediction unit 100, and the additional information encoding unit 111 (S102).
  • the frame to be encoded as the key frame may be a frame immediately after the frame currently encoded by the GOKP update unit 110.
  • the reference frame designation information input to the inter-screen prediction unit 100 is notified to the additional information encoding unit 111 as a part of the additional information in the inter-screen encoding. Furthermore, of the areas for storing key frames in the frame memory 101, an area different from the area of the frame corresponding to the received ACK, that is, a key frame storage area corresponding to a key frame not yet received by ACK or a previously received ACK.
  • the key frame is stored in (S103).
  • the control unit 108 causes the GOKP update unit 110 to complete the latest GOKP including the latest frame that is currently encoded.
  • the control unit 108 encodes the current frame as a key frame and generates a GOKP including only the key frame. Further, the control unit 108 calculates GOKP identification information for each GOKP so as to be encoded with a new GOKP from the frame next to the key frame, and notifies the additional information encoding unit 111 of it.
  • control unit 108 notifies the frame memory 101 with the reference frame designation information so that the latest key frame that received the ACK is the reference image data (S105).
  • the reference frame designation information input to the inter-screen prediction unit 100 is notified to the additional information encoding unit 111 as a part of the additional information for inter-screen encoding. Furthermore, in the area storing the key frame in the frame memory 101, the area different from the frame area corresponding to the latest ACK, that is, the key frame storage area corresponding to the ACK unreceived key frame or the ACK two or more times before.
  • the key frame is stored (S106).
  • the GOKP update unit 110 notifies the additional information encoding unit 111 and the control unit 108 without updating the GOKP identification information.
  • the control unit 108 stores reference frame designation information in the frame memory 101 so that the latest reference frame stored in the frame memory 101 (the latest frame out of the key frames or non-key frames) is used as reference image data. Notification is made (S107).
  • the reference frame designation information input to the inter-screen prediction unit 100 is notified to the additional information encoding unit 111 as a part of the additional information for inter-screen encoding. Further, the frame is stored in an area for storing a reference frame other than the key frame in the storage area of the frame memory 101 (S108).
  • the additional information encoding unit 111 includes (i) an intra / inter determination signal indicating identification of an I frame / P frame, (ii) additional information of inter-frame encoding indicating motion information of the inter-screen prediction unit 100, and (iii) Reference frame designation information indicating a reference frame, and (iv) a GOKP number. Then, the additional information encoding unit 111 indicates GOKP identification information indicating whether or not to encode the current frame as a key frame, and (v) a storage area for the decoded image data of the encoded target frame. The information is encoded and notified to the multiplexing transmitter 106 as additional information.
  • the multiplexing transmission unit 106 multiplexes the encoded data and the additional information to form an encoded stream, and transmits the encoded stream to the receiving side video decoding device (S109).
  • FIG. 4A is a diagram showing divisions of memory areas in a frame memory included in the moving picture encoding apparatus according to the first embodiment. As shown in FIG. 4A, the frame memory 101 distinguishes storage areas in the memory in order to distinguish and store key frames and frames other than key frames.
  • the minimum memory capacity is a total of four frames, one frame for the current encoding / decoding, two frames for the key frame, and one frame for the other frames. is there.
  • the frame currently being encoded / decoded is copied to either a storage area for a frame other than a key frame or a storage area for a key frame when encoding / decoding for one frame is completed.
  • the storage area of the frame currently being encoded / decoded is used for encoding / decoding the next frame.
  • the frame memory 101 since the frame memory 101 has two key frame storage areas, a key frame corresponding to the latest ACK and other key frames can be stored.
  • the current code Processing may be performed by exchanging the storage address indicating the storage position in the frame memory 101 during conversion / decoding between the copy source and the copy destination.
  • the memory capacity of the frame memory 101 can be greatly reduced by the present invention. It is clear.
  • the first embodiment in addition to the area for storing one frame that is currently being encoded / decoded as the frame memory 101, there are two areas for storing key frames, and other areas (other than key frames). If there is a storage area for one frame, error propagation can be stopped while reducing the data amount of the encoded stream by performing inter-frame predictive encoding with P frames. As a result, it is possible to transmit a stream having a small memory capacity and high compression efficiency.
  • the first frame when transmission of the encoded stream is started is subjected to intra prediction encoding and transmitted as an I frame.
  • the predicted image selection unit 103 selects the value 0 according to the intra / inter determination signal.
  • the predicted image subtraction unit 104 does not calculate prediction error image data between the image data of the first frame and the predicted image data.
  • the image encoding unit 105 the image data input from the predicted image subtraction unit 104 is subjected to intra-frame prediction encoding as an I frame, and is output to the multiplexing transmission unit 106.
  • transmission of the I frame is not necessarily limited to one time, and the I frame may be inserted at an arbitrary timing in the middle of the encoded stream. Furthermore, if the first transmitted I frame is not correctly decoded on the receiving side, that is, if a NACK is received for the first frame, the encoding is not completed when the NACK is received. The frame may be transmitted again as an I frame by intra prediction encoding.
  • control unit 108 may perform the same processing as when NACK is received when a certain time-out period elapses without receiving ACK or NACK from the video decoding device on the receiving side.
  • This timeout time is preferably set to about twice the transmission delay in the transmission path between the video encoding device and the video decoding device.
  • the control unit 108 may periodically measure the transmission delay time and determine the timeout time based on the measured delay time.
  • the control unit 108 may measure the delay time only once when starting transmission of the encoded stream for the first time, and determine the timeout time based on the measured delay time. Further, from the beginning, a certain time may be determined as the timeout time based on a statistical value or the like.
  • the GOKP identification information of the GOKP including the encoding target frame is encoded in the additional information of the encoding target frame in the stream.
  • the present invention is not limited to this.
  • information indicating that the encoding target frame is a key frame may be transmitted to the receiving side separately from the encoded stream.
  • the frame immediately after receiving ACK or NACK is used as a key frame, but the key frame is not necessarily a frame immediately after ACK or NACK.
  • a predetermined number of frames may be determined as a key frame.
  • an arbitrary frame such as one frame or two frames after receiving ACK or NACK may be used as a key frame.
  • the transmitting side video encoding device to the receiving side video decoding device It is not necessary to transmit information indicating which frame is a key frame.
  • FIG. 4B is a functional outline diagram of an example of a moving image transfer system including the moving image encoding apparatus of the present invention.
  • the moving picture coding apparatus 11 according to Embodiment 1 of the present invention is shown in (a) of FIG. 4B.
  • the moving image encoding device 11 includes an encoder unit 11a, a packetizing unit 11b, and a communication unit 11c.
  • the communication unit 11c is connected to the network and is logically connected to the video decoding device.
  • the communication unit 11c adds information necessary for communication to the packet output from the packetizing unit 11b, and transmits the packet to the network with the moving picture decoding apparatus as a destination. Further, the communication unit 11c receives information (ACK / NACK) related to packet loss from the video decoding device and notifies the encoder unit 11a.
  • the communication unit 1c may be logically connected simultaneously with a plurality of video encoding devices.
  • FIG. 5A is a block diagram showing an example of the configuration of the video decoding device 2 according to Embodiment 2 of the present invention.
  • the moving image decoding apparatus 2 includes a decoding unit 2a and a second control unit 2c. Further, a memory 2b may be provided.
  • the decoding unit 2a performs inter-screen predictive decoding on the encoded stream received by the video decoding device.
  • the memory 2b is a memory having an area for storing a reference frame.
  • the second control unit 2c notifies the transmission side of a normal reception signal (ACK) when the encoded data is correctly received up to the key frame, and an abnormal reception signal (NACK) when even a part of the encoded data is not correctly received.
  • ACK normal reception signal
  • NACK abnormal reception signal
  • information indicating a frame to be referred to in inter-picture prediction encoding included in the encoded data is acquired, and the decoded image data indicated by the information is read from the frame stored in the memory to be used as reference image data.
  • the decoding target frame is decoded by the decoding unit 2a with reference to the reference image data.
  • FIG. 5B is a block diagram showing a configuration of the moving picture decoding apparatus 12 according to Embodiment 2 of the present invention.
  • FIG. 6 is a flowchart showing a processing procedure for each frame of the moving picture decoding method according to the second embodiment.
  • the operation of the video decoding device 12 illustrated in FIG. 5B will be described with reference to FIG.
  • the moving picture decoding apparatus 12 includes a reception separating unit 200, an image decoding unit 201, a predicted image adding unit 202, an additional information decoding unit 203, a frame memory 205, and a predicted image selecting unit 207. And a control unit 208.
  • the encoded stream input from the input terminal is separated by the reception separation unit 200 into encoded data of prediction error image data and encoded data of additional information.
  • the additional information decoding unit 203 encodes the encoded data of the reference frame specifying information, the encoded data specifying the memory area for storing the decoded image data, and the intra / inter determination signal from the encoded data of the additional information of the inter-frame prediction encoding.
  • the encoded data and the encoded data of GOKP identification information are separated.
  • the control unit 208 reads out the reference frame designated by the reference frame designation information from the frame memory 205, uses it as reference image data, refers to the reference image data, and is based on additional information of inter-frame coding including motion information and the like. Thus, predicted image data is generated.
  • the predicted image selection unit 207 inputs the predicted image data to the predicted image adding unit 202 in the case of P frame and selects no input (value 0) in the case of I frame in accordance with the intra / inter determination signal, and adds the predicted image. Input to the unit 202.
  • the image decoding unit 201 decodes the encoding of the prediction error image data separated by the reception separation unit 200, and outputs the decoded prediction error image data to the prediction image addition unit 202.
  • the predicted image adding unit 202 outputs the sum of the decoded prediction error image data obtained by the image decoding unit 201 and the predicted image data input from the predicted image selection unit 207 as decoded image data (S200).
  • S200 decoded image data
  • the control unit 208 transmits a NACK ACK / NACK notification stream to the transmitting side video encoding device (S202). The processing of the target frame is finished.
  • control unit 208 determines whether or not all of the GOKP frames including the decoding target frame have been correctly decoded. Is determined (S203). In step S203, when all the frames in GOKP have been correctly decoded (YES in S203), control unit 208 further determines whether or not the decoded frame to be decoded is a key frame (the last frame of GOKP). Is determined (S204). If the decoding target frame is a key frame (YES in S204), the control unit 208 transmits an ACK to which the GOKP identification information of the decoding target frame is added to the transmission side (S205). The following may be used.
  • the GOKP normal reception determination unit 208 determines whether it is a key frame (whether it is the last frame of GOKP) (YES in S203). If it is a key frame and can be decoded without error in all GOKP frames (YES in S204), an ACK / NACK notification stream S214 to which GOKP number information S211 is added is transmitted by the ACK / NACK transmission unit U209. Notify
  • step S203 if there is no decoding error in the GOKP including the decoding target frame (YES in S203) and the decoding target frame is not a key frame (NO in S204), the control unit 208 does not transmit anything.
  • the control unit 208 refers to the decoded image data of the decoding target frame output from the predicted image adding unit 202 as reference image data in subsequent decoding, and therefore, the storage area specified by the additional information in the frame memory 205 (S206), and the processing of the decoding target frame is completed.
  • the decoding image data is not stored in the frame memory 205, and the processing of the decoding target frame is ended.
  • the decoded image data of the frame in which the decoding error has occurred is not stored in the frame memory 205, the decoded image data of the frame before the occurrence of the error continues to be held in the frame memory 205, and the display is also performed before the error occurs.
  • the decoded image of the frame will continue to be displayed.
  • the same frame as that of the moving picture encoding apparatus of the first embodiment is referred to.
  • the area for storing the key frame is 2 frames, and other frames other than the key frame are stored. If the area is for one frame, error propagation can be stopped in spite of the P frame (inter-screen prediction). As a result, it is possible to receive a stream with high compression efficiency with a small memory capacity.
  • the control unit 208 transmits an ACK when all the frames in the GOKP can be normally decoded.
  • An ACK may be transmitted to.
  • a packet number is assigned to a packet that transmits an encoded stream in the order of frames in the encoded stream.
  • the packets received within a certain time are stored in the buffer, the stored packets are rearranged in the order of the packet number, and whether there are any missing packet numbers. By checking, it can be confirmed whether all frames have been received.
  • a NACK can be transmitted at a stage before the encoded stream is decoded, and an earlier recovery from a transmission error can be achieved.
  • the moving picture decoding apparatus 12 according to Embodiment 2 of the present invention is shown in (b) of FIG. 4B.
  • the moving picture decoding apparatus 12 includes a decoder unit 12a, a depacketizing unit 12b, and a communication unit 12c.
  • the communication unit 12c is connected to the network and is logically connected to the moving image encoding device.
  • the communication unit 12c receives a packet including the compressed and encoded moving image data from the network, deletes information necessary for communication, and outputs the compressed and encoded moving image data to the depacketizing unit 12b.
  • the information is transmitted to the moving picture coding apparatus.
  • FIG. 7 is a flowchart showing a processing procedure for each frame of the moving picture decoding method according to the third embodiment. In FIG. 7, the same processing as the step shown in FIG.
  • step S201 of FIG. 7 when the error notification signal indicates that the decoding target frame has been successfully decoded (NO in S201), the control unit 208 further determines that the decoded decoding target frame is a key. It is determined whether it is a frame (the last frame of GOKP) (S301). If the decryption target frame is a key frame (YES in S301), the control unit 208 further determines whether or not all GOKP frames including the decryption target frame have been correctly decrypted (S302).
  • control unit 208 transmits ACK to which GOKP identification information of the decoding target frame is added to the transmission side using the ACK / NACK notification stream.
  • the decoded image data of the decoding target frame is stored in the storage area designated by the additional information in the frame memory 205 (S206), and the processing of the decoding target frame is finished.
  • step S303 If there is an error in any frame in GOKP (NO in S302), the process in step S303 is skipped, and the decoded image data of the decoding target frame is designated by the additional information in the frame memory 205. The data is stored in the storage area (S206), and the process of the decoding target frame is finished.
  • the error notification signal indicates a decoding error of the decoding target frame in step S201
  • the decoded image data of the decoding target frame is stored in the frame memory.
  • the information is stored in the storage area designated by the additional information in 205 (S206), and the processing of the decoding target frame is completed.
  • Embodiment 4 of this invention when the communication part of a moving image decoding apparatus detects packet loss, the example of the operation
  • FIG. 8 is a flowchart showing a processing procedure of the moving picture coding apparatus 15 according to the fourth embodiment of the present invention.
  • the operation of the moving image encoding device 15 will be described with respect to differences from the moving image encoding device 11.
  • the moving image encoding device 15 is different from the moving image encoding device 11 in that it is determined whether or not the encoding target frame is an I frame, and a predetermined process is performed when the encoding target frame is an I frame. Is a point. This will be described in detail below.
  • control unit 108 After determining whether or not ACK or NACK has been received (S101 and S104), the control unit 108 determines whether or not the encoding target frame is an I frame (S104a).
  • the control unit 108 updates GOKP and encodes the I frame as a key frame. Then, the GOKP is updated again thereafter (S104b).
  • step S109 is performed.
  • step S107 and step S108 is performed as in the case of the moving image encoding device 11.
  • GOKP is completed in a frame immediately before the I frame, and then a GOKP including only the I frame is configured, and then a new GOKP is configured.
  • GOKP is updated when an I frame is encoded, when a NACK is received, and when an ACK is received.
  • the above contents are summarized as shown in Table 1.
  • FIG. 9 is a diagram illustrating an example of a control packet field described in the compressed and encoded moving image data transmitted by the communication unit 15c of the moving image encoding device 15.
  • Table 2 describes the packet fields shown in FIG.
  • “frame unit” means that when one frame is divided into a plurality of packets by packetization, the field is described in each of a plurality of packets constituting the frame. .
  • this packet field is described in an arbitrary part of the communication packet. For example, it is described in the extension field of the RTP packet.
  • FIG. 10 is a block diagram showing an example of the configuration of the video decoding device 3 according to Embodiment 4 of the present invention.
  • the moving image decoding device 3 includes a decoding unit 2a, a memory 2b, a second control unit 2c, and a receiving unit 3d.
  • Each of the decoding unit 2a, the memory 2b, and the second control unit 2c is the same as the corresponding block in the video decoding device 2.
  • the receiving unit 3d receives the encoded data transmitted by the video encoding device.
  • FIG. 11 is a block diagram showing an example of the configuration of the video decoding device 3 according to Embodiment 4 of the present invention.
  • the video decoding device 3 includes a reception separation unit 200, an image decoding unit 201, a predicted image addition unit 202, an additional information decoding unit 203, a frame memory 205, and a predicted image selection unit 207.
  • the difference from the configuration of the video decoding device 2 according to the second embodiment is that the video decoding device 3 does not include a control unit.
  • the moving picture decoding apparatus 16 includes a reception separating unit 200, an image decoding unit 201a, a predicted image adding unit 202, an additional information decoding unit 203a, a frame memory 205, and a predicted image selection.
  • a unit 207 is provided.
  • the image decoding unit 201 a decodes the encoding of the prediction error image data separated by the reception separation unit 200, and outputs the decoded prediction error image data to the prediction image addition unit 202.
  • the additional information decoding unit 203a from the encoded data of the additional information of the inter-screen prediction encoding, the encoded data of the reference frame specifying information, the encoded data specifying the memory area for storing the decoded image data, the intra / inter determination signal And the encoded data of GOKP identification information are separated.
  • FIG. 13 is a flowchart showing a processing procedure for each frame of the video decoding device 3 according to Embodiment 4 of the present invention.
  • the receiving unit 3d receives encoded data (S400).
  • the reception unit 3d determines whether or not the received encoded data has a reception error due to packet loss (S401).
  • the ACK / NACK packet field includes at least a bit indicating either ACK or NACK and GOKPNUM.
  • FIG. 12 is a functional outline diagram of an example of a moving image transfer system including the moving image encoding device and the moving image decoding device of the present embodiment.
  • a moving image encoding device 15 shown in FIG. 12A is the same as the moving image encoding device 11 of the first embodiment.
  • the moving picture decoding apparatus 16 shown in (b) of FIG. 12 includes a decoder unit 16d, a depacketizing unit 16b, and a communication unit 16e.
  • the communication unit 16c receives a packet including the compressed and encoded moving image data from the network, separates information used for communication control from the compressed and encoded moving image data, and compresses and encodes the encoded moving image data. Is output to the depacketizer 16b. Furthermore, the communication unit 16c detects the presence or absence of a packet reception error, and transmits information (ACK or NACK) regarding whether or not the packet can be received to the moving image coding apparatus.
  • ACK or NACK information regarding whether or not the packet can be received to the moving image coding apparatus.
  • the depacketization unit 16b is the same as the depacketization unit 12b of the video decoding device 12.
  • the decoder unit 16d decodes the compressed and encoded moving image data output from the depacketizing unit 16b, and restores the moving image data.
  • the details of the operations of the video encoding device and the video decoding device according to Embodiment 4 have been described above. Further, the contents of the present invention also include that the moving image encoding device and the moving image decoding device perform the following operations.
  • the video encoding apparatus may transmit a frame requesting to return ACK after a predetermined time has elapsed after receiving ACK. According to this, it is possible to prevent a large amount of ACKs from being transmitted when the round-trip communication time between the video encoding device and the video decoding device is short.
  • the round-trip communication time between the video encoding device and the video decoding device is short, if the video encoding device transmits a frame requesting to return ACK immediately after receiving the ACK, the ACK is immediately Is sent. As a result, a large amount of ACKs and frames requesting to return ACKs are transmitted.
  • the video encoding apparatus may determine that NACK has been received and perform subsequent processing when neither ACK nor NACK is received at a predetermined time after transmission of the key frame.
  • the inability to receive ACK means that the video decoding device has not received a predetermined number of consecutive frames, or that an ACK transmitted after receiving a predetermined number of consecutive frames has been lost due to packet loss. . As described above, since it means that there is a packet loss, it is appropriate to determine that a NACK has been received.
  • the following method may be used for receiving and determining ACK and NACK.
  • NACK is received from at least one video encoding device, it is considered that NACK has been received.
  • FIG. 14A is an explanatory diagram of ACK / NACK reception (at the time of ACK reception).
  • the configuration shown in FIG. 14A includes one video encoding device (“transmission side” in FIG. 14A) and two video decoding devices (“reception side 1” and “reception side 2” in FIG. 14A).
  • transmission side in FIG. 14A
  • reception side 1 and “reception side 2” in FIG. 14A.
  • FIG. 14A shows a sequence in which the transmission side transmits the frame P0 to each of the reception side 1 and the reception side 2, and the reception side 1 and the reception side 2 respond thereto.
  • each of the receiving side 1 and the receiving side 2 transmits an ACK after receiving the frame P0, and when the transmitting side receives these ACKs, it is considered that the ACK has been received (in (1) above). Applicable).
  • FIG. 14B is an explanatory diagram of ACK / NACK reception (when NACK is received). As shown in FIG. 14B, when each of the receiving side 1 and the receiving side 2 does not receive the frame P0 and transmits NACK, and the transmitting side receives these NACKs, it is considered that the NACK has been received ((2) above) Fall under).
  • FIG. 14C is an explanatory diagram of ACK / NACK reception (when ACK and NACK are received). As shown in FIG. 14C, when the receiving side 1 receives the frame P0 and transmits an ACK, and the receiving side 2 transmits a NACK without receiving it, the transmitting side considers that the NACK has been received when the NACK is received. (Applicable to (2) above).
  • FIG. 14D is an explanatory diagram of ACK / NACK reception (during timeout). As shown in FIG. 14D, when the receiving side 1 transmits the ACK after receiving the frame P0, the receiving side 2 does not receive the frame P0, and the transmitting side receives neither ACK nor NACK for some reason. The transmitting side considers that a NACK has been received after a predetermined time has elapsed after receiving an ACK (corresponding to (3) above).
  • Embodiments 1 to 4 can also be realized in communication with a plurality of video encoding apparatuses.
  • the program for realizing the moving picture encoding method and the moving picture decoding method shown in the above embodiments is recorded on a recording medium such as a flexible disk.
  • a recording medium such as a flexible disk.
  • FIG. 15 is an explanatory diagram when the moving picture encoding method and the moving picture decoding method according to each of the above embodiments are implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
  • FIG. 15B shows the appearance, cross-sectional structure, and flexible disk as seen from the front of the flexible disk
  • FIG. 15A shows an example of the physical format of the flexible disk that is the main body of the recording medium.
  • the flexible disk FD is built in the case F, and a plurality of tracks Tr are formed concentrically on the surface of the disk from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
  • FIG. 15C shows a configuration for recording and reproducing the program on the flexible disk FD.
  • the program for realizing the moving image encoding device and the moving image decoding device is recorded on the flexible disk FD
  • the program is written from the computer system Cs via the flexible disk drive.
  • a moving image encoding device and a moving image decoding device are constructed in a computer system by a program in a flexible disk
  • the program is read from the flexible disk by a flexible disk drive and transferred to the computer system.
  • the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
  • each functional block of the video encoding device and the video decoding device is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the functional blocks other than the memory may be integrated into one chip.
  • LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention can be used for a moving image encoding device and a moving image decoding device, and is particularly useful for moving image bidirectional communication using a network.
  • the present invention is also useful for communication devices and set devices that encode and transmit moving images, such as moving image distribution and surveillance cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

小さいメモリ容量で圧縮効率が高いストリームを生成する動画像符号化装置であって、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することにより、符号化対象フレームの符号化データを生成する符号化部（１０５）と、生成された符号化データを動画像復号装置に送信する送信部（１０６）と、所定数の連続するフレームすべての符号化データを正しく受信できたことを示す信号である正常受信信号、またはいずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、受信側装置から取得し、正常受信信号を取得した場合には、取得部が正常受信信号を取得したタイミングで符号化される符号化対象フレームの復号画像をキーフレームとしてメモリ（１０１）に格納し、異常受信信号を取得した場合には、メモリに格納されているいずれかのキーフレームを参照して符号化対象フレームを符号化部に符号化させる制御部（１０８）とを備える。

Description

動画像符号化装置および動画像復号装置
　本発明は動画像符号化装置および動画像復号装置に関し、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）－４方式、または、ＩＴＵ－Ｔ　Ｈ．２６４方式を用いて動画像データを符号化する動画像符号化装置および動画像復号装置に関する。
　近年、ＡＤＳＬまたは光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数十Ｍｂｉｔ／ｓを越えるビットレートでのデータ通信が可能となっている。そこで、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、ＭＰＥＧ－４　ＡＶＣおよびＨ．２６４等の画像符号化技術を用いることで、専用回線を用いた企業だけでなく、一般家庭でもＴＶ放送品質またはＨＤＴＶ放送品質のＴＶ電話システム・ＴＶ会議システムの導入が進むと予想される。
　ところで、ネットワークを介して符号化した画像データ、すなわちストリームを伝送する際には、ネットワーク輻輳などでストリームの一部が消失する可能性がある。ストリームの一部が消失した場合には、受信側で消失したストリームに対応する箇所の画像を正しく復号できないので、画質劣化が発生する。
　さらに、たとえフレーム単位で復号処理がされたとしても、復号処理された画素を正しく復号できるとは限らない。例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、ＭＰＥＧ－４　ＡＶＣおよびＨ．２６４等では、消失したストリームの次のフレームを復号する際に、次のフレームがすべて画面内符号化されている場合（Ｉフレーム）では、画面内符号化されているスライスのストリームのみで画素を正しく復号できる。しかし、消失したストリームの次のフレームを復号する際に、次のフレームが画面間符号化されている場合（Ｐフレーム）には、次のフレームは直前に復号したフレーム、すなわちストリーム消失で画質劣化があるフレームとの相関を利用して（直前に復号したフレームを参照して）復号を行うので、正しく画素を復号できない。
　このように、ストリームが消失した場合に、消失したストリームの次のフレームが画面間符号化されていると正しく復号できず、さらに再帰的に後続のフレームも正しく復号できなくなるという課題がある。
　そこで、画面が正しく復号できない場合に、正しく画素を復号できない状態が後続フレームに伝播することを防止する方法として、例えば、図１６、図１７、および図１８に示す技術が知られている。
　図１６は従来のＡＣＫ／ＮＡＣＫと画面内符号化を用いた動画像符号化方法の説明図である。送信側では動画像データをフレーム単位で符号化して圧縮されたストリームを生成する。送信側が受信側にストリームを送信し、受信側がストリームを復号する。これにより、受信側で動画像が復元され、復元された動画像が再生される。
　動画像の最初のフレームは、Ｉフレーム符号化し、以後のフレームは直前に符号化したフレームを参照したＰフレームとして符号化する（左側のフレームに向かう破線で示す矢印は、符号化で参照するフレームを示す）。図１６の横軸は時間経過を示し、右に行くほど時間が経過する。Ｐ０、Ｐ１、Ｐ２、Ｐ３はフレームの番号である０番目、１番目、２番目、３番目をそれぞれ表している。送信側の各フレームから受信側の各フレームに向かう矢印は、送信側のフレームとそれに対応する受信側のフレームとの対応関係を示す。矢印の向きが右下や右上となっているのは、送信側から受信側にストリームを送信する場合に経過する時間（送受信間の伝送路遅延）だけ時刻が右に移動することを意味している。また、「×」印は、通信エラーによるパケットロスが生じたことを示す。
　受信側では、受信したフレームが正しく復号できた場合に、ＡＣＫを送信側に送信する。例えば、フレームＰ０、フレームＰ１、およびフレームＰ２が正しく受信できた場合に、受信側はそれぞれＡＣＫを送信側に送信する。送信側では、ＡＣＫを受信することで、フレーム番号に対応するフレームが正しく受信側で復号できたことがわかる。
　さて、フレームＰ１７が伝送路でのエラーにより、受信側で正しく復号できなかったとする。その場合、フレームＰ１７だけでなく、フレームＰ１７を参照して逐次復号を行うフレームＰ１８、Ｐ１９、Ｐ２０、およびＰ２１も正しく復号することができない。受信側ではフレームＰ１７を正しく復号できないため、ＡＣＫではなく、ＮＡＣＫを送信側に送信する。
　送信側ではＮＡＣＫを受信することで、受信側で当該フレーム（Ｐ１７）を正しく復号できていないことを知ることができる。その結果、ＮＡＣＫを受信した直後において符号化が完了していないフレームＰ２２をＰフレーム（画面間予測）ではなくＩフレーム（画面内予測）で符号化して伝送する。
　受信側ではＩフレームであるフレームＩ２２を受信し、受信したフレームＩ２２を復号する。これにより、正しく復号できなかったフレームを参照することによるエラー伝播を停止できるので、フレームＰ２３以降のＰフレームも正しく復号可能になる。
　図１７は従来のＡＣＫと画面間符号化を用いた動画像符号化方法の説明図であり、図１６を改良したものである。受信側では、受信したフレームが正しく復号できた場合は、正しく復号できたフレームを特定する番号を付与したＡＣＫを送信側に送信する。例えば、フレームＰ０、フレームＰ１、フレームＰ２が正しく受信できた場合に、受信側はそれぞれＡＣＫ０、ＡＣＫ１、およびＡＣＫ２を送信側に送信する。
　送信側では、ＡＣＫとフレーム番号とを受信することで、フレーム番号に対応するフレームが正しく受信側で復号できたことがわかる。
　さて、フレームＰ１７が伝送路でのエラーにより、受信側で正しく復号できなかったとする。その場合、フレームＰ１７だけでなく、フレームＰ１７を参照して逐次復号を行うフレームＰ１８、Ｐ１９、Ｐ２０、およびＰ２１も正しく復号することができない。受信側ではフレームＰ１７を正しく復号できないため、ＡＣＫを送信側に送信しない。
　送信側ではフレームＰ１７に対応するＡＣＫを受信しないことで、受信側で正しく復号できていないことを知ることができる。一方、ＡＣＫ１６を受信しているので、フレームＰ１６を正しく復号できていることは確認できる。従って、フレームＰ２２をＩフレームではなく、フレームＰ１６を参照したＰフレームとして符号化して伝送する。
　受信側では正しく復号できたフレームＰ１６を参照したフレームＰ２２を受信し、受信したフレームＰ２２を復号する。これにより、正しく復号できなかったフレームを参照することによるエラー伝播を停止できるので、フレームＰ２３以降のＰフレームも正しく復号可能になる。
　このように、図１７の動画像符号化方法では、圧縮効率の悪いＩフレームではなく、圧縮効率の高いＰフレームでエラー伝播を停止できるので、図１６よりも圧縮効率が高いストリームを生成し送信することができる。なお、図１７ではＡＣＫを用いて受信側から送信側に正しく復号できなかったことを通知したが、ＮＡＣＫを用いて通知することも可能である。
　図１８は従来のＮＡＣＫと画面間符号化とを用いた動画像符号化方法の説明図ある。図１８では、ＡＣＫの代わりに、受信側では、受信したフレームが正しく復号できなかった場合に、正しく復号できないフレームを特定する番号を付与したＮＡＣＫを送信側に送信する。例えば、フレームＰ１７が正しく受信できなかった場合、受信側はＮＡＣＫ１７を送信側に送信する。
　送信側ではフレームＰ１７に対応するＮＡＣＫを受信することで、受信側で正しく復号できていないことを知ることができる。その結果、ＮＡＣＫを受信していない最新のフレームであるＰ１６を参照して、フレームＰ２２をＰフレームとして符号化して伝送する。これにより、図１７と同様に、圧縮効率の悪いＩフレームではなく、圧縮効率の高いＰフレームでエラー伝播を停止できるので、図１６よりも圧縮効率が高いストリームを生成し、送信することができる（特許文献１参照）。
特許第３０６８００２号公報
　しかしながら、上記図１７および図１８の動画像符号化方法では、ＡＣＫ／ＮＡＣＫが通知されたときに参照する参照フレームを格納するために多くのメモリを必要とする。例えば、図１７の送信側でフレームＰ２２を参照可能とするためには、フレームＰ１６が参照フレームとしてメモリに格納されている必要がある。すなわち、この例では、まだＡＣＫを受信していない送信済みのフレームである、フレームＰ１６、Ｐ１７、Ｐ１８、Ｐ１９、Ｐ２０、およびＰ２１の６フレーム分をすべてメモリに格納しておく必要がある。これは、ＡＣＫ／ＮＡＣＫをフレーム単位で受信し、ＮＡＣＫを受信した後に、最後に受信したＡＣＫに対応するフレームを参照可能とするためである。このメモリに格納が必要なフレーム数は、伝送遅延に比例して大きくなるため、伝送遅延が大きいとフレームを格納するために必要なメモリ容量も大きくなる。
　また、受信側では、送信側でＮＡＣＫ受信時に参照する可能性のある参照フレームをすべてメモリに格納しておくことが必要である。従って、受信側でも送信側と同じく、フレームＰ１６、Ｐ１７、Ｐ１８、Ｐ１９、Ｐ２０、およびＰ２１の６フレーム分を格納するメモリ容量が必要となる。
　さらに、図１７のように各フレームでＡＣＫを返す場合には、ＡＣＫを送信する頻度が多く、低ビットレート通信においてはＡＣＫの送信ビットレートが動画像データの送受信可能ビットレートに対して無視できない。すなわち、ＡＣＫを送受信するビットレートの分だけ、動画像データの送受信ビットレートを低くしなければならないという問題も発生する。
　そこで、本発明は、上記問題点に鑑みてなされたものであり、参照フレームを格納するメモリ容量をほとんど増やさずに、Ｐフレーム（画面間予測）でエラーの伝播を停止できる仕組みを提供し、小さいメモリ容量で圧縮効率が高いストリームを送信することを目的とする。
　上記の課題を解決するために、本発明の一形態に係る動画像符号化装置は、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成する符号化部と、前記符号化済みのフレームの復号画像を格納するための領域を備えるメモリと、生成された前記符号化データを動画像復号装置に送信する送信部と、所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、前記所定数の連続するフレームのうちのいずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得する取得部と、前記取得部が前記正常受信信号を取得した場合には、前記取得部が前記正常受信信号を取得したタイミングで符号化される符号化対象フレームの復号画像をエラー復帰用フレームとして前記メモリに格納し、前記取得部が前記異常受信信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる制御部とを備える。
　これによれば、動画像符号化装置は、取得部が正常受信信号の１つを受信した時点において、当該時点と、過去の最も新しい正常受信信号を受信した時点との間に符号化された複数のフレームを動画像復号装置が正しく受信したことを知ることができる。また、動画像復号装置が当該複数のフレームのうちの一部を通信エラーによるパケットロスにより受信できなかった場合に、新たに符号化するフレームの参照先がエラー復帰用フレームに限られる。そのため、動画像符号化装置は、通信エラーによるパケットロスに備えてすべてのフレームを格納する必要がなく、メモリ容量を小さく抑えることができる。よって、動画像符号化装置は、小さいメモリ容量で圧縮効率が高いストリームを送信することができる。
　また、本発明の一形態に係る動画像復号装置は、動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置であって、受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号する復号部と、受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる第２の制御部とを備える。
　これによれば、動画像復号装置は、所定数の連続するフレームを正しく受信できたことを１つの正常受信信号を動画像符号化装置に送信することにより通知することができる。また、動画像復号装置が当該所定数の連続するフレームを受信できなかった場合に、動画像符号化装置において新たに符号化されるフレームの参照先がエラー復帰用フレームに限られる。そのため、動画像復号装置は、通信エラーによるパケットロスに備えてすべてのフレームを格納する必要がなく、メモリ容量を小さく抑えることができる。よって、動画像復号装置は、小さいメモリ容量で圧縮効率が高いストリームを受信することができる。
　なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ－ＲＯＭ等の記録媒体またはインターネット等の通信媒体を介して配信してもよい。
　以上のように、本発明によれば、前記正常受信信号を取得した場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常検知信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照して、符号化対象フレームを符号化するので、参照フレームを格納するメモリ容量を増やさずに、Ｐフレーム（画面間予測）でエラーの伝播を停止できる。その結果、小さいメモリ容量で圧縮効率が高いストリームを生成することができる。
図１は、本発明の各実施の形態のＡＣＫとＮＡＣＫと画面間符号化とを用いた動画像符号化方法を説明する図である。 図２Ａは、本発明の実施の形態１における動画像符号化装置の構成の一例を示すブロック図である。 図２Ｂは、本発明の実施の形態１における動画像符号化装置の構成の別の一例を示すブロック図である。 図３は、本発明の実施の形態１における動画像符号化装置のフレームごとの処理手順を示すフローチャートである。 図４Ａは、本発明の実施の形態１における動画像符号化装置のフレームメモリにおけるメモリ領域の区分を示す図である。 図４Ｂは、本発明の動画転送システムの一例の機能概要図である。 図５Ａは、本発明の実施の形態２における動画像復号装置の構成の一例を示すブロック図である。 図５Ｂは、本発明の実施の形態２における動画像復号装置の構成の別の一例を示すブロック図である。 図６は、本発明の実施の形態２における動画像復号装置のフレームごとの処理手順を示すフローチャートである。 図７は、本発明の実施の形態３における動画像復号方法のフレームごとの処理手順を示すフローチャートである。 図８は、本発明の実施の形態４における動画像復号方法のフレームごとの処理手順を示すフローチャートである。 図９は、制御用パケットフィールドの一例を示す図である。 図１０は、本発明の実施の形態４における動画像復号装置の構成の一例を示すブロック図である。 図１１は、本発明の実施の形態４における動画像復号装置の構成の別の一例を示すブロック図である。 図１２は、本発明の動画転送システムの別の一例の機能概要図である。 図１３は、本発明の実施の形態４における動画像復号方法のフレームごとの処理手順を示すフローチャートである。 図１４Ａは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫ受信時）である。 図１４Ｂは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＮＡＣＫ受信時）である。 図１４Ｃは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫおよびＮＡＣＫ受信時）である。 図１４Ｄは、ＡＣＫ／ＮＡＣＫの受信の説明図（タイムアウト時）である。 図１５は、本発明の各実施の形態の画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納する記録媒体についての説明図である。 図１６は、従来のＡＣＫ／ＮＡＣＫと画面内符号化を用いた動画像符号化方法の説明図である。 図１７は、従来のＡＣＫと画面間符号化とを用いた動画像符号化方法の説明図である。 図１８は、従来のＮＡＣＫと画面間符号化とを用いた動画像符号化方法の説明図である。
　なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。
　以下、本発明の各実施の形態について、図面を用いて説明する。なお、同一の構成要素には同一の符号を付し、説明を省略する場合がある。
　図１は本発明の各実施の形態に用いられるＡＣＫとＮＡＣＫと画面間符号化とを用いた動画像符号化方法を説明するための図である。以下、図１の動作について説明する。
　本発明の各実施の形態では、フレームの集合としてＧＯＫＰ（Ｇｒｏｕｐ　Ｏｆ　ｐｉｃｔｕｒｅｓ　ｂｅｔｗｅｅｎ　Ｋｅｙ　Ｐｉｃｔｕｒｅｓ）を定義する。ＧＯＫＰは、動画像を構成するフレームの集合である。各ＧＯＫＰ内の最後にはキーフレームが設定される。キーフレームとは、伝送路上でエラーが生じたときに画面間予測フレームのエラーの伝搬を断ち切るために、参照フレームとして保存されるエラー復帰用参照フレームのことである。
　ＧＯＫＰには、ＩフレームまたはＰフレームが含まれる。Ｉフレームは、画面内予測フレームであって符号化ストリームの先頭で１フレームだけ送信され、符号化ストリームの最初のキーフレームとして単独でＧＯＫＰを構成する。Ｐフレームは、符号化済みのフレームを参照する画面間予測フレームである。
　受信側では、現在復号対象のフレーム（以下、復号対象フレーム）の直前に復号されたフレームが、参照フレームとしてフレームメモリに格納される。その際に、正しく復号できたキーフレームとそれ以外の参照フレームとが別の領域に格納され、正しく復号された最新のキーフレームと最新の参照フレームとが常にメモリに格納される。
　また、受信側は、受信したＧＯＫＰのすべてのフレームが正しく復号できた場合には、当該フレームの属するＧＯＫＰの識別番号を添付して、ＡＣＫ（正常受信信号）を送信側に送信する。一方、フレームを正しく復号できなかった場合には、ＮＡＣＫ（異常受信信号）を送信する。このＡＣＫあるいはＮＡＣＫにはＧＯＫＰを識別する番号を付与する。
　送信側では、ＡＣＫを受信した場合に、ＡＣＫを受信したときに符号化が完了していないフレームを新たなキーフレームとして符号化し、当該フレームを含むＧＯＫＰを完結して、新しいＧＯＫＰを構成する。
　ＮＡＣＫを受信しない場合には、ＡＣＫを受信した場合を含め、送信側は、フレーム間の相関が大きい、最新の参照フレームを参照することにより符号化対象フレーム（Ｐフレーム）の符号化を行う。
　一方、ＮＡＣＫを受信した場合には、送信側は、現在符号化中のフレームの符号化を完了した後、この現在符号化中フレームが属するＧＯＫＰを完結する。そして、送信側は、次の符号化対象のフレームをキーフレームとして単独フレームで新たなＧＯＫＰを構成し、それまでに受信したＡＣＫの中で最新のＡＣＫに対応するＧＯＫＰのキーフレームを参照することにより、符号化する。
　具体的には、図１の場合、送信側は、ＮＡＣＫを受信したときには、フレームＰ２１の符号化中である。そこで、送信側は、フレームＰ２１の符号化を完了した後、フレームＰ２１が属するＧＯＫＰ５を完結する。そして、送信側は、次のフレームＰ２２をキーフレームとして単独で新たなＧＯＫＰ６を構成する。ここで、ＮＡＣＫ４を受信するまでに、送信側は、最新のＡＣＫとしてＡＣＫ３を受信している。従って、送信側は、受信したＡＣＫ３に対応するキーフレーム、すなわち、ＧＯＫＰ３のキーフレームであるフレームＰ１５を参照することによりフレームＰ２２を符号化する。
　なお、送信側では、参照フレームについて、受信側と同様に、キーフレームとそれ以外のフレームとで、フレームメモリへの格納領域が区別されている。
　このようにして、フレームＰ１７が伝送エラーによって正しく復号できなかったとしても、フレームＰ２２では正しく復号できたフレームＰ１５を参照したＰフレームとして復号できるので、エラーの伝播を停止することができる。
　以下、図１で示した本発明のＡＣＫとＮＡＣＫと画面間符号化とを用いた動画像符号化方法を実現する動画像符号化装置および動画像復号装置の具体的な構成および動作について、各実施の形態で説明する。
　（実施の形態１）
　図２Ａは、本発明の実施の形態１における動画像符号化装置１の構成の一例を示すブロック図である。図２Ａに示されるように、動画像符号化装置１は、符号化部１ａと、メモリ１ｂと、送信部１ｃと、取得部１ｄと、制御部１ｅとを備える。
　符号化部１ａは、動画像データを圧縮符号化し、圧縮符号化された動画像データを送信部１ｃへ出力する。
　メモリ１ｂは、参照フレームを格納するための領域を備えたメモリである。
　送信部１ｃは、符号化部１ａが出力した圧縮符号化された動画像データに対し、伝送用のヘッダ情報（ＲＴＰヘッダ、ＩＰヘッダ等）などを付加し、符号化データを生成して、動画像復号装置に送信する。
　取得部１ｄは、動画像復号装置から正常受信信号（ＡＣＫ）または異常受信信号（ＮＡＣＫ）を受信し、制御部１ｅに通知する。
　制御部１ｅは、取得部１ｄが正常受信信号（ＡＣＫ）を取得した場合には、取得部１ｄが正常受信信号を取得したタイミングの符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納する。また、取得部１ｄが異常受信信号（ＮＡＣＫ）を取得した場合には、メモリに格納されているいずれかのエラー復帰用フレームを参照することにより符号化対象フレームを符号化部１ａに符号化させる。
　なお、符号化部１ａと、メモリ１ｂと、制御部１ｅとを含むエンコーダ部１１ａを備えてもよい。また、送信部１ｃを含むパケット化部１１ｂを備えてもよい。
　図２Ｂは、本発明の実施の形態１における動画像符号化装置１１の構成の一例を示すブロック図である。図３は、本発明の実施の形態１における動画像符号化装置１１の処理手順を示すフローチャートである。以下、図２Ｂに示した動画像符号化装置１１の動作を、図３を用いて説明する。
　図２Ｂに示すように、実施の形態１の動画像符号化装置１１は、画面間予測部１００、フレームメモリ１０１、イントラ／インター判定部１０２、予測画像選択部１０３、予測画像減算部１０４、画像符号化部１０５、多重化送信部１０６、画像復号部１０７、制御部１０８、ＧＯＫＰ更新部１１０、付加情報符号化部１１１および予測画像加算部１１２を備える。ここで、画面間予測部１００、フレームメモリ１０１、イントラ／インター判定部１０２、予測画像選択部１０３、予測画像減算部１０４、画像符号化部１０５、画像復号部１０７、制御部１０８、ＧＯＫＰ更新部１１０、付加情報符号化部１１１および予測画像加算部１１２は、エンコーダ部１１ａに相当する。また、多重化送信部１０６は、パケット化部１１ｂに相当する。以下で各ブロックについて詳細に説明する。
　動画像入力データとして入力端子に入力された動画像は、画面間予測部１００と予測画像減算部１０４とに入力される。
　フレームメモリ１０１は、２つのキーフレームを含む参照フレームを格納するための領域を備えたメモリである。
　画面間予測部１００は、フレームメモリ１０１の参照フレーム領域に格納された参照フレームデータを参照することにより、予測画像データを生成する。また、画面間予測部１００は、符号化対象フレームをＰフレームとして符号化する際に必要な、動きベクトル等の動き情報を画面間符号化の付加情報として生成する。そして、画面間予測部１００は、生成した付加情報を付加情報符号化部１１１に通知する。
　イントラ／インター判定部１０２は、最初のフレームをＩフレーム、その他のフレームはＰフレームとして符号化するよう、予測画像選択部１０３にイントラ／インター判定信号を用いて通知する。
　予測画像選択部１０３は、イントラ／インター判定信号が示す指示に従い、符号化対象フレームがＰフレームの場合は、画面間予測部１００によってフレームメモリ１０１から読み出された予測画像データを予測画像減算部１０４に入力する。また、符号化対象フレームがＩフレームの場合は、入力なし（値０）を選択して予測画像減算部１０４に入力する。予測画像減算部１０４は、入力端子から入力された動画像データと予測画像選択部１０３によって選択された予測画像データとの差分値を計算して、予測誤差画像データを生成する。画像符号化部１０５は、生成された予測誤差画像データを圧縮符号化し、圧縮符号化によって得られた符号化データを多重化送信部１０６に出力する。画像復号部１０７は符号化データを伸張復号して復号予測誤差画像データを生成する。予測画像加算部１１２は、画像復号部１０７で生成された復号予測誤差画像データと予測画像選択部１０３で選択された予測画像データとを加算して得られる復号画像データを、フレームメモリ１０１に出力する。
　制御部１０８は、予測画像加算部１１２からフレームメモリ１０１に入力された復号画像データを、復号された復号対象フレームがキーフレームであるかまたはキーフレーム以外のフレームであるかに応じて、あらかじめ定められた参照フレーム領域に格納するとともに、各フレームの復号画像データが格納された参照フレーム領域を示す情報を参照フレーム指定情報の一部として画面間予測部１００に出力する。
　制御部１０８は、動画像符号化装置の内部または外部の図示しない受信部で受信されたＡＣＫ／ＮＡＣＫ通知ストリームにより、ＡＣＫまたはＮＡＣＫを取得する（Ｓ１００）。制御部１０８は、ＡＣＫを受信した場合は（Ｓ１０１でＹＥＳ）、ＧＯＫＰ更新部１１０で現在の符号化対象フレームをキーフレームとして符号化し、次のフレームから更新した新たなＧＯＫＰで符号化するようにＧＯＫＰ識別情報を付加情報符号化部１１１に通知する。また、制御部１０８は、直前のフレームを参照画像とすることを示す参照フレーム指定情報を、フレームメモリ１０１、画面間予測部１００、および付加情報符号化部１１１に送信する（Ｓ１０２）。なお、キーフレームとして符号化するフレームは、ＧＯＫＰ更新部１１０で現在符号化しているフレームの直後のフレームとしてもよい。
　画面間予測部１００に入力された参照フレーム指定情報は、画面間符号化における付加情報の一部として付加情報符号化部１１１に通知される。さらに、フレームメモリ１０１のキーフレームを格納する領域のうち、受信したＡＣＫに対応するフレームの領域とは異なる領域、すなわち、ＡＣＫ未受信のキーフレームもしくは過去に受信したＡＣＫに対応するキーフレーム格納領域に当該キーフレームを格納する（Ｓ１０３）。
　制御部１０８は、ＮＡＣＫを受信した場合には（Ｓ１０４でＹＥＳ）、ＧＯＫＰ更新部１１０で、現在符号化を完了している最新のフレームまでからなる最新のＧＯＫＰを完結させる。次いで、制御部１０８は、現在のフレームをキーフレームとして符号化するとともに、当該キーフレームだけからなるＧＯＫＰを生成させる。さらに、制御部１０８は、キーフレームの次のフレームから、新たなＧＯＫＰで符号化するように、それぞれのＧＯＫＰに対するＧＯＫＰ識別情報を算出して、付加情報符号化部１１１に通知する。
　また、制御部１０８は、ＡＣＫを受信した最新のキーフレームを参照画像データとするように、参照フレーム指定情報でフレームメモリ１０１に通知する（Ｓ１０５）。
　画面間予測部１００に入力された参照フレーム指定情報は、画面間符号化の付加情報の一部として付加情報符号化部１１１に通知される。さらに、フレームメモリ１０１のキーフレームを格納する領域のうち、最新のＡＣＫに対応するフレーム領域とは異なる領域、すなわち、ＡＣＫ未受信キーフレームもしくは２回以上前のＡＣＫに対応するキーフレーム格納領域に当該キーフレームを格納する（Ｓ１０６）。
　ＡＣＫもＮＡＣＫも受信しない場合には（Ｓ１０４でＮＯ）、ＧＯＫＰ更新部１１０はＧＯＫＰ識別情報を更新せず、付加情報符号化部１１１に通知すると共に、制御部１０８に通知する。
　制御部１０８は、フレームメモリ１０１に格納されている最新の参照フレーム（キーフレームもしくはキーフレームではないフレームのうちで最新のフレーム）を参照画像データとするように参照フレーム指定情報でフレームメモリ１０１に通知する（Ｓ１０７）。
　画面間予測部１００に入力された参照フレーム指定情報は、画面間符号化の付加情報の一部として付加情報符号化部１１１に通知される。さらに、フレームメモリ１０１の格納領域のうち、キーフレーム以外の参照フレームを格納する領域に当該フレームを格納する（Ｓ１０８）。
　付加情報符号化部１１１は、(i)Ｉフレーム／Ｐフレームの識別を示すイントラ／インター判定信号、(ii)画面間予測部１００の動き情報を示す画面間符号化の付加情報、(iii)参照フレームを指示する参照フレーム指定情報、(iv)ＧＯＫＰ番号を示す。そして、付加情報符号化部１１１は、現在のフレームをキーフレームとして符号化するか否かを示すＧＯＫＰ識別情報、および(v)符号化された符号化対象フレームの復号画像データの格納領域を示す情報を符号化し、付加情報として多重化送信部１０６に通知する。
　多重化送信部１０６は、符号化データと付加情報とを多重化して符号化ストリームを構成し、受信側の動画像復号装置に送信する（Ｓ１０９）。
　図４Ａは、本実施の形態１に係る動画像符号化装置が備えるフレームメモリにおけるメモリ領域の区分を示す図である。フレームメモリ１０１は図４Ａに示すように、キーフレームとキーフレーム以外のフレームとを区別して格納するために、メモリでの格納領域が区別されている。
　メモリ容量は、現在符号化／復号中のフレームが１フレーム分、キーフレームのための格納領域が２フレーム分、その他のフレームのための格納領域が１フレーム分の合計４フレーム分が最低必要である。現在符号化／復号中のフレームは、１フレーム分の符号化／復号が完了したときに、キーフレーム以外のフレームの格納領域、またはキーフレームの格納領域のいずれかにコピーされる。
　その後、現在符号化／復号中のフレームの格納領域は、次のフレームの符号化／復号で利用される。図４Ａに示すように、フレームメモリ１０１にはキーフレーム格納領域が２フレーム分あるので、最新のＡＣＫに対応したキーフレームと、それ以外のキーフレームとを格納できる。
　なお、１フレーム分の符号化／復号が完了したときに、現在符号化／復号中のフレーム画像を、キーフレーム以外のフレームの格納領域、またはキーフレームの格納領域にコピーする代わりに、現在符号化／復号中のフレームメモリ１０１内の格納位置を示す格納アドレスを、コピー元とコピー先とで交換することにより、コピーと同等の動作となる処理を行ってもよい。
　なお、従来の動画像符号化方法および従来の動画像復号方法でも現在符号化／復号中のフレームの格納が必要であることから、本発明によってフレームメモリ１０１のメモリ容量が大幅に削減できていることが明確である。
　以上のように、実施の形態１によれば、フレームメモリ１０１として現在符号化／復号中の１フレームを格納する領域に加え、キーフレームを格納する領域が２フレーム、その他（キーフレーム以外）のフレームのための格納領域が１フレーム分あれば、Ｐフレームで画面間予測符号化することにより符号化ストリームのデータ量を低減しつつ、エラーの伝播を停止できる。これにより、小さいメモリ容量で圧縮効率が高いストリームを送信することが可能である。
　なお、図３のフローチャートでは記載を省略したが、動画像符号化装置において、符号化ストリームの送信を開始する際の最初のフレームは面内予測符号化され、Ｉフレームとして送信される。具体的には、符号化ストリームの最初のフレームに対し、予測画像選択部１０３はイントラ／インター判定信号に従って値０を選択する。このため、予測画像減算部１０４では、最初のフレームの画像データと予測画像データとの予測誤差画像データを算出しない。画像符号化部１０５では、予測画像減算部１０４から入力される画像データをＩフレームとして面内予測符号化し、多重化送信部１０６に出力する。
　また、Ｉフレームの送信は、必ずしも１回に制限される必要はなく、符号化ストリームの途中の任意のタイミングでＩフレームが挿入されるとしてもよい。さらに、最初に送信されたＩフレームが、受信側で正しく復号されなかった場合、すなわち、最初のフレームに対してＮＡＣＫを受信した場合には、ＮＡＣＫを受信した際に符号化が完了していないフレームを、再度、面内予測符号化によりＩフレームとして送信するとしてもよい。
　さらに、制御部１０８は、受信側の動画像復号装置からＡＣＫもＮＡＣＫも受信しないまま、一定のタイムアウト時間を経過した場合には、ＮＡＣＫを受信したときと同じ処理を行うとしてもよい。このタイムアウト時間は、好ましくは、動画像符号化装置と動画像復号装置との間の伝送路における伝送遅延の２倍程度に定める。この場合、例えば、制御部１０８は定期的に伝送遅延時間を計測し、計測された遅延時間をもとにタイムアウト時間を定めるとしてもよい。制御部１０８は、最初に符号化ストリームの送信を開始する際に１回だけ遅延時間を計測し、計測した遅延時間に基づいてタイムアウト時間を定めるとしてもよい。また、最初から、統計値などに基づいて、一定の時間をタイムアウト時間と定めておいてもよい。
　さらに、上記実施の形態１では、送信側から受信側にキーフレームを示す情報として、符号化対象フレームを含むＧＯＫＰのＧＯＫＰ識別情報を、ストリーム中の符号化対象フレームの付加情報の中に符号化するとしたが、本発明はこれに限定されない。例えば、符号化対象フレームがキーフレームであることを示す情報を、符号化ストリームとは別に、受信側に送信するとしてもよい。
　また、上記実施の形態では、ＡＣＫまたはＮＡＣＫを受信した直後のフレームをキーフレームとしたが、キーフレームは、必ずしもＡＣＫまたはＮＡＣＫの直後のフレームでなくてもよい。例えば、一定枚数のフレームごとに、キーフレームとするよう定めておいてもよい。さらに、ＡＣＫまたはＮＡＣＫを受信してから、１フレーム後、または２フレーム後などの任意のフレームをキーフレームとしてもよい。
　さらに、一定枚数のフレームごと、または一定期間ごとに１枚のフレームをキーフレームとする定めをしておく場合には、送信側の動画像符号化装置から受信側の動画像復号装置に対して、どのフレームがキーフレームであるかを示す情報を送信する必要はない。
　図４Ｂは、本発明の動画像符号化装置を含む動画転送システムの一例の機能概要図である。本発明の実施の形態１における動画像符号化装置１１は、図４Ｂの（ａ）に示される。動画像符号化装置１１は、エンコーダ部１１ａ、パケット化部１１ｂおよび通信部１１ｃを備える。
　通信部１１ｃは、ネットワークに接続しており、動画像復号装置と論理的に接続されている。通信部１１ｃは、パケット化部１１ｂが出力したパケットに対し通信に必要な情報を付加し、動画像復号装置を宛先としてネットワークへパケットを送信する。また、通信部１１ｃは、動画像復号装置からのパケットロスに関する情報（ＡＣＫ／ＮＡＣＫ）を受信し、エンコーダ部１１ａへ通知する。なお、通信部１ｃは、複数の動画像符号化装置と同時に論理的に接続されてもよい。
　（実施の形態２）
　図５Ａは、本発明の実施の形態２における動画像復号装置２の構成の一例を示すブロック図である。図５Ａに示されるように、動画像復号装置２は、復号部２ａと、第２の制御部２ｃとを備える。なお、さらに、メモリ２ｂを備えてもよい。
　復号部２ａは、動画像復号装置が受信した符号化ストリームを画面間予測復号する。
　メモリ２ｂは、参照フレームを格納するための領域を備えたメモリである。
　第２の制御部２ｃは、キーフレームまで符号化データを正しく受信した場合には正常受信信号（ＡＣＫ）を送信側に通知し、一部でも正しく受信できなかった場合は異常受信信号（ＮＡＣＫ）を送信側に通知する。また、符号化データに含まれる画面間予測符号化で参照するフレームを示す情報を取得し、その情報が示す復号画像データをメモリに格納されているフレームから読み出すことで参照画像データとする。復号対象フレームは、復号部２ａで、前記参照画像データを参照して復号する。
　なお、復号部２ａと、メモリ２ｂと、第２の制御部２ｃとを含むデコーダ部１２ａを備えてもよい。
　図５Ｂは本発明の実施の形態２における動画像復号装置１２の構成を示すブロック図である。図６は本実施の形態２における動画像復号方法のフレームごとの処理手順を示すフローチャートである。以下、図５Ｂに示した動画像復号装置１２の動作を、図６を参照しながら説明する。
　図５Ｂに示すように、本実施の形態の動画像復号装置１２は、受信分離部２００、画像復号部２０１、予測画像加算部２０２、付加情報復号部２０３、フレームメモリ２０５、予測画像選択部２０７および制御部２０８を備える。
　入力端子から入力された符号化されたストリームは、受信分離部２００で予測誤差画像データの符号化データと付加情報の符号化データとに分離される。
　付加情報復号部２０３は画面間予測符号化の付加情報の符号化データから、参照フレーム指定情報の符号化データ、復号画像データを格納するメモリ領域を指定する符号化データ、イントラ／インター判定信号の符号化データ、およびＧＯＫＰ識別情報の符号化データを分離する。
　制御部２０８は、フレームメモリ２０５から、参照フレーム指定情報で指定された参照フレームを読み出して、参照画像データとし、参照画像データを参照し、動き情報等を含む画面間符号化の付加情報に基づいて、予測画像データを生成する。予測画像選択部２０７は、イントラ／インター判定信号に従い、Ｐフレームの場合は予測画像データを予測画像加算部２０２に入力し、Ｉフレームの場合は入力なし（値０）を選択して予測画像加算部２０２に入力する。
　画像復号部２０１は、受信分離部２００によって分離された予測誤差画像データの符号化を復号して、復号予測誤差画像データを予測画像加算部２０２に出力する。予測画像加算部２０２は、画像復号部２０１で得られた復号予測誤差画像データと、予測画像選択部２０７から入力された予測画像データとの和を復号画像データとして出力する（Ｓ２００）。画像復号部２０１は受信分離部２００から入力された予測誤差画像データの符号化データを復号するときに、伝送エラー等により正しく復号できないフレームがあった場合は、復号エラーが発生したことを示すエラー通知信号により復号エラーの発生を制御部２０８に通知する。
　エラー通知信号が、現在フレームの復号エラーを示している場合は（Ｓ２０１でＹＥＳ）、制御部２０８でＮＡＣＫのＡＣＫ／ＮＡＣＫ通知ストリームを送信側の動画像符号化装置に送信し（Ｓ２０２）、復号対象フレームの処理を終了する。
　エラー通知信号が、復号対象フレームを正常に復号できたことを示している場合は（Ｓ２０１でＮＯ）、制御部２０８は、さらに、復号対象フレームを含むＧＯＫＰのすべてのフレームが正しく復号できたか否かを判定する（Ｓ２０３）。ステップＳ２０３において、ＧＯＫＰ内のすべてのフレームが正しく復号できている場合（Ｓ２０３でＹＥＳ）、制御部２０８はさらに、復号された復号対象フレームがキーフレーム（ＧＯＫＰの最後のフレーム）であるか否かを判定する（Ｓ２０４）。復号対象フレームがキーフレームであれば（Ｓ２０４でＹＥＳ）、制御部２０８は復号対象フレームのＧＯＫＰ識別情報を付与したＡＣＫを、送信側に送信する（Ｓ２０５）。　なお、以下のようにしてもよい。復号エラーがない場合は（Ｓ２０１でＮＯ）、ＧＯＫＰ正常受信判定部２０８でキーフレームであるか（ＧＯＫＰの最後のフレームであるか）を判定し（Ｓ２０３のＹＥＳ）する。キーフレームであればＧＯＫＰのすべてのフレームでエラーなく復号できた場合に（Ｓ２０４でＹＥＳ）、ＧＯＫＰ番号情報Ｓ２１１を付与したＡＣＫのＡＣＫ／ＮＡＣＫ通知ストリームＳ２１４を、ＡＣＫ／ＮＡＣＫ送信部Ｕ２０９で送信側に通知する。
　一方、ステップＳ２０３において、復号対象フレームが含まれるＧＯＫＰにおいて復号エラーがなく（Ｓ２０３でＹＥＳ）、復号対象フレームがキーフレームでない場合は（Ｓ２０４でＮＯ）、制御部２０８は何も送信しない。次いで、制御部２０８は、予測画像加算部２０２から出力された復号対象フレームの復号画像データを、後続の復号で参照画像データとして参照するため、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
　また、復号対象フレームが含まれるＧＯＫＰ内のいずれかのフレームでエラーが発生したときは、復号画像データをフレームメモリ２０５内に格納せず、復号対象フレームの処理を終了する。この結果、復号エラーが発生したフレームの復号画像データがフレームメモリ２０５に格納されないことにより、エラー発生前のフレームの復号画像データがフレームメモリ２０５内に保持され続け、表示もまた、エラー発生前のフレームの復号画像が表示され続けることになる。
　以上のように実施の形態２の動画像復号装置によれば、実施の形態１の動画像符号化装置と同じフレームを参照する。これにより、フレームメモリ２０５内に現在復号中のフレームを格納するための１フレームの格納領域に加え、キーフレームを格納するための領域が２フレーム、その他のキーフレーム以外のフレームを格納するための領域が１フレーム分あれば、Ｐフレーム（画面間予測）でありながらエラーの伝播を停止できる。その結果、小さいメモリ容量で圧縮効率が高いストリームを受信することが可能となる。
　なお、上記実施の形態２では、ＧＯＫＰ内のすべてのフレームを正常に復号できた場合に制御部２０８がＡＣＫを送信するとしたが、これに限らず、ＧＯＫＰ内のすべてのフレームを受信できたときにＡＣＫを送信するとしてもよい。例えば、符号化ストリームを伝送するパケットには、符号化ストリーム内のフレーム順にパケット番号が付与されている。このパケット番号を利用して、受信側の動画像復号装置において、一定時間内に受信したパケットをバッファ内に蓄積し、蓄積したパケットをパケット番号順に並べ替え、抜けているパケット番号がないかを調べることにより、すべてのフレームを受信できたかを確認することができる。これにより、ＧＯＫＰのうちで受信できないパケットがある場合には、符号化されたストリームを復号する前の段階でＮＡＣＫを送信することができ、伝送エラーからのより早い復旧を図ることができる。
　本発明の実施の形態２における動画像復号装置１２は、図４Ｂの（ｂ）に示される。動画像復号装置１２は、デコーダ部１２ａ、デパケット化部１２ｂおよび通信部１２ｃを備える。
　通信部１２ｃは、ネットワークに接続しており、動画像符号化装置と論理的に接続されている。通信部１２ｃは、圧縮符号化された動画像データを含むパケットをネットワークから受信し、通信に必要な情報を削除し、圧縮符号化された動画像データをデパケット化部１２ｂへ出力する。また、デコーダ部１２ａからパケットロスに関する情報（ＡＣＫ／ＮＡＣＫ）を受信したら、動画像符号化装置へ当該情報を送信する。
　（実施の形態３）
　実施の形態２の動画像復号装置では、正しく復号できなかったフレームは、フレームメモリ２０５に格納しなかった。これは、正しく復号できないフレームは復号しても表示しない場合には、表示のために復号した画像データをフレームメモリ２０５に格納することは無意味であるからである。
　しかしながら、動画像復号装置の構成上、正しく復号できなかった画像データも表示したい場合は、常にフレームをフレームメモリに格納する方が好ましい場合は、図７のフローチャートに示すように正しく復号できないフレームもフレームメモリに格納してもよい。この場合は、復号した画像を表示すると正しく復号できなかった部分が正しく表示されないものの、その他の部分の画像は正しく表示される可能性があるので、部分的にでもより多くの復号画像を確認したい場合に有効である。
　図７は本実施の形態３における動画像復号方法のフレームごとの処理手順を示すフローチャートである。図７において、図６に示したステップと同じ処理については、既に説明しているので説明を省略する。
　図７のステップＳ２０１の処理において、エラー通知信号が、復号対象フレームを正常に復号できたことを示している場合は（Ｓ２０１でＮＯ）、制御部２０８はさらに、復号された復号対象フレームがキーフレーム（ＧＯＫＰの最後のフレーム）であるか否かを判定する（Ｓ３０１）。復号対象フレームがキーフレームであれば（Ｓ３０１でＹＥＳ）、制御部２０８は、さらに、復号対象フレームを含むＧＯＫＰのすべてのフレームが正しく復号できたか否かを判定する（Ｓ３０２）。
　ＧＯＫＰ内のすべてのフレームが正しく復号できている場合（Ｓ３０２でＹＥＳ）、制御部２０８は、復号対象フレームのＧＯＫＰ識別情報を付与したＡＣＫを、ＡＣＫ／ＮＡＣＫ通知ストリームを用いて送信側に送信した後（Ｓ３０３）、復号対象フレームの復号画像データを、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
　ＧＯＫＰ内のいずれかのフレームでエラーがあった場合には（Ｓ３０２でＮＯ）、ステップＳ３０３における処理をスキップして、復号対象フレームの復号画像データを、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
　また、ステップＳ２０１でエラー通知信号が復号対象フレームの復号エラーを示している場合、ステップＳ２０２で、ＡＣＫ／ＮＡＣＫ通知ストリームを用いてＮＡＣＫを送信した後、復号対象フレームの復号画像データを、フレームメモリ２０５内の付加情報で指定された格納領域に格納し（Ｓ２０６）、復号対象フレームの処理を終了する。
　（実施の形態４）
　本発明の実施の形態４において、動画像復号装置の通信部がパケットロスを検出したときに、動画像符号化装置にＡＣＫ／ＮＡＣＫを送信する動作形態の例を示す。パケットロスの検出、ＡＣＫ／ＮＡＣＫの送信、および、ＡＣＫ／ＮＡＣＫに含まれる情報について説明する。
　図８は、本発明の実施の形態４における動画像符号化装置１５の処理手順を示すフローチャートである。動画像符号化装置１５の動作について、動画像符号化装置１１と異なる部分について説明する。動画像符号化装置１５が動画像符号化装置１１と異なるのは、符号化対象フレームがＩフレームであるか否かを判定し、符号化対象フレームがＩフレームである場合に所定の処理を行う点である。以下で詳細に説明する。
　制御部１０８は、ＡＣＫまたはＮＡＣＫを受信したか否かの判定（Ｓ１０１およびＳ１０４）を行った後に、符号化対象フレームがＩフレームであるか否かを判定する（Ｓ１０４ａ）。
　符号化対象フレームがＩフレームである場合には（Ｓ１０４ａでＹＥＳ）、制御部１０８は、ＧＯＫＰを更新し、Ｉフレームをキーフレームとして符号化する。そして、その後もう一度ＧＯＫＰを更新する（Ｓ１０４ｂ）。
　次に、キーフレームの格納領域に符号化した画像を格納する（Ｓ１０４ｃ）。その後、動画像符号化装置１１における場合と同様、ステップＳ１０９の処理を行う。
　一方、符号化対象フレームがＩフレームでない場合には（Ｓ１０４ａでＮＯ）、動画像符号化装置１１における場合と同様、ステップＳ１０７およびステップＳ１０８の処理を行う。
　以上のように、符号化対象フレームがＩフレームである場合、当該Ｉフレームの直前のフレームにおいてＧＯＫＰを完結させ、次に当該Ｉフレームだけを含むＧＯＫＰを構成し、その後、新たなＧＯＫＰを構成する。
　以上より、ＧＯＫＰが更新されるのは、Ｉフレームを符号化するとき、ＮＡＣＫ受信時、および、ＡＣＫ受信時である。上記の内容は、表１のようにまとめられる。
Figure JPOXMLDOC01-appb-T000001
　図９は、動画像符号化装置１５の通信部１５ｃが送信する、圧縮符号化された動画像データに記載される制御用パケットフィールドの一例を示す図である。表２は、図９に示されるパケットフィールドの説明である。表２の説明において、「フレーム単位」とは、パケット化により１フレームが複数のパケットに分割される場合に、当該フレームを構成する複数のパケットのそれぞれに当該フィールドが記述されることを意味する。
　なお、このパケットフィールドは、通信パケットの任意の箇所に記述される。例えば、ＲＴＰパケットの拡張フィールドに記述される。
Figure JPOXMLDOC01-appb-T000002
　以下で、本発明の実施の形態４における動画像復号装置３について説明する。
　図１０は、本発明の実施の形態４における動画像復号装置３の構成の一例を示すブロック図である。図１０に示されるように、動画像復号装置３は、復号部２ａと、メモリ２ｂと、第２の制御部２ｃと、受信部３ｄとを備える。
　復号部２ａと、メモリ２ｂと、第２の制御部２ｃとのそれぞれは、動画像復号装置２において対応するブロックと同一である。
　受信部３ｄは、動画像符号化装置が送信した符号化データを受信する。
　なお、復号部２ａと、メモリ２ｂと、第２の制御部２ｃとを含むデコーダ部１２ａを備えてもよい。また、受信部３ｄを含む通信部１６ｃを備えてもよい。
　図１１は、本発明の実施の形態４における動画像復号装置３の構成の一例を示すブロック図である。図１１に示されるように、動画像復号装置３は、受信分離部２００、画像復号部２０１、予測画像加算部２０２、付加情報復号部２０３、フレームメモリ２０５および予測画像選択部２０７を備える。実施の形態２の動画像復号装置２の構成と異なる点は、動画像復号装置３は、制御部を含まない点である。
　図１２に示されるように、本実施の形態の動画像復号装置１６は、受信分離部２００、画像復号部２０１ａ、予測画像加算部２０２、付加情報復号部２０３ａ、フレームメモリ２０５、および予測画像選択部２０７を備える。
　画像復号部２０１ａは、受信分離部２００によって分離された予測誤差画像データの符号化を復号して、復号予測誤差画像データを予測画像加算部２０２に出力する。
　付加情報復号部２０３ａは、画面間予測符号化の付加情報の符号化データから、参照フレーム指定情報の符号化データ、復号画像データを格納するメモリ領域を指定する符号化データ、イントラ／インター判定信号の符号化データ、およびＧＯＫＰ識別情報の符号化データを分離する。
　図１３は、本発明の実施の形態４における動画像復号装置３のフレームごとの処理手順を示すフローチャートである。
　まず、受信部３ｄは、符号化データを受信する（Ｓ４００）。
　次に、受信部３ｄは、受信した符号化データにパケットロスによる受信エラーがあるか否かを判定する（Ｓ４０１）。
　ステップＳ４０１において受信エラーがなかった場合（Ｓ４０１でＮＯ）、ＧＯＫＰのすべてのフレームでエラーがなかったか否かを判定する（Ｓ４０２）。ステップＳ４０２でエラーがなかった場合（Ｓ４０２でＹＥＳ）、受信した中で最も新しい符号化データの制御用パケットフィールドを参照し、Ａ＝１（ACK enable）であるか否かを判定する（Ｓ４０３）。Ａ＝１である場合（Ｓ４０３でＹＥＳ）には、動画像符号化装置にＡＣＫを送信する（Ｓ４０４）。その後、符号化データに対し復号処理を行う（Ｓ４０７）。復号処理の詳細は実施の形態２の動画像復号装置１２の対応する処理と同一であるため説明を省略する。
　一方、ステップＳ４０１において受信エラーがあった場合（Ｓ４０１でＹＥＳ）、受信エラーが発生した符号化データを含むフレームの他の符号化データの制御用パケットフィールドを参照し、Ｎ＝１であるか否かを判定する（Ｓ４０５）。Ｎ＝１（NACK enable）である場合（Ｓ４０５でＹＥＳ）には、動画像符号化装置にＮＡＣＫを送信する（Ｓ４０６）。
　なお、ＡＣＫ／ＮＡＣＫのパケットフィールドの一例を表３に示す。ＡＣＫ／ＮＡＣＫパケットは、少なくとも、ＡＣＫまたはＮＡＣＫのいずれかを示すビットとＧＯＫＰＮＵＭとを含む。
Figure JPOXMLDOC01-appb-T000003
 　図１２は、本実施形態の動画像符号化装置および動画像復号装置を含む動画転送システムの一例の機能概要図である。図１２の（ａ）に示される動画像符号化装置１５は、実施の形態１の動画像符号化装置１１と同一である。図１２の（ｂ）に示される動画像復号装置１６は、デコーダ部１６ｄ、デパケット化部１６ｂおよび通信部１６ｅを備える。
　通信部１６ｃは、圧縮符号化された動画像データを含むパケットをネットワークから受信し、通信制御に用いられる情報と圧縮符号化された動画像データとを分離し、圧縮符号化された動画像データをデパケット化部１６ｂへ出力する。さらに、通信部１６ｃは、パケットの受信エラーの有無を検出し、動画像符号化装置に対してパケットの受信可否に関する情報（ＡＣＫまたはＮＡＣＫ）を送信する。
　デパケット化部１６ｂは、動画像復号装置１２のデパケット化部１２ｂと同じである。
　デコーダ部１６ｄは、デパケット化部１６ｂが出力した圧縮符号化された動画像データを復号し、動画像データを復元する。
　以上で、実施の形態４に係る動画像符号化装置および動画像復号装置の動作の詳細について説明した。さらに、動画像符号化装置および動画像復号装置が以下の動作をすることも本発明の内容に含まれる。
　動画像符号化装置は、ＡＣＫを受信した後、所定時間経過後にＡＣＫを返すことを要求するフレームを送信するようにしてもよい。これによれば、動画像符号化装置と動画像復号装置との間の往復通信時間が短いときにＡＣＫが大量に送信されるのを防ぐことができる。動画像符号化装置と動画像復号装置との間の往復通信時間が短いときに、動画像符号化装置がＡＣＫを受信後すぐにＡＣＫを返すことを要求するフレームを送信すると、その後すぐにＡＣＫが送信される。これにより、ＡＣＫとＡＣＫを返すことを要求するフレームとが大量に送信されることになる。
　動画像符号化装置は、キーフレーム送信後の所定時間にＡＣＫまたはＮＡＣＫのいずれも受信しないときには、ＮＡＣＫを受信したと判定してその後の処理を行うようにしてもよい。ＡＣＫが受信できないことは、動画像復号装置が所定数の連続するフレームを受信できていないこと、または所定数の連続するフレームを受信した後に送信したＡＣＫがパケットロスにより失われたことを意味する。このように、いずれもパケットロスがあったことを意味するため、ＮＡＣＫを受信したと判定することが妥当であるためである。
　動画像符号化装置が、ネットワークを介して複数の動画像復号装置と論理的に接続する構成における、ＡＣＫおよびＮＡＣＫの受信と判定方法について以下のようにしてもよい。
　複数の動画像符号化装置と接続する場合、以下のようにしてＡＣＫまたはＮＡＣＫを受信したとみなす。
　（１）すべての動画像符号化装置からＡＣＫを受信したら、ＡＣＫを受信したとみなす。
　（２）少なくとも１つの動画像符号化装置からＮＡＣＫを受信したら、ＮＡＣＫを受信したとみなす。
　（３）一部の動画像符号化装置からＡＣＫを受信し、残りの動画像符号化装置から何も受信しない場合（タイムアウト）、ＮＡＣＫを受信したとみなす。
　図１４Ａは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫ受信時）である。図１４Ａに示される構成は、１つの動画像符号化装置（図１４Ａの「送信側」）と、２つの動画像復号装置（図１４Ａの「受信側１」および「受信側２」）とを含む。図１４Ａに、送信側がフレームＰ０を受信側１および受信側２のそれぞれに送信し、それに対して受信側１および受信側２が応答するシーケンスが示される。
　図１４Ａに示されるように、受信側１および受信側２のそれぞれがフレームＰ０を受信した後にＡＣＫを送信し、送信側がこれらのＡＣＫを受信したら、ＡＣＫを受信したとみなす（上記（１）に該当）。
　図１４Ｂは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＮＡＣＫ受信時）である。図１４Ｂに示されるように、受信側１および受信側２のそれぞれがフレームＰ０を受信せず、ＮＡＣＫを送信し、送信側がこれらのＮＡＣＫを受信したら、ＮＡＣＫを受信したとみなす（上記（２）に該当）。
　図１４Ｃは、ＡＣＫ／ＮＡＣＫの受信の説明図（ＡＣＫおよびＮＡＣＫ受信時）である。図１４Ｃに示されるように、受信側１がフレームＰ０を受信しＡＣＫを送信し、受信側２が受信せずにＮＡＣＫを送信したら、送信側はＮＡＣＫを受信した時点でＮＡＣＫを受信したとみなす（上記（２）に該当）。
　図１４Ｄは、ＡＣＫ／ＮＡＣＫの受信の説明図（タイムアウト時）である。図１４Ｄに示されるように、受信側１がフレームＰ０を受信した後にＡＣＫを送信し、受信側２がフレームＰ０を受信せず、さらに何らかの原因で送信側がＡＣＫまたはＮＡＣＫのいずれも受信しない場合は、送信側はＡＣＫを受信してから所定時間経過後にＮＡＣＫを受信したとみなす（上記（３）に該当）。
　なお、上記の複数の動画像復号装置との通信は、複数の１対１通信、および、１対多通信（通信相手の動画像復号装置が特定されている場合）に適用できる。これにより、複数の動画像符号化装置との通信においても、実施の形態１～４の動作を実現することができる。
　（実施の形態５）
　以下、実施の形態５について説明する。
　ここでは、上記各実施の形態で示した動画像符号化方法および動画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにする。それにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
　図１５は、上記各実施の形態の動画像符号化方法および動画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
　図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
　また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化装置および動画像復号装置を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化装置および動画像復号装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
　なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
　なお、動画像符号化装置および動画像復号装置の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。また、各機能ブロックのうち、動画像符号化装置および動画像復号装置の対象となるデータを格納する手段だけ１チップ化せずに別構成としてもよい。
　以上、本発明の動画像符号化装置および動画像復号装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　本発明は、動画像符号化装置および動画像復号装置に利用でき、特に、ネットワークを利用した動画像双方向通信に有用である。また、本発明は、動画像配信、監視カメラなど、動画像を符号化して送受信する通信機器およびセット機器等にも有用である。
　　１、１１、１５　動画像符号化装置
　　１ａ　符号化部
　　１ｂ　メモリ
　　１ｃ　送信部
　　１ｄ　取得部
　　１ｅ　制御部
　　２、３、１２、１６　動画像復号装置
　　２ａ　復号部
　　２ｂ　メモリ
　　２ｃ　第２の制御部
　１１ａ　エンコーダ部
　１１ｂ　パケット化部
　１１ｃ、１２ｃ、１６ｃ　通信部
　１２ａ、１６ａ　デコーダ部
　１２ｂ、１６ｂ　デパケット化部
　１３　ネットワーク
１００　画面間予測部
１０１、２０５　フレームメモリ
１０２　イントラ／インター判定部
１０３、２０７　予測画像選択部
１０４　予測画像減算部
１０５　画像符号化部
１０６　多重化送信部
１０７、２０１、２０１ａ　画像復号部
１０８、２０８　制御部
１１０　ＧＯＫＰ更新部
１１１　付加情報符号化部
１１２、２０２　予測画像加算部
２００　受信分離部
２０３、２０３ａ　付加情報復号部
 

Claims (26)

  1. 　符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成する符号化部と、
    　前記符号化済みのフレームの復号画像を格納するための領域を備えるメモリと、
    　生成された前記符号化データを動画像復号装置に送信する送信部と、
    　所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、前記所定数の連続するフレームのうちのいずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得する取得部と、
    　前記取得部が前記正常受信信号を取得した場合には、前記取得部が前記正常受信信号を取得したタイミングで符号化される符号化対象フレームの復号画像をエラー復帰用フレームとして前記メモリに格納し、前記取得部が前記異常受信信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる制御部と
    　を備える動画像符号化装置。
  2. 　前記制御部は、前記符号化部の符号化対象フレームがＩフレームである場合に、前記Ｉフレームの復号画像をエラー復帰用フレームとして前記メモリに格納する
    　請求項１記載の動画像符号化装置。
  3. 　前記符号化部は、フレームごとに前記メモリに格納されている符号化済みのフレームの復号画像を参照することにより、前記符号化対象のフレームを画面間予測符号化し、
    　前記制御部は、
    　(i)前記取得部が正常受信信号を取得した場合に、（ａ）前記メモリに格納されている前記復号画像を参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｂ）前記所定数の連続するフレームの集合をグループとし、前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて符号化ストリームに格納するとともに、（ｃ）グループとその識別情報とを更新し、
    　(ii)前記取得部が前記異常受信信号を取得した場合には、（ａ）グループとその識別情報を更新するとともに、（ｂ）前記メモリに格納されているエラー復帰用フレームのうち、既に取得した正常受信信号の中で最新のものに対応するエラー復帰用フレームを参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｃ）前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて前記符号化ストリームに格納し、（ｄ）さらに、グループとその識別情報とを更新し、
    　(iii)正常受信信号も異常受信信号も取得しない場合には、（ａ）前記メモリに格納されている復号画像を参照して前記符号化対象フレームを画面間予測符号化し、（ｂ）符号化した前記符号化対象フレームの復号画像を前記メモリに格納する
    　請求項１記載の動画像符号化装置。
  4. 　前記制御部は、前記送信部が前記メモリにエラー復帰用フレームの復号画像を格納してから、前記エラー復帰用フレームに対する前記動画像復号装置からの応答を受信するまでに符号化されたフレームの集合を前記グループとし、前記グループの識別情報を符号化ストリームに格納する
    　請求項３記載の動画像符号化装置。
  5. 　前記メモリは、２つのエラー復帰用フレームを格納するための２つの専用の領域を備え、
    　前記制御部は、前記取得部が前記正常受信信号を取得した場合には、前記２つの専用領域のうち、古い方のエラー復帰用フレームが格納されている専用領域を、前記新たなエラー復帰用フレームで上書きすることによって更新する
    　請求項１記載の動画像符号化装置。
  6. 　前記制御部は、前記取得部が前記異常受信信号および前記正常受信信号のいずれをも取得しない場合には、前記符号化部に、前記符号化対象フレームの直前の符号化済みフレームの復号画像を参照することにより前記符号化対象フレームを符号化させるとともに、
    　前記符号化対象フレームの復号画像を、前記メモリ内の前記専用の領域とは異なる領域に格納する
    　請求項５記載の動画像符号化装置。
  7. 　前記制御部は、エラー復帰用フレームとなる符号化対象フレームの符号化データに対し、前記符号化対象フレームがエラー復帰用フレームとなることを示す情報を付加する
    　請求項１記載の動画像符号化装置。
  8. 　前記制御部は、エラー復帰用フレームとなる符号化対象フレームの符号化データに対し、前記符号化対象フレームがエラー復帰用フレームとなることを示す情報として、前記符号化対象フレームが属する前記グループを特定するためのグループ識別情報を付加する
    　請求項３記載の動画像符号化装置。
  9. 　前記制御部は、前記取得部が前記正常受信信号を受信した場合に、前記動画像復号装置に新たな正常受信信号を送信させるための信号である正常受信要求信号を含む符号化データを送信する
    　請求項１記載の動画像符号化装置。
  10. 　前記制御部は、前記所定数の連続するフレームに対応する符号化データのいずれかを前記動画像復号装置が受信できなかった場合に、前記動画像復号装置に異常受信信号を送信させるための信号である異常受信要求信号を含む符号化データを送信する
    　請求項１記載の動画像符号化装置。
  11. 　前記制御部は、前記信号をＲＴＰ（Real-time Transport Protocol）拡張ヘッダに格納し、前記ＲＴＰ拡張ヘッダを含む符号化データを前記動画像復号装置に送信する
    　請求項９または請求項１０記載の動画像符号化装置。
  12. 　前記動画像符号化装置は、前記符号化データを動画像の送信先である複数の動画像復号装置に送信し、
    　前記制御部は、
    　前記取得部が前記複数の動画像復号装置のすべてから正常受信信号を取得したときに、前記動画像の送信先が前記所定数の連続するフレームの前記符号化データの取得を行ったと判定し、当該取得のタイミングの前記符号化対象フレームの復号画像をエラー復帰用フレームとして前記メモリに格納し、
    　前記取得部が前記複数の動画像復号装置の少なくとも１つから異常受信信号を受信したときに、前記動画像の送信先が前記所定数の連続するフレームの前記符号化データを正しく受信しなかったと判定し、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる
    　請求項１記載の動画像符号化装置。
  13. 　前記制御部は、前記符号化部に対し、前記符号化ストリームの最初のフレームを面内予測符号化させ、面内予測符号化された前記フレームの復号画像を最初のエラー復帰用フレームとして前記メモリに格納する
    　請求項１～８のいずれか１項に記載の動画像符号化装置。
  14. 　前記制御部は、前記取得部が前記最初のエラー復帰用フレームに対する異常受信信号を取得した場合には、前記符号化部に前記符号化対象フレームを面内予測符号化させ、新たなエラー復帰用フレームとして前記メモリに格納する
    　請求項１３記載の動画像符号化装置。
  15. 　前記符号化部は、フレームごとに前記メモリに格納されている符号化済みのフレームの復号画像を参照することにより、前記符号化対象のフレームを画面間予測符号化し、
    　前記制御部は、
    　(i)前記取得部が正常受信信号を取得した場合に、（ａ）前記メモリに格納されている前記復号画像を参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｂ）前記所定数の連続するフレームの集合をグループとし、前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて符号化ストリームに格納するとともに、（ｃ）グループとその識別情報とを更新し、
    　(ii)前記取得部が前記異常受信信号を取得した場合には、（ａ）グループとその識別情報を更新するとともに、（ｂ）前記メモリに格納されているエラー復帰用フレームのうち、既に取得した最新の正常受信信号に対応するエラー復帰用フレームを参照することにより前記符号化対象フレームを画面間予測符号化し、前記符号化対象フレームの復号画像を新たなエラー復帰用フレームとして前記メモリに格納し、（ｃ）前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて前記符号化ストリームに格納し、（ｄ）さらに、グループとその識別情報とを更新し、
    　(iii)前記符号化部の符号化対象フレームがＩフレームである場合には、（ａ）グループとその識別情報を更新するとともに、（ｂ）Ｉフレームを新たなエラー復帰用フレームとして前記メモリに格納し、（ｃ）前記新たなエラー復帰用フレームが属する前記グループの識別情報を、前記新たなエラー復帰用フレームに関連付けて前記符号化ストリームに格納し、（ｄ）さらに、グループとその識別情報とを更新し、
    　(iv)正常受信信号の異常受信信号いずれも取得せず、かつ、前記符号化部の符号化対象フレームがＩフレームでない場合には、（ａ）前記メモリに格納されている復号画像を参照して前記符号化対象フレームを画面間予測符号化し、（ｂ）符号化した前記符号化対象フレームの復号画像を前記メモリに格納する
    　請求項１記載の動画像符号化装置。
  16. 　動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置であって、
    　受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号する復号部と、
    　受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    　前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる第２の制御部と
    　を備える動画像復号装置。
  17. 　前記第２の制御部は、前記所定数の連続するフレームをすべて正しく復号できた後に前記正常受信信号を送信する
    　請求項１６記載の動画像復号装置。
  18. 　前記第２の制御部は、前記異常受信信号を送信すると、正しく取得されなかったフレームより前に復号された、前記メモリに格納されている最新のエラー復帰用フレームを参照することにより前記異常受信信号を送信した後の復号対象フレームを前記復号部に復号させる
    　請求項１６または請求項１７記載の動画像復号装置。
  19. 　前記動画像復号装置は、さらに、
    　動画像符号化装置が送信した符号化データを受信する受信部を備え、
    　前記第２の制御部は、
    　前記受信部が前記符号化ストリームに含まれる所定数の連続するフレームの符号化データを正しく受信し、かつ、前記受信部が受信した符号化データに新たな正常受信信号を送信させるための信号である正常受信要求信号が含まれ、かつ、当該所定数の連続するフレームより過去のフレームに対して第２の制御部が異常受信信号を送信済みでない場合に、前記動画像符号化装置に正常受信信号を送信する
    　請求項１６記載の動画像復号装置。
  20. 　前記第２の制御部は、
    　前記受信部が前記符号化ストリームに含まれるいずれかのフレームの符号化データを受信できず、かつ、前記受信部が受信した符号化データに異常受信信号を送信させるための信号である異常受信要求信号が含まれる場合に、前記動画像符号化装置に異常受信信号を送信する
    　請求項１９記載の動画像復号装置。
  21. 　符号化部が、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成し、
    　送信部が、生成された前記符号化データを前記動画像復号装置に送信し、
    　取得部が、所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、いずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得し、
    　制御部が、前記取得部において前記正常受信信号が取得された場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記取得部において前記異常受信信号が取得された場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる
    　動画像符号化方法。
  22. 　動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号方法であって、
    　復号部が、受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号し、
    　第２の制御部が、受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    　第２の制御部が、前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる
    　動画像復号方法。
  23. 　動画像符号化装置のプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    　前記プログラムは、
    　符号化部が、符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成し、
    　送信部が、生成された前記符号化データを前記動画像復号装置に送信し、
    　取得部が、所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、いずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得し、
    　制御部が、前記取得部において前記正常受信信号が取得された場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記取得部において前記異常受信信号が取得された場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させるようコンピュータを動作させる
    　記録媒体。
  24. 　動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置のプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    　前記プログラムは、
    　復号部が、受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号し、
    　第２の制御部が、受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    　第２の制御部が、前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させるようコンピュータを動作させる
    　記録媒体。
  25. 　動画像符号化装置を実装する集積回路であって、
    　符号化済みのフレームの復号画像を参照して符号化対象フレームを符号化することによって、前記符号化対象フレームの符号化データを生成する符号化部と、
    　前記符号化済みのフレームの復号画像を格納するための領域を備えるメモリと、
    　生成された前記符号化データを前記動画像復号装置に送信する送信部と、
    　所定数の連続するフレームすべての前記符号化データを正しく受信できたことを示す信号である正常受信信号、または、いずれかの符号化データを正しく受信できなかったことを示す信号である異常受信信号を、前記動画像復号装置から取得する取得部と、
    　前記取得部が前記正常受信信号を取得した場合には、前記符号化対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を取得した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記符号化対象フレームを前記符号化部に符号化させる制御部と、
    　を備える集積回路。
  26. 　動画像の画面間予測符号化により得られた符号化ストリームを動画像符号化装置から受信する動画像復号装置を実装する集積回路であって、
    　受信された前記符号化ストリームを、復号済みのフレームの復号画像を参照して画面間予測復号する復号部と、
    　受信された前記符号化ストリームに含まれる所定数の連続するフレームすべての符号化データを正しく取得できた場合には、前記動画像符号化装置に正常受信信号を送信し、前記符号化ストリームに含まれるいずれかのフレームの符号化データを正しく取得できなかった場合には異常受信信号を送信し、
    　前記正常受信信号を送信した場合には、復号対象フレームの復号画像をエラー復帰用フレームとしてメモリに格納し、前記異常受信信号を送信した場合には、前記メモリに格納されているいずれかのエラー復帰用フレームを参照することにより前記復号対象フレームを前記復号部に復号させる第２の制御部と、
    　を備える集積回路。
PCT/JP2012/001300 2011-02-25 2012-02-24 動画像符号化装置および動画像復号装置 WO2012114774A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12750072.6A EP2680587A4 (en) 2011-02-25 2012-02-24 VIDEO ENCODING DEVICE AND VIDEO DECODING DEVICE
US13/638,708 US20130058409A1 (en) 2011-02-25 2012-02-24 Moving picture coding apparatus and moving picture decoding apparatus
CN2012800011984A CN102870416A (zh) 2011-02-25 2012-02-24 运动图像编码装置以及运动图像解码装置
JP2012532183A JPWO2012114774A1 (ja) 2011-02-25 2012-02-24 動画像符号化装置および動画像復号装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011040630 2011-02-25
JP2011-040630 2011-02-25

Publications (1)

Publication Number Publication Date
WO2012114774A1 true WO2012114774A1 (ja) 2012-08-30

Family

ID=46720564

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001300 WO2012114774A1 (ja) 2011-02-25 2012-02-24 動画像符号化装置および動画像復号装置

Country Status (5)

Country Link
US (1) US20130058409A1 (ja)
EP (1) EP2680587A4 (ja)
JP (1) JPWO2012114774A1 (ja)
CN (1) CN102870416A (ja)
WO (1) WO2012114774A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022139737A (ja) * 2021-03-12 2022-09-26 株式会社光電製作所 送信装置、受信装置、制御方法、およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9774869B2 (en) * 2013-03-25 2017-09-26 Blackberry Limited Resilient signal encoding
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
CN103929682B (zh) * 2014-03-27 2017-03-22 广州华多网络科技有限公司 一种在视频直播系统中设置关键帧的方法及装置
CN106303693B (zh) * 2015-05-25 2019-02-05 视联动力信息技术股份有限公司 一种视频数据解码的方法及装置
CN106713940B (zh) * 2015-08-04 2019-12-20 杭州海康威视数字技术股份有限公司 视频流的存储方法、读取方法及装置
CN112559422A (zh) * 2020-12-24 2021-03-26 深圳劲芯微电子有限公司 基于usb差分信号线的编解码实现方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0368002B2 (ja) 1981-09-28 1991-10-25 Mitsui Toatsu Chemicals
JPH09149421A (ja) * 1995-09-18 1997-06-06 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH09284774A (ja) * 1996-04-10 1997-10-31 Oki Electric Ind Co Ltd 符号化装置、復号化装置及び伝送システム
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH1093979A (ja) * 1996-07-05 1998-04-10 Nippon Telegr & Teleph Corp <Ntt> 画像通信システム及び方法
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
JPH10271507A (ja) * 1997-03-24 1998-10-09 Oki Electric Ind Co Ltd 画像復号化装置
JP2008527811A (ja) * 2005-01-10 2008-07-24 株式会社エヌ・ティ・ティ・ドコモ 一連のフレームを予測的にコード化する装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374245B1 (ko) * 1996-04-19 2003-05-09 오끼 덴끼 고오교 가부시끼가이샤 화상부호화장치,화상복호화장치및화상전송시스템
WO1998002002A1 (en) * 1996-07-05 1998-01-15 Nippon Telegraph And Telephone Corporation Image communication system and method
US20100125768A1 (en) * 2008-11-17 2010-05-20 Cisco Technology, Inc. Error resilience in video communication by retransmission of packets of designated reference frames

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0368002B2 (ja) 1981-09-28 1991-10-25 Mitsui Toatsu Chemicals
JPH09149421A (ja) * 1995-09-18 1997-06-06 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH09284774A (ja) * 1996-04-10 1997-10-31 Oki Electric Ind Co Ltd 符号化装置、復号化装置及び伝送システム
JPH1093979A (ja) * 1996-07-05 1998-04-10 Nippon Telegr & Teleph Corp <Ntt> 画像通信システム及び方法
JPH1079949A (ja) * 1996-09-04 1998-03-24 Oki Electric Ind Co Ltd 画像符号化装置、画像復号化装置及び画像伝送システム
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
JPH10271507A (ja) * 1997-03-24 1998-10-09 Oki Electric Ind Co Ltd 画像復号化装置
JP2008527811A (ja) * 2005-01-10 2008-07-24 株式会社エヌ・ティ・ティ・ドコモ 一連のフレームを予測的にコード化する装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2680587A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022139737A (ja) * 2021-03-12 2022-09-26 株式会社光電製作所 送信装置、受信装置、制御方法、およびプログラム
JP7264517B2 (ja) 2021-03-12 2023-04-25 株式会社光電製作所 送信装置、受信装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
EP2680587A1 (en) 2014-01-01
EP2680587A4 (en) 2016-12-14
CN102870416A (zh) 2013-01-09
JPWO2012114774A1 (ja) 2014-07-07
US20130058409A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
WO2012114774A1 (ja) 動画像符号化装置および動画像復号装置
US8494049B2 (en) Long term reference frame management with error video feedback for compressed video communication
KR102058759B1 (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법
US9445107B2 (en) Low latency rate control system and method
WO2012153450A1 (ja) 動画像送信装置および動画像送信方法
JP5731672B2 (ja) 暗黙基準フレームを用いる動画像符号化システム
US20060188025A1 (en) Error concealment
US7663665B2 (en) Communication device and method for transferring video-stream data to a display device and a storage device
JP2015156706A (ja) ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法
JP5084362B2 (ja) データ送信装置、及びデータ送受信システム
US8629893B2 (en) Video switching without instantaneous decoder refresh-frames
JP2007235588A (ja) 動画像復号装置及び動画像符号化装置
JP2008252739A (ja) 情報処理装置および方法、並びにプログラム
US9264737B2 (en) Error resilient transmission of random access frames and global coding parameters
JP5553663B2 (ja) 映像送信装置、映像受信装置、映像伝送システム
US8340180B2 (en) Camera coupled reference frame
JP5588244B2 (ja) 映像伝送システム
US20210211742A1 (en) Long-term reference for error recovery in video conferencing system
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
CN114827669B (zh) 一种视频数据的传输方法、装置、介质及设备
TWI528793B (zh) 用以提供數位視訊內容錯誤復原的方法
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
JP7264517B2 (ja) 送信装置、受信装置、制御方法、およびプログラム
KR101429398B1 (ko) 스케일러블 코딩 기반의 데이터 처리 방법
US9578327B2 (en) Encoding apparatus, encoding method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001198.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012532183

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13638708

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 8841/CHENP/2012

Country of ref document: IN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12750072

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012750072

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012750072

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE