WO2006038568A1 - 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 - Google Patents

映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2006038568A1
WO2006038568A1 PCT/JP2005/018187 JP2005018187W WO2006038568A1 WO 2006038568 A1 WO2006038568 A1 WO 2006038568A1 JP 2005018187 W JP2005018187 W JP 2005018187W WO 2006038568 A1 WO2006038568 A1 WO 2006038568A1
Authority
WO
WIPO (PCT)
Prior art keywords
gop
image
encoding
video
decoding
Prior art date
Application number
PCT/JP2005/018187
Other languages
English (en)
French (fr)
Inventor
Masaki Kitahara
Hideaki Kimata
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to JP2006539271A priority Critical patent/JP4805160B2/ja
Priority to EP05787580A priority patent/EP1798981A4/en
Priority to US10/588,404 priority patent/US8275048B2/en
Publication of WO2006038568A1 publication Critical patent/WO2006038568A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to video encoding and video decoding techniques that are suitable for video technology that enables changing the viewpoint position and the line-of-sight direction.
  • video codes use inter-frame predictive coding to achieve high code efficiency using temporal correlation.
  • the frame encoding mode is predicted from an I frame that is encoded without using correlation between frames, a P frame that is predicted from one previously encoded frame, and two frames that are previously encoded. There is a B frame that can.
  • the prediction can be performed from the I frame or the P frame, and in the B frame, the prediction can be performed from the I frame, the P frame, or the B frame.
  • decoded images for a plurality of frames can be stored in a reference image memory in the encoding device, and a reference image can be selected from the memory and used for prediction.
  • the B frame it is possible to predict from the past frame as well as the past frame.
  • FIG. 7 (a) shows an example of a motion picture prediction relationship.
  • the first frame car When predicting from two frames in B frame (bidirectional prediction), the image information from two frames is interpolated to generate image information for one frame to generate a predicted image.
  • the first frame car also has the prediction relationship shown in part (a) of Fig. 7 when the code mode of the seventh frame is encoded in the order of IBBPBBP.
  • the frame number shown in Fig. 7 (a) is 1 to 7 from the left, and the frame number "1 ⁇ 4 ⁇ 2 ⁇ 3 ⁇ 7 ⁇ 5 ⁇ 6" as shown in Fig. 7 (b) Encode the frames in order.
  • the interlaced video has two fields in one frame.
  • a prediction relationship can be set for each field.
  • frame and fi A field is generally called a picture.
  • B frame bi-directional prediction it is also possible to predict from the past two frames or the future two frames.
  • the display time after decoding of the selected frame may be the future of the display time of the encoding target frame or the past.
  • the GOP is the head of the GOP composed of a plurality of pictures following the picture.
  • MPEG-2 specifies the beginning of a GOP by inserting a code with a unique bit pattern.
  • 1 GOP code data can be formed between codes indicating the head of a GOP. It is also possible to specify GOP configuration information as information independent of the sign key data in order to sign the information indicating the head of the GOP in the sign key data.
  • the time information of the first frame of the GOP is also included after the information indicating that it is the GOP head, and is used when realizing random access with respect to time. It is also possible to add time information to each picture.
  • TR Temporal Reference
  • H.263 This time information is called TR (Temporal Reference) in H.263, for example.
  • TR is information indicating the frame output order based on unit time. For example, if the unit time is set to 1Z30 seconds, increasing the value by one for each frame is equivalent to a frame rate of 30 frames Z seconds.
  • TR is a fixed length code.
  • each camera video is set as a GOP for a plurality of camera video codes, and is encoded as one video information while applying a prediction code key between GOPs. .
  • Non-Patent Document 1 and Non-Patent Document 2 shown below Base GOP and InterGOP are It proposes a method to define and show the prediction relationship between GOPs.
  • the pictures included in the Base GOP refer only to pictures included in the same GOP, and the pictures included in the InterGOP refer to pictures included in the same or other GOPs.
  • the header part includes reference GOP information indicating the GOP to be referenced.
  • the viewpoint position and the line-of-sight direction can be changed by switching the input videos. According to these, a video at the shooting position can be obtained, but a technique for generating a video with a further visual point position and line of sight is proposed.
  • Non-Patent Document 3 a plurality of camera input image force ray spaces are generated, and the ray space force image information is extracted to obtain a viewpoint position or line-of-sight direction that has not been photographed.
  • a method to generate video has been proposed! Speak.
  • the captured image information is used to capture the subject.
  • the image information of the viewpoint position and the line-of-sight direction is generated by being photographed by the body.
  • image information is generated using a part of each camera input image for a subject photographed over a plurality of camera input images.
  • Examples of the image generation technique include an adaptive filter method (see, for example, Non-Patent Document 4) and a table reference method (see, for example, Non-Patent Document 5).
  • Non-Patent Document 3 Fujii, Kimoto, Tanimoto: “Compression of 3D spatial information in ray group representation", 3D image conference '96, pp.1-6 (1996.7).
  • Non-Patent Literature 4 T. Kobayashi, T. Fujii, T. Kimoto, M. Tanimoto, Interpolation of Ray- S pace Data by Adaptive Filtering, "IS & T / SPIE Electronic Imaging 2000, 2000.
  • Non-Patent Document 5 M. Kawaura, T. Ishigami, T. Fujii, T. Kimoto, M. Tanimoto, "Efficient Vector Quantization of Epipolar Plane Images of Ray Space By Dividing into Oblique Blocks," Picture Coding Symposium 2001, pp.203—206, 2001.
  • the present invention has been made in view of powerful circumstances, and it is determined whether or not a corresponding image can be generated without using an image of a part of the camera image on the video reproduction side, and further generation is performed.
  • a new video coding technology and video decoding technology that is suitable for video technology that enables changing the viewpoint position and line-of-sight direction, etc. For the purpose of provision.
  • the video encoding method of the present invention is a video encoding method in which a plurality of images are composed of a plurality of GOPs, and each GOP image is encoded as one video.
  • a GOP code key determining step for determining whether or not to code an image included in each GOP
  • a GOP encoding presence / absence information encoding step for encoding GOP code presence / absence information indicating whether to output encoded data of an image included in the GOP;
  • a video encoding method is provided.
  • the GOP code key determination step an image generated by using one or more other GOPs without decoding the encoded data of the GOP is decoded. It is determined whether or not the image included in the GOP is to be encoded by determining whether the image is closer to the original image than the image obtained by the above. In addition to this method, it is also possible to determine whether to encode an image included in the GOP by evaluating changes in the original image.
  • the generation reference GOP specification information that specifies one or more other GOPs used to generate the image included in the GOP is encoded.
  • a generation reference GOP encoding step may be further included.
  • a generation information encoding step that encodes generation information for specifying an image generation method used when generating an image included in the GOP when the encoded data of the image included in the GOP is not output. May be further included.
  • the present invention is also a video decoding method for decoding encoded data generated by configuring a plurality of images by a plurality of GOPs and encoding each GOP image as one video.
  • a GOP encoding presence / absence information decoding step for decoding GOP encoding presence / absence information indicating whether or not encoded data of an image included in each GOP is to be decoded;
  • An intra-GOP image decoding step for decoding the image included in the GOP when decoding the encoded data of the image included in the GOP;
  • a video decoding method is provided.
  • a GOP decoding step may be further included.
  • a generation information decoding step for decoding the generation information specifying the image generation method used when generating the image included in the GOP. You may do it.
  • a plurality of images are composed of a plurality of GOPs, and each GOP image 1 A video encoding device for encoding as one video,
  • a GOP encoding determination unit that determines whether to encode an image included in each GOP, and a GOP that encodes presence / absence information of a GOP code indicating whether to output encoded data of an image included in the GOP
  • An intra-GOP image encoding unit that encodes an image included in the GOP when outputting encoded data of the image included in the GOP;
  • a video encoding device comprising:
  • the GOP encoding determination unit performs decoding of encoded data for an image generated using one or more other GOPs without decoding the encoded data of the GOP. It is determined whether or not the image included in the GOP is to be encoded by determining whether the image is closer to the original image than the image obtained by.
  • the generation reference GOP specification information that specifies one or more other GOPs used to generate the image included in the GOP is encoded.
  • a generation reference GOP code key part may be further provided.
  • the generation information code that encodes the generation information that specifies the image generation method used when generating the image included in the GOP is generated. You may make it further provide a part.
  • the present invention is also a video decoding device that decodes code data generated by configuring a plurality of images by a plurality of GOPs and encoding each GOP image as one video.
  • a GOP encoding presence / absence information decoding unit for decoding GOP encoding presence / absence information indicating whether or not the encoded data of an image included in each GOP is to be decoded
  • An intra-GOP image decoding unit that decodes an image included in the GOP when decoding the encoded data of the image included in the GOP;
  • a video decoding device is provided.
  • Generation reference that specifies one or more other GOPs that are used when generating the image included in the GOP when the encoded data of the image included in the GOP is not decoded
  • Generation reference that decodes the GOP specification information You may make it further provide a GOP decoding part.
  • a generation information decoding unit that decodes the generation information that specifies the image generation method used when generating the image included in the GOP is further provided. You may do it.
  • the present invention also provides a video encoding program for causing a computer to execute processing used to realize the video encoding method, and a computer-readable recording medium storing the program.
  • the present invention also provides a video decoding program for causing a computer to execute processing used to realize the video decoding method, and a computer-readable recording medium on which the program is recorded.
  • these computer programs are provided by being recorded on an appropriate computer-readable recording medium, or provided via a network, installed when the present invention is carried out, and operated on a control means such as a CPU. By doing so, the present invention can be realized.
  • the image is not encoded for the GOP.
  • An image can be specified to be generated on the video playback side.
  • the video encoding side determines whether or not the camera input video can be generated by the image generation method.
  • the GOP code key presence / absence information is encoded without outputting the code key data of the image included in the GOP
  • the GOP The GOP encoding presence / absence information is encoded by outputting the code data of the image included in the.
  • the image included in the GOP is encoded (the encoded data of the image included in the GOP is output).
  • the video decoding side decodes GOP encoding presence / absence information indicating whether or not to decode the encoded data of the image included in GOPGOP.
  • the GOP encoding presence / absence information indicates that the encoded data of the image included in the GOP is to be decoded, the encoded data of the image is decoded.
  • the GOP encoding presence / absence information is encoded in the image included in the GOP. If it is indicated that the data is not decoded, the image in the GOP may be generated using image generation technology. However, if the image in the GOP is unnecessary, it is not necessary to generate an image.
  • the present invention when a camera input video is generated on the video decoding side, it is possible to specify a GOP including an image to be used when generating the camera input video.
  • the GOP image used at this time may be obtained by decoding the encoded data or may be obtained by generating video decoding J.
  • the GOP including the image is decoded or generated.
  • a desired image can be generated.
  • the GOP including an image used for generating a desired video may be another camera input video or a camera input video to which the desired video belongs.
  • the camera input video is generated on the video decoding side, it is possible to specify an image generation method used when generating the camera input video.
  • the image generation method prepare multiple image generation methods in advance on the video encoding side and video decoding side, and decide which image generation method to use on the video decoding side on the video encoding side. May be. As a result, an image generation method with good image quality can be selected on the video encoding side.
  • the previous (past) GOP image belonging to the camera input video may be used. If the number of cameras is small, there is no need to specify the GOP to be used because the GOP used to generate images is limited.
  • the present invention it is possible to determine whether or not an image can be generated on the video playback side at the time of encoding, and it is possible to encode information indicating that the image is generated. On the side, it is possible to control that the video is not coded, thereby improving the coding efficiency.
  • FIG. 1 is a diagram showing an example of a GOP configuration in a first embodiment.
  • FIG. 2 is a diagram showing a device configuration example of a video encoding device in the first embodiment.
  • FIG. 3 is a diagram showing a device configuration example of a video decoding device in the first embodiment.
  • FIG. 4 is a diagram showing a device configuration example of a video encoding device in the second embodiment.
  • FIG. 5 is a diagram showing an example of a GOP configuration in the second embodiment.
  • FIG. 6 is a diagram showing a device configuration example of a video decoding device in a second embodiment.
  • FIG. 7 is an explanatory diagram of a prediction relationship of moving images.
  • FIG. 1 shows a GOP in the first embodiment.
  • GOP is composed of two frames in advance.
  • Each GOP shall be assigned the GOP number (GOP1 to GOP6) shown in the figure.
  • Image generation method X and image generation method Y are prepared in advance as a method for generating C from A or B, and image generation method Z is prepared as a technology for generating images from C's past image information. It is assumed that [0040] When A or B is selected as an image to be used when generating an image, information specifying an image generation method is encoded, but as an image used when generating an image, When selecting an image in the past of C, the image generation method is uniquely determined by Z, so there is no need to sign information specifying the image generation method.
  • the image generation method Z is a method for outputting the immediately preceding image in the present embodiment.
  • the image generation method X is, for example, an adaptive filter method
  • the image generation method Y is, for example, a table reference method.
  • the C image generation method is determined using the decoded images of A and B.
  • FIG. 2 shows an example of the device configuration of the video encoding device of the present invention that realizes the first embodiment.
  • the video encoding device of the present invention As shown in this figure, the video encoding device of the present invention
  • Image A (camera input video A), an image A input unit 101 for inputting an image, an image A encoding unit 102 for encoding an image input by the image A input unit 101, and an image A An image A decoding unit 103 for decoding the encoded image of the encoding unit 102, and an image A storage memory 104 for storing the decoded image of the image A decoding unit 103,
  • Original image storage memory 113 that stores images
  • an image generation unit 114 that generates image C without using original image C, and information that specifies the GOP to be used when generating image C (specifically, GOP A generation reference GOP code unit 115 for encoding a number), a generation information code unit 116 for encoding information for specifying an image generation method used for generating an image C, and G
  • a GOP encoding determination unit 117 that determines whether or not to encode an OP image
  • the image A storage memory 104 and the image B storage memory 108 each store the decoded image for two frames, and the original image storage memory 113 stores the original image for two frames.
  • the decoded image storage memory 112 stores decoded images for three frames. It should be noted that no image information is stored in each memory in the initial state.
  • the GOP code determination unit 117 uses the image generation method X in the image generation unit 114 to generate two frames of image information (generated one frame at a time) and the original image storage memory 1 Calculate the mean square error X with the image stored in 13.
  • the mean square error when using only the image A storage memory 104 image is Xa
  • the average square error when using only the image B storage memory 108 image is Xb
  • Xc be the mean square error when using both images in memory 108.
  • the GOP code determination unit 117 uses the image generation method Y to generate image information for two frames (generated one frame at a time) and the original image storage memory 1 Calculate the mean square error Y between the images stored in 13.
  • the mean square error when using only the image A storage memory 104 image is Ya
  • the mean square error when using only the image B storage memory 108 image is Yb
  • the image A storage memory 104 image Let Yc be the mean square error when using both images in image B storage memory 108.
  • the GOP code key determination unit 117 encodes the current GOP among the decoded images encoded by the intra-GOP image encoding unit 110, decoded by the image C decoding unit 111, and stored in the decoded image storage memory 112.
  • the mean square error D between the decoded image and the corresponding image stored in the original image storage memory 113 is calculated.
  • the GOP code determination unit 117 sets image information (one frame) for two frames generated by the image generation method Z. And the mean square error Z between the original image storage memory 113 and the image stored in the original image storage memory 113 is calculated.
  • the GOP code key decision unit 117 calculates the mean square errors Xa and Xb calculated in this way. , Xc, Ya, Yb, Yc, and D, or mean square error Xa, Xb, Xc, Ya, Yb, Yc, D, and Z, and the conditions for the smallest value are ⁇ Information (GOP code ⁇ Presence / absence information Z generation reference Information specifying GOP Consists of information specifying Z image generation method). That is, it is determined as follows.
  • code data and “code data information” are clearly distinguished.
  • coded data the data when the image is coded Is shown.
  • the GOP code presence / absence information coding unit 118 encodes the GOP coding presence / absence information to indicate that the code key data is not output. Also, the generation reference GOP encoding unit 115 encodes the used GOP number. Also, the generation information encoding unit 116 encodes information specifying the image generation method X.
  • the GOP code presence / absence information encoding unit 118 encodes the GOP encoding presence / absence information to indicate that the code key data is not output. Also, the generation reference GOP encoding unit 115 encodes the used GOP number. Also, the generation information encoding unit 116 encodes information specifying the image generation method X.
  • the GOP code presence / absence information encoding unit 118 encodes the GOP encoding presence / absence information to indicate that the code key data is not output. Also, the generation reference GOP encoding unit 115 encodes the used GOP number. Also, the generation information encoding unit 116 encodes information specifying the image generation method X.
  • the GOP code presence / absence information encoding unit 118 encodes the GOP encoding presence / absence information to indicate that the code key data is not output. Also, the generation reference GOP encoding unit 115 encodes the used GOP number. Also, the generation information encoding unit 116 encodes information specifying the image generation method Y.
  • the GOP code presence / absence information encoding unit 118 encodes the GOP encoding presence / absence information so as to indicate that the code key data is not output. Also, the generation reference GOP encoding unit 115 encodes the used GOP number. Also, the generation information encoding unit 116 encodes information specifying the image generation method Y.
  • the GOP code presence / absence information encoding unit 118 encodes the GOP encoding presence / absence information to indicate that the code key data is not output. Also, the generation reference GOP encoding unit 115 encodes the used GOP number. Also, the generation information encoding unit 116 encodes information specifying the image generation method Y.
  • Z is the smallest, specify Z as the image generation method, and specify the GOP of image C as the generation reference GOP.
  • the GOP code presence / absence information encoding unit 118 encodes the GOP encoding presence / absence information to indicate that the code key data is not output. Also, the generation reference GOP encoding unit 115 encodes the used GOP number.
  • the image generation method is uniquely determined by Z. Does not need to sign information specifying the image generation method.
  • the GOP code presence / absence information encoding unit 118 encodes the GOP encoding presence / absence information to indicate that encoded data is output, and the intra-GOP image encoding unit 110 performs encoding. The encoded data is output.
  • the video encoding device of the present invention encodes the camera input video as follows.
  • images A and B are encoded at times T1 and T2.
  • the image B input unit 105 inputs the image
  • the image B encoding unit 106 encodes the image
  • the image B decoding unit 107 decodes the encoded data
  • the image B storage memory 108 stores the decoded image. Do this for T1 and T2 images.
  • the image B storage memory 108 stores images at T1 and T2.
  • the image C input unit 109 inputs the image C, and the original image storage memory 113 stores the input image.
  • the intra-GOP image encoding unit 110 encodes the images of T1 and T2, and the image C decoding unit 111 decodes the encoded data and stores the decoded image in the decoded image storage memory 112.
  • the image generation unit 114 performs the image generation method X and the image generation method Y on the image stored in the image A storage memory 104 and the image stored in the image B storage memory 108. Each is applied to generate an image. Since there is no previous frame, it is not possible to generate an image using image generation method Z at this point.
  • the GOP code determination unit 117 uses the image generated by the image generation unit 114 and the image stored in the decoded image storage memory 112 to calculate the mean square error Xa.
  • Xb, Xc, Ya, Yb, Yc, and D are obtained (the mean square error Z cannot be obtained at this point). From these, the GOP coding information is determined according to the logics (1) to (8) described above.
  • the video encoding device of the present invention encodes and outputs the encoding information on the basis of the determined encoding information of the GOP, and outputs encoded data.
  • Generation reference GOP number and information indicating the image generation method are encoded and output.
  • it is necessary to sign the information indicating the image generation method note that the image generation method Z is not used at this time).
  • the decoded image storage memory 112 continues to store the decoded image obtained by the image C decoding unit 111 when the code key data is output from the intra-GOP image code key unit 110.
  • the stored decoded images of T1 and T2 are discarded, and the image generated by the image generating unit 114 is discarded.
  • an image corresponding to the GOP encoding information determined by the GOP encoding determination unit 117 (that is, an image generated by the selected generation method) is stored.
  • the decoded images stored in the image A storage memory 104 and the image B storage memory 108 are discarded from the oldest one, and a newly decoded image is stored. As a result, the decoded images of T3 and T4 are stored in each memory.
  • the image C input unit 109 inputs the image C, and the original image storage memory 113 stores the input image.
  • the original image stored in the original image storage memory 113 is discarded from the oldest one and the newly input image is stored.
  • the original image storage memory 113 is stored with the original images of T3 and T4.
  • the intra-GOP image encoding unit 110 encodes the images of T3 and T4, and the image C decoding unit 111 decodes the encoded data and stores the decoded image in the decoded image storage memory 112. To do.
  • the decoded image stored in the decoded image storage memory 112 is discarded from the oldest one, and a newly decoded image is stored.
  • the decoded images of ⁇ 2, ⁇ 3, and ⁇ 4 are stored in the decoded image storage memory 112.
  • the GOP code key determination unit 117 uses the image generated by the image generation unit 114 and the image stored in the decoded image storage memory 112 to calculate the mean square error Xa. Find X b, Xc, Ya, Yb, Yc, D, and Z. From these, the GOP code information is determined according to the logics (1) to (8) described above.
  • the video encoding device of the present invention encodes and outputs the encoding information on the basis of the determined encoding information of the GOP, and outputs or generates encoded data.
  • Reference The GOP number and information indicating the image generation method are encoded and output. However, when the image generation method Z is selected, it is not necessary to sign the information indicating the image generation method.
  • the decoded image storage memory 112 continues to store the decoded image obtained by the image C decoding unit 111 when the code key data is output from the intra-GOP image code key unit 100.
  • the stored decoded images of T3 and T4 are discarded, and the image generated by the image generation unit 114 is discarded.
  • the GOP encoding determination unit 117 stores an image corresponding to the encoding information determined.
  • FIG. 3 shows an example of the device configuration of the video decoding device of the present invention that realizes the first embodiment.
  • the video decoding device of the present invention is (I) an image A (camera input video A), an image A decoding unit 201 that decodes the image, and an image A storage memory 202 that stores the decoded image of the image A decoding unit 201.
  • the image generation unit 207, the generation reference GOP decoding unit 208, and the generation information decoding unit 209 operate as follows when the GOP encoded data is not decoded.
  • the generation reference GOP decoding unit 208 decodes and obtains the GOP number used for image generation. If the GOP number belongs to the input image A or B, the generation information decoding unit 209 subsequently decodes information specifying the image generation method, and obtains X or Y as the image generation method information. On the other hand, when the GOP number belongs to the input image C, the generation information decoding unit
  • the image generation unit 207 uses the GOP number obtained by the generation reference GOP decoding unit 208 and the image generation method specified by the information on the image generation method obtained by the generation information decoding unit 209. Generate an image.
  • the image generation unit 207 uses Z as the image generation method.
  • the video decoding device of the present invention decodes the encoded data output from the video encoding device of the present invention as follows.
  • the image A decoding unit 201 decodes the encoded data and stores the image A storage memory.
  • the image ⁇ decoding unit 203 decodes the encoded data, and the image ⁇ storage memory
  • Image ⁇ storage memory 204 stores images in T1 and ⁇ 2.
  • GOP code presence / absence information decoding section 210 decodes information designating whether or not to decode the GOP encoded data. Based on this information, perform one of the following processes.
  • GOP code presence / absence information decoding section 210 decodes information instructing decoding of GOP code key data
  • intra-GOP image decoding section 205 decodes the encoded data.
  • the image is output, and the decoded image is stored in the decoded image storage memory 206.
  • the generation reference GOP decoding unit 208 is used for image generation.
  • the generation information decoding unit 209 specifies the image generation method.
  • the information to be decoded is decoded, and X or Y is obtained as information on the image generation method.
  • the image generation unit 207 generates a generation reference GOP decoding unit.
  • An image is generated using the GOP number obtained in 208 and the image generation method defined by the information on the image generation method obtained in the generation information decoding unit 209.
  • processing similar to that at times T1 and T2 is performed to decode image A and image B.
  • image A the decoded image is stored in image A storage memory 202
  • image B Stores the decoded image in the image B storage memory 204.
  • GOP code presence / absence information decoding section 210 decodes information designating whether or not to decode GOP encoded data. Based on this information, perform one of the following processes. That is, when the GOP code presence / absence information decoding unit 210 decodes information instructing decoding of GOP code key data, the intra-GOP image decoding unit 205 decodes the encoded data. The image is output, and the decoded image is stored in the decoded image storage memory 206.
  • the generation reference GOP decoding unit 208 uses the GOP code used for image generation. Get the number decrypted.
  • the generation information decoding unit 209 subsequently decodes information specifying the image generation method, and obtains X or Y as the image generation method information.
  • the generation information decoding unit 209 can specify that the image generation method Z is used, and therefore does not decode the information specifying the image generation method.
  • the image generation unit 207 uses the GOP number obtained by the generation reference GOP decoding unit 208 and the image generation method defined by the information on the image generation method obtained by the generation information decoding unit 209. Generate an image. At this time, if the GOP number belongs to the input image C, the image generation method Z is used.
  • the decoded image storage memory 206 stores the decoded image by discarding the Tl and T2 images when decoding the encoded GOP data, and stores the decoded image when decoding the GOP encoded data.
  • the images of 1 and T2 are discarded, and the image generated by the image generation unit 207 is accumulated.
  • the GOP may be adaptively determined as to whether or not to separate the force GOP determined in advance as two frames for each frame.
  • the second embodiment realizes this configuration.
  • FIG. 4 shows an example of the device configuration of the video encoding device of the present invention that realizes the second embodiment.
  • the same components as those described in FIG. 2 are indicated by the same symbols.
  • the apparatus configuration (shown in FIG. 6) of the video decoding apparatus of the present invention that realizes the second embodiment is the same as that of the first embodiment shown in FIG.
  • the GOP header Z encoding presence / absence information decoding unit 2100 checks the presence / absence of a GOP header in each frame, and when a GOP header is detected, performs decoding processing as another (independent) GOP.
  • the sign input method for camera input images A, B, and C in the second embodiment is as follows.
  • image A an image is input by image A input unit 101, image A encoding unit 102 encodes the image, image A decoding unit 103 decodes the encoded data, and stores image A.
  • the memory 104 stores the decoded image. Do this for T1 and T2 images.
  • the image A storage memory 104 stores images at T1 and T2.
  • image B an image is input by image B input unit 105, image B encoding unit 106 encodes the image, image B decoding unit 107 decodes the encoded data, and image B
  • the storage memory 108 stores the decoded image. Do this for T1 and T2 images.
  • the image B storage memory 108 stores images at T1 and T2.
  • the image generation unit 114 applies the image generation method X and the image generation method Y to the image stored in the image A storage memory 104 and the image stored in the image B storage memory 108. Each is applied to generate an image at time Tl. Since there is no previous frame, it is not possible to generate an image using image generation method Z at this point.
  • the GOP code determination unit 117 uses the image generated by the image generation unit 114 and the image stored in the decoded image storage memory 112 to calculate the mean square error Xa. Xb, Xc, Ya, Yb, Yc, and D are obtained (the mean square error Z cannot be obtained at this point). From these, the GOP coding information is determined according to the logics (1) to (8) described above.
  • the GOP code key determining unit 117 stores the determined GOP code key information in the GOP information storage memory 119, and the GOP code key presence / absence information code key unit 1180 stores the GOP header code. ⁇ output.
  • the video encoding device of the present invention encodes and outputs the encoding information on the basis of the determined encoding information of the GOP, and outputs encoded data.
  • Generation reference GOP number and information indicating the image generation method are encoded and output.
  • it is necessary to sign the information indicating the image generation method note that the image generation method Z is not used at this time).
  • the decoded image storage memory 112 continues to store the decoded image obtained by the image C decoding unit 111 when the code key data is output from the intra-GOP image code key unit 110.
  • the stored decoded image of T1 is discarded, and among the images generated by the image generator 114, the GOP The image corresponding to the GOP encoding information determined by the encoding determination unit 117 is stored.
  • the image C input unit 109 inputs an image
  • the original image storage memory 113 stores the input image.
  • the intra-GOP image encoding unit 110 encodes the image at time T2
  • the image C decoding unit 111 decodes the encoded data and stores the decoded image in the decoded image storage memory 112.
  • the image generation unit 114 applies the image generation method X and the image generation method Y to the image stored in the image A storage memory 104 and the image stored in the image B storage memory 108. Apply each one to generate an image at time T2. Further, it is stored in the decoded image storage memory 112. An image generation method Z is applied to the generated image to generate an image at time T2.
  • the GOP code decision unit 117 uses the image generated by the image generation unit 114 and the image stored in the decoded image storage memory 112 to calculate the mean square error Xa and Find X b, Xc, Ya, Yb, Yc, D, and Z. From these, the GOP code information is determined according to the logics (1) to (8) described above.
  • the GOP code key determination unit 117 compares the GOP code key information determined here with the GOP code key information stored in the GOP information storage memory 119, and If the GOP code information is different, it is determined that the image is encoded as another GOP. If the GOP code information of both GOPs is the same, the image is encoded as the same GOP. Decide what to do.
  • GOP code key determining section 117 stores the determined GOP code key information in GOP information storage memory 119. Thereafter, the operation is specifically as follows.
  • the GOP header Z code key presence / absence information code unit 1280 encodes and outputs the GOP header. Then, the video encoding apparatus of the present invention outputs the encoded data as well as the encoded data, or outputs the encoded data based on the determined GOP code information. Information indicating the GOP number and image generation method is encoded and output. However, when the image generation method Z is used, it is not necessary to encode information indicating the image generation method.
  • the decoded image storage memory 112 continues to store the decoded image obtained by the image C decoding unit 111 when the code key data is output from the intra-GOP image code key unit 110.
  • the stored decoded image of T2 is discarded, and among the images generated by the image generation unit 114, the GOP The image corresponding to the GOP encoding information determined by the encoding determination unit 117 is stored.
  • the code data of the frame is output, while the intra-GOP image code data is output. If the code data is not output from the unit 110, the previous one notified to the decoding side Since the image generation method can be specified on the decoding side by the GOP sign information at the time Tl, nothing is output.
  • the decoded image storage memory 112 continues to store the decoded image obtained by the image C decoding unit 111 when the code key data is output from the intra-GOP image code key unit 110.
  • the stored decoded image of T2 is discarded, and among the images generated by the image generation unit 114, the GOP The image corresponding to the encoding information determined by the encoding determination unit 117 is accumulated.
  • the decoding process in the second embodiment corresponding to this operates as follows.
  • the images A and B at times T1 and T2 are decoded in the same manner as in the first embodiment to obtain decoded images.
  • the image A storage memory 202 and the image B storage memory 204 store the decoded images of T1 and T2.
  • image A decoding section 201 decodes the encoded data
  • image A storage memory 202 stores the decoded image. Do this for T1 and T2 images.
  • the image A storage memory 202 stores images at T1 and T2.
  • image B decoding section 203 decodes the encoded data, and image B storage memory 204 stores the decoded image. Do this for T1 and T2 images.
  • the image B storage memory 204 stores images at T1 and T2.
  • the GOP header Z code key presence / absence information decoding unit 2100 checks the presence or absence of the GOP header. Since there is a GOP header, the GOP header Z encoding presence / absence information decoding unit 2100 subsequently decodes information (encoding presence / absence information) specifying whether or not to decode the GOP code data. Based on this information, perform one of the following processes:
  • the intra-GOP image decoding unit 205 decodes the encoded data.
  • the image is output, and the decoded image is stored in the decoded image storage memory 206.
  • the generation reference GOP decoding unit 208 uses the GOP used for image generation. Is obtained by decrypting the number.
  • the generation information decoding unit 209 stores information specifying the image generation method. Decodes and obtains X or Y as image generation method information. In response to this, the image generation unit 207 uses the GOP number obtained by the generation reference GOP decoding unit 208 and the image generation method defined by the information on the image generation method obtained by the generation information decoding unit 209. Is generated.
  • the decoded image storage memory 206 stores the decoded image when decoding the encoded GOP data, and stores the decoded image when the GOP encoded data is not decoded. Accumulate the images generated by.
  • the GOP header Z encoding presence / absence information decoding unit 2100 checks the presence / absence of a GOP header.
  • information specifying whether to decode the GO P code data is further decoded. Based on this information, one of the following processes is executed.
  • the intra-GOP image decoding unit 205 decodes the encoded data.
  • the image is output, and the decoded image is stored in the decoded image storage memory 206.
  • the generation reference GOP decoding unit 208 uses the GOP used for image generation. Is obtained by decrypting the number.
  • the generation information decoding unit 209 subsequently decodes information specifying the image generation method, and obtains X or Y as the image generation method information.
  • the generation information decoding unit 209 can specify that the image generation method Z is used. Therefore, the information specifying the image generation method is not decoded.
  • the image generation unit 207 uses the GOP number obtained by the generation reference GOP decoding unit 208 and the image generation method defined by the information on the image generation method obtained by the generation information decoding unit 209. Is generated. If the GOP number belongs to input image C, image generation method Z is used.
  • the decoded image storage memory 206 stores the decoded image when decoding the encoded GOP data, and stores the decoded image when the GOP encoded data is not decoded. Accumulate the images generated by.
  • the intra-GOP image decoding unit 205 decodes the code key data in the current frame and outputs an image, and further, the decoded image Is stored in the decoded image storage memory 206.
  • the generation reference GOP decoding unit 208 uses the GOP number obtained in the previous frame for the decoding process.
  • the generation information decoding unit 209 obtains X or Y as the information for specifying the image generation method in the previous frame. I do.
  • the previous frame is the first frame
  • the GOP number does not belong to the input image C.
  • the generation information decoding unit 209 does not decode the information for specifying the image generation method in the previous frame, so that Z is obtained as information for specifying the image generation method. To perform the decryption process.
  • the image generation unit 207 uses the GOP number obtained by the generation reference GOP decoding unit 208 in the previous frame and the information on the image generation method obtained by the generation information decoding unit 209 in the previous frame. Is generated.
  • the decoded image storage memory 206 stores the decoded image when decoding the GOP encoded data, and stores the decoded image when the GOP encoded data is not decoded. Accumulate the images generated by.
  • the video encoding device of the present invention encodes an image, and the video decoding device of the present invention decodes encoded data. can do.
  • the GOP of the sign key data obtained at this time has a configuration as shown in FIG.
  • the decoded images A and B are used to determine the method for generating the C image.
  • the original images A and B may be used.
  • the video encoding device does not need to include the image A code key unit 102, the image A decoding unit 103, the image B code key unit 106, and the image B decoding unit 107.
  • X and Y are prepared as image generation methods, but only V deviations may be prepared. In this case, it is not necessary to provide the generation information encoding unit 116 in the video encoding device, and it is not necessary to provide the generation information decoding unit 209 in the video decoding device.
  • Z is prepared as an image generation method. However, this may not be prepared. In this case, since it is not necessary to store the decoded image of C, the video encoding device does not need to include the image C decoding unit 111 and the decoded image storage memory 112, and the video decoding device includes There is no need to provide the storage memory 206.
  • the video encoding apparatus does not need to include the generation reference GOP encoding unit 115, and the video decoding apparatus does not need to include the generation reference GOP decoding unit 208.
  • the A or B image at the same time is used to generate the C image.
  • the past A or B image may be used. Use past images.

Abstract

　複数の画像を複数のＧＯＰで構成して、それぞれのＧＯＰの画像を１つの映像として符号化する映像符号化方法であって、各ＧＯＰに含まれる画像を符号化するかどうかを決定し、当該ＧＯＰに含まれる画像の符号化データを出力するかどうかを示すＧＯＰ符号化有無情報を符号化し、当該ＧＯＰに含まれる画像の符号化データを出力する場合に、該ＧＯＰに含まれる画像を符号化する。典型的には、当該ＧＯＰの符号化データの復号によらずに他の１以上のＧＯＰを用いて生成される画像の方が符号化データの復号により得られる画像よりも原画像に近いか否かを判断することにより、当該ＧＯＰに含まれる画像を符号化するかどうかを決定する。

Description

映像符号化方法及び装置、映像復号方法及び装置、それらのプログラム およびそれらプログラムを記録した記録媒体
技術分野
[0001] 本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適 となる映像符号化及び映像復号に関する技術である。
背景技術
[0002] 一般的に映像符号ィ匕では時間方向の相関を使って高い符号ィ匕効率を実現するた め、フレーム間予測符号化を用いている。フレームの符号化モードには、フレーム間 の相関を使わずに符号ィ匕する Iフレームと、過去に符号ィ匕した 1フレームから予測す る Pフレームと、過去に符号化した 2フレームから予測することができる Bフレームがあ る。
[0003] Pフレームでは、 Iフレームまたは Pフレームから予測し、 Bフレームでは、 Iフレーム または Pフレームまたは Bフレームから予測することができる。特に映像符号ィ匕方式 H . 264では、符号ィ匕装置内の参照画像メモリに複数フレーム分の復号画像を蓄積し ておき、そのメモリから参照画像を選択して予測に用いることができる。また、 Pフレー ムでは入力動画像における時間が過去のフレームから予測する力 Bフレームでは 過去のフレームだけではなく未来のフレームからも予測することができる。
[0004] 図 7 (a)部に動画像の予測関係の例を示す。
[0005] Bフレームで 2フレームから予測する場合（両方向予測）には、 2フレームからの画像 情報を補間して、 1フレーム分の画像情報を作成して予測画像を作成する。第 1フレ 一ムカも第 7フレームの符号ィ匕モードを IBBPBBPの順序で符号ィ匕する場合には、 図 7 (a)部に示す予測関係があるため、実際に符号ィ匕する場合には、図 7 (a)部に示 すフレームの番号を左から 1〜7として、図 7 (b)部に示すように、 "1→4→2→3→7 →5→6"というフレーム番号順でフレームを符号化する。
[0006] ここで、インタレース動画像は 1フレーム内に 2フィールドを持つ構成となる力 上記 と同様に、フィールド毎に予測関係を設定することができる。一般的にフレームとフィ 一ルドを総称してピクチャと呼ぶ。また、 Bフレームの両方向予測では、過去の 2フレ ームまたは未来の 2フレームから予測することも可能である。例えば映像符号ィ匕方式 H. 264では、参照画像メモリに複数フレーム分の復号画像を蓄積しておき、そのメ モリから参照画像を 2フレーム分選択して予測することができる。ここで、選択したフレ 一ムの復号後の表示時刻は、符号ィ匕対象フレームの表示時刻の未来であっても過 去であってもよい。
[0007] また、 Iピクチャを先頭にしたピクチヤの集合を GOP (group of picture)として設定す ることにより、 GOP単位の符号ィ匕データの、時間についてのランダムアクセス機能を 容易に実現できる。
[0008] GOPは、特定のピクチャの符号ィ匕データの前に、 GOP先頭であることを示す情報 を含めることによって、そのピクチャ力 そのピクチャ以降の複数ピクチヤで構成され る GOPの先頭であることを指定することが可能である。 MPEG— 2では、特有なビット パターンを持つ符号を挿入することにより GOPの先頭であることを指定する。
[0009] 即ち、 GOPの先頭であることを示す符号間で 1GOPの符号ィ匕データを構成するこ とができる。なお、符号ィ匕データ中に GOPの先頭であることを示す情報を符号ィ匕す るのではなぐ符号ィ匕データとは独立した情報として GOP構成情報を指定することも 可能である。
[0010] 一般に、 GOP先頭であることを示す情報の後には、 GOPの先頭フレームの時刻情 報も含んでおり、時間についてのランダムアクセスを実現する際に利用される。また、 各ピクチャにも時刻情報をつけることも可能である。
この時刻情報は例えば H. 263では TR (Temporal Reference)と呼ぶ。 TRは単位 時間を基本とした、フレームの出力順序を表す情報である。例えば単位時間を 1Z3 0秒に設定すれば、フレームごとに値が 1つずつ増加することはフレームレートが 30 フレーム Z秒であることと等価である。通常 TRは固定長符号ィ匕される。
[0011] 更に、複数のカメラ映像の符号ィ匕について、各カメラ映像を GOPに設定し、 GOP 間で予測符号ィ匕を適用しながら一つの映像情報として符号ィ匕する手法が提案されて いる。
[0012] 例えば、下記に示す非特許文献 1や非特許文献 2では、 Base GOPと InterGOPを 定義して GOP間の予測関係を示す方法を提案している。 Base GOPに含まれるピク チヤは同一 GOP内に含まれるピクチャのみを参照し、 InterGOPに含まれるピクチャ は同一または他の GOP内に含まれるピクチャを参照する。 InterGOPでは、ヘッダ部 分に、参照する GOPを示す参照 GOP情報を含める。
[0013] このように、複数のカメラ入力映像を予め持っていれば、入力映像を切り替えること によって視点位置と視線方向を変更することが可能である。これらによれば撮影した 位置での映像が得られるが、更に撮影されて!ヽな ヽ視点位置や視線方向の映像を 生成する技術が提案されて!ヽる。
[0014] 例えば、下記に示す非特許文献 3では、複数のカメラ入力画像力 光線空間を生 成して、その光線空間力 画像情報を取り出すことにより、撮影されていない視点位 置または視線方向の映像を生成する手法が提案されて！ヽる。
[0015] このような映像を生成する技術では、一般的に、複数のカメラ入力画像で同じ被写 体が撮影されている場合に、それらの撮影されている画像情報を使って、その被写 体にっ 、て撮影されて 、な 、視点位置や視線方向の画像情報を生成する。すなわ ち、複数のカメラ入力画像にまたがって撮影されている被写体について、各カメラ入 力画像の一部分を使って画像情報を生成して 、る。
[0016] この画像生成技術としては、例えば適応フィルタ方法 (例えば非特許文献 4参照） や、テーブル参照法 (例えば非特許文献 5参照）が挙げられる。
特干文献 1 : Hideaki Kimata and Masaki Kitahara, Preliminary results on multiple view video coding (3DAV)," document Ml 0976 MPEG Redmond Meeting, July, 2004 非特許文献 2： Hideaki Kimata, Masaki Kitahara, Kazuto Kamikura, Yoshiyuki Yashi ma, Toshiaki Fujn, and Masayuki Tanimoto, "System Design of Free Viewpoint Vide o Communication," CIT2004, Sep., 2004.
非特許文献 3 :藤井，木本，谷本: "光線群表現における 3次元空間情報の圧縮"， 3 次元画像コンファレンス' 96, pp.1-6 (1996.7).
非特干文献 4 : T.Kobayashi, T.Fujii, T.Kimoto, M.Tanimoto, Interpolation of Ray- S pace Data by Adaptive Filtering," IS&T/SPIE Electronic Imaging 2000, 2000. 非特許文献 5 : M.Kawaura, T.Ishigami, T.Fujii, T.Kimoto, M.Tanimoto, "Efficient Ve ctor Quantization of Epipolar Plane Images of Ray Space By Dividing into Oblique Bl ocks," Picture Coding Symposium 2001, pp.203— 206, 2001.
発明の開示
発明が解決しょうとする課題
[0017] 複数のカメラ映像のうち、撮影されて!ヽな ヽ視点位置や視線方向の映像を生成す る技術で品質が十分に良い画像が得られる場合には、一部のカメラ映像の画像情報 を符号化せずに、映像再生側で画像を生成できるため、結果的に複数カメラ映像に 対する符号ィ匕効率を向上できる。
[0018] し力しながら、従来の映像符号化方式では、映像再生側で一部のカメラ映像の画 像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成できることを 示す情報を符号ィ匕する仕組みがないため、実際には全てのカメラ映像を符号ィ匕して 送出しており、符号ィ匕効率を向上できな力つた。
[0019] 本発明は力かる事情に鑑みてなされたものであって、映像再生側で一部のカメラ映 像の画像を用いなくても対応する画像を生成できるかどうかを判定し、更に生成でき ることを示す情報を符号化する仕組みを提供することにより、視点位置や視線方向を 変更することを可能とする映像技術などに好適となる新たな映像符号ィ匕及び映像復 号に関する技術の提供を目的とする。
課題を解決するための手段
[0020] この目的を達成するために、本発明の映像符号化方法は、複数の画像を複数の G OPで構成して、それぞれの GOPの画像を 1つの映像として符号ィ匕する映像符号ィ匕 方法であって、
各 GOPに含まれる画像を符号ィ匕するかどうかを決定する GOP符号ィ匕決定ステップ と、
当該 GOPに含まれる画像の符号化データを出力するかどうかを示す GOP符号ィ匕 有無情報を符号化する GOP符号化有無情報符号化ステップと、
当該 GOPに含まれる画像の符号化データを出力する場合に、該 GOPに含まれる 画像を符号化する GOP内画像符号化ステップと を有する映像符号化方法を提供する。
[0021] 典型例として、上記 GOP符号ィ匕決定ステップでは、当該 GOPの符号化データの 復号によらずに他の 1以上の GOPを用いて生成される画像の方が符号ィ匕データの 復号により得られる画像よりも原画像に近いか否かを判断することにより、当該 GOP に含まれる画像を符号化するかどうかを決定する。なお、この方法以外に、原画像の 変化を評価することなどにより、当該 GOPに含まれる画像を符号化するかどうかを決 定することも可能である。
当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を符号ィ匕する生成参照 GOP符号化ステップを更に有しても良い。
また、当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOP〖こ 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号 化する生成情報符号化ステップを更に有しても良い。
[0022] 本発明はまた、複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1 つの映像として符号ィ匕することで生成された符号ィ匕データを復号する映像復号方法 であって、
各 GOPに含まれる画像の符号化データを復号するかどうかを示す GOP符号化有 無情報を復号する GOP符号化有無情報復号ステップと、
当該 GOPに含まれる画像の符号化データを復号する場合に、 GOPに含まれる画 像を復号する GOP内画像復号ステップと
を有する映像復号方法を提供する。
当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を復号する生成参照 GOP復号ステップを更に有しても良い。
また、当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号 する生成情報復号ステップを更に有しても良い。
[0023] 本発明はまた、複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1 つの映像として符号ィ匕する映像符号ィ匕装置であって、
各 GOPに含まれる画像を符号化するかどうかを決定する GOP符号化決定部と、 当該 GOPに含まれる画像の符号化データを出力するかどうかを示す GOP符号ィ匕 有無情報を符号化する GOP符号化有無情報符号化部と、
当該 GOPに含まれる画像の符号化データを出力する場合に、 GOPに含まれる画 像を符号化する GOP内画像符号化部と
を備える映像符号ィ匕装置を提供する。
[0024] 典型例として、上記 GOP符号化決定部は、当該 GOPの符号化データの復号によ らずに他の 1以上の GOPを用いて生成される画像の方が符号ィ匕データの復号により 得られる画像よりも原画像に近いのか否かを判断することにより、当該 GOPに含まれ る画像を符号化するかどうかを決定する。
当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を符号ィ匕する生成参照 GOP符号ィ匕部を更に備えるようにしても良い。
また、当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOP〖こ 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を符号 化する生成情報符号ィ匕部を更に備えるようにしても良い。
[0025] 本発明はまた、複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1 つの映像として符号ィ匕することで生成された符号ィ匕データを復号する映像復号装置 であって、
各 GOPに含まれる画像の符号化データを復号するかどうかを示す GOP符号化有 無情報を復号する GOP符号化有無情報復号部と、
当該 GOPに含まれる画像の符号化データを復号する場合に、 GOPに含まれる画 像を復号する GOP内画像復号部と
を備える映像復号装置を提供する。
当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、 1以上の他の GOPを指定する生成参照 GOP指定 情報を復号する生成参照 GOP復号部を更に備えるようにしても良い。 また、当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに 含まれる画像を生成する際に使用する、画像生成手法を指定する生成情報を復号 する生成情報復号部を更に備えるようにしても良い。
[0026] 本発明はまた、上記映像符号ィ匕方法の実現に用いられる処理をコンピュータに実 行させるための映像符号ィ匕プログラム、該プログラムを記録したコンピュータ読み取り 可能な記録媒体を提供する。
本発明はまた、上記映像復号方法の実現に用いられる処理をコンピュータに実行 させるための映像復号プログラム、該プログラムを記録したコンピュータ読み取り可能 な記録媒体を提供する。
即ち、これらコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒 体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にィ ンストールされて CPUなどの制御手段上で動作することにより本発明を実現可能で ある。
[0027] 上記本発明によれば、カメラ入力映像ごとに GOPを構成しておき、画像生成手法 でカメラ入力映像が生成できる場合には、その GOPについて画像を符号ィ匕せずに、 代わりに映像再生側で画像を生成するように指定することができる。
すなわち、映像符号化側では、画像生成手法でカメラ入力映像が生成できるかどう かを決定する。そして、カメラ入力映像を生成できる場合には、 GOPに含まれる画像 の符号ィ匕データを出力しないとして GOP符号ィ匕有無情報を符号ィ匕し、カメラ入力映 像を生成できない場合には、 GOPに含まれる画像の符号ィ匕データを出力するとして GOP符号化有無情報を符号化する。そして、カメラ入力映像を生成できない場合に は、 GOPに含まれる画像を符号化する（GOPに含まれる画像の符号化データを出 力する)。
[0028] これを受けて、映像復号側では、 GOPGOPに含まれる画像の符号化データを復 号するかどうかを示す GOP符号化有無情報を復号する。そして、 GOP符号化有無 情報が GOPに含まれる画像の符号化データを復号することを示す場合には、画像 の符号化データを復号する。
ここで、映像復号側では、 GOP符号化有無情報が GOPに含まれる画像の符号ィ匕 データを復号しないことを示す場合には、画像生成技術を使って GOP内の画像を生 成してもよい。ただし、その GOP内の画像が不必要な場合には、画像を生成する必 要はない。
[0029] 更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入 力映像を生成する際に使用する画像を含む GOPを指定することができる。このとき 使用する GOPの画像は符号ィ匕データを復号して得られるものでもよ ヽし、映像復号 佃 Jで生成して得られるものでもよ 、。
これにより、映像復号側で、所望の GOPの画像を生成するときに、生成に必要な画 像が復号または生成されていない場合には、その画像を含む GOPを復号または生 成することにより、所望の画像を生成することができる。ここで、所望の映像を生成す る際に使用する画像を含む GOPとしては、他のカメラ入力映像であっても、所望の映 像の属するカメラ入力映像であってもよい。
[0030] 更に、本発明によれば、映像復号側でカメラ入力映像を生成する場合に、カメラ入 力映像を生成する際に使用する画像生成手法を指定することができる。
この画像生成手法については、映像符号化側と映像復号側で、予め複数の画像 生成手法を用意しておき、映像符号化側で、どの画像生成手法を映像復号側で使 用するのかを決定してもよい。これにより、映像符号化側で、画像品質の良い画像生 成手法を選択することができる。
なお、再生させた 、映像の属するカメラ入力映像を使用して該映像を生成する場 合には、そのカメラ入力映像に属する前 (過去）の GOPの画像を使用してもよい。ま た、カメラの台数が少ない場合には、画像の生成に使用する GOPが限定されるため 、使用する GOPを指定する必要はない。
発明の効果
[0031] 本発明によれば、映像再生側で画像を生成できるかどうかを符号ィ匕時に判定し、 更に生成することを示す情報を符号ィ匕することが可能となるため、画像符号ィ匕側で 映像を符号ィ匕しないことを制御できるようになり、これにより符号ィ匕効率を向上できる ようになる。
[0032] このようにして、本発明によれば、視点位置や視線方向を変更することを可能とする 映像技術などに好適となる映像符号化'復号技術を提供できるようになる。
図面の簡単な説明
[0033] [図 1]第 1の実施形態例における GOPの構成の一例を示す図である。
[図 2]第 1の実施形態例における映像符号化装置の装置構成例を示す図である。
[図 3]第 1の実施形態例における映像復号装置の装置構成例を示す図である。
[図 4]第 2の実施形態例における映像符号ィ匕装置の装置構成例を示す図である。
[図 5]第 2の実施形態例における GOPの構成の一例を示す図である。
[図 6]第 2の実施形態例における映像復号装置の装置構成例を示す図である。
[図 7]動画像の予測関係の説明図である。
符号の説明
[0034] 101 画像 A入力部
102 画像 A符号化部
103 画像 A復号部
104 画像 A蓄積メモリ
105 画像 B入力部
106 画像 B符号化部
107 画像 B復号部
108 画像 B蓄積メモリ
109 画像 C入力部
110 GOP内画像符号化部
111 画像 C復号部
112 復号画像蓄積メモリ
113 原画像蓄積メモリ
114 画像生成部
115 生成参照 GOP符号化部
116 生成情報符号化部
117 GOP符号化決定部
118 GOP符号化有無情報符号ィ匕部 119 GOP情報蓄積メモリ
201 画像 A復号部
202 画像 A蓄積メモリ
203 画像 B復号部
204 画像 B蓄積メモリ
205 GOP内画像復号部
206 復号画像蓄積メモリ
207 画像生成部
208 生成参照 GOP復号部
209 生成情報復号部
210 GOP符号化有無情報復号部
1180 GOPヘッダ Z符号化有無情報符号化部
2100 GOPヘッダ Z符号化有無情報復号部
発明を実施するための最良の形態
[0035] 以下、実施の形態に従って本発明を詳細に説明する。
[0036] 以下に説明する実施形態例では、 3カメラ映像を符号ィ匕する場合に、 2カメラ映像 を独立に符号ィ匕しておき、 1カメラ映像をそれら 2カメラ映像の画像情報から、あるい は、その 1カメラ映像の過去の画像から、その 1カメラ映像の現在の画像を用いずに 画像生成技術により生成するかどうかを決定する手法について示す。
[0037] 〔I〕第 1の実施形態例
図 1に、第 1の実施形態例における GOPを示す。
[0038] この図に示すように、第 1の実施形態例では、 GOPは予め 2フレームで構成される と決められているものとする。また、各 GOPには図中に示す GOP番号（GOPl〜GO P6)が割り当てられて ヽるものとする。
[0039] 図 1に示す 3カメラ映像 A, B, Cのうち、 Cについて画像生成技術により生成するか どうかを決定する。 Aまたは Bから Cを生成する手法としては、画像生成方法 Xと画像 生成方法 Yとが予め用意されており、また、 Cの過去の画像情報から画像を生成する 技術として画像生成方法 Zが用意されているものとする。 [0040] 画像を生成する際に使用する画像として Aまたは Bを選択する場合には、画像生成 方法を指定する情報を符号ィ匕することになるが、画像を生成する際に使用する画像 として Cの過去の画像を選択する場合には、画像生成方法は Zに一意に決まるため、 画像生成方法を指定する情報を符号ィ匕する必要はない。なお、画像生成方法 Zは、 本実施形態においては直前の画像を出力する手法である。
[0041] 画像生成方法 Xは例えば適応フィルタ方法であり、画像生成方法 Yは例えばテー ブル参照方法である。以下に説明する実施形態例では、 Aと Bの復号画像を使って 、 Cの画像生成方法を決定するものとする。
[0042] 〔I 1〕第 1の実施形態例を実現する本発明の映像符号化装置
図 2に、第 1の実施形態例を実現する本発明の映像符号化装置の装置構成の一 例を図示する。
[0043] この図に示すように、本発明の映像符号化装置は、
(ィ)画像 A (カメラ入力映像 A)に対して、画像を入力する画像 A入力部 101と、画 像 A入力部 101の入力した画像を符号化する画像 A符号化部 102と、画像 A符号化 部 102の符号化した画像を復号する画像 A復号部 103と、画像 A復号部 103の復号 した画像を蓄積する画像 A蓄積メモリ 104とを備え、
(口）画像 B (カメラ入力映像 B)に対して、画像を入力する画像 B入力部 105と、画 像 B入力部 105の入力した画像を符号化する画像 B符号化部 106と、画像 B符号ィ匕 部 106の符号化した画像を復号する画像 B復号部 107と、画像 B復号部 107の復号 した画像を蓄積する画像 B蓄積メモリ 108とを備え、
(ハ)画像 C (カメラ入力映像 C)に対して、画像を入力する画像 C入力部 109と、画 像 C入力部 109の入力した画像を符号化する GOP内画像符号化部 110と、 GOP内 画像符号化部 110の符号化した画像を復号する画像 C復号部 111と、画像 C復号部 111の復号した画像を蓄積する復号画像蓄積メモリ 112と、画像 C入力部 109の入 力した原画像を蓄積する原画像蓄積メモリ 113と、原画像 Cを用いずに画像 Cを生成 する画像生成部 114と、画像 Cを生成する際に使用する GOPを指定する情報 (具体 的には GOPの番号)を符号ィ匕する生成参照 GOP符号ィ匕部 115と、画像 Cの生成に 用いられる画像生成方法を指定する情報を符号ィ匕する生成情報符号ィ匕部 116と、 G OPの画像を符号化するかどうかを決定する GOP符号化決定部 117と、 GOPの画像 を符号化した力どうかを指定する情報を符号ィ匕する GOP符号ィ匕有無情報符号ィ匕部 118とを備える。
[0044] ここで、画像 A蓄積メモリ 104と画像 B蓄積メモリ 108は、それぞれ復号画像を 2フレ ーム分蓄積し、また、原画像蓄積メモリ 113は、原画像を 2フレーム分蓄積する。また 、復号画像蓄積メモリ 112は、復号画像を 3フレーム分蓄積するものとする。なお、初 期状態の各メモリには何も画像情報が蓄積されて 、な 、ものとする。
[0045] GOP符号ィ匕決定部 117は、まず、画像生成部 114にて画像生成方法 Xを使って 生成される 2フレーム分の画像情報（1フレームずつ生成される）と原画像蓄積メモリ 1 13に蓄積された画像との間の平均二乗誤差 Xを計算する。このとき、画像 A蓄積メモ リ 104の画像のみを使う場合の平均二乗誤差を Xaとし、画像 B蓄積メモリ 108の画像 のみを使う場合の平均二乗誤差を Xbとし、画像 A蓄積メモリ 104の画像と画像 B蓄積 メモリ 108の画像の両方を使う場合の平均二乗誤差を Xcとする。
[0046] 更に、 GOP符号ィ匕決定部 117は、画像生成部 114にて画像生成方法 Yを使って 生成される 2フレーム分の画像情報（1フレームずつ生成される）と原画像蓄積メモリ 1 13に蓄積された画像との間の平均二乗誤差 Yを計算する。このとき、画像 A蓄積メモ リ 104の画像のみを使う場合の平均二乗誤差を Yaとし、画像 B蓄積メモリ 108の画像 のみを使う場合の平均二乗誤差を Ybとし、画像 A蓄積メモリ 104の画像と画像 B蓄 積メモリ 108の画像の両方を使う場合の平均二乗誤差を Ycとする。
[0047] 更に、 GOP符号ィ匕決定部 117は、 GOP内画像符号化部 110で符号化し画像 C復 号部 111で復号して復号画像蓄積メモリ 112に蓄積された復号画像のうち、現 GOP の復号画像と原画像蓄積メモリ 113に蓄積された対応する画像との間の平均二乗誤 差 Dを計算する。
[0048] 更に、 GOP符号ィ匕決定部 117は、復号画像メモリ 112に前 GOPの画像が蓄積さ れている場合には、画像生成方法 Zで生成される 2フレーム分の画像情報（1フレー ムずつ生成される）と原画像蓄積メモリ 113に蓄積された画像との間の平均二乗誤差 Zを計算する。
[0049] そして、 GOP符号ィ匕決定部 117は、このようにして算出した平均二乗誤差 Xaと Xb と Xcと Yaと Ybと Ycと D、あるいは、平均二乗誤差 Xaと Xbと Xcと Yaと Ybと Ycと Dと Z を比較して、最も値が小さい場合の条件を、その GOPの符号ィ匕情報 (GOP符号ィ匕 有無情報 Z生成参照 GOPを指定する情報 Z画像生成方法を指定する情報で構成 される）として決定する。すなわち、次のように決定する。
[0050] なお、以下では、 "符号ィ匕データ"ど'符号ィ匕情報"とを明確に区別しており、 "符号 化データ"と記載する場合には、画像を符号ィ匕したときのデータを示している。
[0051] (1)平均二乗誤差 Xaが最も小さい場合
Xaが最も小さい場合には、画像生成方法として Xを指定し、生成参照 GOPとして 画像 Aの GOPを指定する。
[0052] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Xを指定する情報を符号ィ匕する。
[0053] (2)平均二乗誤差 Xbが最も小さ ヽ場合
Xbが最も小さい場合には、画像生成方法として Xを指定し、生成参照 GOPとして 画像 Bの GOPを指定する。
[0054] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Xを指定する情報を符号ィ匕する。
[0055] (3)平均二乗誤差 Xcが最も小さ!/ヽ場合
Xcが最も小さい場合には、画像生成方法として Xを指定し、生成参照 GOPとして 画像 Aと画像 Bの GOPを指定する。
[0056] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Xを指定する情報を符号ィ匕する。
[0057] (4)平均二乗誤差 Yaが最も小さ!/ヽ場合 Yaが最も小さい場合には、画像生成方法として Yを指定し、生成参照 GOPとして 画像 Aの GOPを指定する。
[0058] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Yを指定する情報を符号ィヒする。
[0059] (5)平均二乗誤差 Ybが最も小さ ヽ場合
Ybが最も小さい場合には、画像生成方法として Yを指定し、生成参照 GOPとして 画像 Bの GOPを指定する。
[0060] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Yを指定する情報を符号ィヒする。
[0061] (6)平均二乗誤差 Ycが最も小さ!/ヽ場合
Ycが最も小さい場合には、画像生成方法として Yを指定し、生成参照 GOPとして 画像 Aと画像 Bの GOPを指定する。
[0062] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。また、生成情報符号化部 116は、画像生成 方法 Yを指定する情報を符号ィヒする。
[0063] (7)平均二乗誤差 Zが最も小さ ヽ場合
Zが最も小さい場合には、画像生成方法として Zを指定し、生成参照 GOPとして画 像 Cの GOPを指定する。
[0064] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号ィ匕データを出力しないことを 示すように GOP符号化有無情報を符号化する。また、生成参照 GOP符号化部 115 は、使用した GOPの番号を符号化する。
[0065] ここで、上述したように、画像を生成する際に使用する画像として Cの過去の画像を 選択する場合には、画像生成方法は Zに一意に決まるため、生成情報符号化部 116 は、画像生成方法を指定する情報を符号ィ匕する必要がな 、。
[0066] (8)平均二乗誤差 Dが最も小さ ヽ場合
Dが最も小さい場合には、 GOP内画像符号ィ匕部 110で符号ィ匕した符号ィ匕データを 出力する。
[0067] このとき、 GOP符号ィ匕有無情報符号ィ匕部 118は、符号化データを出力することを 示すように GOP符号化有無情報を符号化し、 GOP内画像符号化部 110は、符号化 した符号化データを出力する。
[0068] 即ち、上記（1)〜（7)の場合には、映像再生側でカメラ映像 Cの画像を、その画像 データを用いなくても生成できると判定され、（8)の場合には、その画像データを用
V、なくては該画像を生成できな 、と判定される。
このような前提の下、本発明の映像符号ィ匕装置はカメラ入力映像を次のように符号 化する。
[0069] (i)時刻 Tl, T2における符号化処理
まず、時刻 T1と T2において、画像 Aと画像 Bを符号化する。
[0070] 画像 Aについては、画像 A入力部 101で画像を入力して、画像 A符号ィ匕部 102は 画像を符号化し、画像 A復号部 103は符号化データを復号し、画像 A蓄積メモリ 104 は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 A蓄積メモリ 1 04には T1と T2における画像が蓄積される。
[0071] 画像 Bについては、画像 B入力部 105で画像を入力して、画像 B符号ィ匕部 106は 画像を符号化し、画像 B復号部 107は符号化データを復号し、画像 B蓄積メモリ 108 は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 B蓄積メモリ 1 08には T1と T2における画像が蓄積される。
[0072] 続いて、画像 C入力部 109は画像 Cを入力し、原画像蓄積メモリ 113は入力された 画像を蓄積する。 GOP内画像符号ィ匕部 110は T1と T2の画像を符号ィ匕し、画像 C復 号部 111は符号化データを復号して復号画像を復号画像蓄積メモリ 112に蓄積する
[0073] 続いて、画像生成部 114は、画像 A蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 Xおよび画像生成方法 Yを それぞれ適用して、画像を生成する。なお、前フレームが存在しないので、この時点 では、画像生成方法 Zを適用して画像を生成することはできな ヽ。
[0074] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dを求める（なお、この時点では平均二乗誤差 Zについては求 めることはできない）。そして、これらから、上述の（1)〜（8)の論理に従って GOPの 符号化情報を決定する。
[0075] そして、本発明の映像符号化装置は、決定した GOPの符号ィ匕情報に基づいて、符 号ィ匕有無情報を符号ィ匕して出力するとともに、符号化データを出力するか、生成参 照 GOPの番号および画像生成方法を示す情報を符号ィ匕して出力する。ただし、画 像生成方法 Zが用いられる場合には、画像生成方法を示す情報については符号ィ匕 する必要がな ヽ (なお、この時点では画像生成方法 Zが用いられることはな 、)。
[0076] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T1と T2の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP符号化決定部 117で決定された GOPの符号化情報に対応する画像 (即ち、選 択された生成方法により生成された画像)を蓄積する。
[0077] (ii)時刻 T3, T4における符号化処理
続いて、時刻 T3と T4において、時刻 T1と T2と同様な処理を行い、画像 Aと画像 B を符号化する。
[0078] 画像 A蓄積メモリ 104と画像 B蓄積メモリ 108に蓄積されていた復号画像は、最も古 いものから廃棄して、新しく復号された画像を蓄積する。これにより、各メモリには T3 と T4の復号画像が蓄積される。
[0079] 続いて、画像 C入力部 109は画像 Cを入力し、原画像蓄積メモリ 113は入力された 画像を蓄積する。このとき、原画像蓄積メモリ 113に蓄積されていた原画像は、最も 古いものから廃棄して、新しく入力された画像を蓄積する。これにより、原画像蓄積メ モリ 113〖こは T3と T4の原画像が蓄積される。 [0080] 続いて、 GOP内画像符号ィ匕部 110は T3と T4の画像を符号ィ匕し、画像 C復号部 11 1は符号化データを復号して復号画像を復号画像蓄積メモリ 112に蓄積する。このと き、復号画像蓄積メモリ 112に蓄積されていた復号画像は、最も古いものから廃棄し て、新しく復号された画像を蓄積する。これにより、復号画像蓄積メモリ 112には Τ2と Τ3と Τ4の復号画像が蓄積される。
[0081] 続いて、画像生成部 114は、画像 Α蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 X及び画像生成方法 Yを適 用して、それぞれ画像を生成する。更に、復号画像蓄積メモリ 112に蓄積された T2 の画像に対して、画像生成方法 Zを適用して、画像を生成する。
[0082] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dと Zを求める。そして、これらから、上述の（1)〜（8)の論理 に従って GOPの符号ィ匕情報を決定する。
[0083] そして、本発明の映像符号化装置は、決定した GOPの符号化情報に基づいて、符 号ィ匕有無情報を符号ィ匕して出力するとともに、符号化データを出力するか、生成参 照 GOPの番号および画像生成方法を示す情報を符号ィ匕して出力する。ただし、画 像生成方法 Zが選択される場合には、画像生成方法を示す情報については符号ィ匕 する必要がない。
[0084] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 100から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T3と T4の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP符号化決定部 117で決定された符号化情報に対応する画像を蓄積する。
[0085] 〔I 2〕第 1の実施形態例を実現する本発明の映像復号装置
次に、第 1の実施形態例を実現する本発明の映像復号装置について説明する。
[0086] 図 3に、第 1の実施形態例を実現する本発明の映像復号装置の装置構成の一例を 図示する。
[0087] この図に示すように、本発明の映像復号装置は、 (ィ)画像 A (カメラ入力映像 A)に対して、画像を復号する画像 A復号部 201と、画 像 A復号部 201の復号した画像を蓄積する画像 A蓄積メモリ 202とを備え、
(口）画像 B (カメラ入力映像 B)に対して、画像を復号する画像 B復号部 203と、画 像 B復号部 203の復号した画像を蓄積する画像 B蓄積メモリ 204とを備え、
(ハ)画像 C (カメラ入力映像 C)に対して、画像を復号する GOP内画像復号部 205 と、 GOP内画像復号部 205の復号した画像を蓄積する復号画像蓄積メモリ 206と、 画像 Cを生成する画像生成部 207と、画像 Cを生成する際に使用する GOPを指定す る情報 (具体的には GOPの番号)を復号する生成参照 GOP復号部 208と、画像じの 生成に用いられる画像生成方法を指定する情報を復号する生成情報復号部 209と 、GOPの画像を復号するかどうかを指定する情報を復号する GOP符号ィ匕有無情報 復号部 210とを備える。
[0088] 画像生成部 207と生成参照 GOP復号部 208と生成情報復号部 209とは、 GOPの 符号化データを復号しない場合、次のように動作する。
[0089] まず、生成参照 GOP復号部 208は、画像生成に使用する GOPの番号を復号して 得る。 GOPの番号が入力画像 Aまたは Bに属する場合には、続いて、生成情報復号 部 209は、画像生成方法を指定する情報を復号し、画像生成方法の情報として Xま たは Yを得る。一方、 GOPの番号が入力画像 Cに属する場合には、生成情報復号部
209は、画像生成方法を指定する情報を復号しない。
[0090] 続いて、画像生成部 207は、生成参照 GOP復号部 208で得られた GOP番号と、 生成情報復号部 209で得られた画像生成方法の情報の規定する画像生成方法とを 使って画像を生成する。ここで、 GOPの番号が入力画像 Cに属する場合には、画像 生成部 207は、画像生成方法として Zを使用する。
[0091] このような前提の下、本発明の映像復号装置は、本発明の映像符号化装置から出 力される符号化データを次のように復号する。
[0092] (i)時刻 Tl, T2における復号処理
まず、時刻 T1と T2において、画像 Aと画像 Bを復号する。
[0093] 画像 Aについては、画像 A復号部 201は符号化データを復号し、画像 A蓄積メモリ
202は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 A蓄積メ モリ 202には Tlと T2における画像が蓄積される。
[0094] 画像 Βにつ 、ては、画像 Β復号部 203は符号化データを復号し、画像 Β蓄積メモリ
204は復号画像を蓄積する。これを T1と Τ2の画像に対して実行する。画像 Β蓄積メ モリ 204には T1と Τ2における画像が蓄積される。
[0095] 続、て、画像 Cにつ 、て、 GOP符号ィ匕有無情報復号部 210は、 GOPの符号化デ 一タを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいず れかの処理を実行する。
[0096] すなわち、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指 示する情報を復号する場合には、 GOP内画像復号部 205は、符号化データを復号 して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄積する。
[0097] 一方、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指示し ない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に使用する
GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属するため（前フ レームが存在しないので、この時点では入力画像 Cに属することはない）、続いて、生 成情報復号部 209は、画像生成方法を指定する情報を復号し、画像生成方法の情 報として Xまたは Yを得る。これを受けて、画像生成部 207は、生成参照 GOP復号部
208で得られた GOP番号と、生成情報復号部 209で得られた画像生成方法の情報 の規定する画像生成方法とを使って画像を生成する。
[0098] 復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合には、復号画像 を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成部 207で生成され る画像を蓄積する。
[0099] (ii)時刻 T3, T4における復号処理
続いて、時刻 T3と T4において、時刻 T1と T2と同様な処理を行い、画像 Aと画像 B を復号し、画像 Aについては画像 A蓄積メモリ 202に復号画像を蓄積し、画像 Bにつ いては画像 B蓄積メモリ 204に復号画像を蓄積する。
[0100] 続いて、画像 Cについて、 GOP符号ィ匕有無情報復号部 210は、 GOPの符号化デ 一タを復号するかどうかを指定する情報を復号する。この情報に基づいて、次のいず れかの処理を実行する。 [0101] すなわち、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指 示する情報を復号する場合には、 GOP内画像復号部 205は、符号化データを復号 して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄積する。
[0102] 一方、 GOP符号ィ匕有無情報復号部 210が GOPの符号ィ匕データの復号を指示し ない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に使用する GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属する場合には 、続いて、生成情報復号部 209は、画像生成方法を指定する情報を復号し、画像生 成方法の情報として Xまたは Yを得る。一方、 GOPの番号が入力画像 Cに属する場 合には、生成情報復号部 209は、画像生成方法 Zが用いられていることを特定できる ので、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部 207 は、生成参照 GOP復号部 208で得られた GOP番号と、生成情報復号部 209で得ら れた画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。この とき、 GOPの番号が入力画像 Cに属する場合には、画像生成方法 Zを使用する。
[0103] 復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合には、 Tl, T2の 画像を廃棄して復号画像を蓄積し、 GOPの符号化データを復号しない場合には、 T 1, T2の画像を廃棄して、画像生成部 207で生成される画像を蓄積する。
[0104] 以上により、本発明の映像符号ィ匕装置は T1と T2と T3と T4の画像を符号ィ匕し、一 方、本発明の映像復号装置は符号化データを復号、または画像を生成することによ り同時刻の画像を得ることができる。
[0105] 〔II〕第 2の実施形態例
次に、第 2の実施形態例について説明する。
[0106] 第 1の実施形態例では、 GOPは 2フレームとして予め決定しておいた力 GOPをフ レーム毎に別にするかどうかを適応的に決定してもよい。第 2の実施形態例は、この 構成を実現するものである。
[0107] 図 4に、第 2の実施形態例を実現する本発明の映像符号化装置の装置構成の一 例を図示する。ここで、図中、図 2で説明したものと同じものについては同一の記号で 示してある。
[0108] 第 1の実施形態例との違いは、 GOPの符号ィ匕情報を蓄積する GOP情報蓄積メモリ 119を備えることである。また、 GOPヘッダ Z符号ィ匕有無情報符号ィ匕部 1180は、符 号化有無情報の符号化に加え、 GOPの先頭に GOPヘッダを符号ィヒする処理を行う 。 GOPヘッダは固有のビットパターンで構成される固定長の符号である。
[0109] 第 2の実施形態例を実現する本発明の映像復号装置の装置構成 (図 6に示す)は、 図 3に示す第 1の実施形態例と同様である。ただし、 GOPヘッダ Z符号化有無情報 復号部 2100は、各フレームにおいて GOPヘッダの有無をチェックして、 GOPヘッダ が検出されると、別の (独立した) GOPとして復号処理を行う。
[0110] 〔II 1〕第 2の実施形態例における符号化処理
第 2の実施形態例におけるカメラ入力映像 Aと Bと Cの符号ィ匕方法は次のようになる
[0111] まず、時刻 T1と T2の画像 Aと Bについて、第 1の実施形態例と同様に画像を符号 化して復号画像を得る。画像 A蓄積メモリ 104と画像 B蓄積メモリ 108には T1と T2の 復号画像が蓄積される。
[0112] すなわち、画像 Aについては、画像 A入力部 101で画像を入力して、画像 A符号化 部 102は画像を符号化し、画像 A復号部 103は符号化データを復号し、画像 A蓄積 メモリ 104は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 A 蓄積メモリ 104には T1と T2における画像が蓄積される。
[0113] また、画像 Bについては、画像 B入力部 105で画像を入力して、画像 B符号化部 10 6は画像を符号化し、画像 B復号部 107は符号化データを復号し、画像 B蓄積メモリ 108は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 B蓄積メ モリ 108には T1と T2における画像が蓄積される。
[0114] (i)時刻 T1における画像 Cの符号化処理
続いて、時刻 T1の画像 Cについて、まず、画像 C入力部 109は画像を入力し、原 画像蓄積メモリ 113は入力された画像を蓄積する。 GOP内画像符号ィ匕部 110は時 刻 T1の画像を符号化し、画像 C復号部 111は符号化データを復号して復号画像を 復号画像蓄積メモリ 112に蓄積する。
[0115] 続いて、画像生成部 114は、画像 A蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 X及び画像生成方法 Yをそ れぞれ適用して、時刻 Tlの画像を生成する。なお、前フレームが存在しないので、こ の時点では、画像生成方法 Zを適用して画像を生成することはできな ヽ。
[0116] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dを求める（なお、この時点では平均二乗誤差 Zについては求 めることができない）。そして、これらから、上述の（1)〜（8)の論理に従って GOPの 符号化情報を決定する。
[0117] そして、 GOP符号ィ匕決定部 117は、決定した GOPの符号ィ匕情報を GOP情報蓄積 メモリ 119に蓄積し、 GOP符号ィ匕有無情報符号ィ匕部 1180は、 GOPヘッダを符号ィ匕 して出力する。
[0118] そして、本発明の映像符号化装置は、決定した GOPの符号ィ匕情報に基づいて、符 号ィ匕有無情報を符号ィ匕して出力するとともに、符号化データを出力するか、生成参 照 GOPの番号および画像生成方法を示す情報を符号ィ匕して出力する。ただし、画 像生成方法 Zが用いられる場合には、画像生成方法を示す情報については符号ィ匕 する必要がな ヽ (なお、この時点では画像生成方法 Zが用いられることはな 、)。
[0119] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T1の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP 符号化決定部 117で決定された GOPの符号化情報に対応する画像を蓄積する。
[0120] (ii)時刻 T2における画像 Cの符号化処理
続いて、時刻 T2の画像 Cについて、まず、画像 C入力部 109は画像を入力し、原 画像蓄積メモリ 113は入力された画像を蓄積する。 GOP内画像符号ィ匕部 110は時 刻 T2の画像を符号化し、画像 C復号部 111は符号化データを復号して復号画像を 復号画像蓄積メモリ 112に蓄積する。
[0121] 続いて、画像生成部 114は、画像 A蓄積メモリ 104に蓄積された画像と、画像 B蓄 積メモリ 108に蓄積された画像に対して、画像生成方法 X及び画像生成方法 Yをそ れぞれ適用して、時刻 T2の画像を生成する。更に、復号画像蓄積メモリ 112に蓄積 された画像に対して画像生成方法 Zを適用して、時刻 T2の画像を生成する。
[0122] これらの処理を受けて、 GOP符号ィ匕決定部 117は、画像生成部 114で生成された 画像と、復号画像蓄積メモリ 112に蓄積された画像とを使って、平均二乗誤差 Xaと X bと Xcと Yaと Ybと Ycと Dと Zを求める。そして、これらから、上述の（1)〜（8)の論理 に従って GOPの符号ィ匕情報を決定する。
[0123] 続いて、 GOP符号ィ匕決定部 117は、ここで決定した GOPの符号ィ匕情報と、 GOP 情報蓄積メモリ 119に蓄積されている GOPの符号ィ匕情報とを比較し、両者の GOPの 符号ィ匕情報が異なる場合には、別の GOPとして画像を符号ィ匕することを決定し、両 者の GOPの符号ィ匕情報が同じ場合には、同じ GOPとして画像を符号ィ匕することを決 定する。
[0124] そして、 GOP符号ィ匕決定部 117は、決定した GOPの符号ィ匕情報を GOP情報蓄積 メモリ 119に蓄積する。以後は、具体的には次のように動作する。
[0125] (ii—l)別の GOPとして符号ィ匕する場合
別の GOPとして符号ィ匕する場合には、 GOPヘッダ Z符号ィ匕有無情報符号ィ匕部 11 80は、 GOPヘッダを符号ィ匕して出力する。そして、本発明の映像符号化装置は、決 定した GOPの符号ィ匕情報に基づいて、符号ィ匕有無情報を符号ィ匕して出力するととも に、符号化データを出力するか、生成参照 GOPの番号および画像生成方法を示す 情報を符号ィ匕して出力する。ただし、画像生成方法 Zが用いられている場合には、画 像生成方法を示す情報につ!、ては符号化する必要がな 、。
[0126] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T2の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP 符号化決定部 117で決定された GOPの符号化情報に対応する画像を蓄積する。
[0127] (ii- 2)同じ GOPとして符号ィ匕する場合
同じ GOPとして符号ィ匕する場合で、 GOP内画像符号ィ匕部 110から符号ィ匕データ を出力する場合には、そのフレームの符号ィ匕データを出力し、一方、 GOP内画像符 号ィ匕部 110から符号ィ匕データを出力しない場合には、復号側に通知済みの 1つ前の 時刻の Tlにおける GOPの符号ィ匕情報により復号側で画像生成方法を特定できるの で、何も出力しない。
[0128] ここで、復号画像蓄積メモリ 112は、 GOP内画像符号ィ匕部 110から符号ィ匕データ が出力される場合には、画像 C復号部 111で得られる復号画像を蓄積し続ける。一 方、 GOP内画像符号ィ匕部 110から符号ィ匕データが出力されない場合には、蓄積さ れている T2の復号画像を廃棄して、画像生成部 114で生成される画像のうち、 GOP 符号化決定部 117で決定された符号化情報に対応する画像を蓄積する。
[0129] 〔II 2〕第 2の実施形態例における復号処理
これに対応する第 2の実施形態例における復号処理は次のように動作する。
[0130] まず、時刻 T1と T2の画像 Aと Bについて、第 1の実施形態例と同様に画像を復号 して復号画像を得る。画像 A蓄積メモリ 202と画像 B蓄積メモリ 204には T1と T2の復 号画像が蓄積される。
[0131] すなわち、画像 Aについては、画像 A復号部 201は符号化データを復号し、画像 A 蓄積メモリ 202は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画 像 A蓄積メモリ 202には T1と T2における画像が蓄積される。
[0132] また、画像 Bについては、画像 B復号部 203は符号化データを復号し、画像 B蓄積 メモリ 204は復号画像を蓄積する。これを T1と T2の画像に対して実行する。画像 B 蓄積メモリ 204には T1と T2における画像が蓄積される。
[0133] (i)時刻 Tlにおける画像 Cの復号処理
続いて、時刻 T1の画像 Cについて、 GOPヘッダ Z符号ィ匕有無情報復号部 2100 は、 GOPヘッダの有無をチェックする。 GOPヘッダがあるので、 GOPヘッダ Z符号 化有無情報復号部 2100は、続いて、 GOPの符号ィ匕データを復号するかどうかを指 定する情報 (符号化有無情報)を復号する。この情報に基づいて、次のいずれかの 処理を実行する。
[0134] すなわち、 GOPヘッダ Z符号化有無情報復号部 2100が GOPの符号化データの 復号を指示する情報を復号する場合には、 GOP内画像復号部 205は、符号化デー タを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄 積する。 [0135] 一方、 GOPヘッダ Z符号ィ匕有無情報復号部 2100が GOPの符号ィ匕データの復号 を指示しない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に 使用する GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属する ため（先頭フレームであるので、この時点では入力画像 Cに属することはない）、続い て、生成情報復号部 209は、画像生成方法を指定する情報を復号し、画像生成方 法の情報として Xまたは Yを得る。これを受けて、画像生成部 207は、生成参照 GOP 復号部 208で得られた GOP番号と、生成情報復号部 209で得られた画像生成方法 の情報の規定する画像生成方法とを使って画像を生成する。
[0136] これを受けて、復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合 には、復号画像を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成 部 207で生成される画像を蓄積する。
[0137] (ii)時刻 T2における画像 Cの復号処理
(ii- 1) GOPヘッダが検出される場合の復号処理 (GOPの符号ィ匕情報が符号ィ匕さ れている場合）
続いて、時刻 T2の画像 Cについて、 GOPヘッダ Z符号化有無情報復号部 2100 は、 GOPヘッダの有無をチェックする。 GOPヘッダを検出する場合には、更に、 GO Pの符号ィ匕データを復号するかどうかを指定する情報を復号する。この情報に基づ いて、次のいずれかの処理を実行する。
[0138] すなわち、 GOPヘッダ Z符号化有無情報復号部 2100が GOPの符号化データの 復号を指示する情報を復号する場合には、 GOP内画像復号部 205は、符号化デー タを復号して画像を出力し、更に、その復号した画像を復号画像蓄積メモリ 206に蓄 積する。
[0139] 一方、 GOPヘッダ Z符号ィ匕有無情報復号部 2100が GOPの符号ィ匕データの復号 を指示しない情報を復号する場合には、生成参照 GOP復号部 208は、画像生成に 使用する GOPの番号を復号して得る。 GOPの番号が入力画像 Aまたは Bに属する 場合は、続いて、生成情報復号部 209は、画像生成方法を指定する情報を復号し、 画像生成方法の情報として Xまたは Yを得る。 GOPの番号が入力画像 Cに属する場 合は、生成情報復号部 209は、画像生成方法 Zが用いられていることを特定できるの で、画像生成方法を指定する情報を復号しない。これを受けて、画像生成部 207は 、生成参照 GOP復号部 208で得られた GOP番号と、生成情報復号部 209で得られ た画像生成方法の情報の規定する画像生成方法とを使って画像を生成する。 GOP の番号が入力画像 Cに属する場合には、画像生成方法 Zを使用する。
[0140] これを受けて、復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合 には、復号画像を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成 部 207で生成される画像を蓄積する。
[0141] (ii- 2) GOPヘッダが検出されな 、場合の復号処理 (GOPの符号化情報が符号化 されていない場合）
GOPヘッダ Z符号ィ匕有無情報復号部 2100が GOPヘッダを検出しない場合には 、次のように動作する。
[0142] すなわち、前フレームで符号ィ匕データを復号した場合には、 GOP内画像復号部 2 05は、現フレームにおいて符号ィ匕データを復号して画像を出力し、更に、その復号 した画像を復号画像蓄積メモリ 206に蓄積する。
[0143] 一方、前フレームで符号ィ匕データを復号しな力つた場合には、現フレームにおいて 前フレームにおける GOPの符号ィ匕情報と同一の GOPの符号ィ匕情報が用いられて ヽ ることに対応して、生成参照 GOP復号部 208が前フレームで得た GOPの番号を復 号処理に用いる。この場合、 GOPの番号が入力画像 Aまたは Bに属する場合には、 生成情報復号部 209が前フレームで画像生成方法を指定する情報として Xまたは Y を得ているので、それを使って復号処理を行う。なお、ここでは、前フレームは先頭フ レームであるので、 GOPの番号が入力画像 Cに属することはないが、 GOPヘッダが 検出されな 、場合の一般の復号処理として、 GOPの番号が入力画像 Cに属する場 合には生成情報復号部 209が前フレームで画像生成方法を指定する情報を復号し ていないことで、画像生成方法を指定する情報として Zを得ているので、それを使つ て復号処理を行う。
[0144] したがって、画像生成部 207は、生成参照 GOP復号部 208が前フレームで得た G OP番号と、生成情報復号部 209が前フレームで得た画像生成方法の情報とを使つ て画像を生成する。 [0145] これを受けて、復号画像蓄積メモリ 206は、 GOPの符号化データを復号する場合 には、復号画像を蓄積し、 GOPの符号ィ匕データを復号しない場合には、画像生成 部 207で生成される画像を蓄積する。
[0146] 以上の動作により、 GOP構成が予め決定されていない場合であっても、本発明の 映像符号ィ匕装置は画像を符号ィ匕し、本発明の映像復号装置は符号化データを復号 することができる。このとき得られる符号ィ匕データの GOPは図 5のような構成になる。
[0147] 図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるもので はない。
[0148] 例えば、実施形態例では、 Cの画像の生成方法を決定するために、 Aと Bの復号画 像を使用したが、 Aと Bの原画像を使用してもよい。この場合には、映像符号化装置 に、画像 A符号ィ匕部 102と画像 A復号部 103と画像 B符号ィ匕部 106と画像 B復号部 107とを備える必要はない。
[0149] また、実施形態例では、画像生成方法として Xと Yを用意したが、 Vヽずれかのみ用 意してもよい。この場合には、映像符号化装置に、生成情報符号化部 116を備える 必要がないとともに、映像復号装置に、生成情報復号部 209を備える必要がない。
[0150] また、実施形態例では、画像生成方法として Zを用意したが、これを用意しなくても よい。この場合には、 Cの復号画像を蓄積する必要がないため、映像符号化装置に 、画像 C復号部 111と復号画像蓄積メモリ 112とを備える必要がないとともに、映像復 号装置に、復号画像蓄積メモリ 206を備える必要がない。
[0151] また、実施形態例では説明しな力 たが、画像生成をするために使用するカメラ入 力映像が予め決められている場合には、生成に使用する GOPを指定する必要がな いため、映像符号化装置に、生成参照 GOP符号ィ匕部 115を備える必要がないととも に、映像復号装置に、生成参照 GOP復号部 208を備える必要がない。
[0152] また、実施形態例では、 Cの画像を生成するために、同時刻の Aまたは Bの画像を 使用したが、過去の Aまたは Bの画像を使用しても良ぐまた、複数の過去の画像を 使用してちょい。
産業上の利用可能性
[0153] 映像再生側で画像を生成できるかどうかを符号ィ匕時に判定し、更に生成することを 示す情報を符号ィ匕することが可能となるため、画像符号ィ匕側で映像を符号ィ匕しない ことを制御できるようになり、これにより符号ィ匕効率を向上できる。従って、視点位置 や視線方向を変更することを可能とする映像技術などに好適となる映像符号化'復 号技術を提供できる。

Claims

請求の範囲
[1] 複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1つの映像として 符号ィ匕する映像符号ィ匕方法であって、
各 GOPに含まれる画像を符号ィ匕するかどうかを決定する GOP符号ィ匕決定ステップ と、
当該 GOPに含まれる画像の符号化データを出力するかどうかを示す GOP符号ィ匕 有無情報を符号化する GOP符号化有無情報符号化ステップと、
当該 GOPに含まれる画像の符号化データを出力する場合に、該 GOPに含まれる 画像を符号化する GOP内画像符号化ステップと
を有する映像符号化方法。
[2] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
上記 GOP符号ィ匕決定ステップでは、当該 GOPの符号化データの復号によらずに 他の 1以上の GOPを用いて生成される画像の方が符号ィ匕データの復号により得られ る画像よりも原画像に近いか否かを判断することにより、当該 GOPに含まれる画像を 符号ィ匕するかどうかを決定する映像符号ィ匕方法。
[3] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を符号ィ匕する生成参照 GOP符号化ステップ
を更に有する映像符号ィ匕方法。
[4] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する 生成情報符号化ステップ
を更に有する映像符号ィ匕方法。
[5] 複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1つの映像として 符号ィ匕することで生成された符号ィ匕データを復号する映像復号方法であって、 各 GOPに含まれる画像の符号化データを復号するかどうかを示す GOP符号化有 無情報を復号する GOP符号化有無情報復号ステップと、
当該 GOPに含まれる画像の符号化データを復号する場合に、 GOPに含まれる画 像を復号する GOP内画像復号ステップと
を有する映像復号方法。
[6] 請求項 5に記載の映像復号方法において、
当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を復号する生成参照 GOP復号ステップ
を更に有する映像復号方法。
[7] 請求項 5に記載の映像復号方法において、
当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生 成情報復号ステップ
を更に有する映像復号方法。
[8] 複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1つの映像として 符号化する映像符号化装置であって、
各 GOPに含まれる画像を符号化するかどうかを決定する GOP符号化決定部と、 当該 GOPに含まれる画像の符号化データを出力するかどうかを示す GOP符号ィ匕 有無情報を符号化する GOP符号化有無情報符号化部と、
当該 GOPに含まれる画像の符号化データを出力する場合に、 GOPに含まれる画 像を符号化する GOP内画像符号化部と
を備える映像符号化装置。
[9] 請求項 8に記載の映像符号化装置において、
上記 GOP符号化決定部は、当該 GOPの符号化データの復号によらずに他の 1以 上の GOPを用いて生成される画像の方が符号ィ匕データの復号により得られる画像よ りも原画像に近いのか否かを判断することにより、当該 GOPに含まれる画像を符号 化するかどうかを決定する映像符号ィ匕装置。
[10] 請求項 8に記載の映像符号ィ匕装置において、 当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、他の 1以上の GOPを指定する生成参照 GOP指定 情報を符号化する生成参照 GOP符号化部
を更に備える映像符号化装置。
[11] 請求項 8に記載の映像符号ィ匕装置において、
当該 GOPに含まれる画像の符号化データを出力しない場合に、該 GOPに含まれ る画像を生成する際に使用する、画像生成手法を指定する生成情報を符号化する 生成情報符号化部
を更に備える映像符号化装置。
[12] 複数の画像を複数の GOPで構成して、それぞれの GOPの画像を 1つの映像として 符号ィ匕することで生成された符号ィ匕データを復号する映像復号装置であって、 各 GOPに含まれる画像の符号化データを復号するかどうかを示す GOP符号化有 無情報を復号する GOP符号化有無情報復号部と、
当該 GOPに含まれる画像の符号化データを復号する場合に、 GOPに含まれる画 像を復号する GOP内画像復号部と
を備える映像復号装置。
[13] 請求項 12に記載の映像復号装置において、
当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、 1以上の他の GOPを指定する生成参照 GOP指定 情報を復号する生成参照 GOP復号部
を更に備える映像復号装置。
[14] 請求項 12に記載の映像復号装置において、
当該 GOPに含まれる画像の符号化データを復号しない場合に、該 GOPに含まれ る画像を生成する際に使用する、画像生成手法を指定する生成情報を復号する生 成情報復号部
を更に備える映像復号装置。
[15] 請求項 1な!、し 4の 、ずれか 1項に記載の映像符号ィヒ方法の実現に用いられる処 理をコンピュータに実行させるための映像符号ィ匕プログラム。
[16] 請求項 1な!、し 4の 、ずれか 1項に記載の映像符号ィヒ方法の実現に用いられる処 理をコンピュータに実行させるための映像符号ィ匕プログラムを記録したコンピュータ 読み取り可能な記録媒体。
[17] 請求項 5ないし 7のいずれか 1項に記載の映像復号方法の実現に用いられる処理 をコンピュータに実行させるための映像復号プログラム。
[18] 請求項 5な 、し 7の 、ずれか 1項に記載の映像復号方法の実現に用いられる処理 をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み 取り可能な記録媒体。
PCT/JP2005/018187 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 WO2006038568A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006539271A JP4805160B2 (ja) 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
EP05787580A EP1798981A4 (en) 2004-10-07 2005-09-30 VIDEO CODING METHOD AND DEVICE, VIDEO CODING METHOD AND DEVICE, PROGRAM THEREFOR AND RECORDING MEDIA CONTAINING THE PROGRAMS
US10/588,404 US8275048B2 (en) 2004-10-07 2005-09-30 Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-294414 2004-10-07
JP2004294414 2004-10-07

Publications (1)

Publication Number Publication Date
WO2006038568A1 true WO2006038568A1 (ja) 2006-04-13

Family

ID=36142642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/018187 WO2006038568A1 (ja) 2004-10-07 2005-09-30 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Country Status (7)

Country Link
US (1) US8275048B2 (ja)
EP (1) EP1798981A4 (ja)
JP (1) JP4805160B2 (ja)
KR (1) KR100972222B1 (ja)
CN (2) CN1918917A (ja)
TW (1) TWI285054B (ja)
WO (1) WO2006038568A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885709B2 (en) 2008-09-18 2014-11-11 Panasonic Corporation Image decoding device, image coding device, image decoding method, image coding method, and program
JP2015146621A (ja) * 2006-07-06 2015-08-13 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
US10244231B2 (en) 2006-07-06 2019-03-26 Interdigital Vc Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4886689B2 (ja) * 2005-07-15 2012-02-29 パナソニック株式会社 パケット送信装置
US10547860B2 (en) * 2015-09-09 2020-01-28 Avago Technologies International Sales Pte. Limited Video coding with trade-off between frame rate and chroma fidelity
CN111641824B (zh) * 2019-03-01 2022-08-05 杭州海康威视数字技术股份有限公司 视频倒放方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264522A (ja) * 1989-04-04 1990-10-29 Matsushita Electric Ind Co Ltd 符号化装置
JPH05130586A (ja) * 1991-10-31 1993-05-25 Sony Corp 映像信号伝送装置
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JPH07143494A (ja) * 1993-11-19 1995-06-02 Sanyo Electric Co Ltd 動画像符号化方法
JPH07154799A (ja) * 1993-11-26 1995-06-16 Sanyo Electric Co Ltd 動画像符号化方法
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
WO2000011597A1 (en) 1998-08-19 2000-03-02 Physical Optics Corporation Method of multichannel data compression
JP2000278715A (ja) * 1999-03-24 2000-10-06 Minolta Co Ltd 立体画像表示データ生成方法、立体画像表示データ生成装置および立体画像表示データを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
JP3183155B2 (ja) 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
CN100534185C (zh) * 1996-11-07 2009-08-26 松下电器产业株式会社 图像编码装置和图像解码装置
KR100326641B1 (ko) * 1996-12-06 2002-08-27 마츠시타 덴끼 산교 가부시키가이샤 영상신호의전송,부호화,복호화방법및장치와광디스크의기록및재생방법
JP2952226B2 (ja) 1997-02-14 1999-09-20 日本電信電話株式会社 動画像の予測符号化方法および復号方法、動画像予測符号化または復号プログラムを記録した記録媒体、および、動画像予測符号化データを記録した記録媒体
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
CA2311770C (en) * 1998-01-27 2003-12-09 Sharp Kabushiki Kaisha Video image coding device and video image decoding device
TW555114U (en) 2002-09-02 2003-09-21 Chung Shan Inst Of Science Real-time three-dimensional image acquistion and reconstuction device
JP2004140630A (ja) * 2002-10-18 2004-05-13 Fujitsu Ltd フレーム間引き処理を行うための画像圧縮方法及び装置
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US20060047674A1 (en) * 2004-09-01 2006-03-02 Mohammed Zubair Visharam Method and apparatus for supporting storage of multiple camera views

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264522A (ja) * 1989-04-04 1990-10-29 Matsushita Electric Ind Co Ltd 符号化装置
JPH05130586A (ja) * 1991-10-31 1993-05-25 Sony Corp 映像信号伝送装置
JPH0698312A (ja) * 1992-09-16 1994-04-08 Fujitsu Ltd 画像高能率符号化方式
JPH07143494A (ja) * 1993-11-19 1995-06-02 Sanyo Electric Co Ltd 動画像符号化方法
JPH07154799A (ja) * 1993-11-26 1995-06-16 Sanyo Electric Co Ltd 動画像符号化方法
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
WO2000011597A1 (en) 1998-08-19 2000-03-02 Physical Optics Corporation Method of multichannel data compression
JP2000278715A (ja) * 1999-03-24 2000-10-06 Minolta Co Ltd 立体画像表示データ生成方法、立体画像表示データ生成装置および立体画像表示データを記録したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AHDINOGLU H ET AL.: "PROCEEDING OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCEEDING (ICIP) AUSTIN", vol. 2, 13 November 1994, IEEE COMP. SOC. PRESS, article "Compression of multi-view images", pages: 385 - 389
HIROSHI FUJIWARA: "Point Zukaishiki Saishin MPEG Kyokasho", 1 August 1994 (1994-08-01), ASCII CORP., pages 118 - 119, XP002998998 *
KIMATA H. ET AL: "System design of free viewpoint video communication", THE FOURTH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION TECHNOLOGY 2004, 14 September 2004 (2004-09-14), pages 52 - 59, XP010743221 *
M. KAWAURA, T. ISHIGAMI, T. FUJII, T. KIMOTO, M. TANIMOTO: "Efficient Vector Quantization of Epipolar Plane Images of Ray Space By Dividing into Oblique Blocks", PICTURE CODING SYMPOSIUM 2001, 2001, pages 203 - 206
See also references of EP1798981A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015146621A (ja) * 2006-07-06 2015-08-13 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチビュービデオ符号化及び復号化のためにフレームナンバー及び／又はピクチャオーダカウント（ｐｏｃ）を分離する方法及び装置
US9641842B2 (en) 2006-07-06 2017-05-02 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
US10244231B2 (en) 2006-07-06 2019-03-26 Interdigital Vc Holdings, Inc. Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
US8885709B2 (en) 2008-09-18 2014-11-11 Panasonic Corporation Image decoding device, image coding device, image decoding method, image coding method, and program

Also Published As

Publication number Publication date
TWI285054B (en) 2007-08-01
CN103179400A (zh) 2013-06-26
US20080317115A1 (en) 2008-12-25
EP1798981A4 (en) 2011-03-16
KR100972222B1 (ko) 2010-07-23
TW200621032A (en) 2006-06-16
CN1918917A (zh) 2007-02-21
JP4805160B2 (ja) 2011-11-02
EP1798981A1 (en) 2007-06-20
JPWO2006038568A1 (ja) 2008-05-15
CN103179400B (zh) 2016-10-05
KR20060118592A (ko) 2006-11-23
US8275048B2 (en) 2012-09-25

Similar Documents

Publication Publication Date Title
JP5580453B2 (ja) 直接モード符号化及び復号化装置
KR101859155B1 (ko) 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝
KR101103723B1 (ko) 영상 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
US20070103558A1 (en) Multi-view video delivery
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
JP2010515400A (ja) 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2008167449A (ja) 映像の符号化、復号化方法及び装置
JP2022501870A (ja) ビデオ符号化及び復号化
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2022501868A (ja) ビデオ符号化の動きベクトル予測子インデックス符号化
JP4805160B2 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
CN101523918B (zh) 视频编码
US8594195B2 (en) Method and apparatus for encoding and decoding at least one image frame that is artificially inserted into image sequence
JP2005303773A (ja) 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
GB2585017A (en) Video coding and decoding
JPH08307860A (ja) シーン再エンコード装置
JP2003125410A (ja) 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
TW201943279A (zh) 用於編碼在一視訊流中之一序列視框之方法、裝置及系統
JP2003125408A (ja) 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5946980B1 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
JP5750191B2 (ja) 画像復号化方法
JP2000270333A (ja) 画像信号符号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006539271

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2005787580

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10588404

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200580005004.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 1020067016556

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1020067016556

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005787580

Country of ref document: EP