WO2012098776A1 - 画像符号化装置及び画像復号装置 - Google Patents

画像符号化装置及び画像復号装置 Download PDF

Info

Publication number
WO2012098776A1
WO2012098776A1 PCT/JP2011/078135 JP2011078135W WO2012098776A1 WO 2012098776 A1 WO2012098776 A1 WO 2012098776A1 JP 2011078135 W JP2011078135 W JP 2011078135W WO 2012098776 A1 WO2012098776 A1 WO 2012098776A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
prediction
image
vector
frame
Prior art date
Application number
PCT/JP2011/078135
Other languages
English (en)
French (fr)
Inventor
亮司 橋本
誠二 望月
憲一 岩田
Original Assignee
ルネサスエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルネサスエレクトロニクス株式会社 filed Critical ルネサスエレクトロニクス株式会社
Priority to CN201180065477.2A priority Critical patent/CN103329534B/zh
Priority to US13/978,136 priority patent/US9787981B2/en
Priority to JP2012553573A priority patent/JP5625073B2/ja
Priority to KR1020177035944A priority patent/KR101912059B1/ko
Priority to KR1020137018980A priority patent/KR101811090B1/ko
Priority to EP11856135.6A priority patent/EP2667613A4/en
Publication of WO2012098776A1 publication Critical patent/WO2012098776A1/ja
Priority to US15/697,143 priority patent/US10306236B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image encoding apparatus that performs predictive encoding of an image and an image decoding apparatus that performs predictive decoding on information that has been predictively encoded.
  • a mobile phone a navigation system, a DVD (Digital Versatile Disc) / HDD (Hard Disk)
  • the present invention relates to a technology that is effective when applied to a moving image encoding / decoding device such as a drive / BD (blue-ray disc) recorder, a digital video camera, a digital camera, a digital television, and a telephone conference system.
  • a moving image encoding / decoding device such as a drive / BD (blue-ray disc) recorder, a digital video camera, a digital camera, a digital television, and a telephone conference system.
  • BD blue-ray disc
  • a single image is composed of, for example, luminance and two color differences. This format is called YCbCr.
  • a moving image is composed of a plurality of continuous images. In the current terrestrial digital broadcasting, the number is about 30 per second. Based on this, the generation method of a prediction image is roughly classified into two types. One is a method of performing prediction within the same screen using a single image (intraframe prediction or intraframe prediction), and the other is a method of performing prediction between screens using the feature of continuous images. (Interframe prediction or interframe prediction). In general, since the correlation between consecutive images is high in moving images, inter-screen prediction has higher encoding efficiency than intra-screen prediction. However, an image encoded only by intra prediction is necessary for the beginning of a moving image, improvement of random accessibility during playback, and recovery from an error. Generally, once every 0.5 seconds to 2 seconds Inserted to some extent.
  • Non-patent documents 1 and 2 describe each of the intra-screen prediction method and the inter-screen prediction method.
  • an encoding process is performed in a processing unit called a macroblock obtained by dividing an image into 16 pixels ⁇ 16 lines.
  • the predicted image generation unit is an 8 ⁇ 8, 4 ⁇ 4 unit, or the like obtained by further subdividing the inside of the macroblock (hereinafter, the predicted image generation unit is referred to as “block” in this paper).
  • a predicted image is generated using an encoded / decoded image.
  • reference index reference index: (reference index)
  • motion vector motion vector :
  • the reference index indicates an image to be used for prediction, and is assigned, for example, such that the previous frame of the current image is index 0 and the previous frame is index 1.
  • the motion vector is the position of the current block. This is a difference value from the position of the image used for prediction, and since the image is two-dimensional information, it is composed of two values: a horizontal component and a vertical component. Only vectors are encoded.
  • Non-Patent Documents 1 and 2 nine types such as a method of predicting from the left and upper pixels are defined. Also, there are prediction methods for luminance and color difference, and the prediction methods for luminance and color difference may be different. Patent Documents 1 and 2 exist as other intra-screen prediction methods. In these documents, a predicted image is generated by designating a reference position in the same screen by a vector. That is, high encoding efficiency is realized for a periodic discrete pattern by using an image that is currently encoded / decoded for prediction instead of an encoded / decoded image in inter-screen prediction.
  • Patent Document 1 the encoding efficiency is improved by changing the unit for creating a predicted image to 16 ⁇ 16 and 8 ⁇ 8. Further, in Patent Document 2, there are many unencoded areas by interpolating an area that has not yet been encoded / decoded (referred to as an unencoded area hereinafter) included in the reference range using a multiplication vector. A decrease in encoding efficiency when referring to the included range is suppressed. This prediction method is hereinafter referred to as vector prediction.
  • prediction methods include inter-frame prediction and intra-frame prediction
  • intra-frame prediction includes the vector prediction and other prediction methods.
  • the image cannot be decoded unless it is accurately transmitted which prediction method is used.
  • the present inventor indicates that it is necessary to reduce the data size of even one bit of information indicating what encoding method is used in units of blocks. It was found by.
  • An object of the present invention is to provide an image encoding device capable of guaranteeing decoding of information encoded by intraframe predictive encoding using vector information in terms of transmission of an encoding method.
  • Another object of the present invention is to provide an image decoding apparatus capable of guaranteeing decoding of information encoded by intraframe predictive encoding using vector information in terms of receipt of an encoding method. .
  • the prediction coding is performed by obtaining an error between the information of the divided image to be subjected to the predictive coding of the image and the prediction information, and the information of the divided image according to the processing sequence of the predictive coding.
  • a data stream in which information for specifying a prediction method and information that has been predictively encoded by the method is arranged for each process is generated.
  • the prediction method is intra-frame predictive coding using vector information
  • the data stream includes vector information and predictive-coded information for each process on the divided image information. It has a pair with the error information.
  • decoding of information encoded by intraframe prediction encoding using vector information can be ensured in terms of transmission and reception of the encoding method.
  • FIG. 1 is a flowchart illustrating a processing procedure of an encoding process (decoding process) by a stream encoding unit (decoding unit).
  • FIG. 2 is a block diagram illustrating an image encoding device and an image decoding device applied to a moving image encoding / decoding device such as a mobile phone or a DVD / HDD / BD recorder.
  • FIG. 3 is an explanatory diagram of a prediction vector.
  • FIG. 4 is an explanatory diagram of vector information and the like.
  • FIG. 5 is an explanatory diagram illustrating the arrangement of the data streams according to FIG.
  • FIG. 6 is a flowchart illustrating another processing procedure of the encoding process (decoding process) by the stream encoding unit (decoding unit).
  • FIG. 7 is an explanatory diagram illustrating the arrangement of the data stream according to FIG.
  • FIG. 8 is an explanatory diagram showing a specific example of designation of a reference frame by a reference index (reference index).
  • FIG. 9 is a flowchart illustrating still another processing procedure of encoding processing (decoding processing) by the stream encoding unit (decoding unit).
  • FIG. 10 is an explanatory diagram illustrating the arrangement of the data stream according to FIG.
  • FIG. 11 is an explanatory diagram illustrating the relationship between part size (part_size) and vector mode (vec_mode) value assignments and pred mode (pred_mode) value assignments.
  • FIG. 12 is a flowchart illustrating still another processing procedure of the encoding process (decoding process) by the stream encoding unit (decoding unit).
  • FIG. 13 is an explanatory diagram illustrating the arrangement of the data stream according to FIG.
  • FIG. 14 is a flowchart illustrating still another processing procedure of the encoding process (decoding process) by the stream encoding unit (decoding unit).
  • FIG. 15 is an explanatory diagram illustrating the arrangement of the data stream according to FIG.
  • FIG. 16 is a block diagram showing a specific example of an image encoding device.
  • FIG. 17 is a block diagram showing a specific example of an image decoding apparatus.
  • An image encoding device (10) performs prediction encoding by obtaining an error between information of a divided image to be subjected to prediction encoding of an image and prediction information.
  • An image encoding unit information for specifying a prediction method for each process for information on the divided image based on a result of a prediction encoding process by the image encoding unit, and information encoded by prediction using the method
  • a stream encoding unit that generates a data stream in which are arranged.
  • the data stream includes, as the prediction encoded information, A pair of vector information and error information is provided for each process for the information of the divided image.
  • information for specifying the prediction method and information encoded by the prediction method are arranged for each prediction encoding process.
  • Each of them has a pair of vector information and the error information as predictive-coded information. Therefore, it is possible to guarantee the decoding of information encoded by intra-frame predictive encoding using vector information in terms of transmission of the encoding method.
  • the information for specifying the prediction method includes information (mb_type) indicating whether the prediction for the divided image information is intra-frame prediction or inter-frame prediction, and intra-frame prediction.
  • Is information (vec_mode, pred_mode in FIG. 9) indicating whether or not vector information is used.
  • the information specifying the prediction method can be expressed in units of 2 bits, for example.
  • information indicating whether or not vector information is used for the intra-frame prediction includes sub-size obtained by subdividing the image size of the divided image information and vector information for intra-frame prediction. It is information which shows the combination with the information which shows whether it uses or not.
  • the number of bits of information can be reduced by encoding multiple elements together, compared to the case where each element is individualized. become.
  • information indicating a combination of a subsize obtained by subdividing an image size of the divided image information and information indicating whether or not vector information is used for intra-frame prediction is the substream information. This is information represented by the number of bits necessary to distinguish the type of size by a power of 2.
  • FIG. 6 Intraframe prediction by designating its own frame in interframe prediction>
  • the information for specifying the prediction method is either inter-frame prediction, intra-frame prediction using vector information, or other intra-frame prediction for the divided image information.
  • Information indicating the frame (pred_type) and information indicating which frame of the plurality of frames including the own frame including the divided image information is referred to by using the vector information (reference index) ).
  • the latter information is originally necessary information for specifying a frame to be referred to in inter-frame predictive coding, and since such information is used, information only for specifying the prediction method is included in the item. It can be expressed in 1-bit units, which is 1 bit less than 2.
  • the information specifying the prediction method is that prediction for the divided image information is intra-frame prediction or inter-frame prediction. It is information (mb_type) indicating any of the above.
  • FIG. 14 Intraframe prediction using a real vector by designating its own frame in interframe prediction>
  • the information specifying the prediction method includes a frame to be referred to including its own image information including the divided image information. This is information (reference index) indicating which frame of the plurality of frames.
  • the information specifying the prediction method can be expressed in 1-bit units, which is 1 bit less than in item 5.
  • the vector information includes vector information of luminance components.
  • ⁇ Vector information in the data stream can be limited to the minimum necessary.
  • the vector information only the luminance component vector information or both the luminance component vector information and the color difference component vector information can be selected and used as necessary.
  • An image encoding apparatus (10; FIGS. 2 and 6) according to another representative embodiment of the present invention is configured to provide an error between information of a divided image to be subjected to predictive encoding of an image and prediction information.
  • An image encoding unit that performs predictive encoding by obtaining image information, and information for specifying a prediction method for each process on the information of the divided image based on a prediction encoding process result by the image encoding unit and the method
  • a stream encoding unit that generates a data stream in which information encoded by predictive encoding is arranged.
  • the data stream includes information of the divided image as predictive-encoded information.
  • Each processing for information has a pair of vector information and the error information.
  • the information for specifying the prediction method includes information (pred_type) indicating whether prediction for the divided image information is prediction using vector information or other intra-frame prediction, and a frame referred to using the vector information Is information (reference index) indicating which of a plurality of frames including the own frame including the divided image information, and the own frame including the divided image information is framed.
  • Intraframe predictive encoding using vector information is performed by setting the target frame for inter prediction encoding.
  • the encoding method can be transmitted by including intra-frame prediction encoding using vector information in the category of inter-frame prediction encoding.
  • the latter information (reference index) is originally necessary information for specifying a frame to be referred to in inter-frame predictive coding, and since such information is diverted, it is information only for specifying the prediction method. The number of bits can be reduced.
  • An image decoding apparatus (20) includes information for specifying a prediction encoding prediction method for divided image information to be subjected to image prediction encoding; A stream decoding unit that decodes a data stream in which information encoded by the method is encoded according to an input sequence; information that identifies the prediction method decoded by the stream decoding unit; And an image decoding unit that decodes the image by adding error information to the prediction information acquired based on the previously decoded image information.
  • the prediction method is intra-frame prediction encoding using vector information for designating a prediction image for generating the prediction information
  • the data stream is divided as information that has been predictively encoded. Each process for image information has a pair of vector information and error information.
  • information specifying a prediction method and information predictive-coded by the method are arranged in the input data stream for each prediction encoding process. Includes a pair of vector information and the error information as predictive-coded information. Therefore, it is possible to guarantee the decoding of information encoded by intra-frame predictive encoding using vector information in terms of transmission of the encoding method.
  • information specifying the prediction method includes information (mb_type) indicating whether the prediction for the information of the divided image was intraframe prediction or interframe prediction, and intraframe prediction.
  • Information indicating whether or not vector information is used (vec_mode, pred_mode in FIG. 9).
  • the stream decoding unit can receive information specifying the prediction method in units of 2 bits, for example.
  • information indicating whether or not vector information is used for the intra-frame prediction uses the sub-size obtained by subdividing the image size of the divided image information and the vector information for intra-frame prediction. It is information which shows the combination with the information which shows whether it exists.
  • the number of bits of information can be reduced by encoding multiple elements together, compared to the case where each element is individualized. become.
  • FIG. 6 Intraframe prediction using a real vector by designating its own frame in interframe prediction>
  • whether the prediction for the divided image information is any of intra-frame prediction, intra-frame prediction using vector information, or other intra-frame prediction, as the information specifying the prediction method Information indicating the frame (pred_type) and information indicating which of the plurality of frames including the frame including the divided image information is referred to by using the vector information (reference index) It is.
  • the latter information is information that is originally necessary for specifying a frame to be referred to in inter-frame predictive coding. Since such information is diverted, the stream decoding unit specifies the prediction method. Only 1 bit of information can be received by 1 bit less than in item 2.
  • FIG. 12 When intra-frame prediction is limited to vector prediction>
  • the information specifying the prediction method is either prediction within frame or inter-frame prediction for the divided image information.
  • Information (mb_type) indicating whether or not.
  • the stream decoding unit can receive information for specifying the prediction method in 1-bit units, which is 1 bit less than in item 2.
  • the stream decoding unit can receive information specifying the prediction method in 1-bit units, which is 1 bit less than in item 5.
  • the vector information includes vector information of luminance components.
  • the vector information transmitted to the stream decoding unit by the data stream can be limited to the minimum necessary.
  • the information for specifying the prediction method is when the prediction method to be specified is prediction encoding using vector information for designating a prediction image to be used for generating the prediction information.
  • the vector information includes information indicating only the vector information of the luminance component or both the vector information of the luminance component and the vector information of the color difference component.
  • the vector information only the luminance component vector information or both the luminance component vector information and the color difference component vector information can be selected and used as necessary.
  • An image decoding apparatus (20; FIG. 2 and FIG. 6) according to still another exemplary embodiment of the present invention predicts prediction encoding for information of divided images that are targets of image prediction encoding.
  • a stream decoding unit that decodes a data stream in which information specifying a method and information predictively encoded by the method are arranged according to an input sequence; information specifying the prediction method decoded by the stream decoding unit; and And an image decoding unit that decodes an image by adding error information to the prediction information acquired based on the previously decoded image information by using the information that is predictively encoded by the method.
  • the data stream includes information of the divided image as predictive-encoded information.
  • Each processing for information has a pair of vector information and the error information.
  • the information for specifying the prediction method includes information (pred_type) indicating whether prediction for the divided image information is prediction using vector information or other intra-frame prediction, and a frame referred to using the vector information Is information (reference index) indicating which of a plurality of frames including the own frame including the divided image information, and the own frame to be decoded is subjected to inter-frame predictive decoding.
  • pred_type indicating whether prediction for the divided image information is prediction using vector information or other intra-frame prediction
  • Is information reference index
  • the encoding method can be transmitted by including intra-frame prediction encoding using vector information in the category of inter-frame prediction encoding.
  • the latter information (reference index) is originally necessary information for specifying a frame to be referred to in inter-frame predictive coding, and since such information is used, the stream decoding unit specifies the prediction method. The number of information bits just for doing so can be reduced.
  • FIG. 2 illustrates an image encoding device 0 and an image decoding device 20 that are applied to a moving image encoding / decoding device such as a mobile phone or a DVD / HDD / BD recorder.
  • a moving image encoding / decoding device such as a mobile phone or a DVD / HDD / BD recorder.
  • a vector (hereinafter, unless otherwise specified, information indicating a pixel position in a frame is also simply referred to as a “vector”. It is necessary to distinguish it from a “motion vector” used for so-called motion compensation interframe coding. In this case, it is necessary to indicate the position where the prediction signal is generated using “intraframe vector”.
  • one image includes an encoded region 30 and an unencoded region 40, and a block (prediction block 31) suitable for use in generating a prediction signal when an encoded block 41 is encoded. ) Is selected from the encoded region 30, and its position is indicated by a two-dimensional relative position (predicted vector 50) from the encoding block 41.
  • the vector 50 is shown at the relative position of the upper left pixel of the block 31 (illustrated by a small square).
  • each pixel signal in the encoding block 41 is subjected to an error (difference) from the corresponding pixel signal in the prediction block 110, and a signal obtained by orthogonally transforming and quantizing the difference signal;
  • the vector is encoded and output as a bit stream BSout.
  • the uncoded area 40 is an undecoded area
  • the coded block 41 is a decoded block to be decoded
  • the coded area 30 is a decoded area
  • the input bitstream What is necessary is just to add difference information to the prediction signal acquired from the decoded area
  • the image encoding device 10 includes an image encoding unit 11 and a stream encoding unit 12.
  • the image encoding unit 12 receives the image signal VDin of the moving image, the information of the divided image (information corresponding to the encoding block 41) and the prediction information (corresponding to the prediction block 31) to be subjected to the prediction encoding of the image. Prediction encoding is performed by obtaining an error from the information.
  • the stream encoding unit 12 specifies information for specifying a prediction method for each process on the information of the divided image 41, and information that has been predictively encoded by the method Are input and encoded, and a data stream BSout having the encoded information as an array suitable for a decoding processing sequence, for example, is generated and output.
  • the image decoding device 20 includes a stream decoding unit 21 and an image decoding unit 22.
  • the stream decoding unit receives a data stream Bsin in which information specifying a prediction method of predictive encoding and information predictively encoded by the method are input for each encoding process, and decodes according to an input sequence.
  • the image decoding unit 22 uses the information that identifies the prediction method decoded by the stream decoding unit 21 and the information that is predictively encoded by the method, thereby obtaining the prediction information acquired based on the previously decoded image information.
  • the error information is added to the image to decode the image.
  • the representative of the characteristic elements is a prediction method in vector predictive encoding using vector information and how the vector information is expressed on the data streams BSout and BSin, In other words, how to contribute to reducing the amount of transmission data and improving the decoding efficiency.
  • the image encoding device 10 and the image decoding device 20 will be described with emphasis on this point.
  • FIG. 1 illustrates a processing procedure of encoding processing by the stream encoding unit 12.
  • the vector information transmitted from the image encoding device to the image decoding device by the data streams BSout and BSin is a vector value itself or a difference value between the vector value and the prediction vector.
  • the prediction vector 121 of the encoding target block 120 is calculated from the vectors 116 to 119 of the neighboring blocks of the encoding target block 120 as illustrated in FIG.
  • the vector information is at least luminance component vector information as exemplified by 100, but may include vector information of chrominance components (present in Cb and Cr ⁇ ). That is, vector information is acquired by separately performing predictive coding on each of the luminance component and the color difference component of the image.
  • vector information is acquired by separately performing predictive coding on each of the luminance component and the color difference component of the image.
  • vector predictive encoding information for specifying the method is necessary.
  • the information specifying the method may not be revealed.
  • the processing by the image encoding device 10 is sequentially performed in synchronization with the sequential input of the image data VDin, and the encoding processing of the stream encoding unit 12 in FIG. 1 is sequentially performed according to the prediction encoding processing of the image encoding 11 unit. .
  • the encoding of moving images by the image encoding unit 11 is roughly divided into temporally preceding and following images (hereinafter, one screen constituting a moving image in encoding or decoding processing is referred to as an “image”.
  • “Image” can indicate both “frame” and “field” in a progressive signal and an interlace signal. For example, when encoding is performed in units of frames, “image” indicates “frame”.
  • interframe When the processing is in units of fields, it indicates “field.”
  • intra-frame coding there is intra-frame coding to encode one image alone.
  • the code amount of an intra-frame encoded image is larger than the code amount of an inter-frame encoded image.
  • in-frame coding is a method necessary for improving the random accessibility during reproduction and for returning from an error in addition to being necessary at the beginning of video content (sequence). Periodically selected every second interval, that is, every 15 to 60 frames.
  • the encoding process is a block obtained by subdividing an image (usually 16 pixels ⁇ 16 lines, called “macroblock” in MPEG. If the processing unit of the present invention is different from the macroblock size in MPEG, the macroblock In order to distinguish clearly, it may be called a "sub-block").
  • intra-frame coding for each block, a prediction signal is generated using the value of an image signal (pixel) that is already coded in the same image, and the difference value between the signal of the block to be coded and the prediction signal Are orthogonally transformed and quantized, converted into codes, and subjected to encoding processing. At the same time, information indicating a prediction method for generating a prediction signal is also generated.
  • a method for generating a prediction signal a method using an average value of surrounding pixels of a block to be encoded, or a prediction method for a plurality of directions according to the direction of the content of an image, as a prediction signal for a coding block to be encoded Is defined in advance, a suitable prediction direction is selected according to the content of the image such that the correlation is strong in the vertical direction, and the encoded signal adjacent to the encoded block is repeatedly copied in the selected direction.
  • information indicating which direction prediction is used is also acquired as information for specifying the prediction method.
  • vector mode vec_mode
  • intra prediction according to the information (vector mode: vec_mode) 108, whether to use intra prediction based on the specific vector prediction or intra prediction without using a vector as the intra prediction method. Is shown. Thereafter, vector information (vector) 111 of the luminance component and the color difference component is included in the case of the specific vector prediction, and information (prediction mode: mode) 112 specifying the method is used in the case of an intra-screen prediction method using no vector. Is acquired.
  • the number of vectors used for in-screen prediction obtained by repeating the acquisition process of the vector information (vector) 111 is the type of block into which the macroblock is divided, whether the same vector is used for luminance and color difference, or different vectors are used. It depends on.
  • the vector mode (vec_mode) 108 holds information indicating whether the same vector is used for luminance and color difference. Or you may make it hold
  • An arrangement of one unit of the data stream having the prediction mode (mode) 112 in the sequence is set as UD_C in FIG.
  • An arrangement of one unit of a data stream having vector information (vector) 111 in the sequence is as shown in UD_B of FIG.
  • the number of repetitions of the prediction mode (mode) 112 is determined only by the part size (part_size) 102.
  • information (mb_type 101, vec_mode 108, mode 113) for specifying a prediction method and information (102, 102) predicted by the method are specified in the generated data stream BSout for each prediction encoding process.
  • 104-107, 114 the vector information 110, the error information 114, etc. as predictive-coded information. Therefore, it is possible to guarantee the decoding of information encoded by intra-frame predictive encoding using vector information in terms of transmission of the encoding method.
  • the information specifying the prediction method includes information (mb_type) 101 indicating whether the prediction for the information of the divided image was intraframe prediction or interframe prediction, and intraframe prediction.
  • Information (vec_mode) 108 indicating whether or not vector information is used, information for specifying this prediction method can be expressed in units of 2 bits, for example.
  • FIG. 6 illustrates another processing procedure of the encoding processing by the stream encoding unit 12 of FIG.
  • the own frame is designated in the inter-frame prediction and the intra-frame prediction is performed. That is, information (pred_type) 200 indicating whether prediction for image information is inter-frame prediction, intra-frame prediction using vector information, or other intra-frame prediction, as information specifying the prediction method.
  • information (pred_type) 200 indicating whether prediction for image information is inter-frame prediction, intra-frame prediction using vector information, or other intra-frame prediction, as information specifying the prediction method.
  • a reference index 105 is positioned as information indicating which frame of the plurality of frames including the frame to be encoded is referred to by using the vector information.
  • the vector 111 is a general term for the vector 110 and the motion vector 106.
  • the unit array of the data stream having the reference index 105 in the sequence is as shown in UD_D in FIG. 7, and the unit array of the data stream having the prediction mode (mode) 112 in the sequence is UD_E in FIG. Like that.
  • FIG. 8 shows a specific example of specifying a reference frame by a reference index 105.
  • a value 0 or a value 1 is designated in the reference index 105
  • an inter-frame prediction is performed with reference to the image 300 or 301.
  • the value 2 is designated for the reference index (reference index) 105
  • the region 304 indicated by the vector 303 is referred to from the image 302 currently being encoded, and the prediction image of the encoding target block 305 is set to 304.
  • An image. Which value of the reference index (reference index) 105 is the currently processed image is determined to be the minimum value of the possible reference index (reference index) 105 values or the maximum value of the image being currently encoded.
  • a vector mode (vec_mode) 108 similar to that shown in FIG.
  • the number of items may be transmitted.
  • a plurality of reference planes are referred to, and a plurality of areas may be referred to in vector prediction, or both vector prediction and inter-frame prediction may be used. In these cases, a predicted image corresponding to each reference position is generated, and the result is weighted and added to obtain the predicted image of the current block.
  • the reference index (reference index) 105 is originally necessary information for specifying a frame to be referred to in inter-frame predictive coding, and such information is used. Information only for identification can be expressed in 1-bit units, which is 1 bit less than in FIG. Therefore, it can contribute to the improvement of the compression rate of the image information by predictive coding.
  • FIG. 9 illustrates still another processing procedure of the encoding process by the stream encoding unit 12 of FIG.
  • information (pred_mode) 400 in which the part size (part_size) 102 and the vector mode (vec_mode) 108 described in FIG. 1 are aggregated is used instead.
  • the pred mode (pred_mode) 400 is information indicating a combination of a part size (part_size) 102 indicating a sub size of a macroblock and a vector mode (vec_mode) 108 indicating whether or not vector information is used for intra-frame prediction. It is.
  • FIG. 1 information indicating a combination of a part size (part_size) 102 indicating a sub size of a macroblock and a vector mode (vec_mode) 108 indicating whether or not vector information is used for intra-frame prediction. It is.
  • the part size (part_size) 102 is encoded only at the time of inter-frame prediction, and the pred_mode 400 is encoded when intra-frame prediction is used.
  • Information corresponding to the part size (part_size) 102 and the vector mode (vec_mode) 108 in FIG. 1 can be acquired simultaneously by the value of the pred mode (pred_mode) 400.
  • the number of vectors is determined from the values of the part size (part_size) 102 and the vector mode (vec_mode) 108, whereas in FIG. 9, the number of vectors is determined only from the value of the pred_mode 400. Since the processing and data after the pred mode (pred_mode) 400 are the same as those in FIG.
  • An arrangement of one unit of a data stream having a part size (part size) 102 in the series is made as UD_F in FIG. 10, and an arrangement of one unit of the data stream having a vector 110 in the series is shown in UD_G in FIG.
  • the unit arrangement of the data stream having the mode 112 in the sequence is set as UD_H in FIG.
  • FIG. 11 illustrates the relationship between part size (part_size) 102 and vector mode (vec_mode) 108 value assignments and pred mode (pred_mode) 400 value assignments.
  • each element is individually encoded by coding a plurality of elements together if the number of subsize types, that is, the number of vectors, is sufficient for the number of bits of part size (part_size) 102.
  • the number of bits of information can be reduced.
  • six states distinguished by a 3-bit part size (part_size) 102 and two states distinguished by a 1-bit vector mode (vec_mode) 108 are represented by a 3-bit bread mode.
  • (Pred_mode) 400 can be distinguished, and the number of 1-bit data bits can be reduced for one unit of the data stream BSout.
  • FIG. 12 illustrates still another processing procedure of the encoding process by the stream encoding unit 12 of FIG. This is an example when the intra-frame prediction is limited to vector prediction in the process of FIG. Therefore, the vector mode (vec_mode) 108 and the mode (mode) 112 in FIG. 1 are not necessary.
  • An arrangement of one unit of a data stream having a reference number (reference ⁇ number) 104 in the series is as shown in UD_I in FIG. 13, and an arrangement of one unit of the data stream having a vector 110 in the series is shown in UD_J of FIG. To be done.
  • Vector mode (vec mode) 108 may be added to transmit the number of vector.
  • FIG. 14 illustrates still another processing procedure of the encoding process by the stream encoding unit 12. This is an example when the intra-frame prediction is limited to vector prediction in the process of FIG. Therefore, the pred type 200 and the mode 112 in FIG. 6 are not necessary. Similar to the case of FIG. 6, the macro block type (mb_type) need not be encoded by determining whether the prediction is inter-frame prediction or vector prediction based on the value of the reference index 105. In this case, one unit of the data stream is arranged as UD_K in FIG.
  • Vector vector mode (vec mode) 108 may be added to transmit the number of vector.
  • Embodiment 6 The processing order of the decoding processing by the stream decoding unit 21 in FIG. 2 is the same as the processing order of the encoding by the stream encoding unit 12. Therefore, by replacing the encoding in the encoding process by the stream encoding unit 12 described in Embodiments 1 to 5 with decoding, it can be regarded as the processing content by the stream decoding unit 21. In Embodiments 6 to 10, the processing of the stream decoding unit 21 will be described using the drawings used for the description of the stream encoding unit 12.
  • FIG. 1 also illustrates the processing procedure of the decoding process by the stream decoding unit 21, and the stream decoding process corresponding to the stream encoding process according to the first embodiment will be described.
  • the vector information transmitted from the image encoding device to the image decoding device by the data streams BSout and BSin is a vector value itself or a difference value between the vector value and the prediction vector.
  • the calculation of the prediction vector as described in the above is the same as that described in the case of image coding, and a detailed description thereof is omitted here.
  • the vector information is at least luminance component vector information, and may include color difference component vector information (present in each of Cb and Cr) as in the case of image coding.
  • information 100A for identifying the method is transmitted. If it is implicitly specified to use a specific vector predictive decoding method, the information 100A may not be transmitted.
  • the processing by the image decoding device 20 is sequentially performed in synchronization with the sequential input of the data stream BSin, and the decoding processing of the stream decoding unit 21 in FIG. 2 is performed according to the input order of the data stream BSin.
  • information (macroblock type: mb_type) 101 indicating whether the macroblock is encoded by intra prediction or inter prediction is decoded.
  • Information (part size: part_size) 102 indicating how to divide the macroblock into blocks is decoded.
  • Subsequent data structures differ depending on the value of the macroblock type (mb_type) 101 (103).
  • the macroblock type (mb_type) 101 is inter-screen prediction, information (reference number: reference ⁇ ⁇ ⁇ number) 104 indicating how many reference planes are used, information indicating a reference screen (reference index: refernce index), and Information (motion vector: motion vector) 106 indicating the reference position of the reference screen follows.
  • Each is information indicating which image is referred to in the inter-screen prediction and which position in the image is referred to, and the number corresponding to the reference number (reference number) 104 and the part size (part_size) 102 is the number of repetitions 107. It is included in the bitstream by repetition. Finally, error information (residual) 114 exists.
  • the unit arrangement of the input data stream BSin is as shown in UD_A in FIG.
  • the information (vector mode: vec_mode) 108 whether to use intra prediction based on the specific vector prediction or intra prediction without using a vector as the intra prediction method. Is shown. After this, if the specific vector prediction, vector information (vector) 111 of the luminance component and the color difference component is included, and if the screen prediction method does not use a vector, information (prediction mode: mode) 112 specifying the method is included. To be acquired. The number of vectors used for in-screen prediction obtained by repeating the acquisition process of the vector information (vector) 111 is the type of block into which the macroblock is divided, whether the same vector is used for luminance and color difference, or different vectors are used. It depends on.
  • the vector mode (vec_mode) 108 holds information indicating whether the same vector is used for luminance and color difference. Or you may make it hold
  • An arrangement of one unit of the data stream BSin having a prediction mode (mode) 112 in the sequence is as shown in UD_C of FIG.
  • An array of one unit of the data stream BSin having the vector information (vector) 111 in the sequence is as shown in UD_B in FIG.
  • the number of repetitions of the prediction mode (mode) 112 is determined only by the part size (part_size) 102.
  • information (mb_type 101, vec_mode 108, mode 113) for specifying a prediction method and information (102, 102) predicted by the method are specified for each input data stream BSin for each prediction encoding process.
  • 104-107, 114 the vector information 110, the error information 114, etc. as predictive-coded information. Therefore, decoding of information encoded by intraframe predictive encoding using vector information is guaranteed in terms of transmission of the encoding method.
  • FIG. 6 also illustrates another processing procedure of the decoding process by the stream decoding unit 21 in FIG. 2, and the stream decoding process corresponding to the stream encoding process according to the second embodiment will be described.
  • This corresponds to a case where the self frame is designated as the intra-frame prediction in the inter-frame prediction. That is, information (pred_type) 200 indicating whether prediction for image information is inter-frame prediction, intra-frame prediction using vector information, or other intra-frame prediction, as information specifying the prediction method.
  • the reference index 105 is decoded.
  • the reference index 105 is positioned as information indicating which frame of the plurality of frames including the own frame to be decoded is referred to using the vector information.
  • the vector 111 is a general term for the vector 110 and the motion vector 106.
  • the unit array of the data stream BSin having the reference index (reference index) 105 in the sequence is shown as UD_D in FIG. 7, and the unit array of the data stream BSin having the prediction mode (mode) 112 in the sequence is shown in FIG. UD_E.
  • reference index (reference index) 105 Since the specific example of the reference frame designation by the reference index (reference index) 105 in the data stream decoding process is the same as that in FIG. 8, detailed description thereof is omitted here.
  • the reference index (reference index) 105 is information that is originally necessary for specifying a frame to be referred to in inter-frame predictive coding, and the data stream BSin diverts such information.
  • Information only for specifying the prediction method can be expressed in 1-bit units, which is 1 bit less than that in FIG. Therefore, the data amount of the data stream BSin to be decoded is reduced.
  • FIG. 9 also illustrates another processing procedure of the decoding process by the stream decoding unit 21 in FIG. 2, and describes the stream decoding process corresponding to the stream encoding process according to the third embodiment.
  • information (pred_mode) 400 in which the part size (part_size) 102 and vector mode (vec_mode) 108 described in FIG. 1 are aggregated is transmitted instead. That is, the pred mode (pred_mode) 400 is information indicating a combination of a part size (part_size) 102 indicating a sub size of a macroblock and a vector mode (vec_mode) 108 indicating whether or not vector information is used for intra-frame prediction. It is. In the case of FIG.
  • the part size (part_size) 102 is encoded only at the time of inter-frame prediction, and the pred_mode 400 is encoded when intra-frame prediction is used.
  • Information corresponding to the part size (part_size) 102 and the vector mode (vec_mode) 108 in FIG. 1 can be acquired simultaneously by the value of the pred mode (pred_mode) 400.
  • the number of vectors is determined from the values of the part size (part_size) 102 and the vector mode (vec_mode) 108, whereas in FIG. 9, the number of vectors is determined only from the value of the pred_mode 400. Since the processing and data after the pred mode (pred_mode) 400 are the same as those in FIG.
  • An arrangement of one unit of the data stream BSin having a part size (part102size) 102 in the series is as shown in UD_F of FIG. 10, and an arrangement of one unit of the data stream BSin having the vector 110 in the series is shown in FIG.
  • An arrangement of one unit of the data stream BSin having a mode 112 in the sequence is set as UD_H in FIG.
  • FIG. 12 also illustrates another processing procedure of the decoding process by the stream encoding unit 12 in FIG. 2, and the stream decoding process corresponding to the stream encoding process according to the fourth embodiment will be described. This corresponds to the case where intra-frame prediction is limited to vector prediction in the processing of FIG. Therefore, the vector mode (vec_mode) 108 and the mode (mode) 112 in FIG. 1 are not necessary.
  • An arrangement of one unit of the data stream BSin having the reference number 104 in the sequence is as shown in UD_I of FIG. 13, and an arrangement of one unit of the data stream BSin having the vector 110 in the sequence is shown in FIG. It is made like UD_J.
  • FIG. 14 also illustrates another processing procedure of the encoding process by the stream encoding unit 12, and the stream decoding process corresponding to the stream encoding process according to the fifth embodiment will be described.
  • the macro block type (mb_type) need not be encoded by determining whether the prediction is inter-frame prediction or vector prediction based on the value of the reference index 105.
  • one unit of the data stream BSin is arranged as UD_K in FIG.
  • Embodiment 11 In the image decoding apparatus, a vector calculation method used for vector prediction using a vector decoding result on a bit stream will be described in order of luminance and then color difference.
  • a value obtained by decoding the bit stream is set as a luminance vector value.
  • a vector difference value is encoded on the bitstream, and a value obtained by adding a value obtained from the bitstream to a prediction vector calculated on the decoder side is set as a luminance vector value.
  • the former method has an advantage that the vector calculation circuit can be simplified although the code amount increases.
  • the latter has an advantage that the code amount is reduced because only the difference value is transmitted.
  • a method for creating a prediction vector will be described below.
  • the vector 119 used in the vector prediction of the left block is the prediction vector 121 of the current block 120 in the prediction vector.
  • the upper block vector 117 is used instead, and the above also meets the conditions. If not, the upper left 116 or upper right 118 is used.
  • a predetermined fixed value is used as the prediction vector value.
  • a vector used for prediction is obtained by adding a vector difference value obtained by decoding the bitstream to the obtained prediction vector.
  • the prediction vector is an average value or median value of vectors of neighboring blocks such as left and upper. At this time, a vector of a block that is not a vector prediction is treated as a predetermined fixed value or is not considered.
  • the prediction vector is a vector of a block that uses vector prediction decoded immediately before the current block in the decoding order. If the current block is a block that uses vector prediction first decoded in the current image, the last vector prediction vector of the previous image is used, or a predetermined fixed value is used as the prediction vector.
  • a prediction vector value is encoded in an upper layer such as Slice, and the encoded value is used as a prediction vector.
  • the prediction vector is a vector of a block at the same position in an already decoded image.
  • a predetermined fixed value is set as a prediction vector.
  • information on which decoded image is used for each macroblock may be transmitted, or may be transmitted by an upper layer such as Slice.
  • This method can be combined with conventional methods. For example, when combined with the first method, if the left and upper blocks are not vector prediction in the first method, this method is applied to obtain a prediction vector from an already decoded image.
  • the order in which the techniques are applied can be arbitrarily changed as in the case of performing the first technique.
  • the color difference vector is obtained by scaling the luminance component vector according to the image size of the luminance and the color difference.
  • a prediction vector is obtained by a method similar to that for a luminance component vector, and a color difference vector is obtained by adding the difference values of vectors decoded from a bit stream.
  • the prediction vector of the color difference may be obtained by scaling the value of the vector of the luminance component according to the image size of the luminance and the color difference. Further, this method may be combined with the calculation method of the prediction vector of the luminance component.
  • a luminance vector scaled is used as a color difference prediction vector.
  • the method of predicting the color difference component vector from the luminance component can be used in combination with other prediction methods.
  • this method it is also possible to combine this method, a method for calculating a prediction vector from a decoded image, and other methods.
  • a prediction vector is generated in the same procedure as in decoding, and the difference between the vector used for vector prediction by the encoder and the prediction vector is encoded in the data stream.
  • the prediction vector is not generated, the vector value used for vector prediction is encoded in the data stream.
  • FIG. 16 shows a specific example of the image encoding device 10.
  • the image encoding unit 11 shown in FIG. 2 includes 1000 to 1008 circuits.
  • the input image signal DVin is divided into blocks and input.
  • the difference between the input signal DVin and the prediction signal 1011 is obtained in the difference circuit ( ⁇ ) 1000 for each pixel, and thereafter converted into the signal 1010 by the orthogonal transformation circuit (T) 1001 and the quantization circuit (Q) 1002.
  • the data is encoded by the stream encoding unit (VCL) 12 and output as the data stream BSout.
  • the signal 1010 is inversely transformed into a difference signal by an inverse quantization circuit (IQ) 1003 and an inverse orthogonal transform circuit (IT) 1004, and then added to the previous prediction signal 1011 and each pixel by an adder circuit (+) 1005.
  • IQ inverse quantization circuit
  • IT inverse orthogonal transform circuit
  • the local decoded image is written in a frame memory (FM) 1006 and used for subsequent prediction signal 1011 generation processing.
  • FM frame memory
  • the prediction signal 1011 is generated in the prediction mode determination circuit (MODE) 1007 as follows.
  • the input image signal (encoded block) DVin is input to the prediction mode determination circuit 1007.
  • the prediction mode determination circuit 1007 is a candidate vector for obtaining a prediction signal candidate of the corresponding coding block (used in a different meaning from the eleventh embodiment and corresponds to a vector used for vector prediction in the eleventh embodiment. .) Are prepared, and these are sequentially input to the prediction signal generation circuit (P) 1008 as candidate vectors 1013.
  • the prediction signal generation circuit 1008 obtains a pixel signal 1016 by accessing an encoded area of a frame memory (corresponding to a decoded area in the case of a decoding device described later) with an address signal 1017, and from the acquired pixel signal, A prediction signal 1014 based on the designated candidate vector is generated.
  • the prediction mode determination circuit 1007 calculates a prediction error by calculating a difference between the input signal DVin (encoded block signal) and the prediction block signal (1014) for each pixel. Then, after calculating the prediction errors of all candidate vectors, the vector having the smallest (most similar) prediction error is used as the vector 1012 used for vector prediction, and the prediction signal 1011 corresponding to the vector 1012 used for vector prediction is output. To do. Note that the vector 1012 used for vector prediction is part of the data stream BSout in the encoding unit 12.
  • the prediction mode determination circuit 1007 outputs a motion vector (motion vector) in the case of inter-frame prediction and a vector (vector) in the case of intra-frame prediction as a vector 1012 used for vector prediction.
  • information necessary to configure the data stream BSout is generated by the prediction mode determination circuit 1007 and provided to the stream encoding unit 12.
  • FIG. 17 shows a specific example of the image decoding device 20.
  • the image decoding unit 22 in FIG. 2 is configured by 2000 to 2004 circuits.
  • the input data stream BSin includes a vector used for vector prediction for each block constituting the image and information on a difference signal with respect to the prediction signal.
  • the stream decoding unit (VLD) 21 decodes the data stream BSin, and extracts a vector 2013 and difference information 2011 used for vector prediction.
  • the difference information 2011 is converted into a difference signal 2012 by an inverse quantization circuit (IQ) 2000 and an inverse orthogonal transform circuit (IT) 2001.
  • the prediction signal generation circuit (P) 2003 generates the designated address 2016 of the decoded area of the frame memory (FM) 2015 based on the vector 2013 used for vector prediction, and the pixel signal of the corresponding address 2015 is obtained, and a pixel signal 2014 of the prediction block is generated.
  • the generated pixel signal 2014 of the prediction block is added to the difference signal 2012 in the image reproduction circuit (+) 2002, and the image of the corresponding block is reproduced.
  • the reproduced image is written into the frame memory 2004, and is used as a candidate for predictive image generation at the time of image reproduction of subsequent blocks.
  • the generated image signal is output as the output signal DVout and displayed on a display device such as a television.
  • the prediction signal generation circuit 2003 uses a vector 2013 used for vector prediction as a motion vector in the case of inter-frame prediction, and a vector that uses a vector for vector prediction in the case of intra-frame prediction. Used as 2013.
  • the information constituting the data stream BSin is decoded by the stream decoding unit 21 and used for processing of the prediction signal generation circuit 2003 and the like.
  • the present invention relates to an image encoding device that performs predictive encoding of an image and an image decoding device that performs predictive decoding on the prediction encoded information, and can be widely applied to moving image encoding / decoding device technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証する。　画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行い、その予測符号化の処理系列にしたがって、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成する。このとき、前記データストリームは、前記予測方法がベクトルを用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。

Description

画像符号化装置及び画像復号装置
　本発明は、画像の予測符号化を行う画像符号化装置及び予測符号化された情報に対する予測復号を行う画像復号装置に関し、例えば携帯電話、ナビゲーションシステム、DVD（Digital Versatile Disc）/HDD（Hard Disk Drive）/BD（Blue-ray Disc）レコーダ、デジタルビデオカメラ、デジタルカメラ、デジタルテレビ、電話会議システムなどの動画像符号化復号装置に適用して有効な技術に関する。
　従来、動画像符号化の分野の技術では、MPEG（Moving Picture Experts Group）、ITU-T（International Telecommunication Union、Telecommunication  Standardization Sector）が規格化したH.264に代表される符号化方式等が幅広く使用されている。これらの符号化方式では，符号量を削減するために予測符号化が採用されており，符号化の際には、ある方法で予測した画像(予測画像)と元の画像の差分を符号化する。逆に、復号時には，予測画像に差分を加えることで復号画像を得る。
　１枚の画像は、例えば輝度と２つの色差から構成される。このフォーマットはYCbCrと呼ばれる。動画像は，複数枚の連続した画像から構成される。現在の地上デジタル放送においては１秒間に約３０枚となっている。これに基づき、予測画像の生成手法は、大きく分けて２つの種類に分類される。一方は、１枚の画像を単独で用いて、同一画面内で予測を行う手法(フレーム内予測若しくは画面内予測)、もう一方は，連続する画像という特徴を用いて画面間で予測を行う手法(フレーム間予測若しくは画面間予測)である。一般に、動画像では連続する画像間の相関は高いため，画面内予測より画面間予測の方が、符号化効率が高い。しかしながら、画面内予測のみで符号化された画像は、動画像の先頭、再生時のランダムアクセス性の向上、エラー時の復帰に必要であり、一般的に0．5 秒から2秒に１回程度挿入されている。
　非特許文献１および２において、画面内予測手法、画面間予測手法のそれぞれが記載されている。これらの非特許文献では、画像を16画素×16ラインに分割したマクロブロックと呼ばれる処理単位で符号化処理を行う。予測画像の生成単位は、マクロブロックの内部をさらに細分化した8×8、4×4単位等となる (以降、予測画像の生成単位を本稿では、「ブロック」と呼称する)。
　画面間予測においては、符号化／復号済みの画像を用いて予測画像の生成を行う。その際には、ブロックごとにどの画像のどの位置から予測を行うかを示す「参照インデックス（リファレンスインデックス：(reference index）」と「動きベクトル（モーションベクタ：(motion vector）」が符号化される。参照インデックスは、予測に用いる画像を示すものであり、例えば、現在の画像の１枚前がインデックス0、2枚前がインデックス1のように割り当てられる。動きベクトルは、現在のブロックの位置と予測に用いる画像の位置との差分値であり、画像は2 次元情報であるため、水平成分、垂直成分の2つの値から構成される。非特許文献においては、ビットストリーム中には、輝度のベクトルのみが符号化されている。
　一方、画面内予測においては、ブロックに隣接する画素から一定の規則にしたがって、予測画像の生成を行う。非特許文献１，２ においては、左、上の画素から予測する方法等９種類が規定されている。また、輝度と色差のそれぞれに予測方法が存在し、輝度と色差の予測方法が異なることもある。この他の画面内予測手法として特許文献１および２が存在する。これらの文献では、ベクトルによって同一画面内の参照位置を指定することで予測画像の生成を行う。つまり、画面間予測における符号化／復号済みの画像の代わりに現在符号化/復号中の画像を予測に用いることで、周期的な離散パターンに対して高い符号化効率を実現する。特許文献１では、予測画像を作成する単位を16×16、8×8と可変にすることで符号化効率を向上させている。また、特許文献２では、参照範囲に含まれるまだ符号化／復号が終わってない領域(以降、未符号化領域と呼称する)を逓倍のベクトルを用いて補間することで未符号化領域が多く含まれる範囲を参照した場合における符号化効率の低下を抑制している。この予測方法を以降、ベクトル予測と呼称する。
米国特許公開第２００３／０２０２５８８号 国際公開パンフレットＷＯ／２０１０／０８２２３１号
ITU-T H.264、 SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video、 Advanced video coding for generic audiovisual services ISO/IEC 14496-10、Information technology － Coding of audio-visual objects － Part 10: Advanced Video Coding
　復号装置側で予測画像を生成するには符号装置から復号装置に予測方法の情報が伝達されなければならない。すなわち、予測方法にはフレーム間予測とフレーム内予測があり、フレーム内予測には上記ベクトル予測やその他の予測方法がある。何れの予測方法を用いたかを正確に伝達しなければ画像の復号を行うことができない。しかも、毎秒３０フレームというような膨大なデータ量を扱う性質上、ブロック単位でいかなる符号化方式を用いたかを示す情報は１ビットでもそのデータサイズを小さくすることが必要になるとこが本発明者によって見出された。
　本発明の目的は、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる画像符号化装置を提供することにある。
　本発明の別の目的は、符号化方法の受領という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる画像復号装置を提供することにある。
　本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
　本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
　すなわち、画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行い、その予測符号化の処理系列にしたがって、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成する。このとき、前記データストリームは、前記予測方法がベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。
　本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
　すなわち、符号化方法の伝達並びに受領という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
図１はストリーム符号化部（復号部）による符号化処理（復号処理）の処理手順を例示するフローチャートである。 図２は携帯電話やDVD/HDD/BDレコーダなどの動画像符号化復号装置に適用される画像符号化装置及び画像復号装置を例示するブロック図である。 図３は予測ベクトルの説明図である。 図４はベクトル情報などの説明図である。 図５は図１に係るデータストリームの配列を例示する説明図である。 図６はストリーム符号化部（復号部）による符号化処理（復号処理）の別の処理手順を例示するフローチャートである。 図７は図６に係るデータストリームの配列を例示する説明図である。 図８はリファレンスインデックス（reference index）による参照フレームの指定の具体例を示す説明図である。 図９はトリーム符号化部（復号部）による符号化処理（復号処理）の更に別の処理手順を例示するフローチャートである。 図１０は図９に係るデータストリームの配列を例示する説明図である。 図１１はパートサイズ（part_size）とベクタモード（vec_mode）の値の割り当てとプレッドモード（pred_mode）の値の割り当てとの関係を例示する説明図である。 図１２はストリーム符号化部（復号部）による符号化処理（復号処理）の更に別の処理手順を例示するフローチャートである。 図１３は図１２に係るデータストリームの配列を例示する説明図である。 図１４はストリーム符号化部（復号部）による符号化処理（復号処理）の更に別の処理手順を例示するフローチャートである。 図１５は図１４に係るデータストリームの配列を例示する説明図である。 図１６は画像符号化装置の具体例を示すブロック図である。 図１７は画像復号装置の具体例を示すブロック図である。
１．実施の形態の概要
　先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
　〔１〕＜符号化装置のデータストリーム＞
　本発明の代表的な実施の形態に係る画像符号化装置（１０）は、画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有する。このとき、前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。
　上記より、生成されるデータストリームには予測符号化の処理毎に、予測方法を特定する情報とその方法によって予測符号化された情報とが配置され、ベクトル情報を用いるフレーム内予測符号化に対しては予測符号化された情報としてベクトル情報と前記誤差の情報とのペアを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
　〔２〕＜図１、図９のマクロブロックタイプとベクタモード＞
　項１の画像復号化装置において、前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報（mb_type）と、フレーム内予測にベクトル情報を用いたか否かを示す情報（vec_mode、図９のpred_mode）とである。
　前記予測方法を特定する情報を例えば２ビット単位で表すことができる。
　〔３〕＜図９のpred mode ←vec_mode、 part size＞
　項２の画像復号化装置において、前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である。
　サブサイズを表すビット数に対してサブサイズの種類に余裕があれば、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数の削減が可能になる。
　〔４〕＜図９のpred mode ←vec_mode、 part sizeのビット数圧縮＞
　項３の画像符号化装置において、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である。
　サブサイズを表すビット数に対してサブサイズの種類に余裕があるから、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数を削減することができる。
　〔５〕＜図６；フレーム間予測で自フレームを指定して実質フレーム内予測＞
　項１の画像符号化装置において、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とである。
　後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、前記予測方法を特定するためだけの情報を項２に比べて１ビット少ない１ビット単位で表すことができる。
　〔６〕＜図１２フレーム内予測をベクトル予測に限定する場合＞
　項１記載の画像符号化装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム内予測又はフレーム間予測の何れであるかを示す情報（mb_type）である。
　フレーム内予測にベクトル情報を用いたか否かを示す情報が不要となり、前記予測方法を特定するだけの情報を項２に比べて１ビット少ない１ビット単位で表すことができる。
　〔７〕＜図１４；フレーム間予測で自フレームを指定して実質ベクトルを用いたフレーム内予測＞
　項１の画像符号化装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）である。
　前記予測方法を特定する情報を項５に比べて１ビット少ない１ビット単位で表すことができる。
　〔８〕＜輝度成分のベクトル情報＞
　項１の画像符号化装置において、前記ベクトル情報は、輝度成分のベクトル情報を含む。
　データストリーム中のベクトル情報を必要最低限に限定することができる。
　〔９〕＜輝度成分のベクトル情報、色差成分のベクトル情報＞
　項１の画像符号化装置において、前記予測方法を特定する情報は、それが特定する予測方法が、前記予測情報を生成するために用いる予測画像の指定にベクトル情報を用いる予測符号化である場合に、当該ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方の何れを用いるかを示す情報を含む。
　ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方を必要に応じて選択して用いることができる。
　〔１０〕＜ベクトルを用いたフレーム内予測符号化をフレーム間予測符号化の範疇に含める＞
　本発明の代表的な別の実施の形態に係る画像符号化装置（１０；図２及び図６）は、画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有する。前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とであり、前記分割された画像情報を含む自らのフレームをフレーム間予測符号化の対象フレームとすることによってベクトル情報を用いたフレーム内予測符号化を行う。
　上記により、ベクトル情報を用いるフレーム内予測符号化をフレーム間予測符号化の範疇に含めて符号化方法を伝達することができる。特に、後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、前記予測方法を特定するためだけの情報ビット数を減らすことができる。
　〔１１〕＜復号装置のデータストリーム＞
　本発明の代表的な更に別の実施の形態に係る画像復号装置（２０）は、画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有する。前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。
　上記より、入力されるデータストリームには予測符号化の処理毎に、予測方法を特定する情報とその方法によって予測符号化された情報とが配置され、ベクトル情報を用いるフレーム内予測復号を行うためには、予測符号化された情報としてベクトル情報と前記誤差の情報とのペアを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
　〔１２〕＜図１、図９のマクロブロックタイプとベクタモード＞
　項１１の画像復号装置において、前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報（mb_type）と、フレーム内予測にベクトル情報を用いたか否かを示す情報（vec_mode、図９のpred_mode）とである。
　ストリーム復号部は前記予測方法を特定する情報を例えば２ビット単位で受けることができる。
　〔１３〕＜図９のpred mode ←vec_mode、 part size＞
　項１２の画像復号装置において、前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である。
　サブサイズを表すビット数に対してサブサイズの種類に余裕があれば、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数の削減が可能になる。
　〔１４〕＜図９のpred mode ←vec_mode、 part sizeのビット数圧縮＞
　項１３の画像復号装置において、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である。
　サブサイズを表すビット数に対してサブサイズの種類に余裕があるから、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数を削減することができる。
　〔１５〕＜図６；フレーム間予測で自フレームを指定して実質ベクトルを用いたフレーム内予測＞
　項１１の画像復号装置において、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とである。
　後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、ストリーム復号部は、前記予測方法を特定するためだけの情報を項２に比べて１ビット少ない１ビット単位で受けることができる。
　〔１６〕＜図１２；フレーム内予測をベクトル予測に限定する場合＞
　項１１の画像復号装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム内予測又はフレーム間予測の何れであるかを示す情報（mb_type）である。
　フレーム内予測にベクトル情報を用いたか否かを示す情報が不要となり、ストリーム復号部は、前記予測方法を特定するだけの情報を項２に比べて１ビット少ない１ビット単位で受けることができる。
　〔１７〕＜図１４フレーム間予測で自フレームを指定して実質ベクトルを用いたフレーム内予測＞
　項１１の画像復号装置において、フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）である。
　フレーム内予測にベクトル情報を用いたか否かを示す情報が不要となり、ストリーム復号部は前記予測方法を特定する情報を項５に比べて１ビット少ない１ビット単位で受けることができる。
　〔１８〕＜輝度成分のベクトル情報＞
　項１１の画像復号装置において、前記ベクトル情報は、輝度成分のベクトル情報を含む。
　データストリームによってストリーム復号部に伝達されるベクトル情報を必要最低限に限定することができる。
　〔１９〕＜輝度成分のベクトル情報、色差成分のベクトル情報＞
　項１１の画像復号装置において、前記予測方法を特定する情報は、それが特定する予測方法が、前記予測情報を生成するために用いる予測画像の指定にベクトル情報を用いる予測符号化である場合に、当該ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方の何れを用いるかを示す情報を含む。
　ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方を必要に応じて選択して用いることができる。
　〔２０〕＜ベクトルを用いたフレーム内予測符号化をフレーム間予測符号化の範疇に含める＞
　本発明の代表的な更に別の実施の形態に係る画像復号装置（２０；図２及び図６）は、画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有する。前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する。前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報（pred_type）と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）とであり、復号対象である自らのフレームをフレーム間予測復号の対象フレームとすることによってベクトル情報を用いたフレーム内予測復号を行う。
　上記により、ベクトル情報を用いるフレーム内予測符号化をフレーム間予測符号化の範疇に含めて符号化方法を伝達することができる。特に、後者の情報（reference index）はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、ストリーム復号部は、前記予測方法を特定するためだけの情報ビット数を減らして受けることができる。
　２．実施の形態の詳細
　実施の形態について更に詳述する。
　図２には携帯電話やDVD/HDD/BDレコーダなどの動画像符号化復号装置に適用される画像符号化装置０及び画像復号装置２０が例示される。画像符号化装置１０及び画像復号装置２０について詳細を説明する前に画像の予測符号化及び予測復号についての基本的な処理形態を説明する。
　予測方法として、ベクトル（以下、特に指定のない場合、フレーム内の画素位置を示す情報についても単に「ベクトル」と称する。いわゆる動き補償フレーム間符号化に用いる「動きベクトル」と区別することが必要な場合は「フレーム内ベクトル」と称する）を用いて予測信号を生成する位置を指示することが必要になる。図２において、一つの画像が符号化済み領域３０と未符号化領域４０からなり、符号化ブロック４１を符号化するときに、予測信号を生成するために用いるのに好適なブロック（予測ブロック３１）を符号化済み領域３０から選択し、その位置を符号化ブロック４１からの２次元相対位置（予測ベクトル５０）にて示す。図ではブロック３１の左上の画素（小さな四角にて図示）の相対位置にてベクトル５０を示している。このとき、符号化ブロック４１内の各画素信号は、対応する予測ブロック１１０内の画素信号との誤差（差分）がとられ、この差分信号が直交変換・量子化されて得られた信号と、前記ベクトルとが符号化され、それがビットストリームＢＳｏｕｔとして出力される。復号の場合もそれと同様であり、未符号化領域４０を未復号領域とし、符号化ブロック４１を復号対象とする復号化ブロックとし、符号化済み領域３０を復号済み領域とし、入力されたビットストリームＢＳｉｎから得られるベクトル情報によって復号済み領域３０から取得した予測信号に、差分情報を加えて再生画像を形成すればよい。
　画像符号化装置１０は画像符号化部１１とストリーム符号化部１２とを有する。画像符号化部１２は動画の画像信号ＶＤｉｎを入力し、画像の予測符号化の対象にされる分割された画像の情報（符号化ブロック４１に対応する情報）と予測情報（予測ブロック３１に対応する情報）との誤差を求めて予測符号化を行う。ストリーム符号化部１２は、前記画像符号化部１１による符号化の処理系列にしたがって、前記分割された画像４１の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを入力して符号化し、符号化した情報を例えば復号処理系列に適した配列とするデータストリームＢＳｏｕｔを生成して出力する。画像復号装置２０はストリーム復号部２１と画像復号部２２とを有する。ストリーム復号部は、前記符号化の処理毎に予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームＢｓｉｎを入力し、入力系列にしたがって復号する。画像復号部２２は、ストリーム復号部２１で復号された予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う。
　画像符号化装置１０及び画像復号装置２０において、その特徴的要素の代表は、ベクトル情報を用いたベクトル予測符号化における予測方法及びベクトル情報をデータストリームＢＳｏｕｔ，ＢＳｉｎ上でどのように表現するか、換言すれば、如何にして伝送データのデータ量削減と復号処理効率の向上に資するようにするか、ということである。以下、この点に重点を置いて画像符号化装置１０及び画像復号装置２０について説明する。
　《実施の形態１》
　図１にはストリーム符号化部１２による符号化処理の処理手順が例示される。データストリームＢＳｏｕｔ，ＢＳｉｎによって画像符号化装置から画像復号装置に伝達される前記ベクトル情報は、ベクトルの値そのもの、もしくはベクトルの値と予測ベクトルとの差分値とされる。差分値の場合には、図３に例示されるように符号化対象ブロック１２０の近隣のブロックのベクトル１１６～１１９から符号化対象ブロック１２０の予測ベクトル１２１を算出することになる。予測ベクトル１２１が左の隣接ブロックのベクトル１１９となる（ＰＭＶ＝ＭＶＬ）場合もある。
　図４の１００で例示されるようにベクトル情報は少なくとも輝度成分のベクトル情報とされるが、色差成分のベクトル情報（Cb、Cr それぞれに存在）を含んでもよい。即ち、画像の輝度成分と色差成分のそれぞれに対して別々に予測符号化を行ってベクトル情報を取得する。この場合には、図４に例示されるようにベクトルを用いた予測符号化（ベクトル予測符号化）において輝度と色差で異なるベクトルを使用するか否かを示す情報を付加することが望ましい。画像によって輝度と色差で異なるベクトルを使用することを要しない場合があることを考慮したものである。ベクトル予測符号化の方法が複数種類ある場合にはその方法を特定するための情報が必要である。特定のベクトル予測符号化方法を用いることが暗黙的に指定される場合には前記方法を特定する情報を顕在化させなくてもよい。
　画像符号化装置１０による処理は画像データＶＤｉｎの逐次入力に同期して順次行われ、図１のストリーム符号化部１２の符号化処理は画像符号化１１部の予測符号化の処理に従って順次行われる。画像符号化部１１による動画像の符号化は、大きく分けて、時間的に前後の画像（以下、符号化あるいは復号処理における、動画像を構成する１枚の画面を「画像」と称する。「画像」は、プログレッシブ信号、インターレース信号における「フレーム」、「フィールド」のいずれをも示すことができ、例えば、符号化がフレーム単位で行われているときは「画像」は「フレーム」を示し、処理がフィールド単位の場合は「フィールド」を示す。なお、符号化分野において一般名称化している「フレーム間」、「フレーム間」、「フレームメモリ」は、このまま用いるが、プログレッシブ信号の「フレーム」に特定したものではなく、その時の処理モードによって「フレーム」「フィールド」いずれをも意味する）からの差分を符号化するフレーム間符号化と、１つの画像を単独で符号化するフレーム内符号化がある。一般に、フレーム内符号化した画像の符号量は、フレーム間符号化した画像の符号量よりも大きくなる。しかし、フレーム内符号化は、映像コンテンツ（シーケンス）の先頭に必要な他、再生時のランダムアクセス性の向上や、エラー時の復帰用に必要な方式であり、通常、０．５秒から２秒間隔、すなわち１５フレームから６０フレームごとに周期的に選択される。
　符号化処理は画像を細分化したブロック（通常１６画素×１６ライン、ＭＰＥＧでは「マクロブロック」と呼ぶ。もし、本発明の処理単位が、ＭＰＥＧにおけるマクロブロックのサイズと異なる場合は、マクロブロックと明確に区別するために「サブブロック」と称することもある）が処理単位となる。フレーム内符号化では、ブロック毎に、同一画像内にありかつ既に符号化された画像信号（画素）の値を用いて予測信号が生成され、符号化するブロックの信号と予測信号との差分値が、直交変換および量子化され、符号に変換されて、符号化処理が行われる。同時に、予測信号を生成する上での予測方法を示す情報があわせて生成される。
　予測信号の生成方法としては、符号化するブロックの周囲画素の平均値を用いる方法や、これから符号化される符号化ブロックの予測信号として、画像の内容の方向に応じて複数の方向の予測方法を予め定義しておき、縦方向に相関が強いというような画像の内容に従って、好適な予測方向を選択し、符号化ブロックに隣接する符号化済みである信号を選択した方向に繰返しコピーすることによって予測信号を生成する。この場合には予測方法を特定する情報として、どの方向の予測を用いたかを示す情報も併せて取得される。更に、特許文献１，２に示されるように、ベクトル情報を用いてフレーム内予測符号化を行うことも可能である。特に、特許文献２に示されるように、参照範囲に含まれるまだ符号化／復号が終わってない領域（未符号化領域）を逓倍のベクトルを用いて補間することで未符号化領域が多く含まれる範囲を参照した場合における符号化効率の低下を抑制可能にする予測符号化方法を用いることも可能である。この予測方法を以降、特定ベクトル予測と呼称する。
　図２のストリーム符号化部１２における処理では、図１で示されるように、最初に、マクロブロックが画面内予測、画面間予測のどちらで符号化されているかを示す情報（マクロブロックタイプ：mb_type）１０１が生成され、次に、マクロブロックをどのようにブロックに分割するかを示す情報（パートサイズ：part_size）１０２が生成される。マクロブロックタイプ（mb_type）１０１の値によって後続するデータ構成が相違される（１０３）。マクロブロックタイプ（mb_type）１０１が画面間予測の場合には、いくつの参照面を用いるかを示す情報（リファレンスナンバー：reference number）１０４、参照する画面を示す情報（リファレンスインデックス： refernce index）、及び参照画面の参照位置を示す情報（モーションベクタ： motion vector）１０６が後続する。それぞれ、画面間予測でどの画像を参照するかと画像内のどの位置を参照するかを示す情報であり、リファレンスナンバー（reference number）１０４及びパートサイズ（part_size）１０２に応じた個数が繰り返し数１０７の繰り返しによってビットストリームに含まれる。最後に誤差情報（residual）１１４が存在する。これによるデータストリームの一単位の配列は図５のＵＤ＿Ａのようにされる。
　一方、画面内予測の場合には、情報（ベクタモード：vec_mode）１０８によって、画面内予測の方法として、上記特定ベクトル予測によるフレーム内予測を用いるか、或いはベクトルを用いないフレーム内予測を用いるかが示される。この後には、前記特定ベクトル予測ならば輝度成分と色差成分のベクトル情報（vector）１１１が含まれ、ベクタを用いない画面内予測手法ならば、その手法を特定する情報（予測モード：mode）１１２が取得される。ベクトル情報（vector）１１１の取得処理の繰り返しによって得られる画面内予測に用いるベクトルの本数は、マクロブロックをどのようなブロックに分割するか、輝度、色差で同じベクトルを用いるか異なるベクトルを用いるかによって変化する。ここでは、輝度、色差で同じベクトルを用いるかどうかを示す情報はベクタモード（vec_mode）１０８が保有する。或いは、上位層(非特許文献１、２のSlice等に相当)の情報に保有させてもよい。以上の情報に基づき、定められた数のベクトルがビットストリームに含まれることとなる。最後に誤差情報（residual）１１４が存在する。系列に予測モード（mode）１１２を有するデータストリームの一単位の配列は図５のＵＤ＿Ｃのようにされる。系列にベクトル情報（vector）１１１を有するデータストリームの一単位の配列は図５のＵＤ＿Ｂのようにされる。
　予測モード（mode）１１２の繰り返し回数はパートサイズ（part_size）１０２によってのみ定まる。
　図１のフローに示される各系列の処理若しくは情報は画面サイズに応じた回数だけ繰り返され（１１５）、これによって１画面分もしくは1フレーム分の符号化された情報がデータストリームＢＳｏｕｔとして出力され、画像復号装置に伝達される。
　実施の形態１によれば、生成されるデータストリームＢＳｏｕｔには予測符号化の処理毎に、予測方法を特定する情報（mb_type１０１、vec_mode１０８、mode１１３）とその方法によって予測符号化された情報（１０２，１０４～１０７、１１４）とが配置され、ベクトル情報を用いるフレーム内予測符号化に対しては予測符号化された情報としてベクトル情報１１０と前記誤差の情報１１４などを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号を保証することができる。
　図１の場合には特に、前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報（mb_type）１０１と、フレーム内予測にベクトル情報を用いたか否かを示す情報（vec_mode）１０８とであるから、この予測方法を特定する情報を例えば２ビット単位で表すことができる。
　《実施の形態２》
　図６には図２のストリーム符号化部１２による符号化処理の別の処理手順が例示される。これはフレーム間予測で自フレームを指定して実質フレーム内予測とするものである。すなわち、前記予測方法を特定する情報として、画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（プレッドタイプ：pred_type）２００と、リファレンスインデックス（reference index）１０５とするものである。ここでのリファレンスインデックス（reference index）１０５は、前記ベクトル情報を用いて参照するフレームが符号化対象の自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報として位置づけられる。ベクタ（vector）１１１は前記ベクタ（vector）１１０及びモーションベクタ（motion vector）１０６を総称する。
　その他の点については図１と同じであるからその詳細な説明を省略する。系列にリファレンスインデックス（reference index）１０５を有するデータストリームの一単位の配列は図７のＵＤ＿Ｄのようにされ、系列に予測モード（mode）１１２を有するデータストリームの一単位の配列は図７のＵＤ＿Ｅのようにされる。
　図８にはリファレンスインデックス（reference index）１０５による参照フレームの指定の具体例が示される。図８の例においては、リファレンスインデックス（reference index）１０５に値０又は値１が指定された場合には画像３００又は３０１を参照し、フレーム間予測を行う。一方、リファレンスインデックス（reference index）１０５に値２が指定された場合には、現在符号化処理中の画像３０２からベクタ３０３の指し示す領域３０４を参照し、符号化対象ブロック３０５の予測画像を３０４の画像とする。リファレンスインデックス（reference index）１０５のどの値が現在処理中の画像かどうかは、取り得るリファレンスインデックス（reference index）１０５の値の最小値、もしくは最大値ならば現在符号化中の画像と判断する、もしくはSlice等の上位層中に現在符号化中の画像がどのリファレンスインデックスの値に割当てられているかの情報を追加し、この情報を用いて判断することができる。また、マクロブロックごとに輝度、色差で別々のベクトルを用いるかどうかを変更したい場合には、リファレンスインデックス（reference index）１０５の次に図１と同様のベクタモード（vec_mode）１０８を追加し、ベクタの本数なども伝達してもよい。リファレンスナンバー（reference number）１０４に応じて、複数の参照面が参照されることになり、ベクトル予測で複数の領域が参照されることやベクトル予測とフレーム間予測の双方が用いられる場合がある。これらの場合においては、それぞれの参照位置に応じた予測画像を生成し、その結果を重み付け加算することによって現在のブロックの予測画像とすればよい。
　実施の形態２によれば、リファレンスインデックス（reference index）１０５はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、そのような情報を流用するから、前記予測方法を特定するためだけの情報を図１に比べて１ビット少ない１ビット単位で表すことができる。したがって予測符号化による画像情報の圧縮率向上に寄与することができる。
　《実施の形態３》
　図９には図２のストリーム符号化部１２による符号化処理の更に別の処理手順が例示される。これは、図１で説明したパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８を集約した情報（プレッドモード：pred_mode）４００をそれらに代えて用いるようにしたものである。すなわち、プレッドモード（pred_mode）４００は、マクロブロックのサブサイズを示すパートサイズ（part_size）１０２と、フレーム内予測にベクトル情報を用いるか否かを示すベクタモード（vec_mode）１０８との組み合わせを示す情報である。図９の場合には、パートサイズ（part_size）１０２はフレーム間予測時のみ符号化され、フレーム内予測が用いられる場合には、プレッドモード（pred_mode）４００が符号化される。プレッドモード（pred_mode）４００の値によって、図１のパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８に相当する情報を同時に取得可能になる。図１ではベクタの数がパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値から定まったのに対し、図９ではプレッドモード（pred_mode）４００の値のみから決定される。プレッドモード（pred_mode）４００以降の処理若しくはデータは、図１と同様であるからその詳細な説明は省略する。
　系列にパートサイズ（part size）１０２を有するデータストリームの一単位の配列は図１０のＵＤ＿Ｆのようにされ、系列にベクタ（vector）１１０を有するデータストリームの一単位の配列は図１０のＵＤ＿Gのようにされ、系列にモード（mode）１１２を有するデータストリームの一単位の配列は図１０のＵＤ＿Hのようにされる。
　図１１にはパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値の割り当てとプレッドモード（pred_mode）４００の値の割り当てとの関係が例示される。パートサイズ（part_size）１０２のビット数に対してサブサイズの種類、即ちベクタの本数に余裕があれば、複数の要素をまとめて符号化することによって、夫々の要素を個別にする場合に比べて情報のビット数の削減が可能になる。例えば、図１１に例示されるように、３ビットのパートサイズ（part_size）１０２で区別する６通りと、1ビットのベクタモード（vec_mode）１０８で区別する２通りの状態を、３ビットのプレッドモード（pred_mode）４００により区別することがきき、データストリームＢＳｏｕｔの一単位について１ビットのデータビット数を削減することができる。
　《実施の形態４》
　図１２には図２のストリーム符号化部１２による符号化処理の更に別の処理手順が例示される。これは、図１の処理においてフレーム内予測をベクトル予測に限定した場合の例である。したがって、図１のベクタモード（vec_mode）１０８及びモード（mode）１１２が不要になる。
　系列にリファレンスナンバー（reference number）１０４を有するデータストリームの一単位の配列は図１３のＵＤ＿Iのようにされ、系列にベクタ（vector）１１０を有するデータストリームの一単位の配列は図１３のＵＤ＿Jのようにされる。
　尚、マクロブロックごとに輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１２には図示を省略するが、図１２のベクタ（vector）１１０の前に図１と同様のベクタモード（vec mode）１０８を追加し、vector の本数を伝達するようにすればよい。
　《実施の形態５》
　図１４にはストリーム符号化部１２による符号化処理の更に別の処理手順が例示される。これは、図６の処理においてフレーム内予測をベクトル予測に限定した場合の例である。したがって、図６のプレッドタイプ（pred type）２００及びモード（mode）１１２が不要になる。図６の場合と同様に、リファレンスインデックス（reference index）１０５の値によって、画面間予測かベクトル予測かを判断することによって、マクロブロックタイプ（mb_type）の符号化が不要となる。この場合のデータストリームの一単位の配列は図１５のＵＤ＿Kのようにされる。
　尚、マクロブロック毎に輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１４には図示を省略するが、図１４のベクタ（vector）１１０の前に図１と同様のベクタタモード（vec mode）１０８を追加し、vector の本数を伝達するようにすればよい。
　《実施の形態６》
　図２のストリーム復号部２１による復号処理の処理順はストリーム符号化部１２による符号化の処理順と同一になる。したがって実施の形態1乃至５で説明したストリーム符号化部１２による符号化の処理における符号化を復号に置き換えることによって、ストリーム復号部２１による処理内容とみなすことができる。実施の形態６乃至１０においては、ストリーム符号化部１２の説明に用いた図面を流用しながら、ストリーム復号部２１の処理について説明する。
　図１はストリーム復号部２１による復号処理の処理手順を例示することにもなり、実施の形態１によるストリーム符号化処理に対応するストリーム復号処理を説明する。データストリームＢＳｏｕｔ，ＢＳｉｎによって画像符号化装置から画像復号装置に伝達される前記ベクトル情報は、ベクトルの値そのもの、もしくはベクトルの値と予測ベクトルとの差分値とされ、差分値の場合に例えば図３で説明したように予測ベクトルが算出されることは、画像符号化の場合に説明したのと同様であり、ここではその詳細な説明は省略する。ベクトル情報は少なくとも輝度成分のベクトル情報とされ、色差成分のベクトル情報（Cb、Cr それぞれに存在）を含んでもよいことは画像符号化の場合と同様である。予測画像の生成方法が複数種類ある場合にはその方法を特定するための情報１００Ａが伝達される。特定のベクトル予測復号方法を用いることが暗黙的に指定される場合には前記情報１００Ａは伝達されなくてよい。
　画像復号装置２０による処理はデータストリームＢＳｉｎの逐次入力に同期して順次行われ、図２のストリーム復号部２１の復号処理はデータストリームＢＳｉｎの入力順従って行われる。
　図２のストリーム復号部２１における処理では、最初に、マクロブロックが画面内予測、画面間予測のどちらで符号化されているかを示す情報（マクロブロックタイプ：mb_type）１０１が復号され、次に、マクロブロックをどのようにブロックに分割するかを示す情報（パートサイズ：part_size）１０２が復号される。マクロブロックタイプ（mb_type）１０１の値によって後続するデータ構成が相違される（１０３）。マクロブロックタイプ（mb_type）１０１が画面間予測の場合には、いくつの参照面を用いるかを示す情報（リファレンスナンバー：reference number）１０４、参照する画面を示す情報（リファレンスインデックス： refernce index）、及び参照画面の参照位置を示す情報（モーションベクタ： motion vector）１０６が後続する。それぞれ、画面間予測でどの画像を参照するかと画像内のどの位置を参照するかを示す情報であり、リファレンスナンバー（reference number）１０４及びパートサイズ（part_size）１０２に応じた個数が繰り返し数１０７の繰り返しによってビットストリームに含まれる。最後に誤差情報（residual）１１４が存在する。入力されるデータストリームＢＳｉｎの一単位の配列は図５のＵＤ＿Ａの通りである。
　一方、画面内予測の場合には、情報（ベクタモード：vec_mode）１０８によって、画面内予測の方法として、上記特定ベクトル予測によるフレーム内予測を用いるか、或いはベクトルを用いないフレーム内予測を用いるかが示される。この後には、前記特定ベクトル予測ならば輝度成分と色差成分のベクトル情報（vector）１１１が含まれ、ベクトルを用いない画面予測手法ならば、その手法を特定する情報（予測モード：mode）１１２が取得される。ベクトル情報（vector）１１１の取得処理の繰り返しによって得られる画面内予測に用いるベクトルの本数は、マクロブロックをどのようなブロックに分割するか、輝度、色差で同じベクトルを用いるか異なるベクトルを用いるかによって変化する。ここでは、輝度、色差で同じベクトルを用いるかどうかを示す情報はベクタモード（vec_mode）１０８が保有する。或いは、上位層(非特許文献１、２のSlice等に相当)の情報に保有させてもよい。以上の情報に基づき、定められた数のベクトルがビットストリームに含まれることとなる。最後に誤差情報（residual）１１４が存在する。系列に予測モード（mode）１１２を有するデータストリームＢＳｉｎの一単位の配列は図５のＵＤ＿Ｃのようにされる。系列にベクトル情報（vector）１１１を有するデータストリームＢＳｉｎの一単位の配列は図５のＵＤ＿Ｂのようにされる。
　予測モード（mode）１１２の繰り返し回数はパートサイズ（part_size）１０２によってのみ定まる。
　図１のフローに示される各系列の処理若しくは情報は画面サイズに応じた回数だけ繰り返され（１１５）、これによって１画面分もしくは1フレーム分の復号された情報が画像復号部２２に供給され、それに従って画像が復号される。
　実施の形態６によれば、入力されるデータストリームＢＳｉｎには予測符号化の処理毎に、予測方法を特定する情報（mb_type１０１、vec_mode１０８、mode１１３）とその方法によって予測符号化された情報（１０２，１０４～１０７、１１４）とが配置され、ベクトル情報を用いるフレーム内予測符号化に対しては予測符号化された情報としてベクトル情報１１０と前記誤差の情報１１４などを有する。したがって、符号化方法の伝達という点で、ベクトル情報を用いたフレーム内予測符号化により符号化された情報の復号が保証される。
　《実施の形態７》
　図６は図２のストリーム復号部２１による復号処理の別の処理手順を例示することにもなり、実施の形態２によるストリーム符号化処理に対応するストリーム復号処理を説明する。これはフレーム間予測で自フレームを指定して実質フレーム内予測とするものに対応する。すなわち、前記予測方法を特定する情報として、画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報（プレッドタイプ：pred_type）２００と、リファレンスインデックス（reference index）１０５とを復号するものである。ここでのリファレンスインデックス（reference index）１０５は、前記ベクトル情報を用いて参照するフレームが復号対象の自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報として位置つけられる。ベクタ（vector）１１１は前記ベクタ（vector）１１０及びモーションベクタ（motion vector）１０６を総称する。
　その他の点については図１に基づいて説明した実施の形態６と同じであるからその詳細な説明を省略する。系列にリファレンスインデックス（reference index）１０５を有するデータストリームＢＳｉｎの一単位の配列は図７のＵＤ＿Ｄのようにされ、系列に予測モード（mode）１１２を有するデータストリームＢＳｉｎの一単位の配列は図７のＵＤ＿Ｅのようにされる。
　データストリームの復号処理におけるリファレンスインデックス（reference index）１０５による参照フレームの指定の具体例は図８と同様であるからここではその詳細な説明は省略する。
　実施の形態７によれば、リファレンスインデックス（reference index）１０５はフレーム間予測符号化において参照するフレームを特定するのにそもそも必要な情報であり、データストリームＢＳｉｎはそのような情報を流用するから、前記予測方法を特定するためだけの情報を図１に比べて１ビット少ない１ビット単位で表すことができる。したがって復号すべきデータストリームＢＳｉｎのデータ量が削減される。
　《実施の形態８》
　図９は図２のストリーム復号部２１による復号処理の更に別の処理手順を例示することにもなり、実施の形態３によるストリーム符号化処理に対応するストリーム復号処理を説明する。ここでは、図１で説明したパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８を集約した情報（プレッドモード：pred_mode）４００をそれらに代えて伝送される。すなわち、プレッドモード（pred_mode）４００は、マクロブロックのサブサイズを示すパートサイズ（part_size）１０２と、フレーム内予測にベクトル情報を用いるか否かを示すベクタモード（vec_mode）１０８との組み合わせを示す情報である。図９の場合には、パートサイズ（part_size）１０２はフレーム間予測時のみ符号化され、フレーム内予測が用いられる場合には、プレッドモード（pred_mode）４００が符号化される。プレッドモード（pred_mode）４００の値によって、図１のパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８に相当する情報を同時に取得可能になる。図１ではベクタの数がパートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値から定まったのに対し、図９ではプレッドモード（pred_mode）４００の値のみから決定される。プレッドモード（pred_mode）４００以降の処理若しくはデータは、図１と同様であるからその詳細な説明は省略する。
　系列にパートサイズ（part size）１０２を有するデータストリームＢＳｉｎの一単位の配列は図１０のＵＤ＿Ｆのようにされ、系列にベクタ（vector）１１０を有するデータストリームＢＳｉｎの一単位の配列は図１０のＵＤ＿Gのようにされ、系列にモード（mode）１１２を有するデータストリームＢＳｉｎの一単位の配列は図１０のＵＤ＿Hのようにされる。
　パートサイズ（part_size）１０２とベクタモード（vec_mode）１０８の値の割り当てとプレッドモード（pred_mode）４００の値の割り当てとの関係については図１１と同様であるからここではその詳細な説明を省略する。
　《実施の形態９》
　図１２は図２のストリーム符号化部１２による復号処理の更に別の処理手順を例示することにもなり、実施の形態４によるストリーム符号化処理に対応するストリーム復号処理を説明する。これは、図１の処理においてフレーム内予測をベクトル予測に限定した場合に対応する。したがって、図１のベクタモード（vec_mode）１０８及びモード（mode）１１２が不要になる。
　系列にリファレンスナンバー（reference number）１０４を有するデータストリームＢＳｉｎの一単位の配列は図１３のＵＤ＿Iのようにされ、系列にベクタ（vector）１１０を有するデータストリームＢＳｉｎの一単位の配列は図１３のＵＤ＿Jのようにされる。
　尚、マクロブロックごとに輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１２には図示を省略するが、図１２のベクタ（vector）１１０の前に図１と同様のベクタモード（vec mode）１０８が追加され、vectorの本数が伝達される。
　《実施の形態１０》
　図１４はストリーム符号化部１２による符号化処理の更に別の処理手順を例示することにもなり、実施の形態５によるストリーム符号化処理に対応するストリーム復号処理を説明する。図６の処理においてフレーム内予測をベクトル予測に限定した場合に対応する。したがって、図６のプレッドタイプ（pred type）２００及びモード（mode）１１２が不要になる。図６の場合と同様に、リファレンスインデックス（reference index）１０５の値によって、画面間予測かベクトル予測かを判断することによって、マクロブロックタイプ（mb_type）の符号化が不要となる。この場合のデータストリームＢＳｉｎの一単位の配列は図１５のＵＤ＿Kのようにされる。
　尚、マクロブロック毎に輝度、色差で別々のベクトル情報を用いるかどうかを変更したい場合には、図１４には図示を省略するが、図１４のベクタ（vector）１１０の前に図１と同様のベクタタモード（vec mode）１０８が追加され、vector の本数が伝達される。
　《実施の形態１１》
　画像復号装置において、ビットストリーム上のvectorの復号結果を用いて、ベクトル予測に用いるベクトルの算出方法を、最初に輝度、次に色差の場合に分けて順次説明する。
　まず、輝度のベクトルの算出方法について述べる。ビットストリームを復号して得られた値を輝度のベクトルの値とする。もしくは、ビットストリーム上には、ベクトルの差分値が符号化されており、復号器側で算出した予測ベクトルにビットストリームから得られた値を加算した値を輝度のベクトルの値とする。前者の方法は、符号量が増加するものの、ベクトル算出回路の単純化が可能であるという利点が存在する。後者は、差分値のみが送信されるため、符号量が減るという利点が存在する。予測ベクトルの作成方法については、以下で述べる。
　図３に例示されたブロックの位置関係において、予測ベクトルは、左のブロックのベクトル予測で用いられているベクトル１１９を現在のブロック１２０の予測ベクトル１２１とする。ただし、現在のブロックが画面左端である等の理由で左のブロックが存在しない場合や、左のブロックがベクトル予測でない場合には、代わりに上のブロックのベクトル１１７を用い、上も条件に合致しない場合は、左上１１６や右上１１８を使用する。もしくは、予測ベクトルの値としてあらかじめ定められた固定値を用いる。得られた予測ベクトルにビットストリームを復号して得られたベクトルの差分値を加えることで予測に用いるベクトルを得る。さらに、別の予測ベクトルの算出手法では、予測ベクトルは、左、上等の近隣ブロックのベクトルの平均値や中央値とする。この際には、ベクトル予測ではないブロックのベクトルはあらかじめ定められた固定値として扱う、若しくは考慮しない。
　更に、別の予測ベクトルの算出手法では、予測ベクトルは、復号順において、現在のブロックの直前に復号したベクトル予測を用いるブロックのベクトルとする。現在のブロックが現在の画像中で最初に復号したベクトル予測を用いるブロックの場合には、前の画像の最後のベクトル予測のベクトルを用いる、もしくは、あらかじめ定められた固定値を予測ベクトルとする。
　更に、別の予測ベクトルの算出手法では、Slice等の上位層に予測ベクトルの値を符号化しておき、この符号化された値を予測ベクトルとする。
　更に、別の予測ベクトルの算出手法では、予測ベクトルは、既に復号済みの画像における同位置のブロックのベクトルとする。復号済みの画像がない(最初の画像等)場合や該当位置のブロックがベクトル予測でない場合には、あらかじめ定められた固定値を予測ベクトルとする。復号済みの画像の選択方法に関しては、マクロブロック毎にどの復号済み画像を使うかの情報を伝送してもよいし、Slice等の上位層で伝達してもよい。この手法は、これまでの手法と組み合わせることが可能である。例えば、初めの手法と組み合わせた場合においては、初めの手法で左、上のブロック等がベクトル予測ではない場合には、この手法を適用して、既に復号済みの画像から予測ベクトルを得る。また、先にこの手法を行った後に、初めの手法を行うケースのように手法を適用する順序を任意に変更することも可能である。
　次に、色差のベクトルの算出方法について述べる。色差のベクトルが符号化されていない場合には、輝度成分のベクトルを輝度と色差の画像サイズに応じてスケーリングしたものを色差のベクトルとする。一方、色差のベクトルが符号化されている場合には、輝度成分のベクトルと同様の方法で予測ベクトルを得て、ビットストリームから復号したベクトルの差分値を加算することで色差のベクトルを得る。輝度成分の予測ベクトルの算出方法とは別に、色差の予測ベクトルを輝度成分のベクトルの値を輝度と色差の画像サイズに応じてスケーリングしたものとしてもよい。更に、この手法と輝度成分の予測ベクトルの算出方法を組み合わせてもよい。例えば、初めの手法と組み合わせた場合、左、上のブロックがベクトル予測でない場合は、輝度のベクトルをスケーリングしたものを色差の予測ベクトルとする。このように、色差成分のベクトルを輝度成分から予測する方法は、他の予測方法と組み合わせて用いることが可能である。また、輝度成分と同様にこの手法と復号済みの画像から予測ベクトルを算出する手法、それ以外の手法の3つの手法を組み合わせることも可能である。
　符号化の際にも，復号時と同様の手順で予測ベクトルの生成を行い，データストリーム中に，符号化器でベクトル予測に用いたベクトルと予測ベクトルの差分を符号化する．予測ベクトルの生成を行わない場合は，ベクトル予測に用いたベクトルの値をデータストリーム中に符号化する。
　《実施の形態１２》
　図１６には画像符号化装置１０の具体例が示される。図１６において図２の画像符号化部１１は１０００～１００８の回路によって構成される。
　入力された画像信号ＤＶｉｎはブロックに分割され入力される。入力された信号ＤＶｉｎは、差分回路（－）１０００において、予測信号１０１１と画素毎に差分がとられ、以降、直交変換回路（Ｔ）１００１、量子化回路（Ｑ）１００２にて信号１０１０に変換された後、ストリーム符号化部（ＶＣＬ）１２にて符号化されてデータストリームＢＳｏｕｔとして出力される。同時に、信号１０１０は、逆量子化回路（ＩＱ）１００３、逆直交変換回路（ＩＴ）１００４にて差分信号に逆変換された後、加算回路（＋）１００５において、先の予測信号１０１１と画素毎に加算され、画像復号装置で得られるものと同一の画像信号（ローカルデコード画像）が得られる。ローカルデコード画像はフレームメモリ（ＦＭ）１００６に書き込まれ、以降の予測信号１０１１生成処理に用いられる。
　予測信号１０１１は、予測モード決定回路（ＭＯＤＥ）１００７において、以下のように生成される。入力された画像信号（符号化ブロック）ＤＶｉｎは予測モード決定回路１００７に入力される。予測モード決定回路１００７は、該当する符号化ブロックの予測信号の候補を得るための候補ベクトル（実施形態１１とは，異なる意味で使用しており、実施形態１１のベクトル予測に用いるベクトルに相当する。）を複数用意し、これらを候補ベクトル１０１３として順次、予測信号生成回路（Ｐ）１００８に入力する。予測信号生成回路１００８はアドレス信号１０１７でフレームメモリの符号化済み領域（後で説明する復号装置の場合の復号済み領域に相当）をアクセスして画素信号１０１６を取得し、取得した画素信号から、指定された候補ベクトルによる予測信号１０１４を生成する。予測モード決定回路１００７は入力信号ＤＶｉｎ（符号化ブロック信号）と、予測ブロック信号（１０１４）を画素毎に差分をとり、予測誤差を計算する。そして、全ての候補ベクトルの予測誤差を計算した後に、最も予測誤差の小さい（最も類似した）ものをベクトル予測に用いるベクトル１０１２とするとともに、ベクトル予測に用いるベクトル１０１２に対応する予測信号１０１１を出力する。なお、ベクトル予測に用いるベクトル１０１２は符号化部１２においてデータストリームＢＳｏｕｔの一部とされる。
　特に制限されないが、予測モード決定回路１００７はフレーム間予測の場合には動きベクトル（motion vector）を、フレーム内予測の場合にはベクタ（vector）をベクトル予測に用いるベクトル１０１２として出力する。その他、データストリームＢＳｏｕｔを構成するために必要な情報は予測モード決定回路１００７が生成してストリーム符号化部１２に与える。
　図１７には画像復号装置２０の具体例が示される。図１７において図２の画像復号部２２は２０００～２００４の回路によって構成される。
　入力されるデータストリームＢＳｉｎには、画像を構成するブロック毎にベクトル予測に用いるベクトルと、予測信号に対する差分信号の情報が含まれている。ストリーム復号部（ＶＬＤ）２１ではデータストリームＢＳｉｎを復号して、ベクトル予測に用いるベクトル２０１３及び差分情報２０１１などを抽出する。差分情報２０１１は逆量子化回路（ＩＱ）２０００、逆直交変換回路（ＩＴ）２００１にて差分信号２０１２に変換される。これと並行して、予測信号生成回路（Ｐ）２００３では、ベクトル予測に用いるベクトル２０１３をもとに、フレームメモリ（ＦＭ）２０１５の復号済み領域の指定アドレス２０１６を生成し、該当アドレスの画素信号２０１５を取得し、予測ブロックの画素信号２０１４を生成する。生成した予測ブロックの画素信号２０１４は画像再生回路（＋）２００２において、差分信号２０１２に加算され、該当するブロックの画像が再生される。再生された画像はフレームメモリ２００４に書き込まれ、以降のブロックの画像再生時の予測画像生成の候補として使用される。１画面分の復号処理が終了したのち、生成された画像の信号は出力信号ＤＶｏｕｔとして出力され、テレビなどの表示装置などに表示される。
　特に制限されないが、予測信号生成回路２００３はフレーム間予測の場合にはベクトル予測に用いるベクトル２０１３を動きベクトル（motion vector）として、フレーム内予測の場合にはベクタ（vector）をベクトル予測に用いるベクトル２０１３として用いる。その他、データストリームＢＳｉｎを構成する情報はストリーム復号部２１で復号され、予測信号生成回路２００３などの処理に用いられる。
　以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
　本発明は、画像の予測符号化を行う画像符号化装置及び予測符号化された情報に対する予測復号を行う画像復号装置に関し、動画像符号化復号装置技術に広く適用することができる。
　３０　符号化済み領域
　４０　未符号化領域
　４１　符号化ブロック
　３１　予測ブロック
　ＢＳｏｕｔ、ＢＳｉｎ　データストリーム
　１０　画像符号化装置
　１２　画像符号化部１１
　１２　ストリーム符号化部
　ＶＤｉｎ　動画の画像信号
　２０　画像復号装置
　２１　ストリーム復号部
　２２　画像復号部

Claims (20)

  1. 　画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、
    　前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有し、
    　前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する、画像符号化装置。
  2. 　前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報と、フレーム内予測にベクトル情報を用いたか否かを示す情報とである、請求項１記載の画像符号化装置。
  3. 　前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である、請求項２記載の画像符号化装置。
  4. 　前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である、請求項３記載の画像符号化装置。
  5. 　前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とである、請求項１記載の画像符号化装置。
  6. 　フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム内予測又はフレーム間予測の何れであるかを示す情報である、請求項１記載の画像符号化装置。
  7. 　フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報（reference index）である、請求項１記載の画像符号化装置。
  8. 　前記ベクトル情報は、輝度成分のベクトル情報を含む、請求項１記載の画像符号化装置。
  9. 　前記予測方法を特定する情報は、それが特定する予測方法が、前記予測情報を生成するために用いる予測画像の指定にベクトル情報を用いる予測符号化である場合に、当該ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方の何れを用いるかを示す情報を含む、請求項１記載の画像符号化装置。
  10. 　画像の予測符号化の対象にされる分割された画像の情報と予測情報との誤差を求めて予測符号化を行う画像符号化部と、
    　前記画像符号化部による予測符号化の処理結果に基づいて、前記分割された画像の情報に対する処理毎に予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを生成するストリーム符号化部とを有し、
    　前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    　前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とであり、
    　前記分割された画像情報を含む自らのフレームをフレーム間予測符号化の対象フレームとすることによってベクトル情報を用いたフレーム内予測符号化を行う、画像符号化装置。
  11. 　画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、
    　前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有し、
    　前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いるフレーム内予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有する、画像復号装置。
  12. 　前記予測方法を特定する情報は、前記分割された画像の情報に対する予測がフレーム内予測又はフレーム間予測の何れであったかを示す情報と、フレーム内予測にベクトル情報を用いたか否かを示す情報とである、請求項１１記載の画像復号装置。
  13. 　前記フレーム内予測にベクトル情報を用いたか否かを示す情報は、前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いるか否かを示す情報との組み合わせを示す情報である、請求項１２記載の画像復号装置。
  14. 　前記分割された画像の情報の画像サイズを細分化したサブサイズとフレーム内予測にベクトル情報を用いたか否かを示す情報との組み合わせを示す情報は、前記サブサイズの種類を２のべき乗で区別するために必用なビット数で表した情報である、請求項１３記載の画像復号装置。
  15. 　前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム間予測若しくはベクトル情報を用いたフレーム内予測の何れか又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とである、請求項１１記載の画像復号装置。
  16. 　フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、前記分割された画像情報に対する予測がフレーム内予測又はフレーム間予測の何れであるかを示す情報である、請求項１１記載の画像復号装置。
  17. 　フレーム内予測にベクトル情報を用いる予測だけを採用するとき、前記予測方法を特定する情報は、参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報である、請求項１１記載の画像復号装置。
  18. 　前記ベクトル情報は、輝度成分のベクトル情報を含む、請求項１１記載の画像復号装置。
  19. 　前記予測方法を特定する情報は、それが特定する予測方法が、前記予測情報を生成するために用いる予測画像の指定にベクトル情報を用いる予測符号化である場合に、当該ベクトル情報として輝度成分のベクトル情報のみ、又は輝度成分のベクトル情報と色差成分のベクトル情報の双方の何れを用いるかを示す情報を含む、請求項１１記載の画像復号装置。
  20. 　画像の予測符号化の対象にされる分割された画像の情報に対する予測符号化の予測方法を特定する情報とその方法によって予測符号化された情報とを配列したデータストリームを入力系列にしたがって復号するストリーム復号部と、
    　前記ストリーム復号部で復号された前記予測方法を特定する情報とその方法によって予測符号化された情報とを利用することにより、先に復号した画像情報に基づいて取得した予測情報に誤差の情報を加えて画像の復号を行う画像復号部と、を有し、
    　前記データストリームは、前記予測方法が、前記予測情報を生成するための予測画像の指定にベクトル情報を用いる予測符号化である場合には、予測符号化された情報として、前記分割された画像の情報に対する処理毎に、ベクトル情報と前記誤差の情報とのペアを有し、
    　前記予測方法を特定する情報は、前記分割された画像情報に対する予測がベクトル情報を用いた予測又はその他のフレーム内予測であるかを示す情報と、前記ベクトル情報を用いて参照するフレームが前記分割された画像情報を含む自らのフレームも含めた複数フレームの内の何れのフレームであるかを示す情報とであり、
    　復号対象である自らのフレームをフレーム間予測復号の対象フレームとすることによってベクトル情報を用いたフレーム内予測復号を行う、画像復号装置。
PCT/JP2011/078135 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置 WO2012098776A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201180065477.2A CN103329534B (zh) 2011-01-19 2011-12-06 图像编码装置及图像解码装置
US13/978,136 US9787981B2 (en) 2011-01-19 2011-12-06 Image coding device and image decoding device
JP2012553573A JP5625073B2 (ja) 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置
KR1020177035944A KR101912059B1 (ko) 2011-01-19 2011-12-06 화상 부호화 장치 및 화상 복호 장치
KR1020137018980A KR101811090B1 (ko) 2011-01-19 2011-12-06 화상 부호화 장치 및 화상 복호 장치
EP11856135.6A EP2667613A4 (en) 2011-01-19 2011-12-06 IMAGE ENCODING DEVICE AND IMAGE DECODING DEVICE
US15/697,143 US10306236B2 (en) 2011-01-19 2017-09-06 Image coding device and image decoding device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011008902 2011-01-19
JP2011-008902 2011-01-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/978,136 A-371-Of-International US9787981B2 (en) 2011-01-19 2011-12-06 Image coding device and image decoding device
US15/697,143 Continuation US10306236B2 (en) 2011-01-19 2017-09-06 Image coding device and image decoding device

Publications (1)

Publication Number Publication Date
WO2012098776A1 true WO2012098776A1 (ja) 2012-07-26

Family

ID=46515413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/078135 WO2012098776A1 (ja) 2011-01-19 2011-12-06 画像符号化装置及び画像復号装置

Country Status (7)

Country Link
US (2) US9787981B2 (ja)
EP (1) EP2667613A4 (ja)
JP (2) JP5625073B2 (ja)
KR (2) KR101811090B1 (ja)
CN (1) CN103329534B (ja)
TW (2) TWI665910B (ja)
WO (1) WO2012098776A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160023729A (ko) * 2013-06-21 2016-03-03 퀄컴 인코포레이티드 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
CN105532000A (zh) * 2013-09-13 2016-04-27 佳能株式会社 用于对视频数据进行编码和解码的方法、设备和系统
JP2018513617A (ja) * 2015-03-31 2018-05-24 リアルネットワークス，インコーポレーテッド ビデオ符号化システムにおける動きベクトルの選択及び予測方法
KR101881710B1 (ko) * 2014-10-07 2018-07-24 퀄컴 인코포레이티드 인트라블록 카피를 위한 디블록 필터링
US10652569B2 (en) 2015-12-22 2020-05-12 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015100726A1 (en) * 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
AU2014385769B2 (en) 2014-03-04 2018-12-06 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
JP2017535145A (ja) 2014-09-30 2017-11-24 マイクロソフト テクノロジー ライセンシング，エルエルシー 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN110753222B (zh) * 2018-08-14 2022-03-25 北京达佳互联信息技术有限公司 视频编码方法和确定采用帧间编码方式的方法及设备
JP2020150294A (ja) 2019-03-11 2020-09-17 ルネサスエレクトロニクス株式会社 復号方法、復号装置及び符号化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2009527169A (ja) * 2006-02-17 2009-07-23 トムソン ライセンシング イントラ予測モードを使用した画像符号化方法
WO2010082231A1 (ja) 2009-01-15 2010-07-22 ルネサスエレクトロニクス株式会社 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4163618B2 (ja) 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
JP4820191B2 (ja) 2006-03-15 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
WO2008126135A1 (ja) 2007-03-20 2008-10-23 Fujitsu Limited 動画像符号化方法及び装置並びに動画像復号装置
CN101911708B (zh) 2008-01-10 2016-03-09 汤姆森特许公司 帧内预测视频的照明补偿方法和装置
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US8743957B2 (en) * 2010-04-12 2014-06-03 Sony Corporation Context adaptive directional intra prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2009527169A (ja) * 2006-02-17 2009-07-23 トムソン ライセンシング イントラ予測モードを使用した画像符号化方法
WO2010082231A1 (ja) 2009-01-15 2010-07-22 ルネサスエレクトロニクス株式会社 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISO/IEC 14496-10, INFORMATION TECHNOLOGY - CODING OF AUDIO-VISUAL OBJECTS - PART 10: ADVANCED VIDEO CODING
ITU-T H.264, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS
See also references of EP2667613A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160023729A (ko) * 2013-06-21 2016-03-03 퀄컴 인코포레이티드 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
KR102232099B1 (ko) * 2013-06-21 2021-03-24 퀄컴 인코포레이티드 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
CN105532000A (zh) * 2013-09-13 2016-04-27 佳能株式会社 用于对视频数据进行编码和解码的方法、设备和系统
EP3044959A4 (en) * 2013-09-13 2017-04-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
KR101822765B1 (ko) 2013-09-13 2018-01-26 캐논 가부시끼가이샤 비디오 데이터의 인코딩 및 디코딩을 위한 방법, 장치 및 시스템
AU2016203628B2 (en) * 2013-09-13 2018-05-31 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
KR101881710B1 (ko) * 2014-10-07 2018-07-24 퀄컴 인코포레이티드 인트라블록 카피를 위한 디블록 필터링
JP2018513617A (ja) * 2015-03-31 2018-05-24 リアルネットワークス，インコーポレーテッド ビデオ符号化システムにおける動きベクトルの選択及び予測方法
US10321150B2 (en) 2015-03-31 2019-06-11 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods
US10652569B2 (en) 2015-12-22 2020-05-12 Realnetworks, Inc. Motion vector selection and prediction in video coding systems and methods

Also Published As

Publication number Publication date
EP2667613A1 (en) 2013-11-27
JP2015027095A (ja) 2015-02-05
EP2667613A4 (en) 2016-12-07
TWI611698B (zh) 2018-01-11
US9787981B2 (en) 2017-10-10
CN103329534A (zh) 2013-09-25
KR20140029383A (ko) 2014-03-10
JP5918328B2 (ja) 2016-05-18
TW201824869A (zh) 2018-07-01
CN103329534B (zh) 2017-03-08
JP5625073B2 (ja) 2014-11-12
JPWO2012098776A1 (ja) 2014-06-09
US20170366817A1 (en) 2017-12-21
KR20170141813A (ko) 2017-12-26
US20130287105A1 (en) 2013-10-31
TWI665910B (zh) 2019-07-11
KR101912059B1 (ko) 2018-10-25
TW201249212A (en) 2012-12-01
US10306236B2 (en) 2019-05-28
KR101811090B1 (ko) 2017-12-20

Similar Documents

Publication Publication Date Title
JP5918328B2 (ja) 画像符号化方法及び画像復号方法
JP2008141787A (ja) 改良型符号化モード選択の方法および装置
JP2006352181A (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
US11153560B2 (en) Method and apparatus for performing non-separable transform based on modified intra prediction mode
JP2005198310A (ja) 予測符号化装置、予測符号化方法及び前記予測符号化方法を行うプログラムが記録されたコンピュータ読み取り可能な記録媒体
US20130188883A1 (en) Method and device for processing components of an image for encoding or decoding
CN113424529A (zh) 用于执行基于mrl的帧内预测的图像编译方法和装置
CN116193141A (zh) 视频编码和解码设备、以及发送图像数据的设备
JPWO2005107267A1 (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
TW202232955A (zh) 對參考像素進行上採樣以用於視頻譯碼中的幀內預測
CN115104318A (zh) 基于子画面的图像编码设备和方法
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
JP2010098633A (ja) 予測符号化装置および予測符号化方法
KR20060085150A (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
CN113489974B (zh) 帧内预测方法、视频/图像编解码方法及相关装置
JP2010010917A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
CN115280771A (zh) 基于滤波相关信息信令的图像编码设备和方法
CN115699775A (zh) 视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法
US20200195952A1 (en) Method and apparatus for processing video signal through target area modification
JP2014027676A (ja) 画像の復号化装置
JP2012090333A (ja) 画像の復号化装置
JP5038400B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
EP4268460A1 (en) Temporal filter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11856135

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012553573

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011856135

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13978136

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20137018980

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE