WO2010047099A1 - スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2010047099A1
WO2010047099A1 PCT/JP2009/005512 JP2009005512W WO2010047099A1 WO 2010047099 A1 WO2010047099 A1 WO 2010047099A1 JP 2009005512 W JP2009005512 W JP 2009005512W WO 2010047099 A1 WO2010047099 A1 WO 2010047099A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
correspondence
information
encoding
scalable
Prior art date
Application number
PCT/JP2009/005512
Other languages
English (en)
French (fr)
Inventor
早瀬和也
坂東幸浩
高村誠之
上倉一人
八島由幸
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US13/123,690 priority Critical patent/US8509302B2/en
Priority to BRPI0920213-7A priority patent/BRPI0920213A2/pt
Priority to JP2010534689A priority patent/JP5225388B2/ja
Priority to EP09821799A priority patent/EP2339853A4/en
Priority to RU2011114296/07A priority patent/RU2488235C2/ru
Priority to CA 2740467 priority patent/CA2740467C/en
Priority to CN2009801406274A priority patent/CN102187677B/zh
Priority to KR1020117008317A priority patent/KR101260369B1/ko
Publication of WO2010047099A1 publication Critical patent/WO2010047099A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a scalable video encoding method and apparatus for encoding a video in a scalable manner, a scalable video encoding program used for realizing the scalable video encoding method, and a computer readable recording of the program And related recording media.
  • the present invention relates to a scalable video encoding method and apparatus for realizing a reduction in encoding time, a scalable video encoding program used for realizing the scalable video encoding method, and a computer recording the program
  • the present invention relates to a readable recording medium.
  • JVT Joint Video Team
  • AVC Advanced Video Coding Standard
  • SVC Scalable Video Coding
  • SVC adopts three prediction methods: Inter prediction, Intra prediction, and inter-layer prediction, and removes redundancy existing between time, space, and layers.
  • the prediction modes that can be used in SVC are listed below.
  • JSVM Joint Scalable Video Model, see Non-Patent Document 2, for example
  • the coding cost consisting of the code amount and the coding distortion is calculated in each prediction mode.
  • the prediction mode with the lowest coding cost among all prediction modes is determined as the optimum prediction mode.
  • Patent Document 1 a vector obtained by extrapolating / interpolating the motion vector of the reference frame to the encoding target frame is generated, and the coordinates of each pixel of the moved macroblock are obtained thereby. The number of times to do is counted for each pixel.
  • the prediction mode search candidates are narrowed down according to the score value calculated from the count number of each pixel in the encoding target macroblock.
  • This narrowing method is described in H.C. H.264 / AVC is proposed for speeding up the prediction mode search.
  • the present invention is also applicable to SVC, which is the same prediction mode search mechanism as H.264 / AVC.
  • Patent Document 2 for example, nine screens of blocks that perform intra-frame coding using pixel values of adjacent coding blocks in order to perform intra-frame coding at high speed.
  • An intra prediction error is obtained, and a prediction mode of the block is determined based on the intra prediction error.
  • the prediction mode of the block is determined using the intra prediction mode of the adjacent coded block and the two prediction modes match, the prediction mode is selected as it is.
  • the prediction mode with the lower coding cost is selected.
  • this determination method requires an enormous amount of time for the prediction mode search. That is, in this determination method, a prediction mode (for example, an intra prediction mode in a still region) that is clearly not likely to be selected in consideration of the characteristics of an image in a macroblock is also searched for, which is wasteful.
  • a prediction mode for example, an intra prediction mode in a still region
  • narrowing down prediction mode search candidates in Patent Document 1 is a method for determining whether or not intra prediction is performed, and therefore, the effect of reducing the inter prediction mode search that requires a longer calculation time than the intra prediction mode search. There is no. In other words, there remains room for improvement in the Inter prediction mode search.
  • the present invention has been made in view of such circumstances, and in scalable video coding that realizes scalability by a layer structure, narrowing down prediction mode search candidates for higher layers using the correlation of optimal prediction modes between layers.
  • the purpose of this is to provide a new scalable video coding technology that increases the speed of the video.
  • the scalable video coding apparatus provides (1) a prediction mode defined as usable in order to realize high speed prediction mode search in scalable video coding that achieves scalability by a layer structure. Based on the information of the optimal prediction mode selected by scalable coding performed without any restriction on use, the occurrence rate of the combination of the optimal prediction mode of the selected upper layer and lower layer in the spatially corresponding block is calculated.
  • a correspondence table that describes the correspondence between the combination of the optimal prediction modes and the occurrence rate, and (2) spatially corresponding to the lower layer when encoding the upper layer block
  • An acquisition unit that acquires information on the optimal prediction mode selected by encoding the block to be performed, and (3) acquisition of the acquisition unit Based on the information on the optimum prediction mode and the incidence information described in the correspondence table, an effective combination is extracted from the combinations of the optimum prediction modes described in the correspondence table, and the extracted combination has A determination unit that determines an optimal prediction mode of an upper layer as a prediction mode search candidate to be searched by encoding a block of the upper layer; and (4) a scalable code that restricts use of a prediction mode that is executed using a correspondence table. And a control unit that performs control to alternately repeat scalable encoding that does not limit the use of a prediction mode that is executed without using a correspondence table.
  • the determination unit specifies the occurrence rate associated with the optimal prediction mode by referring to the correspondence table using the information of the optimal prediction mode acquired by the acquisition unit as a key. Next, the determination unit extracts a combination of optimum prediction modes having an occurrence rate that indicates a value larger than a predetermined threshold from the specified occurrence rate, or indicates the largest value from the specified occurrence rate. It is preferable to extract combinations of optimum prediction modes having an occurrence rate, or to extract combinations of optimum prediction modes having a predetermined number of occurrence rates selected in descending order from the specified occurrence rates. The determination unit determines the optimal prediction mode of the higher layer possessed by the combination of the extracted optimal prediction modes as a prediction mode search candidate to be searched by encoding the block of the higher layer.
  • the scalable video encoding device of the present invention is preliminarily configured based on the occurrence rate value described in the correspondence table, and the optimal description described in the correspondence table. It is preferable to extract effective optimum prediction mode combinations by narrowing down prediction mode combinations and generate prediction mode correspondence information describing the extracted effective optimum prediction mode combinations.
  • the scalable video encoding device of the present invention is defined as (1) usable in order to realize high speed prediction mode search in scalable video encoding that realizes scalability by a layer structure.
  • the optimal prediction mode of the selected upper layer and lower layer in the spatially corresponding block A correspondence table generation unit for obtaining an occurrence rate of the combination and generating a correspondence table describing a correspondence relationship between the combination of the optimum prediction modes and the occurrence rate; and (2) an occurrence rate value described in the correspondence table.
  • the effective prediction mode combinations that are effective by narrowing down the optimal prediction mode combinations described in the correspondence table
  • a prediction mode correspondence information generating unit that generates prediction mode correspondence information describing the extracted effective optimum prediction mode combinations; and (3) when encoding a higher layer block, the lower layer spatial (4)
  • an acquisition unit that acquires the information of the optimal prediction mode selected by encoding the block corresponding to
  • a determination unit that determines a prediction mode search candidate to be searched by encoding a block of a higher layer
  • scalable encoding that restricts use of a prediction mode executed using a correspondence table, and no correspondence table
  • a control unit that performs control so as to alternately repeat scalable encoding that does not limit the use of the prediction mode executed in (1).
  • the prediction mode correspondence information generation unit When adopting this configuration, the prediction mode correspondence information generation unit generates the prediction mode correspondence information by extracting the combination of the optimal prediction modes having an occurrence rate indicating a value larger than a predetermined threshold as valid.
  • the prediction mode correspondence information is generated by extracting the optimal prediction mode combination having the highest occurrence rate from the combination of the optimal prediction modes having the same optimal prediction mode for the lower layer as effective.
  • the prediction mode correspondence information may be generated by extracting a combination of a predetermined number of optimum prediction modes that are selected in the order of occurrence rates showing large values as effective.
  • the scalable video encoding method of the present invention realized by the operation of each of the processing units described above can also be realized by a computer program, and the computer program is recorded on an appropriate computer-readable recording medium and provided. Or provided via a network, installed when implementing the present invention, and operating on a control unit such as a CPU, thereby realizing the present invention.
  • the encoding mode is reduced by narrowing down prediction mode search candidates for higher layers using the correlation of optimal prediction modes between layers. can do.
  • the narrowing is performed based on the correspondence relationship of the optimal prediction mode between layers in the encoded frame. It is possible to avoid the risk that the optimum prediction mode is omitted due to narrowing down. Therefore, it is possible to suppress a decrease in encoding performance that may occur by narrowing down prediction mode search candidates.
  • FIG. 7 is a flowchart illustrating an example of a process for determining a prediction mode search candidate executed in the scalable video encoding process shown in FIG. 6.
  • 7 is a flowchart illustrating another example of a process for determining a prediction mode search candidate executed in the scalable video encoding process shown in FIG. 6.
  • 1 is a block diagram illustrating a scalable video encoding device according to an embodiment of the present invention.
  • FIG. It is a block diagram which shows an example of the prediction mode search candidate determination part in the scalable video coding apparatus shown by FIG.
  • It is a block diagram which shows the other example of the prediction mode search candidate determination part in the scalable video coding apparatus shown by FIG.
  • both layer L and layer L-1 are encoded with the hierarchical B structure of IBBBP.
  • Arrows in the figure indicate prediction reference destinations.
  • the encoding target layer is L
  • the encoding target frame is B2b
  • the generation target frame of the prediction mode correspondence rate table is B2a.
  • the frame of layer L-1 at the same time in B2b is B'2b
  • the frame of layer L-1 at the same time in B2a is B'2a. It is assumed that encoding is performed in the order from the lowest time level, and in the same time level, the coding is performed in the order of frames in which the time is early. Further, it is assumed that layers are encoded in ascending order of level.
  • step S101 when a moving image is scalable encoded, as shown in the flowchart of FIG. 2, whether or not all the frames are encoded in step S101 is set to 1 in the variable n. Judging. If it is determined that all frames have been encoded, the process is terminated.
  • step S102 determines whether all the frames are not encoded according to the determination process in step S102. If it is determined that all the frames are not encoded according to the determination process in step S102, the process proceeds to step S103, and one unprocessed frame is selected according to the order from the top frame. In the subsequent step S104, the selected frame is predicted by performing prediction without limiting the use of the prediction mode defined as usable, that is, by performing prediction using all of the usable prediction modes. Is encoded.
  • step S105 the value of the variable n is incremented by one.
  • step S106 it is determined whether or not the value of the variable n has become larger than a predetermined threshold value N1 (N1 is an integer of 1 or more). If it is determined that the value of the variable n is not greater than the threshold value N1, the process returns to step S102 to encode the frame without limiting the use of the prediction mode defined as usable. continue.
  • N1 is an integer of 1 or more
  • step S106 when it is determined in step S106 that the value of the variable n has become larger than the threshold value N1, the process proceeds to step S107 to generate a prediction mode correspondence rate table.
  • the prediction mode correspondence rate table is a table having a data structure as described later and describing the correlation (occurrence rate) of the optimum prediction mode between layers.
  • step S108 1 is set in the variable n, and in the subsequent step S109, it is determined whether or not all frames have been encoded. If it is determined that all frames have been encoded, the process is terminated.
  • step S109 when it is determined in step S109 that not all frames are encoded, the process proceeds to step S110.
  • step S110 one unprocessed frame is selected according to the order from the first frame.
  • step S111 the selected frame is encoded by performing prediction while narrowing down prediction mode search candidates using the prediction mode correspondence rate table.
  • step S112 the value of the variable n is incremented by one.
  • step S113 it is determined whether or not the value of the variable n has become larger than a predetermined threshold N2 (N2 is an integer of 1 or more). If it is determined that the value of the variable n is not greater than the threshold value N2, the process returns to step S109 to encode the frame while narrowing down prediction mode search candidates using the prediction mode correspondence rate table. continue.
  • step S113 when it is determined in step S113 that the value of the variable n has become larger than the threshold value N2, it is determined that the prediction mode correspondence rate table needs to be updated, and the process returns to step S101. As a result, the processing of step S101 to step S113 is continued while updating the prediction mode correspondence rate table.
  • the moving image when the moving image is scalable encoded, after N1 frames are encoded, the correlation (occurrence rate) of the optimal prediction mode between layers based on the encoding result.
  • a prediction mode correspondence rate table that describes is generated.
  • the process proceeds to encoding of N2 frames, and the encoding of N2 frames is repeated while narrowing down prediction mode search candidates using the generated prediction mode correspondence rate table. To do.
  • step S104 the prediction mode correspondence rate table generation target frame B2a and the B'2a immediately below it have already been encoded, and the optimal prediction mode has already been selected.
  • the frames B2a and B'2a are encoded, information on the selected optimum prediction mode is stored in the buffer.
  • SMB spatially corresponding sub-macroblock
  • a prediction mode correspondence rate table having a data structure as shown in FIG. 3 is generated between B2a and B'2a.
  • the numerical values shown in FIG. 3 indicate the ratio (occurrence rate) that the optimal prediction mode j is selected in the MB of the frame B2a when the optimal prediction mode selected in each SMB (8 ⁇ 8 size) of the frame B′2a is i. ).
  • the Skip mode is selected 32.3% in the MB of frame B2a spatially corresponding to the SMB in which P16 ⁇ 16 is selected. Is shown.
  • the selection method of the optimal prediction mode in the frame B2a or B′2a may be the JSVM method described in Non-Patent Document 2 or the method of narrowing down prediction mode search candidates as described in Patent Document 1. good.
  • the target frame of the prediction mode correspondence rate table is one encoded frame (B2a) at the same time level as the encoding target frame, but is not limited thereto. Encoded frames (for example, B1) at different time levels may be targeted.
  • the correspondence rate may be calculated by accumulating the plurality of frames with a plurality of frames as targets (for example, B1 and B2a). That is, any frame that has been encoded in the encoding target layer and the layer immediately below it can be a prediction mode correspondence rate table generation target frame.
  • the prediction mode search candidates are narrowed down in each MB of the encoding target frame B2b.
  • a numerical value in the prediction mode correspondence rate table is regarded as a probability that can be an optimal prediction mode in the encoding target macroblock.
  • the processing for narrowing down prediction mode search candidates will be described more specifically.
  • the encoding target macroblock of the frame B2b is expressed as MBL
  • the sub-macroblock of the frame B′2b of the layer L-1 that is spatially identical to the MBL is expressed as SMBL-1.
  • the prediction mode search candidates of the macroblock MBL When narrowing down the prediction mode search candidates of the macroblock MBL, first, information on the optimal prediction mode of the sub macroblock SMBL-1 is read. Next, the prediction mode correspondence rate table is compared with the optimum prediction mode of SMBL-1, and the probability (correspondence rate) that can be the optimum prediction mode of each prediction mode in the encoding target macroblock MBL is investigated. Next, the prediction mode search candidates are narrowed down based on the probability that the optimum prediction mode can be obtained. Two examples of narrowing down are shown below.
  • the narrowing down method 1 is a method of narrowing down prediction mode search candidates using a prediction mode search candidate narrowing threshold.
  • a prediction mode search candidate narrowing down threshold value t% is provided, and a prediction mode less than this threshold value t% is excluded from the search candidates.
  • the threshold value t is given from the outside.
  • a method for determining a value a method for determining a value that suppresses deterioration in coding performance within an allowable range by a plurality of encoding processes may be considered.
  • the probability (correspondence rate) that can be the optimal prediction mode of each prediction mode in MBL is read from the prediction mode correspondence rate table, and the prediction mode search candidate narrowing down threshold If the method of comparing is used, the comparison process becomes complicated.
  • the correspondence rate of the prediction mode correspondence rate table is binarized in advance by thresholding the correspondence rate of the prediction mode correspondence rate table with the prediction mode search candidate narrowing threshold.
  • FIG. 4 shows a prediction mode search candidate narrowing result when the prediction mode search candidate narrowing threshold is set to 5% in the prediction mode correspondence rate table shown in FIG.
  • a circle indicates a prediction candidate
  • a cross indicates a prediction mode excluded from the search candidate.
  • the narrowing-down method 2 is a method of setting only a prediction mode with the highest prediction mode correspondence rate as a search candidate.
  • the prediction mode that maximizes the prediction mode support rate is set as a search candidate. Normally, this is narrowed down to one prediction mode, but when there are a plurality of prediction mode search candidates giving the maximum value, they are all set as search candidates.
  • the probability (correspondence rate) that can be the optimum prediction mode of each prediction mode in MBL is read from the prediction mode correspondence rate table, and the maximum value among them is read out. If the method of specifying the correspondence rate is used, the specifying process becomes complicated.
  • the correspondence rate of the maximum value included in the correspondence rate of the prediction mode correspondence rate table is specified in advance, and the correspondence rate of the prediction mode correspondence rate table is binarized.
  • FIG. 5 shows a narrowing result when the maximum prediction mode is set as a prediction mode search candidate in the prediction mode correspondence rate table shown in FIG.
  • a circle indicates a prediction candidate
  • a cross indicates a prediction mode excluded from the search candidate.
  • 6 to 8 show flowcharts of scalable video encoding processing executed according to this embodiment.
  • FIG. 6 is an overall flowchart of scalable video coding processing executed according to this embodiment.
  • 7 and 8 are flowcharts showing an example of details of processing executed in step S201 of the flowchart of FIG. 6 and other examples.
  • the encoding process of this embodiment is a process for the enhancement layer, and a non-scalable single layer encoding process is applied to the base layer.
  • An example of the single layer encoding process is the encoding process of the base layer portion of the SVC reference encoder JSVM mentioned in Non-Patent Document 2.
  • step S201 to step S206 executed in the flowchart of FIG. 6 will be described.
  • step S201 the initial value of the prediction mode search candidate searched in the encoding target macroblock (MB) is read, and finally the prediction mode search candidate searched in the encoding target MB is determined and stored in the register. Details of this processing will be described later with reference to FIGS.
  • step S202 the prediction mode search candidate information stored by the process of step S201 is read from the register, each prediction mode search candidate is searched, one optimal prediction mode used for encoding is determined, and Store information in a register.
  • a method for determining the optimum prediction mode there is a method for optimizing a prediction mode that minimizes a coding cost expressed by a linear sum of a code amount and coding distortion performed in JSVM.
  • step S203 information on the optimal prediction mode in the encoding target MB is read from the register, motion compensation is performed in the optimal prediction mode, a prediction residual signal is generated, and stored in the buffer.
  • step S204 the prediction residual signal is read from the buffer, the prediction residual signal is encoded, and the encoded data is stored in the buffer.
  • this process there is a series of processes of DCT, quantization, and variable length coding in the SVC reference encoder JSVM described in Non-Patent Document 2.
  • step S205 it is determined whether or not all MBs have been encoded.
  • the encoding process is terminated, the encoded data of each MB and other necessary header information are read from the buffer, and output as final encoded data.
  • the process proceeds to step S206.
  • step S206 the process proceeds to the next encoding target MB, and the processing in step S201 is performed.
  • step S201 Next, an example of specific processing executed in step S201 will be described using the flowchart of FIG. 7 including steps S301 to S306.
  • step S301 information specifying whether the encoding target MB is a prediction mode search candidate narrowing target MB to which the present embodiment is applied is read.
  • the process proceeds to step S302.
  • the initial value of the prediction mode search candidate is output as the final prediction mode search candidate.
  • step S302 the designation information of the encoded frame to be calculated in the prediction mode correspondence rate table is read from the outside, and the prediction mode information of the designated frame is stored in the register.
  • step S303 the prediction mode information in the calculation target frame of the prediction mode correspondence rate table (information on the optimal prediction mode used in encoding) is read, and the correspondence rate between the encoding target layer and the optimal prediction mode of the layer immediately below it ( (Incidence rate) is calculated and stored in the register as a prediction mode correspondence rate table.
  • a prediction mode correspondence rate table as shown in FIG. 3 is generated and stored in a register.
  • step S304 the prediction mode correspondence rate table is read and stored in the buffer.
  • step S305 the prediction mode search candidate narrowing threshold value is read and stored in a register.
  • step S306 the prediction mode correspondence rate table is read from the buffer, and the prediction mode search candidate narrowing threshold is read from the register. Only prediction modes having a correspondence rate (occurrence rate) equal to or higher than the prediction mode search candidate narrowing threshold are set as prediction mode search candidates, and the information is stored in a register. In this setting / storage, only the prediction mode search candidate associated with the optimum prediction mode obtained by encoding the base layer is selected and set / stored.
  • processing is performed so as to narrow down prediction mode search candidates in the form as shown in FIG. 4 based on the prediction mode correspondence rate table having the data structure as shown in FIG.
  • step S201 Next, another example of specific processing executed in step S201 will be described using the flowchart of FIG. 8 including steps S401 to S405.
  • step S401 information specifying whether or not the encoding target MB is a prediction mode search candidate narrowing target MB to which the present invention is applied is read.
  • the process proceeds to step S402.
  • the prediction mode search candidate initial value is output as the final prediction mode search candidate.
  • step S402 the designation information of the encoded frame to be calculated in the prediction mode correspondence rate table is read from the outside, and the prediction mode information of the designated frame is stored in the register.
  • step S403 the prediction mode information in the calculation target frame of the prediction mode correspondence rate table (information on the optimal prediction mode used in encoding) is read.
  • the correspondence rate (occurrence rate) of the optimum prediction mode between the encoding target layer and the layer immediately below it is calculated and stored in the register as a prediction mode correspondence rate table. That is, a prediction mode correspondence rate table as shown in FIG. 3 is generated and stored in the register.
  • step S404 the prediction mode correspondence rate table is read and stored in the buffer.
  • step S405 the prediction mode correspondence rate table is read from the buffer, only the prediction mode having the maximum correspondence rate (occurrence rate) is set as a prediction mode search candidate, and the information is stored in the register.
  • this setting / storage only the prediction mode search candidate associated with the optimum prediction mode obtained by encoding the base layer is selected and set / stored.
  • processing is performed so as to narrow down prediction mode search candidates in the form as shown in FIG. 5 based on the prediction mode correspondence rate table having the data structure as shown in FIG.
  • 9 to 11 illustrate the configuration of a scalable video encoding apparatus according to an embodiment of the present invention.
  • FIG. 9 shows the overall configuration of the scalable video coding apparatus according to the present embodiment.
  • FIGS. 10 and 11 show an example of the detailed configuration of the prediction mode search candidate determination unit 102 shown in FIG. 9 and other examples. Indicates.
  • the scalable video encoding device of the present embodiment is a processing device for the enhancement layer, and a non-scalable single layer encoding process is applied to the base layer.
  • An example of the single layer encoding process is the encoding process of the base layer portion of the SVC reference encoder JSVM mentioned in Non-Patent Document 2.
  • the prediction mode search candidate initial value storage unit 101 reads the initial value of the prediction mode search candidate and outputs it to the register.
  • the prediction mode search candidate determination unit 102 reads an initial value of the prediction mode search candidate and determines a prediction mode search candidate to be finally searched. Next, the prediction mode search candidate determination unit 102 outputs the finally determined prediction mode search candidate information to the register, and moves to the optimum prediction mode determination unit 103. The detailed configuration of this processing unit will be described later with reference to FIGS. 10 and 11.
  • the optimal prediction mode determination unit 103 reads prediction mode search candidates from the register, and executes a search for each prediction mode search candidate. Next, the optimal prediction mode determination unit 103 determines one optimal prediction mode to be used for encoding, and outputs the information to the optimal prediction mode storage unit 104. As an example of a method for determining the optimum prediction mode, there is a method for optimizing a prediction mode that minimizes a coding cost expressed by a linear sum of a code amount and coding distortion performed in JSVM.
  • the prediction residual signal generation unit 105 reads the optimal prediction mode in the encoding target MB from the optimal prediction mode storage unit 104, performs motion compensation in the optimal prediction mode, generates a prediction residual signal, and outputs it to the buffer To do.
  • the prediction residual signal encoding unit 106 reads the prediction residual signal in the encoding target MB from the buffer, encodes the prediction residual signal, and outputs the encoded data to the buffer.
  • An example of this processing is H.264.
  • Application of a series of processes such as DCT, quantization, and variable length coding of the H.264 / AVC reference encoder JM and the SVC reference encoder JSVM described in Non-Patent Document 2 is conceivable.
  • the all MB completion determination unit 107 performs a determination process as to whether or not encoding of all MBs has been completed. When the encoding of all MBs is completed, the encoding process is terminated and final encoded data is output. If encoding of all MBs is not completed, the process proceeds to the encoding target MB update unit 108.
  • the encoding target MB update unit 108 moves to the next encoding target MB and performs the process of the prediction mode search candidate determination unit 102.
  • the prediction mode search candidate narrowing-down target MB designation information storage unit 201 reads information that designates whether or not the prediction mode search candidate narrows down the prediction mode search candidate, and outputs it to a register.
  • the prediction mode search candidate narrowing target MB determination unit 202 reads MB designation information for narrowing down prediction mode search candidates from the prediction mode search candidate narrowing target MB designation information storage unit 201, and the encoding target MB narrows down the MB. A process for determining whether or not there is present is performed. When the encoding target MB is an MB to be narrowed down, the process proceeds to the prediction mode correspondence rate table generation unit 206. When the encoding target MB is an MB for which no narrowing is performed, the initial value of the prediction mode search candidate is determined as the final prediction mode search candidate and output.
  • the prediction mode correspondence rate calculation target frame designation information storage unit 203 reads the designation information of the encoded frame that is the calculation target of the prediction mode correspondence rate, and outputs it to the register.
  • the target frame enhancement layer optimal prediction mode storage unit 204 performs optimal prediction in the encoding target layer for a frame for which the prediction mode correspondence rate indicated by the designation information read by the prediction mode correspondence rate calculation target frame designation information storage unit 203 is calculated. Read mode information and output to register.
  • the optimal prediction mode storage unit 205 immediately below the target frame is a layer immediately below the encoding target layer for a frame for which the prediction mode correspondence rate indicated by the designation information read by the prediction mode correspondence rate calculation target frame designation information storage unit 203 is calculated. Reads the optimal prediction mode information in and outputs it to the register.
  • the prediction mode correspondence rate table generation unit 206 reads the optimal prediction mode information in the encoding target layer of the calculation target frame of the prediction mode correspondence rate from the target frame enhancement layer optimal prediction mode storage unit 204. Furthermore, the prediction mode correspondence rate table generation unit 206 reads the optimum prediction mode information in the layer immediately below the encoding target layer of the prediction mode correspondence rate calculation target frame from the target frame direct layer optimum prediction mode storage unit 205, and performs the corresponding macro. The correspondence rate (occurrence rate) of the optimal prediction mode between the block and the sub-macroblock is calculated and output to the prediction mode correspondence rate table storage unit 207 as a prediction mode correspondence rate table.
  • the prediction mode search candidate narrowing down threshold storage unit 208 reads the prediction mode search candidate narrowing down threshold and outputs it to the register.
  • the prediction mode correspondence rate table threshold comparison unit 209 reads the prediction mode correspondence rate table from the prediction mode correspondence rate table storage unit 207 and also reads the prediction mode search candidate narrowing threshold value from the prediction mode search candidate narrowing threshold storage unit 208. Next, the prediction mode correspondence rate table threshold comparison unit 209 investigates the occurrence probability of the optimum prediction mode of the encoding target MB associated with the optimum prediction mode of the immediately lower SMB, and the occurrence probability is a prediction greater than or equal to the prediction mode search candidate narrowing threshold. Only the mode is set as the final prediction mode search candidate and output.
  • the apparatus configuration shown in FIG. 10 performs processing to narrow down the prediction mode search candidates in the form shown in FIG. 4 based on the prediction mode correspondence rate table having the data structure shown in FIG. .
  • the prediction mode search candidate narrowing-down target MB designation information storage unit 301 reads information that designates whether or not the prediction mode search candidate narrows down the prediction mode search candidate, and outputs the information to a register.
  • the prediction mode search candidate narrowing-down target MB determination unit 302 reads MB designation information for narrowing down prediction mode search candidates from the prediction mode search candidate narrowing-down target MB designation information storage unit 301, and the encoding target MB narrows down. A process for determining whether or not there is present is performed. When the encoding target MB is an MB to be narrowed down, the process proceeds to the process of the prediction mode correspondence rate table generation unit 306. When the encoding target MB is an MB for which no narrowing is performed, the initial value of the prediction mode search candidate is determined as the final prediction mode search candidate and output.
  • the prediction mode correspondence rate calculation target frame designation information storage unit 303 reads the designation information of the encoded frame that is the calculation target of the prediction mode correspondence rate, and outputs it to the register.
  • the target frame enhancement layer optimal prediction mode storage unit 304 performs optimal prediction in the encoding target layer for a frame for which the prediction mode correspondence rate indicated by the designation information read by the prediction mode correspondence rate calculation target frame designation information storage unit 303 is calculated. Read mode information and output to register.
  • the optimal prediction mode storage unit 305 immediately below the target frame is a layer immediately below the encoding target layer for the frame for which the prediction mode correspondence rate indicated by the designation information read by the prediction mode correspondence rate calculation target frame designation information storage unit 303 is calculated. Reads the optimal prediction mode information in and outputs it to the register.
  • the prediction mode correspondence rate table generation unit 306 reads the optimal prediction mode information in the encoding target layer of the calculation target frame of the prediction mode correspondence rate from the target frame enhancement layer optimal prediction mode storage unit 304. Further, the prediction mode correspondence rate table generation unit 306 reads the optimal prediction mode information in the layer immediately below the encoding target layer of the prediction mode correspondence rate calculation target frame from the target frame immediate lower layer optimal prediction mode storage unit 305. Next, the prediction mode correspondence rate table generation unit 306 calculates the correspondence rate (occurrence rate) of the optimal prediction mode between the corresponding macroblock and sub-macroblock, and uses the prediction mode correspondence rate table as the prediction mode correspondence rate table. The data is output to the storage unit 307.
  • the occurrence rate maximum prediction mode investigation unit 308 reads the prediction mode correspondence rate table from the prediction mode correspondence rate table storage unit 307, investigates the occurrence probability of the optimum prediction mode of the encoding target MB with respect to the optimum prediction mode of the direct SMB, The prediction mode with the highest probability is set as the final prediction mode search candidate and output.
  • the apparatus configuration shown in FIG. 11 performs processing to narrow down prediction mode search candidates in the form shown in FIG. 5 based on the prediction mode correspondence rate table having the data structure shown in FIG. .
  • As the images 704 ⁇ 576 size SVC test images “City” and “Soccer” and 1920 ⁇ 1024 size test images “Pedestrian” and “Station” were used.
  • the video with the above resolution was input to the enhancement layer, and the video with the resolution of half the vertical and horizontal pixels was input to the base layer.
  • the number of encoded sheets was 129, and QP (quantization parameter) was tested as 4, 27, 32, and 37, and the same value was used for both layers.
  • the GOP (Group-of-Pictures) structure is a hierarchical B-picture structure of IBBBP, and I is inserted every 16 frames. As shown in FIG. 12, two frames belonging to the lowest time level were applied to the correspondence rate calculation frame and the high-speed mode selection frame, respectively.
  • For the encoding time measurement a CPU of Xeon ⁇ 3.16 GHz was used.
  • Table 1 below shows the experimental results of the code amount increase rate and the encoding time reduction rate.
  • the code amount increase rate is obtained by generating an approximate curve between four points of the code amount and PSNR (Peak Signal to Noise Ratio) in each QP by Piecewise Cubic Hermite Polynominal Interpolation, and the common interval of the two data to be compared The average difference value of the amount of codes in was determined as the rate of increase.
  • the encoding time reduction rate is an average value of the encoding time reduction rates in each QP.
  • FIG. 13 illustrates encoding characteristics in encoding “Pedestrian IV” and “Station” images
  • FIG. 14 illustrates changes in encoding time in encoding “Pedestrian IV”.
  • the present invention achieves a coding time reduction rate of around 20% while suppressing the code amount increase rate to less than 1% regardless of the resolution and video.
  • the present invention is not limited to the embodiment described above.
  • the example in which the present invention is applied to the hierarchical layer configuration of the base layer and the enhancement layer has been described.
  • the application of the present invention is not limited to such a hierarchical layer configuration.
  • the present invention can be applied to scalable video coding that realizes scalability by a layer structure, and the coding time can be reduced by applying the present invention.
  • Prediction mode search candidate initial value storage unit 102 prediction mode search candidate determination unit 103 optimal prediction mode determination unit 104 optimal prediction mode storage unit 105 prediction residual signal generation unit 106 prediction residual signal encoding unit 107 all MB completion determination unit 108 Encoding target MB update unit 201 Prediction mode search candidate narrowing target MB designation information storage unit 202 Prediction mode search candidate narrowing target MB determination unit 203 Prediction mode correspondence rate calculation target frame designation information storage unit 204 Target frame enhancement layer optimum prediction mode storage unit 205 Predictive layer correspondence prediction table storage unit 206 Prediction mode correspondence rate table generation unit 207 Prediction mode correspondence rate table storage unit 208 Prediction mode search candidate narrowing threshold storage unit 209 Prediction mode correspondence rate table threshold comparison unit 301 Prediction mode search candidate narrowing down Target MB finger Information storage unit 302 Prediction mode search candidate narrowing down target MB determination unit 303 Prediction mode correspondence rate calculation target frame designation information storage unit 304 Target frame extended layer optimum prediction mode storage unit 305 Target frame direct layer optimum prediction mode storage unit 306 Prediction mode correspondence rate Table generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　本発明は、スケーラブル動画像符号化において、従来の符号化で選択された最適予測モードに基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択する最適予測モードの組み合わせの発生率を求め、それらの関係について記述する対応表を生成する。続いて、発生率に基づいて対応表に記述される最適予測モードの組み合わせを絞り込み、その絞り込んだ最適予測モードの組み合わせについて記述する予測モード対応情報を生成する。そして、上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードをキーにして予測モード対応情報を参照することで、その符号化で探索する予測モード探索候補を決定して、予測モード探索候補の数を減らすようにする。

Description

スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
　本発明は、動画像をスケーラブルに符号化するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。特に、本発明は、符号化時間の削減を実現するスケーラブル動画像符号化方法およびその装置と、そのスケーラブル動画像符号化方法の実現に用いられるスケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
　本願は、２００８年１０月２２日に、日本に出願された特願２００８－２７１５１３号に基づき優先権を主張し、その内容をここに援用する。
　近年の多様な表示端末・ネットワーク環境の背景を受け、ＪＶＴ（Joint Video Team：合同ビデオ・チーム）では、ＡＶＣ（Advanced Video Coding：高度動画像圧縮符号化標準）に対して、空間／時間／ＳＮＲ（Signal to Noise ratio）のスケーラビリティを付与した符号化方式ＳＶＣ（Scalable Video Coding）が検討されている（例えば、非特許文献１参照）。
　ＳＶＣでは、Inter予測、Intra予測、レイヤ間予測という３つの予測方法を取り入れており、時間、空間、レイヤ間に内在する冗長性除去を行う。ＳＶＣでとり得る予測モードを下記に列挙する。
　　〔Inter予測〕
  　　　・Skip モード（Skip ）
　　　　・Direct モード（Direct ）
　　　　・１６×１６ブロックサイズ動き予測モード（Ｐ１６×１６）
　　　　・１６×８ブロックサイズ動き予測モード（Ｐ１６×８）
　　　　・８×１６ブロックサイズ動き予測モード（Ｐ８×１６）
　　　　・８×８ブロックサイズ動き予測モード（Ｐ８×８）
　　〔Intra予測〕
　　　　・１６×１６ブロックサイズIntra予測モード（Ｉ１６×１６）
　　　　・８×８ブロックサイズIntra予測モード（Ｉ８×８）
　　　　・４×４ブロックサイズIntra予測モード（Ｉ４×４）
　　〔レイヤ間予測〕
　　　　・BLSkip モード（BLSkip ）
　　　　・IntraBLモード（IntraBL）
　Ｐ８×８を行う場合の各８×８ブロックは、さらに８×４、４×４、４×４のブロックサイズに分割可能である。ＳＶＣでは、マクロブロックごとに、これらの予測モード探索候補の中から１つを最適予測モードとして選択する。
　最適予測モードの決定方法の例を以下に挙げる。
　　ＪＶＴがＳＶＣの参照エンコーダとして提供しているＪＳＶＭ（Joint Scalable Video Model、例えば、非特許文献２参照）では、各予測モードにおいて符号量と符号化歪みとからなる符号化コストが計算され、上述したすべての予測モード中で最も符号化コストが小さくなる予測モードが最適予測モードとして定められる。
　また、下記に示す特許文献１では、参照フレームの動きベクトルを符号化対象フレームに外挿／内挿したベクトルが生成され、それによって動いたマクロブロックの各画素の座標が求められ、画素が一致する回数が各画素毎にカウントされる。次に、符号化対象マクロブロック内の各画素のカウント数から算出されるスコアの値の大小に従って予測モード探索候補の絞り込みが行なわれる。この絞り込み方法はＨ．２６４／ＡＶＣの予測モード探索高速化のために提案されたものであるが、Ｈ．２６４／ＡＶＣと同じ予測モード探索の仕組みであるＳＶＣにおいても適用可能である。
　また、下記に示す特許文献２では、フレーム内符号化を高速で行うことができるようにするために、近接符号化ブロックの画素値を用いてフレーム内符号化を行うブロックの例えば９通りの画面内予測誤差が求められて、それに基づいてそのブロックの予測モードが決定される。次に、近接既符号化ブロックの画面内予測モードを用いてそのブロックの予測モードが決定され、その２つの予測モードが一致する場合には、そのままその予測モードが選択され、一致しない場合は、符号化コストの小さい方の予測モードが選択されるようにしている。
T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz and M. Wien :"Joint Draft ITU-T Rec. H.264｜ISO/IEC 14496-10/ Amd.3 Scalable video coding, "ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X201, 2007. http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip J. Reichel, H. Schwarz and M. Wien: "Joint Scalable Video Model JSVM-11," ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-X202, 2007.　http://ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX202.zip
特開２００６－０３３４５１号公報 特開２００５－１８４２４１号公報
　非特許文献２のＪＳＶＭにおける最適予測モードの決定方法では、予測モード探索候補の絞り込みを行っていないため、高い符号化性能を実現できる。その反面、この決定方法では、予測モード探索に莫大な時間を要する。すなわち、この決定方法では、マクロブロック内の画像の特性を考慮すれば明らかに選ばれる可能性が低い予測モード（例えば、静止領域におけるIntra予測モード）も探索しており無駄が多い。
　また、特許文献１の予測モード探索候補の絞り込みは、Intra予測をするのか否かの判定を下す方法であるため、Intra予測モードの探索と比べて長い計算時間を要するInter予測モード探索の削減効果はない。つまり、Inter予測モード探索については、改良の余地をそのまま残している。
　また、特許文献２の予測モード探索候補の絞り込みは、Intra予測のみの絞り込みであるため、特許文献１の予測モード探索候補の絞り込みと同様に、Inter予測モード探索の削減効果はない。つまり、Inter予測モード探索については、改良の余地をそのまま残している。
　本発明はかかる事情を鑑みてなされたものであり、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行い高速化する新たなスケーラブル動画像符号化技術の提供を目的とする。
　本発明のスケーラブル動画像符号化装置は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において予測モード探索の高速化を実現するために、（１）使用可能なものとして定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードの情報に基づいて、空間的に対応するブロックにおける選択された上位レイヤと下位レイヤの最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する生成部と、（２）上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードの情報を取得する取得部と、（３）取得部の取得した最適予測モードの情報と対応表に記述される発生率の情報とに基づいて、対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する決定部と、（４）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部とを備える。
　このような構成において、決定部は、取得部の取得した最適予測モードの情報をキーにして対応表を参照することで、その最適予測モードに対応付けられる発生率を特定する。次に決定部は、その特定した発生率の中から所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率の中から最も大きな値を示す発生率を持つ最適予測モードの組み合わせを抽出したり、その特定した発生率の中からその値の大きな順に選択される所定の個数の発生率を持つ最適予測モードの組み合わせを抽出することが好ましい。決定部は、その抽出した最適予測モードの組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する。
　さらに、決定部による効率的な決定処理を実現するために、本発明のスケーラブル動画像符号化装置は、前もって、対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成することが好ましい。
　この場合には、本発明のスケーラブル動画像符号化装置は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において予測モード探索の高速化を実現するために、（１）使用可能なものとして定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードの情報に基づいて、空間的に対応するブロックにおける選択された上位レイヤと下位レイヤの最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する対応表生成部と、（２）対応表に記述される発生率の値に基づいて、対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する予測モード対応情報生成部と、（３）上位レイヤのブロックを符号化する場合に、下位レイヤの空間的に対応するブロックの符号化で選択された最適予測モードの情報を取得する取得部と、（４）取得部の取得した最適予測モードの情報をキーにして予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する決定部と、（５）対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部とを備える。
　この構成を採るときに、予測モード対応情報生成部は、所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成したり、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出することで予測モード対応情報を生成するようにしてもよい。
　以上の各処理部が動作することで実現される本発明のスケーラブル動画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御部上で動作することにより本発明を実現することになる。
　本発明では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、レイヤ間の最適予測モードの相関性を利用して上位レイヤの予測モード探索候補の絞り込みを行うことから、符号化時間を削減することができる。
　さらに、本発明では、予測モード探索候補を絞り込むことで符号化時間の削減を図るときに、符号化済みフレームにおけるレイヤ間の最適予測モードの対応関係をもとに、その絞り込みを行うことから、最適予測モードが絞り込みによって省かれてしまう危険性を回避できる。したがって、予測モード探索候補を絞り込むことにより発生する可能性がある符号化性能の低下を抑制することができる。
予測モード対応率表の生成対象となるフレームと符号化対象フレームとの一例を示す説明図である。 本発明の一実施形態の動画像符号化処理の大きな流れを示すフローチャートである。 本発明の一実施形態における予測モード対応率表である。 本発明の一実施形態における予測モード探索候補の絞り込み結果を示す表である。 本発明の一実施形態における予測モード探索候補の絞り込み結果を示す表である。 本発明の一実施形態によるスケーラブル動画像符号化処理を示すフローチャートである。 図６に示されたスケーラブル動画像符号化処理において実行される予測モード検索候補を決定する処理の一例を示すフローチャートである。 図６に示されたスケーラブル動画像符号化処理において実行される予測モード検索候補を決定する処理の他の例を示すフローチャートである。 本発明の一実施形態によるスケーラブル動画像符号化装置を示すブロック図である。 図９に示されたスケーラブル動画像符号化装置における予測モード検索候補決定部の一例を示すブロック図である。 図９に示されたスケーラブル動画像符号化装置における予測モード検索候補決定部の他の例を示すブロック図である。 本発明の一実施形態の有効性を検証するために行った実験における対応率算出フレームおよび高速モード選択フレームを示す説明図である。 本発明の一実施形態の有効性を検証するために行った実験の実験結果を示すグラフ図である。 本発明の一実施形態の有効性を検証するために行った実験の実験結果を示すグラフである。
　〔１〕本発明の一実施形態の基本的な考え方
　本発明の一実施形態では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、
　　（ｉ）予測モード対応率表（レイヤ間の最適予測モードの相関性について記述する表）の生成
　　（ii）予測モード対応率表を使った予測モード探索候補の絞り込み
という２つの処理によって予測モード探索の高速化を実現する。
　以降、図１のような例に従って説明を進める。すなわち、レイヤＬとレイヤＬ－１の両方が、ＩＢＢＢＰの階層的Ｂ構造で符号化をしていると仮定する。図中の矢印は予測参照先を示している。符号化対象レイヤをＬ、符号化対象フレームをＢ２ｂとし、予測モード対応率表の生成対象フレームをＢ２ａとする。また、Ｂ２ｂの同一時刻のレイヤＬ－１のフレームをＢ’２ｂ、Ｂ２ａの同一時刻のレイヤＬ－１のフレームをＢ’２ａとする。時間レベルが低い順に符号化され、同一時間レベル中では時間が早いフレーム順に符号化されるとする。また、レイヤはレベルが小さい順に符号化されるとする。
　次に、図２に示すフローチャートに従って、本実施形態の処理の大きな流れについて説明する。
　本実施形態では、動画像をスケーラブル符号化する場合、図２のフローチャートに示すように、ステップＳ１０１で、変数ｎに１をセットし、続くステップＳ１０２で、全てのフレームを符号化したか否かを判断する。全てのフレームを符号化したと判断した場合には、処理を終了する。
　一方、ステップＳ１０２の判断処理に従って、全てのフレームを符号化していないと判断したときには、ステップＳ１０３に進んで、先頭フレームからの順番に従って、未処理のフレームを１つ選択する。続くステップＳ１０４で、使用可能なものとして定義された予測モードの使用に制限を加えることなく予測を行う、すなわち、使用可能なすべての予測モードを使用して予測を行うことで、その選択したフレームを符号化する。
　続いて、ステップＳ１０５で、変数ｎの値を１つインクリメントする。続くステップＳ１０６で、変数ｎの値が所定の閾値Ｎ１（Ｎ１は１以上の整数）よりも大きくなったか否かを判断する。変数ｎの値が閾値Ｎ１よりも大きくなっていないと判断したときには、ステップＳ１０２の処理に戻り、使用可能なものとして定義された予測モードの使用に制限を加えることなくフレームを符号化することを続行する。
　一方、ステップＳ１０６の判断処理で、変数ｎの値が閾値Ｎ１よりも大きくなったと判断したときには、ステップＳ１０７に進んで、予測モード対応率表を生成する。予測モード対応率表は、後述するようなデータ構造を持ち、レイヤ間の最適予測モードの相関性（発生率）について記述した表である。
　続いて、ステップＳ１０８で、変数ｎに１をセットし、続くステップＳ１０９で、全てのフレームを符号化したか否かを判断する。全てのフレームを符号化したと判断した場合には、処理を終了する。
　一方、ステップＳ１０９において、全てのフレームを符号化していないと判断したときには、ステップＳ１１０に進む。ステップＳ１１０において、先頭フレームからの順番に従って、未処理のフレームを１つ選択する。続くステップＳ１１１で、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ予測を行うことで、その選択したフレームを符号化する。
　続いて、ステップＳ１１２で、変数ｎの値を１つインクリメントする。続くステップＳ１１３で、変数ｎの値が所定の閾値Ｎ２（Ｎ２は１以上の整数）よりも大きくなったか否かを判断する。変数ｎの値が閾値Ｎ２よりも大きくなっていないと判断したときには、ステップＳ１０９の処理に戻り、予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつフレームを符号化することを続行する。
　一方、ステップＳ１１３において、変数ｎの値が閾値Ｎ２よりも大きくなったと判断したときには、予測モード対応率表を更新する必要があると判断して、ステップＳ１０１の処理に戻る。これによって、予測モード対応率表を更新しつつ、ステップＳ１０１～ステップＳ１１３の処理を続行する。
　このように、本実施形態では、動画像をスケーラブル符号化する場合に、Ｎ１枚のフレームを符号化した後、その符号化結果に基づいて、レイヤ間の最適予測モードの相関性（発生率）について記述する予測モード対応率表を生成する。続いて、それに続くＮ２枚のフレームの符号化に移り、生成した予測モード対応率表を使って予測モードの探索候補の絞り込みを行いつつ、Ｎ２枚のフレームの符号化を繰り返していくように処理する。
　（ｉ）予測モード対応率表の生成
　次に、ステップＳ１０７で実行する予測モード対応率表の生成処理について説明する。
　ステップＳ１０４の処理によって、図１に示す予測モード対応率表生成対象フレームＢ２ａとその直下のＢ’２ａはすでに符号化済みであり、最適予測モードはすでに選択されている。フレームＢ２ａとＢ’２ａの符号化時には、選択された最適予測モードの情報をバッファに格納しておく。そのバッファに格納される最適予測モード情報に基づいて、フレームＢ２ａのマクロブロック（以下、ＭＢと略記する）の最適予測モードと、空間的に対応するフレームＢ’２ａのサブマクロブロック（以下、ＳＭＢと略記する）の最適予測モードとの対応関係を調べる。
　具体的には、図３に示すようなデータ構造を持つ予測モード対応率表を、Ｂ２ａとＢ’２ａとの間で生成する。図３に示す数値は、フレームＢ’２ａの各ＳＭＢ（８×８サイズ）で選択された最適予測モードがｉの場合に、フレームＢ２ａのＭＢにおいて最適予測モードｊが選択された割合（発生率）を示している。例えば、フレームＢ’２ａのＳＭＢにおいてＰ１６×１６が選ばれた場合、Ｐ１６×１６が選ばれたＳＭＢと空間的に対応するフレームＢ２ａのＭＢでは、Skip モードが３２．３％選ばれていることを示している。
　ここで、フレームＢ２ａやＢ’２ａにおける最適予測モードの選択方法は、非特許文献２に記したＪＳＶＭの方法でも良いし、特許文献１に記したような予測モード探索候補の絞り込みを行う方法でも良い。
　また、この例では、予測モード対応率表の対象フレームは符号化対象フレームと同一時間レベルの符号化済みフレーム１枚（Ｂ２ａ）としているが、これに限らない。異なる時間レベルの符号化済みフレーム（例えば、Ｂ１）を対象としても良い。また、複数のフレームを対象（例えば、Ｂ１とＢ２ａ）として、その複数のフレームの累積で対応率を計算しても良い。つまり、符号化対象レイヤおよびその直下レイヤにおいて符号化済みのフレームであれば、予測モード対応率表生成対象フレームとなりうる。
　（ii）予測モード対応率表を使った予測モード探索候補の絞り込み
　次に、ステップＳ１１１における予測モード対応率表を使った予測モード探索候補の絞り込み処理について説明する。
　ステップＳ１０７で生成された予測モード対応率表中の予測モード対応率の値に従って、符号化対象フレームＢ２ｂの各ＭＢにおいて、予測モード探索候補を絞り込む。予測モード対応率表の表中の数値は、符号化対象マクロブロックにおける最適予測モードとなりうる確率とみなす。
　予測モード探索候補の絞り込み処理についてより具体的に説明する。以下の説明ではと、フレームＢ２ｂの符号化対象マクロブロックをＭＢＬと表記し、ＭＢＬと空間的に同一位置にあるレイヤＬ－１のフレームＢ’２ｂのサブマクロブロックをＳＭＢＬ－１と表記する。
　マクロブロックＭＢＬの予測モード探索候補を絞り込む場合、まず、サブマクロブロックＳＭＢＬ－１の最適予測モードの情報を読み込む。次に、予測モード対応率表とＳＭＢＬ－１の最適予測モードとを照合し、符号化対象マクロブロックＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を調査する。次に、この最適予測モードとなりうる確率をもとに予測モード探索候補を絞り込む。下記に、絞り込みの例を２つ示す。
　（イ）絞り込み手法１
　絞り込み手法１は、予測モード探索候補絞り込み閾値を用いて予測モード探索候補を絞り込む手法である。
　この絞り込み手法１では、予測モード探索候補絞り込み閾値ｔ％を設け、この閾値ｔ％未満の予測モードを探索候補から除外する。閾値ｔの値は外部から与える。値の決定方法としては、符号化性能の劣化を許容範囲以内に抑える値を複数回のエンコード処理により決定する方法が一例として考えられる。
　ここで、ＳＭＢＬ－１の最適予測モードの情報を取得した時点に、予測モード対応率表からＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、予測モード探索候補絞り込み閾値と比較するという方法を用いると、その比較処理が煩雑なものとなる。
　そこで、前もって、予測モード対応率表の対応率を予測モード探索候補絞り込み閾値で閾値処理しておいて、予測モード対応率表の対応率を２値化しておくようにする。
　図４に、図３に示す予測モード対応率表において予測モード探索候補絞り込み閾値５％と設定した場合の予測モード探索候補の絞り込み結果を示す。図中において、○が探索候補、×が探索候補から除外された予測モードを示している。
　（ロ）絞り込み手法２
　絞り込み手法２は、予測モード対応率が最大となる予測モードのみを探索候補と設定する手法である。
　予測モード対応率が最大となる予測モードを探索候補として設定する。通常はここで１つの予測モードに絞られるが、最大値を与える予測モード探索候補が複数ある場合には、それらをすべて探索候補として設定する。
　ここで、ＳＭＢＬ－１の最適予測モードの情報を取得した時点に、予測モード対応率表からＭＢＬにおける各予測モードの最適予測モードとなりうる確率（対応率）を読み出して、その中から最大値の対応率を特定するという方法を用いると、その特定処理が煩雑なものとなる。
　そこで、前もって、予測モード対応率表の対応率の中に含まれる最大値の対応率を特定しておいて、予測モード対応率表の対応率を２値化しておくようにする。
　図５に、図３に示す予測モード対応率表において最大値の予測モードを予測モード探索候補として設定した場合の絞り込み結果を示す。図中において、○が探索候補、×が探索候補から除外された予測モードを示している。
　以下、実施の形態に従って本発明を詳細に説明する。
　図６～図８に、本実施形態により実行されるスケーラブル動画像符号化処理のフローチャートを図示する。
　図６は、本実施形態により実行されるスケーラブル動画像符号化処理の全体的なフローチャートである。図７および図８は、図６のフローチャートのステップＳ２０１で実行する処理の詳細の一例および他の例を示すフローチャートである。
　次に、これらのフローチャートに従って、本実施形態により実行されるスケーラブル動画像符号化処理について詳細に説明する。
　本実施形態の符号化処理は拡張レイヤに対する処理であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。
　図６のフローチャートで実行するステップＳ２０１～ステップＳ２０６の処理について説明する。
　ステップＳ２０１において、符号化対象マクロブロック（ＭＢ）において探索する予測モード探索候補の初期値を読み込み、最終的に符号化対象ＭＢにおいて探索する予測モードの探索候補を決定して、レジスタに格納する。本処理の詳細については、図７および図８を参照して後述する。
　ステップＳ２０２において、ステップＳ２０１の処理によって格納された予測モード探索候補の情報をレジスタから読み込み、各予測モード探索候補の探索を実行し、符号化に利用する最適予測モードを１つ決定して、その情報をレジスタに格納する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。
　ステップＳ２０３において、符号化対象ＭＢにおける最適予測モードの情報をレジスタから読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに格納する。
　ステップＳ２０４において、予測残差信号をバッファから読み込み、その予測残差信号の符号化を行い、符号化データをバッファに格納する。本処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭにおける、ＤＣＴ、量子化、可変長符号化の一連処理が挙げられる。
　ステップＳ２０５において、全てのＭＢの符号化が完了したか否かの判定処理を行う。全てのＭＢの符号化が完了した場合には符号化処理を終了し、バッファから各ＭＢの符号化データおよび必要なその他のヘッダ情報を読み込み、最終的な符号化データとして出力する。一方、全てのＭＢの符号化が完了していない場合にはステップＳ２０６の処理に移る。
　ステップＳ２０６において、次の符号化対象ＭＢに移り、ステップＳ２０１の処理を行う。
　次に、ステップＳ２０１で実行する具体的な処理の一例について、ステップＳ３０１～ステップＳ３０６を含む図７のフローチャートを用いて説明する。
　ステップＳ３０１において、符号化対象ＭＢが本実施形態を適用する予測モード探索候補絞り込み対象ＭＢであるか否かについて指定する情報を読み込む。　符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ３０２の処理に移る。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補の初期値を最終的な予測モード探索候補として出力する。
　ステップＳ３０２において、予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部から読み込み、その指定フレームの予測モード情報をレジスタに格納する。
　ステップＳ３０３において、予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込み、符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。図３に示すような予測モード対応率表を生成してレジスタに格納する。
　ステップＳ３０４において、予測モード対応率表を読み込み、それをバッファに格納する。
　ステップＳ３０５において、予測モード探索候補絞り込み閾値を読み込み、それをレジスタに格納する。
　ステップＳ３０６において、予測モード対応率表をバッファから読み込むとともに、予測モード探索候補絞り込み閾値をレジスタから読み込む。対応率（発生率）が予測モード探索候補絞り込み閾値以上の予測モードのみを予測モード探索候補として設定して、その情報をレジスタに格納する。この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納する。
　このようにして、図６のフローチャートでは、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図４に示すような形態で予測モード探索候補を絞り込むように処理する。
　次に、ステップＳ２０１で実行する具体的な処理の他の例について、ステップＳ４０１～ステップＳ４０５を含む図８のフローチャートを用いて説明する。
　ステップＳ４０１において、符号化対象ＭＢが本発明を適用する予測モード探索候補絞り込み対象ＭＢであるか否かについて指定する情報を読み込む。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢである場合には、ステップＳ４０２の処理に移る。符号化対象ＭＢが予測モード探索候補絞り込み対象ＭＢでない場合には、予測モード探索候補初期値を最終的な予測モード探索候補として出力する。
　ステップＳ４０２において、予測モード対応率表の計算対象とする符号化済みフレームの指定情報を外部から読み込み、その指定フレームの予測モード情報をレジスタに格納する。
　ステップＳ４０３において、予測モード対応率表の計算対象フレームにおける予測モード情報（符号化で用いられた最適な予測モードの情報）を読み込む。次に符号化対象レイヤとその直下レイヤの最適予測モードの対応率（発生率）を計算して、予測モード対応率表としてレジスタに格納する。すなわち、図３に示すような予測モード対応率表を生成してレジスタに格納する。
　ステップＳ４０４において、予測モード対応率表を読み込み、それをバッファに格納する。
　ステップＳ４０５において、予測モード対応率表をバッファから読み込み、対応率（発生率）が最大の予測モードのみを予測モード探索候補として設定し、その情報をレジスタに格納する。ここで、この設定・格納にあたっては、基本レイヤの符号化で得られた最適予測モードに対応付けられる予測モード探索候補のみを選択して、設定・格納する。
　このようにして、図６のフローチャートでは、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図５に示すような形態で予測モード探索候補を絞り込むように処理する。
　図９～図１１に、本発明の一実施形態によるスケーラブル動画像符号化装置の構成を図示する。
　図９は、本実施形態のスケーラブル動画像符号化装置の全体的な構成であり、図１０および図１１は、図９に示す予測モード探索候補決定部１０２の詳細な構成の一例および他の例を示す。
　次に、これらの装置構成図を参照して、本実施形態のスケーラブル動画像符号化装置について詳細に説明する。
　本実施形態のスケーラブル動画像符号化装置は、拡張レイヤに対する処理装置であり、基本レイヤには非スケーラブルのシングルレイヤ符号化処理を適用する。シングルレイヤ符号化処理の一例には、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭの基本レイヤ部分の符号化処理が挙げられる。
　まず最初に、図９を参照して、スケーラブル動画像符号化装置の全体構成について説明する。
　予測モード探索候補初期値記憶部１０１は、予測モード探索候補の初期値を読み込み、レジスタに出力する。
　予測モード探索候補決定部１０２は、予測モード探索候補の初期値を読み込み、最終的に探索する予測モード探索候補を決定する。次に、予測モード探索候補決定部１０２は、その最終的に決定した予測モード探索候補の情報をレジスタに出力して、最適予測モード決定部１０３に移す。本処理部の詳細な構成については、図１０および図１１を用いて後述する。
　最適予測モード決定部１０３は、予測モード探索候補をレジスタから読み込み、各予測モード探索候補について探索を実行する。次に、最適予測モード決定部１０３は、符号化に利用する最適予測モードを１つ決定して、その情報を最適予測モード記憶部１０４に出力する。最適予測モードの決定方法の一例としては、ＪＳＶＭで行われている符号量と符号化歪みの線形和で表現される符号化コストを最小化する予測モードを最適とする方法が挙げられる。
　予測残差信号生成部１０５は、最適予測モード記憶部１０４から符号化対象ＭＢにおける最適予測モードを読み込み、その最適予測モードにて動き補償を行い、予測残差信号を生成して、バッファに出力する。
　予測残差信号符号化部１０６は、符号化対象ＭＢにおける予測残差信号をバッファから読み込み、その予測残差信号の符号化を行い、符号化データをバッファに出力する。本処理の一例に、Ｈ．２６４／ＡＶＣの参照エンコーダＪＭや、非特許文献２で挙げたＳＶＣの参照エンコーダＪＳＶＭのＤＣＴ、量子化、可変長符号化の一連処理の適用が考えられる。
　全ＭＢ完了判定部１０７は、全てのＭＢの符号化が完了したか否かの判定処理を行う。全てのＭＢの符号化が完了した場合には符号化処理を終了して、最終的な符号化データを出力する。全てのＭＢの符号化が完了していない場合には符号化対象ＭＢ更新部１０８の処理に移る。
　符号化対象ＭＢ更新部１０８は、次の符号化対象ＭＢに移り、予測モード探索候補決定部１０２の処理を行う。
　次に、図１０を参照して、予測モード探索候補決定部１０２の詳細な構成の一例について説明する。
　予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１は、予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。
　予測モード探索候補絞り込み対象ＭＢ判定部２０２は、予測モード探索候補絞り込み対象ＭＢ指定情報記憶部２０１から予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行う。符号化対象ＭＢが絞り込みを行うＭＢである場合には予測モード対応率表生成部２０６の処理に移る。符号化対象ＭＢが絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。
　予測モード対応率計算対象フレーム指定情報記憶部２０３は、予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。
　対象フレーム拡張レイヤ最適予測モード記憶部２０４は、予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
　対象フレーム直下レイヤ最適予測モード記憶部２０５は、予測モード対応率計算対象フレーム指定情報記憶部２０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
　予測モード対応率表生成部２０６は、対象フレーム拡張レイヤ最適予測モード記憶部２０４から予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込む。さらに予測モード対応率表生成部２０６は、対象フレーム直下レイヤ最適予測モード記憶部２０５から予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込んで、対応するマクロブロックとサブマクロブロック間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部２０７に出力する。
　予測モード探索候補絞り込み閾値記憶部２０８は、予測モード探索候補絞り込み閾値を読み込み、レジスタに出力する。
　予測モード対応率表閾値比較部２０９は、予測モード対応率表記憶部２０７から予測モード対応率表を読み込むとともに、予測モード探索候補絞り込み閾値記憶部２０８から予測モード探索候補絞り込み閾値を読み込む。次に予測モード対応率表閾値比較部２０９は、直下ＳＭＢの最適予測モードに対応付けられる符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が予測モード探索候補絞り込み閾値以上の予測モードのみを最終的な予測モード探索候補として設定して、出力する。
　このようにして、図１０に示す装置構成では、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図４に示すような形態で予測モード探索候補を絞り込むように処理する。
　次に、図１１を参照して、予測モード探索候補決定部１０２の詳細な構成の他の一例について説明する。
　予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１は、予測モード探索候補の絞り込みを行うＭＢであるのか否かについて指定する情報を読み込み、レジスタに出力する。
　予測モード探索候補絞り込み対象ＭＢ判定部３０２は、予測モード探索候補絞り込み対象ＭＢ指定情報記憶部３０１から予測モード探索候補の絞り込みを行うＭＢの指定情報を読み込み、符号化対象ＭＢが絞り込みを行うＭＢであるのか否かの判定処理を行う。符号化対象ＭＢが絞り込みを行うＭＢである場合には予測モード対応率表生成部３０６の処理に移る。符号化対象ＭＢが絞り込みを行わないＭＢである場合には予測モード探索候補の初期値を最終的な予測モード探索候補として決定して、出力する。
　予測モード対応率計算対象フレーム指定情報記憶部３０３は、予測モード対応率の計算対象となる符号化済みのフレームの指定情報を読み込み、レジスタに出力する。
　対象フレーム拡張レイヤ最適予測モード記憶部３０４は、予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
　対象フレーム直下レイヤ最適予測モード記憶部３０５は、予測モード対応率計算対象フレーム指定情報記憶部３０３の読み込んだ指定情報の指す予測モード対応率の計算対象となるフレームについて、符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込み、レジスタに出力する。
　予測モード対応率表生成部３０６は、対象フレーム拡張レイヤ最適予測モード記憶部３０４から予測モード対応率の計算対象フレームの符号化対象レイヤにおける最適予測モード情報を読み込む。さらに、予測モード対応率表生成部３０６は、対象フレーム直下レイヤ最適予測モード記憶部３０５から予測モード対応率の計算対象フレームの符号化対象レイヤの直下レイヤにおける最適予測モード情報を読み込む。次に、予測モード対応率表生成部３０６は、対応するマクロブロックとサブマクロブロック間での最適予測モードの対応率（発生率）を計算して、予測モード対応率表として予測モード対応率表記憶部３０７に出力する。
　発生率最大予測モード調査部３０８は、予測モード対応率表記憶部３０７から予測モード対応率表を読み込み、直下ＳＭＢの最適予測モードに対する符号化対象ＭＢの最適予測モードの発生確率を調査し、発生確率が最大の予測モードを最終的な予測モード探索候補として設定して、出力する。
　このようにして、図１１に示す装置構成では、図３に示すようなデータ構造を持つ予測モード対応率表に基づいて、図５に示すような形態で予測モード探索候補を絞り込むように処理する。
　次に、本発明の有効性を検証するために行った実験の結果について説明する。
　この実験は、ＪＳＶＭ 9.12.2 に本実施形態を実装し、ＪＳＶＭと本実施形態とを比較することで行った。映像は７０４×５７６サイズのＳＶＣテスト映像“City ”および“Soccer”と、１９２０×１０２４サイズのテスト映像“Pedestrian ”および“Station”を用いた。上記の解像度の映像は拡張レイヤへの入力とし、基本レイヤにはその縦横半分の画素数解像度の映像を入力した。符号化枚数は１２９枚、ＱＰ（Quantization Parameter）は２２、２７、３２、３７の４つを試し、両レイヤで同じ値を用いた。ＧＯＰ（Group of Pictures）構造はＩＢＢＢＰの階層的Ｂピクチャ構造とし、１６枚ごとにＩを入れた。対応率算出フレームおよび高速モード選択フレームは、図１２に示すように、最下位時間レベルに属する２枚のフレームをそれぞれ適用した。符号化時間測定には、Ｘeon 3.16ＧＨｚのＣＰＵを用いた。
　下記の表１に、符号量増加率と符号化時間削減率の実験結果を示す。
　　ここで、符号量増加率は、各ＱＰにおける符号量とＰＳＮＲ（Peak Signal to Noise Ratio）のプロット４点の間の近似曲線をPiecewise Cubic Hermite Polynominal Interpolation により生成し、比較対象の２データの共通区間における符号量の平均差分値を当増加率として定めた。また、符号化時間削減率は、各ＱＰにおける符号化時間削減率の平均値である。
　図１３に、“Pedestrian ”および“Station”画像の符号化における符号化特性を図示し、図１４に、“Pedestrian ”の符号化における符号化時間の変化の様子を図示する。
　以上に示す実験結果により、本発明は、解像度・映像によらず、符号量増加率を１％未満に抑制しつつ、２０％前後の符号化時間削減率を実現することが検証できた。
　本発明は上述した実施形態に限定されるものではない。例えば、上述した実施形態では、基本レイヤおよび拡張レイヤという階層レイヤ構成に対して本発明を適用した例を説明したが、本発明はこのような階層レイヤ構成に、適用が限られるものではない。
　本発明は、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化に適用できるものであり、本発明を適用することで符号化時間を削減することができる。
　１０１　予測モード探索候補初期値記憶部
　１０２　予測モード探索候補決定部
　１０３　最適予測モード決定部
　１０４　最適予測モード記憶部
　１０５　予測残差信号生成部
　１０６　予測残差信号符号化部
　１０７　全ＭＢ完了判定部
　１０８　符号化対象ＭＢ更新部
　２０１　予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
　２０２　予測モード探索候補絞り込み対象ＭＢ判定部
　２０３　予測モード対応率計算対象フレーム指定情報記憶部
　２０４　対象フレーム拡張レイヤ最適予測モード記憶部
　２０５　対象フレーム直下レイヤ最適予測モード記憶部
　２０６　予測モード対応率表生成部
　２０７　予測モード対応率表記憶部
　２０８　予測モード探索候補絞り込み閾値記憶部
　２０９　予測モード対応率表閾値比較部
　３０１　予測モード探索候補絞り込み対象ＭＢ指定情報記憶部
　３０２　予測モード探索候補絞り込み対象ＭＢ判定部
　３０３　予測モード対応率計算対象フレーム指定情報記憶部
　３０４　対象フレーム拡張レイヤ最適予測モード記憶部
　３０５　対象フレーム直下レイヤ最適予測モード記憶部
　３０６　予測モード対応率表生成部
　３０７　予測モード対応率表記憶部
　３０８　発生率最大予測モード調査部

Claims (10)

  1. 　動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
    　使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する過程と、
    　前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する過程と、
    　前記取得する過程において取得した前記選択された最適予測モードの情報と前記対応表に記述された前記発生率の情報とに基づいて、前記対応表に記述された前記組み合わせの中から有効な組み合わせを抽出して、抽出された前記有効な組み合わせの持つ前記上位レイヤの最適予測モードを、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補として決定する過程と、
    　を備えるスケーラブル動画像符号化方法。
  2. 　動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
    　使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する過程と、
    　前記発生率の値に基づいて、前記対応表に記述された前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、抽出された前記有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する過程と、
    　前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する過程と、
    　前記取得する過程において取得した前記選択された最適予測モードの情報をキーにして前記予測モード対応情報を参照することによって、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補を決定する過程と、
    　を備えるスケーラブル動画像符号化方法。
  3. 　請求項２に記載のスケーラブル動画像符号化方法において、
    　前記予測モード対応情報を生成する過程では、所定の閾値よりも大きな値を示す発生率を持つ前記組み合わせを有効なものとして抽出するスケーラブル動画像符号化方法。
  4. 　請求項２に記載のスケーラブル動画像符号化方法において、
    　前記予測モード対応情報を生成する過程では、前記下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ前記組み合わせを有効なものとして抽出するか、あるいは、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出するスケーラブル動画像符号化方法。
  5. 　請求項１ないし４のいずれか１項に記載のスケーラブル動画像符号化方法において、
    　前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する過程を備えるスケーラブル動画像符号化方法。
  6. 　動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
    　使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する生成部と、
    　前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する取得部と、
    　前記取得部において取得した前記選択された最適予測モードの情報と前記対応表に記述された前記発生率の情報とに基づいて、前記対応表に記述された前記組み合わせの中から有効な組み合わせを抽出して、抽出された前記有効な組み合わせの持つ前記上位レイヤの最適予測モードを、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補として決定する決定部と、
    　を備えるスケーラブル動画像符号化装置。
  7. 　動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
    　使用可能として定義された予測モードの使用に制限を設けることなく行ったスケーラブル符号化において選択された最適予測モードの情報に基づいて、上位レイヤと下位レイヤとの空間的に対応するブロックについて選択すべき最適予測モードの組み合わせの発生率を求めて、前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせと前記発生率との対応関係について記述する対応表を生成する対応表生成部と、
    　前記発生率の値に基づいて、前記対応表に記述された前記選択された最適予測モードと前記選択すべき最適予測モードとの組み合わせを絞り込むことによって有効な最適予測モードの組み合わせを抽出して、抽出された前記有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する予測モード対応情報生成部と、
    　前記上位レイヤのブロックを符号化する場合に、前記下位レイヤの前記空間的に対応するブロックの符号化における前記選択された最適予測モードの情報を取得する取得部と、
    　前記取得部において取得され前記選択された最適予測モードの情報をキーにして前記予測モード対応情報を参照することによって、前記上位レイヤのブロックの符号化において探索すべき予測モード探索候補を決定する決定部と、
    　を備えるスケーラブル動画像符号化装置。
  8. 　請求項６または７に記載のスケーラブル動画像符号化装置において、
    　前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する制御部を備えるスケーラブル動画像符号化装置。
  9. 　請求項１ないし５のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。
  10. 　請求項１ないし５のいずれか１項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2009/005512 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 WO2010047099A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US13/123,690 US8509302B2 (en) 2008-10-22 2009-10-21 Scalable video encoding method, scalable video encoding apparatus, scalable video encoding program, and computer readable recording medium storing the program
BRPI0920213-7A BRPI0920213A2 (pt) 2008-10-22 2009-10-21 método de codificação de vídeo escalável, aparelho de codificação de vídeo escalável, programa de codificação de vídeo escalável, e meio de gravação legível por computador armazenando o programa
JP2010534689A JP5225388B2 (ja) 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP09821799A EP2339853A4 (en) 2008-10-22 2009-10-21 EXTENSIBLE MOBILE IMAGE ENCODING METHOD, EXTENSIBLE MOBILE IMAGE ENCODING APPARATUS, EXTENSIBLE MOBILE IMAGE ENCODING PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM ON WHICH THIS PROGRAM IS RECORDED
RU2011114296/07A RU2488235C2 (ru) 2008-10-22 2009-10-21 Способ масштабируемого кодирования видео, устройство масштабируемого кодирования видео, программа масштабируемого кодирования видео и машиночитаемый носитель записи, сохраняющий программу
CA 2740467 CA2740467C (en) 2008-10-22 2009-10-21 Scalable video encoding method and scalable video encoding apparatus
CN2009801406274A CN102187677B (zh) 2008-10-22 2009-10-21 可分级视频编码方法以及可分级视频编码装置
KR1020117008317A KR101260369B1 (ko) 2008-10-22 2009-10-21 스케일러블 동화상 부호화 방법, 스케일러블 동화상 부호화 장치, 스케일러블 동화상 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-271513 2008-10-22
JP2008271513 2008-10-22

Publications (1)

Publication Number Publication Date
WO2010047099A1 true WO2010047099A1 (ja) 2010-04-29

Family

ID=42119152

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005512 WO2010047099A1 (ja) 2008-10-22 2009-10-21 スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (10)

Country Link
US (1) US8509302B2 (ja)
EP (1) EP2339853A4 (ja)
JP (1) JP5225388B2 (ja)
KR (1) KR101260369B1 (ja)
CN (1) CN102187677B (ja)
BR (1) BRPI0920213A2 (ja)
CA (1) CA2740467C (ja)
RU (1) RU2488235C2 (ja)
TW (1) TWI401967B (ja)
WO (1) WO2010047099A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029962A (ja) * 2009-07-27 2011-02-10 Nippon Telegr & Teleph Corp <Ntt> スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム
CN102355579A (zh) * 2011-02-24 2012-02-15 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
WO2016140090A1 (ja) * 2015-03-04 2016-09-09 ソニー株式会社 画像符号化装置および方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463876B (zh) * 2011-05-17 2014-12-01 Alpha Imaging Technology Corp 影像壓縮方法
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN103237212B (zh) * 2013-04-08 2016-04-13 浙江大学 一种生成增强层块单元编码信息参考队列的方法及装置
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
WO2019117645A1 (ko) * 2017-12-14 2019-06-20 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
US11166014B2 (en) 2017-12-14 2021-11-02 Electronics And Telecommunications Research Institute Image encoding and decoding method and device using prediction network
CN114143536B (zh) * 2021-12-07 2022-09-02 重庆邮电大学 一种shvc空间可伸缩帧的视频编码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322163A (ja) * 1996-03-22 1997-12-12 Sony Corp 画像信号の符号化方法、伝送方法及び復号方法、符号化装置、伝送装置及び復号装置並びに記録媒体
JP2005184241A (ja) 2003-12-17 2005-07-07 Kddi Corp 動画像フレーム内モード判定方式
JP2006033451A (ja) 2004-07-16 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 符号化予測モード決定装置，符号化予測モード決定方法，符号化予測モード決定プログラムおよびその記録媒体
JP2008271513A (ja) 2007-03-28 2008-11-06 Kyocera Corp 携帯通信端末およびその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768537A (en) 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
US6031575A (en) 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
KR100679025B1 (ko) * 2004-11-12 2007-02-05 삼성전자주식회사 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
WO2008060262A1 (en) 2005-09-07 2008-05-22 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
WO2007063808A1 (ja) * 2005-11-30 2007-06-07 Kabushiki Kaisha Toshiba 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
JP2009522972A (ja) * 2006-01-09 2009-06-11 ノキア コーポレイション スケーラブルなビデオ符号化におけるエラー耐性を有するモード決定
CN100584026C (zh) 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
US20110261876A1 (en) * 2008-10-17 2011-10-27 Yih Han Tan Method for encoding a digital picture, encoder, and computer program element

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322163A (ja) * 1996-03-22 1997-12-12 Sony Corp 画像信号の符号化方法、伝送方法及び復号方法、符号化装置、伝送装置及び復号装置並びに記録媒体
JP2005184241A (ja) 2003-12-17 2005-07-07 Kddi Corp 動画像フレーム内モード判定方式
JP2006033451A (ja) 2004-07-16 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 符号化予測モード決定装置，符号化予測モード決定方法，符号化予測モード決定プログラムおよびその記録媒体
JP2008271513A (ja) 2007-03-28 2008-11-06 Kyocera Corp 携帯通信端末およびその制御方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"IEEE International Conference on Image Processing (ICIP 2007), 2007.09.16", vol. 2, article HUNG-CHIH LIN ET AL.: "Layer-Adaptive Mode Decision and Motion Search for Scalable Video Coding with Combined Coarse Granular Scalability (CGS) and Temporal Scalability", pages: 289 - 292, XP031157918 *
J. REICHEL, H. SCHWARZ, M. WIEN: "Joint Scalable Video Model JSVM-11", ISO/IEC JTC1/SC29/WG1 AND ITU-T SG16 Q.6, JVT-X202, 2007, Retrieved from the Internet <URL:ftp3.itu.ch/av-arch/) vt-site/2007_06_Geneva/JVTX202.zip>
KAZUYA HAYASE ET AL.: "SVC ni Okeru Yosoku Mode Sentaku no Konoritsuka ni Kansuru Kiso Kento", THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS NENJI TAIKAI KOEN YOKOSHU, 27 August 2008 (2008-08-27), XP008138437 *
See also references of EP2339853A4
SEON-TAE KIM ET AL.: "Fast mode decision algorithm for spatial and SNR scalable video coding", IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS 2009), 24 May 2009 (2009-05-24), pages 872 - 875, XP031479337 *
T. WIEGAND, G. SULLIVAN, J. REICHEL, H. SCHWARZ, M. WIEN: "Joint Draft ITU-T Rec. H.264 I ISO/IEC 14496-10/ Amd.3 Scalable video coding", ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6, JVT-X201, 2007, Retrieved from the Internet <URL:ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVTX201.zip>

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011029962A (ja) * 2009-07-27 2011-02-10 Nippon Telegr & Teleph Corp <Ntt> スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム
CN102355579A (zh) * 2011-02-24 2012-02-15 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
CN102355579B (zh) * 2011-02-24 2018-03-16 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
WO2016140090A1 (ja) * 2015-03-04 2016-09-09 ソニー株式会社 画像符号化装置および方法
US10893276B2 (en) 2015-03-04 2021-01-12 Sony Corporation Image encoding device and method

Also Published As

Publication number Publication date
RU2488235C2 (ru) 2013-07-20
US8509302B2 (en) 2013-08-13
RU2011114296A (ru) 2012-11-27
JP5225388B2 (ja) 2013-07-03
KR20110069065A (ko) 2011-06-22
EP2339853A4 (en) 2011-08-31
TW201023651A (en) 2010-06-16
KR101260369B1 (ko) 2013-05-07
TWI401967B (zh) 2013-07-11
BRPI0920213A2 (pt) 2020-12-01
CN102187677B (zh) 2013-08-28
US20110194599A1 (en) 2011-08-11
CN102187677A (zh) 2011-09-14
EP2339853A1 (en) 2011-06-29
JPWO2010047099A1 (ja) 2012-03-22
CA2740467A1 (en) 2010-04-29
CA2740467C (en) 2013-08-20

Similar Documents

Publication Publication Date Title
JP5225388B2 (ja) スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN111164978B (zh) 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
JP2018121352A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームのデータ構造を記録した記録媒体
US9602813B2 (en) Image encoding/decoding device and method, and reference picture indexing device and method
JP5038367B2 (ja) スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム
CN116366843A (zh) 使用样点滤波的图像编码/解码方法和设备
JP5672302B2 (ja) 動画像復号装置、動画像復号方法及び動画像符号化装置ならびに動画像符号化方法
JP7132354B2 (ja) イントラインター予測モードを改善するための方法及び装置、並びにコンピュータプログラム
CN113163211B (zh) 基于合并模式的帧间预测方法及装置
JP5222958B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
CN112369021A (zh) 用于吞吐量增强的图像编码/解码方法和设备以及存储比特流的记录介质
JP5795525B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
MXPA06002079A (es) Codificacion bi-direccional predictiva avanzada de video entrelazado.
JP2023521609A (ja) ビデオコーディングのための方法、コンピュータプログラム及び装置
TW202106009A (zh) 視訊編碼器、視訊解碼器及相應方法
WO2022022299A1 (zh) 视频编解码中的运动信息列表构建方法、装置及设备
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
CN116686289A (zh) 用于单参考运动矢量差的自适应精度
KR20140031974A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
JP7462792B2 (ja) ビデオ・コーディングのための方法及び装置
US20230093043A1 (en) Method and apparatus for adaptive reordering for reference frames
KR20240050431A (ko) 시간적 모션 벡터 예측자 후보들 탐색
KR20230117598A (ko) 모션 벡터 차이의 공동 코딩
JP2024512662A (ja) 算術符号化のためのブロック・レベルのウィンドウ・サイズ更新のための方法および装置
CN116684578A (zh) 基于控制点运动矢量的仿射模型优化

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980140627.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09821799

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010534689

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20117008317

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13123690

Country of ref document: US

Ref document number: 2411/CHENP/2011

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2740467

Country of ref document: CA

Ref document number: 2009821799

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011114296

Country of ref document: RU

ENP Entry into the national phase

Ref document number: PI0920213

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110413