WO2005006766A1 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム - Google Patents

動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム Download PDF

Info

Publication number
WO2005006766A1
WO2005006766A1 PCT/JP2004/009825 JP2004009825W WO2005006766A1 WO 2005006766 A1 WO2005006766 A1 WO 2005006766A1 JP 2004009825 W JP2004009825 W JP 2004009825W WO 2005006766 A1 WO2005006766 A1 WO 2005006766A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
band
sub
spatial
low
Prior art date
Application number
PCT/JP2004/009825
Other languages
English (en)
French (fr)
Inventor
Takahiro Kimoto
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2005511540A priority Critical patent/JPWO2005006766A1/ja
Priority to EP04747293.1A priority patent/EP1655972A4/en
Priority to US10/563,618 priority patent/US8306113B2/en
Publication of WO2005006766A1 publication Critical patent/WO2005006766A1/ja
Priority to US13/664,593 priority patent/US8855198B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Definitions

  • Moving picture coding method moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus and computer program
  • the present invention relates to a moving image encoding / decoding method, a moving image encoding Z decoding device, and their computer program.
  • Subband coding is a method of frequency-dividing an image signal and performing encoding processing on signals (subband signals) of respective frequency bands.
  • Subband coding differs from block-based orthogonal transformation such as discrete cosine transformation, and in principle there is no block distortion in principle, and it has the feature that hierarchical coding can be easily realized by recursively dividing low-pass components. .
  • subband coding using wavelet transform is adopted in JPEG 2000, which is an international standard coding method.
  • Subband video coding is mainly performed by performing motion compensation in the spatial domain on the original image to remove correlation in the temporal direction, and then performing subband coding on each frame; After sub-band division, there are two types of methods for performing motion compensation for each sub-band region to remove correlation in the time direction.
  • FIG. 25 shows a conventional coding process that performs motion compensation in the spatial domain
  • j 1 (step 206), and the continuous low frequency band signals A (1) [K 1] and A (l) [(i + 1) 1] are subbandd in the time direction. Divide and obtain A (2) [K ⁇ 1] in the low frequency band and E [(i + 1) ⁇ 1] in the high frequency band (step 203, 204, 205). This process is repeated until frames other than the first frame are encoded as a high frequency band signal, that is, (l ⁇ j) becomes n (step 207). After that, A (j) [0], E [i] (0 jj ⁇ n) are each divided into sub-bands in the spatial direction and coded (step 208).
  • a signal in the high frequency band corresponds to an error signal of motion compensation prediction
  • a signal in the low frequency band is an average signal of motion compensated two frames. .
  • sub-band synthesis is performed in the time direction according to the reference relationship of the frames after combining the sub-band signals in the space direction for each frame in a manner in which the flow of this processing is reversed.
  • a reduced image signal can be obtained by stopping the synthesis halfway without using the high frequency component sub band.
  • three-dimensional wavelet coding it is possible to obtain a decoded image on a reduced resolution by subjecting the signals of each frame obtained by partial subband combining to subband combining in the time direction.
  • motion compensation at the time of sub-band division in the time direction is performed on a sub-pel basis, and in the case where interpolation processing is used to generate a predicted image.
  • This interpolation processing is not compatible with sub-band division. That is, since the signal split into subbands in the time direction and then the signal split into sub-bands in the spatial direction does not match the signal split into sub-bands in the spatial direction and then into sub-bands in the time direction, the decoded image on the reduced resolution is the original The signal degrades significantly compared to the reduced signal.
  • FIG. 26 shows a conventional coding process for performing motion compensation in a subband region (Non-Patent Document 2: H.2).
  • each frame is divided into subbands (step 301). Thereafter, motion compensation prediction is performed for each sub-band with respect to the frame A [i] (l ⁇ i ⁇ n) and its reference frame A [1] (steps 302, 303, 304, 305).
  • the obtained prediction error signal of the frame A [i] (l ⁇ i ⁇ n) and the frame A [0] are subjected to quantization and reversible coding (step 306).
  • this process is reversed, and lossless encoding and inverse quantization are performed to obtain the prediction error signal of the frame A [i] (l ⁇ i ⁇ n) and the frame After obtaining the sub-band coefficients of A [0], motion compensation is performed for each sub-band to obtain sub-band coefficients of frame A [i] (l ⁇ i n n). Thereafter, each frame is subjected to subband synthesis to obtain a decoded image. By not using high frequency component sub-bands in this sub-band synthesis processing, a reduced decoded image signal can be obtained.
  • Non-Japanese Literature 2 H. Gharavi, "Subband Coding Algorithm for Video Applications: Videophone to HDTV Conferencing, IEEE Trans., CAS for Video Technology, Vol. 1, No. 2, pp. 174-182, June 1991
  • Non-Patent Document 3 A. Seeker et. Ai, Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting, ⁇ Trans. Int. Conf. Image Proc, p 1029-1032, October, 2001
  • Non-Japanese Literature 4 Lio et. Al., "Motion Compensated Lifting Wavelet and Its Application in Video Coding", IEEE Int. Conf. Multimedia & Expo 2001, Aug., 2001
  • Non-Patent Document 5 J. M. Shapiro, "Embedded image coding using zerotrees of wavelets coefficients, IEEE Trans, ignal Processing, vol. 41, p. 3445-3462, Dec. 1993"
  • the decoded picture obtained by decoding only in the low frequency band of the subband signal is coded in a single layer.
  • the image quality is greatly reduced compared to the decoded image in the case of
  • the image quality of the decoded image having the same resolution as that of the original image is significantly degraded as compared to the decoded image when encoded in a single layer.
  • An object of the present invention is to provide a sub-band having the same image quality as a decoded image in the case where decoded signals in all layers are coded in a single layer in coded data which is hierarchized by subband division.
  • a video encoding method and decoding method are provided.
  • the moving picture coding method comprises the steps of performing time layer division processing on a moving picture signal of a certain resolution layer to obtain a time stratified signal; The steps of generation processing to obtain a time-hierarchical space high-pass signal, the step of low-pass signal generation processing on spatial hierarchy division on the moving image signal, and obtaining a reduced image signal, and time hierarchy for the reduced image signal And step of obtaining a reduced time stratified signal.
  • the moving picture coding method comprises the steps of performing inter-frame prediction processing on a moving picture signal of a certain resolution layer to obtain a prediction error signal, and performing spatial hierarchy division on the prediction error signal.
  • High-pass generation processing is performed to obtain a prediction error space high-pass signal
  • Low-pass signal generation processing on spatial hierarchy division is applied to the moving picture signal to obtain a reduced image signal
  • interframe prediction on the reduced image signal It is characterized in that it comprises a space-time division filtering comprising the steps of processing and obtaining a reduced inter-frame prediction error signal which is a prediction error signal.
  • the moving picture coding is performed by performing motion compensation prediction processing on a moving picture signal to be input and repeating three-dimensional sub-band division processing for sub-band division in the spatial direction.
  • a method wherein the three-dimensional sub-band division processing is obtained by spatial sub-band division of an input image signal and the input image signal, a motion detection step of detecting an inter-frame motion with respect to the input image signal.
  • a motion compensation prediction step for obtaining a prediction error signal by performing motion compensation prediction processing according to the motion information obtained in the motion detection step on an intra band signal which is one band signal of spatial low band sub-bands;
  • a prediction error signal space that divides the signal into spatial sub-bands and generates spatial low prediction error subbands and spatial high prediction error subbands
  • the intra-band signals by dividing spatial sub-band consists of a band signal space dividing step of generating a spatial low-frequency intra subbands and spatial high frequency intra sub-band, wherein the dynamic
  • the motion compensation prediction step, the prediction error signal space division step and the band signal space division step are performed on the image signal, and the spatial low-pass intra subband obtained after the band signal space division step is used as the intra band signal. It is characterized in that the prediction error signal space division step and the band signal space division step are recursively repeated.
  • the moving picture coding method is a moving picture coding method in which the input image signal is divided into subbands in the time direction and the three-dimensional subband division process is repeated to divide the input image signal into subbands in the spatial direction.
  • the three-dimensional sub-band division processing detects a motion between frames with respect to an input moving image signal, and the moving image signal and the moving image signal are divided into spatial sub-bands.
  • One of the spatial lowband subbands obtained as the intraband signal is subjected to motion compensation according to the motion information obtained in the motion detection step, and then temporal subband division is performed to obtain temporal lowband subbands and temporal lowband subbands.
  • Temporal high band spatial low band sub-band by temporal sub band dividing step for obtaining high frequency sub band and spatial high band sub band signal by temporal sub band high frequency sub band
  • a band signal space dividing step of spatial sub-band dividing the intra band signal into spatial sub-band sub-bands and spatial high-frequency intra sub-bands The motion image signal is subjected to time sub-band division step, time high-frequency sub-band space division step, time low-frequency sub-band space division step, and band signal space division step, and the space low obtained after band signal space division step.
  • Sub-band as the intra-band signal and the time sub-band division step and the time high-frequency sub band The de space division step and time lower subband spatial division step and the band signal spatially dividing step and repeating recursively.
  • temporal low-pass signals and temporal high-pass signals of a certain resolution layer temporal low-pass spatial high-pass signals and temporal high-pass spatial high-pass signals adjacent to these.
  • Spatio-temporal synthesis filtering to reconstruct one step high resolution moving image signal with reference to A step of synthesizing the temporal high-pass spatial low-pass signal with reference to the temporal high-pass signal, the temporal low-pass signal, and the temporal low-pass spatial high-pass signal.
  • the moving picture decoding method refers to an intra band signal and a prediction error signal of a certain resolution layer, an intra space high band signal adjacent to these, and a prediction error space high band signal
  • the step of synthesizing the spatial low band signal the step of performing spatial layer synthesis processing on the prediction error spatial low band signal and the prediction error spatial high band signal, the intra band signal and the temporal high band spatial high band signal And a step of performing inter-frame prediction decoding processing on these two spatial layer synthesis results.
  • the synthesized intraband signal and the prediction error signal are synthesized.
  • the spatial low band prediction error subband is synthesized with reference to at least one of an intra band signal in the same frequency band as the error signal and a spatial high band intra sub band which is a spatial high band sub band adjacent to the intra band signal.
  • the combined prediction error signal obtained by the prediction error signal synthesis step which comprises the compensation decoding step, is newly regarded as a prediction error signal
  • the band signal obtained by the intra band signal space synthesis step is regarded as an intra band signal.
  • the area prediction error sub-band synthesis step, the prediction error signal synthesis step, and the intra band signal space synthesis step are recursively repeated.
  • the moving picture decoding method receives coded moving picture coded data as an input, combines subband signals in the spatial direction for each frame, and then performs temporal low-pass subband and time.
  • a time low frequency sub-band which is in the same frequency band as the time high frequency sub-band and a time low frequency space high-frequency sub which is a sub band of a high frequency band adjacent to the time low frequency sub-band.
  • Temporal high-pass spatial low-pass sub-band synthesis step for synthesizing temporal high-pass spatial low-pass sub-bands with reference to at least one of the bands
  • Time high band sub-band combining step of combining the time high band sub-band with the time high band spatial high band sub band which is the sub band of the high frequency band adjacent to the low band low band sub-band
  • Temporal low-pass sub-band space synthesis step which combines sub-bands and temporal low-pass spatial high-pass sub-bands to generate synthetic temporal low-pass sub-bands, and synthetic temporal low-pass sub-band and synthetic temporal high-pass sub-band Time synthesis step with motion compensation, and the synthesis time high band sub-band obtained by the time high band sub-band synthesis step is newly obtained by the time high band sub-band and the time low band sub-band synthesis step
  • the low band sub-band is newly regarded as a time low band sub-band, and the time high band sub-band synthesis step and the time low band sub-band
  • a moving image signal 10 of a certain resolution hierarchy is Layering and dividing into time low-pass signal 11 and time high-pass signal 12.
  • low-pass generation processing in space layering is performed on the moving image signal 10 to generate a reduced image signal 15.
  • Temporal layering is performed on the reduced image signal 15 to obtain a time low-pass signal 16 and a time high-pass signal 17.
  • the time low band space high band signal 13, the time high band spatial high band signal 14, the time low band signal 16, and the time high band signal 17 are output as a result of division of the moving picture signal 10.
  • the space-time division filtering is recursively performed. Layer the video signal into stages.
  • signals to be synthesized are a time low-pass signal 16, a time high-pass signal 17, a time low-pass space high-pass signal 13, and a time high-pass spatial high-pass signal 14.
  • temporal hierarchical synthesis processing is performed on the temporal low-pass signal 16 and the temporal high-pass signal 17 to reconstruct a reduced image signal 15.
  • spatial hierarchical synthesis processing is performed on the temporal low-pass signal 16 and the temporal low-pass spatial high-pass signal, and the temporal low-pass signal 11 is reconstructed.
  • the temporal high-frequency spatial low-pass signal 18 is reconstructed from the reduced image signal 15 and the temporal low-pass signal 11.
  • Spatial hierarchical synthesis processing is performed on the temporal high-frequency space low-frequency signal 18 and the temporal high-frequency spatial high-frequency signal 14 to reconstruct the temporal high-frequency signal 12.
  • Temporal hierarchy synthesis processing is performed on the time low-pass signal 11 and the time high-pass signal 12 to reconstruct the moving picture signal 10.
  • a moving image signal 10 is regarded as a reduced image signal 15, and temporal synthesis filtering is performed recursively to obtain multistage hierarchical synthesis.
  • the temporal low-pass spatial low-pass signal 19 is reconstructed from the temporal low-pass signal 16 and the temporal high-pass spatial high-pass signal 14. Also, the temporal high-frequency spatial low-pass signal 18 is reconstructed from the temporal high-frequency signal 17 and the temporal low-pass spatial high-frequency signal 14.
  • the spatial low-layer signal processing is performed on the temporal low-pass spatial low-pass signal 19 and the temporal low-pass spatial high-pass signal 13 to reconstruct the temporal low-pass signal 11.
  • spatial layer synthesis processing is performed on the temporal high frequency spatial low frequency signal 18 and the temporal low frequency spatial high frequency signal 14 to reconstruct the temporal high frequency signal 12.
  • Temporal synthesis processing is performed on the time low-pass signal 11 and the time high-pass signal 12 to reconstruct the moving picture signal 10.
  • the temporal low-pass signal 11 is regarded as a temporal low-pass signal 16
  • the temporal high-pass signal 12 is regarded as a temporal high-pass signal 17, and multistage hierarchical synthesis is performed by recursively performing space-time synthesis filtering.
  • the decoded image on the reduced resolution has an image quality equivalent to that of the conventional subband region-based coding method. Also, the image quality degradation caused by the replacement of the low frequency band component is slight, and the decoded image at the original resolution has the same image quality as the conventional space domain based coding processing method.
  • the moving picture coding method and the decoding method according to the present invention can be performed in the case where decoded signals in all layers are coded in a single layer in coded data which is hierarchized by subband division. Achieves the same image quality as the image.
  • FIG. 1 is a conceptual diagram for explaining an outline of space-time division filtering in moving picture coding, which is a feature of the present invention.
  • FIG. 2 is a spatio-temporal synthesis filter in motion picture decoding, which is a feature of the present invention. It is a conceptual diagram for explaining the outline of the
  • FIG. 3 is a conceptual diagram for explaining an outline of the simplified space-time synthesis filtering, which is a feature of the present invention.
  • FIG. 4 is a schematic view showing the configuration of a video encoding device and a video decoding device according to an embodiment of the present invention.
  • FIG. 5 is a block diagram showing a configuration of a space-time division filtering unit for realizing space-time division filtering in moving picture coding, which is a feature of the present invention.
  • FIG. 6 is a flowchart showing the flow of processing of space-time space division filtering
  • FIG. 7 is a flow chart showing the flow of processing of a moving picture coding method according to an embodiment of the present invention.
  • FIG. 8 is a flow chart showing a flow of space-time sub-band division processing of two frames in FIG.
  • FIG. 9 is a conceptual diagram illustrating motion compensation in a low frequency band.
  • FIG. 10 is a block diagram showing the configuration of a moving picture coding apparatus according to an embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of a space-time division filtering unit.
  • FIG. 12 is a block diagram showing the structure of a texture signal encoding unit.
  • FIG. 13 is a block diagram showing a configuration of a space-time division filtering unit for realizing space-time synthetic finalization in the moving picture decoding method characterizing the present invention.
  • FIG. 14 is a flowchart showing the flow of processing of space-time synthesis filtering.
  • FIG. 15 is a conceptual diagram for explaining a process of reconstructing a temporal high-frequency spatial low-pass signal, which is a feature of the temporal-spatial synthesis filtering.
  • FIG. 16 is a diagram showing a configuration of a space-time division filtering unit for realizing space-time synthesis filtering according to an embodiment of the present invention.
  • FIG. 17 is a flowchart showing the flow of processing of space-time synthesis filtering.
  • FIG. 18 is a flow chart showing the flow of processing of a moving picture decoding method according to an embodiment of the present invention.
  • FIG. 19 is a flow chart showing the flow of time-space subband synthesis processing of two frames in FIG.
  • FIG. 20 is a block diagram showing the configuration of a moving picture decoding apparatus according to an embodiment of the present invention.
  • FIG. 21 is a block diagram showing the structure of a texture signal decoding unit.
  • FIG. 22 is a block diagram showing the configuration of a space-time synthesis filtering unit.
  • FIG. 23 is a block diagram showing the configuration of a time low frequency band signal generation unit.
  • FIG. 24 is a block diagram showing a configuration of a time high frequency band signal generation unit.
  • FIG. 25 is a flowchart showing the process flow of the first conventional coding method for performing motion compensation in the spatial domain.
  • FIG. 26 is a flowchart showing a process flow of a first conventional coding method for performing motion compensation in a subband region.
  • a moving picture coding method, a moving picture decoding method, and a moving picture coding apparatus and a moving picture decoding apparatus which realizes the method according to an embodiment of the present invention will be described in detail with reference to the drawings.
  • the first video encoding device and the video decoding device include a processor, a storage unit, and an IZ interface, which are used to transmit a bus.
  • the storage unit stores one or both of a moving picture coding program and a moving picture decoding program to be executed by the processor, and the processor executes a moving picture coding program or a moving picture decoding program. It also serves as a temporary memory during the line.
  • the term "storage unit” refers to any storage device such as a main memory such as a RAM, a cache memory included in a CPU, a register included in a processor, and a hard disk drive. It is used as a thing.
  • the I / O interface is an original image to be input to the moving picture coding program according to control of the processor, code code to be output, coded data to be input to the moving picture decoding program, Transmit the decoded image to be output It is an intermediary.
  • this I / O interface can be obtained by temporarily storing the original image or encoded data obtained by another program in the storage unit and reading it out from the storage unit. It does not prevent the execution of the method or the moving picture decoding method.
  • the processor executes a moving picture coding program and a moving picture decoding program stored in the storage unit.
  • the second moving picture coding apparatus and the moving picture decoding apparatus according to the embodiment of the present invention are constituted by an operation subject that realizes operation steps in the moving picture coding method and the moving picture decoding method, The relationship is also associated with the signals referenced and generated by the video coding method and the video decoding method. In the following, in order to clarify the explanation, it will be described focusing on only the operation without referring to the operation subject one by one.
  • the space-time division filtering unit comprises a space low-pass signal generation unit 51, a space high-frequency signal generation unit 53, 54, and a time direction filtering unit 52.
  • the moving image signal 10 and the reduced image signal 15 in FIG. 1 correspond to the moving image signal 10 and the reduced image signal 15 in FIG.
  • the time low band signals 11 and 16 in FIG. 1 correspond to the time low band signal 21 in FIG. 5
  • the time low band signals 12 and 17 in FIG. 1 correspond to the time low band signal 22 in FIG.
  • the temporal low-pass spatial high-pass signal 13 and the temporal high-pass spatial high-pass signal 14 in FIG. 1 correspond to the temporal low-pass spatial high-pass signal 23 and the temporal high-pass spatial high-pass signal 24 in FIG.
  • the moving image signal 10 is temporally layered by temporal direction filtering 52 to generate temporal low-pass signal 21 and temporal high-pass signal 22 (step 80).
  • Time low band signal 21 is space high
  • the high frequency signal 22 is subjected to high frequency signal generation processing by spatial layering by the spatial high frequency signal generator 54 by the low frequency signal generator 53, and the low time spatial high frequency signal 23 and time A high-pass spatial high-pass signal 24 is generated (step 81).
  • the temporal low-pass spatial high-pass signal 23 and the temporal high-pass spatial high-pass signal 24 are output as divided result signals 25 and 26.
  • the low-pass signal generation processing by spatial hierarchization is performed on the moving picture signal 10 by the spatial low-pass signal generation unit, and a reduced image signal 15 is generated (step 82).
  • the time direction filtering unit 52 performs time layering on the reduced image signal 15 to generate a time low band signal 21 and a time high band signal 22 (step 83).
  • the time low-pass signal 21 and the time high-pass signal 22 are output as divided result signals 25 and 26, respectively.
  • FIG. 7 a moving picture coding method having space-time division filtering will be described using FIGS. 7 and 8.
  • FIG. 7 a moving picture coding method having space-time division filtering will be described using FIGS. 7 and 8.
  • FIG. 7 is a flowchart showing the flow of encoding processing according to an embodiment of the present invention.
  • a coding method in which a set of continuous image frames A (0) [i] (0, i ⁇ n, n is a power of 2) is used as an original image input will be described with reference to FIG.
  • FIG. 8 is a flow chart showing the flow of processing of time-space direction sub-band division of two frames in step 103 of FIG.
  • the motion of frame B0 relative to frame CO is estimated (step 111).
  • the movement means translation of each block of fixed size or variable size constituting a frame, or geometric transformation such as affine transformation to each small area constituting a frame, or geometric transformation such as affine transformation to an entire frame Represents
  • step 112 based on the motion information obtained in step 111, BO and CO are divided into subbands in the time direction to obtain a low frequency band subband A0 * and a high frequency band subband E0 * (step 112).
  • time direction sub-band division methods reference [Non-patent document 3: A. Seeker et. Al, "Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting", IEEE Trans. Int. Conf. Image Proc, pp
  • Non-Patent Document 4 L. Lio et. Al
  • C0i be BO'i 'CO'i after multiplication by the first order filter by the constant ⁇
  • A0 * and E0 * are divided into spatial subbands once (step 113).
  • Each subband transform is defined as LL (), LH (), HL (), HH ().
  • H (C0) as a set of three sub-ends LH (C0), HL (CO) and HH (CO). This gives LL (A0 *), H (A0 *), LL (E0 *), H (E0 *)
  • B1 and C1 are sub-band-divided in the time direction based on the motion information obtained in step 111 to obtain a low frequency band sub-band Al * and a high frequency band sub-band El * (step 116).
  • A1 * becomes equal to LL (A0 *)
  • E1 * is not equal to LL (E0 *).
  • the motion compensation process in the low frequency band sub-band in the spatial direction in this embodiment will be described with reference to FIG.
  • the filters WBLL0, WBLH0, WBHL0, and WBHH0 obtained by multiplying these filters by WB0 of Equation (1) are
  • WBLLO (Bl) + WBLH0 (LH (B0)) + WBHL0 (HL (B0)) + WBHH0 (HH (B0)) WB0 (B0) (3)
  • WBl (Bl) + WBH0 (H (B0)) LL (WB0 (B0)) (4)
  • Ak * and Ek * are defined according to equations (7) to (12) as in equations (1) to (6).
  • Another method of applying the motion information obtained at the original resolution to the low frequency band sub-band in the spatial direction is to reduce the motion information according to the resolution.
  • H * is substituted for Al * and H (A0 *) instead of LL (A0 *).
  • B0 and LL (E0 *)
  • Al * and El * are divided once into spatial subbands to obtain L (A1 *), H (A1 *), L (E1 *) and H (E1 *) (step 118).
  • Bl and C1 are sub-band divided once (step 115), and the obtained B2 and C2 are sub-band divided in the time direction (step 116).
  • the above processing is performed until the number of divisions reaches m (step 117), and the obtained L (Am *), H (Bk), L (Em *), H (Ek *) (0 ⁇ k ⁇ m) ) As the division result (step 119), and the processing ends.
  • step 103 This completes the description of step 103. Referring back to FIG. 7, the description of the encoding process of the present invention will be continued.
  • a (0) * [0] which is a low frequency band sub-band in the time direction, is sub-band synthesized only in the space direction to generate A (1) [0] (step 105). This is to divide A (1) [0] into sub-bands in the space-time direction in step 103 again in the time direction hierarchy one step up. It is
  • the encoding process performs quantization and lossless encoding on the obtained signals A (j) * [0], E * [i] (0 ⁇ i ⁇ n) (step 109).
  • quantization in addition to linear quantization, nonlinear quantization, and vector quantization, bit-plane quantization used in JPEG2000 which is a still image code of international standard is used.
  • lossless coding reference 3 [Non-patent document 5: M. Shapiro, Embedded image coding using zerotrees oiwavelets coefficients, IEEE Trans, ignal Processing, vol. 41, p. 3445-3462, Dec. 1993].
  • Zero tree coding, arithmetic coding, and run length coding are used. This is the end of the coding process of A (0) [k] (0 ⁇ k ⁇ n).
  • a process is performed in which a frame to be encoded in the next hierarchy is temporarily subjected to subband synthesis in the spatial direction.
  • these two processes can be integrated by performing processing such as correcting the high frequency component of the sub-band signal as needed in the spatial direction by motion compensation.
  • FIG. 10 is a block diagram showing the configuration of a moving picture coding device.
  • the input image signal 2000 is frequency-divided in the time-space direction by the time-space division filtering unit 200 to generate a time low-frequency division signal 2001 and a time high-frequency division signal 2002.
  • the temporal low-pass segmented signal 2001 and the temporal high-pass segmented signal 2002 are each encoded by the texture signal encoding unit 201, and encoded data 2003 is generated.
  • FIG. 11 is a block diagram showing the configuration of the space-time division filtering unit. Initially, input image signal 2000 is stored in memory 218.
  • a time direction filtering unit 211 performs time layering on the input image signal 2000 to generate a time low band signal 2012 and a time high band signal 2013.
  • the spatial sub-band division unit 212 performs high-pass signal generation processing on the temporal low-pass signal 2012 to generate a temporal low-pass spatial high-pass signal 2014.
  • spatial sub-band division section 213 performs high-pass signal generation processing on temporal low-pass signal 2013 to generate temporal low-pass spatial high-pass signal 2015.
  • the temporal high-frequency spatial high-frequency signal 2015 is output as a temporal high-frequency divided signal 2002, and the temporal low-frequency spatial high-frequency signal 2014 is stored in the memory 219.
  • the input image signal stored in the memory 218 is subjected to low-pass signal generation processing by the spatial sub-band division unit 210, and a reduced image signal 2010 is generated.
  • the temporal direction filtering unit 211 With respect to the reduced image signal 2010, the temporal direction filtering unit 211 generates a temporal low-pass signal 2012 and a temporal high-pass signal 2013 by time layering.
  • Spatial sub-band division sections 212 and 213 perform high-pass signal generation processing on time low-pass signal 2012 and time high-pass signal 2013, respectively, and time low-pass spatial high-pass signal 2014 and time high-pass spatial high-pass signal 2015 Generate
  • the temporal high-frequency spatial high-frequency signal 2013 is output as a temporal high-frequency divided signal 2002, and the temporal low-frequency spatial high-frequency signal 2014 is stored in the memory 219.
  • switches 214 and 215 perform time low band signal 2012 and time high band signal 2013 as time low band divided signal 2001 at the mth division. And it is considered as a time high frequency division signal 2002.
  • the temporal low-pass divided signal stored in the memory 219 is synthesized by the spatial synthesis filtering unit 217 to generate a temporal low-pass signal 2017.
  • the space-time division filtering unit recursively performs the above-mentioned space-time division filtering considering the time low-pass signal 2017 as an input.
  • the switch 216 outputs the time low-frequency divided signal 216 without storing it in the memory 219 after the ⁇ -th division.
  • FIG. 12 is a block diagram showing the configuration of the texture signal encoding unit.
  • the time low-frequency division signal 2001 and the time high-frequency division signal 2002 are integrated and referred to as a division result signal 2021.
  • the division result signal 2021 is quantized by the quantization unit 221 and output as a quantization coefficient signal 2022.
  • the quantization coefficient signal 2022 is entropy-coded by the entropy coding unit 222 and output as coded data 2003.
  • the quantization unit 221 may be omitted.
  • frequency conversion processing may be added before the quantization unit 221.
  • step 105 in FIG. 7 corresponds to the processing of the spatial synthesis filtering unit 217 in FIG. 1
  • step 103 in FIG. 7 corresponds to the spatial synthesis filtering unit 217 in the space-time division filtering unit shown in FIG. It corresponds to the processing except.
  • Steps 104 and 107 in FIG. 7 correspond to the processing of the switch 216 in FIG. 1
  • step 109 in FIG. 7 corresponds to the processing of the texture signal code unit 201 in FIG.
  • steps 111, 112 and 116 in FIG. 8 correspond to the process of temporal direction filtering 211 in FIG. 1, and step 115 in FIG. 8 corresponds to the spatial sub-band dividing unit 210 in FIG. And 118 correspond to the processing of the spatial sub-band division units 212 and 213 in FIG. Step 117 in FIG. 8 corresponds to the processing of the switches 214 and 215 in FIG.
  • the spatio-temporal synthesis filtering unit includes a spatial synthesis filtering unit 55, a temporal direction inverse filtering unit 56, a temporal high-frequency spatial low-pass signal reconstruction unit 57, a spatial synthesis filtering unit 58, a temporal direction inverse filtering.
  • Part 59 consists of:
  • the moving picture signal 10 time low band signal 11, time high band signal 12, time low band space high band signal 13, time high band space high band signal 14, reduced image signal 15, time low band
  • the signal 16, the time high band signal 17 and the time high band space low band signal 18 are respectively the moving picture signal 10, the time low band signal 11, the time high band signal 12 and the time low band spatial high band signal 13 in FIG. It corresponds to the temporal high frequency spatial high frequency signal 14, the reduced image signal 15, the temporal low frequency signal 16, the temporal high frequency signal 17, and the temporal high frequency spatial low frequency signal 18.
  • the spatial synthesis filtering unit 55 performs spatial hierarchical synthesis processing on the temporal low-pass signal 16 and the temporal low-pass spatial high-pass signal 13 to generate a temporal low-pass signal 11 (step 84). Further, the time direction inverse filtering unit 56 performs time layer synthesis processing on the time low-pass signal 16 and the time high-pass signal 17 to reconstruct the reduced image signal 15 (step 85). Time high band sky The inter-low-frequency signal reconstruction unit 57 reconstructs the temporal high-frequency spatial low-pass signal 18 with reference to the temporal low-pass signal 11 and the reduced image signal 15 (step 86).
  • the spatial synthesis filtering unit 58 performs spatial layer synthesis processing on the temporal high-frequency spatial low-frequency signal 18 and the temporal high-frequency spatial high-frequency signal 14 (step 87), and reconstructs the temporal high-frequency signal 12.
  • the temporal direction inverse filtering unit 59 performs temporal hierarchical synthesis processing on the temporal low-pass signal 11 and the temporal high-pass signal 12 to reconstruct the moving picture signal 10 (step 88).
  • a feature of the spatio-temporal synthesis filtering is a process of reconstructing a temporal high-frequency spatial low-pass signal.
  • FIG. 15 is a conceptual diagram for explaining the process. Symbols representing signals in FIG. 15 are the same as the symbols in FIG. BO and B1 indicate time low band signals 11 and 16 in FIG. 14, E0 * and El * indicate time high band signals 12 and 17, and H (E0 *) indicates time high band spatial high band signal 14. . Further, CO represents a moving image signal 10 corresponding to E0 *, and C1 represents a reduced image signal 15 corresponding to E1 *.
  • WB0 and WB1 are motion compensation elements for B0 and B1, respectively.
  • the spatio-temporal synthesis filtering in the moving picture decoding method according to an embodiment of the present invention is shown in FIG.
  • the space-time synthesis filtering unit is a time low-pass space low-pass signal reconstruction unit 60, a time high-pass spatial low-pass signal reconstruction unit 61, a space synthesis filtering unit 62, and a spatial synthesis filtering.
  • Part 63 consists of time direction inverse filtering 54.
  • moving image signal 10 time low band signal 11, time high band signal 12, time low band space high band signal 13, time high band
  • the spatial high-pass signal 14, the reduced image signal 15, the temporal low-pass signal 16, the temporal high-pass signal 17, the temporal high-pass spatial low-pass signal 18 and the temporal low-pass spatial low-pass signal 19 are the moving picture signals in FIG.
  • time low band signal 11 time high band signal 12, time low band space high band signal 13, time high band space high band signal 14, reduced image signal 15, time low band signal 16, time high band signal 17, It corresponds to the time high band space low band signal 18 and the time low band space low band signal 19.
  • temporal low-pass spatial low-pass signal reconstruction section 60 reconstructs temporal low-pass spatial low-pass signal 19 with reference to temporal low-pass signal 16 and temporal high-pass spatial high-pass signal 14 (step 89 ).
  • the temporal high-frequency space low-frequency signal reconstruction unit 61 reconstructs the temporal high-frequency spatial high-frequency signal 18 by referring to the temporal high-frequency signal 17 and the temporal low-frequency spatial high-frequency signal (step 90).
  • the spatial synthesis filtering unit 62 spatially hierarchically combines the temporal low-pass spatial low-pass signal 19 and the temporal low-pass spatial high-pass signal 13 to reconstruct the temporal low-pass signal 11 (step 91).
  • the part 63 spatially hierarchically combines the time low space spatial low band signal 18 and the time low band spatial high band signal 14 to reconstruct the time low band signal 12 (step 92).
  • the temporal direction inverse filtering unit 64 performs temporal hierarchical synthesis processing on the temporal low-pass signal 11 and the temporal high-pass signal 12 to reconstruct the moving picture signal 10 (step 93).
  • FIG. 18 is a flowchart showing a flow of decoding processing according to an embodiment of the present invention.
  • a process of reconstructing A (j0) k0 [i] will be described.
  • inverse transformation and inverse quantization of lossless encoding are performed on encoded data (step 152).
  • the signals obtained after this processing are defined as A (n0) * [0], E * [i] (0 ⁇ i * n) according to the symbols used in FIG.
  • it is determined whether jO is equal to ⁇ (step 153).
  • jO is equal to ⁇ , it is not necessary to perform subband synthesis in the time direction.
  • a (j) * [0] is subband synthesized in the spatial direction by k 0 layers.
  • a (j0) k0 [0] is reconstructed (step 154), the decoding process ends.
  • jO is not equal to ⁇
  • a (j) * [0] and E * [n / 2] are subband synthesized in both the time direction and the space direction (steps 155 and 156).
  • FIG. 19 is a flowchart showing the flow of the process of combining two frame data in the space-time direction sub-band in step 156.
  • k0 be the subband combining number at the time of decoding. If k0 is zero, it is a decoded image at the same resolution as the original image, and if k0 is positive, a decoded image of a resolution reduced by the power of 2 k0 is obtained.
  • the data of the two frames to be subjected to subband composition processing has a hierarchical structure divided into m subbands in the spatial direction. According to step 116 and step 118 in FIG.
  • the subband signals belonging to the low frequency band in the time domain subband division are Am *
  • the high frequency band sub-band after the k-th sub-band division corresponds to H (Bk) (0 ⁇ k ⁇ m).
  • the signals after being divided in the spatial direction of the subband signals belonging to the high frequency band by the subband division in the time direction can be mapped to Em * and H (Ek *), (0 ⁇ k ⁇ m).
  • step 171 and 172 Bm and Cm are obtained by combining Am * and Em * in the time direction (step 177).
  • Subband synthesis is performed when the time-domain subband splitting shown in equations (7) and (8) is performed.
  • WBm and WCm are a filter representing motion compensation from Bm to Cm and a filter representing motion compensation from Cm to Bm, which are the same as in the coding process.
  • L (Ak_l *) and H (Ak-l *) are subjected to subband synthesis, and L (Ek_l *) and H (Ek_l *) are subjected to subband synthesis to obtain Ak-1 * and Ek_l *.
  • Obtain (step 175).
  • Steps 173 to 175 are repeated to obtain subbands Ak0 * and EkO * corresponding to hierarchy k0 (steps 176 and 172), and time-wise subband synthesis is performed to obtain BkO and CkO (step 177) . This concludes the description of the spatio-temporal subband synthesis in step 156 of FIG.
  • step 173 and 174 have been described as independent steps. It is also possible to integrate these steps by using a filter that is multiplied by a band synthesis filter.
  • the description of the decoding process is continued.
  • the image is an image of l / 2k0 of the original image A (j) (k0) [0] and A (j) (k0) ) [n / 2] is obtained.
  • j0 is equal to nO-1 (step 157)
  • the decoding process ends here. Otherwise, they are divided into subbands in the k0 space direction to obtain A (j-1) * (k0) [0] and A (j-1) * (k0) [n / 2].
  • Space-time subband synthesis in the next layer by decreasing j by 1 is A (j) * [0] and E * [n / 4], and A (j) * [n / 2] And E * [3n / 4] (steps 156, 159, 160).
  • Subband synthesis is repeated as described above, and the decoding process is ended when j becomes equal to j0 (step 161).
  • FIG. 20 is a block diagram showing the configuration of a moving picture decoding apparatus.
  • the moving picture decoding apparatus includes a texture signal decoding unit 301, a switch 302, a space-time synthesis filtering unit 303, a space synthesis filtering unit 304, and a switch 305.
  • the coded data 3000 becomes a division result signal 3001 by the texture signal decoding unit 301.
  • the result of the space layer synthesis processing of the switch 305 division result signal 3001 by the spatial synthesis filtering unit 304 is output as a decoded image, or as the time low band divided signal 3002 or the time high band divided signal 3003 by the switch 302
  • the result of the spatio-temporal synthesis filtering performed by the spatio-temporal synthesis filtering unit 303 is output as a decoded image 3004.
  • FIG. 21 is a block diagram showing a configuration of the texture signal decoding unit.
  • the encoded data 3000 is decoded by the entropy decoding unit 306 and output as the quantization coefficient signal 3006.
  • the inverse quantization unit 307 inversely quantizes the quantization coefficient signal 3007 to reconstruct the division result signal 3001. Note that the inverse quantization unit 307 may be omitted corresponding to the process at the time of encoding. Also, frequency inverse transform processing may be added after the inverse quantization unit 307.
  • FIG. 22 is a block diagram showing a configuration of the space-time synthesis filtering unit.
  • Temporal low-pass split signal 3002 is a signal obtained by multiplexing temporal low-pass signal 3010 and temporal low-pass spatial high-pass signal 3011
  • temporal high-pass split signal 3003 is temporal high-pass signal 3012 and temporal high-pass spatial high-pass signal 3013. Are multiplexed signals.
  • Subband demultiplexing section 310 demultiplexes temporal low-pass division signal 3002 and outputs temporal low-pass signal 3010 and temporal low-pass spatial high-pass signal 3011 to temporal low-pass signal generation section 312 as needed.
  • the sub-band demultiplexing unit 311 demultiplexes the temporal high-frequency division signal 3003 and outputs the temporal high-frequency signal 3012 and the temporal high-frequency spatial high-frequency signal 3013 to the temporal high-frequency signal generation unit 313 as needed.
  • FIG. 23 is a block diagram showing a configuration of a time low-pass signal generation unit.
  • the temporal low-pass spatial low-pass signal reconstruction unit 320 reconstructs the temporal low-pass spatial low-pass signal 3030 with reference to the auxiliary signal 3015 output from the temporal high-pass signal generator and the temporal low pass signal 3010.
  • the spatial synthesis filtering unit 321 performs spatial hierarchy synthesis processing on the temporal low-pass spatial signal 3030 and the temporal low-pass spatial high-pass signal 3011 to generate a temporal low-pass signal 3031.
  • Switch 322 is a time low band signal As a power to output 3031 as it is as an input to the temporal high-frequency space low-pass signal reconstruction unit 320, the time low-pass signal generation processing is performed recursively.
  • the time low-pass space high-pass signal 3011 is output as an auxiliary signal 3014 to the time high-pass signal generator 313.
  • FIG. 24 is a block diagram showing a configuration of a temporal high frequency band signal generation unit.
  • the temporal high-frequency space low-frequency signal reconstruction unit 323 reconstructs the temporal high-frequency spatial low-frequency signal 3032 with reference to the auxiliary signal 3014 output from the temporal high-frequency signal generation unit and the temporal high frequency signal 3012.
  • the spatial synthesis filtering unit 324 performs spatial layer synthesis processing on the temporal high-frequency spatial signal 3032 and the temporal high-frequency spatial high-frequency signal 3013 to generate a temporal high-frequency signal 3033.
  • the switch 325 outputs the temporal high-frequency signal 3033 as it is, or performs temporal high-frequency signal generation processing as input to the temporal high-frequency spatial low-frequency signal reconstruction unit 323 again.
  • the time low-pass space high-pass signal 3013 is output as an auxiliary signal 3015 to the time high-pass signal generator 312.
  • the switch 314 outputs the time low band signal 3010 or the time low band signal 3016 output from the time low band signal generator 312 to the time direction inverse filtering 316.
  • the switch 315 outputs the time high frequency signal 3012 or the time high frequency signal 3017 output from the time high frequency signal generator 313 to the time direction inverse filtering 316.
  • Temporal subband synthesizing section 316 performs temporal layer synthesizing processing on temporal low-frequency signal 3018 and temporal high-frequency signal 3019 output from switches 314 and 315 to reconstruct moving image signal 3020.
  • the switch 317 outputs the moving picture signal 3020 to the space division filtering unit 318 when it is necessary to combine the moving picture signal 3020 in the time direction. Also, if the synthesis in the spatial direction has been completed a predetermined number of times, it is output as a moving image signal 3004.
  • the space division filtering unit 318 performs space hierarchical division processing on the input moving image signal in order to generate a low-frequency divided signal 3002 from the input moving image signal and recursively perform space-time synthesis filtering.
  • the divided result signal 3021 is output to the subband demultiplexing unit 310.
  • the processing in texture signal decoding section 301 in FIG. 20 corresponds to that in step 152 in FIG. It corresponds.
  • the processing in the spatio-temporal synthesis filtering unit 303 in FIG. 20 corresponds to steps 156 and 158 in FIG.
  • the determination processes in the switches 302 and 305 in FIG. 20 correspond to steps 153 and 161 in FIG. 18, respectively.
  • the spatial synthesis filtering unit 304 corresponds to step 154.
  • the processing of the temporal low-pass spatial low-pass signal reconstructing unit 320 in FIG. 23 and the temporal high-pass spatial low-pass signal reconstructing unit 323 in FIG. corresponds to step 173 in FIG.
  • the processing of the spatial synthesis filtering unit 321 in FIG. 23 and the processing of the spatial synthesis filtering unit 324 in FIG. 24 correspond to step 175 in FIG.
  • the determination process of the switch 322 in FIG. 23 and the switch 325 in FIG. 24 corresponds to step 172 in FIG.
  • the process in the time subband combining unit 316 in FIG. 22 corresponds to step 177 in FIG.
  • the determination process of the switch 317 in FIG. 22 corresponds to step 160 in FIG. 18, and the process in the space division filtering unit 318 corresponds to step 158.
  • the temporal low-pass spatial low-pass signal is reconstructed with reference to the temporal low-pass signal and the temporal high-pass spatial high-pass signal.
  • the temporal high frequency spatial low frequency signal is reconstructed with reference to the low spatial frequency high frequency signal.
  • the spatio-temporal synthesis filtering there is a method of simultaneously reconfiguring the temporal low-pass spatial low-pass signal and the temporal high-pass spatial low-pass signal by referring to only the temporal low-pass signal and the temporal high-pass signal. is there.
  • the motion compensation process in the upper layer is performed based on the motion information obtained by reducing the motion information obtained at the original resolution according to the resolution.
  • the present invention is also applicable to the case where the reference relationship has an arbitrary structure.
  • the embodiment has been described by limiting to a case in which a frame in the past is converted to a low frequency band sub-band in one time direction sub-band division
  • the present invention is also applicable to the case of converting into sub-bands, or the case of performing division in the time direction by bi-directionally predicting two frames.
  • the low frequency band sub-band when dividing each sub-band after being divided in the time direction into the space direction is divided into the encoding target image in the space direction.
  • the divided low frequency band sub-bands are replaced with sub-bands divided in the time direction, and correction is performed so as to obtain a desired decoding result using decoding results or sub-bands of a frame serving as a pair at the time of decoding.
  • sub-band division is used as a transformation method for realizing hierarchical coding in the present embodiment
  • the present invention is applicable to any hierarchical coding method.
  • signals corresponding to low frequency bands are associated with the upper layer.
  • the upper layer signal of the prediction error signal obtained after the interframe prediction processing is divided into the upper layer signal after the input image signal is divided into upper layers. Replace the signal with the prediction error obtained by performing inter-frame prediction processing.
  • the upper layer of the hierarchical frame signals is corrected to the upper layer signal of the hierarchical division of the prediction error signal obtained by performing inter-frame prediction processing on the input image signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　階層符号化された動画像符号化方法であって、各階層の信号に時間方向フィルタリングを行った後に階層分割した信号のうち下位階層に属する時間フィルタリング下位階層信号と、前記下位階層信号の上位階層にあたる信号に時間方向フィルタリングを行って得られる上位階層時間フィルタリング信号とを符号化する。これにより、すべての階層での復号信号が単一階層で符号化した場合の復号画像と同等の画質とすることができる。

Description

明 細 書
動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号 装置およびコンピュータプログラム
技術分野
[oooi] 本発明は、動画像の符号化/復号方法、動画像の符号化 Z復号装置とそれらの コンピュータプログラムに関する。
背景技術
[0002] サブバンド符号化は画像信号を周波数分割してそれぞれの周波帯域の信号 (サブ バンド信号）について符号化処理を行う方法である。サブバンド符号化は、離散コサ イン変換などのブロックベース直交変換と異なり原理上ブロック歪みが発生しない上 、低域成分を再帰的に分割することで容易に階層符号化を実現できるという特徴が ある。静止画像では、国際標準の符号化方法である JPEG2000にウェーブレット変換 を用いたサブバンド符号化が採用されている。
[0003] 動画像符号化にサブバンド符号化を適用する場合、信号の空間方向の相関だけ でなく時間方向の相関も考慮する必要がある。サブバンド動画符号ィ匕には主に、原 画像に対して空間領域で動き補償を行って時間方向の相関を取り除いた後に各フレ ームにサブバンド符号ィヒを行う方法と、原画像をサブバンド分割した後、サブバンド 領域毎に動き補償を行って時間方向の相関を取り除く方法の二種類がある。
[0004] 図 25は空間領域で動き補償を行う従来の符号化処理 (非特許文献 1 :J.-R.
Ohm, Three-dimensional subband coding with motion compensation , IEEE frans, Image Processing, vol. 3, pp. 559-571, Sept. 1999)の流れを示すフローチヤ一卜で ある。図 25を用い、連続するフレームの集合 A(0)[i] (0≤i< n, nは 2のべき乗)におけ る符号化処理について説明する。まず、 j=l， ί=0,2· · ·η-2として（ステップ 201, 202)、 連続する 2枚のフレーム A(0)[i]と A(0)[i+1]とを時間方向にサブバンド分割し、低周波 帯域の A(l)[i]と高周波帯域の E[i+1]を得る（ステップ 203,204,205)。次に、 j=lとし (ス テツプ 206)、連続する低周波帯域の信号 A(1)[Kく 1]と A(l)[(i+l)«l]とを時間方向にサ ブバンド分割し、低周波帯域の A(2)[K<1]と高周波帯域の E[(i+1)くく 1]を得る (ステップ 203,204,205)。この処理を、第 1フレーム以外のフレームが高周波帯域の信号として 符号化されるまで、すなわち (l《j)が nになるまで繰り返す (ステップ 207)。この後、 A(j)[0], E[i] (0く j< n)をそれぞれ空間方向にサブバンド分割し符号ィ匕する (ステップ 208)。ここで、二枚のフレーム間での時間方向サブバンド分割において、高周波帯域 の信号とは動き補償予測の誤差信号に相当し、低周波帯域の信号とは動き補償した 二フレームの平均信号となる。
[0005] 復号処理時には、この処理の流れを逆にたどる形で、フレーム毎にサブバンド信号 を空間方向に合成した後にフレームの参照関係に従って時間方向にサブバンド合 成を行う。フレーム単位でのサブバンド信号合成において、高周波数成分のサブバ ンドを用いず合成を途中で停止することで、縮小画像信号が得られる。三次元ゥエー ブレット符号化において、部分的にサブバンド合成して得られた各フレームの信号を 時間方向にサブバンド合成することで、縮小解像度上での復号画像を得ることが出 来る。しかし、時間方向のサブバンド分割時の動き補償が小数画素単位で行われて レ、る場合予測画像生成に内挿処理が用いられる力 この内挿処理はサブバンド分割 と可換ではない。すなわち、時間方向にサブバンド分割した後に空間方向にサブバ ンド分割した信号と空間方向にサブバンド分割した後に時間方向にサブバンド分割 した信号とは一致しないため、縮小解像度上での復号画像は原信号を縮小した信号 と比較して大きく劣化する。
[0006] 図 26はサブバンド領域で動き補償を行う従来の符号化処理（非特許文献 2 : H.
Gnaravi, buboandし oaing Algorithm for Video Applications: Videophone to HDTV Conferencing", IEEt lYans., CAS for Video Technology, Vol. 1, No. 2, pp.
174-182, June 1991)の流れを示すフローチャートである。図 26を用レ、、連続するフ レームの集合 A[k] (0≤k< n)における符号化処理について説明する。まず、各フレー ムをサブバンド分割する (ステップ 301)。その後、フレーム A[i](l≤i< n)とその参照フレ ーム A [ト 1]についてサブバンド毎に動き補償予測を行う (ステップ 302，303，304，305)。 得られたフレーム A[i](l≤i< n)の予測誤差信号と、フレーム A[0]について量子化、可 逆符号化を行う (ステップ 306)。復号処理時にはこの処理を逆にたどり、可逆符号化 および量子化の逆変換を行ってフレーム A[i](l≤i< n)の予測誤差信号とフレーム A[0]のサブバンド係数を得た後、サブバンド毎に動き補償を行ってフレーム A[i](l≤i く n)のサブバンド係数を得る。その後各フレームをサブバンド合成することで復号画 像を得る。このサブバンド合成処理で高周波数成分のサブバンドを用いないことで、 縮小した復号画像信号が得られる。空間領域で動き補償を行う従来第 1の符号化処 理とは異なり、縮小解像度上での復号画像と原信号を縮小した信号との間に量子化 と変換誤差以外の大きな劣化は見られない。しかし、主にエッジ成分からなる高周波 帯域での動き補償は、空間領域での動き補償に比べて予測効率が大きく低下する。 すなわち、サブバンド領域で動き補償を行う従来第 2の符号化方法は、従来第 1の符 号化方法に比べて符号化効率が悪レ、とレ、う問題がある。
[0007] 特午文献 1： J.-R. Ohm, hree-dimensional subband coding with motion
compensation， IEEE Trans, Image Processing, vol. 3, pp. 559 - 571， Sept. 1999 非特午文献 2 : H. Gharavi, "Subband Coding Algorithm for Video Applications: Videophone to HDTV Conferencing , IEEE Trans. , CAS for Video Technology, Vol. 1， No. 2， pp. 174-182, June 1991
非特許文献 3 : A. Seeker et. ai, Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting ,ΙΕΕΕ Trans. Int. Conf. Image Proc, p 1029-1032, October, 2001
非特午文献 4 : Lio et. al.,"Motion Compensated Lifting Wavelet And Its Application in Video Coding", IEEE Int. Conf. Multimedia & Expo 2001, Aug., 2001
非特許文献 5 : J. M. Shapiro, "Embedded image coding using zerotrees of wavelets coefficients， IEEE Trans, ignal Processing, vol. 41, p. 3445-3462, Dec. 1993 発明の開示
発明が解決しょうとする課題
[0008] 前記従来 2つのサブバンド動画像符号化方法のうち、空間領域で動き補償を行う 方法では、サブバンド信号の低周波数帯域のみで復号して得られる復号画像が単 一階層で符号化した場合の復号画像に比べて画質が大きく低下する。一方、サブバ ンド領域で動き補償を行う方法では、原画像と同じ解像度を持つ復号画像が、単一 階層で符号化した場合の復号画像に比べて画質が大きく低下する。 [0009] 本発明の目的は、サブバンド分割により階層化されている符号化データにおいて、 すべての階層での復号信号が単一階層で符号化した場合の復号画像と同等の画質 を持つサブバンド動画像符号化方法および復号方法を提供することにある。
課題を解決するための手段
[0010] 本発明による動画像符号化方法は、ある解像度階層の動画像信号に時間階層分 割処理を行い時間階層化信号を得るステップと、時間階層化信号に対して空間階層 分割における高域生成処理を施し時間階層化空間高域信号を得るステップと、当該 動画像信号に対して空間階層分割における低域信号生成処理を施し縮小画像信号 を得るステップと、縮小画像信号に対して時間階層化を行い縮小時間階層化信号を 得るステップとからなる時間空間分割フィルタリングを備えることを特徴とする。
[0011] また、本発明による動画像符号化方法は、ある解像度階層の動画像信号にフレー ム間予測処理を行って予測誤差信号を得るステップと、前記予測誤差信号に対して 空間階層分割における高域生成処理を施し予測誤差空間高域信号を得るステップ と、当該動画像信号に対して空間階層分割における低域信号生成処理を施し縮小 画像信号を得るステップと、縮小画像信号にフレーム間予測処理を行い、予測誤差 信号である縮小フレーム間予測誤差信号を得るステップとからなる時間空間分割フィ ルタリングを備えることを特徴とする。
[0012] また、本発明による動画像符号化方法は、入力となる動画像信号に動き補償予測 処理を行うとともに空間方向にサブバンド分割する三次元サブバンド分割処理を繰り 返し行う動画像符号化方法であって、前記三次元サブバンド分割処理が、入力画像 信号に対してフレーム間の動きを検出する動き検出ステップと、前記入力画像信号 および前記入力画像信号を空間サブバンド分割して得られる空間低域サブバンドの うちの一つのバンド信号であるイントラバンド信号について、前記動き検出ステップで 得られた動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償 予測ステップと、前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サ ブバンドと空間高域予測誤差サブバンドを生成する予測誤差信号空間分割ステップ と、前記イントラバンド信号を空間サブバンド分割し、空間低域イントラサブバンドと空 間高域イントラサブバンドを生成するバンド信号空間分割ステップとからなり、前記動 画像信号について動き補償予測ステップと予測誤差信号空間分割ステップとバンド 信号空間分割ステップとを行い、バンド信号空間分割ステップの後に得られた空間 低域イントラサブバンドをイントラバンド信号として動き補償予測ステップと予測誤差 信号空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特 徴とする。
[0013] また、本発明による動画像符号化方法は、入力画像信号を時間方向にサブバンド 分割するとともに空間方向にサブバンド分割する三次元サブバンド分割処理を繰り 返し行う動画像符号化方法であって、前記三次元サブバンド分割処理が、入力とな る動画像信号に対してフレーム間の動きを検出する動き検出ステップと、前記動画像 信号および該動画像信号を空間サブバンド分割して得られる空間低域サブバンドの うちの一つのバンド信号をイントラバンド信号として、前記動き検出ステップで得られ た動き情報に従って動き補償をした後に時間サブバンド分割することで時間低域サ ブバンドと時間高域サブバンドを得る時間サブバンド分割ステップと、時間高域サブ バンド信号を空間サブバンド分割し時間高域空間低域サブバンドと時間高域空間高 域サブバンドを生成する時間高域サブバンド空間分割ステップと、時間低域サブバ ンドを空間サブバンド分割し、時間低域空間低域サブバンドと時間低域空間高域サ ブバンドを生成する時間低域サブバンド空間分割ステップと、前記イントラバンド信号 を空間サブバンド分割し、空間低域イントラサブバンドと空間高域イントラサブバンド を生成するバンド信号空間分割ステップとからなり、前記動画像信号について時間 サブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバン ド空間分割ステップとバンド信号空間分割ステップとを行い、バンド信号空間分割ス テツプの後に得られた空間低域イントラサブバンドをイントラバンド信号として時間サ ブバンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド 空間分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴と する。
[0014] また、本発明による動画像復号方法は、ある解像度階層の時間低域信号および時 間高域信号と、これらに隣接する時間低域空間高域信号と時間高域空間高域信号 とを参照し、一段高解像度の動画像信号を再構成する時間空間合成フィルタリング を備える動画像復号方法であり、この時間空間合成フィルタリングが時間高域信号と 時間低域信号と時間低域空間高域信号とを参照して時間高域空間低域信号を合成 するステップと、時間高域空間低域信号と時間高域空間高域信号に対して空間階層 合成処理を行うステップと、時間低域信号と時間低域域空間高域信号に対して空間 階層合成処理を行うステップと、これら 2つの空間階層合成結果に対して時間階層合 成処理を行うステップとからなることを特徴とする。
[0015] また、本発明による動画像復号方法は、ある解像度階層のイントラバンド信号およ び予誤差信号と、これらに隣接するイントラ空間高域信号と予測誤差空間高域信号 とを参照し、一段高解像度の動画像信号を再構成する時間空間合成フィルタリング を備える動画像復号方法であり、この時間空間合成フィルタリングが予測誤差信号と イントラバンド信号とイントラ空間高域信号とを参照して予測誤差空間低域信号を合 成するステップと、予測誤差空間低域信号と予測誤差空間高域信号に対して空間階 層合成処理を行うステップと、イントラバンド信号と時間高域空間高域信号に対して 空間階層合成処理を行うステップと、これら 2つの空間階層合成結果に対してフレー ム間予測復号処理を行うステップとからなることを特徴とする。
[0016] また、本発明による動画像復号方法は、動画像符号化データを入力とし、サブバン ド信号をフレーム毎に空間方向にサブバンド合成した後、前記合成されたイントラバ ンド信号と予測誤差信号に動き補償処理を行う三次元サブバンド合成処理によって 、復号画像信号を生成する動画像復号方法であって、前記三次元サブバンド合成 処理が、ある解像度階層の予測誤差信号に加えて、当該予測誤差信号と同一周波 数帯域にあるイントラバンド信号と該イントラバンド信号に隣接する空間高域サブバン ドである空間高域イントラサブバンドの少なくとも一方を参照して空間低域予測誤差 サブバンドを合成する空間低域予測誤差サブバンド合成ステップと、空間低域予測 誤差サブバンドと該空間低域予測誤差サブバンドに隣接する空間高域サブバンドで ある空間高域予測誤差サブバンドとを合成し合成予測誤差信号を生成する予測誤 差信号合成ステップと、前記イントラサブバンドと前記空間高域イントラサブバンドとを 合成するイントラバンド信号空間合成ステップと、前記イントラバンド信号に動き補償 予測処理を行い合成予測誤差信号を加えることで前記復号画像信号を得る動き補 償復号ステップとからなり、予測誤差信号合成ステップによって得られる合成予測誤 差信号を新たに予測誤差信号、前記イントラバンド信号空間合成ステップによって得 られるバンド信号を新たにイントラバンド信号とみなし、空間低域予測誤差サブバンド 合成ステップと予測誤差信号合成ステップとイントラバンド信号空間合成ステップとを 再帰的に繰り返すことを特徴とする。
[0017] また、本発明による動画像復号方法は、符号化された動画像符号化データを入力 とし、サブバンド信号をフレーム毎に空間方向にサブバンド合成した後、時間低域サ ブバンドと時間高域サブバンドに対して時間方向サブバンド合成を行う三次元サブ バンド合成処理によって、復号画像信号を生成する動画像復号方法であって、前記 三次元サブバンド合成処理が、ある解像度階層の時間高域サブバンドに加えて、当 該時間高域サブバンドと同一周波数帯域にある時間低域サブバンドと該時間低域サ ブバンドに隣接する高周波帯域のサブバンドである時間低域空間高域サブバンドの 少なくとも一方を参照し、時間高域空間低域サブバンドを合成する時間高域空間低 域サブバンド合成ステップと、時間高域空間低域サブバンドと当該時間高域空間低 域サブバンドに隣接する高周波帯域のサブバンドである時間高域空間高域サブバン ドとを合成して合成時間高域サブバンドを生成する時間高域サブバンド合成ステップ と、時間低域サブバンドと時間低域空間高域サブバンドとを合成し、合成時間低域サ ブバンドを生成する時間低域サブバンド空間合成ステップと、合成時間低域サブバ ンドと合成時間高域サブバンドに対して動き補償を伴う時間方向合成ステップとから なり、時間高域サブバンド合成ステップによって得られる合成時間高域サブバンドを 新たに時間高域サブバンド、時間低域サブバンド合成ステップによって得られる合成 時間低域サブバンドを新たに時間低域サブバンドとみなし、時間高域サブバンド合 成ステップと時間低域サブバンド空間合成ステップとを再帰的に繰り返すことで復号 画像信号と同解像度の時間低域サブバンドおよび時間高域サブバンドを生成するこ とを特徴とする。
[0018] 本発明の特徴である動画像符号ィ匕における時間空間分割フィルタリングの概要を
、図 1を用いて説明する。
[0019] 時間空間分割フィルタリングにおいて、ある解像度階層の動画像信号 10を時間階 層化して時間低域信号 11と時間高域信号 12とに分割する。
[0020] 次に時間低域信号 11と時間高域信号 12に対して空間階層化における高域生成処 理を施し、時間低域空間高域信号 13および時間高域空間高域信号 14を生成する。
[0021] また、動画像信号 10に対して空間階層化における低域生成処理を施し、縮小画像 信号 15を生成する。
[0022] 縮小画像信号 15に対し時間階層化を行い、時間低域信号 16および時間高域信号 17を得る。
[0023] 時間低域空間高域信号 13、時間高域空間高域信号 14、時間低域信号 16、時間高 域信号 17を動画像信号 10に対する分割結果として出力する。縮小画像信号 15を動 画像信号 10、時間低域信号 16を時間低域信号 11、時間高域信号 17を時間高域信 号 12とみなして、時間空間分割フィルタリングを再帰的に行うことで多段階に動画像 信号を階層化する。
[0024] 本発明の特徴である動画像復号ィヒにおける時間空間合成フィルタリングの概要を
、図 2を用いて説明する。
[0025] 時間空間合成フィルタリングにおいて、合成対象となる信号は、時間低域信号 16、 時間高域信号 17、時間低域空間高域信号 13、時間高域空間高域信号 14である。
[0026] まず、時間低域信号 16と時間高域信号 17に対して時間階層合成処理を行い、縮小 画像信号 15を再構成する。
[0027] また、時間低域信号 16と時間低域空間高域信号に対して空間階層合成処理を行 レ、、時間低域信号 11を再構成する。
[0028] 次に縮小画像信号 15と時間低域信号 11とから時間高域空間低域信号 18を再構成 する。
[0029] 時間高域空間低域信号 18と時間高域空間高域信号 14に対して空間階層合成処 理を行い、時間高域信号 12を再構成する。時間低域信号 11と時間高域信号 12に対 して時間階層合成処理を行い、動画像信号 10を再構成する。
[0030] 動画像信号 10を縮小画像信号 15とみなし、時間合成フィルタリングを再帰的に行う ことで、多段階の階層合成を得る。
[0031] 図 2において示した時間空間合成フィルタリングでは、時間高域空間低域信号 18を 再構成するために、縮小画像信号 15を再構成する必要がある。本発明の特徴として 更に、図 1における時間階層化および図 2における時間階層合成処理を、空間階層 を考慮して行うことにより、時間空間合成フィルタリングをより簡略化して行うことがで きる。図 3を用い、簡略化された時間空間合成フィルタリングの概要を説明する。
[0032] まず、時間低域信号 16と時間高域空間高域信号 14とから時間低域空間低域信号 19を再構成する。また、時間高域信号 17と時間低域空間高域信号 14とから時間高域 空間低域信号 18を再構成する。
[0033] 時間低域空間低域信号 19と時間低域空間高域信号 13に対して空間階層合成処 理を行い、時間低域信号 11を再構成する。また、時間高域空間低域信号 18と時間低 域空間高域信号 14に対して空間階層合成処理を行い、時間高域信号 12を再構成す る。時間低域信号 11と時間高域信号 12に対し時間階層合成処理を行い、動画像信 号 10を再構成する。
[0034] 時間低域信号 11を時間低域信号 16、時間高域信号 12を時間高域信号 17とみなし て時間空間合成フィルタリングを再帰的に行うことで多段階の階層合成を行う。 発明の効果
[0035] 本発明による動画像符号化方法および復号方法によれば、空間領域での動き補 償処理と時間サブバンド分割の後に、低周波数帯域成分が再帰的にサブバンド領 域での動き補償処理の結果に置き換えられる。これにより、縮小解像度上での復号 画像は従来のサブバンド領域ベースの符号ィヒ処理方法と同等の画質を有する。また 、低周波数帯域成分の置き換えによって発生する画質低下は微小であり、元解像度 での復号画像は従来の空間領域ベースの符号化処理方法と同等の画質を有する。 すなわち、本発明による動画像符号化方法および復号方法は、サブバンド分割によ り階層化されている符号化データにおいて、すべての階層での復号信号が単一階 層で符号化した場合の復号画像と同等の画質を実現する。
図面の簡単な説明
[0036] [図 1]図 1は、本発明の特徴である動画像符号化における時間空間分割フィルタリン グの概要を説明する概念図である。
[図 2]図 2は、本発明の特徴である動画像複号化における時間空間合成フィルタリン グの概要を説明する概念図である。
[図 3]図 3は、本発明の特徴である簡略化された時間空間合成フィルタリングの概要 を説明する概念図である。
[図 4]図 4は、本発明の実施例による動画像符号化装置および動画像復号装置の構 成を示す概略図である。
[図 5]図 5は、本発明の特徴である動画像符号化における時間空間分割フィルタリン グを実現する時間空間分割フィルタリング部の構成を示すブロック図である。
[図 6]図 6は、時間空間分割フィルタリングの処理の流れを示すフローチャートである
[図 7]図 7は、本発明の実施例による動画像符号化方法の処理の流れを示すフロー チャートである。
[図 8]図 8は、図 7における 2枚のフレームの時間空間サブバンド分割処理の流れを 示すフローチャートである。
[図 9]図 9は、低周波帯域での動き補償を説明する概念図である。
[図 10]図 10は、本発明の実施例による動画像符号化装置の構成を示すブロック図 である。
[図 11]図 11は、時間空間分割フィルタリング部の構成を示すブロック図である。
[図 12]図 12は、テクスチャ信号符号化部の構成を示すブロック図である。
[図 13]図 13は、本発明の特徴である動画像復号方法における時間空間合成フィノレ タリングを実現する時間空間分割フィルタリング部の構成を示すブロック図である。
[図 14]図 14は、時間空間合成フィルタリングの処理の流れを示すフローチャートであ る。
[図 15]図 15は、時間空間合成フィルタリングの特徴である時間高域空間低域信号を 再構成する処理を説明する概念図である。
[図 16]図 16は、本発明の実施例による時間空間合成フィルタリングを実現する時間 空間分割フィルタリング部の構成を示す図である。
[図 17]図 17は、時間空間合成フィルタリングの処理の流れを示すフローチャートであ る。 [図 18]図 18は、本発明の実施例による動画像復号方法の処理の流れを示すフロー チャートである。
[図 19]図 19は、図 18における 2枚のフレームの時間空間サブバンド合成処理の流れ を示すフローチャートである。
[図 20]図 20は、本発明の実施例による動画像復号ィヒ装置の構成を示すブロック図 である。
[図 21]図 21は、テクスチャ信号復号部の構成を示すブロック図である。
[図 22]図 22は、時間空間合成フィルタリング部の構成を示すブロック図である。
[図 23]図 23は、時間低域信号生成部の構成を示すブロック図である。
[図 24]図 24は、時間高域信号生成部の構成を示すブロック図である。
[図 25]図 25は、空間領域で動き補償を行う従来第一の符号化方法の処理の流れを 示すフローチャートである。
[図 26]図 26は、サブバンド領域で動き補償を行う従来第一の符号化方法の処理の 流れを示すフローチャートである。
発明を実施するための最良の形態
[0037] 本発明の実施例による動画像符号化方法、動画像復号方法、およびそれを実現し た動画像符号化装置、動画像復号装置について図面を用いて詳細に説明する。
[0038] 本発明の実施例による第 1の動画像符号化装置および動画像復号装置は、図 4に 示されるように、プロセッサ、記憶部、 IZ〇インターフェースを備えており、それらはバ スを介して互いに接続されている。ここで、記憶部は、プロセッサが実行すべき動画 像符号化プログラムと動画像復号プログラムのいずれか一方もしくは両方を格納して いると共に、プロセッサが動画像符号ィ匕プログラムもしくは動画像復号プログラムを実 行中の一時記憶としての役割も果たす。なお、この「記憶部」という語は、本明細書に おいて、 RAMなどの主記憶のほか、 CPUに含まれるキャッシュメモリやプロセッサに 含まれるレジスタ、更にはハードディスク装置など、あらゆる記憶装置を示すものとし て用いられる。また、本実施例において、 I/Oインターフェースは、プロセッサの制御 に応じて動画像符号ィヒプログラムの入力となる原画像や出力となる符号ィヒデータ、 動画像復号プログラムの入力となる符号化データや出力となる復号画像を伝送する 媒介手段である。但し、この I/Oインターフェースの存在は、他のプログラムにより求 められた原画像ないし符号化データを一旦記憶部に格納し、それを記憶部から読み 出すことで本実施例による動画像符号化方法もしくは動画像復号方法を実行するこ とを妨げるものではない。
[0039] 以下、本実施例による動画像符号化方法および動画像復号方法について説明す る。
本発明の実施例である第 1の動画像符号化装置および動画像復号装置の動作は 、それぞれプロセッサが記憶部に格納された動画像符号化プログラムおよび動画像 復号プログラムを実行する。また本発明の実施例である第 2の動画像符号化装置お よび動画像復号装置は、動画像符号化方法および動画像復号方法における動作ス テツプを実現する動作主体によって構成され、その入出力関係も動画像符号化方法 および動画像復号方法によって参照および生成される信号に対応付けられる。以下 では説明を明瞭にするため動作主体については逐一言及せずその動作のみに着目 して説明することとする。
[0040] 本発明の特徴である動画像符号化における時間空間分割フィルタリングを実現す る時間空間分割フィルタリング部の構成を、図 5を用いて説明する。
[0041] 図 5において時間空間分割フィルタリング部は、空間低域信号生成部 51、空間高 域信号生成部 53、 54、時間方向フィルタリング部 52からなる。なお、図 1における動画 像信号 10および縮小画像信号 15は、図 5における動画像信号 10および縮小画像信 号 15に対応する。また、図 1における時間低域信号 11および 16は図 5における時間 低域信号 21に、図 1における時間低域信号 12および 17は図 5における時間低域信号 22に対応する。図 1における時間低域空間高域信号 13および時間高域空間高域信 号 14は、図 5におけるに時間低域空間高域信号 23および時間高域空間高域信号 24 に対応する。
[0042] 図 5に示す時間空間分割フィルタリングの処理を図 6のフローチャートを用いて説明 する。
[0043] 動画像信号 10は時間方向フィルタリング 52によって時間階層化され、時間低域信 号 21および時間高域信号 22が生成される (ステップ 80)。時間低域信号 21は空間高 域信号生成部 53によって、時間高域信号 22は空間高域信号生成部 54によって、そ れぞれ空間階層化による高域信号生成処理を施され、時間低域空間高域信号 23お よび時間高域空間高域信号 24が生成される (ステップ 81)。時間低域空間高域信号 23および時間高域空間高域信号 24は、分割結果信号 25および 26として出力される。 その後、動画像信号 10に対して空間低域信号生成部によって空間階層化による低 域信号生成処理が行われ、縮小画像信号 15が生成される (ステップ 82)。時間方向フ ィルタリング部 52は、縮小画像信号 15に対して時間階層化を行い、時間低域信号 21 および時間高域信号 22を生成する (ステップ 83)。時間低域信号 21および時間高域 信号 22は、それぞれ分割結果信号 25および 26として出力される。
[0044] 以下に、時間空間分割フィルタリングを有する動画像符号ィヒ方法について図 7およ び図 8を用いて説明する。
[0045] 図 7は、本発明の実施例となる符号化処理の流れを示すフローチャートである。図 7 を用い、連続する画像フレームの集合 A(0)[i] (0≤i< n, nは 2のべき乗)を原画像入力 とする符号化方法について説明する。
[0046] まず、 j=0, i=0， 2,…… n-2として（ステップ 101， 102)、連続する 2枚のフレーム A(0)[i] と A(0)[i+1]とを時間方向と空間方向の双方についてサブバンド分割する。 （ステップ 103)。
[0047] 図 8は、図 7のステップ 103における 2枚のフレームの時間空間方向サブバンド分割 の処理の流れを示すフローチャートである。以下では、フレーム B0をフレーム COに対 して過去方向にあるフレームだとして、一般的なフレーム B0および COの時間空間方 向サブバンド分割処理について図 8を用いて説明する。最初に、フレーム COに対す るフレーム B0の動きを推定する (ステップ 111)。ここで動きとは、フレームを構成する固 定サイズあるいは可変サイズのブロック毎の平行移動、もしくはフレームを構成する 小領域毎へのァフィン変換などの幾何変換、もしくはフレーム全体に対するァフィン 変換などの幾何変換を表す。
[0048] 次にステップ 111で得た動き情報を元に BO, COを時間方向にサブバンド分割し、低 周波帯域サブバンド A0*、高周波帯域サブバンド E0*を得る (ステップ 112)。時間方向 のサブバンド分割方法の一つとして、参考文献 [非特許文献 3 : A. Seeker et. al, "Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting", IEEE Trans. Int. Conf. Image Proc , pp
1029-1032, October, 2001]にある方法を説明する。フレーム内座標 [p,q]にあるフレ ーム B0の画素値を B0[p，q]、動き推定 (ステップ 111)の結果に基づいてフレーム B0を 動き補償した後のフレーム内座標 [P,q]の画素値を WB0(B0)[p，q]，フレーム C0を動き 補償した後のフレーム内座標 [p，q]の画素値を WC0(C0)[p,q]とすると、
E0*[p,q] = 1/2 ( C0[p,q] - WB0(B0)[p,q] ) (1)
A0*[p,q] = B0[p,q] + WC0(E0*)[p,q] (2)
となる。他の時間方向サブバンド分割方法として、時間方向のフィルタ長として 2より 長いフィルタを用いる場合、入力となる複数のフレーム B0iに対して低周波帯域およ び高周波帯域への分解フィルタをそれぞれ fl[i] (0≤i < nl)、 fh[i] (0≤i < nh)とすると AO*および E0*は、
A0*[p,q] = ∑0≤i< nl fl[i] -WB0i(B0i)[p,q] ) (1)'
E0*[p,q] = ∑0≤j< nh f [i] .WB0j(B0j)[p,q] ) (2)，
となる。また 1次のフィルタの重ね合わせで高次のサブバンド分割を実現するリフティ ング法にぉレ、て各フィルタの処理時に動き補償を行う参考文献 2 [非特許文献 4： L. Lio et. al. , "Motion (compensated Lifting Wavelet And Its Apphcationm Video Coding", IEEE Int. Conf. Multimedia & Expo 2001， Aug. , 2001]の方法を用いる場 合、入力となる複数フレームにおいて偶数フレームを B0i、奇数フレームを C0iとすると 、前記 1次フィルタを乗じた後の BO'i ' CO'iは定数 α， によって
C0'i[p,q] = C0i[p,q] + a ( WB0i(B0i + WB0i+l(B0i+l) )[p,q] ) (1)"
B0'i[p,q] = B0i[p,q] + β ( WC0i(C0，i + WCOi-l(CO'i-l) )[p,q] ) (2)"
となる。二つのフィルタ処理を交互に繰り返すことでリフティング法を用いた時間方向 サブバンド分割が行われる。その他に、低周波数成分の A0*を生成せず通常の動き 補償予測と同等の処理を行うものがある。
A0*、 E0*が得られた後、これらを 1回空間サブバンド分割する (ステップ 113)。サブ バンド分割として 1次元のフィルタバンクを用いた二分割の周波数分割を行う場合、 水平 ·垂直方向ともに低周波帯域に分割されたサブバンド、水平方向に低周波帯域 •垂直方向に高周波帯域に分割されたサブバンド、水平方向に高周波帯域'垂直方 向に低周波帯域に分割されたサブバンド、水平 ·垂直方向ともに高周波帯域に分割 されたサブバンド、の 4つのサブバンドが生成される。それぞれのサブバンド変換を LL(), LH(), HL()， HH()と定義する。また 3つのサブ/ ンド LH(C0)， HL(CO), HH(CO) の集合を H(C0)と定義する。これにより LL(A0*)、 H(A0*)、 LL(E0*)、 H(E0*)が得られる
[0050] その後に、フレーム B0，C0について 1層分の空間サブバンド分割を行い (ステップ
115)、 LL(B0)、 H(B0)、 LL(C0)、 H(C0)を得る。 LL(B0)，LL(C0)を B1，C1と定義し、
B1，C1をステップ 111で得た動き情報に基づいて時間方向にサブバンド分割し、低周 波帯域サブバンド Al*、高周波帯域サブバンド El*を得る (ステップ 116)。ただし、 A1* は LL(A0*)と等しくなぐ E1*は LL(E0*)と等しくない。
[0051] 空間方向の低周波帯域における動き補償処理には、第 2の従来技術のようにサブ バンド毎に異なる動き情報に基づレ、て行う方法と、元解像度で得た動き情報を低周 波帯域に適用する方法がある。本発明の特徴である時間空間分割フィルタリングに おいて、これら 2つの実現方法は動き補償処理以外では、同じ構成をとる。前者は異 なる空間解像度上でも一般的な動き補償を用いるのに対し、後者は異なる空間解像 度で特定の動き補償を用いることで、時間空間方向の信号合成を簡略化する。時間 空間分割フィルタリングと対となる時間合成フィルタリングにおいて、前者は図 2に、 後者は図 3に対応する。
[0052] 以下、本実施例では、後者にあたる元解像度で得た動き情報に基づいて動き補償 処理を決定する方法について述べる。本実施例における空間方向の低周波帯域サ ブバンドにおける動き補償処理について図 9を用いて説明する。サブバンド分割の定 義より、 - 1(B1) + LH-KLH(BO)) + HL-1(HL(B0)) + HH_1(HH(B0)) = B0となる合 成フィルタ LL-1， LH-1, HL-1, HH-1が存在する。これらのフィルタと数式 (1)の WB0と を掛け合わせたフィルタ WBLL0, WBLH0, WBHL0, WBHH0は、
WBLLO(Bl) + WBLH0(LH(B0)) + WBHL0(HL(B0)) + WBHH0(HH(B0)) = WB0(B0) (3)
を満たす。 LUWBLLO(Bl))を WB1(B1)、 LL(WBLH0(LH(B0)) + WBHL0(HL(B0)) + WBHH0(HH(B0)))を WBH0(H(B0》と定義すると、
WBl(Bl) + WBH0(H(B0)) = LL(WB0(B0)) (4)
を満たす。このとき El*[p,q]を、
El*[p,q] = 1/2 ( Cl[p,q] - WBl(Bl)[p,q] ) (5)
と定義すると、
El*[p,q] - 1/2 WBH0(H(B0))[p,q] = LL(E0*)[p,q] (6)
を満たす。任意の kに対して、式 (1)から式 (6)と同様に、 Ak*、 Ek*を式 (7)から式 (12)に 従って定義する。
Ek*[p,q] = 1/2 * ( Ck[p,q] - WBk(Bk)[p,q] ) (7)
Ak*[p,q] = Bk[p,q] + WC0(Ek*)[p,q] (8)
WBk+l(Bk+l) + WBHk+l(H(Bk)) = LL(WBk(Bk)) (9)
WCk+l(Ek+l*) + WCHk+l(H(Ek*)) = LL(WCk(Ek*)) (10)
Ek+l*[p,q] - 1/2 WBHk(H(Bk))[p,q] = LL(Ek*)[p,q] (11)
Ak+l*[p,q] + WCHk(H(Ek*))[p,q] = LL(Ak*))[p,q] (12)
元解像度で得た動き情報を空間方向の低周波帯域サブバンドに適用する他の手 段としては、解像度に従って動き情報を縮小する方法がある。 Al*、 El*が得られた 後、空間方向へのサブバンド分割回数が 1であれば (ステップ 117)、 LL(A0*)の代わり に Al*、 H(A0*)の代わりに H(B0)、 LL(E0*)の代わりに El*をを分割結果とし、処理を 終了する。そうでない場合、 Al*、 El*を 1回空間サブバンド分割し、 L(A1*)、 H(A1*)、 L(E1*)、 H(E1*)を得る (ステップ 118)。その後、 Bl, C1を 1回サブバンド分割し (ステツ プ 115)、得られる B2, C2について時間方向にサブバンド分割する (ステップ 116)。以 上の処理を分割数が mになるまで行って (ステップ 117)、得られた L(Am*)、 H(Bk)、 L(Em*)、 H(Ek*) (0≤k<m)を分割結果として (ステップ 119)処理を終了する。
以上でステップ 103の説明を終える。図 7に戻って本発明の符号化処理の説明を続 ける。
ステップ 103の後、時間方向の低周波帯域サブバンドである A(0)*[0]を空間方向に のみサブバンド合成し、 A(1)[0]を生成する (ステップ 105)。これは、 A(1)[0]を一つ上の 時間方向階層においてあらためてステップ 103で時空間方向へのサブバンド分割す るためである。
[0054] ステップ 103および 105の処理を A(0)[n-2]と A(0)[n-1]について行った後 (ステップ
106, 107)、 jに 1加算し (ステップ 108)、 ί=0,2，· · ·η/2- 2として A(1)[Kく 1]と A(l)[(i+l)«l]の 時空間方向へのサブバンド分割および (ステップ 103)、 A(1)*[Kく 1]の空間方向へのサ ブバンド合成 (ステップ 105)を行う。以上の処理ループを jが log2(n)_lと等しくなるまで 行う。ステップ 103を終えた時点で現在の時間方向の分割数である jが log2(n)-lと等し い場合 (ステップ 104)、すべての信号が時間空間方向へのサブバンド分割が終了した ことになる。符号化処理は得られた信号 A(j)*[0]， E*[i] (0< i< n)について、量子化お よび可逆符号化を行う (ステップ 109)。ここで量子化として、線形量子化、非線形量子 ィ匕、ベクトル量子化のほか、国際標準の静止画像符号ィ匕である JPEG2000にも用いら れているビットプレーン量子化が用いられる。また可逆符号化として、参考文献 3 [非 特許义默 5 : M. Shapiro, Embedded image coding using zerotrees oiwavelets coefficients， IEEE Trans, ignal Processing, vol. 41, p. 3445-3462, Dec. 1993]に あるゼロツリー符号化、算術符号化、ランレングス符号ィ匕が用いられる。以上で、 A(0)[k] (0≤k< n)の符号化処理は終了する。
[0055] なお本実施例では、ある階層で時空間方向ともにサブバンド分割を行った後、次の 階層で符号化されるフレームを一旦空間方向にサブバンド合成する、という処理の流 れをとっている。しかし、一旦空間方向にサブバンド信号の高周波数成分を動き補償 により随時補正していくなどの処理を行うことで、この二つの処理は統合可能である。 本発明の特徴の一部は、空間方向の周波帯域に応じて動き補償を適宜補正してい く点にあり、空間方向サブバンド分割処理の順序は本発明の新規性を損なうもので はない。
[0056] 本実施例を実現する動画像符号化装置について図 10から図 12を用いて説明する 。図 10は動画像符号ィ匕装置の構成を示すブロック図である。
[0057] 入力画像信号 2000は、時間空間分割フィルタリング部 200によって時間空間方向に 周波数分割され、時間低域分割信号 2001および時間高域分割信号 2002が生成され る。時間低域分割信号 2001および時間高域分割信号 2002はそれぞれテクスチャ信 号符号化部 201によって符号化され、符号化データ 2003が生成される。 [0058] 図 11は時間空間分割フィルタリング部の構成を示すブロック図である。はじめに入 力画像信号 2000は、メモリ 218に格納される。入力画像信号 2000に対して時間方向 フィルタリング部 211は時間階層化を行い、時間低域信号 2012および時間高域信号 2013を生成する。空間サブバンド分割部 212は、時間低域信号 2012に対して高域信 号生成処理を施し、時間低域空間高域信号 2014を生成する。また、空間サブバンド 分割部 213は、時間低域信号 2013に対して高域信号生成処理を施し、時間低域空 間高域信号 2015を生成する。時間高域空間高域信号 2015は時間高域分割信号 2002として出力され、時間低域空間高域信号 2014はメモリ 219に格納される。
[0059] メモリ 218に格納された入力画像信号は空間サブバンド分割部 210によって低域信 号生成処理を施され、縮小画像信号 2010が生成される。縮小画像信号 2010に対し て時間方向フィルタリング部 211は時間階層化を行レ、、時間低域信号 2012および時 間高域信号 2013を生成する。空間サブバンド分割部 212,213はそれぞれ時間低域信 号 2012、時間高域信号 2013に対して高域信号生成処理を施し、それぞれ時間低域 空間高域信号 2014、時間高域空間高域信号 2015を生成する。時間高域空間高域 信号 2013は時間高域分割信号 2002として出力され、時間低域空間高域信号 2014は メモリ 219に格納される。空間階層分割数を mとすると、 m-1回同じ処理を行った後、 m 回目の分割時に切替器 214および 215は時間低域信号 2012および時間高域信号 2013をそれぞれ時間低域分割信号 2001および時間高域分割信号 2002とみなす。そ の後、メモリ 219に格納された時間低域分割信号は、空間合成フィルタリング部 217に よって合成され時間低域信号 2017を生成する。時間空間分割フィルタリング部は、時 間低域信号 2017を入力とみなし上述の時間空間分割フィルタリングを再帰的に行う。 時間方向の分割数を ηθとすると、 nO-1回同じ処理を行った後、 ηθ回目の分割後時に 切替器 216は時間低域分割信号 216をメモリ 219に格納することなく出力する。
[0060] 図 12は、テクスチャ信号符号化部の構成を示すブロック図である。時間低域分割 信号 2001と時間高域分割信号 2002を統合して分割結果信号 2021と呼ぶ。分割結果 信号 2021は量子化部 221によって量子化され、量子化係数信号 2022として出力され る。量子化係数信号 2022はエントロピー符号化部 222によってエントロピー符号ィ匕さ れ符号化データ 2003として出力される。なお量子化部 221は省略されることがある。ま た、量子化部 221の前に周波数変換処理が加わることもある。
[0061] なお、図 7におけるステップ 105は、図 1における空間合成フィルタリング部 217の処 理に対応し、図 7におけるステップ 103は、図 1に示す時間空間分割フィルタリング部 のうち空間合成フィルタリング部 217を除いた処理に対応する。図 7におけるステップ 104および 107は図 1における切替器 216の処理に、図 7におけるステップ 109は図 26 におけるテクスチャ信号符号ィ匕部 201の処理に対応する。
[0062] また、図 8におけるステップ 111, 112,116は図 1における時間方向フィルタリング 211 の処理に対応し、図 8におけるステップ 115は図 1における空間サブバンド分割部 210 に対応し、図 8におけるステップ 113および 118は図 1における空間サブバンド分割部 212および 213の処理に対応する。図 8におけるステップ 117は、図 1における切替器 214および 215の処理に対応する。
[0063] 次に本発明の符号化方法における復号処理について説明する。
[0064] 本発明の特徴である動画像復号方法における時間空間合成フィルタリングを実現 する時間空間分割フィルタリング部の構成を、図 13を用いて説明する。
[0065] 図 13において時間空間合成フィルタリング部は、空間合成フィルタリング部 55、時 間方向逆フィルタリング部 56、時間高域空間低域信号再構成部 57、空間合成フィル タリング部 58、時間方向逆フィルタリング部 59からなる。なお、図 2における動画像信 号 10、時間低域信号 11、時間高域信号 12、時間低域空間高域信号 13、時間高域空 間高域信号 14、縮小画像信号 15、時間低域信号 16、時間高域信号 17、時間高域空 間低域信号 18は、それぞれ図 13における動画像信号 10、時間低域信号 11、時間高 域信号 12、時間低域空間高域信号 13、時間高域空間高域信号 14、縮小画像信号 15、時間低域信号 16、時間高域信号 17、時間高域空間低域信号 18に対応する。
[0066] 図 13に示す時間空間合成フィルタリングの処理を図 14のフローチャートを用いて 説明する。
[0067] まず、空間合成フィルタリング部 55は、時間低域信号 16と時間低域空間高域信号 13に対して空間階層合成処理を行い、時間低域信号 11を生成する (ステップ 84)。ま た時間方向逆フィルタリング部 56は、時間低域信号 16と時間高域信号 17に対して時 間階層合成処理を行い、縮小画像信号 15を再構成する (ステップ 85)。時間高域空 間低域信号再構成部 57は、時間低域信号 11と縮小画像信号 15を参照して時間高域 空間低域信号 18を再構成する (ステップ 86)。空間合成フィルタリング部 58は、時間 高域空間低域信号 18と時間高域空間高域信号 14に対して空間階層合成処理を行 レ、 (ステップ 87)、時間高域信号 12を再構成する。時間方向逆フィルタリング部 59は、 時間低域信号 11と時間高域信号 12に対して時間階層合成処理を行い、動画像信号 10を再構成する（ステップ 88)。
[0068] 時間空間合成フィルタリングの特徴となるのは、時間高域空間低域信号を再構成 する処理である。図 15は、当該処理を説明する概念図である。図 15において信号を 表す記号は図 9における記号に準ずる。 BO, B1はそれぞれ図 14における時間低域 信号 11および 16を、 E0*， El*はそれぞれ時間高域信号 12および 17を、 H(E0*)は時 間高域空間高域信号 14を表す。また、 COは E0*に対応する動画像信号 10を、 C1は E1*に対応する縮小画像信号 15を表す。 WB0および WB1はそれぞれ B0，B1に対する 動き補償作用素である。符号化時に、 Β0に対して動き補償処理を行って得られる予 測画像信号 Ρ0と、 COとに対して、時間方向フィルタリングを行うことで時間高域信号 E0*が得られているとする。すなわち、時間方向フィルタリングの作用素を fとすると、 E0* = f (P0,C0) (13)
また、図 14におけるステップ 90により B0が、ステップ 91により C1が再構成されている とする。（13)式より、
LL(E0*) = f (LL(P0),C1) (14)
とすることで時間高域空間低域信号 LL(E0*)が得られる。
[0069] 本発明の実施例となる動画像復号方法における時間空間合成フィルタリングは、図
2に示す時間空間合成フィルタリングにおいて空間階層ごとに動き補償処理を規定し て簡略化した図 3に示す方法である。本発明の実施例となる時間空間合成フィルタリ ングを実現する時間空間分割フィルタリング部の構成を、図 16を用いて説明する。
[0070] 図 16におレ、て時間空間合成フィルタリング部は、時間低域空間低域信号再構成 部 60、時間高域空間低域信号再構成部 61、空間合成フィルタリング部 62、空間合成 フィルタリング部 63、時間方向逆フィルタリング 54からなる。なお、図 3における動画像 信号 10、時間低域信号 11、時間高域信号 12、時間低域空間高域信号 13、時間高域 空間高域信号 14、縮小画像信号 15、時間低域信号 16、時間高域信号 17、時間高域 空間低域信号 18、時間低域空間低域信号 19は、それぞれ図 16における動画像信 号 10、時間低域信号 11、時間高域信号 12、時間低域空間高域信号 13、時間高域空 間高域信号 14、縮小画像信号 15、時間低域信号 16、時間高域信号 17、時間高域空 間低域信号 18、時間低域空間低域信号 19に対応する。
[0071] 図 16に示す時間空間合成フィルタリングの処理を図 17のフローチャートを用いて 説明する。
[0072] まず、時間低域空間低域信号再構成部 60は時間低域信号 16と時間高域空間高域 信号 14を参照して時間低域空間低域信号 19を再構成する (ステップ 89)。また、時間 高域空間低域信号再構成部 61は、時間高域信号 17と時間低域空間高域信号を参 照して時間高域空間高域信号 18を再構成する (ステップ 90)。空間合成フィルタリン グ部 62は、時間低域空間低域信号 19と時間低域空間高域信号 13とを空間階層合成 して時間低域信号 11を再構成し (ステップ 91)、空間合成フィルタリング部 63は、時間 低域空間低域信号 18と時間低域空間高域信号 14とを空間階層合成して時間低域信 号 12を再構成する (ステップ 92)。時間方向逆フィルタリング部 64は、時間低域信号 11と時間高域信号 12に対して時間階層合成処理を行い、動画像信号 10を再構成す る（ステップ 93)。
[0073] 以下に、時間空間合成フィルタリングを有する動画像復号ィ匕方法について図 18か ら図 19を用いて説明する。
[0074] 本実施例において復号画像は、原画像に対して時間空間方向ともに 2のべき乗分 の 1の任意の解像度を持つ。すなわち符号化処理における空間方向サブバンド分割 数力 ½iであれば、水平および垂直方向の解像度が原画像の 1/2, 1/4，…… l/2mの復 号画像が再構成可能である。また、時間方向サブバンド分割数 n0 = log2(n)に対し、 原画像の 1/2, 1/4,…… 1/2η0のフレームレートを持つ復号画像が再構成可能である 。図 18は、本発明の実施例となる復号処理の流れを示すフローチャートである。図 1 8を用レ、、原画像 A(0)[i] (0≤i< n， nは 2のべき乗)に対し、水平および垂直方向の解 像度が l/2k0 (0≤k0≤m)、フレームレートが l/2j0 (0≤j0≤n0)である復号画像
A(j0)k0[i]を再構成する処理について説明する。 [0075] まず、符号化データについて可逆符号化の逆変換および逆量子化を行う (ステップ 152)。この処理の後得られる信号を、図 7で用いた記号に従って A(n0)*[0]， E*[i](0 < i く n)と定義する。次に jOが ηθと等しいか否かを判定する (ステップ 153)。 jOが ηθと等しい 場合には、時間方向へのサブバンド合成を行う必要がなぐ A(j)*[0]を空間方向へ k0 層分だけサブバンド合成する。 A(j0)k0[0]が再構成された時点で (ステップ 154)復号 処理は終了する。一方、 jOが ηθと等しくない場合には、 A(j)*[0], E*[n/2]を時間方向と 空間方向の双方についてサブバンド合成する (ステップ 155, 156)。
[0076] 図 19は、ステップ 156における、 2枚のフレームデータを時空間方向サブバンド合成 する処理の流れを示すフローチャートである。復号時のサブバンド合成数を k0とする 。 k0がゼロなら原画像と同じ解像度での復号画像であり、 k0が正なら 2の k0乗だけ縮 小した解像度の復号画像が得られる。サブバンド合成処理の対象となる 2枚のフレー ムのデータは、空間方向に m回サブバンド分割された階層構造をとつている。図 8の ステップ 116とステップ 118とに従えば、時間方向のサブバンド分割で低周波帯域に 属するサブバンド信号のうち空間方向のサブバンド分割で最低周波帯域に属するサ ブバンド信号は Am*に、第 k層目のサブバンド分割後の高周波帯域サブバンドは H(Bk) (0≤k< m)に対応する。時間方向のサブバンド分割で高周波帯域に属するサ ブバンド信号の空間方向に分割後の信号についても同様に、 Em*および H(Ek*)， (0 ≤k< m)に対応づけることができる。 Am*、 H(Bk)、 Em*、（Ek*)，（0≤k< m)を参照して 原画像 B0，C0を 2の kO乗だけ縮小した解像度の復号画像 Bk0,Ck0を再構成する処理 について図 19を用いて説明する。
[0077] もし kOが mと等しい場合 (ステップ 171, 172)、 Am*と Em*を時間方向にサブバンド合成 すれば Bm,Cmが得られる (ステップ 177)。式 (7)および (8)に示した時間方向のサブバ ンド分割を行った場合、サブバンド合成は
Bm[p,q] = Am*[p,q] + WCm(Em*)[p,q] (15)
Cm[p,q] = 2 * Em*[p,q] + WBm(Bm)[p,q] (16)
と行われる。ここで WBmおよび WCmは、 Bmから Cmへの動き補償を表すフィルタおよ び Cmから Bmへの動き補償を表すフィルタであり、符号ィ匕処理時と同じものである。
[0078] もし kOが mと等しくない場合 (ステップ 172)、 1回分のサブバンド合成を行うために LL(Am-l*)と LL(Em_l*)、 H(Am_l*)を得る必要がある。そのために、 k=mとして (ステツ プ 171)Ek*，H(Ek-l*)を参照して Ak*を LL(Ak-l*)に、 Ak*,H(Bk_l)を参照して Ek*を LL(Ek-l*)に補正し (ステップ 173)、 LL(Ek-l*),H(Ek_l*)を参照して H(Bk_l)を
H(Am- 1*))に補正する (ステップ 174)。これらの補正処理は、図 8のステップ 114におけ る時間サブバンド分割および図 19のステップ 167における時間サブバンド合成にお ける動き補償処理力 一意に決まる。式 (7)から式 (10)に従って時間方向のサブバン ド分割を行った場合には式 (11)および式 (12)に従って、 H(Ek-l*)を参照して Ak*を L(Ak-l*)に、 H(Bk-l)を参照して Ek*を L(Ek-l*)に補正する。また、式 (8)より Ek_l*を 参照して H(Bk-l)を H(Am_l*)に補正する。
[0079] この後、 L(Ak_l*)と H(Ak-l*)をサブバンド合成、 L(Ek_l*)と H(Ek_l*)をサブバンド 合成して、 Ak-1*， Ek_l*を得る (ステップ 175)。ステップ 173から 175の処理を繰り返し 行い階層 k0に相当するサブバンド Ak0*， EkO*を得たところで (ステップ 176， 172)、時 間方向のサブバンド合成を行い BkO, CkOを得る (ステップ 177)。以上で図 18のステツ プ 156における時空間方向のサブバンド合成の説明を終える。
[0080] なお本実施例では、サブバンドの補正 (ステップ 173, 174)と空間方向のサブバンド合 成 (ステップ 175)を独立したステップとして説明したが、サブバンド補正時の動き補償 フィルタとサブバンド合成フィルタとを掛け合わせたフィルタを用いることで、これらの ステップを統合することも可能である。
[0081] 図 18に戻って復号処理の説明を続ける。 A(j)*[0]， E*[n/2]をサブバンド合成した後 、解像度が原画像の l/2k0の画像 A(j)(k0)[0]と A(j)(k0)[n/2]が得られる。 j0が nO-1と等 しい場合には (ステップ 157)、ここで復号処理を終える。そうでない場合、これらを k0回 空間方向にサブバンド分割し、 A(j-l)*(k0)[0]と A(j-l)*(k0)[n/2]を得る。ここで分割す るのは、次の時間方向サブバンド合成においてお互いの空間方向低周波帯域サブ バンドの補正に高周波帯域サブバンドが必要だからである。 jを 1減少させた (ステップ 162)次の階層での時空間サブバンド合成は、 A(j)*[0]と E*[n/4]、および A(j)*[n/2]と E*[3n/4]に対して行われる (ステップ 156， 159， 160)。以上のようにしてサブバンド合成 を繰り返し、 jが j0と等しくなつた時点で復号処理を終える (ステップ 161)。
[0082] 本実施例を実現する動画像復号化装置について図 20から図 24を用いて説明する 。図 20は動画像復号ィ匕装置の構成を示すブロック図である。
[0083] 図 20において動画像復号化装置は、テクスチャ信号復号部 301、切替器 302、時間 空間合成フィルタリング部 303、空間合成フィルタリング部 304、切替器 305からなる。 符号化データ 3000はテクスチャ信号復号部 301によって分割結果信号 3001となる。 切替器 305分割結果信号 3001を空間合成フィルタリング部 304によって空間階層合 成処理を行った結果を復号画像として出力する、もしくは、切替器 302によって時間 低域分割信号 3002もしくは時間高域分割信号 3003として時間空間合成フィルタリン グ部 303によって時間空間合成フィルタリングを施した結果を復号画像 3004として出 力する。
[0084] 図 21は、テクスチャ信号復号部の構成を示すブロック図である。符号化データ 3000 はエントロピー復号部 306によって復号され量子化係数信号 3006として出力される。 逆量子化部 307は量子化係数信号 3007を逆量子化し分割結果信号 3001を再構成す る。なお、符号化時の処理に対応して逆量子化部 307は省略されることがある。また 逆量子化部 307の後に周波数逆変換処理が加わることがある。
[0085] 図 22は、時間空間合成フィルタリング部の構成を示すブロック図である。時間低域 分割信号 3002は時間低域信号 3010および時間低域空間高域信号 3011を多重化し た信号であり、時間高域分割信号 3003は時間高域信号 3012および時間高域空間高 域信号 3013を多重化した信号である。
[0086] サブバンド逆多重化部 310は、時間低域分割信号 3002を逆多重化し、時間低域信 号 3010および時間低域空間高域信号 3011を時間低域信号生成部 312に随時出力 する。サブバンド逆多重化部 311は、時間高域分割信号 3003を逆多重化し、時間高 域信号 3012および時間高域空間高域信号 3013を時間高域信号生成部 313に随時 出力する。
[0087] 図 23は、時間低域信号生成部の構成を示すブロック図である。時間低域空間低域 信号再構成部 320は、時間高域信号生成部の出力する補助信号 3015と時間低域信 号 3010とを参照して時間低域空間低域信号 3030を再構成する。空間合成フィルタリ ング部 321は、時間低域空間信号 3030と時間低域空間高域信号 3011に対して空間 階層合成処理を行い、時間低域信号 3031を生成する。切替器 322は時間低域信号 3031をそのまま出力する力、時間高域空間低域信号再構成部 320への入力として再 帰的に時間低域信号生成処理を行う。また、時間低域空間高域信号 3011を時間高 域信号生成部 313への補助信号 3014として出力する。
[0088] 図 24は、時間高域信号生成部の構成を示すブロック図である。時間高域空間低域 信号再構成部 323は、時間高域信号生成部の出力する補助信号 3014と時間高域信 号 3012とを参照して時間高域空間低域信号 3032を再構成する。空間合成フィルタリ ング部 324は、時間高域空間信号 3032と時間高域空間高域信号 3013に対して空間 階層合成処理を行い、時間高域信号 3033を生成する。切替器 325は時間高域信号 3033をそのまま出力するか、時間高域空間低域信号再構成部 323への入力として再 帰的に時間高域信号生成処理を行う。また、時間低域空間高域信号 3013を時間高 域信号生成部 312への補助信号 3015として出力する。
[0089] 以上で、時間低域信号生成部 312および時間高域信号生成部 313についての説明 を終える。図 22において時間空間合成フィルタリングの処理について引き続き説明 を行う。切替器 314は時間低域信号 3010もしくは、時間低域信号生成部 312の出力し た時間低域信号 3016を時間方向逆フィルタリング 316に出力する。切替器 315は時間 高域信号 3012もしくは、時間高域信号生成部 313の出力した時間高域信号 3017を時 間方向逆フィルタリング 316に出力する。
[0090] 時間サブバンド合成部 316は、切替器 314および 315の出力する時間低域信号 3018 および時間高域信号 3019に対して時間階層合成処理を行い、動画像信号 3020を再 構成する。切替器 317は、動画像信号 3020に対して更に時間方向の合成が必要な 場合には、空間分割フィルタリング部 318に動画像信号 3020を出力する。また、予め 定めた回数だけ空間方向の合成を終えていれば動画像信号 3004として出力する。 入力された動画像信号より低域分割信号 3002を生成し再帰的に時間空間合成フィ ルタリングを行うために、空間分割フィルタリング部 318は入力された動画像信号に対 して空間階層分割処理を行い、分割結果信号 3021をサブバンド逆多重化部 310に出 力する。
[0091] 以上、本発明の実施例となる動画像復号装置についての説明を終える。なお、図 2 0においてテクスチャ信号復号部 301における処理は、図 18におけるステップ 152に 対応する。図 20における時間空間合成フィルタリング部 303における処理は図 18に おけるステップ 156およびステップ 158に対応する。図 20における切替器 302および 305における判定処理は、それぞれ図 18におけるステップ 153および 161に対応する 。空間合成フィルタリング部 304はステップ 154に対応する。
[0092] また、本発明の特徴である時間空間合成フィルタイリングについて、図 23における 時間低域空間低域信号再構成部 320および図 24における時間高域空間低域信号 再構成部 323の処理は、図 19におけるステップ 173に対応する。図 23における空間 合成フィルタリング部 321および図 24における空間合成フィルタリング部 324の処理は 、図 19におけるステップ 175に対応する。図 23における切替器 322および図 24にお ける切替器 325の判定処理は、図 19におけるステップ 172に対応する。図 22における 時間サブバンド合成部 316における処理は図 19におけるステップ 177に対応する。図 22における切替器 317の判定処理は図 18のステップ 160に、空間分割フィルタリング 部 318における処理はステップ 158に対応する。
[0093] 本実施例となる時間空間合成フィルタリングの特徴として、時間低域信号と時間高 域空間高域信号を参照して時間低域空間低域信号を再構成し、時間高域信号と時 間低域空間高域信号を参照して時間高域空間低域信号を再構成する点があげられ る。時間空間合成フィルタリングの他の実施例として、時間低域信号と時間高域信号 とのみを参照して、時間低域空間低域信号と時間高域空間低域信号を同時に再構 成する方法がある。この場合、上位階層における動き補償処理は、元解像度で得た 動き情報を解像度に従って縮小した動き情報に基づいて行われる。
[0094] 本実施例では、時間方向サブバンド分割におけるフレームの参照関係が階層構造 をとっている場合について説明したが、本発明は参照関係が任意の構造を持つ場合 についても適用可能である。また、ひとつの時間方向サブバンド分割において、過去 にあるフレームが低周波帯域サブバンドに変換する場合に限定して実施例の説明を 行ったが、本発明は、未来にあるフレームが低周波帯域サブバンドに変換する場合 、あるいは 2枚のフレームを双方向予測する形で時間方向の分割を行う場合にも適 用可能である。いずれの場合も、時間方向に分割した後のそれぞれのサブバンドを 空間方向に分割した際の低周波帯域サブバンドを符号化対象画像を空間方向に分 割した低周波帯域サブバンドを時間方向に分割したサブバンドに置き換え、復号時 に対となるフレームの復号結果もしくはサブバンドを用いて望みの復号結果を得られ るように補正される。
また、本実施例では階層符号化を実現する変換方式としてサブバンド分割を用い たが、本発明は任意の階層符号化方式に適用可能である。サブバンド分割では、低 周波帯域に相当する信号が上位階層に対応づけられる。本発明に基づく実施例で ある符号化方式では、フレーム間予測処理の後に得られる予測誤差信号を階層分 割したうちの上位階層信号を、入力画像信号に対して階層分割を行った後上位階層 信号についてフレーム間予測処理をして得られる予測誤差に置き換える。復号方式 では、階層化されたフレーム信号のうち上位階層を、入力画像信号に対してフレーム 間予測処理を行って得られる予測誤差信号を階層分割したうちの上位階層信号に 補正する。

Claims

請求の範囲
[1] 動画像信号に時間階層分割処理を行い、時間階層化信号を得るステップと、 前記時間階層化信号に対して空間階層分割における髙域生成処理を行い、時間 階層化空間高域信号を得るステップと、
前記動画像信号に対して空間階層分割における低域生成処理を行い、縮小画像 信号を得るステップと、
前記縮小画像信号に対して時間階層化を行い、縮小時間階層化信号を得るステツ プと、
を少なくとも含むことを特徴とする動画像符号化方法。
[2] 前記時間階層化空間高域信号と前記縮小時間階層化信号を符号化することを特 徴とする請求項 1記載の動画像階層符号化方法。
[3] 動画像信号にフレーム間予測処理を行い、予測誤差信号を得るステップと、
前記予測誤差信号に対して空間階層分割における高域生成処理を行い、予測誤 差空間高域信号を得るステップと、
前記動画像信号に対して空間階層分割における低域信号生成処理を行い、縮小 画像信号を得るステップと、
前記縮小画像信号に対してフレーム間予測処理を行レ、、予測誤差信号である縮小 フレーム間予測誤差信号を得るステップと、
を少なくとも含むことを特徴とする動画像符号化方法。
[4] 前記予測誤差空間髙域信号と前記縮小フレーム間予測誤差信号を符号化するこ とを特徴とする請求項 3記載の動画像階層符号化方法。
[5] 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三 次元サブバンド分割処理を行う動画像符号化方法であって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号に対して前記動き情報に従って動き補償予測処理を行い予測誤 差信号を得る動き補償予測ステップと、 前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と 空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、 前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間 高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
を少なくとも含むことを特徴とする動画像符号化方法。
[6] 前記動画像信号について、前記動き補償予測ステップと前記予測誤差信号空間 分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割 ステップの後に得られた空間低域イントラサブバンド信号を動画像信号に代えて動き 補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップと を再帰的に繰り返すことを特徴とする請求項 5記載の動画像符号化方法。
[7] 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三 次元サブバンド分割処理を行う動画像符号化方法であって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対 して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償 予測ステップと、
前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と 空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、 前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバン ド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、 を少なくとも含むことを特徴とする動画像符号化方法。
[8] 前記動画像信号にっレ、て、前記動き補償予測ステップと前記予測誤差信号空間 分割ステップと前記バンド信号空間分割ステップとを行い、前記バンド信号空間分割 ステップの後に得られた空間低域イントラサブバンド信号を空間低域サブバンド信号 に代えて動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間 分割ステップとを再帰的に繰り返すことを特徴とする請求項 7記載の動画像符号化方 法。
[9] 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割 する三次元サブバンド分割処理を行う動画像符号化方法であって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号に対して前記動き情報に従って動き補償をした後に時間サブバン ド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サ ブバンド分割ステップと、
前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバン ド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割 ステップと、
前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低城サブバ ンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分 割ステップと、
前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間 高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
を少なくとも含むことを特徴とする動画像符号化方法。
[10] 前記動画像信号について、前記時間サブバンド分割ステップと前記時間高域サブ ノくンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信 号空間分割ステップとを行レ、、前記バンド信号空間分割ステップの後に得られた空 間低域イントラサブバンド信号を前記動画像信号に代えて時間サブバンド分割ステツ プと時間髙域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップと バンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項 9記載の 動画像符号化方法。
[11] 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割 する三次元サブバンド分割処理を行う動画像符号化方法であって、
前記三次元サブバンド分割処理が、 前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対 して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間 低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割ステップと 前記時間高域サブバンド信号を空間サブバンド分割し時間髙域空間低域サブバン ド信号と時間髙域空間髙域サブバンド信号を生成する時間髙域サブバンド空間分割 ステップと、
前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバ ンド信号と時間低域空間髙域サブバンド信号を生成する時間低域サブバンド空間分 割ステップと、
前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバン ド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、 を少なくとも含むことを特徴とする動画像符号化方法。
[12] 前記動画像信号にっレ、て、前記時間サブバンド分割ステップと前記時間高域サブ バンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信 号空間分割ステップとを行レ、、前記バンド信号空間分割ステップの後に得られた空 間低域イントラサブバンド信号を前記空間低域サブバンド信号に代えて時間サブバ ンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間 分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする 請求項 11記載の動画像符号化方法。
[13] 時間髙域信号と時間低域信号と時間低域空間高域信号とを参照して時間高域空 間低域信号を生成するステップと、
前記時間低域信号と前記時間低域空間髙域信号とを参照して第 2の時問低域信 号を生成するステップと、
前記時間高域空間低域信号と時間高域空間高域信号を用いて第 2の時間高域信 号を生成するステップと、 前記第 2の時間低域信号と前記第 2の時間高域信号に対して合成処理を行うステ ップと、
を含むことを特徴とする動画像復号方法。
[14] 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号 とを参照して空間低域予測誤差サブバンド信号を生成する第 1のステップと、 前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2のステップと、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行いイントラバンド信号を得る第 3のステップと、 前記イントラバンド信号と前記第 2の予測誤差信号に対して合成処理を行う第 4の ステップと、
を含むことを特徴とする動画像復号方法。
[15] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前 記第 3のステップとを再帰的に繰り返すことを特徴とする請求項 14記載の動画像復 号方法。
[16] 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号 とを参照して空間低域予測誤差サブバンド信号を生成する第 1のステップと、 前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2のステップと、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行レ、イントラバンド信号を得る第 3のステップと、 前記イントラバンド信号に動き補償予測処理を行い前記第 2の予測誤差信号をカロ える第 4のステップと、
を含むことを特徴とする動画像復号方法。
[17] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前 記第 3のステップとを再帰的に繰り返すことを特徴とする請求項 16記載の動画像復 号方法。
[18] 空間低域イントラサブバンド信号、または、空間高域イントラサブバンド信号の少な くとも 1つまたはその組み合わせと、予測誤差信号とを参照して空間低域予測誤差サ ブバンド信号を生成する第 1のステップと、
前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2のステップと、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行レ、イントラバンド信号を得る第 3のステップと、 前記イントラバンド信号と前記第 2の予測誤差信号に対して合成処理を行う第 4の ステップと、
を含むことを特徴とする動画像復号方法。
[19] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前 記第 3のステップとを再帰的に繰り返すことを特徴とする請求項 18記載の動画像復 号方法。
[20] 時間高域サブバンド信号と時間低域サブバンド信号と時間低域空間高域サブバン ド信号とを参照して時間高域空間低域サブバンド信号を生成する第 1のステップと、 前記時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号に対 して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 2のステ ップと、
前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空 間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 3のステップと 前記第 2の時間低域サブバンド信号と前記第 2の時間髙域サブバンド信号とを合成 する第 4のステップと、
を含むことを特徴とする動画像復号方法。
[21] 前記第 2の時間髙域サブバンド信号を前記時間髙域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前記第 3のステップとを再帰的に繰り返すことを特 徴とする請求項 20記載の動画像復号方法。
[22] 時間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも 1つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間 低域サブバンド信号を生成する第 1のステップと、
前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間髙域サブバンド信号を得る第 2 のステップと、
前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空 間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 3のステップと 前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 4のステップと、
を含むことを特徴とする動画像復号方法。
[23] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前記第 3のステップとを再帰的に繰り返すことを特 徴とする請求項 22記載の動画像復号方法。
[24] 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して 時間低域空間低域サブバンド信号を生成する第 1のステップと、
時間高域サブバンド信号と前記時間低域空間低域サブバンド信号と時間低域空間 高域サブバンド信号とを参照して時間髙域空間低域サブバンド信号を生成する第 2 のステップと、
前記時間高域空間低域サブバンド信号と前記時間高域空間髙域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 3 のステップと、
前記時間低域空間低域サブバンド信号と前記時間低域空間髙域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 4 のステップと、
前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 5のステップと、
を含むことを特徴とする動画像復号方法。
[25] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、 前記第 1のステップ、前記第 2のステップ、前記第 3のステップ、前記第 4のステップと を再帰的に繰り返すことを特徴とする請求項 24記載の動画像復号方法。
[26] 空間低域イントラサブバンド信号と時間髙域空間高域サブバンド信号とを参照して 時間低域空間低域サブバンド信号を生成する第 1のステップと、
前記時間低域空間低域サブバンド信号、または、時間低域空間高域サブバンド信 号の少なくとも 1つまたはその組み合わせと、時間髙域サブバンド信号とを参照して 時間高域空間低域サブバンド信号を生成する第 2のステップと、
前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 3 のステップと、
前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 4 のステップと、
前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 5のステップと、
を含むことを特徴とする動画像復号方法。
[27] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、 前記第 1のステップ、前記第 2のステップ、前記第 3のステップ、前記第 4のステップと を再帰的に繰り返すことを特徴とする請求項 26記載の動画像復号方法。
[28] 動画像信号に時間方向フィルタリングを行い時間フィルタリング信号を得るステップ と、 WO 2005歸 766 。。 PCT/JP2004/009825
36 前記時間フィルタリング信号に空間階層分割処理を行い、時間フィルタリング下位 階層信号と時間フィルタリング上位階層信号を得るステップと、
前記動画像信号に空間階層分割処理を行い上位階層動画像信号を得るステップ と、
前記上位階層動画像信号に時間方向フィルタリングを行って上位階層時間フィノレ タリング信号を得るステップと、
前記時間フィルタリング下位階層信号および前記上位階層時間フィルタリング信号 を符号化するステップと
を含むことを特徴とする動画像符号化方法。
[29] 前記時間フィルタリング上位階層信号を前記上位階層時間フィルタリング信号に置 き換えるステップを更に含むことを特徴とする請求項 28記載の動画像符号化方法。
[30] 時間フィルタリング下位階層信号および上位階層時間フィルタリング信号を復号 するステップと、
前記上位階層時間フィルタリング信号に時間方向フィルタリングを行って時間フィ ルタリング上位階層信号を得るステップと、
前記時間フィルタリング下位階層信号と前記時間フィルタリング上位階層信号に空 間階層合成処理を行い時間フィルタリング信号を得るステップと、
時間フィルタリング信号に対して時間方向フィルタリングを行い動画像信号を得るス テツプと、
を含むことを特徴とする動画像復号方法。
[31] 前記時間フィルタリング上位階層信号を、この時間フィルタリング上位階層信号のフ レームとは別のフレームの信号を参照して、復号解像度で時間方向フィルタリングを 行った後に階層分割したうちの上位階層に属する時間フィルタリング上位階層信号 に補正するステップを更に備えることを特徴とする請求項 30記載の動画像復号方法
[32] 動画像信号に時間階層分割処理を行い、時間階層化信号を得るステップと、
前記時間階層化信号に対して空間階層分割における高域生成処理を行い、時間 階層化空間髙域信号を得るステップと、 前記動画像信号に対して空間階層分割における低域生成処理を行い、縮小画像 信号を得るステップと、
前記縮小画像信号に対して時間階層化を行い、縮小時間階層化信号を得るステツ プと、
を少なくとも実行させることを特徴とする動画像符号ィ匕プログラム。
[33] 前記時間階層化空間高域信号と前記縮小時間階層化信号を符号化することを特 徴とする請求項 32記載の動画像階層符号ィ匕プログラム。
[34] 動画像信号にフレーム間予測処理を行い、予測誤差信号を得るステップと、
前記予測誤差信号に対して空間階層分割における高域生成処理を行い、予測誤 差空間高域信号を得るステップと、
前記動画像信号に対して空間階層分割における低域信号生成処理を行い、縮小 画像信号を得るステップと、
前記縮小画像信号に対してフレーム間予測処理を行！/、、予測誤差信号である縮小 フレーム間予測誤差信号を得るステップと、
を少なくとも実行させることを特徴とする動画像符号化プログラム。
[35] 前記予測誤差空間高域信号と前記縮小フレーム間予測誤差信号を符号化するこ とを特徴とする請求項 34記載の動画像階層符号化プログラム。
[36] 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三 次元サブバンド分割処理を行う動画像符号化プログラムであって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号に対して前記動き情報に従って動き補償予測処理を行い予測誤 差信号を得る動き補償予測ステップと、
前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と 空間髙域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、 前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間 高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、 を少なくとも実行させることを特徴とする動画像符号化プログラム。
[37] 前記動画像信号について、前記動き補償予測ステップと前記予測誤差信号空間 分割ステップと前記バンド信号空間分割ステップとを行レ、、前記バンド信号空間分割 ステップの後に得られた空間低域イントラサブバンド信号を動画像信号に代えて動き 補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間分割ステップと を再帰的に繰り返すことを特徴とする請求項 36記載の動画像符号化プログラム。
[38] 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三 次元サブバンド分割処理を行う動画像符号ィヒプログラムであって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対 して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償 予測ステップと、
前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と 空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割ステップと、 前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバン ド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、 を少なくとも実行させることを特徴とする動画像符号ィ匕プログラム。
[39] 前記動画像信号にっレ、て、前記動き補償予測ステップと前記予測誤差信号空間 分割ステップと前記バンド信号空間分割ステップとを行レ、、前記バンド信号空間分割 ステップの後に得られた空間低域イントラサブバンド信号を空間低域サブバンド信号 に代えて動き補償予測ステップと予測誤差信号空間分割ステップとバンド信号空間 分割ステップとを再帰的に繰り返すことを特徴とする請求項 38記載の動画像符号化 プログラム。
[40] 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割 する三次元サブバンド分割処理を行う動画像符号化プログラムであって、 前記三次元サブバンド分割処理が、 前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号に対して前記動き情報に従って動き補償をした後に時間サブバン ド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サ ブバンド分割ステップと、
前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバン ド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割 ステップと、
前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバ ンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分 割ステップと、
前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間 高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、
を少なくとも実行させることを特徴とする動画像符号ィ匕プログラム。
[41] 前記動画像信号にっレ、て、前記時間サブパンド分割ステップと前記時間高域サブ バンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信 号空間分割ステップとを行レ、、前記バンド信号空間分割ステップの後に得られた空 間低域イントラサブバンド信号を前記動画像信号に代えて時間サブバンド分割ステツ プと時間高域サブバンド空間分割ステップと時間低域サブバンド空間分割ステップと バンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする請求項 40記載 の動画像符号化プログラム。
[42] 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割 する三次元サブバンド分割処理を行う動画像符号化プログラムであって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出ス テツプと、
前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対 して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間 低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割ステップと 前記時間高域サブバンド信号を空間サブバンド分割し時間高域空間低域サブバン ド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割 ステップと、
前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバ ンド信号と時間低域空間高域サブバンド信号を生成する時間低域サブバンド空間分 割ステップと、
前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバン ド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割ステップと、 を少なくとも実行させることを特徴とする動画像符号ィヒプログラム。
[43] 前記動画像信号について、前記時間サブバンド分割ステップと前記時間高域サブ バンド空間分割ステップと前記時間低域サブバンド空間分割ステップと前記バンド信 号空間分割ステップとを行レ、、前記バンド信号空間分割ステップの後に得られた空 間低域イントラサブバンド信号を前記空間低域サブバンド信号に代えて時間サブバ ンド分割ステップと時間高域サブバンド空間分割ステップと時間低域サブバンド空間 分割ステップとバンド信号空間分割ステップとを再帰的に繰り返すことを特徴とする 請求項 42記載の動画像符号化プログラム。
[44] 時間高域信号と時間低域信号と時間低域空間高域信号とを参照して時間高域空 間低域信号を生成するステップと、
前記時間低域信号と前記時間低域空間高域信号とを参照して第 2の時間低域信 号を生成するステップと、
前記時間高域空間低域信号と時間高域空間高域信号を用いて第 2の時間高域信 号を生成するステップと、
前記第 2の時問低域信号と前記第 2の時間高域信号に対して合成処理を行うステ ップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[45] 予測誤差信号と空間低域イントラサブバンド信号と空間髙域イントラサブバンド信号 とを参照して空間低域予測誤差サブバンド信号を生成する第 1のステップと、 前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2のステップと、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行レ、イントラバンド信号を得る第 3のステップと、 前記イントラバンド信号と前記第 2の予測誤差信号に対して合成処理を行う第 4の ステップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[46] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前 記第 3のステップとを再帰的に繰り返すことを特徴とする請求項 45記載の動画像復 号プログラム。
[47] 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号 とを参照して空間低域予測誤差サブバンド信号を生成する第 1のステップと、 前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2のステップと、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行いイントラバンド信号を得る第 3のステップと、 前記イントラバンド信号に動き補償予測処理を行い前記第 2の予測誤差信号を加 える第 4のステップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[48] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前 記第 3のステップとを再帰的に繰り返すことを特徴とする請求項 47記載の動画像復 号プログラム。
[49] 空間低域イントラサブバンド信号、または、空間高域イントラサブバンド信号の少な くとも 1つまたはその組み合わせと、予測誤差信号とを参照して空間低域予測誤差サ ブバンド信号を生成する第 1のステップと、 前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2のステップと、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行レ、イントラバンド信号を得る第 3のステップと、 前記イントラバンド信号と前記第 2の予測誤差信号に対して合成処理を行う第 4の ステップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[50] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前 記第 3のステップとを再帰的に繰り返すことを特徴とする請求項 49記載の動画像復 号プログラム。
[51] 時間高域サブバンド信号と時間低域サブバンド信号と時間低域空間高域サブバン ド信号とを参照して時間高域空間低域サブバンド信号を生成する第 1のステップと、 前記時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号に対 して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 2のステ ップと、
前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空 間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 3のステップと 前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 4のステップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[52] 前記第 2の時間髙域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前記第 3のステップとを再帰的に繰り返すことを特 徴とする請求項 51記載の動画像復号プログラム。
[53] 時間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも 1つまたはその組み合わせと、時間髙域サブバンド信号とを参照して時間高域空間 低域サブバンド信号を生成する第 1のステップと、
前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 2 のステップと、
前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空 間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 3のステップと 前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 4のステップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[54] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第 1のステップ、前記第 2のステップ、前記第 3のステップとを再帰的に繰り返すことを特 徴とする請求項 53記載の動画像復号プログラム。
[55] 空間低域イントラサブバンド信号と時間高域空間髙域サブバンド信号とを参照して 時間低域空間低域サブバンド信号を生成する第 1のステップと、
時間高域サブバンド信号と前記時間低域空間低域サブバンド信号と時間低域空間 高域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第 2 のステップと、
前記時間高域空間低域サブバンド信号と前記時間高域空間髙域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 3 のステップと、
前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 4 のステップと、
前記第 2の時間低域サブバンド信号と前記第 2の時間髙域サブバンド信号とを合成 する第 5のステップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[56] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、 前記第 1のステップ、前記第 2のステップ、前記第 3のステップ、前記第 4のステップと を再帰的に繰り返すことを特徴とする請求項 55記載の動画像復号プログラム。
[57] 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して 時間低域空間低域サブバンド信号を生成する第 1のステップと、
前記時間低域空間低域サブバンド信号、または、時間低域空間高域サブバンド信 号の少なくとも 1つまたはその組み合わせと、時間高域サブバンド信号とを参照して 時間高域空間低域サブバンド信号を生成する第 2のステップと、
前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号 に対して空間サブパンド合成処理を行い第 2の時間高域サブバンド信号を得る第 3 のステップと、
前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 4 のステップと、
前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 5のステップと、
を少なくとも実行させることを特徴とする動画像復号プログラム。
[58] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、 前記第 1のステップ、前記第 2のステップ、前記第 3のステップ、前記第 4のステップと を再帰的に繰り返すことを特徴とする請求項 57記載の動画像復号プログラム。
[59] 動画像信号に時間方向フィルタリングを行レ、時間フィルタリング信号を得るステップ と、
前記時間フィルタリング信号に空間階層分割処理を行い、時間フィルタリング下位 階層信号と時間フィルタリング上位階層信号を得るステップと、
前記動画像信号に空間階層分割処理を行い上位階層動画像信号を得るステップ と、 前記上位階層動画像信号に時間方向フィルタリングを行って上位階層時間フィル タリング信号を得るステップと、
前記時間フィルタリング下位階層信号および前記上位階層時間フィルタリング信号 を符号ィヒするステップと
を含むことを特徴とする動画像符号化プログラム。
[60] 前記時間フィルタリング上位階層信号を前記上位階層時間フィルタリング信号に置 き換えるステップを更に含むことを特徴とする請求項 59記載の動画像符号化方法。
[61] 時間フィルタリング下位階層信号および上位階層時間フィルタリング信号を復号す るステップと、
前記上位階層時間フィルタリング信号に時間方向フィルタリングを行って時間フィ ノレタリング上位階層信号を得るステップと、
前記時間フィルタリング下位階層信号と前記時間フィルタリング上位階層信号に空 間階層合成処理を行 、時間フィルタリング信号を得るステップと、
時間フィルタリング信号に対して時間方向フィルタリングを行い動画像信号を得るス テツプと、
を含むことを特徴とする動画像復号方法。
[62] 前記時間フィルタリング上位階層信号を、この時間フィルタリング上位階層信号のフ レームとは別のフレームの信号を参照して、復号解像度で時間方向フィルタリングを 行った後に階層分割したうちの上位階層に属する時間フィルタリング上位階層信号 に補正するステップを更に備えることを特徴とする請求項 61記載の動画像復号方法
[63] 動画像信号に時間階層分割処理を行い、時間階層化信号を得る手段と、
前記時間階層化信号に対して空間階層分割における高域生成処理を行い、時間 階層化空間高域信号を得る手段と、
前記動画像信号に対して空間階層分割における低域生成処理を行い、縮小画像 信号を得る手段と、
前記縮小画像信号に対して時間階層化を行い、縮小時間階層化信号を得る手段 と、 を少なくとも含んで構成されることを特徴とする動画像符号化装置。
[64] 前記時間階層化空間高域信号と前記縮小時間階層化信号を符号化することを特 徴とする請求項 63記載の動画像階層符号化装置。
[65] 動画像信号にフレーム間予測処理を行い、予測誤差信号を得る手段と、
前記予測誤差信号に対して空間階層分割における高域生成処理を行い、予測誤 差空間髙域信号を得る手段と、
前記動画像信号に対して空間階層分割における低域信号生成処理を行い、縮小 画像信号を得る手段と、
前記縮小画像信号に対してフレーム聞予測処理を行い、予測誤差信号である縮小 フレーム間予測誤差信号を得る手段と、
を少なくとも含んで構成されることを特徴とする動画像符号化装置。
[66] 前記予測誤差空間髙域信号と前記縮小フレーム間予測誤差信号を符号化するこ とを特徴とする請求項 65記載の動画像階層符号化装置。
[67] 動画像信号に動き補償予測処理を行うとともに空間方向にサブバンド分割する三 次元サブバンド分割処理を行う動画像符号化装置であって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手 段と、
前記動画像信号に対して前記動き情報に従って動き補償予測処理を行い予測誤 差信号を得る動き補償予測手段と、
前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と 空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割手段と、 前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間 高域イントラサブバンド信号を生成するバンド信号空間分割手段と、
を少なくとも含んで構成されることを特徴とする動画像符号化装置。
[68] 前記動画像信号について、前記動き補償予測手段と前記予測誤差信号空間分割 手段と前記バンド信号空間分割手段とを行い、前記バンド信号空間分割手段の後に 得られた空間低域イントラサブバンド信号を動画像信号に代えて動き補償予測手段 と予測誤差信号空間分割手段とバンド信号空間分割手段における処理を再帰的に 繰り返すことを特徴とする請求項 67記載の動画像符号化装置。
[69] 動画像信号に動き捕償予測処理を行うとともに空間方向にサブバンド分割する三 次元サブバンド分割処理を行う動画像符号化装置であって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手 段と、
前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対 して前記動き情報に従って動き補償予測処理を行い予測誤差信号を得る動き補償 予測手段と、
前記予測誤差信号を空間サブバンド分割し、空間低域予測誤差サブバンド信号と 空間高域予測誤差サブバンド信号を生成する予測誤差信号空間分割手段と、 前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバン ド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割手段と、 を少なくとも含んで構成されることを特徴とする動画像符号化装置。
[70] 前記動画像信号について、前記動き補償予測手段と前記予測誤差信号空間分割 手段と前記バンド信号空間分割手段とを行い、前記バンド信号空間分割手段の後に 得られた空間低域イントラサブバンド信号を空間低域サブバンド信号に代えて動き補 償予測手段と予測誤差信号空間分割手段とバンド信号空間分割手段における処理 を再帰的に繰り返すことを特徴とする請求項 69記載の動画像符号化装置。
[71] 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割 する三次元サブバンド分割処理を行う動画像符号化装置であって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手 段と、
前記動画像信号に対して前記動き情報に従って動き補償をした後に時間サブバン ド分割することで時間低域サブバンド信号と時間高域サブバンド信号を得る時間サ ブバンド分割手段と、 前記時間高域サブバンド信号を空間サブパンド分割し時間高域空間低域サブバン ド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割 手段と、
前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバ ンド信号と時間低域空間髙域サブバンド信号を生成する時間低域サブバンド空間分 割手段と、
前記動画像信号を空間サブバンド分割し、空間低域イントラサブバンド信号と空間 高域イントラサブバンド信号を生成するバンド信号空間分割手段と、
を少なくとも含んで構成されることを特徴とする動画像符号化装置。
[72] 前記動画像信号について、前記時間サブバンド分割手段と前記時間髙域サブバ ンド空間分割手段と前記時間低域サブバンド空間分割手段と前記バンド信号空間 分割手段とを行い、前記パンド信号空間分割手段の後に得られた空間低域イントラ サブバンド信号を前記動面像信号に代えて時間サブバンド分割手段と時間高域サ ブバンド空間分割手段と時間低域サブバンド空間分割手段とバンド信号空間分割手 段における処理を再帰的に繰り返すことを特徴とする請求項 71記載の動画像符号 化装置。
[73] 動画像信号を時間方向にサブバンド分割するとともに空間方向にサブバンド分割 する三次元サブバンド分割処理を行う動画像符号化装置であって、
前記三次元サブバンド分割処理が、
前記動画像信号に対してフレーム間の動きを検出して動き情報を得る動き検出手 段と、
前記動画像信号を空間サブバンド分割して得られる空間低域サブバンド信号に対 して前記動き情報に従って動き補償をした後に時間サブバンド分割することで時間 低域サブバンド信号と時間高域サブバンド信号を得る時間サブバンド分割手段と、 前記時間高域サブバンド信号を空間サブバンド分割し時問高域空間低域サブバン ド信号と時間高域空間高域サブバンド信号を生成する時間高域サブバンド空間分割 手段と、
前記時間低域サブバンド信号を空間サブバンド分割し、時間低域空間低域サブバ ンド信号と時間低域空間髙域サブバンド信号を生成する時間低域サブバンド空間分 割手段と、
前記空間低域サブバンド信号を空間サブバンド分割し、空間低域イントラサブバン ド信号と空間高域イントラサブバンド信号を生成するバンド信号空間分割手段と、 を少なくとも含んで構成されることを特徴とする動画像符号化装置。
[74] 前記動画像信号について、前記時間サブバンド分割手段と前記時間高域サブバ ンド空間分割手段と前記時間低域サブバンド空間分割手段と前記バンド信号空間 分割手段とを行い、前記バンド信号空間分割手段の後に得られた空間低域イントラ サブパンド信号を前記空間低域サブバンド信号に代えて時間サブバンド分割手段と 時間高域サブバンド空間分割手段と時間低域サブバンド空間分割手段とバンド信号 空間分割手段における処理を再帰的に繰り返すことを特徴とする請求項 73記載の 動画像符号化装置。
[75] 時間高域信号と時間低域信号と時間低域空間高域信号とを参照して時間高域空 間低域信号を生成する手段と、
前記時間低域信号と前記時間低域空間高域信号とを参照して第 2の時間低域信 号を生成する手段と、
前記時間高域空間低域信号と時間高域空間高域信号を用レ、て第 2の時間高域信 号を生成する手段と、
前記第 2の時間低域信号と前記第 2の時間高域信号に対して合成処理を行う手段 と、
を少なくとも含んで構成されることを特徴とする動画像符号化装置。
[76] 予測誤差信号と空間低域イントラサブバンド信号と空間高域イントラサブバンド信号 とを参照して空間低域予測誤差サブバンド信号を生成する第 1の手段と、 前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2の手段と、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行レ、イントラバンド信号を得る第 3の手段と、 前記イントラバンド信号と前記第 2の予測誤差信号に対して合成処理を行う第 4の 手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[77] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1の手段、前記第 2の手段、前記第 3の 手段における処理を再帰的に繰り返すことを特徴とする請求項 76記載の動画像復 号装置。
[78] 予測誤差信号と空間低域イントラサブバンド信号と空間髙域イントラサブバンド信号 とを参照して空間低域予測誤差サブバンド信号を生成する第]の手段と、 前記空間低域予測誤差サブバンド信号と空間髙域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2の手段と、 前記空間低域イントラサブバンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行いイントラバンド信号を得る第 3の手段と、 前記イントラバンド信号に動き補償予測処理を行い前記第 2の予測誤差信号を加 える第 4の手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[79] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1の手段、前記第 2の手段、前記第 3の 手段における処理を再帰的に繰り返すことを特徴とする請求項 78記載の動画像復 号装置。
[80] 空間低域イントラサブパンド信号、または、空間高域イントラサブバンド信号の少な くとも 1つまたはその組み合わせと、予測誤差信号とを参照して空間低域予測誤差サ ブバンド信号を生成する第 1の手段と、
前記空間低域予測誤差サブバンド信号と空間高域予測誤差サブバンド信号に対 して空間サブバンド合成処理を行い第 2の予測誤差信号を得る第 2の手段と、 前記空間低域イントラサブパンド信号と前記空間高域イントラサブバンド信号に対 して空間サブバンド合成処理を行いイントラバンド信号を得る第 3の手段と、 前記イントラバンド信号と前記第 2の予測誤差信号に対して合成処理を行う第 4の 手段と、 を少なくとも含んで構成されることを特徴とする動画像復号装置。
[81] 前記第 2の予測誤差信号を予測誤差信号に代えて、前記イントラバンド信号を空間 低域イントラサブバンド信号に代えて、前記第 1の手段、前記第 2の手段、前記第 3の 手段における処理を再帰的に繰り返すことを特徴とする請求項 80記載の動画像復
[82] 時間高域サブバンド信号と時間低域サブバンド信号と時間低域空間高域サ： ド信号とを参照して時間高域空間低域サブバンド信号を生成する第 1の手段と、 前記時間高域空間低域サブバンド信号と時間高域空間高域サブバンド信号に対 して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 2の手 段と、
前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空 間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 3の手段と、 前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 4の手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[83] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第 1の手段、前記第 2の手段、前記第 3の手段における処理を再帰的に繰り返すことを 特徴とする請求項 82記載の動画像復号装置。
[84] 時間低域サブバンド信号、または、時間低域空間高域サブバンド信号の少なくとも 1つまたはその組み合わせと、時間高域サブバンド信号とを参照して時間高域空間 低域サブバンド信号を生成する第 1の手段と、
前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 2 の手段と、
前記時間低域サブバンド信号と前記時間低域空間高域サブバンド信号に対して空 間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 3の手段と、 前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 4の手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[85] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記時間低域サブバンド信号に代えて、前記第
1の手段、前記第 2の手段、前記第 3の手段における処理を再帰的に繰り返すことを 特徴とする請求項 84記載の動画像復号装置。
[86] 空間低域イントラサブバンド信号と時間高域空間髙域サブバンド信号とを参照して 時間低域空間低域サブバンド信号を生成する第 1の手段と、
時間高域サブバンド信号と前記時間低域空間低域サブバンド信号と時間低域空間 髙域サブバンド信号とを参照して時間高域空間低域サブバンド信号を生成する第 2 の手段と、
前記時間高域空間低域サブバンド信号と前記時間高域空間髙域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 3 の手段と、
前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 4 の手段と、
前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 5の手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[87] 前記第 2の時間高域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、 前記第 1の手段、前記第 2の手段、前記第 3の手段、前記第 4の手段における処理を 再帰的に繰り返すことを特徴とする請求項 86記載の動画像復号装置。
[88] 空間低域イントラサブバンド信号と時間高域空間高域サブバンド信号とを参照して 時間低域空間低域サブバンド信号を生成する第 1の手段と、
前記時間低域空間低域サブバンド信号、または、時間低域空間高域サブバンド信 号の少なくとも 1つまたはその組み合わせと、時間髙域サブバンド信号とを参照して 時間高域空間低域サブバンド信号を生成する第 2の手段と、
前記時間高域空間低域サブバンド信号と前記時間高域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間高域サブバンド信号を得る第 3 の手段と、
前記時間低域空間低域サブバンド信号と前記時間低域空間高域サブバンド信号 に対して空間サブバンド合成処理を行い第 2の時間低域サブバンド信号を得る第 4 の手段と、
前記第 2の時間低域サブバンド信号と前記第 2の時間高域サブバンド信号とを合成 する第 5の手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[89] 前記第 2の時間髙域サブバンド信号を前記時間高域サブバンド信号に代えて、前 記第 2の時間低域サブバンド信号を前記空間低域イントラサブバンド信号に代えて、 前記第 1の手段、前記第 2の手段、前記第 3の手段、前記第 4の手段における処理を 再帰的に繰り返すことを特徴とする請求項 88記載の動画像復号装置。
[90] 動画像信号に時間方向フィルタリングを行レ、時間フィルタリング信号を得る手段と、 前記時間フィルタリング信号に空間階層分割処理を行い、時間フィルタリング下位 階層信号と時間フィルタリング上位階層信号を得る手段と、
前記動画像信号に空間階層分割処理を行い上位階層動画像信号を得る手段と、 前記上位階層動画像信号に時間方向フィノレタリングを行って上位階層時間フィノレ タリング信号を得る手段と、
前記時間フィルタリング下位階層信号および前記上位階層時間フィルタリング信号 を符号化する手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[91] 前記時間フィルタリング上位階層信号を前記上位階層時間フィルタリング信号に置 き換える手段を更に含むことを特徴とする請求項 90記載の動画像符号化装置。
[92] 時間フィルタリング下位階層信号および上位階層時間フィルタリング信号を復号す る手段と、
前記上位階層時間フィルタリング信号に時間方向フィルタリングを行って時間フィ ルタリング上位階層信号を得る手段と、
前記時間フィルタリング下位階層信号と前記時間フィルタリング上位階層信号に空 間階層合成処理を行い時間フィルタリング信号を得る手段と、
時間フィルタリング信号に対して時間方向フィルタリングを行い動画像信号を得る 手段と、
を少なくとも含んで構成されることを特徴とする動画像復号装置。
[93] 前記時間フィルタリング上位階層信号を、この時間フィルタリング上位階層信号のフ レームとは別のフレームの信号を参照して、復号解像度で時間方向フィルタリングを 行った後に階層分割したうちの上位階層に属する時間フィルタリング上位階層信号 に補正する手段を更に備えることを特徴とする請求項 92記載の動画像復号装置。
PCT/JP2004/009825 2003-07-09 2004-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム WO2005006766A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005511540A JPWO2005006766A1 (ja) 2003-07-09 2004-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム
EP04747293.1A EP1655972A4 (en) 2003-07-09 2004-07-09 ANIMATED IMAGE ENCODING METHOD, ANIMATED IMAGE DECODING METHOD, ANIMATED IMAGE ENCODING DEVICE, ANIMATED IMAGE DECODING DEVICE, AND ASSOCIATED SOFTWARE
US10/563,618 US8306113B2 (en) 2003-07-09 2004-07-09 Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
US13/664,593 US8855198B2 (en) 2003-07-09 2012-10-31 Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-272386 2003-07-09
JP2003272386 2003-07-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10/563,618 A-371-Of-International US8306113B2 (en) 2003-07-09 2004-07-09 Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
US13/664,593 Division US8855198B2 (en) 2003-07-09 2012-10-31 Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program

Publications (1)

Publication Number Publication Date
WO2005006766A1 true WO2005006766A1 (ja) 2005-01-20

Family

ID=34055972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/009825 WO2005006766A1 (ja) 2003-07-09 2004-07-09 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム

Country Status (6)

Country Link
US (2) US8306113B2 (ja)
EP (1) EP1655972A4 (ja)
JP (1) JPWO2005006766A1 (ja)
KR (1) KR100734790B1 (ja)
CN (1) CN1849828A (ja)
WO (1) WO2005006766A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227763B (zh) * 2007-01-15 2013-01-23 昆山杰得微电子有限公司 音效处理装置及音效处理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010042486A1 (en) * 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
WO2013173292A1 (en) * 2012-05-14 2013-11-21 Motorola Mobility Llc Scalable video coding with enhanced base layer
US9032106B2 (en) 2013-05-29 2015-05-12 Microsoft Technology Licensing, Llc Synchronizing device association data among computing devices
US10778890B1 (en) * 2019-09-30 2020-09-15 Amazon Technologies, Inc. Video denoising systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998434A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 画像符号化装置および画像復号化装置
WO2001006794A1 (en) * 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
WO2001084847A1 (en) * 2000-05-03 2001-11-08 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404167A (en) * 1993-03-12 1995-04-04 At&T Corp. Subband color video coding using a reduced motion information subband
JP2956464B2 (ja) * 1993-12-29 1999-10-04 日本ビクター株式会社 画像情報圧縮伸長装置
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
GB2286740B (en) * 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US6067383A (en) * 1995-09-12 2000-05-23 Matsushita Electric Industrial Co., Ltd. Coding method, coding apparatus, wavelet transform apparatus, and wavelet reverse transform apparatus
US7116829B1 (en) * 1996-11-06 2006-10-03 Matsushita Electric Industrial Co., Ltd. Image coding and decoding methods, image coding and decoding apparatuses, and recording media for image coding and decoding programs
KR200175232Y1 (ko) * 1999-06-18 2000-03-15 김재철 도난방지 기능을 구비한 잠금 장치
JP4612782B2 (ja) * 2000-09-27 2011-01-12 キヤノン株式会社 画像処理装置、及びその方法、並びにプログラム、記憶媒体
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
WO2004004355A1 (en) * 2002-06-28 2004-01-08 Koninklijke Philips Electronics N.V. Subband video decoding method and device
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998434A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 画像符号化装置および画像復号化装置
WO2001006794A1 (en) * 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
WO2001084847A1 (en) * 2000-05-03 2001-11-08 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BOTTREAU, V. ET AL.: "A FULLY SCALABLE 3D SUBBAND VIDEO CODEC", 2001, INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, vol. 2, October 2001 (2001-10-01), pages 1017 - 1020, XP001045747 *
CAMPISI, P. ET AL.: "Three Dimensional Wavelet Based Approach for a Scalable Video Conference System", 1999, INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, vol. 3, October 1999 (1999-10-01), pages 802 - 806, XP010368809 *
KIMOTO, T. ET AL.: "MC Mismatch no Drift Mondai o Kanzen ni Kaisho Suru Sanjigen Wavelet Fugoka", 2003 NEN GAZO FUGOKA SYMPOSIUM (PCSJ 2003), November 2003 (2003-11-01), pages 51 - 52, XP002987020 *
THAM, J.Y. ET AL.: "Highly Scalable Wavelet-Based Video Codec for Very Low Bit-Rate Environment", IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS, vol. 16, no. 1, January 1998 (1998-01-01), pages 12 - 27, XP002173950 *
WOODS, W.J. ET AL.: "A Resolution and Frame-Rate Scalable Subband/Wavelet Video Coder", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 11, no. 9, September 2001 (2001-09-01), pages 1035 - 1044, XP001082208 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227763B (zh) * 2007-01-15 2013-01-23 昆山杰得微电子有限公司 音效处理装置及音效处理方法

Also Published As

Publication number Publication date
JPWO2005006766A1 (ja) 2007-09-20
KR20060031857A (ko) 2006-04-13
US20130058403A1 (en) 2013-03-07
EP1655972A1 (en) 2006-05-10
US8306113B2 (en) 2012-11-06
US20060165167A1 (en) 2006-07-27
CN1849828A (zh) 2006-10-18
KR100734790B1 (ko) 2007-07-03
US8855198B2 (en) 2014-10-07
EP1655972A4 (en) 2013-12-04

Similar Documents

Publication Publication Date Title
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100679022B1 (ko) 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
KR101033548B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR101176650B1 (ko) 3d 부-대역 코딩을 위한 내장형 기본 계층 코덱
CN1870754B (zh) 减少分块现象的编/解码装置和方法
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
JP4844741B2 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
US20060013310A1 (en) Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder
US20060159359A1 (en) Fine granularity scalable video encoding and decoding method and apparatus capable of controlling deblocking
JP2006503518A (ja) 高度にスケーラブルな３次元オーバコンプリート・ウェーブレット・ビデオ符号化
KR20060128596A (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR20060092825A (ko) 움직임-보상형 시간적 필터링에서의 적응적 업데이트를위한 방법
US8855198B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
JP4382284B2 (ja) サブバンドの符号化／復号
KR100901178B1 (ko) 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치
KR20060119736A (ko) 영상 신호의 인코딩 방법
KR100561587B1 (ko) 3차원 웨이브렛 변환 방법 및 장치
JP2006500849A (ja) スケーラブルなビデオエンコード
KR100897640B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
Wang Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering
Padmanabhan et al. An Efficient Video Compression Encoder Based on Wavelet Lifting Scheme in LSK
WO2006006796A1 (en) Temporal decomposition and inverse temporal decomposition methods for video encoding and decoding and video encoder and decoder
JPH0686254A (ja) 動画像データの高能率符号化装置
EP1839441A2 (en) Fine granularity scalable video encoding and decoding method and apparatus capable of controlling deblocking

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480025745.8

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006165167

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2005511540

Country of ref document: JP

Ref document number: 10563618

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020067000573

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2004747293

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067000573

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004747293

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10563618

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 1020067000573

Country of ref document: KR