WO2004014085A1 - データ処理装置およびデータ処理方法 - Google Patents

データ処理装置およびデータ処理方法 Download PDF

Info

Publication number
WO2004014085A1
WO2004014085A1 PCT/JP2003/009843 JP0309843W WO2004014085A1 WO 2004014085 A1 WO2004014085 A1 WO 2004014085A1 JP 0309843 W JP0309843 W JP 0309843W WO 2004014085 A1 WO2004014085 A1 WO 2004014085A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
picture
data
unit
data processing
Prior art date
Application number
PCT/JP2003/009843
Other languages
English (en)
French (fr)
Inventor
Hiroki Inagaki
Hideki Fukuda
Satoshi Kondo
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP03766717A priority Critical patent/EP1507417A4/en
Priority to JP2004525828A priority patent/JP4192149B2/ja
Priority to KR20047003659A priority patent/KR100636465B1/ko
Priority to US10/515,555 priority patent/US7929604B2/en
Publication of WO2004014085A1 publication Critical patent/WO2004014085A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving picture coding technique for compressing moving picture data with high efficiency.
  • MPEG1, MPEG2, etc. which select and encode any of intra-picture coding, forward prediction coding, and bidirectional prediction coding, are known as coding techniques for efficiently compressing moving image data. I have.
  • a moving image When coding is performed using such a moving image coding technique, a moving image often includes an image (hereinafter referred to as an “I-picture”) that has been compression-coded by an intra-screen coding method.
  • An image compressed and encoded by the directional prediction coding method hereinafter, referred to as a “P picture”
  • an image compression-coded by the bidirectional prediction coding method hereinafter, referred to as a “B picture” Mix.
  • I-pictures are coded using only the image data without temporal prediction.
  • the P picture is predictively coded with reference to the preceding I picture or P picture.
  • B pictures are predictively coded with reference to I and P pictures located before and after.
  • the picture to be referred to is called a reference picture, and a reference picture to be used for prediction is set according to each picture type.
  • FIG. 1 shows a prediction structure of moving image data by bidirectional prediction.
  • I, P, and B in the figure are I picture, P picture, and B picture, respectively. Indicate Kucha.
  • the coding order in the illustrated prediction structure is II, P4, B2, B3, P7, B5 and B6.
  • picture I 1 is intra-coded.
  • Picture P4 is forward predictive coded using picture I1 as a reference picture.
  • Pictures B2 and B3 are bidirectionally predicted coded using picture I1 and picture P4 as reference pictures.
  • picture P7 is forward-predicted coded using picture P4 as a reference picture
  • pictures B5 and B6 are bi-directionally predicted coded using pictures P4 and P7 as reference pictures, respectively. Be converted to
  • FIG. 2 shows an arrangement of an I picture, a P picture, and a B picture.
  • an I picture is arranged every N frames
  • a P picture is arranged between I pictures every M frames.
  • (M-1) B pictures are provided between the I picture and the immediately following P picture or between the P picture and the immediately following P picture.
  • B picture is a reference picture located before and after it (I picture and P picture) This is because B-pictures must be coded by changing the order of each picture type at the time of input since coding cannot be started until is encoded.
  • the reason for using a B picture is that the prediction efficiency can be improved by using bidirectional prediction that combines forward prediction and backward prediction. Also, B pictures are not used as reference pictures in subsequent predictive coding like I pictures and P pictures, so that errors during predictive coding do not propagate. Therefore, there is an advantage that even if coding is performed with a smaller amount of code than an I-picture P-picture, deterioration in image quality is less noticeable visually. On the other hand, when a B picture is used, the interval M between the reference pictures in the forward prediction of the P picture is separated by an amount corresponding to the insertion of the B picture. There is a disadvantage that.
  • coding efficiency can be improved by dynamically switching the interval M between reference images in forward prediction according to the characteristics of moving image data.
  • Conventional techniques for performing coding by dynamically switching the interval M between reference pictures in forward prediction include, for example, Japanese Patent Application Laid-Open Nos. 9-12946466, and 10-304043.
  • Japanese Patent Application Publication No. 4 and Japanese Patent Application Laid-Open Publication No. 2000-128179 are examples.
  • Japanese Unexamined Patent Publication No. Hei 9-9246466 describes that a motion vector of an encoded frame is scaled and the magnitude of the motion vector is encoded in the next frame. This document describes a technique for controlling the interval M between reference images so as to be within the motion search range of the system.
  • Japanese Patent Application Laid-Open No. H10-304304 discloses that the prediction efficiency of inter-frame prediction is calculated using a prediction error or activity obtained in an encoded block, and a reference image is calculated in accordance with the prediction efficiency. It describes a technique for controlling the interval M.
  • Japanese Patent Laid-Open Publication No. 2000-1179 discloses a technique for calculating inter-frame prediction performance using a generated code amount or coding complexity of each picture type, and a reference image according to the prediction performance. A technique for controlling the interval M of the vehicle is described.
  • the reference image is switched by switching the picture structure, and encoding is performed.
  • Efficiency can be improved.
  • the picture structure is a unit for performing encoding, and a frame structure or a field structure can be selected for each encoded image.
  • a frame structure is selected as a picture structure, encoding is performed in units of frame images.
  • the field structure is selected, encoding is performed for each of the first field image and the second field image constituting one frame.
  • the field image for which intra-screen coding is performed is the I field
  • the field image for which forward prediction coding is performed is the P field
  • the field image for which bidirectional prediction coding is performed is the Called the B field. Focusing on the type of the first field image, the frame where the first field image is an I field is referred to as an I frame and a P field. Is called a P frame, and a frame that is a B field is called a B frame.
  • FIGS. 4 (a), (b) and (c) show the relationship between the picture type and the reference image in the field structure.
  • 4A shows an I frame
  • FIG. 4B shows a P frame
  • FIG. 4C shows a B frame.
  • the I frame in (a) is of a type that uses both the first field image and the second field image as the I field, and a type that uses the first field image as the I field and the second field image as the P field. Either is selected.
  • the second field image is to be a P field
  • the first field image in the same frame is used as the reference image.
  • the I field or P field coded immediately before is used as the reference image for predictive coding.
  • the first field image (the previous field image) in the same frame can be used as a reference image.
  • the prediction efficiency can be improved particularly for an image with fast movement.
  • both the first field image and the second field image use the I field or P field of the preceding and succeeding frames as reference images for predictive coding.
  • An object of the present invention is to more reliably determine the speed of motion of a moving image in the compression encoding of moving image data, and even to a case where a particularly fast moving image is included.
  • the purpose of the present invention is to realize efficient compression coding while maintaining sufficient quality by performing control for dynamically switching the coding method and the coding unit. Disclosure of the invention
  • the data processing device compresses moving image data representing a moving image in a predetermined image unit by using any of an intra-screen coding method, a forward prediction coding method, and a bidirectional prediction coding method. I do.
  • the moving image is obtained by continuously displaying a plurality of frame images each composed of two field images.
  • the data processing device includes: a memory that stores the moving image data; a calculating unit that calculates a parameter indicating a degree of change of the moving image based on the moving image data of the two field images;
  • the image unit compression-encoded by the intra-picture coding method and the forward prediction coding method, and a picture structure that defines the predetermined image unit are determined based on the parameters calculated by the unit.
  • the calculation unit obtains an amount of change in the time direction based on an amount of change in the moving image data between the two field images, and
  • the spatial direction change amount is obtained based on the change amount of the moving image data, and the parameter is calculated based on the time direction change amount and the spatial direction change amount. Calculate the meter.
  • the two field images are a first field image corresponding to an odd-numbered line of the frame image and a second field image corresponding to an even-numbered line of the frame image.
  • the calculation unit specifies adjacent lines in each of the first field image and the second field image, and calculates the spatial direction change amount based on a difference between image data of each line. I do.
  • the calculation unit divides each frame image into a plurality of blocks, calculates the time direction change amount and the space direction change amount based on image data of each block, and Based on the time direction change amount and each space direction change amount, a ratio of a block in which the change amount of the moving image to all block numbers is equal to or more than a predetermined amount is calculated as the parameter.
  • the determining unit determines the picture structure to be a field structure, and the processing unit converts the moving image data to the field value. Compression encoding is performed for each root image.
  • the determination unit increases at least one of the number of field images to be compression-coded by the intra-picture coding method and the number of field images to be compression-coded by the forward prediction coding method. I do.
  • the deciding unit uses only the intra-picture coding method or the forward prediction coding method to encode a field image. Compression encoding.
  • the determination unit determines the picture structure as a frame structure, and performs the processing.
  • the unit compresses and encodes the moving image data in units of the frame image.
  • the determination unit is configured to determine that a first image that is compression-encoded by a forward prediction encoding method and a second image that is predictively encoded with reference to the first image are continuous.
  • the picture structure of the second image is determined to be a field structure, and if not continuous, the picture structure of the second image is determined to be a frame structure.
  • the determination unit is configured to determine that a first image that is compression-encoded by a forward prediction encoding method and a second image that is predictively encoded with reference to the first image are continuous.
  • the picture structure of the second image is determined to be a frame structure or a field structure, and if not continuous, the picture structure of the second image is determined to be a frame structure.
  • the determination unit is configured to determine a period determined based on a plurality of images compression-encoded by an intra-screen encoding method or a plurality of images compression-encoded by a forward prediction encoding method.
  • the picture structure of the image to be compression-encoded by the forward prediction encoding method is determined according to the above.
  • the determination unit is compression-encoded by the forward prediction encoding method according to a cycle determined based on the plurality of images compression-encoded by an intra-screen encoding method.
  • the determination unit is a forward prediction code.
  • a picture structure of an image to be compression-coded by the forward prediction coding scheme is determined according to a cycle determined based on the plurality of pictures to be compression-coded by the coding scheme.
  • the determination unit includes a first image that is compression-encoded by an intra-screen encoding method, and a second image that is compression-encoded by a forward prediction encoding method with reference to the first image.
  • the picture structure of the first image is determined to be a field structure, and among the first field image and the second field image constituting the first image, It is determined that the first field image is compression-coded by an intra-screen coding method, and that the second field image is compression-coded by a forward prediction coding method.
  • the determination unit converts a picture structure of an image compression-encoded by an intra-screen encoding method into a immediately preceding image or a forward prediction encoding method which is compression-encoded by an intra-screen encoding method. Is determined to match the picture structure of the image immediately before compression-encoded.
  • the determination unit converts a picture structure of an image compression-encoded by an intra-screen encoding method into an image immediately after compression-encoding by an intra-screen encoding method or a forward predictive encoding method. Decides to match the picture structure of the image immediately after compression encoding.
  • the determining unit determines that a picture structure of a first image that is compression-encoded by a bidirectional predictive coding scheme matches a picture structure of a reference image referred to by the first image. I do.
  • a data processing system includes: And a transmission unit for transmitting the compressed data generated by the processing unit of the data processing device onto a transmission medium.
  • a data processing system includes the data processing device described above, and a recording unit that records the compressed data generated by the processing unit of the data processing device on a recording medium.
  • Another data processing apparatus is a video data processing apparatus that converts video data representing a video in a predetermined image unit by using any of an intra-screen coding method, a forward prediction coding method, and a bidirectional prediction coding method. Perform compression encoding.
  • the moving image is obtained by continuously displaying a plurality of frame images.
  • the evening processing device includes: a memory for storing the moving image data; a time direction change amount indicating a change amount of the moving image data between two consecutive frame images; and an image for each of the two frame images.
  • a calculating unit that calculates a spatial direction change amount indicating a change amount of the moving image data, and calculates a parameter indicating a degree of change of the moving image based on the time direction change amount and the spatial direction change amount.
  • a determining unit that determines a compression coding method for each of the plurality of frame images based on the parameters calculated by the calculating unit; and determining the moving image data stored in the memory.
  • a processing unit that performs compression encoding according to the method determined by the determination unit and generates compressed data.
  • the moving image is obtained by continuously displaying a plurality of frame images each composed of two field images, and the two field images are odd numbers of the frame images.
  • An adjacent line in the image is specified, and the spatial direction change amount is calculated based on a difference between the image data of each line.
  • the calculation unit specifies two lines at the same position in the two frame images, calculates the time direction change amount based on a difference between image data of each line, and An adjacent line in one of the two frame images is specified, and the spatial direction change amount is calculated based on a difference between the image data of each line.
  • the determination unit increases at least one of the number of frame images to be compression-encoded by the intra-picture encoding method and the number of frame images to be compression-encoded by the forward prediction encoding method. .
  • the determination unit compresses and codes the frame image using only one of the intra-frame coding method and the forward prediction coding method.
  • a data processing system includes the above-described data processing device, and a transmission unit that transmits the compressed data generated by a processing unit of the data processing device to a transmission medium.
  • a data processing system includes the data processing device described above, and a recording unit that records the compressed data generated by a processing unit of the data processing device on a recording medium.
  • the data processing method includes the steps of: moving image data representing a moving image; Compression encoding is performed in a predetermined image unit according to one of the encoding methods.
  • the moving image is obtained by successively displaying a plurality of frame images each composed of two field images.
  • the data processing method includes: storing the moving image data; calculating a parameter indicating a degree of change of the moving image based on the moving image data of the two field images; Determining, based on the parameters, an image unit to be compression-encoded by the intra-screen encoding method and the forward prediction encoding method, and a picture structure that defines the predetermined image unit; and Compressing and encoding according to the determined picture structure to generate compressed data.
  • another data processing method includes a step of: converting video data representing a video into a predetermined image by using any of an intra-screen coding method, a forward prediction coding method, and a bidirectional prediction coding method. Compression-encodes in units.
  • the moving image is obtained by continuously displaying a plurality of frame images.
  • the data processing method includes: storing the moving image data; a time direction change amount indicating a change amount of the moving image data between two consecutive frame images; and an image for each of the two frame images. Calculating a spatial direction change amount indicating a change amount of the moving image data in the moving image data, and a parameter indicating a degree of change of the moving image based on the time direction change amount and the spatial direction change amount.
  • FIG. 1 is a diagram showing a prediction structure of moving image data by bidirectional prediction.
  • FIG. 2 is a diagram showing an arrangement of an I picture, a P picture, and a B picture.
  • Fig. 4 (a) is a diagram showing the reference relationship of the I frame, (b) is a diagram showing the reference relationship of the P frame, and (c) is a diagram showing the reference relationship of the B frame.
  • FIG. 5 is a diagram showing a configuration of a functional block of the video encoding device 100 in the present embodiment.
  • FIG. 6 is a flowchart showing a processing flow of the moving picture coding apparatus 100.
  • FIG. 7 is a diagram showing the concept of the time direction change amount (A) and the spatial direction change amount (B).
  • FIG. 8 is a diagram showing an example when a frame image is divided into a plurality of blocks.
  • FIG. 9 is a flowchart showing a procedure of processing in which the prediction method determination unit 109 determines an encoding method for each frame image and determines a picture structure to be subjected to compression encoding.
  • FIG. 10 is a flowchart showing a procedure of a process of determining an encoding method for each frame image.
  • FIG. 11 is a flowchart showing a procedure of a process for determining a picture structure to be subjected to compression encoding.
  • Fig. 12 (a) is a diagram showing the data structure of the picture data compressed and encoded by the frame structure, and (b) is the data structure of the frame image data compressed and encoded by the field structure.
  • FIG. 12 (a) is a diagram showing the data structure of the picture data compressed and encoded by the frame structure, and (b) is the data structure of the frame image data compressed and encoded by the field structure.
  • FIG. 13 is a diagram showing the relationship between the degree of change parameter and the picture structure of the compressed data.
  • FIG. 14 is a flowchart illustrating a procedure of a process of determining a coding method of a frame image at a predetermined cycle and determining a picture structure to be subjected to compression coding.
  • FIG. 15 (a) is a diagram showing a configuration of functional blocks of the encoding system 10
  • FIG. 15 (b) is a diagram showing a configuration of functional blocks of the decoding system 11.
  • FIG. 5 shows a configuration of a functional block of the moving picture coding apparatus 100 in the present embodiment.
  • the moving picture coding apparatus 100 compresses and codes moving picture data obtained based on a moving picture signal such as a television signal based on, for example, the MPEG2 standard, and outputs compressed data.
  • the moving image data is data representing a moving image and includes data of individual frame images. Also, the moving image data may include audio data relating to audio.
  • a moving image can be viewed by displaying a plurality of frame images and sounds continuously.
  • the video encoding device 100 includes an input image memory 101, a decoded image memory 102, a motion vector detection unit 103, a motion compensation prediction unit 104, and D CT / quantization unit 105, inverse quantization / inverse DCT unit 106, variable-length encoding unit 107, variance parameter calculation unit 108, and prediction method determination unit 109 And an encoding order control unit 110.
  • the input image memory 101 stores the received moving image signal as moving image data until encoding.
  • the moving image data is stored in the memory 101 in a format capable of specifying a plurality of continuous images. Further, the memory 101 can store enough image data for the processing delay of each image caused by the encoding order. As a result, when the moving picture coding apparatus 100 compresses and codes moving picture data, the processing can be continued even if the coding order of each picture data is changed with respect to the input order.
  • the input image memory 101 can store image data for at least four frame images.
  • the moving image data is encoded according to an encoding order specified by an encoding order control unit 110 described later.
  • the decoded image memory 102 is a decoding device that adds the image data decoded by the inverse quantization / inverse DC input unit 106 and the motion compensation predicted image data obtained by the motion compensation prediction unit 104. Stores image data.
  • the decoded image data is later used as the image data of the reference image in the motion vector detection unit 103 and the motion compensation prediction unit 104.
  • the motion vector detection unit 103 refers to the image data stored in the decoding image memory 102, and the image of the image data in the input image memory 101 has moved (changed). ) Detect the amount as a motion vector.
  • the motion compensation prediction unit 104 generates motion compensation prediction image data using the motion vector detected by the motion vector detection unit 103 and the decoded image data in the decoded image memory 102.
  • the DCT / quantization unit 105 transforms the prediction error data into a discrete cosine transform (DCT) and quantizes it using a specified quantization value.
  • the prediction error data corresponds to a difference between the image data in the input image memory 101 and the motion compensated prediction image data generated by the motion compensation prediction unit 104. Note that the DCT / quantization unit 105 can also process the input image data itself without using motion-compensated predicted image data.
  • the inverse quantization / inverse DC input unit 106 is used to process the image to be processed as an I-picture and a P-picture. Performs inverse quantization and inverse discrete cosine transform to generate a decoded image to be used as a reference image.
  • the variable-length coding unit 107 converts the data obtained by the discrete cosine transform by the 0 (: ⁇ / quantization unit 105 and the quantized data, and the motion vector detected by the motion vector detection unit 103.
  • the motion position information on the knob is variable-length coded and the compressed data is output.
  • the change parameter overnight calculation unit 108 calculates the temporal change amount and the spatial direction obtained from the image feature amount for the image data of each image stored in the input image memory 101.
  • the change degree parameter is calculated using the change amount.
  • the image feature amount means a value of pixel data (for example, luminance data) of each coordinate in the image, and is an element constituting the image data.
  • the change parameter is a parameter indicating the degree of change (severity or speed) of the content of each displayed image when a plurality of images constituting the moving image are compared. More specific processing of the change degree parameter overnight calculation unit 108 will be described later in detail.
  • the prediction method determination unit 109 refers to an image to be coded based on the change degree parameter calculated by the change degree parameter overnight calculation unit 108. Determine the image and picture structure.
  • the encoding order control unit 110 controls the encoding order of the image data stored in the input image memory 101 in accordance with the prediction method determined by the prediction method determination unit 109.
  • One of the main features of the moving picture coding apparatus 100 according to the present invention is the processing performed in the degree of change parameter calculating section 108 and the prediction method determining section 109. Therefore, hereinafter, the processing of these components will be described in detail while describing the operation of the video encoding device 100.
  • the other components denoted by reference numerals 102 to 107 and 110 are collectively referred to as a “processing unit” unless otherwise specified.
  • one frame image is composed of two field images.
  • FIG. 6 shows a processing flow of the video encoding device 100.
  • the moving picture coding apparatus 100 receives a moving picture signal and stores it in the input picture memory 101 as moving picture data.
  • the degree-of-change parameter calculating section 108 calculates a degree-of-change parameter based on moving image data of a plurality of images. Specifically, first, the degree-of-change parameter calculation unit 108 obtains the amount of change in the time direction based on the amount of change in the image data between the first field image and the second field image constituting the frame image. . Further, the variation parameter overnight calculation unit 108 obtains a spatial direction change amount for each of the first field image and the second field image based on the change amount of the image data in the image. After that, the change degree parameter calculation unit 108 changes based on the time direction change amount and the space direction change amount. Calculate the degree of conversion parameter.
  • this will be described in more detail with reference to the drawings.
  • a frame image for which the amount of change in the time direction and the amount of change in the spatial direction are to be calculated is a candidate image to be compression-coded as an I picture or a P picture.
  • the candidate image has been temporarily determined based on a predetermined rule in the moving image encoding device 100. For example, among the frame images included in the input moving image data, a candidate image of an I picture is determined every N frames, and a candidate image of a P picture is determined between I pictures every M frames. It should be noted that which of the I, P, and B pictures each frame image ends up with is determined later by a series of processes of the video encoding device 100.
  • FIG. 7 shows the concept of the time direction change amount (A) and the space direction change amount (B).
  • a frame image is composed of two field images.
  • the first field image is an image corresponding to an odd line (black line in the figure) of the frame image
  • the second field image is an image corresponding to an even line (white line in the figure) of the frame image. .
  • the amount of change in the time direction D t (A) can be obtained as an average value by adding the difference (A) between the image data of two pixels adjacent to each other in the vertical direction in the frame image.
  • “Two adjacent pixels” are pixels of the first field image and pixels of the second field image.
  • the spatial direction change amount D s (B) is calculated as the average of the difference (B) between the image data of two pixels adjacent in the vertical direction in the first field and the second field. You can ask.
  • the change parameter overnight calculation unit 108 is calculated by (Equation 1) and (Equation 2). Then, the time direction change amount Dt and the space direction change amount Ds are calculated. (Number 1)
  • A is a constant for adjusting the value of the change parameter C f, and is a number greater than 1.
  • the speed of motion of a moving image is determined based only on the amount of change in the time direction, it may be determined that the motion is fast even if the object in the moving image is shifted by one pixel. By making a decision based on the amount of change, the effect of slight pixel shift is reduced. Therefore, the speed of the motion of the moving image can be more accurately determined.
  • FIG. 8 shows an example in which a frame image is divided into a plurality of blocks.
  • the change degree parameter calculation unit 108 divides the frame image into a plurality of blocks (for example, 16 ⁇ 16 pixels),
  • the amount of change in the time direction D t_b 1 k can be obtained as an average value by adding the difference between image data of two pixels adjacent to each other in the block in the vertical direction.
  • the spatial direction change amount Ds-b1k is the difference (B) between pixels adjacent in the vertical direction in the field corresponding to the odd-numbered line and the field corresponding to the even-numbered line in each block. Can be obtained as an average value by adding.
  • Ds_blk ⁇ I F (x, y)-F (x, y + 2) 11 Ns.blk
  • the change parameter overnight calculation unit 108 uses the obtained time direction change amount Dt-b1k and space direction change amount Ds-b1k to determine whether or not the field correlation is high for each block. Determined by (Equation 8). (number If 8) is satisfied, the block is considered to be a block with high field correlation, which means that the motion (change) of the moving image is fast.
  • the change degree parameter overnight calculation unit 108 counts the number of blocks determined to have a high field correlation, and holds the result as “High_b 1 ks”. Then, the change degree parameter overnight calculation unit 108 calculates the ratio of the number of counted blocks High_b 1 ks to the number of all blocks used for the determination (“A l 1 ⁇ blks”) by (number This is calculated as 9), and this is set as the change parameter over time C f of the frame image.
  • the evaluation values used to determine the DCT mode (frame DCT and field DCT) of a macroblock are each represented in the time direction.
  • Change D It can also be used as t_b1k and spatial direction change amount Ds_b1k.
  • the variation parameter overnight calculator 108 calculates the variation parameter overnight Cf based on the image data of the two field images constituting one frame image.
  • the prediction method determination unit 109 determines an encoding method for each frame image to be compression-encoded based on the calculated change parameter. Through this processing, it is determined whether each frame image is finally subjected to compression coding into an I picture, a P picture, or a B picture, and at the same time, the value of M shown in FIG. 2 is determined. Subsequently, in step 604, the prediction method determination unit 109 determines a picture structure in which compression encoding is performed on an image constituting moving image data.
  • FIG. 9 shows coding in frame image units This section describes the procedure for determining the method and determining the picture structure to be subjected to compression encoding.
  • FIG. 9 is composed of the processing of steps 91 to 914. Of these steps, steps 91 and 902 are processes executed by the above-described change parameter / night calculation unit 108, and are described in order to clarify the process flow.
  • the prediction method determination unit 109 executes the processing from step 903.
  • steps 93 to 9110 are processes for determining an encoding method for each frame image
  • steps 91 to 91 are compression encoding. This is the process of determining the picture structure to be performed.
  • step 903 the prediction method determination unit 109 determines whether or not the change parameter overnight C f calculated by the change parameter overnight calculation unit 108 is larger than the first threshold TH1. to decide. If the change parameter Cf is greater than the first threshold value TH1, the process proceeds to step 904 assuming that the motion of the moving image is fast. Otherwise, the process proceeds to step 907.
  • step 904 the prediction method determination unit 109 reduces the interval M between the reference images shown in FIG. 2 by a predetermined value (for example, 1), and sets the interval between the I picture and the P picture or the P picture and the P picture. Make the distance from the picture narrower.
  • the moving picture coding apparatus 100 can increase the frequency of appearance of frame pictures to be coded as I-pictures or P-pictures, and can cope with fast-moving moving pictures.
  • the prediction method determination unit 1 09 determines whether the value of M after the change is smaller than the minimum value Mmin. If the value of M is smaller than the minimum value Mmin, the process proceeds to step 906; otherwise, the process proceeds to step 911.
  • step 906 the prediction method determination unit 109 sets the value of M after the change to the minimum value Mmin, and proceeds to step 911.
  • step 907 the prediction method determination unit 109 compares the value of the change degree parameter Cf with the second threshold value TH2. If the value of the parameter of change Cf is smaller than the second threshold value TH2, the process proceeds to step 908; otherwise, the process proceeds to step 911.
  • step 908 the prediction method determination unit 109 increases the interval M between the reference images shown in FIG. 2 by a predetermined value (for example, 1), and sets the interval M between the I picture and the P picture or the P picture. Increase the interval with the P picture. As a result, efficient coding can be performed even for a moving image having a slow motion.
  • a predetermined value for example, 1
  • step 909 the prediction method determining unit 109 determines whether or not the value of M after the change is larger than the maximum value Mmax. If the value of M is greater than the maximum value M max, go to step 910; otherwise, go to step 911. In step 910, the prediction method determination unit 109 sets the value of M after the change to the maximum value M max, and proceeds to step 911.
  • the prediction method determination unit 109 can determine the interval between the I picture and the P picture or the interval between the P picture and the P picture. As a result, especially when the degree of change parameter is large, that is, the temporal change of the moving image signal is relative to the spatial change. When it is large, the prediction method determination unit 109 can reduce the interval M between the reference screens to prevent a decrease in prediction efficiency.
  • the change degree parameter C f is calculated for an image that is compression-encoded as an I picture or a P picture, and the B picture is not considered. This is because the B picture is not used as a reference screen, and there is no need to perform the processing up to this point. However, it is possible to calculate the change degree parameter of the B picture and determine the interval of the reference screen using the parameter value.
  • determining the picture structure means determining whether the unit of the image to be compression-encoded is a frame image or each of the field images constituting the frame image.
  • the former picture structure is called “frame structure”
  • the latter picture structure is called “field structure”.
  • step 911 the prediction method determination unit 109 determines whether or not the change degree parameter C f calculated in step 902 is larger than the third threshold TH3. If the change degree parameter C f is larger than the third threshold value TH 3, the process proceeds to step 9 12; otherwise, the process proceeds to step 9 13.
  • step 912 the prediction method determination unit 109 sets the picture structure of the image to be coded after the frame image for which the degree-of-change parameter is calculated to be coded in the field structure. The reason for this is that it is necessary to prevent a drop in prediction efficiency because the change in the moving image is considered to be drastic. When the motion of the moving image is fast, compression Prediction can be performed accurately, and the quality of the moving image after compression encoding can be maintained at a high level. Thereafter, the process ends.
  • step 913 the change degree parameter C f is compared with a fourth threshold value TH. If the change degree parameter C f is smaller than the fourth threshold value TH 4, the process proceeds to step 9 14; otherwise, the process ends.
  • step 914 the prediction method determination unit 109 sets the picture structure of the image to be subsequently encoded to be encoded in the frame structure, and ends the processing.
  • the prediction efficiency is reduced by making the I picture or the P picture into a field structure. Can be prevented.
  • the B picture may be coded with the same structure as the picture structure of the I picture or P picture coded immediately before.
  • the picture structure of the B picture may be directly determined using the change degree parameter C f, or the picture structure may be fixed.
  • the change parameter of the candidate picture of the I picture or the P picture is calculated, and the picture structure of the image is switched to the frame structure or the field structure. Only the switch may be made.
  • Steps 9 01 to 9 14 in FIG. 9 are processing procedures in which the prediction method determination unit 109 continuously realizes the processing of steps 603 and 604. Can independently perform only the process corresponding to step 603 or only the process corresponding to step 604.
  • Figure 10 shows Step 6 0
  • Fig. 11 shows the processing procedure for determining the encoding method for each frame image, which corresponds to step 3.
  • Fig. 11 shows the processing procedure for determining the picture structure for compression encoding, which corresponds to step 604. Show.
  • the steps shown in FIGS. 10 and 11 the same steps as those shown in FIG. 9 are denoted by the same reference numerals. As is clear from the figure, all the steps are included in FIG. 9, and the description of each figure is omitted.
  • the processing unit stores the moving image stored in the memory.
  • Image data is compressed and encoded to generate compressed data.
  • the picture structure is a frame structure and each frame image is compression-coded as I, B, and P pictures as shown in the upper part of FIG. 3 (c) (“input order”)
  • the code The encoding order control unit 110 decides to perform encoding in the order shown in the lower part of FIG. 3C (“encoding order”).
  • the motion vector detection unit 103 and the DCT / quantization unit 105 read and process the image data of the frame image in that order, and then process the image data in other components to obtain I, B , A compressed image including P-pictures is generated.
  • step 606 of FIG. 6 the processing of steps 602 to 605 is repeated until the compression encoding is completed for all the moving image data.
  • compressed data is generated from moving image data.
  • FIGS. 12A and 12B show the data structure of the picture data included in the generated compressed data.
  • FIG. 12 (a) shows the data structure of picture data compressed and coded by the frame structure.
  • image data is placed after the picture header Is done.
  • the picture header mainly includes a picture type field and a picture structure field.
  • a picture type indicating whether the picture of the picture data is an I picture, a B picture, or a P picture is described.
  • the picture structure field information indicating whether the picture of the picture data has a frame structure or a field structure is described.
  • the picture structure field describes information indicating "frame structure".
  • the image data contains a mixture of the data of the first field image and the data of the second field image, and the fields are separated when the compression-encoded image data is reproduced.
  • Fig. 12 (b) shows the data structure of pictures (frame images) compressed and encoded by the field structure.
  • the data structure includes a first field picture header, a second field picture header, and a second field picture header in order from the first field picture header.
  • the first field image can be obtained based on the first field picture header and the first field image data.
  • the second field image can be obtained based on the second field picture header and the second field image data.
  • the data structure of the picture header includes a picture type field and a picture structure field as in the case of the frame structure described above.
  • the picture type indicating "I-field” is described in the picture header for the first field, and the second field In the picture header for use, a picture type indicating "I field” or "P field” is described.
  • Picture structure fee Each field contains information indicating which field it is.
  • Fig. 13 shows the relationship between the degree of change parameter and the picture structure of the compressed data.
  • I, B and P indicate an I picture, a B picture and a P picture, respectively.
  • the numbers after I, B and P indicate the frame numbers from the first I picture.
  • the picture structure of pictures (I1, B2, P3, etc.) surrounded by solid lines is a frame structure, and the picture structure of pictures (P4 to P6) surrounded by broken lines is a field structure. I do.
  • the encoding order is pictures II, P3, and B2.
  • the picture structure of the succeeding picture P4 has been changed to a field structure. This is because the change parameter overnight C f calculated for the picture P 3 satisfies C f> TH 1 and C f> TH 3.
  • the change parameter C f calculated in relation to the picture P 5 satisfies C f ⁇ TH4.
  • the picture structure is changed from the field structure to the frame structure (step 914).
  • M 1
  • the first field of the I picture may be set to the I field and the second field may be set to the P field.
  • the picture structure of the I picture ZP picture may match the picture structure of the immediately preceding I picture or P picture.
  • the picture structure of the B picture may be made to match the picture structure of the I picture or P picture to be referred to.
  • FIG. 14 shows a procedure of a process of determining a coding method of a frame image at a predetermined cycle and determining a picture structure to be subjected to compression coding.
  • the “constant period” means, for example, the period from one I picture to the next I picture (the interval N in Fig. 2), the period of the P picture (the interval M in Fig. 2), and a period that is an integral multiple of them. It is.
  • I picture and P picture mean candidate images to be compression-coded as I picture and P picture.
  • a group of pictures consisting of the first I picture and a plurality of subsequent P and B pictures is called a GOP (Group of Picture).
  • the GOP is approximately 0.5 seconds long in terms of video playback time.
  • the “period” is the period from the I picture to the next I picture (ie, G
  • step 1401 the degree-of-change parameter calculation unit 108 determines whether or not the image to be encoded is a candidate image (top image) at the top of the GOP. If it is the first image, the process proceeds to step 1402; otherwise, the process proceeds to step 1403.
  • step 1402 the change degree parameter overnight calculation unit 108 initializes the value of the parameter SumCf to 0, and proceeds to step 1403.
  • the parameter S u mC f is used to hold the sum total of the change parameter C f.
  • step 1403 the change parameter calculator 108 calculates the change parameter C f of the image, and in the next step 1404, adds it to the value of the parameter SumC f to obtain the value. Update the parameter SumC f with the result.
  • step 1405 the degree-of-variation parameter calculation unit 108 determines whether or not the image currently being processed is the last candidate image in the GOP cycle. If the image is the last candidate image, go to step 1406; otherwise, After the processing shown in FIG. 14 is completed, the image is compression-encoded without changing the encoding conditions. Then, the process from the reproduction step 1401 is performed on the next image of the image.
  • step 1406 the prediction method determination unit 109 determines the encoding condition according to the following procedure. First, in step 1406, the prediction method determination unit 109 determines whether the value of the parameter SumCf is greater than the fifth threshold value TH5 or not. If the value of the parameter SumCf is greater than the threshold value TH5, proceed to step 1407, otherwise proceed to step 1410.
  • the prediction method determination unit 109 sets the interval M between reference images (I-pictures or P-pictures) included in the next cycle and thereafter to be smaller by a predetermined value (for example, 1). This means that the coding condition is set for the image of the next cycle based on the tendency of the image included in the current cycle.
  • step 1408 the prediction method determination unit 109 determines whether or not the value of M after the change is smaller than the minimum value Mmin. If the value of M is smaller than the minimum value Mmin, go to step 1409; otherwise, go to step 144. In step 1409, the prediction method determination unit 109 sets the value of M after the change to the minimum value Mmin, and proceeds to step 144. Steps 1408 and 1409 are provided for the same reasons as steps 905 and 906 in FIG.
  • step 1410 the prediction method determining unit 109 compares the value of the parameter SumCf with the sixth threshold TH6. When the value of the parameter SumCf is smaller than the threshold value TH6, the process proceeds to step 1411. Otherwise, the process proceeds to step 1414.
  • step 1441 the prediction method determination unit 109 sets the interval M between reference images included in the next cycle and thereafter to be larger by a predetermined value (for example, 1). That is, as described in step 1407, the encoding condition is set for the image in the next cycle based on the tendency of the image included in the current cycle.
  • step 1442 the prediction method determination unit 109 determines whether or not the value of M after the change is larger than the maximum value Mmax. If the value of M is greater than the maximum value Mm aX, proceed to steps 14 13, otherwise proceed to steps 14 14. In step 1413, the prediction method determination unit 109 sets the value of M after the change to the maximum value Mmax, and proceeds to step 1414.
  • Steps 1414 to 1417 are processing for determining a picture structure which is an encoding condition of an image in the next cycle.
  • the prediction method determination unit 109 compares the value of the parameter SumCf with the seventh threshold value. If the value of the parameter SumC ⁇ is greater than the threshold value TH7, proceed to step 1415, otherwise proceed to step 1416.
  • step 1415 it is set so that an image of the specified picture type, which is included in the next cycle or later, is encoded in the field structure. This is because the value of the parameter SumC ⁇ is larger than the threshold value ⁇ 7, and it is considered that each image changes greatly. Therefore, it is necessary to prevent the prediction efficiency from decreasing in the next cycle.
  • Steps 1416 the value of the parameter SumCf is compared with the eighth threshold TH8. If the change degree parameter C f is smaller than the eighth threshold TH 8, the process proceeds to step S 14 17. Otherwise, the process ends.
  • the prediction method determination unit 10 Reference numeral 9 denotes an image included in the next cycle or later, which is set so that the image of the specified picture is encoded in a frame structure, and the processing ends.
  • the interval M between the reference images is reduced and the I picture Alternatively, by making the P-picture a field structure, it is possible to prevent a decrease in prediction efficiency.
  • FIG. 15 (a) shows a configuration of a functional block of the encoding system 10.
  • the encoding system 10 includes an encoding device 100, a transmitting unit 150, and a recording unit 15 1.
  • the encoding system 10 is constructed as a broadcast facility in a broadcasting station, for example.
  • the edited moving image is converted into compressed data by the moving image encoding device 100, and is transmitted from the transmitting unit 150 to each home via a transmission medium such as a radio wave or a transmission line.
  • the compressed data output from the moving picture encoding device 100 is recorded on the recording medium 200 by the recording unit 151.
  • the recording medium 200 includes, for example, an optical recording medium such as an optical disk, a semiconductor recording medium such as an SD memory card, and a magnetic recording medium such as an eighty disk. If the image quality is comparable to the conventional image quality, the amount of compressed data will be smaller, so the bandwidth and transmission time required for transmission can be reduced, or the recording capacity required for the recording medium 200 will be reduced. it can.
  • the encoding system 10 can be realized by using a general-purpose PC.
  • the video encoding device 100 is, for example, an encoder port incorporated in a PC. If the input video signal is a TV signal, 10 records the compressed data relating to the television program on the hard disk 200 in the hard disk drive 151.
  • FIG. 15 (b) shows the functional block configuration of the decryption system 11.
  • the decoding system 11 includes a receiving unit 160, a reading unit 161, a decoding device 300, and a display unit 170.
  • the decoding system 11 is constructed, for example, as a video and audio system constructed in the home of a television viewer.
  • the receiving unit 160 is an antenna for receiving a radio wave carrying compressed data or a receiving port of a set-top box for receiving a broadcast signal carrying compressed data.
  • the reading / reading unit 161 is a drive device for reading compressed data recorded on the recording medium 200, a memory capacity slot (not shown), or the like.
  • the decoding device 300 has a function of decoding compressed data.
  • the compressed data when the compressed data is generated in accordance with the MPEG standard, the data structure shown in FIG. 12 is analyzed. It is an MPEG decoder that can decode based on the analysis results. However, in the present invention, since the decoding function does not particularly matter, the description of the decoding device 300 is omitted.
  • the display section 170 is a television having speed. The viewer can receive the compressed data in the decoding system 11 or read out and decode it from the recording medium 200 to view the moving image.
  • the configuration and operation of the video encoding device 100 have been described above.
  • the image coding apparatus 100 dynamically controls the intervals between I-pictures and P-pictures and / or P-pictures based on a degree of change parameter indicating the degree of change in a moving image. .
  • the picture structure can be dynamically switched between the frame structure and the field structure to improve the coding efficiency. Therefore, the video encoding device 100
  • the quality of the reproduced image is high if the data amount is the same, and the data amount is smaller if the image quality is the same. Therefore, according to the present invention, it is possible to realize compression encoding while maintaining sufficient quality, and to realize compression encoding more efficiently.
  • the specific values of the threshold values TH1 to TH8 mentioned in the above description are determined freely by a manufacturer that manufactures the moving picture coding device 1 ⁇ 0 according to the specifications of the device. Can be. Alternatively, it can be freely determined according to the required compression quality.
  • the moving image to be processed by the moving image encoding apparatus 100 has been described as being an in-even-one-race video
  • the present invention can also be applied to a progressive video.
  • progressive video since there is no field image but only a frame image, for example, two consecutive frame images displayed every 1/60 second are used, It can be treated as the first and second fields described.
  • F (x, y) in (Equation 1) and the like are replaced with the pixel values (x, y) of the first frame image, and F (x, y + 1) is replaced in the second frame. What is necessary is just to replace it with the pixel value G 2 (X, y) of the image.
  • F (x, y) is the pixel value of the first frame image.
  • the above-described processing of the data processing apparatus 100 is performed based on a computer program.
  • a computer program For example, the process of generating compressed data is shown in Figure 6. It is realized by executing a computer program described based on the flowchart shown in FIGS.
  • the computer program can be recorded on a recording medium such as an optical recording medium represented by an optical disk, an SD memory card, a semiconductor recording medium represented by an EEPROM, and a magnetic recording medium represented by a flexible disk.
  • the optical disk device 100 can acquire a computer program not only via a recording medium but also via an electric communication line such as an Internet.
  • a data processing device and method capable of more efficiently performing compression encoding of moving image data while maintaining sufficient quality.
  • INDUSTRIAL APPLICABILITY The present invention is useful in data processing applications such as recording, transmission, and reproduction of compression-encoded data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像に特に動きの激しい画像が含まれるような場合であっても符号化効率を低下することなく動画像データを圧縮符号化するデータ処理装置等を提供する。動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られる。装置(100)は、動画像データを格納するメモリ(101)と、２つのフィールド画像の動画像データに基づいて、動画像の変化の程度を示すパラメータを算出する算出部(108)と、算出されたパラメータに基づいて、画面内および前方向予測符号化方式によって圧縮符号化される画像単位、および、画像単位を規定するピクチャ構造を決定する決定部(109)と、メモリに格納された動画像データを、決定されたピクチャ構造にしたがって圧縮符号化し、圧縮データを生成する処理部(102-107,110)とを備えている。

Description

データ処理装置およびデータ処理方法 技術分野
本発明は、 動画像データを高能率に圧縮する動画像符号化技術に 関する。 明 田
背景技術
動画像データを高能率に圧縮する符号化技術として、 画面内符号 化、 前方向予測符号化および双方向予測符号化のいずれかを選択し て符号化する M P E G 1、 M P E G 2等が知られている。
このような動画像符号化技術を用いて符号化すると、 動画像には、 多くの場合、 画面内符号化方式によって圧縮符号化された画像 （以 下、 「 I ピクチャ」 と称する） と、 前方向予測符号化方式によって 圧縮符号化された画像 （以下、 「Pピクチャ」 と称する） と、 双方 向予測符号化方式によって圧縮符号化された画像 （以下、 「Bピク チヤ」 と称する） とが混在する。 I ピクチャは、 時間方向の予測を 用いることなくその画像のデ一夕のみを用いて符号化される。 Pピ クチャは、 前に位置する I ピクチャまたは Pピクチャを参照して予 測符号化される。 一方、 Bピクチャは、 前後に位置する I ピクチャ および Pピクチャを参照して予測符号化される。 参照される画像は 参照画像と呼ばれ、 各ピクチャタイプにしたがって予測に用いる参 照画像が設定される。
図 1は、 双方向予測による動画像データの予測構造を示す。 図中 の I 、 Pおよび Bは、 それぞれ I ピクチャ、 Pピクチャおよび Bピ クチャを示す。 図示される予測構造における符号化順序は、 I I、 P 4、 B 2、 B 3、 P 7、 B 5および B 6である。 図 1において、 ピクチャ I 1は画面内符号化される。 ピクチャ P 4は、 ピクチャ I 1を参照画像として前方向予測符号化される。 ピクチャ B 2および B 3は、 ピクチャ I 1とピクチャ P 4を参照画像として双方向予測 符号化される。 さらに、 ピクチャ P 7はピクチャ P 4を参照画像と して前方向予測符号化され、 ピクチャ B 5および B 6は、 それぞれ ピクチャ P 4および P 7の 2枚のピクチャを参照画像として双方向 予測符号化される。
通常、 I ピクチャ、 Pピクチャおよび Bピクチャは周期的に配置 される。 図 2は、 I ピクチャ、 Pピクチャおよび Bピクチャの配置 を示す。 一般に、 I ピクチャは Nフレームおきに配置され、 I ピク チヤ同士の間には Mフレームおきに Pピクチャが配置される。 この とき、 I ピクチャとその直後の Pピクチャとの間、 または Pピクチ ャとその直後の Pピクチャとの間には （M— 1 ) 枚の Bピクチャが 設けられる。 図 3 (a) 、 （b) および （c ) は、 それぞれ、 M = 1、 M= 2および M= 3の場合における動画像データ入力時と符号 化時の各ピクチャタイプの順序との対応関係を示す。
図 3 (a) に示すように、 M= lの場合は、 動画像は I ピクチャ と Pピクチヤのみで構成されており、 Bピクチャが存在しない。 し たがって、 動画像内の画像の符号化順序は変更されず、 符号化時の 処理遅延は発生しない。 次に、 図 3 (b) に示すように、 M= 2の 場合には Iピクチャ （または Pピクチャ） とその直後の Pピクチャ との間には 1枚の Bピクチャが存在する。 この場合には、 Bピクチ ャの符号化開始までに 1フレームの処理遅延が生じる。 Bピクチャ は、 その前後に位置する参照画像 （ I ピクチャおよび Pピクチャ） が符号化されるまでは符号化を開始できないため、 入力時の各ピク チヤタイプの順序を変更して Bピクチャを符号化しなければならな いからである。
図 3 ( c ) に示すように、 M = 3の場合は、 I ピクチャ （または Pピクチャ） とその直後の Pピクチャとの間には 2枚の Bピクチャ が存在する。 この場合には、 図 3 ( b ) と同様の理由により、 Bピ クチャの符号化開始までには 2フレームの遅延が生じる。
Bピクチャを用いる理由は、 前方向予測と後方向予測とを組み合 わせた双方向予測を用いることにより予測効率を向上できるからで ある。 また、 Bピクチャは、 I ピクチャや Pピクチヤのように、 後 に続く予測符号化において参照画像として利用されることがないた め、 予測符号化時の誤差が伝播することがない。 従って、 I ピクチ ャゃ Pピクチャに比べて少ない割当て符号量で符号化しても視覚的 に画質の劣化が目立ちにくいという利点もある。 一方、 Bピクチャ を用いると、 Pピクチャの前方向予測における参照画像の間隔 Mは、 Bピクチャが揷入される分だけ離れることになり、 特に動きが速い 動画像に対しては予測が当たりにくいという欠点がある。
これらに鑑みれば、 動画像データの特性に応じて前方向予測にお ける参照画像の間隔 Mを動的に切り替えることによって符号化効率 を向上させることができる。
前方向予測における参照画像の間隔 Mを動的に切り替えて符号化 を行う従来の技術として、 例えば日本国特開平 9 一 2 9 4 2 6 6号 公報、 特開平 1 0— 3 0 4 3 7 4号公報および特開 2 0 0 1— 1 2 8 1 7 9号公報に記載の技術が挙げられる。
特開平 9 一 2 9 4 2 6 6号公報には、 符号化されたフレームの動 きベクトルをスケーリングし、 その大きさが次に符号化するフレー ムの動き探索範囲内に収まるように参照画像の間隔 Mを制御する技 術が記載されている。
特開平 1 0— 3 0 4 3 7 4号公報には、 符号化ブロックで得られ る予測誤差またはァクティビティを用いてフレーム間予測の予測効 率を算出し、 この予測効率に応じて参照画像の間隔 Mを制御する技 術が記載されている。
特開 2 0 0 1— 1 2 8 1 7 9号公報には、 各ピクチャタイプの発 生符号量または符号化複雑度を用いてフレーム間予測性能を算出し、 この予測性能に応じて参照画像の間隔 Mを制御する技術が記載され ている。
参照画像の間隔 Mを切り替える以外にも、 1フレームの画像が 2 つのフィールド画像から構成されるィンターレース方式の動画像に 対しては、 ピクチャ構造を切り替えることによつて参照画像を切り 替え、 符号化効率を向上させることができる。 ピクチャ構造は符号 化を行う単位であり、 各符号化画像に对してフレーム構造またはフ ィールド構造を選択することができる。 ピクチャ構造としてフレー ム構造が選択されると、 フレーム画像単位で符号化が行われる。 一 方、 フィールド構造が選択されると、 1フレームを構成する第 1フ ィールド画像と第 2フィ一ルド画像のそれぞれを単位として符号化 が行われる。
以下では、 画面内符号化が行われるフィ一ルド画像を Iフィール ド、 前方向予測符号化が行われるフィ一ルド画像を Pフィ一ルド、 双方向予測符号化が行われるフィ一ルド画像を Bフィ一ルドと称す る。 また、 第 1フィールド画像のタイプに着目して、 第 1フィール ド画像が Iフィールドであるフレームを I フレーム、 Pフィールド であるフレームを Pフレーム、 Bフィールドであるフレームを Bフ レームと称する。
図 4 ( a ) 、 （b ) および （c ) は、 フィールド構造におけるピ クチャタイプと参照画像との関係を示す。 図 4 ( a ) は Iフレーム、 図 4 ( b ) は Pフレーム、 図 4 ( c ) は Bフレームを示す。 図 4
( a ) の Iフレーム は、 第 1フィールド画像および第 2フィール ド画像を共に Iフィールドとするタイプと、 第 1フィールド画像を Iフィ一ルド、 第 2フィ一ルド画像を Pフィールドとするタイプの いずれかが選択される。 第 2フィ一ルド画像を Pフィ一ルドにする 場合には、 同じフレーム内の第 1フィールド画像を参照画像とする。 図 4 ( b ) の Pフレームでは、 第 1フィールド画像については直前 に符号化された I フィールドまたは Pフィールドを予測符号化の参 照画像とする。 第 2フィールド画像については、 同じフレーム内の 第 1フィールド画像 （直前のフィールド画像） を参照画像として用 いることができる。 この結果、 第 2フィ一ルド画像に対する参照画 像の間隔が 1フィールドになるため、 特に動きの速い画像に対して 予測効率を向上させることができる。 図 4 ( c ) の Bフレームでは、 第 1フィールド画像および第 2フィールド画像ともに、 前後のフレ —ムの I フィールドまたは Pフィールドを予測符号化の参照画像と する。
近年は、 動画像の動きが特に速い場合であっても、 十分な品質を 保持した圧縮符号化を実現するとともに、 より効率的に圧縮符号化 する技術が求められている。 これらを実現するためには、 動画像の 動きが速いか否かの判定や、 十分な品質を保持し、 データサイズを 小さくするための符号化制御等を改善する必要があり、 従来の技術 では十分ではない。 3 009843
本発明の目的は、 動画像デ一夕の圧縮符号化において、 動画像の 動きの速さをより確実に判定すること、 および、 特に動きの速い画 像が含まれるような場合であっても、 符号化方式および符号化単位 を動的に切り替える制御を行うことにより、 十分な品質を保持した 効率的な圧縮符号化を実現することである。 発明の開示
本発明によるデータ処理装置は、 動画像を表す動画像データを、 画面内符号化方式、 前方向予測符号化方式および双方向予測符号化 方式のいずれかによつて所定の画像単位で圧縮符号化する。 前記動 画像は、 各々が 2つのフィ一ルド画像から構成される複数のフレー ム画像を連続的に表示して得られる。 データ処理装置は、 前記動画 像データを格納するメモリと、 前記 2つのフィ一ルド画像の動画像 データに基づいて、 前記動画像の変化の程度を示すパラメータを算 出する算出部と、 前記算出部によって算出された前記パラメ一夕に 基づいて、 画面内符号化方式および前方向予測符号化方式によって 圧縮符号化される画像単位、 および、 前記所定の画像単位を規定す るピクチャ構造を決定する決定部と、 前記メモリに格納された前記 動画像データを、 前記決定部によって決定された前記ピクチャ構造 にしたがって圧縮符号化し、 圧縮データを生成する処理部とを備え ている。
ある好ましい実施形態において、 前記算出部は、 前記 2つのフィ ールド画像間の前記動画像データの変化量に基づいて時間方向変化 量を求め、 および、 前記 2つのフィールド画像の各々について画像 内の前記動画像データの変化量に基づいて空間方向変化量を求め、 前記時間方向変化量および前記空間方向変化量に基づいて前記パラ メータを算出する。
ある好ましい実施形態において、 前記 2つのフィールド画像は、 前記フレーム画像の奇数ラインに対応する第 1フィールド画像およ び偶数ラインに対応する第 2フィ一ルド画像であり、 前記算出部は、 前記フレーム画像内で互いに隣接する前記第 1フィールド画像のラ ィンおよび前記第 2フィールド画像のラインを特定して、 各ライン の画像データの差分に基づいて前記時間方向変化量を算出し、 かつ、 前記算出部は、 前記第 1フィ一ルド画像および前記第 2フィ一ルド 画像の各画像内で隣接するラインを特定して、 各ラインの画像デー 夕の差分に基づいて前記空間方向変化量を算出する。
ある好ましい実施形態において、 前記算出部は、 各フレーム画像 を複数のブロックに分割して、 前記ブロックごとの画像データに基 づいて前記時間方向変化量および前記空間方向変化量を算出し、 各 プロックの時間方向変化量および各空間方向変化量に基づいて、 全 てのプロック数に対する前記動画像の変化量が所定量以上のブロッ クの比を前記パラメータとして算出する。
ある好ましい実施形態において、 前記決定部は、 前記パラメ一夕 が所定の閾値よりも大きい場合には、 前記ピクチャ構造をフィール ド構造に決定し、 前記処理部は、 前記動画像データを前記フィ一ル ド画像単位で圧縮符号化する。
ある好ましい実施形態において、 前記決定部は、 前記画面内符号 化方式によって圧縮符号化するフィールド画像の数および前記前方 向予測符号化方式によって圧縮符号化するフィールド画像の数の少 なくとも一方を増加する。
ある好ましい実施形態において、 前記決定部は、 フィールド画像 を前記画面内符号化方式または前記前方向予測符号化方式のみによ つて圧縮符号化する。
ある好ましい実施形態において、 前記決定部は、 前記算出部によ つて算出された前記パラメ一夕が前記所定の閾値よりも小さくなつ た場合には、 前記ピクチャ構造をフレーム構造に決定し、 前記処理 部は、 前記動画像データを前記フレーム画像単位で圧縮符号化する。
ある好ましい実施形態において、 前記決定部は、 前方向予測符号 化方式によって圧縮符号化される第 1画像と前記第 1画像を参照し て予測符号化される第 2画像とが連続している場合には、 前記第 2 画像のピクチャ構造をフィールド構造に決定し、 連続していない場 合には前記第 2画像のピクチャ構造をフレーム構造に決定する。
ある好ましい実施形態において、 前記決定部は、 前方向予測符号 化方式によって圧縮符号化される第 1画像と前記第 1画像を参照し て予測符号化される第 2画像とが連続している場合には、 前記第 2 画像のピクチャ構造をフレーム構造またはフィ一ルド構造に決定し、 連続していない場合には前記第 2画像のピクチャ構造をフレーム構 造に決定する。
ある好ましい実施形態において、 前記決定部は、 画面内符号化方 式によって圧縮符号化される複数の画像または前方向予測符号化方 式によって圧縮符号化される複数の画像に基づいて決定される周期 に応じて、 前記前方向予測符号化方式によって圧縮符号化される画 像のピクチャ構造を決定する。
ある好ましい実施形態において、 前記決定部は、 画面内符号化方 式によって圧縮符号化される前記複数の画像に基づいて決定される 周期に応じて、 前記前方向予測符号化方式によって圧縮符号化され る画像のピクチャ構造を決定する。
ある好ましい実施形態において、 前記決定部は、 前方向予測符号 化方式によって圧縮符号化される前記複数の画像に基づいて決定さ れる周期に応じて、 前記前方向予測符号化方式によって圧縮符号化 される画像のピクチャ構造を決定する。
ある好ましい実施形態において、 前記決定部は、 画面内符号化方 式によって圧縮符号化される第 1画像と、 前記第 1画像を参照して 前方向予測符号化方式によって圧縮符号化される第 2画像とが連続 している場合には、 前記第 1画像のピクチャ構造をフィ一ルド構造 に決定し、 かつ、 前記第 1画像を構成する第 1フィールド画像およ び第 2フィールド画像のうち、 前記第 1フィールド画像を画面内符 号化方式によって圧縮符号化し、 前記第 2フィールド画像を前方向 予測符号化方式によって圧縮符号化することを決定する。
ある好ましい実施形態において、 前記決定部は、 画面内符号化方 式によって圧縮符号化される画像のピクチャ構造を、 画面内符号化 方式によって圧縮符号化された直前の画像または前方向予測符号化 方式によって圧縮符号化された直前の画像のピクチャ構造に一致さ せることを決定する。
ある好ましい実施形態において、 前記決定部は、 画面内符号化方 式によって圧縮符号化される画像のピクチャ構造を、 画面内符号化 方式によって圧縮符号化される直後の画像または前方向予測符号化 方式によって圧縮符号化される直後の画像のピクチャ構造に一致さ せることを決定する。
ある好ましい実施形態において、 前記決定部は、 双方向予測符号 化方式によって圧縮符号化される第 1画像のピクチャ構造を、 前記 第 1画像によって参照される参照画像のピクチャ構造に一致させる ことを決定する。
本発明によれば、 データ処理システムは、 上述のデータ処理装置 と、 前記データ処理装置の処理部によって生成された前記圧縮デ一 夕を伝送媒体上に送信する送信部とを備えている。
本発明によれば、 データ処理システムは、 上述のデータ処理装置 と、 前記データ処理装置の処理部によって生成された前記圧縮デ一 夕を記録媒体に記録する記録部とを備えている。
本発明による他のデータ処理装置は、 動画像を表す動画像データ を、 画面内符号化方式、 前方向予測符号化方式および双方向予測符 号化方式のいずれかによつて所定の画像単位で圧縮符号化する。 前 記動画像は、 複数のフレーム画像を連続的に表示して得られる。 デ —夕処理装置は、 前記動画像データを格納するメモリと、 連続する 2つのフレーム画像間の前記動画像データの変化量を示す時間方向 変化量、 および、 前記 2つのフレーム画像の各々について画像内の 前記動画像データの変化量を示す空間方向変化量を算出し、 前記時 間方向変化量および前記空間方向変化量に基づいて、 前記動画像の 変化の程度を示すパラメータを算出する算出部と、 前記算出部によ つて算出された前記パラメータに基づいて、 前記複数のフレーム画 像の各々について圧縮符号化方式を決定する決定部と、 前記メモリ に格納された前記動画像データを、 前記決定部によって決定された 方式にしたがって圧縮符号化し、 圧縮データを生成する処理部とを 備えている。
ある好ましい実施形態において、 前記動画像は、 各々が 2つのフ ィ一ルド画像から構成される複数のフレーム画像を連続的に表示し て得られ、 前記 2つのフィールド画像は、 前記フレーム画像の奇数 ラインに対応する第 1フィールド画像および偶数ラインに対応する 第 2フィールド画像であり、 前記算出部は、 前記フレーム画像内で 互いに隣接する前記第 1フィ一ルド画像のラインおよび前記第 2フ ィ一ルド画像のラインを特定して、 各ラインの画像データの差分に 基づいて前記時間方向変化量を算出し、 かつ、 前記算出部は、 前記 第 1フィールド画像および前記第 2フィールド画像の各画像内で隣 接するラインを特定して、 各ラインの画像データの差分に基づいて 前記空間方向変化量を算出する。
ある好ましい実施形態において、 前記算出部は、 前記 2つのフレ ーム画像における同じ位置の 2つのラインを特定して、 各ラインの 画像データの差分に基づいて前記時間方向変化量を算出し、 かつ、 前記 2つのフレーム画像の一方の画像内で隣接するラインを特定し て、 各ラインの画像データの差分に基づいて前記空間方向変化量を 算出する。
ある好ましい実施形態において、 前記決定部は、 前記画面内符号 化方式によって圧縮符号化するフレーム画像の数および前記前方向 予測符号化方式によって圧縮符号化するフレーム画像の数の少なく とも一方を増加する。
ある好ましい実施形態において、 前記決定部は、 前記フレーム画 像を前記画面内符号化方式または前記前方向予測符号化方式のいず れかのみによって圧縮符号化する。
本発明によれば、 データ処理システムは、 上述のデ一夕処理装置 と、 前記データ処理装置の処理部によって生成された前記圧縮デー 夕を伝送媒体上に送信する送信部とを備えている。
本発明によれば、 データ処理システムは、 上述のデータ処理装置 と、 前記データ処理装置の処理部によって生成された前記圧縮デー タを記録媒体に記録する記録部とを備えている。
本発明によれば、 データ処理方法は、 動画像を表す動画像データ を、 画面内符号化方式、 前方向予測符号化方式および双方向予測符 号化方式のいずれかによつて所定の画像単位で圧縮符号化する。 前 記動画像は、 各々が 2つのフィ一ルド画像から構成される複数のフ レーム画像を連続的に表示して得られる。 データ処理方法は、 前記 動画像データを格納するステップと、 前記 2つのフィールド画像の 動画像データに基づいて、 前記動画像の変化の程度を示すパラメ一 夕を算出するステップと、 算出された前記パラメータに基づいて、 画面内符号化方式および前方向予測符号化方式によって圧縮符号化 される画像単位、 および、 前記所定の画像単位を規定するピクチャ 構造を決定するステップと、 前記動画像データを、 決定された前記 ピクチャ構造にしたがって圧縮符号化し、 圧縮データを生成するス テツプとを包含する。
また、 本発明によれば、 他のデータ処理方法は、 動画像を表す動 画像データを、 画面内符号化方式、 前方向予測符号化方式および双 方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号 化する。 前記動画像は、 複数のフレーム画像を連続的に表示して得 られる。 データ処理方法は、 前記動画像データを格納するステップ と、 連続する 2つのフレーム画像間の前記動画像データの変化量を 示す時間方向変化量、 および、 前記 2つのフレーム画像の各々につ いて画像内の前記動画像データの変化量を示す空間方向変化量を算 出するステップと、 前記時間方向変化量および前記空間方向変化量 に基づいて、 前記動画像の変化の程度を示すパラメ一夕を算出する ステップと、 算出された前記パラメ一夕に基づいて、 前記複数のフ レーム画像の各々について圧縮符号化方式を決定するステツプと、 格納された前記動画像データを、 決定された方式にしたがって圧縮 符号化し、 圧縮データを生成するステップとを包含する。 図面の簡単な説明
図 1は、 双方向予測による動画像データの予測構造を示す図であ る。
図 2は、 I ピクチャ、 Pピクチャおよび Bピクチャの配置を示す 図である。
図 3 (a) 〜 （c) は、 それぞれ M= 1〜 3の場合における動画 像データ入力時および符号化時の各ピクチャタイプの順序の対応関 係を示す図である。
図 4 ( a) は I フレームの参照関係を示す図であり、 （b) は P フレームの参照関係を示す図であり、 （ c) は Bフレームの参照関 係を示す図である。
図 5は、 本実施形態における動画像符号化装置 1 0 0の機能プロ ックの構成を示す図である。
図 6は、 動画像符号化装置 1 0 0の処理の流れを示すフロ一チヤ —トである。
図 7は、 時間方向変化量 （A) および空間方向変化量 （B) の概 念を示す図である。
図 8は、 フレ一ム画像を複数のプロックに分割したときの例を示 す図である。
図 9は、 予測方法決定部 1 0 9がフレーム画像単位で符号化方式 を決定し、 圧縮符号化を行うピクチャ構造を決定する処理の手順を 示すフローチヤ一トである。
図 1 0は、 フレーム画像単位で符号化方式を決定する処理の手順 を示すフローチヤ一トである。
図 1 1は、 圧縮符号化を行うピクチャ構造を決定する処理の手順 を示すフローチヤ一トである。 図 1 2 ( a ) は、 フレーム構造によって圧縮符号化されたピクチ ャデータのデ一夕構造を示す図であり、 （b ) は、 フィ一ルド構造 によって圧縮符号化されたフレーム画像データのデータ構造を示す 図である。
図 1 3は、 変化度パラメータと圧縮データのピクチャ構造との関 係を示す図である。
図 1 4は、 所定の周期でフレーム画像の符号化方式を決定し、 圧 縮符号化を行うピクチャ構造を決定する処理の手順を示すフローチ ヤー卜である。
図 1 5 ( a ) は、 符号化システム 1 0の機能ブロックの構成を示 す図であり、 （b ) は、 復号化システム 1 1の機能ブロックの構成 を示す図である。 発明を実施するための最良の形態
以下、 添付の図面を参照しながら、 本発明の実施形態を説明する。 図 5は、 本実施形態における動画像符号化装置 1 0 0の機能プロ ックの構成を示す。 動画像符号化装置 1 0 0は、 テレビ信号等の動 画像信号に基づいて得られる動画像データを、 例えば M P E G 2規 格に基づいて圧縮符号化し、 圧縮データを出力する。 動画像データ は、 動画像を表すデータであり、 個々のフレーム画像のデータを含 む。 また動画像データは、 音声に関する音声データを含んでいても よい。 動画像は、 複数のフレーム画像や音声が連続的に表示される ことにより視聴の対象となる。
以下、 動画像符号化装置 1 0 0の構成を説明する。 動画像符号化 装置 1 0 0は、 入力画像用メモリ 1 0 1と、 復号画像用メモリ 1 0 2と、 動きべクトル検出部 1 0 3と、 動き補償予測部 1 0 4と、 D C T /量子化部 1 0 5と、 逆量子化/逆 D C T部 1 0 6と、 可変長 符号化部 1 0 7と、 変化度パラメータ算出部 1 0 8と、 予測方法決 定部 1 0 9と、 符号化順序制御部 1 1 0とを有する。
入力画像用メモリ 1 0 1は、 受け取った動画像信号を動画像デー 夕として符号化時まで格納する。 動画像データは、 連続した複数の 画像を特定できる形式でメモリ 1 0 1に格納されている。 また、 メ モリ 1 0 1は、 符号化順序に起因する各画像の処理遅延に対して十 分な枚数分の画像データを格納できる。 この結果、 動画像符号化装 置 1 0 0において動画像データを圧縮符号化するとき、 各画像デ一 夕の符号化順序が入力順序に対して変更された場合でも、 処理を継 続できる。 例えば、 図 3 ( c ) に示すピクチャタイプの並びに対し ては、 入力画像用メモリ 1 0 1は少なくとも 4フレーム画像分の画 像データを格納できる。 動画像データは、 後述する符号化順序制御 部 1 1 0で指定される符号化順序に従って符号化される。
復号画像用メモリ 1 0 2は、 逆量子化/逆 D C Τ部 1 0 6で復号 された画像データと、 動き補償予測部 1 0 4で得られた動き補償予 測画像データとを加算した復号画像データを格納する。 復号画像デ —夕は、 後に、 動きベクトル検出部 1 0 3および動き補償予測部 1 0 4において参照画像の画像データとして用いられる。
動きべクトル検出部 1 0 3は、 復号用画像用メモリ 1 0 2に格納 されている画像データを参照して、 入力画像用メモリ 1 0 1内の画 像データの画像が動いた （変化した） 量を動きベクトルとして検出 する。
動き補償予測部 1 0 4は、 動きべクトル検出部 1 0 3で検出され た動きベクトルおよび復号画像用メモリ 1 0 2内の復号画像データ を用いて動き補償予測画像データを生成する。 D C T/量子化部 1 0 5は、 予測誤差デ一夕を離散コサイン (Discrete Cosine Transform; D C T) 変換し、 指定された量子化 値によって量子化する。 予測誤差データは、 入力画像用メモリ 1 0 1内の画像データと動き補償予測部 1 04によって生成された動き 補償予測画像データとの差分に相当する。 なお、 D CT/量子化部 1 0 5は、 動き補償予測画像データを用いることなく、 入力画像デ —タそのものを処理することも可能である。
逆量子化/逆 D C Τ部 1 0 6は、 処理対象の画像を I ピクチャお よび Pピクチャとして処理する場合に、 0〇丁/量子化部 1 0 5で 得られた符号化データに対して逆量子化および逆離散コサイン変換 を行い、 参照画像として用いるための復号画像を生成する。
可変長符号化部 1 0 7は、 0 (：丁/量子化部 1 0 5で離散コサイ ン変換され、 量子化されたデータ、 および、 動きベクトル検出部 1 0 3で検出された動きべク卜ルに関する動き位置情報を可変長符号 化し、 圧縮デ一夕を出力する。
変化度パラメ一夕算出部 1 0 8は、 入力画像用メモリ 1 0 1に格 納されている各画像の画像デ一夕に対して、 画像特徴量から得られ る時間方向変化量および空間方向変化量を用いて変化度パラメータ を算出する。 ここで、 画像特徴量とは、 画像内の各座標の画素デー 夕 （例えば輝度データ） の値をいい、 画像データを構成する要素で ある。 また、 変化度パラメ一夕とは、 動画像を構成する複数の画像 を比較したときに、 表示される各画像の内容に関する変化の程度 (激しさまたは速さ） を示すパラメ一夕である。 変化度パラメ一夕 算出部 1 0 8のより具体的な処理は後に詳述する。
予測方法決定部 1 0 9は、 変化度パラメ一夕算出部 1 0 8によつ て算出された変化度パラメータに基づいて、 符号化する画像の参照 画像およびピクチャ構造を決定する。
符号化順序制御部 1 1 0は、 予測方法決定部 1 0 9において決定 された予測方法に従って、 入力画像用メモリ 1 0 1に格納されてい る画像データの符号化順序を制御する。
本発明による動画像符号化装置 1 0 0の主要な特徴の一つは、 変 化度パラメータ算出部 1 0 8および予測方法決定部 1 0 9において 行われる処理にある。 そこで、 以下では動画像符号化装置 1 0 0の 動作を説明しながら、 これらの構成要素の処理を詳細に説明する。 なお、 参照符号 1 0 2〜 1 0 7、 1 1 0によって示される他の構成 要素については、 特に説明する場合を除き、 包括的に 「処理部」 と 称することとする。
また、 以下では、 動画像はインタ一レース方式の映像であるとし て説明する。 したがって、 1つのフレーム画像は 2つのフィールド 画像から構成される。
図 6は、 動画像符号化装置 1 0 0の処理の流れを示す。 まず、 ス テツプ 6 0 1において、 動画像符号化装置 1 0 0は動画像信号を受 け取り、 動画像データとして入力画像用メモリ 1 0 1に格納する。 次に、 ステップ 6 0 2において、 変化度パラメ一タ算出部 1 0 8は、 複数の画像の動画像データに基づいて、 変化度パラメータを算出す る。 具体的には、 まず、 変化度パラメータ算出部 1 0 8は、 フレー ム画像を構成する第 1フィールド画像および第 2フィ一ルド画像間 の画像データの変化量に基づいて時間方向変化量を求める。 さらに， 変化度パラメ一夕算出部 1 0 8は、 第 1フィールド画像および第 2 フィ一ルド画像のそれぞれについて、 画像内の画像デ一夕の変化量 に基づいて空間方向変化量を求める。 その後、 変化度パラメ一タ算 出部 1 0 8は、 時間方向変化量および空間方向変化量に基づいて変 化度パラメ一夕を算出する。 以下、 図面を参照しながら、 より詳し く説明する。
なお、 本実施形態では、 時間方向変化量および空間方向変化量を 計算する対象となるフレーム画像は、 I ピクチャまたは Pピクチャ として圧縮符号化される候補画像とする。 候補画像は動画像符号化 装置 1 0 0において予め定められた規則に基づいて仮に決定されて いる。 例えば、 入力された動画像データに含まれるフレーム画像の うち、 Nフレームおきに I ピクチャの候補画像が決定され、 I ピク チヤ同士の間で Mフレームおきに Pピクチャの候補画像が決定され る。 なお、 各フレーム画像が最終的に I， P , Bピクチャのいずれ になるかは、 動画像符号化装置 1 0 0の一連の処理によって後に決 定される。
図 7は、 時間方向変化量 （A ) および空間方向変化量 （B ) の概 念を示す。 まず、 フレーム画像は、 2つのフィールド画像によって 構成される。 便宜的に、 第 1フィールド画像をフレーム画像の奇数 ライン （図の黒色のライン） に対応する画像とし、 第 2フィールド 画像をフレーム画像の偶数ライン （図の白色のライン） に対応する 画像とする。
時間方向変化量 D t ( A ) は、 フレーム画像内で垂直方向に互い に隣接する 2画素の画像データの差分 （A ) を加算して平均した値 として求めることができる。 「隣接する 2画素」 は、 第 1フィール ド画像の画素および第 2フィールド画像の画素である。 一方、 空間 方向変化量 D s ( B ) は、 第 1フィールド内および第 2フィールド 内で、 それぞれ垂直方向に隣接する 2画素の画像デ一夕の差分 ( B ) を加算して平均した値として求めることができる。
変化度パラメ一夕算出部 1 0 8は、 （数 1 ) および （数 2 ) によ り、 時間方向変化量 D tおよび空間方向変化量 D sを算出する。 (数 1 )
Dt =∑ I F(x， y)一 F(x, y+1) 11 Nt
x，y
(数 2)
Ds =∑ I F(x， y)一 F(x， y+2) |/Ns
x，y ここで、 F (x， y) は画面内の座標 （x， y ) における画素値 (例えば輝度） を表し、 N tおよび N sはそれぞれ （数 1) および (数 2) において加算される差分データの個数を表す。 動画像の動 き （変化） が小さい場合は、 時間方向変化量 D tは空間方向変化量 D sに比べて相対的に小さくなる。 これは、 フィールド相関よりも フレーム相関が強いということを表す。 一方、 動画像の動きが速く なるにつれて時間方向変化量 D tが大きくなり、 フレーム相関に対 してフィールド相関が強くなる。 ここで、 対象とする画像の変化度 パラメータ C f の値は、 （数 1) および （数 2) で求めた時間方向 変化量 D tおよび空間方向変化量 D sを用いて、 （数 3) により算 出することができる。
(数 3)
' Cf= l (Dt = = 0力、つ Ds = = 0のとき） (上記以外のとき）
Figure imgf000021_0001
ただし、 Aは変化度パラメ一タ C f の取りうる値を調整するため の定数であり、 1より大きい数とする。
(数 3) から理解されるように、 時間方向変化量 D tが大きいほ ど変化度パラメータ C f の値は大きくなる。 逆に言えば、 変化度パ ラメ一夕 C f が大きいほど動画像の動きが速い。 特に、 1つのフレ ーム画像を構成する 2つのフィ一ルド画像の画像デ一夕に基づいて 変化度パラメータ C f を算出することにより、 極めて動きが速い動 画に対しても十分対応できる。
また、 時間方向変化量のみに基づいて動画像の動きの速さを判断 すると、 動画像内のオブジェク卜が 1画素ずれただけでも動きが速 いと判断してしまうことがあるが、 さらに空間方向変化量に基づい て判断することにより、 わずかな画素のずれの影響は低減される。 よって動画像の動きの速さをより正確に判断できる。
なお、 （数 1 ) および （数 2 ) においては、 時間方向変化量 D t および空間方向変化量 D sを求める際に差分の絶対値平均を用いた が、 （数 4 ) および （数 5 ) のように差分の 2乗平均を用いてもよ い。 （数 4 ) および （数 5 ) における各項の意味は （数 1 ) および (数 2 ) と同じである。 また、 差分量を用いた他の算出式によって 時間方向変化量 D tおよび空間方向変化量 D sを求めてもよい。
(数 4 )
2
D ∑ { F(x, y)一 F(x, y+1) } I Nt
x，y
(数 5 )
Ds =∑ { F(x， y)一 F(x, y+2) } %1 Ns ここまでは、 図 7を参照しながら、 フレーム画像またはフィール ド画像全体の画素データを用いて時間方向変化量および空間方向変 化量を求め、 変化度パラメータ C f の値を求める手順を説明した。 しかし、 変化度パラメ一夕 C f は他の手順によっても求めることが できる。 以下、 その手順を説明する。
図 8は、 フレーム画像を複数のプロックに分割したときの例を示 す。 変化度パラメータ算出部 1 0 8は、 フレーム画像を複数のプロ ック （例えば 1 6 X 1 6画素） に分割して、 ブロックごとに （数
6) および （数 7) により時間方向変化量 D t—b 1 kおよび空間 方向変化量 D s— b 1 kを算出する。 時間方向変化量 D t_b 1 k は、 プロック内で垂直方向に互いに隣接する 2画素の画像データの 差分を加算して平均した値として求めることができる。 一方、 空間 方向変化量 D s— b 1 kは、 各ブロック内の奇数ラインに対応する フィールド内および偶数ラインに対応するフィールド内で、 それぞ れ垂直方向に隣接する画素同士の差分 （B) を加算して平均した値 として求めることができる。
(数 6)
Dt.blk =∑ I F(x, y)一 F(x, y+l) 11 Nt_blk
x，y
(数 7)
Ds_blk =∑ I F(x, y) - F(x, y+2) 11 Ns.blk
x，y ただし、 F (x, y ) はブロック内の座標 （x， y ) における画 素データを表し、 N t— b 1 kおよび N s— b 1 kはそれぞれ （数 6 ) および （数 7) において加算される差分データの個数を表す。 変化度パラメ一夕算出部 1 0 8は、 求めた時間方向変化量 D t— b 1 kおよび空間方向変化量 D s— b 1 kを用いて、 ブロックごと にフィールド相関が高いか否かを （数 8) により判定する。 （数 8) を満たす場合、 そのブロックはフィールド相関が高いブロック と考えられ、 動画像の動き （変化） が速いことを意味する。
(数 8)
Dt.blk > Kl-Ds.blkかつ Dt_bik > K2
ただし、 （数 8) における Κ 1および Κ 2は定数とする。
変化度パラメ一夕算出部 1 0 8は、 フィールド相関が高いと判定 したブロックの数をカウントし、 "H i g h_b 1 k s " として保 持する。 そして、 変化度パラメ一夕算出部 1 0 8は、 カウン卜した ブロック数 H i g h_b 1 k sと、 判定に用いた全てのブロックの 数 （ "A l 1— b l k s " ) との比を （数 9) により算出し、 これ をそのフレーム画像の変化度パラメ一夕 C f とする。
(数 9)
High— blks
Cf =
All blks なお、 （数 6) および （数 7) においては、 ブロックの時間方向 変化量 D t_b 1 kおよび空間方向変化量 D s_b 1 kを求める際 に差分の絶対値平均を用いたが、 （数 1 0) および （数 1 1 ) のよ うに差分の 2乗平均を用いてもよい。 （数 1 0) および （数 1 1) における各項の意味は （数 6) および （数 7) と同じである。 また. 差分量を用いた他の算出式によってプロックの時間方向変化量 D t — b 1 kおよび空間方向変化量 D s _b 1 kを求めてもよい。 例え ば、 MP E G 2等の符号化において、 マクロブロック （ 1 6 X 1 6 画素のブロック） の D CTモード （フレーム D CTとフィールド D CT) を決定する際に用いる評価値をそれぞれ、 時間方向変化量 D t _ b 1 kおよび空間方向変化量 D s _ b 1 kとして使用すること も可能である。
(数 1 0 )
Dt blk =∑ { F(x, y)一 F(x, y+1) } Nt blk
x，y (数 1 1 )
Ds blk =∑ { F(x， y)一 F(x, y+2) } Ns blk なお、 （数 9 ) においては、 フィールド相関が高いと判定された ブロックの割合を変化度パラメ一夕 c f としているが、 フィールド 相関が高いと判定されたブロック数 （ " H i g h _ b 1 k s " の 値） そのものを変化度パラメータ C ίとしてもよい。
以上のようにして、 変化度パラメ一夕算出部 1 0 8は、 1つのフ レーム画像を構成する 2つのフィ一ルド画像の画像データに基づい て変化度パラメ一夕 C f を算出する。
次に図 6のステツプ 6 0 3において、 予測方法決定部 1 0 9は、 算出した変化パラメータに基づいて、 圧縮符号化を行うフレーム画 像ごとに符号化方式を決定する。 この処理により、 各フレーム画像 が最終的に I ピクチャ、 Pピクチャおよび Bピクチャのいずれに圧 縮符号化されるかが決定され、 同時に図 2に示す Mの値が決定され る。 続いて、 ステップ 6 0 4において、 予測方法決定部 1 0 9は、 動画像データを構成する画像について圧縮符号化を行うピクチャ構 造を決定する。
以下、 予測方法決定部 1 0 9が実行するステップ 6 0 3および 6 0 4の処理を詳しく説明する。 図 9は、 フレーム画像単位で符号化 方式を決定し、 圧縮符号化を行うピクチャ構造を決定する処理の手 順を示す。 図 9は、 ステップ 9 0 1〜 9 1 4の処理から構成されて いる。 このうち、 ステップ 9 0 1および 9 0 2は上述の変化度パラ メ一夕算出部 1 0 8によって実行される処理であり、 処理の流れを 明確にするために記載している。 予測方法決定部 1 0 9は、 ステツ プ 9 0 3以降の処理を実行する。
図 9のステップ 9 0 3〜 9 1 4の ち、 ステップ 9 0 3〜 9 1 0 がフレーム画像ごとに符号化方式を決定する処理であり、 ステップ 9 1 1〜 9 1 4が圧縮符号化を行うピクチャ構造を決定する処理で ある。
まず、 フレーム画像ごとに符号化方式を決定するためのステツプ 9 0 3〜 9 1 0の処理を説明する。 ステツプ 9 0 3において、 予測 方法決定部 1 0 9は、 変化度パラメ一夕算出部 1 0 8によって算出 された変化度パラメ一夕 C f が第 1の閾値 T H 1よりも大きいか否 かを判断する。 変化度パラメ一夕 C f が第 1の閾値 T H 1よりも大 きい場合には、 動画像の動きが速いとしてステツプ 9 0 4に進み、 そうでない場合にはステップ 9 0 7に進む。
ステップ 9 0 4において、 予測方法決定部 1 0 9は、 図 2に示す 参照画像の間隔 Mを所定の値 （例えば 1 ) だけ小さくし、 I ピクチ ャと Pピクチヤとの間隔または Pピクチャと Pピクチャとの間隔を より狭くする。 これにより、 動画像符号化装置 1 0 0は、 I ピクチ ャまたは Pピクチャとして符号化するフレーム画像の出現頻度を多 くすることができ、 動きが速い動画像に対応することができる。 ただし、 間隔を変更した後の参照画像の間隔 Mが小さくなりすぎ ると （例えば 0になると） 不都合が生じるので、 その値を制限する 必要がある。 そこで、 ステップ 9 0 5において、 予測方法決定部 1 0 9は変更後の Mの値が最小値 M m i nよりも小さいか否かを判断 する。 Mの値が最小値 Mm i nよりも小さい場合にはステップ 9 0 6に進み、 そうでない場合にはステップ 9 1 1に進む。 ステップ 9 0 6では、 予測方法決定部 1 0 9は、 変更後の Mの値を最小値 M m i nに設定してステップ 9 1 1に進む。
ステップ 9 0 7では、 予測方法決定部 1 0 9は、 変化度パラメ一 夕 C f の値を第 2の閾値 T H 2と比較する。 変化度パラメ一夕 C f の値が第 2の閾値 T H 2よりも小さい場合には、 ステップ 9 0 8へ 進み、 小さくない場合にはステップ 9 1 1に進む。 ステップ 9 0 8 では、 予測方法決定部 1 0 9は、 図 2に示す参照画像の間隔 Mを所 定の値 （例えば 1 ) だけ大きくし、 I ピクチャと Pピクチャとの間 隔または Pピクチャと Pピクチャとの間隔をより大きくする。 これ により動きが遅い動画像であっても効率的な符号化が可能になる。 ただし、 変更後の参照画像の間隔 Mが大きくなりすぎると、 入力 画像用メモリ 1 0 1の容量、 符号化時の処理遅延量等に関する不都 合が生じるので、 その値を制限する必要がある。 そこで、 ステップ 9 0 9において、 予測方法決定部 1 0 9は変更後の Mの値が最大値 Mm a Xよりも大きいか否かを判断する。 Mの値が最大値 M m a x よりも大きい場合にはステツプ 9 1 0に進み、 そうでない場合には ステップ 9 1 1に進む。 ステップ 9 1 0では、 予測方法決定部 1 0 9は、 変更後の Mの値を最大値 M m a Xに設定してステップ 9 1 1 に進む。
以上説明した処理により、 予測方法決定部 1 0 9は、 I ピクチャ と Pピクチヤとの間隔または Pピクチャと Pピクチャとの間隔を決 定することができる。 この結果、 特に、 変化度パラメータが大きい とき、 すなわち動画像信号の時間的変化が空間的変化よりも相対的 に大きいときに、 予測方法決定部 1 0 9は参照画面の間隔 Mを小さ くして予測効率の低下を防止できる。
なお、 ステップ 9 0 1および 9 0 2では、 I ピクチャまたは Pピ クチャとして圧縮符号化される画像について変化度パラメータ C f を算出するとしており、 Bピクチャを考慮していない。 これは、 B ピクチャは参照画面として使用されることはなく、 ここまでの処理 を行う必要がないからである。 ただし、 Bピクチャの変化度パラメ 一夕を算出し、 そのパラメ一夕を用いて参照画面の間隔を決定する ことは可能である。
次に、 圧縮符号化を行うピクチャ構造を決定するためのステップ
9 1 1〜 9 1 4の処理を説明する。 まず 「ピクチャ構造を決定す る」 とは、 圧縮符号化する画像の単位をフレーム画像にするか、 ま たは、 フレーム画像を構成する各フィールド画像にするかを決定す ることをいう。 前者のピクチャ構造は 「フレーム構造」 と呼ばれ、 後者のピクチャ構造は 「フィールド構造」 と呼ばれる。
まず、 ステップ 9 1 1では、 予測方法決定部 1 0 9は、 ステップ 9 0 2において算出された変化度パラメータ C f が、 第 3の閾値 T H 3よりも大きいか否かを判断する。 変化度パラメ一夕 C f が、 第 3の閾値 T H 3よりも大きい場合にはステツプ 9 1 2に進み、 そう でない場合にはステップ 9 1 3に進む。 ステップ 9 1 2では、 予測 方法決定部 1 0 9は、 その変化度パラメータが算出されたフレーム 画像以降に符号化する画像のピクチャ構造をフィールド構造で符号 化するように設定する。 その理由は、 動画像の変化が激しいと考え られるため、 予測効率の低下を防ぐ必要があるからである。 動画像 の動きが速い場合にフィールド画像単位で圧縮符号化することによ り予測を的確に行うことができ、 圧縮符号化後の動画像の品質を高 く維持できる。 その後、 処理は終了する。
一方、 ステップ 9 1 3では、 変化度パラメータ C f を第 4の閾値 T H と比較する。 変化度パラメータ C f が第 4の閾値 T H 4より も小さい場合にはステップ 9 1 4に進み、 そうでない場合には処理 を終了する。 ステップ 9 1 4では、 予測方法決定部 1 0 9は、 以後 符号化する画像のピクチャ構造をフレーム構造で符号化するように 設定し、 処理を終了する。
以上の動作により、 特に、 変化度パラメータが大きいとき、 すな わち動画像データの時間的変化が空間的変化より大きいとき、 I ピ クチャまたは Pピクチャをフィールド構造とすることによって予測 効率の低下を防ぐことができる。 なお Bピクチャについては、 直前 に符号化される I ピクチャまたは Pピクチャのピクチャ構造と同じ 構造で符号化すればよい。 または、 変化度パラメータ C f を用いて 直接 Bピクチャのピクチャ構造を決定してもよいし、 ピクチャ構造 を固定してもよい。
なお、 図 9の処理では、 I ピクチャまたは Pピクチャの候補画像 の変化度パラメ一夕を算出し、 その画像のピクチャ構造をフレーム 構造またはフィールド構造に切り替えるとして説明したが、 いずれ か一方のピクチャ構造のみを切り替えるとしてもよい。
以上、 図 9を参照しながら、 図 6のステップ 6 0 3および 6 0 4 に関連する処理を詳細に説明した。 図 9のステップ 9 0 1〜 9 1 4 は、 予測方法決定部 1 0 9がステップ 6 0 3および 6 0 4の処理を 連続的に実現する処理手順であるが、 予測方法決定部 1 0 9は、 ス テツプ 6 0 3に対応する処理のみ、 またはステップ 6 0 4に対応す る処理のみを独立して行うことができる。 図 1 0は、 ステップ 6 0 3に対応する、 フレーム画像単位で符号化方式を決定する処理の手 順を示し、 図 1 1は、 ステップ 6 0 4に対応する、 圧縮符号化を行 うピクチャ構造を決定する処理の手順を示す。 図 1 0および図 1 1 に示す各ステツプのうち、 図 9に示すステツプと同じステツプには 同じ参照符号を付している。 図から明らかなように、 全てのステツ プは図 9に含まれているので、 各図の説明は省略する。
次に、 図 6のステップ 6 0 5では、 予測方法決定部 1 0 9におい て決定された符号化方式にしたがって、 かつ、 同じく決定されたピ クチャ構造で、 処理部がメモリに格納された動画像データを圧縮符 号化して圧縮データを生成する。 例えば、 ピクチャ構造がフレーム 構造であり、 かつ、 各フレーム画像が図 3 ( c ) 上段 （ "入力 順" ） に示すように I , B , Pピクチャとして圧縮符号化される場 合には、 符号化順序制御部 1 1 0は、 図 3 ( c ) 下段 （ "符号化 順" ) に示す順序で符号化を行うことを決定する。 すると、 動きべ クトル検出部 1 0 3および D C T /量子化部 1 0 5はその順序でフ レーム画像の画像データを読み出して処理し、 その後、 さらに他の 構成要素において処理されて、 I， B， Pピクチャを含む圧縮デ一 夕が生成される。
そして図 6のステップ 6 0 6において、 全ての動画像データにつ いて圧縮符号化が終了するまで、 繰り返しステップ 6 0 2〜 6 0 5 の処理を繰り返す。 以上のようにして、 動画像データから圧縮デー 夕が生成される。
図 1 2 ( a ) および （b ) は、 生成された圧縮データに含まれる ピクチャデータのデータ構造を示す。 図 1 2 ( a ) は、 フレーム構 造によって圧縮符号化されたピクチャデータのデータ構造を示す。 図から理解されるように、 ピクチャへッダの次に画像データが配置 される。 ピクチャヘッダは、 主としてピクチャタイプフィールドと ピクチャ構造フィールドを含む。 ピクチャタイプフィールドには、 そのピクチャデー夕のピクチャが I ピクチャ、 Bピクチャまたは P ピクチャのいずれであるかを示すピクチャタイプが記述される。 ま たピクチャ構造フィ一ルドには、 そのピクチャデータのピクチャが フレーム構造かフィールド構造かを示す情報が記述される。 図 1 2 ( a ) では、 ピクチャ構造フィールドには 「フレーム構造」 である ことを示す情報が記述される。 画像データは、 第 1フィールド画像 のデータと第 2フィ一ルド画像のデ一夕とを混在して含んでおり、 圧縮符号化された画像データが再生されたときにフィールドが分離 される。
一方、 図 1 2 ( b ) は、 フィールド構造によって圧縮符号化され たピクチャ （フレーム画像） デ一夕のデータ構造を示す。 このデー 夕構造は、 第 1フィールド用ピクチャヘッダから順に、 第 1フィ一 ルド画像デ一夕、 第 2フィールド用ピクチャヘッダおよび第 2フィ 一ルド画像デ一夕を含む。 第 1フィールド画像は、 第 1フィールド 用ピクチャヘッダと第 1フィールド画像データに基づいて取得でき る。 同様に、 第 2フィールド画像は、 第 2フィールド用ピクチャへ ッダと第 2フィールド画像デ一夕に基づいて取得できる。 ピクチャ ヘッダのデータ構造は、 先に説明したフレーム構造の場合と同様、 ピクチャタイプフィールドとピクチャ構造フィールドとを含む。 た だしピクチャタイプはフィールドごとに特定されるので、 Iフレー ムの場合には、 第 1フィールド用ピクチャヘッダには 「 Iフィ一ル ド」 であることを示すピクチャタイプが記述され、 第 2フィールド 用ピクチャヘッダには 「 Iフィールド」 または 「Pフィールド」 で あることを示すピクチャタイプが記述される。 ピクチャ構造フィー ルドには、 それぞれ、 いずれのフィールドであるかを示す情報が記 述される。
図 1 3は、 変化度パラメ一夕と圧縮データのピクチャ構造との関 係を示す。 図で I、 Bおよび Pは、 それぞれ I ピクチャ、 Bピクチ ャおよび Pピクチャを示す。 I、 Bおよび Pの後の数字は、 先頭の I ピクチャからのフレーム番号を示す。 また、 実線で囲まれたピク チヤ （ I 1、 B 2、 P 3等） のピクチャ構造はフレーム構造であり、 破線で囲まれたピクチャ （P 4〜P 6) のピクチャ構造はフィール ド構造とする。
図 1 3において、 まず、 先頭部分のピクチャ I I、 B 2、 P 3は、
M= 2かつフレーム構造で符号化されている。 このとき符号化順序 は、 ピクチャ I I、 P 3、 B 2である。
ところが、 後続のピクチャ P 4のピクチャ構造は、 フィールド構 造に変更されている。 これは、 ピクチャ P 3に関連して算出された 変化度パラメ一夕 C f が、 C f >TH 1かつ C f >TH 3を満たし たからである。 この結果、 参照画像の間隔 Mは M= 2から M= 1に 変更され （図 9のステップ 9 04) 、 さらにピクチャ構造はフィー ルド構造とされる （ステップ 9 1 2) 。 よって、 最終的に参照画像 の間隔は 1フィールドとなり、 動きの速い画像に対しても予測効率 を保つことが可能となる。
次に、 ピクチャ P 4および P 5をフィ一ルド単位で符号化する過 程において、 ピクチャ P 5に関連して算出された変化度パラメ一夕 C f が C f <TH 4を満たしたので、 ピクチャ構造がフィールド構 造からフレーム構造に変更される （ステップ 9 1 4) 。 さらに、 ピ クチャ P 6に関連して算出された変化度パラメータ C ίが C f <Τ H 2を満たしたので、 参照画面の間隔 Mが M= 1から M= 2に変更 されている （ステップ 9 0 7 ) 。
以上の処理の結果、 Pピクチャに関して、 M= lのときはピクチ ャ構造をフィ一ルド構造に設定し、 M≥ 2のときはピクチャ構造を フレーム構造に設定することができる。 ただし、 これは例であり、 例えば M ^ 1のとき、 I ピクチャの第 1フィールドを Iフィールド とし、 第 2フィールドを Pフィールドとしてもよい。 他の例として M= lであっても M≥2であっても、 すなわち Mの値にかかわらず、 Pピクチャのピクチャ構造をフレーム構造にしてもよい。 また、 I ピクチャ ZPピクチャのピクチャ構造を、 直前の I ピクチャまたは Pピクチャのピクチャ構造に一致させてもよい。 さらに、 Bピクチ ャのピクチャ構造を、 参照する I ピクチャまたは Pピクチャのピク チヤ構造に一致させてもよい。
また、 上述の閾値 TH 1〜TH 4について、 TH 1 =TH 3およ び TH 2 =TH 4と設定することによって、 より簡単な制御を実現 できる。 図 1 3に示す例では、 M= 2かつフレーム構造である状態 1および M= 1かつフィールド構造状態 2の間の切り替えのみで足 り、 処理を単純化できる。
ここでは M= 2と M= 1の切替えについて示したが、 例えば M = 3と M= 1のように Mの値を 2以上離して切り替えてもよいし、 M = 3、 M= 2および M= 1等のように Mの値を 3段階以上切り替え てもよい。
次に、 図 1 4を参照しながら、 予測方法決定部 1 0 9が各ピクチ ャの符号化方式およびピクチャ構造を決定する際の他の処理を説明 する。 図 14は、 所定の周期でフレーム画像の符号化方式を決定し. 圧縮符号化を行うピクチャ構造を決定する処理の手順を示す。 「所 定の周期」 とは、 例えば、 ある I ピクチャから次の I ピクチャまで の周期 （図 2の間隔 N) 、 Pピクチャの周期 （図 2の間隔 M) 、 そ れらの整数倍の周期を表すである。
なお、 先の例と同様、 「 I ピクチャ」 および 「Pピクチャ」 は I ピクチャおよび Pピクチャとして圧縮符号化される候補画像を意味 する。 なお、 I ピクチャから次の I ピクチャまでに存在するピクチ ャのうち、 先頭の I ピクチャ、 後続の複数の P, Bピクチャからな るピクチャ群は GOP (Group of Picture) と呼ばれる。 GOPは 動画像の再生時間にすると約 0. 5秒の長さである。 以下では、 「周期」 は I ピクチャから次の I ピクチャまでの周期 （すなわち G
OPの周期） であるとして説明する。
まず、 ステップ 1 40 1において、 変化度パラメータ算出部 1 0 8は符号化を行う画像が GOP先頭の候補画像 （先頭画像） である か否かを判断する。 先頭画像である場合にはステップ 1 40 2に進 み、 先頭画像でない場合にはステップ 1 40 3に進む。 ステップ 1 40 2では、 変化度パラメ一夕算出部 1 0 8はパラメータ S umC f の値を 0に初期化し、 ステップ 140 3に進む。 パラメータ S u mC f は、 変化度パラメ一夕 C f の総和を保持するために用いられ る。
ステップ 1 40 3では、 変化度パラメ一タ算出部 1 0 8は、 画像 の変化度パラメ一夕 C f を算出し、 次のステップ 1 4 04において パラメータ S umC f の値と加算して、 その結果によってパラメ一 夕 S umC f を更新する。 ステップ 1 40 5では、 変化度パラメ一 タ算出部 1 0 8は、 現在処理の対象になつている画像が GOP周期 の最後の候補画像であるか否かを判断する。 その画像が最後の候補 画像である場合にはステツプ 1 40 6に進み、 そうでない場合には 図 1 4に示す処理を終了して、 これまでの符号化条件を変更するこ となくその画像を圧縮符号化する。 そしてその画像の次の画像に対 して、 再ぴステップ 1 4 0 1からの処理が行われる。
ステップ 1 40 6では、 予測方法決定部 1 0 9は、 以下の手順に よって符号化条件を決定する。 まず、 ステップ 1 40 6において、 予測方法決定部 1 0 9はパラメータ S umC f の値が第 5の閾値 T H 5よりも大きいか杏かを判断する。 パラメ一夕 S umC f の値が 閾値 TH 5よりも大きい場合にはステツプ 1 40 7に進み、 そうで ない場合にはステツプ 1 4 1 0に進む。
ステップ 1 40 7では、 予測方法決定部 1 0 9は、 次の周期以降 に含まれる参照画像 （ I ピクチャまたは Pピクチャ） の間隔 Mを所 定の値 （例えば 1 ) だけ小さく設定する。 これは、 現在の周期に含 まれる画像の傾向に基づいて、 次の周期の画像に対して符号化条件 を設定することを意味する。
その後、 ステップ 1 4 0 8において、 予測方法決定部 1 0 9は変 更後の Mの値が最小値 Mm i nよりも小さいか否かを判断する。 M の値が最小値 Mm i nよりも小さい場合にはステップ 140 9に進 み、 小さくない場合にはステップ 1 4 1 4に進む。 ステップ 140 9では、 予測方法決定部 1 0 9は、 変更後の Mの値を最小値 Mm i nに設定してステップ 1 4 1 4に進む。 ステップ 14 0 8および 1 40 9は、 図 9のステップ 9 0 5および 9 0 6と同じ理由から設け られている。
ステップ 1 4 1 0では、 予測方法決定部 1 0 9は、 パラメ一夕 S umC f の値を第 6の閾値 TH 6と比較する。 パラメータ S umC f の値が閾値 TH 6よりも小さい場合にはステップ 1 4 1 1に進み、 そうでない場合にはステツプ 14 1 4に進む。 ステップ 1 4 1 1では、 予測方法決定部 1 0 9は、 次の周期以降 に含まれる参照画像の間隔 Mを所定の値 （例えば 1 ) だけ大きく設 定する。 すなわち、 ステップ 140 7で説明したとおり、 現在の周 期に含まれる画像の傾向に基づいて、 次の周期の画像に対して符号 化条件を設定する。
ステップ 1 4 1 2において、 予測方法決定部 1 0 9は変更後の M の値が最大値 Mm a Xよりも大きいか否かを判断する。 Mの値が最 大値 Mm a Xよりも大きい場合にはステツプ 1 4 1 3に進み、 そう でない場合にはステップ 14 14に進む。 ステップ 1 4 1 3では、 予測方法決定部 1 0 9は、 変更後の Mの値を最大値 Mm a Xに設定 してステツプ 1 4 1 4に進む。
ステップ 1 4 1 4〜 1 4 1 7は、 次の周期の画像の符号化条件で あるピクチャ構造を決定する処理である。 ステップ 1 4 14では、 予測方法決定部 1 0 9はパラメ一夕 S umC f の値と第 7の閾値と 比較する。 パラメータ S umC ίの値が閾値 TH 7よりも大きい場 合にはステップ 1 4 1 5に進み、 そうでない場合にはステップ 1 4 1 6に進む。
ステップ 1 4 1 5では、 次の周期以降に含まれる画像であって、 指定したピクチャタイプの画像をフィールド構造で符号化するよう に設定する。 パラメータ S umC ίの値が閾値 ΤΗ 7よりも大きく 各画像の変化が激しいと考えられるため、 次の周期に関して予測効 率の低下を防ぐ必要があるからである。
一方、 ステップ 1 4 1 6では、 パラメータ S umC f の値を第 8 の閾値 TH 8と比較する。 変化度パラメ一夕 C f が第 8の閾値 TH 8よりも小さい場合にはステップ 14 1 7に進み、 そうでない場合 には処理を終了する。 ステップ 14 1 7では、 予測方法決定部 1 0 9は、 次の周期以降に含まれる画像であって、 指定したピクチャ夕 イブの画像をフレーム構造で符号化するように設定し、 処理を終了 する。
以上の動作により、 特に、 変化度パラメータが大きいとき、 すな わち動画像データの時間的変化が空間的変化に対して相対的に大き いとき、 参照画像の間隔 Mを小さくするとともに I ピクチャまたは Pピクチャをフィールド構造にすることよって、 予測効率の低下を 防止できる。
次に、 圧縮データが生成された後の取り扱いを説明する。 図 1 5 ( a ) は、 符号化システム 1 0の機能ブロックの構成を示す。 符号 化システム 1 0は、 符号化装置 1 0 0と、 送信部 1 5 0と、 記録部 1 5 1とを備えている。 符号化システム 1 0は、 例えば放送局にお いて放送設備として構築される。 編集された動画像は動画像符号化 装置 1 0 0によって圧縮データに変換され、 送信部 1 5 0から電波， 伝送線等の伝送媒体を介して各家庭に伝送される。 または、 動画像 符号化装置 1 0 0から出力された圧縮データは、 記録部 1 5 1によ つて記録媒体 2 0 0に記録される。 記録媒体 2 0 0は、 例えば光デ イスク等の光記録媒体、 S Dメモリカード等の半導体記録媒体、 八 一ドディスク等の磁気記録媒体を含む。 従来の画質と同程度の画質 であれば、 圧縮データのデータ量はより少なくなるので、 伝送に必 要な帯域、 伝送時間等を低減でき、 または記録媒体 2 0 0に必要な 記録容量が低減できる。
また、 符号化システム 1 0は汎用 P Cを用いても実現される。 動 画像符号化装置 1 0 0は、 例えば P Cに組み込まれたエンコーダポ ードである。 入力される動画像信号がテレビ信号の場合には、 P C 1 0は、 テレビ番組に関する圧縮デ一夕を、 ハードディスクドライ ブ 1 5 1内のハ一ドディスク 2 0 0に記録する。
一方、 図 1 5 ( b ) は、 複号化システム 1 1の機能ブロックの構 成を示す。 復号化システム 1 1は、 受信部 1 6 0と、 読み出し部 1 6 1と、 復号化装置 3 0 0と、 表示部 1 7 0とを含む。 復号化シス テム 1 1は、 例えばテレビ視聴者の家庭に構築された映像 ·音響シ ステムとして構築される。 このとき受信部 1 6 0は、 圧縮データが 搬送されている電波を受信するためのアンテナであり、 または圧縮 データが搬送されている放送信号を受信するためのセットトップポ ックスの受信ポートである。 読み出,し部 1 6 1は、 記録媒体 2 0 0 に記録された圧縮データを読み出すためのドライブ装置、 メモリ力 一ドスロッ ト （図示せず） 等である。 復号化装置 3 0 0は、 圧縮デ 一夕のデコード機能を備えており、 例えば圧縮デ一夕が M P E G規 格に準拠して生成されているときは、 図 1 2に示すデータ構造を解 析し、 解析結果に基づいてデコードが可能な M P E Gデコーダであ る。 ただし、 本発明ではデコード機能を特に問題にしないので、 復 号化装置 3 0 0の説明は省略する。 表示部 1 7 0はスピー力を有す るテレビである。 視聴者は、 復号化システム 1 1において圧縮デ一 タを受信し、 または記録媒体 2 0 0から読み出してデコードし、 動 画像を視聴できる。
以上、 動画像符号化装置 1 0 0の構成および動作を説明した。 本 発明による画像符号化装置 1 0 0は、 動画像の変化の程度を示す変 化度パラメ一夕に基づいて、 I ピクチャと Pピクチャおよび/また は Pピクチヤ同士の間隔を動的に制御する。 さらに、 ピクチャ構造 をフレーム構造とフィールド構造をも動的に切り替えて、 符号化効 率を向上させることができる。 よって、 動画像符号化装置 1 0 0に よって生成された圧縮データを従来の符号化装置によって生成され た圧縮データと比較すると、 同じデータ量であれば再生画像の品質 は高く、 また同じ画質であればデ一夕量がより少なくなる。 よって、 本発明によれば、 十分な品質を保持した圧縮符号化を実現するとと もに、 より効率的に圧縮符号化を実現できる。
なお、 これまでの説明で言及した閾値 TH 1〜TH 8の具体的な 値は、 動画像符号化装置 1 ΰ 0を製造するメ一カーがその装置の仕 様に応じて自由に決定することができる。 または、 必要とされる圧 縮デ一夕の品質に応じて自由に決定することができる。
また、 動画像符号化装置 1 0 0による処理対象の動画像はイン夕 一レース方式の映像であるとして説明したが、 本発明はプログレッ シブ方式の映像に対しても適用できる。 ただしプログレッシブ方式 の映像の場合には、 フィールド画像が存在せずフレーム画像のみが 存在するため、 例えば 1 /6 0秒ごとに表示される連続する 2枚の フレーム画像を用いて、 本明細書において説明した第 1フィールド および第 2フィ一ルドとして取り扱うことができる。 このように取 り扱う場合には、 （数 1 ) 等における F (x， y) を第 1フレーム 画像の画素値 (x, y) に置き換え、 F (x， y + 1 ) を第 2 フレーム画像の画素値 G2 ( X , y) に置き換えればよい。 また (数 2) 等では、 F (x, y ) を第 1フレーム画像の画素値
( , y ) に置き換え、 F (x， y + 2 ) を第 1フレーム画像の画 素値 (x， y + 1) に置き換えればよい。 これにより、 インタ 一レース方式について説明した方法と全く同じ処理を行って時間方 向変化量および空間方向変化量を求めることができる。
デ一夕処理装置 1 0 0の上述の処理は、 コンピュータプログラム に基づいて行われる。 例えば、 圧縮データを生成する処理は、 図 6 9、 1 4に示すフローチヤ一トに基づいて記述されたコンピュータ プログラムを実行することによって実現される。 コンピュータプロ グラムは、 光ディスクに代表される光記録媒体、 S Dメモリカード、 E E P R O Mに代表される半導体記録媒体、 フレキシブルディスク に代表される磁気記録媒体等の記録媒体に記録することができる。 なお、 光ディスク装置 1 0 0は、 記録媒体を介してのみならず、 ィ ン夕ーネッ ト等の電気通信回線を介してもコンピュータプログラム を取得できる。 産業上の利用可能性
本発明によれば、 十分な品質を保持しつつ、 より効率的に動画像 データの圧縮符号化を行うことができるデータ処理装置および方法 が提供される。 本発明は、 圧縮符号化されたデータの記録、 伝送、 再生等を行うデータ処理の用途において有用である。

Claims

請 求 の 範 囲
1 . 動画像を表す動画像データを、 画面内符号化方式、 前方向予 測符号化方式および双方向予測符号化方式のいずれかによって所定 の画像単位で圧縮符号化するデータ処理装置であって、
前記動画像は、 各々が 2つのフィールド画像から構成される複数 のフレーム画像を連続的に表示して得られ、
前記動画像データを格納するメモリと、
前記 2つのフィールド画像の動画像データに基づいて、 前記動画 像の変化の程度を示すパラメータを算出する算出部と、
前記算出部によって算出された前記パラメ一夕に基づいて、 画面 内符号化方式および前方向予測符号化方式によって圧縮符号化され る画像単位、 および、 前記所定の画像単位を規定するピクチャ構造 を決定する決定部と、
前記メモリに格納された前記動画像デ一夕を、 前記決定部によつ て決定された前記ピクチャ構造にしたがって圧縮符号化し、 圧縮デ 一夕を生成する処理部と
を備えたデータ処理装置。
2 . 前記算出部は、 前記 2つのフィールド画像間の前記動画像デ 一夕の変化量に基づいて時間方向変化量を求め、 および、 前記 2つ のフィールド画像の各々について画像内の前記動画像データの変化 量に基づいて空間方向変化量を求め、 前記時間方向変化量および前 記空間方向変化量に基づいて前記パラメ一夕を算出する、 請求項 1 に記載のデータ処理装置。
3 . 前記 2つのフィールド画像は、 前記フレ一ム画像の奇数ライ ンに対応する第 1フィールド画像および偶数ラインに対応する第 2 フィールド画像であり、
前記算出部は、 前記フレーム画像内で互いに隣接する前記第 1フ ィ一ルド画像のラインおよび前記第 2フィ一ルド画像のラインを特 定して、 各ラインの動画像データの差分に基づいて前記時間方向変 化量を算出し、 かつ、 前記算出部は、 前記第 1フィールド画像およ び前記第 2フィールド画像の各画像内で隣接するラインを特定して、 各ラインの動画像データの差分に基づいて前記空間方向変化量を算 出する、 請求項 2に記載のデータ処理装置。
4 . 前記算出部は、 各フレーム画像を複数のブロックに分割して、 前記ブロックごとの動画像データに基づいて前記時間方向変化量お よび前記空間方向変化量を算出し、 各ブロックの時間方向変化量お よび各空間方向変化量に基づいて、 全てのブロック数に対する前記 動画像の変化量が所定量以上のブロックの比を前記パラメ一夕とし て算出する、 請求項 2に記載のデータ処理装置。
5 . 前記決定部は、 前記パラメータが所定の閾値よりも大きい場 合には、 前記ピクチャ構造をフィールド構造に決定し、
前記処理部は、 前記動画像データを前記フィールド画像単位で圧 縮符号化する、 請求項 1〜4のいずれかに記載のデータ処理装置。
6 . 前記決定部は、 前記画面内符号化方式によって圧縮符号化す るフィ一ルド画像の数および前記前方向予測符号化方式によって圧 縮符号化するフィールド画像の数の少なくとも一方を増加する、 請 求項 5に記載のデータ処理装置。
7 . 前記決定部は、 フィールド画像を前記画面内符号化方式また は前記前方向予測符号化方式のみによって圧縮符号化する、 請求項 6に記載のデータ処理装置。
8 . 前記決定部は、 前記算出部によって算出された前記パラメ一 夕が前記所定の閾値よりも小さくなった場合には、 前記ピクチャ構 造をフレーム構造に決定し、
前記処理部は、 前記動画像データを前記フレーム画像単位で圧縮 符号化する、 請求項 7に記載のデータ処理装置。
9 . 前記決定部は、 前方向予測符号化方式によって圧縮符号化さ れる第 1画像と前記第 1画像を参照して予測符号化される第 2画像 とが連続している場合には、 前記第 2画像のピクチャ構造をフィー ルド構造に決定し、 連続していない場合には前記第 2画像のピクチ ャ構造をフレーム構造に決定する、 請求項 1〜 4のいずれかに記載 のデータ処理装置。
1 0 . 前記決定部は、 前方向予測符号化方式によって圧縮符号化 される第 1画像と前記第 1画像を参照して予測符号化される第 2画 像とが連続している場合には、 前記第 2画像のピクチや構造をフレ ーム構造またはフィ一ルド構造に決定し、 連続していない場合には 前記第 2画像のピクチャ構造をフレーム構造に決定する、 請求項 1 〜4のいずれかに記載のデータ処理装置。
1 1 . 前記決定部は、 画面内符号化方式によって圧縮符号化され る複数の画像または前方向予測符号化方式によって圧縮符号化され る複数の画像に基づいて決定される周期に応じて、 前記前方向予測 符号化方式によって圧縮符号化される画像のピクチャ構造を決定す る、 請求項 1〜 4のいずれかに記載のデータ処理装置。
1 2 . 前記決定部は、 画面内符号化方式によって圧縮符号化され る前記複数の画像に基づいて決定される周期に応じて、 前記前方向 予測符号化方式によって圧縮符号化される画像のピクチャ構造を決 定する、 請求項 1 1に記載のデータ処理装置。
1 3 . 前記決定部は、 前方向予測符号化方式によって圧縮符号化 される前記複数の画像に基づいて決定される周期に応じて、 前記前 方向予測符号化方式によって圧縮符号化される画像のピクチャ構造 を決定する、 請求項 1 1に記載のデータ処理装置。
1 4 . 前記決定部は、 画面内符号化方式によって圧縮符号化され る第 1画像と、 前記第 1画像を参照して前方向予測符号化方式によ つて圧縮符号化される第 2画像とが連続している場合には、 前記第 1画像のピクチャ構造をフィールド構造に決定し、 かつ、 前記第 1 画像を構成する第 1フィ一ルド画像および第 2フィ一ルド画像のう ち、 前記第 1フィ一ルド画像を画面内符号化方式によって圧縮符号 化し、 前記第 2フィールド画像を前方向予測符号化方式によって圧 縮符号化することを決定する、 請求項 1〜4のいずれかに記載のデ 一夕処理装置。
1 5 . 前記決定部は、 画面内符号化方式によって圧縮符号化され る画像のピクチャ構造を、 画面内符号化方式によって圧縮符号化さ れた直前の画像または前方向予測符号化方式によって圧縮符号化さ れた直前の画像のピクチャ構造に一致させることを決定する、 請求 項 1〜4のいずれかに記載のデータ処理装置。
1 6 . 前記決定部は、 画面内符号化方式によって圧縮符号化され る画像のピクチャ構造を、 画面内符号化方式によって圧縮符号化さ れる直後の画像または前方向予測符号化方式によって圧縮符号化さ れる直後の画像のピクチャ構造に一致させることを決定する、 請求 項 1〜 4のいずれかに記載のデータ処理装置。
1 7 . 前記決定部は、 双方向予測符号化方式によって圧縮符号化 される第 1画像のピクチャ構造を、 前記第 1画像によって参照され る参照画像のピクチャ構造に一致させることを決定する、 請求項 1 〜4のいずれかに記載のデータ処理装置。
1 8 . 請求項 1〜4のいずれかに記載のデータ処理装置と、 前記データ処理装置の処理部によって生成された前記圧縮データ を伝送媒体上に送信する送信部と
を備えた、 データ処理システム。
1 9 . 請求項 1〜4のいずれかに記載のデータ処理装置と、 前記データ処理装置の処理部によって生成された前記圧縮データ を記録媒体に記録する記録部と
を備えた、 データ処理システム。
2 0 . 動画像を表す動画像データを、 画面内符号化方式、 前方向 予測符号化方式および双方向予測符号化方式のいずれかによって所 定の画像単位で圧縮符号化するデータ処理装置であって、
前記動画像は、 複数のフレーム画像を連続的に表示して得られ、 前記動画像データを格納するメモリと、
連続する 2つのフレーム画像間の前記動画像デ一夕の変化量を示 す時間方向変化量、 および、 前記 2つのフレーム画像の各々につい て画像内の前記動画像データの変化量を示す空間方向変化量を算出 し、 前記時間方向変化量および前記空間方向変化量に基づいて、 前 記動画像の変化の程度を示すパラメータを算出する算出部と、 前記算出部によって算出された前記パラメ一夕に基づいて、 前記 複数のフレーム画像の各々について圧縮符号化方式を決定する決定 部と、
前記メモリに格納された前記動画像データを、 前記決定部によつ て決定された方式にしたがって圧縮符号化し、 圧縮データを生成す る処理部と
を備えたデータ処理装置。
2 1 . 前記動画像は、 各々が 2つのフィールド画像から構成され る複数のフレーム画像を連続的に表示して得られ、
前記 2つのフィールド画像は、 前記フレーム画像の奇数ラインに 対応する第 1フィールド画像および偶数ラインに対応する第 2フィ ールド画像であり、
前記算出部は、 前記フレーム画像内で互いに隣接する前記第 1フ ィールド画像のラインおよび前記第 2フィ一ルド画像のラインを特 定して、 各ラインの動画像データの差分に基づいて前記時間方向変 化量を算出し、 かつ、 前記算出部は、 前記第 1フィールド画像およ び前記第 2フィ一ルド画像の各画像内で隣接するラインを特定して、 各ラインの動画像デ一夕の差分に基づいて前記空間方向変化量を算 出する、 請求項 2 0に記載のデータ処理装置。
2 2 . 前記算出部は、 前記 2つのフレーム画像における同じ位置 の 2つのラインを特定して、 各ラインの動画像データの差分に基づ いて前記時間方向変化量を算出し、 かつ、 前記 2つのフレーム画像 の一方の画像内で隣接するラインを特定して、 各ラインの動画像デ 一夕の差分に基づいて前記空間方向変化量を算出する、 請求項 2 0 に記載のデータ処理装置。
2 3 . 前記決定部は、 前記画面内符号化方式によって圧縮符号化 するフレーム画像の数および前記前方向予測符号化方式によって圧 縮符号化するフレーム画像の数の少なくとも一方を増加する、 請求 項 2 2に記載のデータ処理装置。
2 4 . 前記決定部は、 前記フレーム画像を前記画面内符号化方式 または前記前方向予測符号化方式のいずれかのみによって圧縮符号 化する、 請求項 2 2に記載のデ一夕処理装置。
2 5 . 請求項 2 1に記載のデータ処理装置と、
伝送媒体を介して、 前記データ処理装置の処理部によって生成さ れた前記圧縮データを送信する送信部と
を備えた、 データ処理システム。
2 6 . 請求項 2 1に記載のデータ処理装置と、
前記データ処理装置の処理部によって生成された前記圧縮データ を記録媒体に記録する記録部と
を備えた、 データ処理システム。
2 7 . 動画像を表す動画像データを、 画面内符号化方式、 前方向 予測符号化方式および双方向予測符号化方式のいずれかによって所 定の画像単位で圧縮符号化する方法であって、
前記動画像は、 各々が 2つのフィールド画像から構成される複数 のフレーム画像を連続的に表示して得られ、
前記動画像デ一夕を格納するステツプと、
前記 2つのフィールド画像の動画像データに基づいて、 前記動 B 像の変化の程度を示すパラメータを算出するステツプと、
算出された前記パラメータに基づいて、 画面内符号化方式および 前方向予測符号化方式によって圧縮符号化される画像単位 、 およ び、 前記所定の画像単位を規定するピクチャ構造を決定するステツ プと、
前記動画像データを、 決定された前記ピクチャ構造にしたがって 圧縮符号化し、 圧縮データを生成するステップと
を包含するデータ処理方法。
2 8 . 動画像を表す動画像デ一夕を、 画面内符号化方式、 前方向予 測符号化方式および双方向予測符号化方式のいずれかによって所定 の画像単位で圧縮符号化するデータ処理方法であって、
前記動画像は、 複数のフレーム画像を連続的に表示して得られ、 前記動画像デ一夕を格納するステツプと、
• 連続する 2つのフレーム画像間の前記動画像データの変化量を示 す時間方向変化量、 および、 前記 2つのフレーム画像の各々につい て画像内の前記動画像データの変化量を示す空間方向変化量を算出 するステツプと、
前記時間方向変化量および前記空間方向変化量に基づいて、 前記 動画像の変化の程度を示すパラメータを算出するステップと、 算出された前記パラメ一夕に基づいて、 前記複数のフレーム画像 の各々について圧縮符号化方式を決定するステツプと、
格納された前記動画像データを、 決定された方式にしたがって圧 縮符号化し、 圧縮データを生成するステップと
を包含するデータ処理方法。
PCT/JP2003/009843 2002-08-05 2003-08-01 データ処理装置およびデータ処理方法 WO2004014085A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP03766717A EP1507417A4 (en) 2002-08-05 2003-08-01 DATA PROCESSING DEVICE AND DATA PROCESSING METHOD
JP2004525828A JP4192149B2 (ja) 2002-08-05 2003-08-01 データ処理装置およびデータ処理方法
KR20047003659A KR100636465B1 (ko) 2002-08-05 2003-08-01 데이터 처리 장치 및 데이터 처리 방법
US10/515,555 US7929604B2 (en) 2002-08-05 2003-08-01 Data processing device and data processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002227108 2002-08-05
JP2002/227108 2002-08-05

Publications (1)

Publication Number Publication Date
WO2004014085A1 true WO2004014085A1 (ja) 2004-02-12

Family

ID=31492205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/009843 WO2004014085A1 (ja) 2002-08-05 2003-08-01 データ処理装置およびデータ処理方法

Country Status (6)

Country Link
US (1) US7929604B2 (ja)
EP (1) EP1507417A4 (ja)
JP (1) JP4192149B2 (ja)
KR (1) KR100636465B1 (ja)
CN (1) CN100518327C (ja)
WO (1) WO2004014085A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254467B2 (en) * 2008-10-30 2012-08-28 Sensio Technologies Inc. Method and system for scaling compressed image frames
CN104253804B (zh) * 2013-06-28 2017-12-12 广州华多网络科技有限公司 一种传输图像数据的方法及装置
JP6761002B2 (ja) * 2018-07-23 2020-09-23 ファナック株式会社 データ管理装置、データ管理プログラム及びデータ管理方法
CN115396733A (zh) * 2022-09-02 2022-11-25 上海洛塔信息技术有限公司 视频帧传输方法、装置、设备、存储介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678289A (ja) * 1991-07-30 1994-03-18 Sony Corp 画像信号の高能率符号化、復号化装置及び記録媒体
US5666461A (en) 1992-06-29 1997-09-09 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
JP2000102017A (ja) * 1998-09-24 2000-04-07 Mitsubishi Electric Corp 画像符号化装置および画像符号化方式
JP2001061149A (ja) * 1999-08-20 2001-03-06 Kdd Corp フレーム構造／フィールド構造切替式画像符号化装置
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP2002016924A (ja) * 2000-06-27 2002-01-18 Nec Corp トランスコーダ装置およびトランスコード方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3876392B2 (ja) * 1996-04-26 2007-01-31 富士通株式会社 動きベクトル探索方法
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
US6973126B1 (en) * 1999-03-05 2005-12-06 Kdd Corporation Video coding apparatus according to a feature of a video picture
US6115076A (en) * 1999-04-20 2000-09-05 C-Cube Semiconductor Ii, Inc. Compressed video recording device with non-destructive effects addition
JP3531532B2 (ja) * 1999-05-18 2004-05-31 日本電気株式会社 動画像符号化装置、及び方法
JP3757088B2 (ja) * 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678289A (ja) * 1991-07-30 1994-03-18 Sony Corp 画像信号の高能率符号化、復号化装置及び記録媒体
US5666461A (en) 1992-06-29 1997-09-09 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
JP2000102017A (ja) * 1998-09-24 2000-04-07 Mitsubishi Electric Corp 画像符号化装置および画像符号化方式
JP2001061149A (ja) * 1999-08-20 2001-03-06 Kdd Corp フレーム構造／フィールド構造切替式画像符号化装置
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP2002016924A (ja) * 2000-06-27 2002-01-18 Nec Corp トランスコーダ装置およびトランスコード方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
P. GUILLOTEL ET AL.: "Adaptive Encoders: The New Generation of MPEG-2 Encoders", SMPTE JOURNAL, April 2000 (2000-04-01), pages 287 - 294
See also references of EP1507417A4

Also Published As

Publication number Publication date
JPWO2004014085A1 (ja) 2006-09-21
EP1507417A4 (en) 2010-09-29
JP4192149B2 (ja) 2008-12-03
CN1613261A (zh) 2005-05-04
CN100518327C (zh) 2009-07-22
US20050226326A1 (en) 2005-10-13
US7929604B2 (en) 2011-04-19
EP1507417A1 (en) 2005-02-16
KR100636465B1 (ko) 2006-10-19
KR20040035763A (ko) 2004-04-29

Similar Documents

Publication Publication Date Title
US9549195B2 (en) Image decoding device and method thereof using inter-coded predictive encoding code
US8582659B2 (en) Determining a decoding time stamp from buffer fullness
JP4014263B2 (ja) 映像信号変換装置及び映像信号変換方法
US6944224B2 (en) Systems and methods for selecting a macroblock mode in a video encoder
JP4348209B2 (ja) 画像符号化方法および画像復号化方法
TW411698B (en) Methods for encoding and decoding the image sequences
US8442334B2 (en) Image coding method and image decoding method based on edge direction
US20040252758A1 (en) Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
US20060104356A1 (en) Timing for decoder buffer examination
US20050276331A1 (en) Method and apparatus for estimating motion
US7636482B1 (en) Efficient use of keyframes in video compression
WO2004014085A1 (ja) データ処理装置およびデータ処理方法
JP2001169290A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化システム
JPH11262016A (ja) 動画像復号化方法
JP2003235047A (ja) 動画像の符号化方法および復号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2004525828

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 1020047003659

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20038019779

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 10515555

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003766717

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003766717

Country of ref document: EP