WO2006025090A1 - 画像復元装置、画像復元方法、および画像復元プログラム - Google Patents

画像復元装置、画像復元方法、および画像復元プログラム Download PDF

Info

Publication number
WO2006025090A1
WO2006025090A1 PCT/JP2004/012488 JP2004012488W WO2006025090A1 WO 2006025090 A1 WO2006025090 A1 WO 2006025090A1 JP 2004012488 W JP2004012488 W JP 2004012488W WO 2006025090 A1 WO2006025090 A1 WO 2006025090A1
Authority
WO
WIPO (PCT)
Prior art keywords
code data
image
data
restoration
unit
Prior art date
Application number
PCT/JP2004/012488
Other languages
English (en)
French (fr)
Inventor
Masaki Okada
Tomohiro Fukuoka
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to EP04772444A priority Critical patent/EP1788796A4/en
Priority to PCT/JP2004/012488 priority patent/WO2006025090A1/ja
Priority to JP2006531198A priority patent/JPWO2006025090A1/ja
Publication of WO2006025090A1 publication Critical patent/WO2006025090A1/ja
Priority to US11/711,631 priority patent/US20070154102A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Definitions

  • Image restoration apparatus image restoration method, and image restoration program
  • the present invention relates to restoration of image data encoded using orthogonal transform.
  • the transform coefficient of one block is set to N.
  • the first to i-th zone coefficients are encoded and transmitted for one frame, and the i-th (1 ⁇ N) coding is performed. Transmit sequentially from the encoded data to the Nth encoded data. All N sign codes are signed from the DC coefficient, and the order of the transform coefficient, which is the zone of the end of encoding, is increased according to the number of encodings.
  • Patent Document 1 Japanese Patent Laid-Open No. 6-233276
  • Patent Document 1 an image display effect similar to that of progressive coding can be realized by using a decoding device based on sequential codes.
  • a decoding device based on sequential codes.
  • one block of transform coefficients is divided into N zones from low frequency components to high frequency components.
  • the present invention has been made to solve at least one of the problems of the prior art, and when restoring the sequential code data, the same image display as the restoration of the progressive code data is performed.
  • An object of the present invention is to provide an image restoration device, an image restoration method, and an image restoration program capable of producing an effect.
  • An image restoration apparatus of the present invention made to achieve the above object restores image data obtained by restoring code data encoded according to orthogonal transform for each image block having a predetermined number of pixels into image data.
  • the apparatus includes a storage unit that stores code data, and a restoration processing unit that restores the code data stored in the storage unit.
  • the restoration processing unit applies code data to all image blocks. Among these, the preceding process is performed in which the DC code data is preceded and restored to the image data.
  • code data encoded in units of image blocks is stored in a storage unit, and when the restoration processing unit restores image data, all image blocks are processed. , DC code data of code data is restored in advance Processing is performed.
  • the image restoration method or the image restoration program according to the present invention includes an image restoration method or an image restoration method for restoring code data encoded according to orthogonal transformation for each image block having a predetermined number of pixels to image data.
  • the code data encoded after orthogonal transformation for each image block having a predetermined number of pixels is subjected to prior processing with respect to the DC code data, thereby expressing an average feature of the image data in the image block.
  • Image data can be restored in advance.
  • the AC code data is added to the DC code data and the restoration process is performed to restore fine image data including various colors such as individual colors in the image block, luminance, and color difference.
  • the average image data of the image block can be restored in advance.
  • Progressive display can be performed in which a detailed image is displayed after displaying the characteristics of the entire image in advance.
  • each image block has fine image information, and fine image reproduction is performed for each image block at the time of image reproduction. Although displayed, it is possible to sequentially display image information from images with insufficient image quality to fine image quality.
  • An image table with progressive code data that allows the user to grasp the entire image at the initial stage of image reproduction and then gradually displays finer images. An image display effect similar to the display effect can be obtained.
  • the DC image data of the code data is restored in advance, so that the average image feature of each image block is reproduced in advance so that the image feature can be grasped at an early stage. Therefore, it is possible to provide an image restoration apparatus, an image restoration method, and an image restoration program capable of producing an image display effect similar to that when using progressive code data.
  • FIG. 1 is a circuit block diagram of a first embodiment.
  • FIG. 2 is a circuit block diagram of a second embodiment.
  • FIG. 3 is a flowchart of the third embodiment.
  • FIG. 4 is a circuit block diagram of a DC decoding unit.
  • FIG. 5 is a circuit block diagram of an AC decoding unit.
  • FIG. 6 is a conceptual diagram showing grouping when AC code data is divided into multiple stages. Explanation of symbols
  • FIG. 1 shows a circuit block diagram of the image restoration apparatus of the first embodiment.
  • the circuit configuration is such that restoration processing for DC code data and restoration processing for AC code data are performed individually.
  • the storage unit 15 includes a code data storage area 15A in which code data is stored, a DC TEMP area 15B in which DC code data is temporarily stored, and an AC TEMP in which AC code data is temporarily stored. Area 15C and the restored image where the restored image data is stored An image storage area 15D is provided.
  • the code data is data obtained by performing orthogonal transform on image data in an image block having a predetermined number of pixels.
  • high-efficiency encoded data such as JPEG images.
  • the image block having the predetermined number of pixels is 8 ⁇ 8 pixels.
  • Orthogonal transformation is DCT transformation
  • coding is entropy coding.
  • the Huffman code method is generally used as a method of entropy coding.
  • the image data is subjected to DCT conversion, and is divided into 64 blocks, one DC component (Block 0) and AC components (Block 1 to 63) divided into 63 stages from low frequency components to high frequency components. It is divided into.
  • the direct current component (block 0) is a value indicating the average value of 8 ⁇ 8 pixels
  • the alternating current component (blocks 0 to 63) is a value indicating the difference in image components from the 8 ⁇ 8 pixels in P contact. is there.
  • Code data is input from the code data storage area 15A to the DC decoding unit 11A, and among these, decoding processing is performed on the DC component.
  • a DC quantized value obtained by decoding the DC code data is output.
  • AC code data is identified.
  • the identified AC code data is stored in the AC TEMP area 15C in the storage unit 15. In this case, data processing at the data boundary may be performed so that the AC code data can be determined for each image block by the break processing described later in FIG.
  • the DC quantization value is input to the DC inverse quantization unit 12A.
  • the DC coefficient is output by multiplying the corresponding DC quantization coefficient.
  • “1” can also be selected as the DC quantization coefficient to be multiplied by the DC quantization value.
  • the inverse quantization by “1” decreases the dynamic range of the image.
  • the inverse quantization operation performed here is a process for the direct flow rate value as an initial stage for obtaining the same image display effect as the progressive method.
  • the quantization coefficient is not limited to “1”, and has the above effect. Needless to say, a coefficient other than "1" can be used.
  • the DC coefficient output from the DC inverse quantization unit 12A is stored in the DC TEMP region 15B in the storage unit 15 and is input to the DC inverse DCT unit 13A. Furthermore, a pseudo zero value is input as an AC coefficient to the DC inverse DCT unit 13A.
  • the DC inverse DCT unit 13A the inverse DCT transformation is performed on the DCT transformation coefficient in which the feature of the original image is expressed only in the DC coefficient.
  • the DC image data output from the DC inverse DCT unit 13A is stored in the restored image storage area 15D.
  • the stored DC image data is displayed on a display device, and an image is displayed using a DC component. In this case, if DC image data is stored in the restored image storage area 15D, various image processing can be supported.
  • the storage unit 15 it is not always necessary to provide the storage unit 15 with the restored image storage area 15D for storing the DC image data.
  • the restored image can also be set to be displayed on the display device as it is. As a result, the storage area of the storage unit 15 can be compressed.
  • this is an example for realizing a DC decoding unit 11A, a DC inverse quantization unit 12A, and a DC inverse DCT unit 13A force DC restoration processing unit.
  • code data is restored to the image data
  • image data in which only the DC component indicates the image characteristics is obtained in advance by performing the process in the DC restoration processing unit.
  • the AC decoding unit 11B receives AC code data stored in the AC TEMP region 15C, and performs decoding processing.
  • the AC code data stored in the AC TEMP area 15C is data that is identified and stored by the DC decoding unit 11A that performs processing in advance.
  • AC decoding unit; L 1 B , AC inverse quantization unit 12B, and AC inverse DCT unit Thereafter, it is performed in parallel with the processing of the DC restoring unit or after the processing of the DC restoring unit.
  • all the AC code data can be decoded at once, and can be decoded step by step for each predetermined frequency component. The latter will be described in detail in FIGS.
  • the restored image sequentially becomes an image including a high frequency component, and a smoother progressive display becomes possible.
  • An AC quantized value is output from the AC decoding unit 11B.
  • the AC quantization value is input to the AC inverse quantization unit 12B. Multiplying the AC quantization factor To output an AC coefficient.
  • the AC inverse quantization unit 12B Multiplying the AC quantization factor To output an AC coefficient.
  • the AC quantization coefficient to be multiplied by the AC quantization value can be selected as “1”.
  • the force that will reduce the dynamic range of the image The inverse quantization operation performed here is the same image display effect as the progressive method. This is a process in the middle of the image display stage to obtain the image.
  • the image display for the frequency component displayed at this time does not require accuracy, and the quantization coefficient to be multiplied within the range where the entire image feature appears
  • the multiplication operation can be simplified by reducing it to 1 ".
  • the circuit scale can be simplified, and a smoother progressive display effect can be obtained as the arithmetic processing speeds up.
  • the quantization coefficient is not limited to “1”, and any coefficient other than “1” can be used as long as the above-described effect is achieved.
  • the AC coefficient output from the AC inverse quantization unit 12B is input to the AC inverse DCT unit 13B together with the DC coefficient stored in the DC TEMP region 15B in the storage unit 15.
  • the DCT conversion coefficient including the DC coefficient and AC coefficient is subjected to inverse DCT conversion.
  • the image data output from the AC reverse DCT unit 13B is stored in the restored image storage area 15D and displayed as an image.
  • an AC decoding unit 11B, an AC inverse quantization unit 12B, and an AC inverse DCT unit 13B are examples of realizing a force AC restoration processing unit.
  • image data including an AC component in addition to the DC component is obtained by being processed after the processing by the DC restoration processing unit.
  • the DCT conversion coefficient in which the AC coefficient is sequentially added to the DC coefficient is sequentially converted to the inverse DCT, thereby obtaining a more detailed progressive display effect. it can.
  • 8 ⁇ 8 pixels are set as one block as an image block having a predetermined number of pixels, each block is subjected to orthogonal transformation by DCT transformation, Huffman coding is performed, and high-efficiency coding is performed.
  • the resulting sequential code data is used.
  • image restoration processing is performed on the DC code data in advance in the code data. Display an image.
  • the AC decoding unit composed of the AC decoding unit 11B, the AC inverse quantization unit 12B, and the AC inverse DCT unit 13B adds the AC code data to the DC code data and performs image restoration processing. indicate.
  • FIG. 2 shows a circuit block diagram of the image restoration apparatus of the second embodiment.
  • the decoding unit 21, the inverse quantization unit 22, and the inverse DCT unit 23 are commonly provided to process the DC / AC code data.
  • the decoding unit 21 and the inverse quantization unit 22 are configured as an example of a pre-stage reconstruction processing unit
  • the inverse DCT unit 23 is configured as an example of an inverse orthogonal transform unit.
  • This is a circuit configuration in which restoration processing is performed by appropriately selecting and supplying DC code data and AC code data by the selection unit 26 provided as an example of the first selection unit.
  • a selection unit 26 is provided between the storage unit 25 and the decryption unit 21.
  • One of the path through which the code data is supplied from the code data storage area 25A and the path through which the AC code data is supplied from the AC TEMP area 25C is selected.
  • the decoding unit 21 has the function of having both the DC decoding unit 11A and the AC decoding unit 11B. That is, in the selection unit 26, when the path to the code data storage area 25A is selected in advance and the code data is input, the DC code data of the code data is decoded and the DC data is decoded. The quantized value is output. At this time, the AC code data is subjected to a break process, which will be described later, if necessary, and is stored in the AC TEMP area 25C.
  • the AC code data that is input is duplicated. Encoding process is performed. At this time, the AC code data can be divided so that the processing range gradually increases toward the high frequency component by the break processing. . Decoding processing is performed for each segment, and a DC / AC quantized value is output.
  • the DC / AC quantized value decoded by the decoding unit 21 is inversely quantized by the inverse quantization unit 22, and then output to the DC TEMP region 25B, the DC selection unit 27, and the AC selection unit 28. .
  • the DC coefficient is stored in the DC TEMP area 25B, selected by the DC selector 27, and sent to the inverse DCT unit 23.
  • a zero value is selected as an AC coefficient by the AC selector 28 and sent to the inverse DCT 23.
  • an image having a characteristic in the DC coefficient is restored.
  • the DC coefficient is selected by the DC TEMP region 25B force DC selection unit 27 and sent to the inverse DCT unit 23.
  • the AC coefficient is calculated in the inverse quantization unit 22 and sent to the inverse DCT unit 23.
  • the inverse DCT unit 23 a characteristic image including the AC coefficient in addition to the DC coefficient is restored.
  • the decoding unit 21 uses 8 ⁇ 8 pixels as one block, performs orthogonal transformation by DCT transformation for each block, and performs sequential coding data obtained by Huffman coding and high-efficiency coding.
  • the inverse quantization unit 22 and the inverse DCT unit 23 can perform restoration processing.
  • the DC coefficient calculated according to the code data selected by the selection unit 26 is selected by the selection unit 27, and a zero value is selected as the AC coefficient by the AC selection unit 28, indicating the characteristics of the image.
  • Image restoration processing is performed on the DC code data in advance, and an image is displayed.
  • the DC coefficient stored in the DC TEMP region 25B and the AC coefficient output from the inverse quantization unit 22 are selected, respectively, and the characteristics of the image are selected.
  • Image restoration processing is performed on the data from the DC code data shown to the AC code data, and an image is displayed. Accordingly, it is possible to obtain an effect of sequentially displaying images in a similar manner to the image display effect by the progressive data structure, while using the normal sequential code data that is widely spread.
  • the restoration process of the code data including the AC component the AC component to be processed is sequentially restored while gradually expanding to the high frequency component. By performing the processing, it is possible to obtain a progressive display effect with finer sliding force.
  • the restoration unit 21, the inverse quantum unit 22, and the inverse DCT unit 23 can be shared by the DC code data image restoration process and the AC code data image restoration process. It is possible to compress a circuit scale configured as compared with the case of the first embodiment having an individual circuit configuration in each process.
  • the DC code data is processed in advance, and the AC code data is identified by the DC decoding unit 11A or the decoding unit 21 and AC TEMP. It was described as being stored in areas 15C and 25C.
  • the AC code data stored in the AC TEMP areas 15C and 25C is entropy-encoded data, and is compressed data in combination with the characteristics of DCT-converted image data. Even when the storage areas of the storage units 15 and 25 are limited, it is easy to store them as AC TEMP areas 15C and 25C.
  • the alternating TEMP areas 15C and 25C are It is set over the code data storage areas 15A and 25A.
  • the AC code data is subjected to a break process as necessary. Can be overwritten. Thereby, the storage area of the storage units 15 and 25 can be reduced.
  • the DC coefficient force calculated in the process for the DC code data performed in advance The force described as being stored in the DC TEMP area 15B, 15C
  • the DC quantized value is stored
  • the AC inverse quantization unit 12B or the inverse quantization unit 22 is supplied with the AC quantization value.
  • the direct current inverse quantization unit 12A or the inverse quantization unit 22 that supplies the alternating current coefficient of the negative value to the direct current inverse DCT unit 13A or the inverse DCT unit 23
  • the DC / AC inverse quantization unit 12A / 12B and the inverse quantization unit 22 are not subjected to arithmetic processing, and the calculated quantization value is directly used as the DC / AC inverse DCT unit 13AZ 13B. Or, it can be configured to be supplied to the reverse DCT unit 23.
  • FIG. 3 shows a flowchart for data processing of the present invention by software as a third embodiment.
  • the image restoration process When the image restoration process is started, it is determined whether or not the requested image display is a progressive display (Sl). When progressive display is not required (SI: NO) and normal sequential display is performed, sequential code data is read from the sequential code storage unit D1, and decoding processing (S31) is performed for each image block. After performing the quantization process (S33) and the inverse DCT process (S35), the restored image is displayed for each image block (S37).
  • the sequential code data is read from the sequential code storage unit D1, and the direct current (DC) (DC) ) Code data and AC (AC) code data are separated, and the separated AC (AC) code data is stored in the AC (AC) code data storage unit D2 (S3).
  • the AC (AC) code data storage unit D2 encodes each image block (0-Z) on the screen divided into 63 blocks from low frequency components to high frequency components.
  • the AC code data (0-63) is stored.
  • the decoded direct current (DC) code data is sent to process S5 as a direct current (DC) quantized value.
  • process S5 the inverse quantization process is performed on the direct current (DC) quantized value, and the direct current (DC) coefficient is calculated.
  • the direct current (DC) coefficient is stored in the direct current (DC) coefficient storage unit D3.
  • the direct current (DC) coefficient storage unit D3 stores the number of direct current (DC) items for each image block (0-Z) on the screen. Furthermore, the direct current (DC) coefficient is sent to process S7. [0047] In process S7, zero values are assigned to all alternating current (AC) coefficients (0-63) for the calculated direct current (DC) coefficients for each image block (0-Z), and the inverse operation is performed. DCT processing is performed.
  • process S 17 inverse quantization processing is performed on the alternating current (AC) quantization value, and an alternating current (AC) coefficient is calculated.
  • the alternating current (AC) coefficient is stored in the alternating current (AC) coefficient storage unit D4.
  • the alternating current (AC) coefficient storage unit D4 stores alternating current (AC) coefficients for each image block (0-Z) on the screen in the range of blocks 1 to j.
  • process S 19 for each image block (0 ⁇ Z), in addition to the alternating current (DC) coefficient calculated in processing S 17, it is already calculated as necessary and stored in the alternating current (AC) coefficient storage unit D 4.
  • the stored AC (AC) coefficient (0-Z) (l- (il)) is read, and for the AC (AC) coefficient (0—Z) ((n + l) _63) that has not been calculated yet In some cases, a zero value is assigned and reverse DCT processing is performed.
  • the direct DC (DC) coefficient (0-Z) stored in the direct current (DC) coefficient storage unit D3 is also combined and the inverse DCT process is performed.
  • a restored image represented by an alternating current (AC) component ranging from a direct current (DC) component to a predetermined range is obtained.
  • the rendered image can be displayed with the features restored up to the range of the AC component to be restored.
  • a finer image is expressed (S21).
  • circuit block about 1B The example of a circuit block about 1B is shown.
  • the AC (AC) code data is identified and, if necessary, the data is processed at the boundary between the data and stored in the AC (AC) TEMP area 15C. including.
  • the block counter 41 includes one DCT-converted image data force DC (DC) code data (block 1) and 63 AC (AC) code data (block from low frequency components to high frequency components). It is a counter that counts the block value at each stage.
  • the count value BC (0:63) from 0 to 63 is turned off in the address generator 42, and the count value BC (1:63) is turned off in the case of the address generator 54, the AND gate 51, and condition (3) described later.
  • the count value BC (63) is input to the AND gate 52 to the eye processing unit 53, respectively.
  • the address generating unit 42 generates an address that designates a Huffman code in the direct current (DC) table 43 or the alternating current (AC) table 44 for each count value BC (0:63). In order to detect which one of the plurality of Huffman codes matches one code data, the address value sequentially changes with respect to one count value BC (0:63).
  • the comparison units 45 and 46 For each code data fetched into 47, the comparison units 45 and 46 perform a coincidence comparison.
  • the comparison unit 45 receives the Huffman code selected from the direct current (DC) table 43 and compares it with the direct current (DC) code data.
  • the comparison unit 46 receives the Huffman code selected from the AC (AC) table 44 and compares it with the AC (AC) code data.
  • the comparison unit 45 detects a match with the Huffman code stored in the direct current (DC) table, the detected code data is determined to be direct current (DC) code data, and the direct current (DC) )
  • the take-in section 48 is enabled.
  • the code data to be compared in the buffer 47 is sent to the assembling unit 49 via the direct current (DC) capturing unit 48.
  • the assembling unit 49 is supplied with additional bits corresponding to the Huffman code determined to match, and the DC (D C) code data determined to match is decoded.
  • the comparison unit 46 detects a match with the Huffman code stored in the alternating current (AC) table, the determination result is input to the AND gates 51 and 52. Since the count value BC (1: 63) and the count value BC (63) are input to the other side of the AND gate, respectively, the logical value gate 51 applies each count value BC (1: 63).
  • the AC (AC) acquisition unit 50 is enabled, and the code data determined to match can be input as the AC (AC) code data corresponding to the count value BC (1:63). .
  • the AND gate 52 disables the buffer 47 with respect to the count value BC (63), and the input of the code data is prohibited. Input to the direct current (DC) decoding unit 11A for one image block is prohibited.
  • the alternating current (AC) code data input via the alternating current (AC) capturing unit 50 is stored in the alternating current (AC) TEMP area 15C of the storage unit 15 by three kinds of methods.
  • the first method (1) is a case where the alternating current (AC) code data input via the alternating current (AC) acquisition unit 50 is stored in the alternating current (AC) TEMP area 15C as it is.
  • AC (AC) code data input via the buffer 47 force AC (AC) acquisition unit 50 is specified by the address generator 54 that generates an address according to the count value BC (1:63). Stored in the storage area with the address.
  • the second method (2) is a case where the boundary processing unit 53 performs data processing and stores the boundary of alternating-current (AC) code data that is continuously input. This is the case where the boundary with the alternating current (AC) code data following the direct current (DC) code data is detected and processed.
  • AC alternating-current
  • the code data of the located block 0 is direct current (DC) code data. It has already been determined in advance and decrypted in the assembly section 49 via a direct current (DC) capture section 48.
  • the code data input via the AC (AC) acquisition unit 50 is only AC (AC) code data in block 1 63. However, the original DC (AC) code data is used before the head AC (AC) code data.
  • code data corresponding to the Huffman code having the shortest bit string among the code data representing the direct current (DC) code data is added in a pseudo manner. Since the pseudo-added code data can be fixed to a predetermined bit string, the cut processing unit 53 can automatically add the code data to the head of the AC (AC) code data.
  • 63 levels of AC (AC) code data (Block 1-63) is obtained from the AC (AC) code data of the lowest frequency component of Block 1. This is a case where a process of dividing into a plurality of groups is performed for each predetermined number of blocks.
  • image restoration processing that includes AC (AC) code data
  • the range of AC (AC) code data to be restored is gradually expanded toward high-frequency components to provide a smoother progressive display. Is realized.
  • the cut processing unit 53 performs the check according to the count value BC (1:63).
  • the AC (AC) code data divided by gnole is stored by an address generated for each gnole in the address generator 54 in accordance with the count value BC (1:63).
  • Fig. 6 shows an example of grouping for group division
  • Fig. 7 shows an example of group boundary data processing. Figures 6 and 7 will be described later.
  • the code data not shown in the circuit block diagram of FIG. 4 is based on the coincidence comparison with the direct current (DC) / alternating current (AC) 43/44 table by the comparison unit 45/46. If you know the start address of the code data stored in the storage area 15A and the bit position where the AC (AC) code data starts in the code data, the AC (AC) acquisition unit 50 and the cut processing unit 53, It is not necessary to store the alternating current (AC) code data identified by the address generator 54 etc. in the alternating current (AC) TEMP area 15C. It can be read from the code data storage area 15A as needed.
  • the address generation unit 54 generates an address to store the alternating current (AC) code data that is identified and subjected to the cut processing as necessary. For each count value BC (1:63) from the block counter, addresses are generated sequentially so that they are stored sequentially in the AC (AC) TEMP area 15C. Born.
  • FIG. 5 shows a circuit block of AC decoding unit 1 IB.
  • the purpose of the AC decoding unit 11B is to perform decoding processing of AC (AC) code data.
  • the direct current (DC) table 43, the comparison unit 45, the alternating current (AC) acquisition unit 50, the cut processing unit 53, and the address generation unit 54 are unnecessary.
  • the DC decoding unit 11A is provided with a capturing unit 48 instead of the direct current (DC) capturing unit 48, and is enabled according to the output signal from the AND gate 51 instead of the output signal from the comparing unit 45. State.
  • the alternating current (AC) code data determined to match every count value BC (1:63) is input to the assembly unit 49 via the capture unit 48.
  • the count value BC (X) is inputted instead of the force count value BC (63).
  • the count value BC (X) is a value indicating a block value of terminal AC (AC) code data among a series of AC (AC) code data to be group-processed. Buffer 47 is disabled according to the block value indicating the end of gnole. Decoding processing can be performed for each group of alternating current (AC) code data.
  • FIG. 6 is a table in which the arrangement of code data obtained by performing DCT conversion processing on 8 ⁇ 8 pixel image data is arranged by a so-called zigzag scan method.
  • Block 0 at the upper left corner corresponds to direct current (DC) code data.
  • Block 1 on the right side to block 63 on the lower right correspond to AC (AC) code data.
  • Zigzag scanning from block 1 to block 9 corresponds to group 1
  • block 10 to block 27 corresponds to group 2
  • block 28 to block 63 corresponds to group 3.
  • the break process is performed at the boundary of the group.
  • groups such as Zero Random Random (ZRL)
  • ZRL Zero Random Random
  • the end of the previous dull is replaced with an EOB code.
  • the beginning of the following group is signed according to the number of consecutive zero values remaining.
  • each image block having a predetermined number of pixels, such as 8 ⁇ 8 pixels, is encoded by Huffman encoding or the like after orthogonal transformation such as DCT transformation.
  • sequential code data is subjected to image restoration processing for DC code data in advance, so that image data representing an average feature of the image data is obtained. It can be restored in advance.
  • the AC code data is added to the DC code data and restoration processing is performed to restore fine image data including differences in individual colors, brightness, and color differences.
  • the average image data can be restored in advance, and an image display effect similar to that of progressive display can be obtained.
  • image playback is the same as image playback using progressive format code data. Display effect can be obtained. Although it is not sufficient, it is possible to display the image information from the image that can grasp the whole image to the fine image quality sequentially.
  • the average image feature is reproduced in advance while using the sequential code data that is generally used, and the feature of the image can be grasped at an early stage.
  • the image restoration processing for direct current (DC) code data of the present invention can be used for the first stage display in the progressive display, and by displaying the outline of the image content, The effect of performing display at high speed can also be achieved.
  • it can be used in an index display function such as a digital still camera.
  • the following effects can also be obtained.
  • the restoration unit 21, the inverse quantum unit 22, and the inverse DCT unit 23 are shared by the DC code data image restoration process and the AC code data image restoration process, thereby reducing the circuit scale. can do.
  • zero values are assigned to AC (AC) coefficients that are not subject to restoration processing, so computation in inverse DCT processing is simplified and high-speed processing is possible.
  • the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the spirit of the present invention.
  • image restoration processing is performed only on direct current (DC) code data as the first stage of the progressive display effect, but the present invention is not limited to this.
  • As a first step for obtaining a progressive display effect it is possible to adopt a configuration in which image restoration processing is performed including AC (AC) code data of low frequency components in addition to DC (DC) code data.
  • AC AC
  • DC DC

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　所定画素数の画像ブロックを直交変換を施した後、高能率符号化されて得られるシーケンシャル方式の符号データを使用して、直流復号部１１Ａ、直流逆量子化部１２Ａ、および直流逆ＤＣＴ部１３Ａより構成される直流復号部において、符号データのうち直流符号データに対して、先行して画像復元処理を行い画像表示する。これに遅れて、交流復号部１１Ｂ、交流逆量子化部１２Ｂ、および交流逆ＤＣＴ部１３Ｂより構成される交流復号部において、直流符号データに交流符号データを加えて画像復元処理を行い画像表示する。広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構造による画像表示効果と同様な効果を得ることができ、表示画像を順次精細に表示することができる。

Description

画像復元装置、画像復元方法、および画像復元プログラム 技術分野
[0001] 本発明は、直交変換を用いて符号化された画像データの復元に関するものである
背景技術
[0002] 特許文献 1に開示されている画像符号化装置では、 M画素 X M画素を 1ブロックと して直交変換を施して画像データを符号化、復号化する際、 1ブロックの変換係数を N個のゾーンに分割し、第 i番目（1≤ N)の符号化では直交変換を行った係数の うち第 1から i番目のゾーンの係数について 1画面分符号化及び伝送し、第 1番目の 符号化データから第 N番目の符号化データまで順に伝送する。 N回の符号ィ匕につい て全て直流係数から符号ィ匕してレ、き、符号化終了のゾーンである変換係数の次数を 符号化の回数に従って増やしていく。復号化側では、 N種類のデータを、それぞれ 独立のシーケンシャル符号化モードのデータとして解読すれば、プログレッシブ符号 化と同等の画像表示効果を得られる。シーケンシャル符号ィヒによる復号ィヒ装置で、 プログレッシブ符号化と同様の画像表示効果を実現するものである。
[0003] 特許文献 1 :特開平 6 - 233276号公報
発明の開示
発明が解決しょうとする課題
[0004] 上記特許文献 1では、シーケンシャル符号ィ匕による復号化装置を用いて、プログレ ッシブ符号化と同様の画像表示効果を実現することができるものではある。しかしな がら、この場合、画像データを符号化する際、特殊な符号化データの構造を備えるこ とが必要である。すなわち、 1ブロックの変換係数を低周波数成分から高周波数成分 に向けて N個のゾーンに分割しておき、符号化の際、各ゾーンについて、直流成分 力 各ゾーンに含まれる変換係数までを 1組として 1画面分の符号ィ匕データを生成す る。第 1番目のゾーンから第 N番目のゾーンに至るまで、ゾーンごとに生成された 1画 面分の符号ィヒデータが順次伝送され、復号装置において順次複合されなければな らない。
[0005] 通常のシーケンシャル符号化においては、直流成分から高周波数成分までの 1組 のシーケンシャル符号化データにより画像を構成するところ、上記特許文献 1におい ては、画像に対して複数のシーケンシャル符号ィ匕データの組み合わせで構成しなけ ればならず、特殊な符号ィ匕データを準備しなければならない。専用の符号化装置に より符号化されたデータによらなければ所望の画像表示機能を得ることができない。 広く普及している通常のシーケンシャル符号ィ匕データに対しては適用することができ ず問題である。
[0006] また、画像を符号化、復号ィ匕するに当たっては、本来、 1組のシーケンシャル符号 化データで十分なところ、複数組のシーケンシャル符号ィ匕データを備えなければなら ず、必要なデータ量は増大せざるを得ない。増大したデータ量を処理するために、処 理装置や記憶領域も大規模にならざるを得ない。更に、符号化データの伝送にあた つては、増大したデータ量のために伝送路の負荷も増大せざるを得ない。複雑大規 模な装置構成と伝送システムへの負荷増大を招来するおそれがあり問題である。 課題を解決するための手段
[0007] 本発明は前記従来技術の少なくとも 1つの問題点を解消するためになされたもので あり、シーケンシャル方式の符号データを復元処理する際に、プログレッシブ方式の 符号データの復元と同様な画像表示効果を奏することが可能な画像復元装置、画像 復元方法、および画像復元プログラムを提供することを目的とする。
[0008] 前記目的を達成するためになされた本発明の画像復元装置は、所定画素数の画 像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元 処理する画像復元装置であって、符号データが格納される記憶部と、記憶部に格納 されている符号データを復元処理する復元処理部とを備え、復元処理部は、全ての 画像ブロックに対して、符号データのうち直流符号データを先行して画像データに復 元処理する先行処理を行うことを特徴とする。
[0009] 本発明の画像復元装置では、画像ブロック単位で符号化された符号データが記憶 部に格納されており、復元処理部により画像データに復元処理されるにあたり、全て の画像ブロックに対して、符号データのうち直流符号データについて先行して復元 処理が行われる。
[0010] また、本発明に係る画像復元方法または画像復元プログラムは、所定画素数の画 像ブロックごとに直交変換に応じて符号化された符号データを、画像データに復元 処理する画像復元方法または画像復元プログラムであって、復元すべき符号データ を予め記憶しておくステップと、全ての画像ブロックに対して、記憶されている符号デ ータのうち交流符号データに先行して、直流符号データを画像データに復元処理す るステップとを有することを特徴とする。
[0011] 本発明の画像復元方法または画像復元プログラムでは、画像ブロック単位で符号 化され予め記憶されている符号データが画像データに復元処理されるにあたり、全 ての画像ブロックに対して、交流符号データに先行して、直流符号データが復元処 理される。
発明の効果
[0012] これにより、所定画素数の画像ブロックごとに直交変換した上で符号化された符号 データを、直流符号データについて先行処理することにより、画像ブロックにおける 画像データのうち平均的な特徴を表わす画像データを先行して復元することができ る。その後、直流符号データに交流符号データを加えて復元処理を行うことにより、 画像ブロック内の個々の色や、輝度、色差といった様々な違いを含んだ精細な画像 データを復元する。精細な画像データを再生するに先立ち、画像ブロックの平均的 な画像データを先行して復元することができる。先行して画像全体の特徴を表示した 後に精細な画像を表示する、プログレッシブ表示を行うことができる。
[0013] 画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化さ れた画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッ シブ方式の符号データによる画像表示効果を得ることができる。すなわち、画像プロ ックごとに精細な画像情報を有し、画像再生の際には画像ブロックごとに精細な画像 再生が行われる、シーケンシャル方式での符号データを用いながら、画像全体の特 徴は表現されるものの不十分な画質の画像から、精細な画質までの画像情報を順次 表示することができる。画像再生の初期段階で画像の全体像を把握でき、その後徐 々に精細な画像表示が行われる、プログレッシブ方式での符号データによる画像表 示効果と同様な画像表示効果が得られる。
[0014] 本発明によれば、一般的に使用されているシーケンシャル方式の符号データにつ
>
いて復元処理を行う際、符号データのうち直流符号データを先行して復元処理する ことにより、各画像ブロックの平均的な画像特徴が先行して再生され画像の特徴を早 期に把握することが可能となり、プログレッシブ方式の符号データを用いた場合と同 様な画像表示効果を奏することが可能な画像復元装置、画像復元方法、および画 像復元プログラムを提供することが可能となる。
図面の簡単な説明
[0015] [図 1]第 1実施形態の回路ブロック図である。
[図 2]第 2実施形態の回路ブロック図である。
[図 3]第 3実施形態のフロー図である。
[図 4]直流復号部の回路ブロック図である。
[図 5]交流復号部の回路ブロック図である。
[図 6]交流符号データを多段階に分割する際のグループ分けを示す概念図である。 符号の説明
直流復号部
11B 交流復号部
12 A 直流逆量子化部
12B 交流逆量子化部
13A 直流逆 DCT部
13B 交流逆 DCT部
15 記憶部
15A 符号データ格納領域
15B 直流 TEMP領域
15C 交流 TEMP領域
15D 復元画像格納領域
21 復号部
22 逆量子化部 23 逆 DCT部
25 記憶部
25A 符号データ格納領域
25B 直流 TEMP領域
25C 交流 TEMP領域
26 選択部
27 直流選択部
28 交流選択部
41 ブロックカウンタ
42、 54 アドレス発生部
43 直流（DC)テープノレ
44 交流（AC)テーブル
45、 46 比較部
47 バッファ
48 (直流 (DC) )取込部
49 組立部
50 交流 (AC)取込部
53 切目処理部
発明を実施するための最良の形態
[0017] 以下、本発明の画像復元装置、画像復元方法、および画像復元プログラムについ て具体化した第 1乃至第 3実施形態を図 1乃至図 6に基づき図面を参照しつつ詳細 に説明する。
[0018] 図 1には第 1実施形態の画像復元装置の回路ブロック図を示す。符号データから画 像を復元する際、直流符号データに対する復元処理と交流符号データに対する復 元処理とが、各々個別に行われる回路構成である。
[0019] 記憶部 15には、符号データが格納されている符号データ格納領域 15A、直流符 号データが一時的に格納される直流 TEMP領域 15B、交流符号データが一時的に 格納される交流 TEMP領域 15C、そして復元された画像データが格納される復元画 像格納領域 15Dが備えられてレ、る。
[0020] ここで、符号データとは、所定画素数の画像ブロックにおける画像データを直交変 換した上で、符号化されたデータである。例えば、 JPEG画像等の高能率符号化デ ータがこれにあたる。この場合、所定画素数の画像ブロックとは 8 X 8画素である。直 交変換とは DCT変換であり、符号化とはエントロピー符号化である。エントロピー符 号化の方式としてはハフマン符号ィ匕方式が用レ、られることが一般的である。画像デ ータは DCT変換により、 1つの直流成分（ブロック 0)と、低周波数成分から高周波数 成分に向かって 63段階に分割された交流成分（ブロック 1乃至 63)との、 64のブロッ クに分割される。直流成分 (ブロック 0)とは、 8 X 8画素の平均値を示す値であり、交 流成分（ブロック 0乃至 63)とは、 P 接する 8 X 8画素との画像成分の違いを示す値で ある。
[0021] 直流復号部 11Aには、符号データ格納領域 15Aから符号データが入力され、この うち直流成分に対して復号化処理が行われる。直流符号データが復号化された直流 量子化値が出力される。合せて、交流符号データが識別される。識別された交流符 号データは、記憶部 15内の交流 TEMP領域 15Cに格納される。この場合、図 4にお いて後述する切れ目処理により、画像ブロックごとに交流符号データを判別できるよ うに、データ境界におけるデータ処理が施される場合がある。
[0022] 直流量子化値は直流逆量子化部 12Aに入力される。対応する直流量子化係数を 乗ずることにより直流係数が出力される。この場合、直流量子化値に乗ずる直流量子 化係数として、 "1 "を選択することもできる。量子化処理において "1 "より大きな直流 量子化係数により量子化されている場合には、 "1"による逆量子化では、画像のダイ ナミックレンジを低下させてしまうことになる。し力、しながら、ここで行われる逆量子化 演算は、プログレッシブ方式と同様な画像表示効果を得るための初期段階として直 流量子化値に対する処理である。従って、画像表示に精度は要求されず、全体の画 像特徴が表される範囲において、乗算すべき量子化係数を "1 "に減じて乗算演算の 簡略化を図ることが可能である。これにより、回路規模の簡略化を図ることができ、ま た演算処理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができ る。尚、量子化係数は "1 "に限定されるのもではなぐ上記の効果を奏するものであ れば、 "1 "以外の係数を使用することが可能であることはいうまでもない。
[0023] 直流逆量子化部 12Aから出力された直流係数は、記憶部 15における直流 TEMP 領域 15Bに格納されると共に、直流逆 DCT部 13Aに入力される。直流逆 DCT部 13 Aには更に、交流係数として擬似的にゼロ値が入力される。直流逆 DCT部 13Aでは 、原画像の特徴が直流係数においてのみ表された DCT変換係数に対して、逆 DCT 変換が施される。直流逆 DCT部 13Aから出力される直流画像データは、復元画像 格納領域 15Dに格納される。格納された直流画像データは、表示装置において表 示され、直流成分により画像表示が行われる。この場合、復元画像格納領域 15Dに 直流画像データを格納しておけば、様々な画像処理に対応することができる。また、 直流画像データを格納する復元画像格納領域 15Dを記憶部 15に備える必要は必 ずしもない。復元された画像についてはそのまま表示装置に表示するような設定とす ることも可能である。これにより、記憶部 15の記憶領域を圧縮することができる。
[0024] ここで、直流復号部 11A、直流逆量子化部 12A、および直流逆 DCT部 13A力 直 流復元処理部を実現する一例である。符号データを画像データに復元する際、直流 復元処理部での処理を先行させることにより、直流成分のみが画像の特徴を示す画 像データが先行して得られる。
[0025] 交流復号部 11Bには、交流 TEMP領域 15Cに格納されている交流符号データが 入力され復号化処理が行われる。ここで、交流 TEMP領域 15Cに格納されている交 流符号データは、先行して処理が行われる直流復号部 11 Aにより識別され格納され たデータである。交流復号部; L 1 B、交流逆量子化部 12B、および交流逆 DCT部 13 Bにより構成される交流復元処理部での処理は、前述の直流復元処理部における直 流復号部 11Aでの処理の後、直流復元部の処理と並行してあるいは直流復元部で の処理に遅れて行われる。交流復号部 11Bでは、全ての交流符号データを一括して 複号化処理することの他、所定の周波数成分ごとに段階的に復号ィヒすることも可能 である。後者については、図 6、図 7において詳述する。段階的に復号ィ匕することによ り、復元画像が順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ 表示が可能となる。交流復号部 11Bからは、交流量子化値が出力される。
[0026] 交流量子化値は交流逆量子化部 12Bに入力される。交流量子化係数を乗ずること により交流係数が出力される。交流符号データを段階的に復元する構成の場合には
、過渡的な画像表示の段階において、交流量子化値に乗ずる交流量子化係数を" 1 "に選択することもできる。 "1 "より大きな交流量子化係数で量子化されている場合に は、画像のダイナミックレンジを低下させてしまうことになる力 ここで行われる逆量子 化演算は、プログレッシブ方式と同様な画像表示効果を得るための中間の画像表示 段階での処理であり、このとき表示される周波数成分に対する画像表示に精度は要 求されず、全体の画像特徴が現われる範囲において、乗算すべき量子化係数を" 1" に減じて乗算演算の簡略化を図ることが可能である。これにより、回路規模の簡略化 を図ることができ、また演算処理の高速化に伴レ、、より滑らかなプログレッシブ表示効 果を得ること力 sできる。尚、量子化係数は "1 "に限定されるのもではなぐ上記の効果 を奏するものであれば、 "1 "以外の係数を使用することが可能であることはいうまでも ない。
[0027] 交流逆量子化部 12Bから出力された交流係数は、記憶部 15における直流 TEMP 領域 15Bに格納されている直流係数と共に、交流逆 DCT部 13Bに入力される。交 流逆 DCT部 13Bでは、直流係数と交流係数とが含まれた DCT変換係数に対して、 逆 DCT変換が施される。交流逆 DCT部 13Bから出力される画像データは、復元画 像格納領域 15Dに格納され、また画像表示される。
[0028] ここで、交流復号部 11B、交流逆量子化部 12B、および交流逆 DCT部 13B力 交 流復元処理部を実現する一例である。符号データを画像データに復元する際、前述 の直流復元処理部での処理に遅れて処理されることにより、直流成分に加えて交流 成分を含んだ画像データが得られる。このとき、交流成分を段階的に処理する構成 であれば、直流係数に、順次交流係数が加わった DCT変換係数が、順次逆 DCT変 換されることとなり、よりきめ細かいプログレッシブ表示効果を得ることができる。
[0029] 第 1実施形態では、所定画素数の画像ブロックとして 8 X 8画素を 1ブロックとして、 ブロックごとに、 DCT変換による直交変換を施した後、ハフマン符号化を行い高能率 符号化されて得られるシーケンシャル方式の符号データを使用する。直流復号部 11 A、直流逆量子化部 12A、および直流逆 DCT部 13Aより構成される直流復号部に おいて、符号データのうち直流符号データに対して、先行して画像復元処理を行い 画像表示する。これに遅れて、交流復号部 11B、交流逆量子化部 12B、および交流 逆 DCT部 13Bより構成される交流復号部において、直流符号データに交流符号デ ータを加えて画像復元処理を行い画像表示する。これにより、広く普及している通常 のシーケンシャル方式の符号データを使用しながら、プログレッシブ方式のデータ構 造による画像表示効果と同様な効果を得ることができ、画像が順次精細に表示され る効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理にお いて、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元 処理を行うことにより、よりきめ細かい滑ら力、なプログレッシブ表示効果を得ることがで きる。
[0030] 図 2には第 2実施形態の画像復元装置の回路ブロック図を示す。符号データから画 像を復元する際、復号部 21、逆量子化部 22、および逆 DCT部 23を共通に備えて、 直流/交流符号データを処理する。このうち、復号部 21および逆量子化部 22が、前 段復元処理部の一例として構成され、逆 DCT部 23が逆直交変換部の一例として構 成される場合である。第 1選択部の一例として備えられている選択部 26により、直流 符号データと交流符号データとを適宜に選択して供給することにより復元処理が行 われる回路構成である。
[0031] 第 2実施形態では、記憶部 25と復号部 21との間に、選択部 26が備えられている。
符号データ格納領域 25Aから符号データが供給される径路と、交流 TEMP領域 25 Cから交流符号データが供給される径路との何れか一方が選択される。
[0032] 復号部 21は、直流復号部 11Aと交流復号部 11Bとを兼ね備えた機能を奏する。す なわち、選択部 26において、先行して符号データ格納領域 25Aとの径路が選択さ れ符号データが入力されると、符号データのうち直流符号データに対して復号化処 理が行われ直流量子化値が出力される。このとき、交流符号データについては必要 に応じて後述する切れ目処理を行い、交流 TEMP領域 25Cに格納される。
[0033] 交流 TEMP領域 25Cとの径路が選択され、先の処理で必要に応じて切れ目処理 が施された交流符号データが入力される場合には、入力される交流符号データに対 して複号化処理を行う。このとき、交流符号データについては、切れ目処理により、高 周波数成分に向かって段階的に処理範囲が拡大するように区切ることが可能である 。この区切りごとに復号化処理が行われ、直流/交流量子化値が出力される。
[0034] 復号部 21において復号された直流/交流量子化値は、逆量子化部 22において 逆量子化された後、直流 TEMP領域 25B、直流選択部 27、および交流選択部 28に 出力される。先行して直流係数が演算される際、直流係数は、直流 TEMP領域 25B に格納されると共に、直流選択部 27において選択されて逆 DCT部 23に送られる。 同時に、交流係数として、交流選択部 28においてゼロ値が選択されて逆 DCT部 23 に送られる。逆 DCT部 23では、直流係数において特徴を有する画像が復元される。 これに遅れて交流係数を含んで演算される際、直流係数は、直流 TEMP領域 25B 力 直流選択部 27により選択されて逆 DCT部 23に送られる。同時に、交流係数が 逆量子化部 22において演算されて逆 DCT部 23に送られる。逆 DCT部 23では、直 流係数に加えて交流係数を含んで特徴を有する画像が復元される。
[0035] 尚、逆量子化部 22において量子化係数を、 "1 "を含む通常の量子化係数に比して 小さな値とすることは、第 1実施形態と同様な作用 ·効果を奏し、有効である。
[0036] 第 2実施形態では第 1実施形態の場合と同様に、所定画素数の画像ブロックとして
8 X 8画素を 1ブロックとして、ブロックごとに、 DCT変換による直交変換を施した後、 ハフマン符号化を行い高能率符号化されて得られるシーケンシャル方式の符号デー タを使用して、復号部 21、逆量子化部 22、および逆 DCT部 23で復元処理を行うこ とができる。この場合、選択部 26により選択された符号データに応じて演算された直 流係数が選択部 27により選択されると共に、交流選択部 28において交流係数として ゼロ値が選択され、画像の特徴を示す直流符号データに対して、先行して画像復元 処理が行われ画像表示される。これに遅れて、直流/交流選択部 27/28において 、各々、直流 TEMP領域 25Bに格納されている直流係数、および逆量子化部 22か ら出力される交流係数が選択され、画像の特徴を示す直流符号データから交流符号 データに至るデータに対して、画像復元処理が行われ画像表示される。これにより、 広く普及している通常のシーケンシャル方式の符号データを使用しながら、プログレ ッシブ方式のデータ構造による画像表示効果と同様に、画像が順次精細に表示され る効果を得ることができる。この場合、交流成分を含んだ符号データの復元処理にお いて、処理対象とする交流成分を段階的に高周波数成分に拡大しながら順次復元 処理を行うことにより、よりきめ細かい滑ら力なプログレッシブ表示効果を得ることがで きる。
[0037] 第 2実施形態では、復元部 21、逆量子部 22、および逆 DCT部 23を、直流符号デ ータの画像復元処理と交流符号データの画像復元処理とで共有することができ、各 々処理で個別の回路構成を有する第 1実施形態の場合に比して構成される回路規 模を圧縮することができる。
[0038] 尚、第 1および第 2実施形態では、先行して直流符号データに対して処理が行われ るとし、交流符号データについては、直流復号部 11Aまたは復号部 21において識別 されて交流 TEMP領域 15C、 25Cに格納されるものとして説明した。交流 TEMP領 域 15C、 25Cに格納される交流符号データは、エントロピー符号化されたデータであ り、 DCT変換された画像データの特徴とも相俟って、圧縮されたデータである。記憶 部 15、 25として記憶領域が限られている場合にも交流 TEMP領域 15C、 25Cとして 格納することが容易である。ここで、記憶部 15、 25に格納されている符号データが記 憶部 15、 25における一時的な格納であり、画像復元後の消失が許されるならば、交 流 TEMP領域 15C、 25Cを、符号データ格納領域 15A、 25Aに重ねて設定してお き、符号データの直流復号部 11A、復号部 21での処理の後、交流符号データに対 して必要に応じて切れ目処理を施した上で上書きすることができる。これにより、記憶 部 15、 25の格納領域を小さくすることができる。
[0039] また、記憶部 15、 25における記憶領域が十分に確保されている場合には、交流 T EMP領域 15C, 25Cとして十分な領域を確保して、直流符号データに対する画像 処理と共に交流符号データの処理も行い、交流量子化値や交流係数を格納すること もできる。これにより、交流成分の処理を途中の段階まで予め行っておくことが可能と なり、交流成分まで含んだ画像データ復元処理を高速に行うことができる。
[0040] また、先行して行われる直流符号データに対する処理において演算される直流係 数力 直流 TEMP領域 15B、 15Cに格納されるものとして説明している力 これ以外 に、直流量子化値を格納しておき、交流成分の演算時において、交流逆量子化部 1 2Bまたは逆量子化部 22に対して、交流量子化値と共に供給するように構成すること あでさる。 [0041] また、直流成分の処理では、直流逆 DCT部 13Aまたは逆 DCT部 23に対して、ゼ 口値の交流係数を供給している力 直流逆量子化部 12Aまたは逆量子化部 22に対 して、ゼロ値の交流量子化値を供給することも可能である。
[0042] また、途中段階での逆量子化係数を" 1 "として逆量子化演算をするとは、量子化値 に" 1"を乗算することである。途中段階での処理においては、直流 Z交流逆量子化 部 12A/12Bや、逆量子化部 22での演算処理を行わず、演算された量子化値を、 そのまま直流/交流逆 DCT部 13AZ 13Bや、逆 DCT部 23に供給する構成とする ことができることを意味する。
[0043] 図 3は、第 3実施形態として本発明をソフトウェアでデータ処理する際のフロー図を 示している。
[0044] 画像復元の処理が開始されると、要求される画像表示がプログレッシブ表示である か否かが判断される（Sl)。プログレッシブ表示が要求されておらず（SI : NO)通常 のシーケンシャル表示を行う場合には、シーケンシャル符号格納部 D1よりシーケン シャル符号データが読み出され、画像ブロックごとに、復号処理（S31)、逆量子化処 理（S33)、逆 DCT処理（S35)を行った上で、画像ブロックごとに、復元画像の表示 が行われる（S37)。
[0045] プログレッシブ表示が要求されている場合には（SI： YES)、シーケンシャル符号格 納部 D1よりシーケンシャル符号データが読み出され、直流（DC)符号データに対す る復号処理と共に、直流 (DC)符号データと交流 (AC)符号データとの分離が行わ れ、分離された交流 (AC)符号データは交流 (AC)符号データ格納部 D2に格納さ れる（S3)。交流 (AC)符号データ格納部 D2には、画面上の全ての画像ブロック（0— Z)の各々に対して、低周波数成分から高周波数成分までを 63のブロックに分割して 符号化されてレ、る交流 (AC)符号データ（0— 63)が格納される。復号化された直流 ( DC)符号データは、直流（DC)量子化値として処理 S5に送られる。
[0046] 処理 S5では、直流（DC)量子化値に対して逆量子化処理が行われ、直流（DC)係 数が演算される。直流（DC)係数は、直流（DC)係数格納部 D3に格納される。直流 (DC)係数格納部 D3には、画面上の各画像ブロック（0—Z)ごとの直流（DC)件数が 格納される。更に直流（DC)係数は処理 S7に送られる。 [0047] 処理 S7では、画像ブロック（0— Z)ごとに、演算された直流（DC)係数に対して、全 ての交流 (AC)係数（0-63)にゼロ値を割り当てて、逆 DCT処理が行われる。全て の交流 (AC)係数にゼロ値を割り当てるので、処理 S7の逆 DCT処理での演算は簡 素化され、高速処理が可能である。これにより、直流（DC)成分により表される復元画 像が得られる。画像の詳細な違いは表現されないものの、画像ブロックごとの平均的 な画像の特徴が大まかに表現されて表示されることとなる（S9)。処理 S3乃至 S9を、 全ての画像ブロックに対して順次行うことにより、プログレッシブ表示における第 1段 階の表示が行われる。画面全体の大まかな画像の特徴が表現される。
[0048] 次に、交流 (AC)符号データを含んだ符号データに対して画像復元処理を行う。先 ず、 63段階の周波数成分に対するブロック 1_63のうち、同時に画像復元処理を行う 交流 (AC)符号データのブロック範囲を設定する（Sl l)。処理 SI 1では、 nとして設 定される。初期化処理を行い、最小値: i= l、最大値: j =nとした後（S13)、交流 (A C)符号データ格納部 D2に格納されている交流 (AC)符号データの復号ィ匕処理を 行い交流 (AC)量子化値を出力する（S 15)。
[0049] 処理 S 17では、交流 (AC)量子化値に対して逆量子化処理が行われ、交流 (AC) 係数が演算される。交流 (AC)係数は、交流 (AC)係数格納部 D4に格納される。交 流 (AC)係数格納部 D4には、画面上の画像ブロック（0-Z)ごとの交流 (AC)係数が 、ブロック 1乃至 jの範囲で格納される。
[0050] 処理 S 19では、画像ブロック（0— Z)ごとに、処理 S 17で演算された交流（DC)係数 に加えて、必要に応じて既に演算され交流 (AC)係数格納部 D4に格納されている 交流 (AC)係数 (0-Z) (l-(i-l) )を読み出し、また、未だ演算されていない交流 (A C)係数（0— Z) ( (n+ l)_63)に対してはゼロ値を割り当てて、逆 DCT処理が行われ る。このとき同時に、直流（DC)係数格納部 D3に格納されている直流（DC)係数（0 - Z)も合せ、逆 DCT処理が行われる。これにより、直流（DC)成分から所定範囲まで の交流 (AC)成分により表される復元画像が得られる。表現される画像は、復元処理 される交流 (AC)成分の範囲までの特徴が復元された表示が可能となる。直流（DC) 成分のみの画像表示（S9)に比してより精細な画像が表現される（S21)。
[0051] 画像復号処理が行われる交流 (AC)符号データの最大値: jが交流 (AC)符号デー タの最大ブロックである 63であるか否かが判断され（S23)、 j = 63に到達していれば (S23： YES)画像復元処理は終了する。 j = 63に到達してレ、なければ（S23： NO)、 最小値: i、最大値: jに nを加算して（S25)次の復元処理に移行する。 nが加算された 際の最大値: jが 63を越える場合には（S27 : YES)、最大著: jを 63に設定し直して（ S29)、処理 15に戻って、再度、交流 (AC)成分の範囲が拡大された上で画像復元 処理を繰り返す。
[0052] 処理 S 15乃至 S 19を、全ての画像ブロック（0_Z)に対して、交流（AC)成分の範囲 を順次拡大しながら行うことにより、プログレッシブ表示において、精細さが順次増大 する表示が行われる。画面全体の画像が順次精細に表現されるような表示が実現さ れる。
[0053] ここで、図 4および図 5により、第 1実施形態の直流復号部 11Aおよび交流復号部 1
1Bについての回路ブロック例を示す。
[0054] 先ず、図 4に示す直流復号部 11Aについて説明する。直流復号部 11Aでは、直流
(DC)符号データの復号化処理の他、交流 (AC)符号データを識別し、必要に応じ てデータ間の境界におけるデータ処理を施した上で、交流 (AC) TEMP領域 15Cに 格納する処理を含む。
[0055] ブロックカウンタ 41は、 DCT変換された画像データ力 1つの直流（DC)符号デー タ（ブロック 1)と、低周波数成分から高周波数成分に至る 63段階の交流 (AC)符号 データ（ブロック 1一 63)とに分解されるところ、各段階のブロック値をカウントするカウ ンタである。 0乃至 63のカウント値 BC (0 : 63)はアドレス発生部 42に、カウント値 BC ( 1 : 63)はアドレス発生部 54、論理積ゲート 51、および後述の条件（3)の場合には切 目処理部 53に、カウント値 BC (63)は論理積ゲート 52に、それぞれ入力される。
[0056] アドレス発生部 42は、カウント値 BC (0 : 63)ごとに、直流（DC)テーブル 43または 交流 (AC)テーブル 44にあるハフマン符号を指定するアドレスを発生する。一つの 符号データが、複数あるハフマン符号の何れに一致するかを検出するために、一つ のカウント値 BC (0 : 63)に対して、順次アドレス値が変化する。
[0057] アドレス発生部 42からの指定により順次選択されるハフマン符号に応じて、バッファ
47に取り込まれる符号データごとに比較部 45、 46において一致比較が行われる。 比較部 45には直流（DC)テーブル 43から選択されたハフマン符号が入力され、直 流（DC)符合データとの比較が行われる。比較部 46には交流 (AC)テーブル 44から 選択されたハフマン符号が入力され、交流 (AC)符合データとの比較が行われる。
[0058] 比較部 45により直流（DC)テーブルに格納されているハフマン符号との一致が検 出されると、一致検出された符号データは直流 (DC)符合データであると判断され、 直流（DC)取込部 48がィネーブル状態とされる。バッファ 47にある比較対象の符号 データが直流（DC)取込部 48を介して組立部 49に送られる。組立部 49には、一致 判定されたハフマン符号と対応する付加ビットが入力され、一致判定された直流 (D C)符号データが復号される。
[0059] 比較部 46により交流 (AC)テーブルに格納されているハフマン符号との一致が検 出されると、判定結果は、論理積ゲート 51および 52に入力される。論理積ゲートの他 方には、各々、カウント値 BC (1 : 63)およびカウント値 BC (63)が入力されるため、論 理積ゲート 51により各カウント値 BC (1： 63)に対して交流 (AC)取込部 50がイネ一 ブル状態とされ、一致判定された符号データをカウント値 BC (1 : 63)に対応する交 流 (AC)符号データであるとして、入力可能とされる。論理積ゲート 52によりカウント 値 BC (63)に対してバッファ 47は禁止状態とされ、符号データの入力が禁止される。 一つの画像ブロックに対する直流（DC)復号部 11Aへの入力が禁止される。
[0060] 交流 (AC)取込部 50を介して入力された交流 (AC)符号データは、三種類の方法 により、記憶部 15の交流（AC) TEMP領域 15Cに格納される。
[0061] 第 1の方法（1)は、交流 (AC)取込部 50を介して入力された交流 (AC)符号データ を、そのまま、交流 (AC) TEMP領域 15Cに格納する場合である。バッファ 47力 交 流 (AC)取込部 50を介して入力された交流 (AC)符号データは、カウント値 BC (1： 6 3)に応じてアドレス発生されるアドレス発生部 54により指定されるアドレスを有する格 納領域に格納される。
[0062] 第 2の方法（2)は、切目処理部 53において、連続して入力される交流 (AC)符号 データの境界をデータ処理して格納する場合である。直流（DC)符号データに続く 交流 (AC)符号データとの境界を、検出可能にデータ処理する場合である。
[0063] 一つの画像ブロックを表現する一連の符号データ（ブロック 0— 63)のうち、先頭に 位置するブロック 0の符号データは、直流（DC)符号データである。既に先行して判 別され、直流（DC)取込部 48を介して組立部 49において復号ィ匕されている。交流（ AC)取込部 50を介して入力される符号データはブロック 1一 63の交流 (AC)符号デ ータのみであるところ、先頭の交流 (AC)符号データの前に、本来の直流（DC)符号 データに代えて、直流 (DC)符号データを表す符号データのうち最短長のビット列を 有するハフマン符号に応じた符号データを擬似的に付加する。擬似的に付加される 符号データは所定のビット列に固定することができるため、切目処理部 53において 交流 (AC)符号データの先頭に自動的に付加する構成とすることができる。
[0064] 第 3の方法（3)は、切目処理部 53において、 63段階の交流 (AC)符号データ（ブ ロック 1一 63)を、ブロック 1の最低周波数成分の交流 (AC)符号データから、所定ブ ロック数ごとに複数のグループに分割する処理を行う場合である。交流 (AC)符号デ ータを含めた画像復元処理を行う際、復元処理を行う交流 (AC)符号データの範囲 を、高周波数成分に向けて順次拡大することにより、より滑ら力なプログレッシブ表示 を実現するものである。カウント値 BC (1 : 63)に応じて切目処理部 53におレ、て行わ れる。グノレープ分割された交流 (AC)符号データは、カウント値 BC (1： 63)に応じて 、アドレス発生部 54においてグノレープごとに発生されるアドレスにより格納される。グ ループ分割をする際のグループ分けの一例を図 6に示し、グループ境界のデータ処 理の一例を図 7に示す。図 6、図 7については後述する。
[0065] 尚、図 4の回路ブロック図には示されていなレ、が、比較部 45/46による、直流（DC ) /交流 (AC) 43/44テーブルとの一致比較に基づき、符号データ格納領域 15A に格納されてレ、る符号データの先頭アドレスと、符号データ内で交流 (AC)符号デ ータが始まるビット位置を把握してやれば、交流 (AC)取込部 50、切目処理部 53、 アドレス発生部 54等を備えて識別された交流 (AC)符号データを交流 (AC) TEMP 領域 15Cに格納する処理をする必要はなレ、。符号データ格納領域 15Aから必要に 応じて読み出すことができる。
[0066] アドレス発生部 54は、識別され、必要に応じて切れ目処理を施された交流 (AC)符 号データを格納すべきアドレスを発生する。ブロックカウンタからのカウント値 BC (1： 63)ごとに、交流 (AC) TEMP領域 15Cに順次格納されるように、アドレスが順次発 生される。
[0067] 図 5に交流復号部 1 IBの回路ブロックを示す。交流復号部 11Bは、交流 (AC)符 号データの復号ィヒ処理を行うことが目的である。図 4に示した直流復号部 11Aとは異 なり、直流（DC)テーブル 43、比較部 45、交流 (AC)取込部 50、切目処理部 53、お よびアドレス発生部 54が不要である。
[0068] 直流復号部 11Aにおける直流（DC)取込部 48に代えて取込部 48が備えられ、比 較部 45からの出力信号に代えて論理積ゲート 51からの出力信号に応じてイネーブ ル状態とされる。カウント値 BC (1： 63)ごとに一致判定された交流 (AC)符号データ が、取込部 48を介して組立部 49に入力される。また、論理積ゲート 52において、力 ゥント値 BC (63)に代えてカウント値 BC (X)が入力される。ここで、カウント値 BC (X) とは、グループ処理される一連の交流 (AC)符号データのうち終端の交流 (AC)符号 データのブロック値を示す値である。グノレープの終端を示すブロック値に応じてバッ ファ 47が入力禁止状態とされる。交流 (AC)符号データのグループごとに復号化処 理を行うことができる。
[0069] 図 6は、 8 X 8画素の画像データに対して DCT変換処理を行うことにより得られる符 号データの並びを、いわゆるジグザグスキャン方式により並べたテーブルである。左 上端のブロック 0が直流（DC)符号データに該当する。その右隣のブロック 1から右下 端のブロック 63が交流 (AC)符号データに対応する。ブロック 1から順次ジグザグに スキャンしてブロック 9までがグループ 1に、ブロック 10からブロック 27までがグループ 2に、ブロック 28からブロック 63までがグループ 3に対応する。
[0070] この場合の切れ目処理はグループの境界にぉレ、て行われる。例えば、ゼロランレン ダス（ZRL)等、ゼロ値がグループをまたいで連続して存在する場合には、先のダル ープの終端を EOB符号に置き換える処理を行う。後続のグループの先頭は残余の ゼロ値の連続数に合せて符号設定が行われる。
[0071] 以上の説明から明らかなように本実施形態によれば、 8 X 8画素等の所定画素数の 画像ブロックごとに、 DCT変換等の直交変換した上でハフマン符号化等により符号 化された、シーケンシャル方式の符号データを、直流符号データについて先行して 画像復元処理することにより、画像データのうち平均的な特徴を表わす画像データを 先行して復元することができる。その後、直流符号データに交流符号データを加えて 復元処理を行い、個々の色や、輝度、色差の違いを含んだ精細な画像データを復元 する。精細な画像データを再生するに先立ち平均的な画像データを先行して復元す ることができ、プログレッシブ表示と同様な画像表示効果を得ることができる。
[0072] 画像の標準的な符号形式として広く使用されているシーケンシャル方式で符号化さ れた画像ブロックごとの符号データを用いながら、画像再生に当たっては、プログレッ シブ方式の符号データによる画像再生と同様な表示効果を得ることができる。不十分 ではあるが全体像を把握できる画像から、精細な画質までの画像情報を順次表示す ること力 Sできる。
[0073] 一般的に使用されているシーケンシャル方式の符号データを使用しながら、平均 的な画像特徴が先行して再生され画像の特徴を早期に把握することが可能となる。
[0074] 本発明の直流（DC)符号データに対する画像復元処理は、プログレッシブ表示に おける第 1段階の表示に使用できるほか、画像内容の概要を検索する際に表示させ ることにより、検索画像の表示を高速に行う効果を奏することもできる。例えば、デジタ ノレスチルカメラ等のインデックス表示機能において、使用することができる。
[0075] 上記の効果のほか、下記に示す諸効果も得ることができる。すなわち、交流 (AC) 符号データのうち所定の周波数成分ごとに段階的に復号化してやれば、復元画像が 順次、高周波数成分を含んだ画像となり、より滑らかなプログレッシブ表示が可能とな る。また、逆量子化の処理の際、乗算すべき量子化係数を "1 "に減ずることにより、逆 量子化演算を行う必要がなくなる。回路規模の簡略化を図ることができ、また演算処 理の高速化に伴い、より滑らかなプログレッシブ表示効果を得ることができる。また、 第 2実施形態において、復元部 21、逆量子部 22、および逆 DCT部 23を、直流符号 データの画像復元処理と交流符号データの画像復元処理とで共有することにより、 回路規模を圧縮することができる。また、逆 DCT処理が行われる際、復元処理対象 外の交流 (AC)係数に対してはゼロ値が割り当てられるので、逆 DCT処理での演算 は簡素化され、高速処理が可能となる。
[0076] 尚、本発明は前記実施形態に限定されるものではなぐ本発明の趣旨を逸脱しな い範囲内で種々の改良、変形が可能であることは言うまでもない。 例えば、実施形態においては、プログレッシブ表示効果の第 1段階として直流（DC )符号データのみを対象として画像復元処理を行う場合を説明したが、本発明はこれ に限定されるものではない。プログレッシブ表示効果を得るための第 1段階として、直 流（DC)符号データに加えて低周波数成分の交流 (AC)符号データを含めて、画像 復元処理を行う構成とすることもできる。

Claims

請求の範囲
[1] 所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画 像データに復元処理する画像復元装置であって、
前記符号データが格納される記憶部と、
前記記憶部に格納されている前記符号データを復元処理する復元処理部とを備え 前記復元処理部は、全ての前記画像ブロックに対して、前記符号データのうち直流 符号データを先行して前記画像データに復元処理する先行処理を行うことを特徴と する画像復元装置。
[2] 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブ ロックカウンタを備え、
前記復元処理部は、前記ブロックカウンタにより全ての前記画像ブロックに対する 前記先行処理が完了したことを受けて、前記直流符号データから交流符号データに 至る範囲の前記符号データに対して、復元処理を行うことを特徴とする請求項 1に記 載の画像復元装置。
[3] 前記復元処理の対象とされる前記交流符号データの範囲は、全ての前記画像プロ ックに対する前記復元処理ごとに、高周波数成分の交流符号データに向かって段階 的に広げられることを特徴とする請求項 2に記載の画像復元装置。
[4] 前記復元処理部は、
前記直流符号データを復元処理する直流復元処理部と、
前記符号データのうち交流符号データを復元処理する交流復元処理部とを備える ことを特徴とする請求項 1に記載の画像復元装置。
[5] 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブ ロックカウンタを備え、
前記交流復元処理部において処理対象とされる前記交流符号データの範囲は、 全ての前記画像ブロックに対する前記復元処理ごとに、高周波数成分の交流符号デ ータに向かって段階的に広げられることを特徴とする請求項 4に記載の画像復元装 置。
[6] 前記直流復元処理部は、前記符号データが入力されて、前記交流符号データを 識別する識別部と、
識別された前記交流符号データを前記記憶部に格納するに先立ち、前記交流符 号データの境界に対してデータ処理を行う切目処理部とを備え、
前記交流復元処理部は、前記記憶部に格納された前記交流符号データが入力さ れることを特徴とする請求項 4に記載の画像復元装置。
[7] 前記直流復元処理部は、前記交流符号データをゼロ値とした上で、前記復元処理 を行うことを特徴とする請求項 4に記載の画像復元装置。
[8] 前記記憶部には、前記直流符号データを格納しておき、
前記交流復元処理部は、前記交流符号データに前記記憶部に格納されている前 記直流符号データを合せて、前記復元処理を行うことを特徴とする請求項 4に記載 の画像復元装置。
[9] 前記記憶部には、前記直流符号データまたは/および前記交流復元処理部にお いて既に処理対象とされた前記交流符号データを格納しておき、
前記交流復元処理部は、処理対象の前記交流符号データに、前記記憶部に格納 されている、前記直流符号データまたは/および前記交流符号データを合せて、前 記復元処理を行うことを特徴とする請求項 5に記載の画像復元装置。
[10] 前記直流/交流符号データは、直流/交流エントロピー符号化データであり、 前記直流復元処理部および前記交流復元処理部は、
前記直流/交流エントロピー符号化データを復号する復号部と、
前記復号部により復号化されたデータを逆量子化する逆量子化部と、 前記逆量子化部により逆量子化されたデータを逆変換する逆直交変換部とを、各 々備え、
前記逆直交変換部により、前記画像データが復元されることを特徴とする請求項 4 に記載の画像復元装置。
[11] 前記直流符号データに対する復元処理が行われる際、前記逆量子化部における 量子化係数は、 "1 "とされることを特徴とする請求項 10に記載の画像復元装置。
[12] 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブ ロックカウンタを備え、
処理対象とされる前記交流符号データの範囲が、全ての前記画像ブロックに対す る前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げ られる場合、
範囲外の交流符号データについては、前記逆量子化部における量子化係数は、 " 1 "とされることを特徴とする請求項 10に記載の画像復元装置。
[13] 前記復元処理部は、
前記符号データに対して直交変換データを復元する前段復元処理部と、 前記直交変換データを逆変換する逆直交変換部とを備え、
また、前記符号データ、または前記符号データのうち交流符号データの何れかを 選択する第 1選択部を備えることを特徴とする請求項 1に記載の画像復元装置。
[14] 前記復元処理に応じて前記画像ブロックをカウントするブロックカウンタを備え、 処理対象とされる前記交流符号データの範囲は、全ての前記画像ブロックに対す る前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げ られることを特徴とする請求項 13に記載の画像復元装置。
[15] 前記前段復元処理部は、前記第 1選択部により前記符号データが選択されて入力 される際、前記交流符号データを識別する識別部と、
識別された前記交流符号データを前記記憶部に格納するに先立ち、前記交流符 号データの境界に対してデータ処理を行う切目処理部とを備え、
前記前段復元処理部は更に、前記第 1選択部により前記記憶部に格納された前記 交流符号データが選択されて入力されることを特徴とする請求項 13に記載の画像復 元装置。
[16] 前記逆直交変換部は、
前記第 1選択部により前記符号データのうち直流符号データが選択されることに応 じて、前記直交変換データのうち交流直交変換データをゼロ値とした上で、復元処 理を行うことを特徴とする請求項 13に記載の画像復元装置。
[17] 前記記憶部には、前記直交変換データのうち前記先行処理により得られる直流直 交変換データを格納しておき、 前記逆直交変換部は、前記第 1選択部により前記符号データのうち交流符号デー タが選択されることに応じて、前記記憶部に格納されている前記直流直交変換デー タを合せて、復元処理を行うことを特徴とする請求項 13に記載の画像復元装置。
[18] 前記記憶部には、前記直交変換データのうち既に復元された、直流直交変換デー タまたは/および交流直交変換データを格納しておき、
前記逆直交変換部は、前記第 1選択部により処理対象として新たな前記交流符号 データが選択されることに応じて、前記記憶部に格納されている、前記直流直交変 換データまたは/および前記交流直交変換データを合せて、復元処理を行うことを 特徴とする請求項 14に記載の画像復元装置。
[19] 前記符号データは、エントロピー符号化データであり、
前記前段復元処理部は、
前記エントロピー符号化データを復号する復号部と、
前記復号部により復号化されたデータを逆量子化する逆量子化部とを備え、 前記逆量子化部により、前記直交変換データが復元されることを特徴とする請求項
13に記載の画像復元装置。
[20] 前記符号データのうち直流符号データを復元する際、前記逆量子化部における量 子化係数は、 "1 "とされることを特徴とする請求項 19に記載の画像復元装置。
[21] 前記復元処理に応じて、前記画像ブロックを構成する符号データをカウントするブ ロックカウンタを備え、
処理対象とされる前記交流符号データの範囲が、全ての前記画像ブロックに対す る前記復元処理ごとに、高周波数成分の交流符号データに向かって段階的に広げ られる場合、
範囲外の交流符号データについては、前記逆量子化部における量子化係数は、 " 1 "とされることを特徴とする請求項 19に記載の画像復元装置。
[22] 所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画 像データに復元処理する画像復元方法であって、
復元すべき前記符号データを予め記憶しておき、
全ての前記画像ブロックに対して、記憶されてレ、る前記符号データのうち交流符号 データに先行して、直流符号データを前記画像データに復元処理することを特徴と する画像復元方法。
[23] 画像を構成する全ての前記画像ブロックに対して、前記直流符号データを先行し て復元処理した後、
前記直流符号データから前記交流符号データに至る範囲の前記符号データに対 して、復元処理を行うことを特徴とする請求項 22に記載の画像復元方法。
[24] 先行して行われる前記直流符号データに対する復元処理に応じて、前記交流符号 データを識別し、
識別された前記交流符号データを記憶することに先立ち、前記交流符号データの 境界に対してデータ処理を行い、
画像を構成する全ての前記画像ブロックに対して前記直流符号データを先行して 復元処理した後、記憶された前記交流符号データに対して、復元処理を行うことを特 徴とする請求項 22に記載の画像復元方法。
[25] 前記直流符号データに対して復元処理を行うに当たり、前記交流符号データをゼ 口値とすることを特徴とする請求項 22に記載の画像復元方法。
[26] 前記直流符号データまたは/および既に復元処理された前記交流符号データを 記憶しておき、
処理対象の前記交流符号データに対して復元処理を行うに当たり、前記直流符号 データまたは/および前記交流符号データを合せて、前記復元処理を行うことを特 徴とする請求項 22に記載の画像復元方法。
[27] 前記復元処理の対象とされる前記交流符号データの範囲は、全ての前記画像プロ ックに対する処理ごとに、高周波数成分の交流符号データに向かつて段階的に広げ られることを特徴とする請求項 23に記載の画像復元方法。
[28] 前記復号処理には逆量子化処理を含み、
範囲外の交流符号データについては、前記逆量子化処理における量子化係数は
、 "1 "とされることを特徴とする請求項 23に記載の画像復元方法。
[29] 所定画素数の画像ブロックごとに直交変換に応じて符号化された符号データを、画 像データに復元処理する画像復元プログラムであって、 復元すべき前記符号データを予め記憶しておくステップと、 全ての前記画像ブロックに対して、記憶されてレ、る前記符号データのうち交流符号 データに先行して、直流符号データを前記画像データに復元処理するステップとを 有することを特徴とする画像復元プログラム。
PCT/JP2004/012488 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム WO2006025090A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP04772444A EP1788796A4 (en) 2004-08-30 2004-08-30 IMAGE RESTORING DEVICE, IMAGE RESTORING METHOD, AND IMAGE RESTORING PROGRAM
PCT/JP2004/012488 WO2006025090A1 (ja) 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム
JP2006531198A JPWO2006025090A1 (ja) 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム
US11/711,631 US20070154102A1 (en) 2004-08-30 2007-02-28 Image decompression system, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/012488 WO2006025090A1 (ja) 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/711,631 Continuation US20070154102A1 (en) 2004-08-30 2007-02-28 Image decompression system, method and program

Publications (1)

Publication Number Publication Date
WO2006025090A1 true WO2006025090A1 (ja) 2006-03-09

Family

ID=35999754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/012488 WO2006025090A1 (ja) 2004-08-30 2004-08-30 画像復元装置、画像復元方法、および画像復元プログラム

Country Status (4)

Country Link
US (1) US20070154102A1 (ja)
EP (1) EP1788796A4 (ja)
JP (1) JPWO2006025090A1 (ja)
WO (1) WO2006025090A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5614122B2 (ja) * 2010-06-21 2014-10-29 富士ゼロックス株式会社 画像データ復号装置
US10186052B1 (en) 2018-01-19 2019-01-22 Google Llc Two-pass decoding of images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233276A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像符号化装置
JPH1051646A (ja) * 1996-08-06 1998-02-20 Fuji Xerox Co Ltd 画像通信方式
JP2000059612A (ja) * 1998-08-04 2000-02-25 Canon Inc 画像処理装置及びその方法
JP2003032482A (ja) * 2001-07-12 2003-01-31 Canon Inc 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JP2004236298A (ja) * 2003-01-06 2004-08-19 Matsushita Electric Ind Co Ltd 画像データ処理装置、画像データ処理方法、画像データ配信装置および画像データ伝送システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02198274A (ja) * 1988-10-14 1990-08-06 Fuji Photo Film Co Ltd 画像データ圧縮記録装置
WO1994022108A1 (en) * 1993-03-23 1994-09-29 Zoran Corporation Rapid thumbnail image reconstruction of dct compressed image data
DE69516734T2 (de) * 1994-02-01 2000-09-28 Canon Kk Bildverarbeitungsverfahren und -gerät
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6259820B1 (en) * 1997-10-06 2001-07-10 Nec Research Institute, Inc. Progressive JPEG decoding
US7519229B2 (en) * 2004-03-30 2009-04-14 Apple, Inc. Video coding system providing separate coding chains for dynamically selected small-size or full-size playback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233276A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像符号化装置
JPH1051646A (ja) * 1996-08-06 1998-02-20 Fuji Xerox Co Ltd 画像通信方式
JP2000059612A (ja) * 1998-08-04 2000-02-25 Canon Inc 画像処理装置及びその方法
JP2003032482A (ja) * 2001-07-12 2003-01-31 Canon Inc 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JP2004236298A (ja) * 2003-01-06 2004-08-19 Matsushita Electric Ind Co Ltd 画像データ処理装置、画像データ処理方法、画像データ配信装置および画像データ伝送システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1788796A4 *

Also Published As

Publication number Publication date
JPWO2006025090A1 (ja) 2008-05-08
US20070154102A1 (en) 2007-07-05
EP1788796A4 (en) 2010-03-24
EP1788796A1 (en) 2007-05-23

Similar Documents

Publication Publication Date Title
US7106911B2 (en) Image processing apparatus and control method for inputting image data and encoding the data
US6301392B1 (en) Efficient methodology to select the quantization threshold parameters in a DWT-based image compression scheme in order to score a predefined minimum number of images into a fixed size secondary storage
US6233359B1 (en) File size bounded JPEG transcoder (FSBJT)
EP0982949A2 (en) Image processing apparatus and method
US8902992B2 (en) Decoder for selectively decoding predetermined data units from a coded bit stream
JP3231800B2 (ja) 画像符号化装置及び画像符号化方法
US7372600B2 (en) Color facsimile device with data recompressing capability
WO2006025090A1 (ja) 画像復元装置、画像復元方法、および画像復元プログラム
JPH08256321A (ja) 画像データ変換装置およびその逆変換装置
US7751635B2 (en) Compression into a fixed size buffer
JP2785641B2 (ja) 画像符号化装置
JPH05316359A (ja) 画像データ符号化装置
JP2009239852A (ja) 画像処理装置及び画像処理方法
JP2856268B2 (ja) 画像データ復元装置
JP3021329B2 (ja) 可変長復号化方法及びその装置
JP2003333339A (ja) 画像符号化装置及び画像符号化方法
US10002586B1 (en) Compression of display data stored locally on a GPU
JP3345475B2 (ja) 画像データの符号化方法及び復元方法並びに装置
JP3368164B2 (ja) 符号化復号化システム
JP2001217722A (ja) 情報符号化装置及び情報符号化方法及びコンピュータ読み取り可能な記憶媒体
JPH0896141A (ja) 画像処理装置
JP2000138933A (ja) 画像符号化装置
JP2001094985A (ja) 画像符号化装置
JPH06113142A (ja) 画像処理方法及び装置
JPH08149309A (ja) 符号化方法及びその装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006531198

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2004772444

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11711631

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2004772444

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11711631

Country of ref document: US