WO2004056084A1 - 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム - Google Patents

画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム Download PDF

Info

Publication number
WO2004056084A1
WO2004056084A1 PCT/JP2002/013221 JP0213221W WO2004056084A1 WO 2004056084 A1 WO2004056084 A1 WO 2004056084A1 JP 0213221 W JP0213221 W JP 0213221W WO 2004056084 A1 WO2004056084 A1 WO 2004056084A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
component
component image
pixels
compression
Prior art date
Application number
PCT/JP2002/013221
Other languages
English (en)
French (fr)
Inventor
Eiji Atsumi
Original Assignee
Nokia Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corporation filed Critical Nokia Corporation
Priority to AU2002368463A priority Critical patent/AU2002368463A1/en
Priority to JP2004560583A priority patent/JP4012201B2/ja
Priority to EP02790801A priority patent/EP1575262A4/en
Priority to PCT/JP2002/013221 priority patent/WO2004056084A1/ja
Publication of WO2004056084A1 publication Critical patent/WO2004056084A1/ja
Priority to US11/153,160 priority patent/US20050286778A1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Definitions

  • the present invention relates to an image data compression device and a decompression device, and an image data compression program and a decompression program.
  • JPEG and JPEG 2000 have been developed as compression and decompression methods for still image data.
  • JPEG or JPEG2000 Information technology: JPEG2000 image coding system, ISO / IEC FCD1544-1, March 2000, Information technology: digital compression and coding of continuous tone sti 11 images (JPEG) , Described in ISO / IEC 10918-1, 1993.
  • Image processing device and method, image output device, and digital camera device and portable information terminal using the same filed on June 18, 2004 by the applicant of the present invention (Application No. 2002 No. 177, 107) describes an image processing apparatus and an image processing method, and more specifically, color data for a plurality of different color components. There is disclosed an image processing apparatus and an image processing method that divides the included color image data into a plurality of pieces while maintaining the data size, and further outputs after performing processing such as compression.
  • the present invention provides an image data compression device and a decompression device capable of transmitting and receiving image data with a smaller data amount by applying this technology, and a compression program and a decompression program for image data. It is. Disclosure of the invention
  • the present invention provides a device for compressing image data, which comprises obtaining a plurality of single-component image data relating to color, which can be obtained by sampling image data of a predetermined area. At least one single-component image data is divided into a plurality of single-component image data, and the plurality of single-component image data are converted into a larger number of single-component image data, and then compression is performed.
  • the single-component image data refers to image data including only one component among a plurality of components constituting a color. Data representing a color image represents the three primary colors of light
  • R, G, B (red, green, blue) are composed of three components of data.
  • Power which represents luminance and chrominance, and YUV (luminance, chrominance, chrominance) are often composed of three components.
  • Single-component image data refers to image data that contains only one component, such as only the R component, only the Y component, and so on.
  • a decompression device for compressed image data at least one piece of single-component image data for a plurality of pieces of color-related single-component image data, which can be obtained by sampling image data of a predetermined area, is obtained.
  • the compressed image data is divided into a plurality of single-component image data, and the plurality of single-component image data is converted into a larger number of single-component image data.
  • the plurality of simple components obtained by decompressing the compressed image data It is characterized by combining the divided image data, converting a plurality of single component image data from the plurality of single component image data into the plurality of single component image data, and then performing restoration.
  • the present invention provides a compression apparatus for image data, wherein each of three single-component image data of RGB components has a predetermined color among a plurality of pixels arranged in the horizontal and vertical directions, each of which has individual color information.
  • the pixels obtained by performing the above sampling are combined with each other by removing pixels that have not been sampled for the R component and the B component single component image data and moving them in the horizontal and vertical directions.
  • the G component single component image data is divided into two G1 component and G2 component single component image data such that pixels evenly separated from each other in the horizontal and vertical directions have the same component, and are not sampled.
  • the three pixels of the R, G, and B components are combined into an RG 1 G 2 B component by removing the pixels and moving them in the horizontal and vertical directions and joining them together. It is characterized in four rows Ukoto compressed after conversion to a single-component image data.
  • the compression may be performed after the converted four single-component image data of the RG1G2B component is converted into four single-component image data of the YUVGG two component.
  • the present invention relates to an image data restoring apparatus, wherein a predetermined one of a plurality of pixels arranged in the horizontal and vertical directions, each of which has individual color information in each of three single-component image data of RGB components. Pixels obtained by performing the above sampling are removed from the R component and the B component single component image data by removing the unsampled power pixels and moving them in the horizontal and vertical directions. / ⁇ , two single component images of the G1 component and the G2 component of the G component single component image data so that pixels evenly separated from each other in the horizontal and vertical directions have the same component. Divide the data and remove the unsampled pixels to make them horizontal.
  • the restoration may be performed after converting the four single-component image data of the YUVG2 component into the four single-component image data of the RG1G2B component.
  • the present invention relates to a compression apparatus for image data, wherein each of three single-component image data of a YUV component has individual color information and includes a plurality of pixels arranged in horizontal and vertical directions. From the above, one pixel is extracted for every four pixels for the single component image data of the Y component, while one pixel is extracted for every two pixels for the single component image data of the U component and the V component. The pixels obtained by performing sampling are extracted in the horizontal or vertical direction with respect to the single component image data of the U component and the V component, excluding the unsampled pixels. The two component image data of the Y component and the Y component are combined so that pixels that are evenly separated from each other in the horizontal and vertical directions have the same component. Moving them horizontally and vertically while combining them into data and removing unsampled pixels, It is characterized in that compression is performed after converting three single-component image data of YUV component into four single-component image data of two Y1UVY components.
  • the present invention provides an image data restoration apparatus, wherein each of three single component image data of a YUV component has individual color information and is selected from a plurality of pixels arranged in horizontal and vertical directions.
  • the single component image data of the Y component one pixel is extracted for every four pixels.
  • the single component image data of the U component and the V component one pixel is extracted for every two pixels. In this way, the pixels obtained by performing sampling are moved in the horizontal or vertical direction by excluding the unsampled pixels in the single-component image data of the U component and the V component.
  • the two components of the single component image data of the Y component are divided into two components, a Y1 component and a Y2 component, such that pixels evenly separated from each other in the horizontal and vertical directions have the same component.
  • the three single component image data of the YUV component is divided into four components of Y1UVY by dividing them into component image data and moving them in the horizontal and vertical directions while removing strong pixels that have not been sampled.
  • the V component single component image data the pixel obtained by performing the sampling is moved in the horizontal or vertical direction to return to the original position, and the single component image of the Y1 component and the Y2 component
  • the pixels obtained by performing the above-mentioned sampling by combining the single-component image data and moving them in the horizontal and vertical directions are returned to the original positions. It is characterized in that restoration is performed after converting the four single component image data of the Y1UVY two component into the three single component image data of the YUV component.
  • the method of moving may be predetermined with the compression device, or may use data from the decompression device side in the compression device. You may be told.
  • the present invention also provides a compression apparatus for image data, comprising: means for sampling each of the plurality of predetermined components with respect to image data composed of a plurality of predetermined components. Means for creating more than the plurality of single-component image data composed of a part of any one of the components; and means for compressing the single-component image data, further comprising: It is characterized in that at least two are composed of the same component among the predetermined components.
  • the predetermined plurality of components may be three components of RGB or YUV.
  • the compression device according to the present invention can include means for converting the single-component image data into single-component image data composed of other components having different properties.
  • the image data input to the compression device according to the present invention is composed of three components of RGB, and the single component image data created by sampling these components is four of RGGB. That is, a plurality of G component single component image data are created.
  • a sampling method for example, it is preferable to sample one pixel for every four pixels for the R and B components and one pixel for every two pixels for the G component.
  • the three components of R, G, and B are converted to have the attributes of Y, U, and V, respectively.
  • compress the four single component image data of YU VG For compression, JPEG or JPEG 2000 can be used, but it is more convenient to compress with JPEG 2000.
  • the present invention also provides a decompression device for image data, comprising: means for decompressing the compressed image data to return to the single-component image data for the compressed image data compressed by the compression device according to the present invention; And a means for combining and extending two or more single-component image data composed of the same component among the plurality of predetermined components.
  • Recovery according to the invention may further comprise means for converting the single-component image data into single-component image data composed of other components having different properties.
  • the restoring device according to the present invention further includes: means for creating first restored image data from the plurality of single component image data; and means for creating second restored image data from the plurality of expanded single component image data. And can be configured to switch and output one of the first restored image data and the second restored image data.
  • the compressed image data input to the decompression device according to the present invention is decompressed in the same manner as the method used for compression by the compression device. That is, decompression is performed. If the data decompressed in this way is four single-component image data each having a YUVG component, the three YUV components are converted into RGB components, respectively. Next, the single-component image data of the R and B components are each expanded to a size twice as large in the vertical and horizontal directions. Since there are two G component single component image data, these are combined and expanded to the same size as the R and B components. Finally, image data composed of three components of RGB is output.
  • the restoration apparatus can switch between output data composed of single-component image data before decompression and data composed of decompressed data.
  • the image data compression or decompression device according to the present invention can be configured as one compression and decompression device having both of these features.
  • the compression device, the decompression device, and the compression / decompression device are often implemented as a program for operating a computer as the image data compression device, the decompression device, or the compression / decompression device according to the present invention. That is, the present invention provides a computer comprising: means for acquiring image data composed of a plurality of predetermined components; means for sampling each of the plurality of predetermined components; and any one of the plurality of predetermined components from the sampled data.
  • Consists of some of the components Means for creating single-component image data by more than the plurality; operating as means for compressing the single-component image data; and at least two of the single-component image data, It can be expressed as a compression program characterized by operating as if it were the same component. Or a means for decompressing the compressed image data back to the single-component image data by decompressing the compressed image data by the computer with respect to the compressed image data compressed by the compression program or the compression device according to the present invention; and decompressing the single-component image data.
  • J PEG or J P E 200 000 may be used for the compression or decompression.
  • FIG. 1 is a diagram for explaining the configuration of a PC according to the first embodiment of the present invention relating to image capture and compression.
  • FIG. 2 is a conceptual diagram showing a compression method using JPEG.
  • FIG. 3 is a diagram illustrating a configuration of the PC according to the first embodiment of the present invention, which is related to the restoration of compressed data.
  • FIG. 4 is a flowchart illustrating the operation of the compression device according to the present invention.
  • FIG. 5 is a flowchart illustrating the operation of the restoration apparatus according to the present invention.
  • FIG. 6 is a diagram for explaining a configuration relating to image capture and compression of a PC according to the second embodiment of the present invention. ⁇
  • FIG. 7 is a diagram illustrating a configuration of a PC according to the second embodiment of the present invention, which is related to the restoration of compressed data.
  • a PC personal computer
  • This PC is connected to the Internet and can send and receive data such as images via the Internet. It can also be connected to a digital camera, etc., and import image data from a digital camera, etc.
  • a PC to which the present invention is applied can transmit an image captured from the Internet, a digital camera, or the like according to the present invention, and can restore and output a received compressed image according to the present invention.
  • PC described below is an example of a medium to which the present invention can be preferably applied, and it goes without saying that the present invention is not limited to a PC, but can be applied to various other digital devices such as a digital camera. Mona! / ,.
  • the input unit 11 is a part that is connected to an external device such as a digital camera and captures image data into the PC. This may use a well-known scheme such as USB. Alternatively, a configuration may be made so that an image data can be downloaded from a server on the Internet by connecting to the Internet. In this case, a method such as Ethernet may be used.
  • Image data in a format generally used at present is often composed of three single-component image data (plane) of RGB or YUV. Note that the properties are slightly different between RGB and YUV.
  • image data composed of RGB has been imported, and these are shown in FIG. 1 as 110 (R: red image), 111 (G: green image), 1 1 2 (B: blue image).
  • Each of the single component image data 113, 114, 115 includes a plurality of pixels.
  • Each pixel has unique position information and color information in each of the single-component image data 113, 114, and 115.
  • the color information includes, for example, luminance and the like, and the color information of each pixel in each single-component image data can be represented by, for example, 8 bits.
  • the down-sampling unit 12 is a unit that samples color information from each of the single-component image data 110, 111, and 112 of the RGB component. Sampling is preferably performed within a range where deterioration of the image can be tolerated, and preferably by a method that facilitates interpolation. As a preferable sampling method, for example, a sampling method based on an array of primary colors can be considered. As is well known, the primary color Bayer arrangement is one of the RGB arrangement methods, in which G components are arranged in a pine pattern, with R and B components between them. They are arranged alternately. According to the present invention, color information is sampled at predetermined positions of each of the single-component image data 110, 111, and 112 of RGB components according to this arrangement.
  • Figure 1 shows the results obtained by performing sampling based on the primary color system distribution IJ (in this case, especially the so-called RGGB type). It is shown conceptually for each of 21 and 122. In the drawing, for example, for the single component image data 120 of the R component, a portion indicated by “ ⁇ ” indicates a sampled pixel.
  • the B-component single-component image data 122 is the same as the R-component single-component image data 122. As is clear, when sampling is performed based on this primary color Bayer array, one pixel is extracted from eight pixels for each of the single-component image data 120 and 122 of the R component and the B component.
  • color information for a total of four pixels is obtained, and for the G component single-component image data 121, color information for a total of eight pixels is obtained by extracting one pixel for every four pixels.
  • the human eye is the most sensitive to the G component of the RGB component because it obtains more information about the G component than the R and B components. It is believed that this is the case).
  • the sampling method does not necessarily need to be based on the above method. For example, color information for four pixels may be selected for single-component image data of the G component and B component, and color information for eight pixels may be selected for single-component image data of the R component. Further, sampling may be performed based on a so-called GRBG type among primary color Bay arrays. However, in order to prevent image deterioration at the time of restoration, the pixels of the RGB components are equally spaced apart from each other in the horizontal and vertical directions as regularly as possible in the primary color Bay array described above, for example, as in the primary color Bay array. It is preferable to perform sampling in a state where the sensor is closed.
  • the decomposing unit 13 converts the three single-component image data of RGB components obtained by performing sampling into four single-component image data of RG 1 G 2 B components, and outputs each single-component image data. That is, in each single-component image data, at least one pixel that has not been sampled is eliminated (removed) to obtain single-component image data smaller than the original single-component image data.
  • Preferred reduction methods are, for example, all that were not sampled by the down sampling , The pixels sampled are removed, and the sampled pixels are moved in the horizontal and vertical directions to be arranged adjacent to each other or to be combined with each other.
  • each single-component image data after processing in the decomposing unit 13 can be viewed as a data obtained by simply reducing the size of the original image.
  • FIG. 1 conceptually shows four single-component image data 130, 131, 132, and 133 generated by the processing in the decomposing unit 13.
  • the processing in the decomposing unit 13 causes the R component and B component of 4 ⁇ 4 pixels of the three single component image data 120, 121, and 122 of the RGB component to be output.
  • the single-component image data 120 and 122 are reduced by the preferred method described above to obtain 2 ⁇ 2 pixel (half resolution) R-component and B-component single-component image data 130 and 133, and 4 ⁇ 4 pixels
  • the G component single-component image data 121 is divided into two and reduced by the preferred method described above to obtain a 2 ⁇ 2 pixel (half resolution) G 1 component and G 2 component single component image.
  • the data are 131 and 132.
  • the single-component image data 131 of the G1 component is a single component representing color information of the pixel indicated by “ ⁇ ⁇ ” among the pixels sampled by the down sampling unit shown in FIG.
  • single-component image data 132 of the G2 component is single-component image data representing color information regarding a pixel at a location indicated by “ ⁇ ”. Since the single-component image data 131 of the G1 component and the single-component image data 132 of the G2 component are elements constituting the single-component image data of the G component, it is apparent that the original Thus, complete single-component image data 121 of the G component can be obtained.
  • the single-component image data of the G1 and G2 components 131, 13 2 is formed by regularly dividing the G component single-component image data so that pixels separated from each other in the horizontal and vertical directions have the same component, for example, as shown above.
  • the designer can freely determine which part of the G component is the G1 component or the G2 component.
  • the G component single-component image data 131 and the G two-component single component image data 132 are, as it were, the G components of the original image. Therefore, it can be said that the image is reduced.
  • the processing in the decomposing unit 13 the data amount in the input unit 11, that is, 4 X4 (the number of pixels in the basic area) X 3 (the number of single component image data) X8
  • the processing in the data composer 13 reduces the data amount as a whole, but on the other hand, the position information of each pixel is lost. However, the lost position information is stored in the decomposing unit 13 and the down sampling unit 12 at the time of restoration (to be described later in particular).
  • the RGB-YUV converter 14 converts the RGB components to YUV components in a manner well known to those skilled in the art.
  • four single-component image data 130, 131, 132, and RG 1 G 2 B components generated by the processing in the decomposing unit 13 are shown.
  • (133) is formed. Note that the conversion to YUV is performed because JPEG or the like is used in the compression unit described below.
  • the compression unit 15 converts the three single component image data 140, 141, 142 of the YUV component and the single component image data 143 of the G component obtained by the processing in the decomposing unit 13 into, for example, J Compress using PEG or J PEG2000.
  • J Compress using PEG or J PEG2000.
  • various methods generally used for image compression can be used, and are not limited to JPEG or the like. Since these compression methods are well known, a detailed description of these methods themselves is omitted here.
  • the information in the basic area can be, for example, data of about 6 bits as a whole.
  • the YUV component When compression is performed using JPEG, as shown in Fig. 2, the YUV component
  • the information about the three single-component image data 140, 141, and 142 is compressed as one file, for example, fi 1 e.1, and the information about the G two-component single-component image data 143 is stored in another file, for example. Compressed as fi 1 e.
  • the reason that the G2 component is compressed as a separate file is that the G2 component needs to be processed twice by JPEG. This will be apparent to those skilled in the art.
  • each of the single component image data 140, 141, 142, and 143 of the YUVG2 component can be compressed for each single component image data.
  • four files are formed, and the relation between them can be clarified by the file names or the like as in the above.
  • the output unit 16 outputs the file compressed by the compression unit 15.
  • the output may be for saving the file on a recording medium or for sending to a server on the Internet.
  • the input unit 31 reads data compressed by the method according to the present invention from a recording medium, Or download such data from a server on the Internet c
  • the decompression unit 32 decompresses the file compressed by the compression unit (15 in FIG. 1) using a method corresponding to the compression method used on the transmission side, and converts the file into three units of YUV components of 2 ⁇ 2 pixels.
  • the component image data 320, 321, and 322 and the 2 ⁇ 2 pixel G2 component single component image data 323, ie, a total of four single component image data are returned.
  • These single-component image data are exactly the same as the four single-component image data (140, 141, 142, and 143 in Fig. 1) of the two YUVG components before being compressed by the compression unit (15 in Fig. 1). You can think.
  • the YUV-RGB conversion unit 33 performs a process opposite to the process in the RGB-YUV conversion unit (14 in FIG. 1) on the transmission side.
  • the three single component image data 320, 321 and 322 of the YUV component are converted into three single component image data 330, 331 and 332 of the RG1 B component before conversion. .
  • the remaining G-component single-component image data 323 is not processed by RGB-YUV (14 in Fig. 1).
  • FIG. 3 by the processing in the YUV-RGB conversion unit 33, four single-component image data 330, 331, 332, RG1G2B components of 2 ⁇ 2 pixels, respectively. 333 are formed.
  • the composing section 34 is a section provided corresponding to the decomposing section (13 in FIG. 1).
  • the composer 34 is the de-composer (Fig. 1
  • Each single-component image data is expanded to its original size by reflecting it on the three single-component image data of RGB components (that is, the reduced single-component image data is returned to the original size).
  • Decompression can be performed, for example, by moving the pixels sampled by the down-sampling unit (12 in FIG. 1) in the horizontal and vertical directions to return to the original position. With this operation, the position information lost in the processing in the decomposing unit (13 in FIG. 1) is reflected on each single-component image data of the RGB component.
  • FIG. 3 conceptually shows three single-component image data 340, 341 and 342 generated by the processing in the composer 34.
  • the processing in the composer 34 causes the R component of each 2 ⁇ 2 pixel and the single component image data 330 and 333 of the B component to become the R component of 4 ⁇ 4 pixels (full resolution).
  • the G1 component and G2 component single component image data 331 and 332 of 2 ⁇ 2 pixels are combined with the G component and expanded. , 4 ⁇ 4 pixels (resolution) of G component single component image data 341.
  • the interpolator 35 interpolates the color information lost by sampling in the down-sampling unit (12 in FIG. 1) of the transmitter.
  • the data is expanded by this interpolation.
  • various methods for pixel interpolation and an interpolation method according to the calculation capability of the apparatus and the required image quality may be used.
  • the simplest interpolation method is to copy the same value as a pixel with data to a neighboring pixel without data.
  • three single-component image data 350, 351 and 352 of RGB components are generated. Note that the arrows in the drawings schematically show the movement of data when performing interpolation. Thus, the restoration of the original color image is completed.
  • the output unit 36 outputs the restored original color image, that is, restored image data.
  • the output unit 36 may be a display that displays a color image.
  • the output unit 36 may be a storage medium that simply stores three single-component image data of RGB components without particularly restoring a color image.
  • the output unit 36 can be provided between the decompression unit 32 and the YUV-RGB conversion unit 33 or between the YUV-RGB conversion unit 33 and the composing unit 34.
  • the YUVG two-component single-component image data 320 to 323 RGl G2B single-component image data 3330 to 333 are obtained. No image is obtained.
  • the output unit 36 may be provided between the decompression unit 32 and the YUV-RGB conversion unit 33 described above, or between the YUV-RGB conversion unit 33 and the composing unit 34.
  • the technique of the present invention in order to obtain a complete image, it is necessary to know the processing in the composer 34, and it has a decomposer (13 in FIG. 1). Although it is necessary, even if the processing in the composer 34 is not known, and even if it does not have the data composer (13 in FIG. 1), based on the data received from the transmitting side. It means that you can see the image with some accuracy.
  • FIG. 4 shows the operation of the compression device.
  • a color image is taken into the device by the input unit (step 1).
  • predetermined information is sampled from each pixel of each single component image data by the down-sampling unit (120 to 122 in FIG. 1) (step 2).
  • the decomposing unit converts the sampled three single-component image data of RGB components into four single-component image data of RG1G2B components, and reduces each single-component image data. (130-133 in Fig. 1) (Step 3).
  • the RGB—YUV converter converts the RG 1 B component into a YUV component (step 4).
  • three single component image data of the YUV component and single component image data of the G 2 component, for a total of four Single component image data (140 to 143 in Fig. 1) is formed.
  • the information on the four single component image data of the YUVG two components is compressed using JPEG or the like (step 5), and finally, the file is output at the output unit (step 6).
  • Figure 5 shows the operation of the restoration device.
  • the file is received by the input unit (step 1), and then the compressed file is decompressed by the decompression unit, and converted into four single component image data of YUVG two components (320 to 323 in FIG. 3).
  • the relevant information is decrypted (step 2).
  • the YUV-RGB conversion unit converts the YUV component into RGB components, and the three single-component image data of the RG1 B component before conversion and the single-component image data of the G2 component, for a total of four single-component image data (Steps 3 to 333 in FIG. 3) are formed (Step 3).
  • the four single-component image data of RG 1 G 2 B components are converted into three single-component image data of RGB components by the composer, and the positional information lost in the decomposer is obtained. Is reflected in the converted three single-component image data of the RGB component, and each single-component image data is expanded to its original size (340 to 342 in FIG. 3) (step 4). Thereafter, the interpolation unit recovers the color information lost in the processing in the down-sampling unit by interpolation, and restores the original color image (step 5). Finally, it can be output or displayed as restored image data (step 6). As described above, the output stage may be provided between step 2 and step 3 (step 6 ') or between step 3 and step 4 (step 6 ").
  • the resolution of the restored image data that can be output in steps 6 and 6 " is different from that of the restored image data output in step 6.
  • a switching device (not shown) may be provided so that a user can freely select and output these various types of restored image data.
  • the restored image data that can be output in steps 6 'and 6 " that is, an output image composed of one single component image data (in this case, a semi-resolution image)
  • the color image can be the same size as before compression.
  • the color image is described as being represented by the RGB component. 1 This may be represented by the YUV component.
  • the RGB-YUV converter (14 in FIG. 1) and the corresponding YUV-RGB converter (33 in FIG. 3) are unnecessary.
  • the second embodiment will be described with reference to FIGS. 6 and 7, focusing on differences from the first embodiment. 6 and 7 correspond to FIGS. 1 and 3 in the first embodiment, respectively. Items not particularly described may be considered in the same manner as in the first embodiment.
  • an input unit 51 takes in YUV format data composed of single component image data 510, 511, and 512 of YUV components.
  • YUV format data composed of single component image data 510, 511, and 512 of YUV components.
  • data of 4 X 4 pixels is included for the Y component, the U component and the V component
  • data of 4 X 2 pixels is included.
  • the down-sampling unit 52 extracts one pixel for every four pixels from the single-component image data 510 of the Y component, so that, for example, as shown in FIG. 6, the primary colors described in FIG.
  • the single-component image data 520 of the Y component is obtained.
  • the single-component image data 5 11 and 5 12 of the U component and the V component by extracting one pixel for every two pixels, for example, as shown in FIG.
  • the single-component image data of the U and V components is obtained. 52 1 and 5 22 are formed.
  • the decomposing unit 53 converts the sampled three single-component image data 520, 521, and 522 of the YUV component into four single-component image data of two Y1UVY components, Reduce the image data (530, 531, 5332, 533 in Fig. 6).
  • the single component image data 530 and 531 of the Y1 component and the Y2 component are the single component image data of the G1 and G2 components in the first embodiment (131, 1 in FIG. 1). 3 2)
  • the single-component image data 532 and 533 of the U component and the V component are the single-component image data of the R component and the B component in the first embodiment (130, 13 in FIG. 1). It can be considered as equivalent to 3).
  • the processing in the decomposing unit 53 the three single component image data 520, 522, and 522 of the YUV component are converted into the single component image data 520 of the Y component of 4 ⁇ 4 pixels.
  • the image is divided into two and reduced to obtain single-component image data 530,531 of 2X2 pixels (half resolution) of Y1 and Y2 components, while the U and V components of 4X2 pixels are
  • the single-component image data 521 and 522 are reduced to single-component image data 532 and 533 of 2 ⁇ 2 pixels of a U component and a V component.
  • the compression unit 54 compresses information on the four single-component image data 530 to 533 of two Y1UVY components using, for example, JPEG2000. In this case, since the processing by JPEG2000 is not performed twice as in the G2 component of the first embodiment, it can be formed as one file.
  • the output unit 55 outputs this file.
  • an input unit 71 receives a file.
  • the decompression unit 71 decompresses this file using a compression method corresponding to the compression method used at the time of compression, and as shown in FIG. 7, four single pixels of 2 ⁇ 2 pixels, Y 1 UVY 2 components. Return to component image data 720-723.
  • the composer 73 converts the four single-component image data 720-723 of the Y1UVY2 component into three single-component image data 730 to 732 of the YUV component, and loses the data in the decomposer.
  • Each single-component image data is expanded to its original size by reflecting the obtained position information on the three single-component image data of the converted YUV component. That is, by the processing in the composer 73, the U component of each 2 ⁇ 2 pixel and the single component image data 722 and 723 of the V component are expanded and the U component of 4 ⁇ 4 pixels (full resolution) are expanded.
  • the V-component single-component image data 731 and 732 are obtained.
  • the Y1 and Y2-component single-component image data 720 and 721 of each 2X2 pixel are combined with the Y component and expanded to obtain 4 X4 pixel data. (Full resolution) Y component single component image data 730.
  • the trapping unit 74 performs interpolation on the single-component image data 740 of the Y component, for example, in the same manner as the single-component image data of the G component (341 in FIG. 3) in the first embodiment.
  • the locations sampled by the decomposing unit (53 in Fig. 6) for example, the pixels in the first and third rows are sampled immediately below. Missing parts, eg lines 2 and 4 To perform interpolation. This interpolation method is well known to those skilled in the art and will not be described in detail here.
  • each of the transmitter and the receiver has been described as being divided into a plurality of parts.
  • this classification is for the purpose of explanation only.
  • the function of the input unit on the transmitting side and the function of the down-sampling unit are often executed at once.
  • a color image is generally detected in a state where it is sampled from the beginning using a detector having a plurality of detection elements that detect only a specific color component. Therefore, these classification methods are not important for the present invention.
  • the G component is divided into two components G1 and G2, or the Y component is divided into two components Y1 and Y2. There is no need to divide it, you may divide it further. It is enough if the image is finally obtained by combining.
  • the present invention only the embodiment relating to the single component image data of the RGB component and the Y UV component has been described, but the present invention is similarly applied to the case where the information regarding the color is expressed by the same single component image data. It would be possible. Further, an important feature of the present invention is that the single component image data relating to color is divided, and the present invention is not limited to the invention described in the embodiment of the present invention.
  • the image data compression or decompression device according to the invention can also be configured as one compression and decompression device having both of these features.
  • the compression device, the decompression device, and the compression / decompression device may be implemented as a program that causes a computer to operate as the image data compression device, the decompression device, or the compression / decompression device according to the present invention.
  • image data can be transmitted and received with a smaller data amount than before.

Description

明細書 画像データの圧縮装置及び復元装置、 並びに画像データの 圧縮プログラム及び復元: 発明の背景
本発明は、 画像データの圧縮装置及び復元装置、 並びに画像データの圧縮プロ グラム及び復元プログラムに関する。
近年、 パーソナルコンピュータ、 携帯電話、 PDA (個人向け携帯情報端末) 等の情報機器では、 画像データの送受信が盛んに行われるようになつている。 こ のような画像データは、 文書データ等に比べて非常に大きなデータ量を有するこ と力 ら、 例えば、 静止画像データの圧縮及ぴ復元方式として、 J PEGや J PE G 2000等が開発された。 これらの方式を用いて圧縮や復元を行うことにより、 画像データをある程度小さなデータに圧縮して送受信することが可能である。 尚、 J PEGあるいは J PEG 2000については、 例えば、 Information technolo gy: JPEG2000 image coding system, ISO/IEC FCD1544 - 1, March 2000や、 Infor mation technology: digital compression and coding of continuous tone sti 11 images (JPEG), ISO/IEC 10918—1, 1993に説明がある。
しかしながら、 これらの方式を用いても、 画像データのデータ量は未だに大き く、 特に、 それを無線で送受信するような場合には、 多大な時間と費用を要する といった重大な問題が生じている。
ところで、 本願出願人によって平成 1 4年 6月 1 8日に出願された 「画像処理 装置及び方法、 画像出力装置、 並びにこれらを用いたデジタルカメラ装置及び携 帯情報端末」 (出願番号 200 2年 1 77, 1 07号) には、 画像処理装置及び 画像処理方法、 更に言えば、 複数個の異なる色成分にそれぞれ関する色データを 含むカラ一画像データを、 データサイズを保ったまま複数個に分割し、 さらに圧 縮等の処理を行った上で出力する、 画像処理装置及び画像処理方法が開示されて レヽる。
本発明は、 この技術を応用することによって、 画像データをより小さなデータ 量で送受信することができる画像データの圧縮装置及び復元装置、 並びに画像デ 一タの圧縮プログラム及ぴ復元プログラムを提供するものである。 発明の開示
上記の目的を達成するために、 本発明は、 画像データの圧縮装置において、 あ る所定領域の画像データをサンプリングすることによつて得ることができる、 色 彩に関する複数の単成分画像データについて、 少なくとも 1つの単成分画像デー タを複数の単成分画像データに分割して、 前記複数の単成分画像データをそれよ り多数の単成分画像データに変換した後に圧縮を行うことを特徴としている。 ここで単成分画像データとは、 色を構成する複数の成分のうち、 1つの成分の みを含む画像データをいう。 カラー画像を表わすデータは、 光の三原色を表わす
R G B (赤、 緑、 青) の 3つの成分のデータから構成される力、 輝度と色差を表 わす YU V (輝度、 色差、 色差) の 3成分から構成されることが多レ、。 単成分画 像データは、 例えば R成分のみ、 Y成分のみ、 など、 1つの成分のみを含む画像 データを指す。
また、 本発明は、 圧縮画像データの復元装置において、 ある所定領域の画像デ ータをサンプリングすることによって得ることができる、 色彩に関する複数の単 成分画像データについて、 少なくとも 1つの単成分画像データを複数の単成分画 像データに分割して、 前記複数の単成分画像データをそれより多数の単成分画像 データに変換した後に圧縮を行う圧縮装置によつて得られた、 圧縮画像データに
■ 関し、 前記圧縮画像データを圧縮解除することによって得られる前記複数の単成 分画像データを合体させて、 前記複数の単成分画像データより多数の単成分画像 データを前記複数の単成分画像データに変換した後に復元を行うことを特徴とし ている。
また、 本発明は、 画像データの圧縮装置において、 R G B成分の 3つの単成分 画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向 に配列された複数の画素の中から所定のサンプリングを行うことによって得られ た画素を、 前記 R成分と前記 B成分の単成分画像データについてはサンプリング されなかつた画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、 前記 G成分の単成分画像データについては水平及び垂直方向において互いに均等 に離れた画素同士が同じ成分となるように G 1成分と G 2成分の 2つの単成分画 像データに分割するとともにサンプリングされなかつた画素を排してそれらを水 平及び垂直方向に移動させて互いに結合して、 前記 RG B成分の 3つの単成分画 像データを R G 1 G 2 B成分の 4つの単成分画像データに変換した後に圧縮を行 うことを特徴としている。
本発明の圧縮装置において、 前記変換された R G 1 G 2 B成分の 4つの単成分 画像データを Y U V G 2成分の 4つの単成分画像データに変換した後に圧縮を行 つてもよい。
本発明は、 画像データの復元装置において、 R G B成分の 3つの単成分画像デ ータのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列 された複数の画素の中から所定のサンプリングを行うことによって得られた画素 を、 前記 R成分と前記 B成分の単成分画像データについてはサンプリングされな 力つた画素を排してそれらを水平及び垂直方向に移動させて互!/ヽに結合し、 前記 G成分の単成分画像データについては水平及ぴ垂直方向において互いに均等に離 れた画素同士が同じ成分となるように G 1成分と G 2成分の 2つの単成分画像デ ータに分割するとともにサンプリングされなかった画素を排してそれらを水平及 ぴ垂直方向に移動させて互いに結合して、 前記 R G B成分の 3つの単成分画像デ ータを R G 1 G 2 B成分の 4つの単成分画像データに変換した後に圧縮を.行う画 像データの圧縮装置によって得られた、 圧縮画像データに関し、 前記圧縮画像デ 'ータを圧縮解除することによつて得られる、 前記 R成分と前記 B成分の単成分画 像データについては、 前記サンプリングを行うことによって得られた画素を水平 及び垂直方向に移動させて元の位置に戻し、 前記 G 1成分と前記 G 2成分の単成 分画像データについては、 それらの単成分画像データを合体させるとともに前記 サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて 元の位置に戻して、 前記 R G 1 G 2 B成分の 4つの単成分画像データを前記 R G B成分の 3つの単成分画像データに変換した後に復元を行うことを特徴としてい る。
本発明の復元装置において、 前記 YU V G 2成分の 4つの単成分画像データを 前記 R G 1 G 2 B成分の 4つの単成分画像データに変換した後に復元を行っても よい。
本発明は、 画像データの圧縮装置において、 YU V成分の 3つの単成分画像デ ータのそれぞれにおいて各々が個々の色情報を有し且つ水平及ぴ垂直方向に配列 された複数の画素の中から、 前記 Y成分の単成分画像データについては 4画素に 対して 1画素を抽出するように、 一方、 前記 U成分と前記 V成分の単成分画像デ ータについては 2画素に対して 1画素を抽出するようにして、 サンプリングを行 うことによって得られた画素を、 前記 U成分と前記 V成分の単成分画像データに ついてはサンプリングされなかった画素を排してそれらを水平又は垂直方向に移 動させて互いに結合し、 前記 Y成分の単成分画像データについては水平及び垂直 方向において互いに均等に離れた画素同士が同じ成分となるように Y 1成分と Y 2成分の 2つの単成分画像データに分割するとともにサンプリングされなかった 画素を除去しつつそれらを水平及び垂直方向に移動させて互いに結合して、 前記 YU V成分の 3つの単成分画像データを Y 1 U V Y 2成分の 4つの単成分画像デ ータに変換した後に圧縮を行うことを特徴としている。
また、 本発明は、 画像データの復元装置において、 Y U V成分の 3つの単成分 画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及ぴ垂直方向 に配列された複数の画素の中から、 前記 Y成分の単成分画像データについては 4 画素に対して 1画素を抽出するように、 一方、 前記 U成分と前記 V成分の単成分 画像データについては 2画素に対して 1画素を抽出するようにして、 サンプリン グを行うことによって得られた画素を、 前記 U成分と前記 V成分の単成分画像デ ータについてはサンプリングされなかった画素を排してそれらを水平又は垂直方 向に移動させて互いに結合し、 前記 Y成分の単成分画像データについては水平及 び垂直方向において互いに均等に離れた画素同士が同じ成分となるように Y 1成 分と Y 2成分の 2つの単成分画像データに分割するとともにサンプリングされな 力つた画素を除去しつつそれらを水平及び垂直方向に移動させて互いに結合して、 前記 YUV成分の 3つの単成分画像データを Y 1 UVY 2成分の 4つの単成分面 像データに変換した後に圧縮を行う画像データの圧縮方法によつて得られた、 圧 縮画像データに関し、 前記圧縮画像データを圧縮解除することによつて得られる、 前記 U成分と前記 V成分の単成分画像データについては、 前記サンプリングを行 うことによって得られた画素を水平又は垂直方向に移動させて元の位置に戻し、 前記 Y 1成分と前記 Y 2成分の単成分画像データについては、 それらの単成分画 像データを合体させるとともに前記サンプリングを行うことによって得られた画 素を水平及ぴ垂直方向に移動させて元の位置に戻すようにして、 前記 Y 1 UVY 2成分の 4つの単成分画像データを前記 YU V成分の 3つの単成分画像データに 変換した後に復元を行うことを特徴としている。
本発明の復元装置において、 前記移動の方法は、 前記圧縮装置との間で予め取 り決められていてもよいし、 前記圧縮装置に前記復元装置の側からデータを用い て伝えられてもよレ、。
また本発明は、 画像データの圧縮装置において、 所定の複数成分から構成され る画像データについて、 前記所定の複数成分のそれぞれについてサンプリングす る手段と、.前記サンプリングされたデータから前記所定の複数成分のいずれか一 成分の一部から構成される単成分画像データを前記複数より多い数だけ作成する 手段と、 前記単成分画像データを圧縮する手段を備え、 さらに前記単成分画像デ —タのうち少なくとも 2つは、 前記所定の複数成分のうちの同じ成分からなるこ とを特^¾としている。
この前記所定の複数成分は R G B又は YU Vの 3成分であってもよい。 さらに 本発明による圧縮装置は、 前記単成分画像データを、 性質が異なる他の成分から なる単成分画像データに変換する手段を備えることができる。
1つの実施例においては、 本発明による圧縮装置に入力される画像データは R G Bの 3つの成分から構成されるが、 これらをサンプリングして作成する単成分 画像データは R G G Bの 4つとする。 つまり G成分の単成分画像データを複数作 成する。 サンプリングの仕方は、 例えば R、 B成分については 4画素について 1 画素、 G成分については 2画素について 1画素をサンプリングするという方法が 好ましい。 次にこれらの単成分画像データのうち、 R、 G、 Bの 3つの成分のも のについては、 それぞれ Y、 U、 Vの属性を持つように変換する。 最後に YU V Gの 4つの単成分画像データを圧縮する。 圧縮については J P E Gや J P E G 2 0 0 0を使うことができるが、 J P E G 2 0 0 0で圧縮したほうが便利である。 また本発明は、 画像データの復元装置において、 本発明による圧縮装置により 圧縮された圧縮画像データについて、 前記圧縮画像データを圧縮解除して前記単 成分画像データに戻す手段と、 前記単成分画像データを伸張する手段と、 前記所 定の複数成分のうちの同じ成分からなる単成分画像データが 2つ以上ある場合は これらを結合して伸張する手段と、 を備えることを特徴とする。 本発明による復 元装置はさらに、 前記単成分画像データを、 性質が異なる他の成分からなる単成 分画像データに変換する手段を備えることができる。 本発明による復元装置はさ らに、 複数の前記単成分画像データから第 1復元画像データを作成する手段と、 複数の前記伸張された単成分画像データから第 2復元画像データを作成する手段 を有し、 第 1復元画像データと第 2復元画像データのいずれか一方を切り替えて 出力するように構成することができる。
1つの実施例においては、 本発明による復元装置に入力される圧縮画像データ を、 圧縮装置で圧縮された方法と同じ方法で解凍する。 即ち圧縮解除する。 これ により圧縮解除されたデータが、 YU V G成分をそれぞれ持つ 4つの単成分画像 データである場合、 YUV成分の 3つについては、 それぞれ R G B成分に変換す る。 次に、 R、 B成分の単成分画像データはそれぞれ縦横 2倍の大きさに伸張す る。 G成分の単成分画像データは 2つ存在するので、 これらを結合した上で R、 B成分と同じ大きさに伸張する。 最後には、 R G Bの 3つの成分からなる画像デ ータが出力されることになる。
また、 本発明による復元装置は、 出力データとして伸張前の単成分画像データ 力 構成されるものと、 伸張後のデータから構成されるものを、 切り替えること ができる。
さらに、 当業者であれば容易に理解できるように、 本発明による画像データの 圧縮装置または復元装置は、 これら両方の特徴を備えた 1つの圧縮復元装置とし て構成することが可能であり、 また、 これら圧縮装置や復元装置、 圧縮復元装置 は、 コンピュータを本発明による画像データの圧縮装置または復元装置、 圧縮復 元装置として動作させるプログラムとして実施される場合が多い。 つまり本発明 は、 コンピュータを、 所定の複数成分から構成される画像データを取り込む手段、 前記所定の複数成分のそれぞれについてサンプリングする手段、 前記サンプリン グされたデータから前記所定の複数成分のいずれか一成分の一部から構成される 単成分画像データを前記複数より多い数だけ作成する手段、 前記単成分画像デー タを圧縮する手段として動作させ、 さらに前記単成分画像データのうち少なくと も 2つは、 前記所定の複数成分のうちの同じ成分であるように動作させることを 特徴とする圧縮プログラムとして表すことができる。 又は、 コンピュータを、 本 発明による圧縮プロダラムまたは圧縮装置により圧縮された圧縮画像データに関 し、 前記圧縮画像データを圧縮解除して前記単成分画像データに戻す手段、 前記 単成分画像データを伸張する手段、 前記所定の複数成分のうちの同じ成分からな る単成分画像データが 2つ以上存在する場合はこれらを結合して伸張する手段、 として動作させることを特徴とする復元プログラムとして表すことができる。 さ らに、 双方の機能を備えた圧縮復元プログラムとして表すこともできる。
.尚、 本発明の圧縮又は復元装置において、 前記圧縮又は復元のために J P E G 又は J P E G 2 0 0 0を用いてもよい。 図面の簡単な説明
図 1は、 本発明の第一の実施形態による P Cの、 画像の取り込み及び圧縮に係 る構成を説明する図である。
図 2は、 J P E Gを用いた圧縮方法を示す概念図である。
図 3は、 本発明の第一の実施形態による P Cの、 圧縮データの復元に係る構成 を説明する図である。
図 4は、 本発明による圧縮装置の動作を説明するフローチャートである。 図 5は、 本発明による復元装置の動作を説明するフローチヤ一トである。 図 6は、 本発明の第二の実施形態による P Cの、 画像の取り込み及び圧縮に係 る構成を説明する図である。 ·
図 7は、 本発明の第二の実施形態による P Cの、 圧縮データの復元に係る構成 を説明する図である。 発明を実施するための最良の形態
添付図面を参照して、 本発明を、 本発明が適用されたパーソナルコンピュータ 一 (以下、 PCと標記) を例に挙げて説明する。 この PCはインターネットに接 続され、 インタ一ネットを通じて画像等のデータを送受信することができる。 ま た、 デジタルカメラ等と接続し、 デジタルカメラ等から画像データを取り込むこ ともできる。 特に本発明が適用された PCは、 インターネットやデジタルカメラ 等から取り込んだ画像を本発明に従って送信し、 また受信した圧縮画像を本発明 に従って復元して出力することができる。 尚、 以下に説明する PCは、 本発明を 好適に適用できる媒体の一例であって、 本発明は PCに限らず、 デジタルカメラ 等の他の様々なデジタル機器に適用することができることはいうまでもな!/、。
1. 第一の実施形態
1 -1. 画像の取り込み及び圧縮
図 1を参照して、 第一の実施形態による P cの、 画像の取り込み及び圧縮に係 る構成を説明する。
1) 入力部
入力部 1 1は、 デジタルカメラ等の外部機器に接続し、 画像データを PC本体 に取り込む部分である。 これは、 よく知られている US B等の方式を用いてよい。 又は、 インターネットに接続し、 インターネット上のサーバーから画像データを ダウンロードできるように構成してもよい。 この場合は、 イーサネット等の方式 を用いればよい。
現在一般に用いられている形式の画像データは、 RGB又は YUVの 3つの単 成分画像データ (平面) 力 構成されている場合が多い。 尚、 RGBと YUVと では多少性質が異なる。 ここでは RGBから構成された画像データが取り込まれ たものとし、 それが図 1の 1 10 (R:赤色画像) 、 1 1 1 (G:緑色画像) 、 1 1 2 (B :青色画像) に示されている。 これらの単成分画像データ 1 13、 1 14, 1 1 5にはそれぞれ、 複数の画素が含まれる。 各画素は各単成分画像デー タ 1 1 3、 1 14、 1 1 5において、 それぞれ固有の位置情報と色情報とを有す る。 色情報には、 例えば輝度等が含まれ、 各単成分画像データにおける各画素の 色情報は、 例えば 8ビットで表現することができる。 この結果、 例えば、 ある 1 つの画素の完全な色情報は、 8 X 3 = 24ビットで表現することができること になる。 尚、 図 1に示した RGB成分の各単成分画像データ 1 10、 1 1 1、 1 1 2は、 説明を目的としただけのものであって、 必ずしもこのような単成分画像 データが作成される必要はない。 この点については後にも触れる。
2) ダウン ·サンプリング部
ダウン 'サンプリング部 1 2は、 RG B成分の各単成分画像データ 1 10、 1 1 1, 1 12から色情報をサンプリングする部分である。 サンプリングは、 画像 の劣化が許容できる範囲で、 また、 好ましくは補間が容易な方法で行うのが好ま しい。 好ましいサンプリングの方法として、 例えば、 原色べィャ一配列に基づい たサンプリング方法を考えることができる。 よく知られているように、 原色べィ ヤー配列とは、 RGBの配列方式の 1つであり、 ここでは、 巿松状に G成分が配 置され、 それらの間に R成分と B成分が交互に配置される。 本発明は、 この配置 に従って、 RGB成分の各単成分画像データ 1 10、 1 1 1、 1 12のそれぞれ の所定位置において色情報のサンプリングを行う。 図 1に、 この原色べィヤー配 歹 IJ (ここでは特に、 いわゆる RGGBタイプと呼ばれる方式) に基づいてサンプ リングを行うことによって得られた結果を、 RGB成分の各単成分画像データ 1 20、 1 21、 122毎に概念的に示している。 図面中、 例えば、 R成分の単成 分画像データ 1 20については、 「〇」 で示した箇所はサンプリングされた画素
(位置) を、 空白で示した箇所はサンプリングされなかった画素を、 それぞれ示 している。 同様に、 G成分の単成分画像データ 1 21については、 「〇」 又は 「 △」 で示した箇所はサンプリングされた画素を、 空白で示した箇所はサンプリン グされなかった画素を、 それぞれ示している。 B成分の単成分画像データ 1 2 2 については、 R成分の単成分画像データ 1 2 1と同様である。 明らかなように、 この原色べィヤー配列に基づいてサンプリングを行った場合、 R成分と B成分の 各単成分画像データ 1 2 0、 1 2 2については、 8画素に対して 1画素を抽出す ることによって計 4画素分の色情報が、 G成分の単成分画像データ 1 2 1につい ては、 4画素に対して 1画素を抽出することによって計 8画素分の色情報が、 そ れぞれ選択されることになる (尚、 R成分や B成分よりも G成分に関してより多 くの情報を得ることとしているのは、 人間の目は、 R G B成分のうち G成分に最 も敏感に反応すると考えられているからである) 。
尚、 サンプリングの方法は、 必ずしも上記の方法に基づく必要はない。 例えば、 G成分と B成分の各単成分画像データについては 4画素分の色情報を、 R成分の 単成分画像データについては 8画素分の色情報を、 それぞれ選択してもよい。 ま た、 原色べィヤー配列の中でも、 いわゆる G R B Gタイプと呼ばれる方式に基づ いてサンプリングを行ってもよい。 ただし、 復元時の画像劣化を防ぐため、 上述 した原色べィヤー配列におけるようになるべく規則的に、 例えば原色べィヤー配 列におけるように、 R G B成分の各画素を水平及び垂直方向において互いに均等 に離れた状態等で、 サンプリングするのが好ましい。
3 ) デ.コンポ一ジング部
デ.コンポ一ジング部 1 3は、 サンプリングを行うことによって得られた R G B成分の 3つの単成分画像データを R G 1 G 2 B成分の 4つの単成分画像データ にするとともに、 各単成分画像データを縮小させる、 つまり、 各単成分画像デー タにおいて、 サンプリングされなかった画素を少なくとも 1っ排して (除去して ) 、 元の単成分画像データよりも小さな単成分画像データとする。 好ましい縮小 方法として、 例えば、 ダウン ·サンプリング部でサンプリングされなかった全て の画素を排して、 サンプリングされた画素を水平及び垂直方向に移動させて互い に隣接に配置する、 あるいは互いに結合させる、 といった方法が考えられる。 上 述した原色べィヤー配列に基づレ、て R G B成分の各画素を規則的にサンプリング し、 且つ、 サンプリングされたそれらの画素を上述した好ましい方法で縮小させ た場合には、 縮小後も画像は認識可能な状態で残る。 つまり、 デ 'コンポ一ジン グ部 1 3における処理後の各単成分画像データは、 元の画像の大きさを単に縮小 させただけのものとして見ることができる。
図 1に、 デ.コンポ一ジング部 13における処理によって生じた 4つの単成分 画像データ 130、 131、 132、 133を概念的に示している。 ここに示さ れているように、 デ ·コンポ一ジング部 13における処理により、 RGB成分の 3つの単成分画像データ 1 20、 121、 1 22のうち、 4 X 4画素の R成分 と B成分の単成分画像データ 1 20、 1 22については、 上述した好ましい方法 で縮小されて 2 X 2画素 (半解像度) の R成分と B成分の単成分画像データ 1 30、 133とされ、 4 X 4画素の G成分の単成分画像データ 1 21について は、 2つに分割されるとともに上述した好ましい方法で縮小されて、 2 X 2画 素 (半解像度) の G 1成分と G 2成分の単成分画像データ 131、 1 32とされ る。 ここで、 G 1成分の単成分画像データ 131とは、 図 1に示したダウン .サ ンプリング部でサンプリングされた画素のうち、 「〇」 で示した箇所の画素に関 する色情報を表す単成分画像データであり、 一方、 G 2成分の単成分画像データ 132は、 「△」 で示した箇所の画素に関する色情報を表す単成分画像データで ある。 これら G 1成分の単成分画像データ 1 31と G 2成分の単成分画像データ 132は、 G成分の単成分画像データを構成する要素であるから、 明らかなよう に、 これらを合体させることによって元の G成分の完全な単成分画像データ 12 1を得ることができる。
尚、 上に示した例では、 G1成分と G 2成分の単成分画像データ 1 31、 13 2は、 規則的に、 例えば、 上に示したように、 G成分の単成分画像データを水平 及び垂直方向において互いに離れた画素同士が同じ成分となるように、 分割する ことによって形成されているが、 G成分中のどの部分を G 1成分とし、 あるいは、 G 2成分とするかは、 設計者が自由に決定することができる。 ただし、 G成分の 単成分画像データを規則的に分割した場合には、 G 1成分の単成分画像データ 1 31や G 2成分の単成分画像データ 1 32は、 いわば元の画像の G成分を縮小さ せたものということができ、 したがって、 G1成分のみによって、 あるいは、 G 2成分の単成分画像データのみよって (更には、 残りの RG1 B成分を、 後述す る RGB—YUV変換部 14によって変換することによって得られた YUV成分 によって、 あるいは、 この YUV成分の Y成分のみによって) 、視聴者は、 元の 画像をある程度の精度で認識することができるという大きな利点がある。 また、 上に示した例のように、 G成分の単成分画像データを規則的に分割した場合には、 G 1成分と G 2成分の単成分画像データを明確に区別する必要はない。 つまり、 本明細書の記載において、 G 1と G 2を入れ換えて読んでも何ら問題はない。 デ .コンポ一ジング部 13における処理により、 入力部 1 1におけるデータ量、 つまり、 4 X4 (基本領域中の画素の数) X 3 (単成分画像データの数) X8
(RBG成分の各単成分画像データにおける 1画素あたりのビット数) =384 ビットは、 4 (RG1 G2B成分の各単成分画像データにおける画素の数) X 4 (単成分画像データの数) X 8 (RG 1 G 2 B成分の各単成分画像データに おける 1画素あたりのビット数) =1 28ビット、 つまり、 1/3に減少される。 このように、 デ'コンポ一ジング部 1 3における処理によって、 全体としてのデ —タ量は減少することになるが、 その一方で、 各画素の位置情報は失われる。 し 力 しながら、 失われた位置情報は、 デ'コンポ一ジング部 13やダウン .サンプ リング部 12における処理を後述する復元時 (特に、 後述するコンポージング部
(図 3の 34) ) との間で予め取り決めておくことによって、 また、 そのような 取り決めがない場合にはデ 'コンポ一ジングされたデータ (ファイル、 あるいは ビットストリーム) に位置情報に関する情報を付加することによって、'復元時に おいて容易に回復することができる。
4) RGB—YUV変換部
RGB— YUV変換部 14は、 当業者によく知られた方法で、 RGB成分を Y UV成分に変換十る。 ここでは、 デ'コンポ一ジング部 1 3における処理で発生 された、 RG 1 G 2 B成分の 4つの単成分画像データ 1 30、 1 31、 132、
1 33のうちの、 RG 1 B成分の 3つの単成分画像データ 130、 131、 1 3 3に基づいて、 それらを、 YUV成分の 3つの単成分画像データ 140、 141、
142へ変-換する。 残る G 2成分の単成分画像データ 133については、 YUV 変換は行わず、 そのまま残す。 この結果、 図 1にも示されているように、 RGB 一 YUV変換部における処理により、 各々が 2X 2画素の YUV成分の 3つの 単成分画像データ 140、 141、 142と G 2成分の単成分画像データ 143
(133) が形成される。 尚、 YUVへ変換を行うのは、 次に述べる圧縮部にお いて J PEG等を用いるためである。
5) 圧縮部
圧縮部 1 5は、 デ.コンポ一ジング部 13における処理によって得られた YU V成分の 3つの単成分画像データ 140、 141、 142と G 2成分の単成分画 '像データ 143を、 例えば J PEGや J PEG2000を用いて圧縮する。 但し、 圧縮の方法は、 画像圧縮のために通常使用されている様々な方法を用いることが でき、 J PEG等に限定されるものではない。 これらの圧縮方法はよく知られて いるため、 それらの方法自体の詳細な説明はここでは省略する。 この圧縮部 15 における処理により、 基本領域における情報は、 例えば、 全体として 6ビット程 のデータとすることができる。
尚、 J PEGを用いて圧縮を行った場合には、 図 2に示すように、 YUV成分 の 3つの単成分画像データ 140、 141、 142に関する情報は 1つのフアイ ル、 例えば f i 1 e . 1として圧縮され、 G 2成分の単成分画像データ 143に 関する情報はそれとは別のファイル、 例えば f i 1 e. 2として圧縮される。 G 2成分が別のファイルとして圧縮されるのは、 この G 2成分については J PEG による処理を 2回行うことを要するからである。 この点は当業者には明らかであ ろう。 圧縮されたこれらのファイル f i 1 e. 1と f i 1 e. 2の関係は、 ファ ィル名 (例えば、 f i l e. 1に f i 1 e. a. j p gという名を付け、 これに 関連して、 f i l e. 2に f i l e. b. j p gという名を付けることによって ) や、 ファイルフォーマット内の未使用フィールドにおける宣言により明かにす ることができる。 受信側は、 これらのファイル名を見ることによって、 それらが 互いに関連のあるデータであることを知ることができる。
一方、 J PEG 2000を用いて圧縮を行った場合には、 YUVG2成分の各 単成分画像データ 140、 141、 142、 143を、 それぞれ単成分画像デー タ毎に圧縮することができる。 この結果、 4つのファイルが形成されることにな るが、 これらについても上と同様に、 それらの間の関係をファイル名等で明かに することができる。
6) 出力部
出力部 16は、 圧縮部 1 5で圧縮されたファイルを出力する。 出力は、 記録媒 体にファイルを保存するためであったり、 インターネット上のサーバーに送信す るためであったりする。
1 -2. 圧縮データの復元
図 3を参照して、 第一の実施形態による PCの、 圧縮データの復元に係る構成 を説明する。
1) 入力部
入力部 31は、 記録媒体から本発明による方法で圧縮されたデータを読み込む、 又は、 インターネット上のサーバーから、 そのようなデータをダウンロードする c
2) 圧縮解除部
圧縮解除部 32は、 圧縮部 (図 1の 1 5) で圧縮されたファイルを、 送信側で 用いた圧縮方式に対応する方式で圧縮解除し、 2 X 2画素の YUV成分の 3つ の単成分画像データ 320、 321、 322と、 2X 2画素の G 2成分の単成 分画像.データ 323、 即ち、 計 4つの単成分画像データに戻す。 これらの単成分 画像データは、 圧縮部 (図 1の 1 5) によって圧縮される前の YUVG 2成分の 4つの単成分画像データ (図 1の 140、 141、 142、 143) と全く同じ ものと考えてよい。
3) YUV— RGB変換部
YUV— RGB変換部 33は、 送信側の RGB— YUV変換部 (図 1の 14) における処理と反対の処理を行う。 YUV—RGB変換部 33における処理によ り、 YUV成分の 3つの単成分画像データ 320、 321、 322は、 変換前の RG1 B成分の 3つの単成分画像データ 330、 331、 332へ変換される。 残る G 2成分の単成分画像データ 323については、 特に RGB— YUV (図 1 の 14) で処理されていないから、 そのままの状態とする。 この結果、 図 3に示 されているように、 YUV— RGB変換部 33における処理により、 各々が 2 X 2画素の RG 1 G 2 B成分の 4つの単成分画像データ 330、 331、 33 2、 333が形成される。
4) コンポ一ジング部
コンポ一ジング部 34は、 デ'コンポ一ジング部 (図 1の 13) に対応して設 けられた部分である。 コンポージング部 34は、 デ'コンポージング部 (図 1の
13) とは逆に、 RG 1 G 2 B成分の 4つの単成分画像データ 330、 331、
332、 333を RGB成分の 3つの単成分画像データ 340、 341、 342 に変換するとともに、 デ'コンポ一ジング部で失われた位置情報を、 変換された R G B成分の 3つの単成分画像データに反映させることにより各単成分画像デー タを元の大きさに伸張する (つまり、 縮小された単成分画像データを元の大きさ に戻す) 。 伸張は、 例えば、 ダウン 'サンプリング部 (図 1の 12) でサンプリ ングされた画素を、 水平及び垂直方向に移動させて元の位置に戻すことによって 行うことができる。 この操作によって、 デ 'コンポ一ジング部 (図 1の 13) に おける処理で失われた位置情報は、 RG B成分の各単成分画像データに反映され る。 図 3には、 コンポ一ジング部 34における処理によって生じた 3つの単成分 画像データ 340、 341、 342が概念的に示されている。 この図から明らか なように、 コンポ一ジング部 34における処理により、 各々が 2X2画素の R 成分と B成分の単成分画像データ 330、 333については、 4 X 4画素 (フ ル解像度) の R成分及び B成分の単成分画像データ 340、 342とされ、 各々 が 2 X 2画素の G 1成分と G 2成分の単成分画像データ 331、 332につい ては、 G成分に合体されるとともに伸張されて、 4 X4画素 (フ 像度) の G成分の単成分画像データ 341とされる。
5) 補間部
補間部 35は、 送信機のダウン 'サンプリング部 (図 1の 12) におけるサン プリングによって失われた色情報を補間する。 この補間によってデータが伸張さ れるのであるが、 よく知られているように画素補間には様々な方法が存在するか ら、 装置の計算能力と求める画質に応じた補間方法を用いればよい。 最も簡素な 補間法は、 データが存在する画素と同じ値を隣接するデータが存在しない画素に コピーするというものである。 この補間部 35における処理により、 RGB成分 の 3つの単成分画像データ 350、 351、 352が発生する。 尚、 図面中の矢 印は、 補間を行う際のデータの動きを概的に示したものである。 以上より、 元の カラー画像の復元が完了する。
7 6) 出力部
出力部 36は、 復元された元のカラー画像、 即ち復元画像データを出力する。 例えば、 出力部 36は、 カラー画像を写すディスプレイであってもよい。 ただし、 出力部 36は、 カラー画像を特に復元せずに、 RGB成分の 3つの単成分画像デ ータを単に記憶する記憶媒体であってもよい。
尚、 この出力部 36は、 上述した圧縮解除部 32と YUV— RGB変換部 33 の間、 あるいは、 YUV— RGB変換部 33とコンポ一ジング部 34の間に設け ることもできる。 勿論、 圧縮解除部 32や YUV— RGB変換部 33における処 理の直後は、 YUVG 2成分の単成分画像データ 320〜323 RGl G2B 成分の単成分画像データ 3330〜333が得られるだけで、 完全な画像が得ら れるわけではない。 しかしながら、 上述したように、 G1成分の単成分画像デー タのみによって、 あるいは、 G 2成分の単成分画像データのみよって、 あるいは、 残りの RG 1 B成分を RGB— YUV変換部によって変換することによって得ら れた YUV成分によって、 更には、 これら YUV成分の Y成分のみによって、 元 の画像をある程度の精度で認識することができる。 したがって、 出力部 36を、 上述した圧縮解除部 32と YUV— RGB変換部 33の間、 あるいは、 YUV— RGB変換部 33とコンポージング部 34の間に設けてもよい。 つまり、 本発明 の技術を用いた場合、 完全な画像を得るためには、 コンポ一ジング部 34におけ る処理を知る必要があり、 また、 デ-コンポージング部 (図 1の 13 ) を有する 必要があるが、 コンポ一ジング部 34における処理を知らなくても、 また、 デ- コンポ一ジング部 (図 1の 13) を有していなくても、 送信側から受信したデー タに基づいて、 ある程度の精度で画像を見ることが可能ということである。
1— 3. 動作説明
次に、 図 4、 図 5のフロチャートを参照して、 本発明による圧縮装置及ぴ復元 装置の動作を説明する。 図 4は、 圧縮装置の動作を示している。 先ず、 入力部によって、 カラー画像が 装置に取り込まれる (ステップ 1) 。 次に、 ダウン -サンプリング部によって、 各単成分画像データの各画素から所定の情報がサンプリングされる (図 1の 1 2 0〜122) (ステップ 2) 。 次いで、 デ'コンポ一ジング部によって、 サンプ リングされた RGB成分の 3つの単成分画像データが RG 1 G 2 B成分の 4つの 単成分画像データにされるとともに、 各単成分画像データが縮小される (図 1の 130〜133) (ステップ 3) 。 その後、 RGB— YUV変換部で、 RG 1 B 成分が YUV成分に変換され (ステップ 4) 、 この結果、 YUV成分の 3つの単 成分画像データと、 G 2成分の単成分画像データ、 計 4つの単成分画像データ ( 図 1の 140〜 143) が形成される。 更に、 J PEG等を用いて、 YUVG 2 成分の 4つの単成分画像データに関する情報が圧縮される (ステップ 5) 、 最後 に、 出力部でファイルが出力される (ステップ 6)。
図 5は、 復元装置の動作を示している。 先ず、 入力部でファイルが受信され ( ステップ 1) 、 次いで、 圧縮解除部において、 圧縮されたファイルが圧縮解除さ れ、 YUVG 2成分の 4つの単成分画像データ (図 3の 320〜 323) に関す る情報が復号される (ステップ 2) 。 次いで、 YUV— RGB変換部によって、 YUV成分が RGB成分に変換されて、 変換前の RG1 B成分の 3つの単成分画 像データと G 2成分の単成分画像データ、 計 4つの単成分画像データ (図 3の 3 30〜333) が形成される (ステップ 3) 。 更に、 コンポ一ジング部によって RG 1 G 2 B成分の 4つの単成分画像データが RGB成分の 3つの単成分画像デ ータに変換されるとともに、 デ'コンポ一ジング部で失われた位置情報が、 変換 された RG B成分の 3つの単成分画像データに反映されて、 各単成分画像データ が元の大きさに伸張される (図 3の 340〜342) (ステップ 4) 。 その後、 補間部によって、 ダウン ·サンプリング部における処理で失われた色情報が補間 によって回復され、 元のカラー画像が復元される (ステップ 5) 。 最後に、 それ らを復元画像データとして出力しあるいは表示することができる (ステップ 6) 。 上述したように、 出力段階は、 ステップ 2とステップ 3の間 (ステップ 6' ) 、 あるいは、 ステップ 3とステップ 4の間 (ステップ 6" ) に設けられていてもよ レ、。 ただし、 これらのステップ 6, 、 6" で出力され得る復元画像データは、 ス テツプ 6で出力される復元画像データとはその解像度が異なる。 尚、 切り替え装 置 (図示していない) を設けて、 これら様々な種類の復元画像データを、 ユーザ 一が自由に選択して出力させることができるようにしてもよい。 例えば、 利用者 が料金を支払ったか否かに応じて、 ステップ 6' 、 6" で出力され得る復元画像 データ、 即ち、 単成分画像データ 1つから構成される出力画像 (この場合、 半解 像度のカラー画像となる) を出力させたり、 あるいは、 ステップ 6で出力され得 る復元画像データ、 即ち、 伸張後の RGB成分の 3つの単成分画像データからな る出力画像を出力させることができる。 特に後者の場合は、 圧縮前と同じ大きさ のカラー画像とすることができる。
2. 第二の実施形態
上の第一の実施形態では、 カラー画像を RGB成分で表すものとして説明した 1 これを YUV成分で表すものとしてもよい。 この場合 (第二の実施形態) は、 第一の実施形態と異なり、 RGB— YUV変換部 (図 1の 14) とそれに対応す る YUV— RGB変換部 (図 3の 33) は不要である。 以下、 図 6、 図 7を参照 して、 第二の実施形態を、 第一の実施形態との相違を中心に説明する。 尚、 図 6、 図 7はそれぞれ、 第一の実施形態における図 1、 図 3に対応するものと考えてよ い。 また、 特に説明しない事項は、 第一の実施形態と同様に考えてよい。
2-1. 画像の取り込み及び圧縮
図 6において、 入力部 51は、 YUV成分の各単成分画像データ 510, 51 1、 51 2から構成される YUV形式のデータを取り込む。 この場合、 例えば、 Y成分について 4 X 4画素分のデータが含まれるのに対し、 U成分と V成分に ついては 4 X 2画素分のデータが含まれる。
ダウン ·サンプリング部 52は、 Y成分の単成分画像データ 5 1 0については、 4画素に対して 1画素を抽出することによって、 例えば図 6に示されているよう に、 図 1で説明した原色べィヤー配列の特に G成分の所定位置においてサンプリ ングすることによって (つまり、 「〇」 及ぴ 「△」 で示した箇所の画素をサンプ リングして) 、 Y成分の単成分画像データ 5 20を形成する。 一方、 U成分と V 成分の単成分画像データ 5 1 1 , 5 1 2については、 2画素に対して 1画素を抽 出することによって、 例えば図 6に示されているように、 4 X 2画素のデータ の 1行目と 3行目の位置のデータをサンプリングすることによって (つまり、 「 〇」 で示した箇所の画素をサンプリングして) 、 U成分と V成分の単成分画像デ ータ 52 1、 5 22を形成する。
デ -コンポージング部 5 3は、 サンプリングされた YU V成分の 3つの単成分 画像データ 520、 5 21、 5 22を Y 1 UVY 2成分の 4つの単成分画像デー タとするとともに、 各単成分画像データを縮小する (図 6の 530、 53 1、 5 3 2、 533) 。 ここでは、 Y 1成分と Y 2成分の単成分画像データ 53 0、 5 3 1が、 第一の実施形態における G 1成分と G 2成分の単成分画像データ (図 1 の 1 3 1、 1 3 2) に相当し、 U成分と V成分の単成分画像データ 53 2、 53 3が、 第一の実施形態における R成分や B成分の単成分画像データ (図 1の 1 3 0、 1 3 3) に相当すると考えてよい。 即ち、 このデ 'コンポ一ジング部 53に おける処理により、 YUV成分の 3つの単成分画像データ 5 20、 5 21、 52 2は、 4 X 4画素の Y成分の単成分画像データ 520については、 2つに分割 されるとともに縮小されて、 2 X 2画素 (半解像度) の Y1成分と Y2成分の 単成分画像データ 530、 53 1とされ、 一方、 4 X 2画素の U成分と V成分 の単成分画像データ 5 21、 522については、 縮小されて 2 X 2画素の U成 分と V成分の単成分画像データ 532、 53 3とされる。 圧縮部 54は、 Y 1 U V Y 2成分の 4つの単成分画像データ 530〜 533に 関する情報を、 例えば、 J PEG 2000を用いて圧縮する。 尚、 この場合は、 第一の実施形態の G 2成分のように、 J PEG2000による処理を 2回行うこ とはないため、 1つのファイルとして形成することができる。 出力部 55は、 こ のファイルを出力する。
2-2. 圧縮データの復元
図 7において、 入力部 71は、 ファイルを受信する。 圧縮解除部 71は、 この ファイルを、 圧縮時に用いられた圧縮方式に対応する圧縮方式で圧縮解除し、 図 7に示されているような、 2X 2画素の Y 1 UVY 2成分の 4つの単成分画像 データ 720〜 723に戻す。
コンポージング部 73は、 Y 1 UVY 2成分の 4つの単成分画像データ 720 -723を YU V成分の 3つの単成分画像データ 730〜 732に変換するとと もに、 デ.コンポ一ジング部で失われた位置情報を、 変換された YUV成分の 3 つの単成分画像データに反映させることによって各単成分画像データを元の大き さに伸張する。 即ち、 このコンポ一ジング部 73における処理により、 各 2 X 2画素の U成分と V成分の単成分画像データ 722、 723については、 伸張さ れて 4 X 4画素 (フル解像度) の U成分と V成分の単成分画像データ 731、 732とされ、 各 2X 2画素の Y1成分と Y 2成分の単成分画像データ 720、 721については、 Y成分に合体されるとともに伸張されて、 4 X4画素の ( フル解像度) の Y成分の単成分画像データ 730とされる。
捕間部 74は、 Y成分の単成分画像データ 740については、 例えば、 第一の 実施形態の G成分の単成分画像データ (図 3の 341 ) と同様の方法で補間を行 う。 一方、 U成分と V成分の単成分画像データ 741, 742については、 デ · コンポージング部 (図 6の 53 ) でサンプリングされた箇所、 例えば 1行目と 3 行目の画素をその真下のサンプリングされなかった箇所、 例えば 2行目と 4行目 にコピーすることによって補間を行う。 この補間方法は当業者にはよく知られて いるから、 ここでは詳述しない。
3 . その他
上の実施形態では、 送信機及び受信機をそれぞれ、 複数の部分に分けて説明し たが、 この分類は単に説明を目的としただけのものである。 例えば、 実際の装置 では、 送信側の入力部における機能とダウン ·サンプリング部における機能は、 一度に実行されることが多い。 つまり、 カラー画像は一般には、 特定の色成分の みを検出する複数の検知素子を配した検出器を用いて、 当初からサンプリングさ れた状態で検出される。 したがって、 これらの分類方法は本願発明にとって重要 ではない。 また、 コンピュータ ·ソフトウェアとして提供される。
また、 上の実施形態では、 G成分を G 1成分と G 2成分の 2つに、 あるいは、 Y成分を Y 1成分と Y 2成分の 2つに分割するものとして説明したが、 必ずしも 2つの分割する必要はなく、 それ以上に分割してもよレ、。 最終的に合成によって 画像が得られれば十分である。
また、 本発明では、 R G B成分と Y UV成分の単成分画像データに関する実施 形態だけを説明したが、 色彩に関する情報を同様の単成分画像データで表現する 場合には、 本発明を同様に適用することが可能であろう。 更に、 本宪明の重要な 特徴は、 色彩に関する単成分画像データを分割することにあり、 本発明が、 本発 明の実施形態に記載された発明に限定されるものではない。
明らかなように、 本発明による画像データの圧縮装置または復元装置は、 これ ら両方の特徴を備えた 1つの圧縮復元装置として構成することもできる。 また、 これら圧縮装置や復元装置、 圧縮復元装置は、 コンピュータを本発明による画像 データの圧縮装置または復元装置、 圧縮復元装置として動作させるプログラムと して実施されてもよい。 4 . 発明の効果
以上の本発明によれば、 従来よりも、 画像データをより小さなデータ量で送受 信することができる。

Claims

請求の範囲
1 . 画像データの圧縮装置において、 ある所定領域の画像データをサンプリン グすることによって得ることができる、 色彩に関する複数の単成分画像データに ついて、 少なくとも 1つの単成分画像データを複数の単成分画像データに分割し て、 前記複数の単成分画像データをそれより多数の単成分画像データに変換した 後に圧縮を行うことを特徴とする圧縮装置。
2 . 圧縮画像データの復元装置において、
ある所定領域の画像データをサンプリングすることによって得ることができる、 色彩に関する複数の単成分画像データについて、 少なくとも 1つの単成分画像デ ータを複数の単成分画像データに分割して、 前記複数の単成分画像データをそれ より多数の単成分画像データに変換した後に圧縮を行う圧縮装置によって得られ た、 圧縮画像データに関し、
前記圧縮画像データを圧縮解除することによって得られる前記複数の単成分画 像データを合体させて、 前記複数の単成分画像データより多数の単成分画像デー タを前記複数の単成分画像データに変換した後に復元を行うことを特徴とする復
3 . 画像データの圧縮装置において、 R G B成分の 3つの単成分画像データの それぞれにおいて各々が個々の色情報を有し且つ水平及ぴ垂直方向に配列された 複数の画素の中から所定のサンプリングを行うことによって得られた画素を、 前 記 R成分と前記 B成分の単成分画像データについてはサンプリングされなかった 画素を排してそれらを水平及び垂直方向に移動させて互!/ヽに結合し、 前記 G成分 の単成分画像データについては水平及ぴ垂直方向において互いに均等に離れた画 素同士が同じ成分となるように G 1成分と G 2成分の 2つの単成分画像データに 分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直 方向に移動させて互いに結合して、 前記 R G B成分の 3つの単成分画像データを R G 1 G 2 B成分の 4つの単成分画像データに変換した後に圧縮を行うことを特 徴とする圧縮装置。
4 . 前記変換された R G 1 G 2 B成分の 4つの単成分画像データを YUV G 2 成分の 4つの単成分画像データに変換した後に圧縮を行う請求項 3記載の圧縮装
5 . 画像データの復元装置において、
R G B成分の 3つの単成分画像データのそれぞれにおいて各々が個々の色情報 を有し且つ水平及ぴ垂直方向に配列された複数の画素の中から所定のサンプリン グを行うことによって得られた画素を、 前記 R成分と前記 B成分の単成分画像デ ータにつレ、てはサンプリングされなかつた画素を排してそれらを水平及び垂直方 向に移動させて互いに結合し、 前記 G成分の単成分画像データについては水平及 ぴ垂直方向において互いに均等に離れた画素同士が同じ成分となるように G 1成 分と G 2成分の 2つの単成分画像データに分割するとともにサンプリングされな かつた画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、 前 記 R G B成分の 3つの単成分画像データを R G 1 G 2 B成分の 4つの単成分画像 データに変換した後に圧縮を行う画像データの圧縮装置によつて得られた、 圧縮 画像データに関し、
前記圧縮画像データを圧縮解除することによって得られる、 前記 R成分と前記 B成分の単成分画像データについては、 前記サンプリングを行うことによって得 られた画素を水平及ぴ垂直方向に移動させて元の位置に戻し、 前記 G 1成分と前 記 G 2成分の単成分画像データについては、 それらの単成分画像データを合体さ せるとともに前記サンプリングを行うことによつて得られた画素を水平及び垂直 方向に移動させて元の位置に戻して、 前記 R G 1 G 2 B成分の 4つの単成分画像 データを前記 R G B成分の 3つの単成分画像データに変換した後に復元を行うこ とを特徴とする復元装置。
6 . 前記 YU V G 2成分の 4つの単成分画像データを前記 R G 1 G 2 B成分の 4つの単成分画像データに変換した後に復元を行う請求項 5記載の復元装置。
7 . 画像データの圧縮装置において、 YU V成分の 3つの単成分画像データの それぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された 複数の画素の中から、 前記 Y成分の単成分画像データについては 4画素に対して 1画素を抽出するように、 一方、 前記 U成分と前記 V成分の単成分画像データに ついては 2画素に対して 1画素を抽出するようにして、 サンプリングを行うこと によつて得られた画素を、 前記 U成分と前記 V成分の単成分画像データについて はサンプリングされなかった画素を排してそれらを水平又は垂直方向に移動させ て互いに結合し、 前記 Y成分の単成分画像データについては水平及び垂直方向に おいて互いに均等に離れた画素同士が同じ成分となるように Y 1成分と Y 2成分 の 2つの単成分画像データに分割するとともにサンプリングされなかった画素を 除去しつつそれらを水平及ぴ垂直方向に移動させて互いに結合して、 前記 YUV 成分の 3つの単成分画像データを Y 1 U V Y 2成分の 4つの単成分画像データに 変換した後に圧縮を行うことを特徴とする圧縮装置。
8 . 画像データの復元装置において、
Y U V成分の 3つの単成分画像データのそれぞれにおいて各々が個々の色情報 を有し且つ水平及び垂直方向に配列された複数の画素の中から、 前記 Y成分の単 成分画像データについては 4画素に対して 1画素を抽出するように、 一方、 前記 U成分と前記 V成分の単成分画像データについては 2画素に対して 1画素を抽出 するようにして、 サンプリングを行うことによって得られた画素を、 前記 U成分 と前記 V成分の単成分画像データについてはサンプリングされなかった画素を排 してそれらを水平又は垂直方向に移動させて互いに結合し、 前記 Y成分の単成分 画像データについては水平及ぴ垂直方向にぉ 、て互レヽに均等に離れた画素同士が 同じ成分となるように Y 1成分と Y 2成分の 2つの単成分画像データに分割する とともにサンプリングされなかった画素を除去しつつそれらを水平及び垂直方向 に移動させて互いに結合して、 前記 YUV成分の 3つの単成分画像データを Y 1 UV Y 2成分の 4つの単成分画像データに変換した後に圧縮を行う画像データの 圧縮方法によって得られた、 圧縮画像データに関し、
前記圧縮画像データを圧縮解除することによって得られる、 前記 U成分と前記 V成分の単成分画像データについては、 前記サンプリングを行うことによって得 られた画素を水平又は垂直方向に移動させて元の位置に戻し、 前記 Y 1成分と前 SY 2成分の単成分画像データについては、 それらの単成分画像データを合体さ せるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直 方向に移動させて元の位置に戻すようにして、 前記 Y l U V Y 2成分の 4つの単 成分画像データを前記 YU V成分の 3つの単成分画像データに変換した後に復元 を行うことを特徴とする復元装置。
9 . 前記移動の方法は前記圧縮装置との間で予め取り決められている請求項 3、 5、 7、 8のいずれかに記載の復元装置。
1 0 . 前記移動の方法は前記圧縮装置に前記復元装置の側からデータを用いて 伝えられる請求項 3、 5、 7、 8のいずれかに記載の復元装置。
1 1 . 所定の複数成分から構成される画像データについて、 前記所定の複数成 分のそれぞれについてサンプリングする手段と、 前記サンプリングされたデータ から前記所定の複数成分のいずれか一成分の一部から構成される単成分画像デー タを前記複数より多い数だけ作成する手段と、 前記単成分画像データを圧縮する 手段を備え、 さらに前記単成分画像データのうち少なくとも 2つは、 前記所定の 複数成分のうちの同じ成分からなることを特徴とする、 圧縮装置。
1 2 . 前記所定の複数成分は R G Bの 3つ又は YU Vの 3つである請求項 1 1 に記載の圧縮装置。
1 3 . さらに、 前記単成分画像データを、 性質が異なる他の成分からなる単成 分画像データに変換する手段を備える請求項 1 1または 1 2に記載の圧縮装置。
1 4 . 請求項 1 1乃至 1 3のいずれか 1つの圧縮装置によって得られた圧縮画 像データに関し、 前記圧縮画像データを圧縮解除して前記単成分画像データに戻 す手段と、 前記単成分画像データを伸張する手段と、 前記所定の複数成分のうち の同じ成分からなる単成分画像データが 2つ以上ある場合はこれらを結合して伸 張する手段と、 を備えることを特徴とする復元装置。
1 5 . さらに、 前記単成分画像データを、 性質が異なる他の成分からなる単成 分画像データに変換する手段を備える請求項 1 4に記載の圧縮装置
1 6 . 複数の前記単成分画像データから第 1復元画像データを作成する手段と、 複数の前記伸張された単成分画像データから第 2復元画像データを作成する手段 を有し、 第 1復元画像データと第 2復元画像データのいずれか一方を切り替えて 出力することができる請求項 14または 15に記載の復元装置。
1 7. 前記圧縮のために J PEG又は J PEG2000を用いる請求項 1、 3、 4、 7、 1 1、 12、 13、 1 5のいずれかに記載の圧縮装置。
18. 前記復元のために J PEG又は J PEG 2000を用いる請求項 2、 5、 6、 8、 9、 10、 14、 16のいずれかに記載の復元装置。
1 9. 請求項 1乃至 18のいずれかに記載された圧縮装置又は復元装置として コンピュータを機能させることを特徴とする圧縮又は復元プログラム。
PCT/JP2002/013221 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム WO2004056084A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU2002368463A AU2002368463A1 (en) 2002-12-18 2002-12-18 Image data compression device and decompression device and image data compression program and decompression program
JP2004560583A JP4012201B2 (ja) 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム
EP02790801A EP1575262A4 (en) 2002-12-18 2002-12-18 DATA-IMAGE COMPRESSION DEVICE AND DECOMPRESSION DEVICE AND IMAGE-DATA COMPRESSION PROGRAM AND DECOMPRESSION PROGRAM
PCT/JP2002/013221 WO2004056084A1 (ja) 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム
US11/153,160 US20050286778A1 (en) 2002-12-18 2005-06-15 Compression unit, decompression unit for image data and programs for compressing and decompressing image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/013221 WO2004056084A1 (ja) 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム

Publications (1)

Publication Number Publication Date
WO2004056084A1 true WO2004056084A1 (ja) 2004-07-01

Family

ID=32587965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/013221 WO2004056084A1 (ja) 2002-12-18 2002-12-18 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム

Country Status (5)

Country Link
US (1) US20050286778A1 (ja)
EP (1) EP1575262A4 (ja)
JP (1) JP4012201B2 (ja)
AU (1) AU2002368463A1 (ja)
WO (1) WO2004056084A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121669A (ja) * 2004-10-19 2006-05-11 Microsoft Corp 可逆の色変換を用いてモザイク状画像データをエンコードするためのシステムおよび方法
WO2010055893A1 (ja) 2008-11-13 2010-05-20 Oya Nagato 樹状形式によるデータ処理方法およびデータ処理装置
US8948523B2 (en) 2008-05-29 2015-02-03 Nagato Oya Data processing method in tree form and data processing device
CN114189689A (zh) * 2021-11-25 2022-03-15 广州思德医疗科技有限公司 图像压缩处理方法、装置、电子设备和存储介质
CN115150390A (zh) * 2022-06-27 2022-10-04 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201058A1 (en) * 2006-02-28 2007-08-30 Texas Instruments Incorporated Systems and methods for indirect image data conversion
US8200959B2 (en) * 2007-06-28 2012-06-12 Cisco Technology, Inc. Verifying cryptographic identity during media session initialization
US8417942B2 (en) 2007-08-31 2013-04-09 Cisco Technology, Inc. System and method for identifying encrypted conference media traffic
US8837598B2 (en) * 2007-12-28 2014-09-16 Cisco Technology, Inc. System and method for securely transmitting video over a network
US20090169001A1 (en) * 2007-12-28 2009-07-02 Cisco Technology, Inc. System and Method for Encryption and Secure Transmission of Compressed Media
EP2528319A1 (en) * 2011-05-23 2012-11-28 Alcatel Lucent Image data compressing and decompressing methods and devices
US10721470B2 (en) 2018-07-06 2020-07-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compression of a raw image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723231A (ja) * 1993-06-22 1995-01-24 Canon Inc カラー画像伝送装置及び方法
JPH07221993A (ja) * 1994-02-02 1995-08-18 Kokusai Electric Co Ltd カラー画像データの間引き方法及び装置、並びにカラー画像データの圧縮方法
JPH10271529A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp 画像処理装置及び静止画像撮像装置並びに画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US7372485B1 (en) * 1999-06-08 2008-05-13 Lightsurf Technologies, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
JP4560180B2 (ja) * 2000-06-28 2010-10-13 キヤノン株式会社 撮像装置
JP2002354265A (ja) * 2001-05-30 2002-12-06 Ricoh Co Ltd 画像処理装置および画像形成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723231A (ja) * 1993-06-22 1995-01-24 Canon Inc カラー画像伝送装置及び方法
JPH07221993A (ja) * 1994-02-02 1995-08-18 Kokusai Electric Co Ltd カラー画像データの間引き方法及び装置、並びにカラー画像データの圧縮方法
JPH10271529A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp 画像処理装置及び静止画像撮像装置並びに画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1575262A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121669A (ja) * 2004-10-19 2006-05-11 Microsoft Corp 可逆の色変換を用いてモザイク状画像データをエンコードするためのシステムおよび方法
EP1657909A2 (en) 2004-10-19 2006-05-17 Microsoft Corporation System and method for encoding mosaiced colour image data employing a reversible color transform
EP1657909A3 (en) * 2004-10-19 2010-06-02 Microsoft Corporation System and method for encoding mosaiced colour image data employing a reversible color transform
KR101201047B1 (ko) * 2004-10-19 2012-11-14 마이크로소프트 코포레이션 가역성의 색 변환을 채용하는 모자이크된 이미지 데이터를인코딩하는 시스템 및 방법
US8948523B2 (en) 2008-05-29 2015-02-03 Nagato Oya Data processing method in tree form and data processing device
WO2010055893A1 (ja) 2008-11-13 2010-05-20 Oya Nagato 樹状形式によるデータ処理方法およびデータ処理装置
CN114189689A (zh) * 2021-11-25 2022-03-15 广州思德医疗科技有限公司 图像压缩处理方法、装置、电子设备和存储介质
CN114189689B (zh) * 2021-11-25 2024-02-02 广州思德医疗科技有限公司 图像压缩处理方法、装置、电子设备和存储介质
CN115150390A (zh) * 2022-06-27 2022-10-04 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质
CN115150390B (zh) * 2022-06-27 2024-04-09 山东信通电子股份有限公司 一种图像显示方法、装置、设备及介质

Also Published As

Publication number Publication date
JPWO2004056084A1 (ja) 2006-04-20
EP1575262A4 (en) 2010-02-24
AU2002368463A1 (en) 2004-07-09
EP1575262A1 (en) 2005-09-14
US20050286778A1 (en) 2005-12-29
JP4012201B2 (ja) 2007-11-21

Similar Documents

Publication Publication Date Title
EP1657909B1 (en) System and method for encoding mosaiced colour image data employing a reversible color transform
US20050286778A1 (en) Compression unit, decompression unit for image data and programs for compressing and decompressing image data
US8660345B1 (en) Colorization-based image compression using selected color samples
EP1613097A1 (en) Digital video signal compression and decompression method and apparatus
US20030007082A1 (en) Digital camera with electronic zooming function
WO2001039511A1 (fr) Dispositif et procede de compression d'images et dispositif de decompression d'images, support d'enregistrement lisible par machine avec programme permettant a l'ordinateur d'executer un procede de compression d'images
EP0969674A2 (en) Image sensing device processing image signals in blocks
WO2011010431A1 (ja) 画像処理装置、画像処理方法および撮像装置
WO2003107684A1 (ja) 画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末
JP2005278025A (ja) 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム
US7199825B2 (en) Image generating system
JP2007151134A (ja) 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
JP4436733B2 (ja) 撮像装置および再生装置
CN101287057A (zh) 一种节省暂存内存的图片解压缩储存方法及其模块
JP2007215001A (ja) 画像処理装置、画像処理システム及び画像処理方法
JPH1169377A (ja) 画像情報符号化装置及びそれを応用した装置
US6965642B2 (en) Method and device for compressing and decompressing moving image data and information recording medium
JP2002247376A (ja) 画像処理装置
JP2006173931A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
KR100834357B1 (ko) 영상 데이터의 압축 장치 및 방법
JP2002044460A (ja) 画像入力方法および装置
JPH10215433A (ja) デジタルカメラ
JP3867089B2 (ja) 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体
KR101012707B1 (ko) 비데오 프리젠터로부터의 영상 데이터를 효율적으로처리하는 방법
JP3910192B2 (ja) 画像圧縮装置および画像伸張装置、ならびに画像圧縮方法および画像伸張方法をコンピュータに実行させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2004560583

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2002790801

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002790801

Country of ref document: EP