WO2005067294A1 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

画像処理方法、画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2005067294A1
WO2005067294A1 PCT/JP2004/019374 JP2004019374W WO2005067294A1 WO 2005067294 A1 WO2005067294 A1 WO 2005067294A1 JP 2004019374 W JP2004019374 W JP 2004019374W WO 2005067294 A1 WO2005067294 A1 WO 2005067294A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image feature
resolution
amount
texture
Prior art date
Application number
PCT/JP2004/019374
Other languages
English (en)
French (fr)
Inventor
Hideto Motomura
Katsuhiro Kanamori
Yoichi Miyake
Norimichi Tsumura
Toshiya Nakaguchi
Takashi Sugaya
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2005516842A priority Critical patent/JP4069136B2/ja
Priority to US11/063,389 priority patent/US7203381B2/en
Publication of WO2005067294A1 publication Critical patent/WO2005067294A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof

Definitions

  • Image processing method image processing apparatus, and image processing program
  • the present invention relates to image processing such as image measurement'recognition and image generation, and more particularly to a technique for generating, from an original image, an information-densified image whose information amount exceeds that of the original image.
  • spatial domain super-resolution because the resolution is based on the number of pixels and lines.
  • time domain super-resolution that requires a higher time resolution than at the time of sampling is required. For example, interlaced scanning When displaying the video recorded in the above on a progressive scan display, time-domain super-resolution processing with a magnification of 2 times is required. Such a process is frequently used, for example, when converting analog broadcast material to digital broadcast.
  • Such super-resolution processing is regarded as an interpolation problem that generates new data.
  • the basic idea of the interpolation method is that existing data forces near new data also infer themselves.
  • its own signal value is estimated from the signal values of adjacent pixels in the horizontal, vertical, and oblique directions. If it is time-domain super-resolution, it will infer its own data from the previous and next data.
  • there are general methods such as the nearest neighbor method, the linear method, and the bicubic method (Non-Patent Document 1).
  • a proposal has been made to compensate for the quality degradation due to the blurring of these interpolation methods by supplementing high frequency components (Patent Document 1).
  • Patent Document 2 a method has been proposed in which a large number of low-resolution data are collected so as to include an overlapping area, connected at corresponding points, and super-resolution processing is realized.
  • Non-patent document 1 Shinya Araya, "Mysterious 3D Computer Graphics", Kyoritsu Shuppan, September 25, 2003, p. 144-145
  • Patent Document 1 JP-A-2002-116271 (FIG. 2)
  • Patent Document 2 JP-A-8-226879 (FIG. 2)
  • the pattern and gloss of the object surface are not considered at all, and the image after super-resolution is not considered. Does not include a mechanism to save the pattern and gloss of the original image. In other words, if the texture of the original image changes in quality due to the super-resolution processing, the texture of the object captured in the image may be different.
  • Patent Document 2 has a problem in that it is necessary to perform shooting a plurality of times, which increases the number of work steps.
  • the present invention analyzes image features (eg, density distribution, frequency distribution, contrast, etc.) of an original image, and analyzes the analyzed image features and image information amount (eg, the number of pixels, Information density densification image power whose number of gradations, number of color channels, etc.) is higher than that of the original image.
  • image information amount is the resolution
  • the texture of the input image generally term for attributes such as pattern and gloss
  • the analyzed texture features and the spatial or temporal resolution are higher and the super resolution is higher.
  • a super-resolution image in space domain or a super-resolution image in time domain is generated using the super-resolution texture feature amount obtained from the image.
  • the present invention it is possible to generate an information-densified image that exceeds the image information amount of the original image and is stored without deteriorating the image characteristics of the original image.
  • the image information amount is set to the resolution
  • a spatial domain super-resolution image or a time domain super-resolution image can be generated while preserving the texture impression of the original image.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention.
  • FIG. 2 is an example of a configuration of an information density increasing unit in FIG.
  • FIG. 3 is a conceptual diagram of a spatial domain super-resolution processing according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram showing a schematic configuration of an image processing device that performs a spatial domain super-resolution process according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of the configuration and processing of a texture analysis unit in FIG. 4.
  • FIG. 6 is a diagram showing an example of the configuration and processing of a super-resolution processing unit in FIG. 4.
  • FIG. 7 is a diagram illustrating an example of a configuration and processing of an image generation unit in FIG. 4.
  • FIG. 8 is a block diagram showing a configuration of an image processing device according to a second embodiment of the present invention.
  • FIG. 9 is an image processing apparatus for performing a spatial domain super-resolution processing according to the second embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a schematic configuration of a processing device.
  • FIG. 10 is a diagram showing an example of a method of calculating a basic texture feature amount weight coefficient in the configuration of FIG.
  • FIG. 11 is a diagram showing a configuration of an image processing device according to a third embodiment of the present invention.
  • FIG. 12 is a diagram showing an example of a method of creating a texture feature vector conversion table of FIG. 11;
  • FIG. 13 is a diagram showing a first configuration example of the present invention.
  • FIG. 14 is a diagram showing a second configuration example of the present invention.
  • FIG. 15 is a diagram showing a third configuration example of the present invention.
  • an image feature analysis of an original image is performed, a first step of obtaining an image feature amount independent of image coordinates, and the first step.
  • the second step includes selecting an image feature category to which the image feature amount belongs from a plurality of image feature categories prepared in advance, and selecting the image feature category in the selected image feature category.
  • the image processing method according to the first aspect in which a basic image feature with an increased amount of information is read out from the densified image feature database as the densified image feature, is provided.
  • the second step calculates a similarity between each of the image feature amounts and a plurality of image feature categories prepared in advance, and calculates a basic degree in each of the image feature categories.
  • the image processing method according to the first aspect wherein the high-density image feature amount is generated by weighting and adding the image feature amount according to the calculated similarity.
  • the second step selects an image feature category to which the image feature amount belongs from among a plurality of image feature categories prepared in advance, and refers to a conversion table database.
  • the image processing method according to the first aspect wherein the image feature amount is converted into the densified image feature amount using a conversion table for feature amount conversion in the selected image feature category.
  • the image processing method according to the fourth aspect, wherein the plurality of image feature categories are provided for each material of an object captured in an image.
  • the image processing method according to the first aspect, wherein a spatial resolution or a temporal resolution is used as the image feature amount.
  • a spatial frequency response or a time frequency response is obtained by using a Fourier transform.
  • a spatial frequency response or a time frequency response is determined using a wavelet transform.
  • a spatial frequency response or a time frequency response is obtained using a plurality of spatial filters different in at least one of scale, phase, and spatial directionality.
  • an image processing apparatus an image feature analysis unit that performs image feature analysis of an original image and obtains an image feature amount independent of image coordinates, and the image feature analysis unit
  • the information amount densification unit that obtains a high-density image feature amount by densifying the information amount of the obtained image feature amount to obtain a high-density image feature amount
  • an apparatus having an image generation unit that generates a densified image obtained by densifying an original image with an amount of information.
  • an eleventh aspect of the present invention as an image processing program, a first step of performing image feature analysis of an original image to obtain an image feature amount independent of image coordinates, and And a second step of densifying the obtained image feature amount to obtain a high-density image feature amount, based on the high-density image feature amount obtained in the second step. And a third step of generating a densified image obtained by densifying the original image with an information amount.
  • FIG. 1 is a block diagram showing the configuration of the image processing device according to the first embodiment of the present invention.
  • the image processing apparatus shown in FIG. 1 generates an information-densified image that exceeds the information amount of an original image.
  • density of information amount means a process of increasing the amount of image information of a given image, and in some cases, “super information processing” or “super information ”.
  • the image information amount is, for example, the number of pixels, the number of gradations, the number of color channels, and the like. Taking the number of pixels as an example, an image of 320 pixels X 240 lines is enlarged four times in both the horizontal and vertical directions. When the information density is increased, the total number of pixels becomes 16 times 1280 pixels X A 960 line image is generated.
  • a process of enlarging an input image in which each pixel has 128 gradations to 256 gradations corresponds to a double information density densification process.
  • the process of converting a monochrome image (the number of color channels is one) to an RGB image is equivalent to triple the amount of information densification.
  • the image feature analysis unit 10 analyzes the image features of the input image ⁇ as the original image and outputs the image features FI (first step).
  • the image features are, for example, a density distribution, a frequency response, a contrast, and the like, and their feature amounts are respectively represented by a density histogram, a frequency spectrum, and a ratio between a highlight and a dark portion.
  • the information amount densification unit 20 performs an information amount densification process according to the image feature amount FI, and outputs a densified image feature amount SFI (second step). Since the amount of information in the image feature FI is directly increased, the amount of information in the image can be increased without changing the image feature itself.
  • the image generator 30 visualizes the densified image feature SFI and generates an output image IOUT as a densified image (third step).
  • FIG. 2 shows an example of the configuration of the information amount densification section 20 of FIG.
  • the image feature category selection unit 21 selects an image feature FI from the image feature categories that have been classified in advance, and assigns an image feature index ID indicating the type of the selected image feature category. Output.
  • the image feature index ID is given to the densified image feature database 22 and the information feature corresponding to the image feature index ID and the densified image feature is output from the densified image feature database 22 as the densified image feature SFI. Is done.
  • the image feature amount is expressed in a vector (for example, the frequency of the density histogram is set as a vector element), and similar vectors are grouped together using an arbitrary clustering method (for example, the K-mean method). Perform formation. It is effective to select a category by vector quantization.
  • the densified image feature database 22 is created before the information densification processing is performed. A high-density sample image whose image information amount exceeds the input image is prepared in advance, and an image feature amount such as a density histogram is obtained.
  • FIG. 3 is a diagram conceptually showing spatial domain super-resolution processing using spatial resolution as the amount of image information. It is assumed that the density distribution X is obtained as a result of observing the density distribution of the low-resolution image X along the line L. Here, for convenience of explanation, it is assumed that the number of pixels in the line L is eight.
  • the density distribution here is schematically shown to explain a concept that does not accurately reflect the illustrated image data, and the same applies to the following description.
  • the number of pixels in one line is 32 pixels, so that 32 density levels are required. It is necessary to supplement in form.
  • a density distribution A for example, a method is conceivable in which the densities of the low-resolution image X are arranged at equal intervals for every four pixels, and the pixels between them are supplemented by linear interpolation.
  • the increase / decrease pattern of the density change along the line L becomes a blurred image like the image A because the stored power gradient becomes smooth.
  • the amount of image information has quadrupled, but the impression of texture, which is an image feature, has changed.
  • the density distribution B is obtained by creating a high frequency component irrespective of the waveform shape of the density distribution X that is a low frequency component. Since the change in the density level is large and changes more rapidly than the density distribution A, a fine texture such as the image B is generated. However, the waveform impression is so far away from the density distribution A that the texture impression has changed.
  • the density distribution C is a case where the density distribution A is stored as a low-frequency component, and a high-frequency component having a higher spatial frequency than the density distribution A is superimposed.
  • the low-frequency component traces the basic pattern of the texture, and the high-frequency component adds a fine texture pattern. Bell can be supplemented.
  • FIG. 4 is a block diagram showing a schematic configuration of an image processing apparatus that performs a spatial domain super-resolution process using a spatial resolution as an image information amount.
  • the texture which is the image feature of the input image ⁇ , is analyzed in pixel units by the texture analysis unit 40 as an image feature analysis unit, and the texture is analyzed. It is described as a task feature vector FVT.
  • the super-resolution processing unit 50 as an information densification unit performs super-resolution processing in a texture feature space, and a test feature vector FVT as an image feature is converted to a super-resolution image as a densified image feature. Convert to resolution feature texture vector SFVT.
  • the image generation unit 60 visualizes the super-resolution texture feature vector SFVT and outputs an output image IOUT.
  • FIG. 5 is a diagram showing an example of the configuration and processing of the texture analysis unit 40 of FIG.
  • a texture analysis unit 40 performs a texture analysis using a spatial frequency response.
  • the input image ⁇ is distributed to a plurality of channels in a spatial frequency component decomposition section 41, and given to each spatial frequency band, to obtain a spatial frequency response FRS.
  • the texture feature vector generator 42 generates a texture feature vector FVT using the spatial frequency response FRS as an element.
  • the texture feature vector FVT has a direction and a magnitude in the texture feature space centered on the response channel of each spatial frequency band, and the texture is described by this attribute. If the elements of the feature are independent of each other, the expression of the feature is highly efficient without duplication. Therefore, Fourier transform, wavelet transform, and the like are effective for decomposing the spatial frequency component.
  • the spatial frequency response may be obtained by using a plurality of spatial filters different in at least one of scale, phase, and spatial directivity.
  • FIG. 6 is a diagram showing an example of the configuration and processing of the super-resolution processing section 50 of FIG. 6, the super-resolution texture feature database 51 stores, for each of a plurality of image feature categories, a texture feature vector generated from a sample image exceeding the resolution of the input image ⁇ ⁇ ⁇ ⁇ . Each texture feature vector is provided with an index 111M for specifying an image feature category.
  • the texture category selection unit 52 compares the texture feature vector FVT describing the texture of the input image ⁇ with each texture feature vector stored in the super-resolution texture feature database 51.
  • the texture category selection unit 52 specifically calculates the texture feature vector FVT
  • the inner product of the vectors is obtained between the low-resolution components having a response, and this is used as the similarity.
  • the index with the largest inner product (similarity is the highest) is selected as the texture feature index IDT, and the texture feature vector to which the texture feature index IDT is assigned is the super-resolution texture. It is output as the feature vector SFVT. Since the super-resolution texture feature vector SFVT has a response even in a frequency band exceeding the frequency w, the super-resolution processing is performed in the texture feature space.
  • FIG. 6 shows the response amount in a dynamic range of 0 to 100.
  • FIG. 7 is a diagram showing an example of the configuration and processing of the image generation unit 60 in FIG.
  • the processing here is the reverse of the spatial frequency decomposition shown in FIG. That is, for each element of the super-resolution texture feature vector SFVT, the product is calculated with the basic function in each spatial frequency band, and the sum of all channels is set as the output image IOUT.
  • the image generation unit 60 performs the inverse transformation.
  • the texture of an input image is described as a spatial frequency spectrum and compared with a spatial frequency spectrum generated from a super-resolution sample image exceeding the resolution of the input image. And texture selection. For this reason, the effect that the texture of the image after the super-resolution processing matches the impression of the input image can be reliably obtained.
  • the spatial domain super-resolution processing using the spatial resolution as the image feature has been described, but the time domain super-resolution processing using the time resolution as the image feature has also been described here.
  • This can be performed in the same manner as the spatial domain super-resolution processing.
  • the texture is generated from the difference of the video signal level with the time change. Therefore, the texture analyzer 40 in FIG. 4 is configured in the time domain, and performs time-frequency decomposition.
  • the processing after expansion to the time domain is the same as that described in FIGS. 4 to 7, and the description is omitted here.
  • FIG. 8 is a block diagram showing a configuration of an image processing device according to the second embodiment of the present invention.
  • the image processing device shown in FIG. 8 also generates an information-densified image exceeding the information amount of the input image, similarly to the image processing device of FIG.
  • the same components as those in FIG. The same reference numerals are given, and the detailed description is omitted here. Yes.
  • the information amount densification unit 20 A includes a densified image feature amount database 25, a basic image feature amount weight coefficient calculation unit 26, and an image feature amount interpolation unit 27.
  • the densified image feature amount database 25 stores, for each of a plurality of image feature categories, a basic image feature amount whose information amount has been increased, generated from a high-density sample image whose information amount exceeds the input image ⁇ .
  • the basic image feature weighting coefficient calculation unit 26 calculates the similarity between the image feature FI obtained from the input image and each basic image feature stored in the densified image feature database 25. Each is calculated, and a basic image feature quantity weighting coefficient group GWC is obtained based on the similarity.
  • the basic image feature weighting coefficient group GWC is provided to the image feature interpolator 27.
  • the densified image feature amount database 25 supplies the stored basic image feature amount group GSFI to the image feature amount interpolation unit 27.
  • the image feature interpolator 27 linearly weights and adds the basic image feature group GSFI using the basic image feature weight coefficient group GWC, and outputs the result as the densified image feature SFI.
  • the densification of the information amount is executed by linear interpolation in the image feature amount space. For this reason, the image features of the input image ⁇ are preserved in the image IOUT in which the amount of information is increased.
  • the basic image feature weight coefficients since a plurality of basic image features are interpolated using the basic image feature weight coefficients, it is possible to more accurately generate an image feature with a high information density.
  • FIG. 9 is a block diagram showing a schematic configuration of an image processing device that performs a spatial domain super-resolution process using a spatial resolution as an image information amount.
  • the same reference numerals as in FIG. 4 denote the same components as in FIG. 4, and a detailed description thereof will be omitted.
  • the super-resolution processing unit 50A as the information amount densification unit includes a super-resolution texture feature amount database 55, a basic texture feature amount weight coefficient calculation unit 56, and a texture feature amount interpolation unit 57.
  • the super-resolution texture feature database 55 uses a plurality of super-resolution basic texture feature vectors in which a super-resolution sample image power whose resolution exceeds the input image ⁇ is also generated as a basic image feature. It is stored for each image feature category.
  • the basic texture feature weighting coefficient calculation unit 56 stores the texture feature vector FVT obtained from the input image and the super-resolution texture feature database 55. The similarity with the basic texture feature vector is calculated, and the basic texture feature weighting coefficient group GWCT is calculated based on the similarity.
  • the basic texture feature weight coefficient group GWCT is given to the texture feature interpolator 57.
  • the super-resolution texture feature database 55 supplies the stored basic texture feature vector group GSFVT to the texture feature interpolator 57.
  • the texture feature interpolator 57 linearly weights and adds the basic texture feature vector group GSFVT using the basic texture feature weighting coefficient group GWCT, and outputs the result as a super-resolution texture feature vector SFVT.
  • the super-resolution processing is executed by linear interpolation in the texture feature amount space. For this reason, the texture I of the input image ⁇ is also stored in the super-resolution image IOUT.
  • the texture I of the input image ⁇ is also stored in the super-resolution image IOUT.
  • a plurality of basic texture features are interpolated using the basic texture feature weighting coefficients, it is possible to more precisely generate an image feature with a high information density.
  • FIG. 10 is a diagram illustrating an example of a method for calculating the basic texture feature amount weighting coefficient.
  • the basic texture feature weight coefficient calculation unit 56 is configured to generate a basic texture feature vector group GSFVT included in the super-resolution texture feature database 55 for the texture feature vector FVT describing the texture of the input image ⁇ . Is calculated.
  • the texture feature vector FVT does not have a significant response to the high-frequency component (response above an arbitrarily given threshold), and the DC component force shows a response up to the intermediate frequency component (frequency w in this example). Therefore, the basic texture feature quantity weighting coefficient calculation unit 56 specifically calculates the inner product of the low-resolution components of which the texture feature quantity vector FVT has a response, and uses this as the similarity.
  • the basic texture feature vector group GS FVT also has a response in the frequency band exceeding the frequency w, the super-resolution processing has been performed in the texture feature space.
  • the response amount is shown in a dynamic range of 0-100.
  • the texture of the input image is described as a spatial frequency spectrum, and the basic texture generated from the super-resolution sample image exceeding the resolution of the input image is described.
  • the super-resolution texture feature vector is calculated by linearly interpolating the task feature vector using the weight coefficient obtained from the similarity. For this reason, the effect that the texture of the image after the super-resolution processing matches the input image can be reliably obtained.
  • the spatial domain super-resolution processing using the spatial resolution as the image feature has been described here
  • the time-domain super-resolution processing using the time resolution as the image feature has also been described here. This can be performed in the same manner as the spatial domain super-resolution processing.
  • the texture is generated from the difference of the video signal level with the time change. Therefore, the texture analysis unit 40 in FIG. 9 is configured in the time domain, and performs time-frequency decomposition. The processing after expansion to the time domain is the same as that described in FIG. 9, and the description is omitted here.
  • FIG. 11 is a diagram showing a configuration of an image processing device according to the third embodiment of the present invention.
  • the image processing apparatus shown in FIG. 11 generates a super-resolution image IOUT exceeding the resolution of the input image ⁇ , and the same components as in FIG. 4 are denoted by the same reference numerals as in FIG.
  • the texture feature amount database 71 and the texture feature amount vector conversion table 72 constitute an information amount densification unit.
  • the texture which is the image feature of the input image ⁇ , is analyzed by the texture analysis unit 40 in pixel units, and is described as a texture feature vector FVT.
  • the internal operation of the texture analysis unit 40 is the same as that shown in FIG. 5, and generates a texture feature vector FVT from the spatial frequency response FRS.
  • the texture feature database 71 is created in advance from (i Xj) sample images, i types of resolutions and j types of materials.
  • the (iXj) sample images are converted into a texture feature vector by the texture analysis unit 40, and the histogram is registered in the texture feature database 71 for each sample image. That is, the texture feature vector is determined by the texture analysis unit 40 for each pixel of the sample image, and the frequency of the texture feature vector is determined for all pixels.
  • a plurality of image feature categories M-1-M_j are defined for each type of material taken in the image.
  • a condition for super-resolution imaging is that at least one of i types of sample images having different resolutions exceeds the resolution of the input image ⁇ .
  • the material is, for example, wood grain , Paper, stone, sand, etc., which may be defined by their physical properties or by human perception. Even the same grain can be expressed in terms of coarse grain, smooth grain, bright grain, etc., and there are a wide variety of expressions related to the type of material. The present invention accepts any definition that does not place a limitation on this expression.
  • the similarity vector is put together using a clustering method (for example, the K mean method) to form a histogram. This can reduce the amount of data without altering the texture features.
  • the texture feature amount database 71 prepared in this way is compared with a feature amount histogram obtained from the texture feature amount vector FVT of all pixels of the input image I IN (comparison of histogram similarities).
  • the method is optional).
  • the feature amount histogram HI of the material M-2 and the resolution R-2 is selected as having the highest similarity V to the feature amount histogram of the input image ⁇ .
  • To perform super-resolution without changing the texture impression, which is the image feature use the same material (in this case, material M-2) in the image feature category! / If you select a feature histogram that exceeds the resolution of the input image ⁇ , ⁇ .
  • the feature amount histogram H2 of the resolution Ri is selected.
  • spatial information is used at the time of execution and at the time of learning, that is, at the time of creating the texture feature amount database 71. Applicable even if) does not match.
  • the texture feature vector conversion table 72 is used to super-resolution the texture feature of the input image #.
  • the texture feature vector conversion table 72 is provided as a pair with the texture feature database 71, and stores (iXj) conversion tables consisting of i kinds of resolutions and j kinds of materials.
  • the feature amount histogram HI of “Material M—2, resolution R—2” is selected as having the highest similarity to the texture feature vector FVT of the input image ⁇ , this is referred to as “Material M— 2.
  • resolution R ⁇ i refer to “(M ⁇ 2 ⁇ R ⁇ 2) ⁇ (M_2 ⁇ R_i)” conversion table TB.
  • the output of the texture feature vector conversion table 72 is the super resolution texture feature vector SFVT, which is visualized by the image generation unit 60, and As a result, an output image IOUT is obtained.
  • FIG. 12 is a diagram showing an example of a method for creating the texture feature vector conversion table 72.
  • a low-resolution image is created step by step using “low-pass filter + sub-sampling”.
  • the resolution R-i image having the highest resolution is passed through a low-pass filter 81, and the resolution is reduced by subsampling 82 to obtain a resolution R-i-1 image.
  • the image with the resolution Ri-1 is passed through the low-pass filter 83, and the resolution is reduced by the sub-sampling 84 to obtain the image with the resolution Ri-2.
  • a texture analysis is performed on each image to obtain a texture feature vector.
  • the type of the texture feature vector is represented by a label number.
  • a label image A having a label number for each pixel is obtained.
  • the label image B is obtained with the resolution R_i-1 image strength
  • the label image C is obtained with the resolution R_i-2 image. Note that, for the label images A, B, and C, it is not necessary to show all the pixels in the description here, so some of them are schematically shown.
  • a texture feature vector conversion table for converting a resolution R-i-1 image into a resolution R-i image is constructed from the correspondence between label numbers of label images B and A, for example, as follows. .
  • the label number “5” of the label image B exists in two pixels and the label numbers “3”, “5”, “7”, “8” of the label image A 4 types of texture feature vectors.
  • the frequencies are 1, 2, 4, and 1, respectively. Therefore, the texture feature amount vector with the label number “7” having the maximum frequency is set as the super-resolution texture feature amount vector.
  • a texture feature vector conversion table can be created by such a simple selection process.
  • labels correspond one-to-one
  • one texture feature vector is converted into one super-resolution texture feature vector. Therefore, in the example of FIG. 12, one pixel of the label image B corresponds to four pixels of the label image A. , The same texture feature vector is assigned to the four pixels of the label image A. However, in order to further enhance the effect of super-resolution, it is desirable to assign a super-resolution texture feature vector to each of the four pixels.
  • a method of applying a super-resolution texture feature vector to each pixel according to the label frequency can be considered. That is, of the eight pixels of the label image A corresponding to the label “5” of the label image B, one pixel is assigned the label “3”, two pixels are assigned the label “5”, and four pixels are assigned the label “7”. Assign, assign label “8” to one pixel.
  • the texture pattern is spatially the same at the time of creating the texture feature amount database 71 and at the time of executing the super-resolution of the input image ⁇ . It is not always appropriate to use. Therefore, in the case where the super-resolution texture feature vector is assigned to each pixel according to the label frequency, it is preferable to perform random assignment by means such as random number generation. The selection of pixels is determined randomly, but the selected super-resolution texture feature vector and its frequency are determined according to the correspondence between the labels.
  • the texture feature vector conversion table for converting the resolution R—i—2 image into the resolution R—i image is constructed by combining the label numbers of the label images C and A.
  • the combination and frequency of the label number “11” of the label image C and the label of the label image A are as shown in the label correspondence example 2>. Since the two frequencies with the highest frequencies are the label numbers “7” and “9”, for example, the average of the two texture feature vectors of the labels “7” and “9” is calculated by super-resolution It should be a vector.
  • the method described above in creating a conversion table for converting a resolution Ri-1 image into a resolution Ri image may be used.
  • each unit of the image processing apparatus according to the present invention or each step of the image processing method according to the present invention may be realized using dedicated hardware, or a computer. Even if it is realized in software by this program, it does not work.
  • FIG. 13 is a diagram showing a first configuration example, and is an example of a configuration for performing image processing according to the present invention using a personal computer.
  • the resolution of the camera 101 is lower than the resolution of the display 102.
  • a super-resolution image is created by the image processing program according to the present invention loaded in the main memory 103. I do.
  • the low-resolution image captured by the camera 101 is recorded in the image memory 104.
  • a super-resolution texture feature amount database 105a is prepared in advance so that the image processing program power of the main memory 103 can be referred to.
  • the image processing program in the main memory 103 reads the low-resolution image in the image memory 104 via the memory bus 106, converts the low-resolution image into a high-resolution image in accordance with the resolution of the display 102, and then returns to the video memory via the memory bus 106. Transfer to 107.
  • the high-resolution image transferred to the video memory 107 can be viewed on the display 102.
  • the operation of the image processing program, the contents of the database, the method of creation, and the like are the same as those described in the above embodiment, but are not described here.
  • the present invention can take various configurations other than those limited by the configuration of FIG.
  • the external storage device connected to another personal computer may be acquired via the network 108 for the super-resolution texture feature amount database 105a.
  • the low-resolution image is not powerful when acquired via the network 108.
  • FIG. 14 is a diagram showing a second configuration example, and is an example of a configuration for performing image processing according to the present invention using a server client system.
  • the resolution of the camera 111 is lower than the resolution of the display 112.
  • super-resolution processing is executed in a server-client system.
  • the server 113 includes a texture analysis unit 114 and a super-resolution processing unit 115, and calculates a texture feature FT of the input image ⁇ .
  • the image is super-resolved and transmitted to the client 117 via the network 116 as the super-resolution texture feature SFT.
  • the client 117 visualizes the received super-resolution texture feature amount SFT by the image generation circuit 118 and displays the obtained super-resolution image on the display 112.
  • the contents of the texture analysis, the super-resolution processing, the super-resolution texture feature amount database, the creation method, and the like are any of those described in the above-described embodiment, and the description is omitted here.
  • camera 111 may not be a part of client 117.
  • FIG. 15 is a diagram showing a third configuration example, and is an example of a configuration for performing image processing according to the present invention using a camera-equipped mobile phone and a television.
  • the camera-equipped mobile phone 121 can send image data to the television 124 via the network 122 or the memory card 123.
  • the resolution of the camera-equipped mobile phone 121 is lower than that of the TV 124.
  • the texture feature analysis circuit implemented in the internal circuit of the TV and the super-resolution tester feature A super-resolution image is created by the quantity database and the image generation circuit and displayed on the screen.
  • the details of the texture feature analysis, the super-resolution texture feature database, and the image generation are any of those described in the above-described embodiment, and a description thereof will be omitted.
  • the camera-equipped mobile phone 121 may be a digital still camera or a video movie camera.
  • the present invention can be implemented in a widespread personal computer, a server client type system, or a video device such as a camera-equipped mobile phone, a digital still camera, a video movie camera, and a television. Yes, no special equipment, operation, management, etc. is required. In addition, it does not restrict the system construction method, the device connection form, the internal configuration of the device, etc., such as implementation on dedicated hardware or the combination of software and hardware.
  • the present invention produces an image with a larger amount of information without deteriorating image characteristics, and thus can be used in various application fields in which visual information is regarded as important.
  • visual information is regarded as important.
  • digital archives can accurately present details of exhibits to viewers, enhance the possibilities of image expression in video production, and broadcast various images. This has the effect of ensuring compatibility in the format.

Abstract

　画像特徴解析部（１０）は入力画像（ＩＩＮ）の画像特徴解析を行い、画像座標と独立した画像特徴量（ＦＩ）を生成する。情報量高密化部（２０）は画像特徴量（ＦＩ）を情報量高密化して、高密化画像特徴量（ＳＦＩ）を生成する。画像生成部（３０）は高密化画像特徴量（ＳＦＩ）を基にして、入力画像（ＩＩＮ）を情報量高密化した画像（ＩＯＵＴ）を生成する。

Description

明 細 書
画像処理方法、画像処理装置および画像処理プログラム
技術分野
[0001] 本発明は、画像計測'認識、画像生成などの画像処理に関し、特に、原画像から、 情報量が原画像を超える情報量高密化画像を生成する技術に関するものである。 背景技術
[0002] 近年、様々な画像機器、映像機器のデジタルィ匕とインターネットの普及によって、コ ンピュータゃ家電機器が相互に接続され、遠隔操作やメディア融合など、いわゆるュ ビキタスネットワーク社会が形成されつつある。画像機器のスペックは、その機構、携 帯性、機能等の違いから多岐に渡り、このため、様々なフォーマットを有する画像情 報が流通している。例えば、携帯電話向けの 1セグメント地上デジタル放送では、 19 20画素 X 1080ラインの HDTV (High Definition Television)画像を、例えば 320画 素 X 240ラインの画像にダウンコンバートして、携帯電話のディスプレイに表示しなけ ればならない。すなわち、画像機器のスペックに応じて、空間解像度を変換する必要 がある。また、空間解像度の他に、リフレッシュレートの違いに起因する時間解像度を 変換する場合もある。例えば、秒 24コマの映画フィルムフォーマットを秒 30コマのビ デォフォーマットに変換するテレシネ工程が一例である。
[0003] 解像度変換において、サンプリング時の解像度を超えたデータを作り出すことを「超 解像」と呼ぶ。例えば、 DVフォーマット（576画素 X 480ライン)で記録された映像を HDTVに表示したい場合、画素数約 2倍、ライン数約 2. 5倍の超解像処理が必要に なる。また、印刷用原稿には高解像度のものが必要であり、たとえば 600dpiの解像 度で A4用紙（297mm X 210mm)に印刷する場合、 7128画素 X 5040ラインの原 稿を準備する必要がある。多くのカメラの解像度はこれを下回るため、例えば、デジタ ルスチルカメラ力 プリンタへのダイレクトプリントなどにぉ 、ては、超解像処理が必須 といえる。これら 2つの例は、解像度を画素数やライン数にとっているため、「空間ドメ イン超解像」と定義される。一方、時間解像度をサンプリング時よりも高くする「時間ド メイン超解像」が必要となる場合もある。例えば、飛び越し走査 (インターレース)方式 で記録された映像を順次走査 (プログレッシブ)方式のディスプレイに表示する場合 には、倍率 2倍の時間ドメイン超解像処理が必要になる。このような処理は、例えばァ ナログ放送素材をデジタル放送に転用する場合などで多用されている。
[0004] このような超解像処理は、既存データ力 新しいデータを作り出す補間問題と捉え られる。補間方法の基本的な考え方は、新しいデータの近傍に存在する既存データ 力も自身を推測することである。空間ドメイン超解像であれば、水平、垂直、斜め方向 の隣接画素が持つ信号値から自身の信号値を推測する。時間ドメイン超解像であれ ば、直前のデータと次に来るデータから自身のデータを推測する。空間ドメイン超解 像の具体的な方法として、ユアレストネイバ一法、ノ ィリニア法、バイキュービック法な どが一般的である (非特許文献 1)。また、これら補間法のぼけによる品質劣化を高周 波数成分の補充で補償する提案もなされて ヽる (特許文献 1)。
[0005] 一方、低解像度のデータを重複領域を含むように多数収集し、対応点をもってつな ぎ合わせ、超解像処理を実現する手法も提案されている (特許文献 2)。
非特許文献 1 :荒屋真ニ著， 「明解 3次元コンピュータグラフィックス」，共立出版， 2 003年 9月 25日， p. 144-145
特許文献 1 :特開 2002-116271号公報 (図 2)
特許文献 2：特開平 8— 226879号公報 (図 2)
発明の開示
発明が解決しょうとする課題
[0006] し力しながら、上述の非特許文献 1や特許文献 1に記載の超解像処理技術では、 物体表面の模様や光沢などについて、何ら考慮されておらず、超解像後の画像にお いて原画像の模様や光沢などを保存する仕組みが含まれていない。すなわち、超解 像処理によって原画像のテクスチャの印象が変質してしま ヽ、画像に撮された物体 の質感が異なってしまう可能性がある。
[0007] また、特許文献 2記載の技術では、撮影を複数回実施する必要があり、作業工数が 増えてしまうという問題がある。
[0008] 前記の問題に鑑み、本発明は、原画像の画像特徴を変質させることなぐ原画像の 情報量を超える画像を生成する画像処理技術を提供することを課題とする。 課題を解決するための手段
[0009] 前記の課題を解決するために、本発明は、原画像の画像特徴 (例えば濃度分布、 周波数分布、コントラストなど)を解析し、解析した画像特徴と、画像情報量 (例えば 画素数、階調数、色チャネル数など)が原画像を上回る情報量高密化画像力 得ら れた画像特徴とを用いて、画像情報量を増やす情報量高密化処理を行う。特に、画 像情報量を解像度とした場合は、入力画像のテクスチャ (模様や光沢などの属性の 総称)を解析し、解析したテクスチャ特徴量と、空間解像度または時間解像度がより 高 、超解像画像カゝら得られた超解像テクスチャ特徴量とを用いて、空間ドメイン超解 像画像または時間ドメイン超解像画像を生成する。
発明の効果
[0010] 本発明によると、原画像の画像特徴が変質することなく保存された、原画像の画像 情報量を超える情報量高密化画像を生成できる。特に、画像情報量を解像度とした 場合は、原画像が持つテクスチャの印象を保存したまま、空間ドメイン超解像画像ま たは時間ドメイン超解像画像を生成できる。
図面の簡単な説明
[0011] [図 1]図 1は、本発明の第 1の実施形態に係る画像処理装置の構成を示すブロック図 である。
[図 2]図 2は、図 1の情報量高密化部の構成の一例である。
[図 3]図 3は、本発明の第 1の実施形態に係る空間ドメイン超解像処理の概念図であ る。
[図 4]図 4は、本発明の第 1の実施形態に係る空間ドメイン超解像処理を行う画像処 理装置の概略構成を示すブロック図である。
[図 5]図 5は、図 4のテクスチャ解析部の構成と処理の一例を示す図である。
[図 6]図 6は、図 4の超解像処理部の構成と処理の一例を示す図である。
[図 7]図 7は、図 4の画像生成部の構成と処理の一例を示す図である。
[図 8]図 8は、本発明の第 2の実施形態に係る画像処理装置の構成を示すブロック図 である。
[図 9]図 9は、本発明の第 2の実施形態に係る空間ドメイン超解像処理を行う画像処 理装置の概略構成を示すブロック図である。
[図 10]図 10は、図 9の構成において、基本テクスチャ特徴量重み係数を算出する方 法の一例を示す図である。
[図 11]図 11は、本発明の第 3の実施形態に係る画像処理装置の構成を示す図であ る。
[図 12]図 12は、図 11のテクスチャ特徴量ベクトル変換テーブルの作成方法の一例を 示す図である。
[図 13]図 13は、本発明の第 1の構成例を示す図である。
[図 14]図 14は、本発明の第 2の構成例を示す図である。
[図 15]図 15は、本発明の第 3の構成例を示す図である。
符号の説明
[0012] 10 画像特徴解析部
20, 20A 情報量高密化部
30 画像生成部
40 テクスチャ解析部 (画像特徴解析部）
50, 50A 超解像処理部 (情報量高密化部）
60 画像生成部
71 テクスチャ特徴量データベース
72 テクスチャ特徴量ベクトル変換テーブル
ΠΝ 入力画像 (原画像）
FI 画像特徴量
SFI 高密化画像特徴量
IOUT 出力画像 (高密化画像）
FVT テクスチャ特徴量ベクトル (画像特徴量）
SFVT 超解像化テクスチャ特徴量ベクトル (高密化画像特徴量）
発明を実施するための最良の形態
[0013] 本発明の第 1態様では、画像処理方法として、原画像の画像特徴解析を行!ヽ、画 像座標と独立した画像特徴量を得る第 1のステップと、前記第 1のステップにお 、て 得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る第 2のステップ と、前記第 2のステップにおいて得られた高密化画像特徴量を基にして、前記原画像 を情報量高密化した高密化画像を生成する第 3のステップとを備えたものを提供する
[0014] 本発明の第 2態様では、前記第 2のステップは、予め準備した複数の画像特徴カテ ゴリの中から前記画像特徴量が属する画像特徴カテゴリを選定し、選定した画像特 徴カテゴリにおける情報量高密化された基本画像特徴量を、高密化画像特徴量デ ータベースから、前記高密化画像特徴量として読み出す前記第 1態様の画像処理方 法を提供する。
[0015] 本発明の第 3態様では、前記第 2のステップは、前記画像特徴量について、予め準 備した複数の画像特徴カテゴリとの類似度をそれぞれ算出し、前記各画像特徴カテ ゴリにおける基本画像特徴量を、算出した類似度に応じて重み付け加算することによ つて、前記高密化画像特徴量を生成する前記第 1態様の画像処理方法を提供する。
[0016] 本発明の第 4態様では、前記第 2のステップは、予め準備した複数の画像特徴カテ ゴリの中から前記画像特徴量が属する画像特徴カテゴリを選定し、変換テーブルデ ータベースを参照し、選定した画像特徴カテゴリにおける特徴量変換のための変換 テーブルを用いて、前記画像特徴量を前記高密化画像特徴量に変換する前記第 1 態様の画像処理方法を提供する。
[0017] 本発明の第 5態様では、前記複数の画像特徴カテゴリは、画像に撮像された物体 の材質毎に設けられている前記第 4態様の画像処理方法を提供する。
[0018] 本発明の第 6態様では、前記画像特徴量として、空間解像度または時間解像度を 用いる前記第 1態様の画像処理方法を提供する。
[0019] 本発明の第 7態様では、フーリエ変換を用いて、空間周波数応答または時間周波 数応答を求める前記第 6態様の画像処理方法を提供する。
[0020] 本発明の第 8態様では、ウェーブレット変換を用いて、空間周波数応答または時間 周波数応答を求める前記第 6態様の画像処理方法を提供する。
[0021] 本発明の第 9態様では、スケール、位相および空間的方向性のうち少なくとも 1つ が異なる複数の空間フィルタを用いて、空間周波数応答または時間周波数応答を求 める前記第 6態様の画像処理方法を提供する。
[0022] 本発明の第 10態様では、画像処理装置として、原画像の画像特徴解析を行 ヽ、画 像座標と独立した画像特徴量を得る画像特徴解析部と、前記画像特徴解析部によ つて得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る情報量高 密化部と、前記情報量高密化部によって得られた高密化画像特徴量を基にして、前 記原画像を情報量高密化した高密化画像を生成する画像生成部とを備えたものを 提供する。
[0023] 本発明の第 11態様では、画像処理プログラムとして、原画像の画像特徴解析を行 い、画像座標と独立した画像特徴量を得る第 1のステップと、前記第 1のステップにお V、て得られた画像特徴量を情報量高密化して、高密化画像特徴量を得る第 2のステ ップと、前記第 2のステップにおいて得られた高密化画像特徴量を基にして、前記原 画像を情報量高密化した高密化画像を生成する第 3のステップとをコンピュータに実 行させるものを提供する。
[0024] 以下、本発明の実施の形態について、図面を参照して説明する。
[0025] (第 1の実施形態）
図 1は本発明の第 1の実施形態に係る画像処理装置の構成を示すブロック図であ る。図 1に示す画像処理装置は、原画像の情報量を超える情報量高密化画像を生 成するものである。
[0026] ここで、本願明細書にぉ 、て、「情報量高密化」とは、与えられた画像の画像情報 量を増やす処理を意味し、場合によっては「超情報処理」または「超情報化」と記す。 画像情報量とは例えば、画素数、階調数、色チャネル数などである。画素数を例にと ると、 320画素 X 240ラインの画像に対し、水平方向'垂直方向ともに 4倍に拡大する 情報量高密化処理を行うと、総画素数が 16倍になる 1280画素 X 960ラインの画像 が生成される。階調数の場合は、例えば各画素が 128階調の入力画像を 256階調 に拡大する処理が、 2倍の情報量高密化処理に相当する。色チャネル数の場合は、 モノクロ画像 (色チャネル数は 1本)を RGB画像に変換する処理は、 3倍の情報量高 密化処理に相当する。
[0027] 上述の 3つの例を組み合わせた、「128階調の色チャネル 1本からなる 320画素 X 240ラインのモノクロ画像」を「256階調の色チャネル 3本からなる 1280画素 X 960ラ インの RGB画像」に変換する処理は、画像情報量を 96倍（ = 16 X 2 X 3)に増加さ せる情報量高密化処理となる。
[0028] 図 1の構成において、画像特徴解析部 10は原画像としての入力画像 ΠΝの画像特 徴を解析し、画像特徴量 FIを出力する（第 1のステップ)。ここで、画像特徴とは例え ば、濃度分布、周波数応答、コントラストなどであり、その特徴量はそれぞれ、濃度ヒ ストグラム、周波数スペクトラム、ハイライトと暗部との比によって表される。情報量高密 化部 20は画像特徴量 FIに応じた情報量高密化処理を行 ヽ、高密化画像特徴量 SF Iを出力する (第 2のステップ)。画像特徴量 FIを直接、情報量高密化するため、画像 特徴そのものを変質させないで、画像の情報量高密化を実現できる。画像生成部 30 は高密化画像特徴量 SFIを可視化し、高密化画像としての出力画像 IOUTを生成す る（第 3のステップ)。
[0029] 図 2は図 1の情報量高密化部 20の構成の一例である。図 2において、画像特徴力 テゴリ選定部 21は、予め分類しておいた画像特徴カテゴリの中から画像特徴量 FIが 属するものを選定し、選定した画像特徴カテゴリの種類を示す画像特徴インデックス I Dを出力する。画像特徴インデックス IDは高密化画像特徴量データベース 22に与え られ、画像特徴インデックス IDに対応する情報量高密化された画像特徴量が、高密 化画像特徴量データベース 22から高密化画像特徴量 SFIとして出力される。
[0030] 具体的には例えば、画像特徴量をベクトル表記 (例えば濃度ヒストグラムの頻度を ベクトル要素とする）し、任意のクラスタリング手法 (例えば K-mean法)を用いて類似 のベクトルをまとめてカテゴリ形成を行う。そして、ベクトル量子化によってカテゴリを 選定する、といった手法が有効である。高密化画像特徴量データベース 22は、情報 量高密化処理の実行前に作成する。画像情報量が入力画像を超える高密サンプル 画像を予め準備して、例えば濃度ヒストグラム等の画像特徴量を求める。例えば 320 画素 X 240ラインの入力画像を 1280画素 X 960ラインの高密化画像に変換する場 合は、 1280画素 X 960ラインの画像を高密サンプル画像として準備すればよい。画 像特徴カテゴリ選定部 21と高密化画像特徴量データベース 22に適用されるベクトル 表記方法、クラスタリング手法、画像特徴インデックスの付与方法は、共通とする。 [0031] 図 3は画像情報量として空間解像度を用いた、空間ドメイン超解像処理を概念的に 示す図である。低解像度画像 Xの濃度分布をライン Lで観察した結果、濃度分布 Xを 得たとする。ここでは説明の便宜上、ライン Lにおける画素数は 8画素とする。またここ での濃度分布は、図示した画像データを正確に反映したものではなぐ概念を説明 するために模式的に示したものであり、以降の説明でも同様である。
[0032] 画素数を 4倍にする超解像処理の場合、 1ラインの画素数が 32画素になるため、 3 2個の濃度レベルが必要になり、したがって、 24画素分の濃度データを何らかの形 で補う必要がある。この場合、例えば濃度分布 Aに示すように、低解像度画像 Xの濃 度を 4画素ごとに等間隔に配置し、その間の画素は線形補間によって補う方法が考 えられる。この場合、ライン Lに沿う濃度変化の増減パターンは保存される力 勾配が 滑らかになるため、画像 Aのようにぼけた画像となる。画像情報量は 4倍になったが、 画像特徴であるテクスチャの印象が変質したケースである。
[0033] 一方、濃度分布 Bは、低周波成分となる濃度分布 Xの波形形状とは無関係に高周 波成分を作成したものである。濃度レベルの変化が大きくなり、濃度分布 Aよりも急激 に変化しているため、画像 Bのような細かなテクスチャが生成される。ところが、波形 は濃度分布 Aと大きくかけ離れているため、テクスチャ印象が変質している。
[0034] 濃度分布 Cは濃度分布 Aを低周波成分として保存し、さらに濃度分布 Aよりも空間 周波数が高い高周波成分を重畳したケースである。この場合は、低周波成分がテク スチヤの基本的なパターンをトレースし、かつ高周波成分が細かなテクスチャパター ンを加えていくため、テクスチャの印象が保存されたまま、不足する 24画素の濃度レ ベルを補うことができる。
[0035] なお、上述の説明は、画像の水平方向に関しても同様に当てはまるため、ここでは 説明を割愛する。
[0036] 次に、図 3で説明した「低周波成分に高周波成分を重畳する技術思想 (濃度分布 C )」を具体的に実現する方法を、図 4、図 5、図 6および図 7を用いて説明する。
[0037] 図 4は空間解像度を画像情報量として用いる空間ドメイン超解像処理を行う画像処 理装置の概略構成を示すブロック図である。入力画像 ΠΝの画像特徴であるテクスチ ャは、画素単位で画像特徴解析部としてのテクスチャ解析部 40によって解析され、テ タスチヤ特徴量ベクトル FVTとして記述される。情報量高密化部としての超解像処理 部 50はテクスチャ特徴量空間にお ヽて超解像処理を実行し、画像特徴量としてのテ タスチヤ特徴量ベクトル FVTを高密化画像特徴量としての超解像ィ匕テクスチャ特徴 量ベクトル SFVTに変換する。画像生成部 60は超解像化テクスチャ特徴量ベクトル SFVTを可視化し、出力画像 IOUTを出力する。
[0038] 図 5は図 4のテクスチャ解析部 40の構成と処理の一例を示す図である。図 5に示す ように、テクスチャ解析部 40は空間周波数応答を用いてテクスチャ解析を行う。入力 画像 ΠΝは空間周波数成分分解部 41にお ヽて複数チャネルに分配され、各空間周 波数帯域に与えられ、空間周波数応答量 FRSが得られる。テクスチャ特徴量べタト ル生成部 42は、空間周波数応答量 FRSを要素としてテクスチャ特徴量ベクトル FVT を生成する。テクスチャ特徴量ベクトル FVTは、各空間周波数帯域の応答チャネル を軸とするテクスチャ特徴量空間内で方向と大きさを持ち、この属性によってテクスチ ャを記述する。なお、特徴量の各要素がお互いに独立である場合、重複がなく効率 の高い特徴量表現となるため、空間周波数成分の分解には、フーリエ変換やゥヱー ブレット変換などが有効である。また、スケール、位相および空間的方向性のうち少 なくとも 1つが異なる複数の空間フィルタを用いて、空間周波数応答を求めてもよい。
[0039] 図 6は図 4の超解像処理部 50の構成と処理の一例を示す図である。図 6において、 超解像ィ匕テクスチャ特徴量データベース 51は、複数の画像特徴カテゴリ毎に、入力 画像 ΠΝの解像度を超えるサンプル画像から生成されたテクスチャ特徴量ベクトルを それぞれ格納している。各テクスチャ特徴量ベクトルには、画像特徴カテゴリを特定 するためのインデックス 1一 Mがそれぞれ付されている。テクスチャカテゴリ選定部 52 は、入力画像 ΠΝのテクスチャを記述したテクスチャ特徴量ベクトル FVTを、超解像 化テクスチャ特徴量データベース 51に格納された各テクスチャ特徴量ベクトルと比較 する。
[0040] ここで、入力画像 ΠΝはサンプル画像よりも解像度が低 、ため、テクスチャ特徴量べ タトル FVTは高周波成分に有意な応答 (任意に与えられる閾値以上の応答)を持た ず、直流成分力 中間的な周波数 (この例では周波数 w)成分までに応答が表れる。 そこでテクスチャカテゴリ選定部 52は、具体的にはテクスチャ特徴量ベクトル FVTが 応答を持つ低解像度成分同士でベクトルの内積を取り、これを類似度とする。内積が 最も大きい (類似度が最も高い)インデックス (この例ではインデックス S)がテクスチャ 特徴量インデックス IDTとして選定され、このテクスチャ特徴量インデックス IDTが付 されたテクスチャ特徴量ベクトルが超解像ィ匕テクスチャ特徴量ベクトル SFVTとして出 力される。超解像ィ匕テクスチャ特徴量ベクトル SFVTは周波数 wを超える周波数帯域 にも応答を持っため、テクスチャ特徴量空間で超解像処理が成されたことになる。な お、図 6では応答量を 0— 100のダイナミックレンジで図示している。
[0041] 図 7は図 4の画像生成部 60の構成と処理の一例を示す図である。図 7に示すように 、ここでの処理は図 5に示した空間周波数分解と逆の処理となる。すなわち、超解像 化テクスチャ特徴量ベクトル SFVTの各要素について、空間周波数の各帯域におい て基本関数と積を取り、全チャネルの和を出力画像 IOUTとする。なお、テクスチャ解 析部 40にお 、てフーリエ変換やゥヱーブレット変換などを用いた場合は、画像生成 部 60ではこれらの逆変換を実行する。
[0042] 以上のように本実施形態によると、入力画像のテクスチャを空間周波数スペクトルと して記述し、入力画像の解像度を超える超解像サンプル画像から生成された空間周 波数スペクトルと比較して、テクスチャ選定を行う。このため、超解像処理後の画像の テクスチャは、その印象が入力画像に一致する、という効果が確実に得られる。
[0043] なお、ここでは、画像特徴量として空間解像度を用いる空間ドメイン超解像処理に っ ヽて説明したが、画像特徴量として時間解像度を用いる時間ドメイン超解像処理も 、ここで説明した空間ドメイン超解像処理と同様に実施できる。この場合、テクスチャ は時間変化に伴う映像信号レベルの違いから発生する。したがって、図 4のテクスチ ャ解析部 40は時間ドメインで構成され、時間周波数分解を行う。時間ドメインに展開 された以降の処理は図 4一図 7で説明したものと同様であり、ここでは説明を割愛す る。
[0044] (第 2の実施形態）
図 8は本発明の第 2の実施形態に係る画像処理装置の構成を示すブロック図であ る。図 8に示す画像処理装置も、図 1の画像処理装置と同様に、入力画像の情報量 を超える情報量高密化画像を生成する。図 8では、図 1と共通の構成要素には図 1と 同一の符号を付しており、ここではその詳細な説明は省略する。いる。
[0045] 情報量高密化部 20Aは、高密化画像特徴量データベース 25、基本画像特徴量重 み係数算出部 26、および画像特徴量補間部 27を備えている。高密化画像特徴量 データベース 25は、情報量が入力画像 ΠΝを超える高密サンプル画像から生成され た，情報量高密化された基本画像特徴量を、複数の画像特徴カテゴリ毎に、格納し ている。基本画像特徴量重み係数算出部 26は、入力画像 ΠΝカゝら得られた画像特 徴量 FIと、高密化画像特徴量データベース 25に格納されて ヽる各基本画像特徴量 との類似度をそれぞれ算出し、この類似度を基にして基本画像特徴量重み係数群 G WCを求める。基本画像特徴量重み係数群 GWCは画像特徴量補間部 27に与えら れる。これととも〖こ、高密化画像特徴量データベース 25は格納している基本画像特 徴量群 GSFIを画像特徴量補間部 27に供給する。画像特徴量補間部 27は、基本画 像特徴量群 GSFIを基本画像特徴量重み係数群 GWCを用いて線形重み付け加算 し、高密化画像特徴量 SFIとして出力する。
[0046] すなわち、本実施形態では、情報量高密化は、画像特徴量空間における線形補間 によって実行される。このため、入力画像 ΠΝの画像特徴が、情報量高密化された画 像 IOUTにおいても保存される。また、複数の基本画像特徴量を基本画像特徴量重 み係数を用いて補間するため、情報量高密化された画像特徴量をより精密に生成す ることが可能になる。
[0047] 図 9は空間解像度を画像情報量として用いる空間ドメイン超解像処理を行う画像処 理装置の概略構成を示すブロック図である。図 9では、図 4と共通の構成要素には図 4と同一の符号を付しており、ここではその詳細な説明を省略する。
[0048] 情報量高密化部としての超解像処理部 50Aは、超解像化テクスチャ特徴量データ ベース 55、基本テクスチャ特徴量重み係数算出部 56、およびテクスチャ特徴量補間 部 57を備えている。超解像ィ匕テクスチャ特徴量データベース 55は、解像度が入力画 像 ΠΝを超える超解像サンプル画像力も生成された，超解像化された基本テクスチャ 特徴量ベクトルを、基本画像特徴量として、複数の画像特徴カテゴリ毎に、格納して いる。基本テクスチャ特徴量重み係数算出部 56は、入力画像 ΠΝカゝら得られたテクス チヤ特徴量ベクトル FVTと、超解像ィ匕テクスチャ特徴量データベース 55に格納され ている基本テクスチャ特徴量ベクトルとの類似度をそれぞれ算出し、この類似度を基 にして基本テクスチャ特徴量重み係数群 GWCTを求める。基本テクスチャ特徴量重 み係数群 GWCTはテクスチャ特徴量補間部 57に与えられる。これととも〖こ、超解像 化テクスチャ特徴量データベース 55は格納している基本テクスチャ特徴量ベクトル 群 GSFVTをテクスチャ特徴量補間部 57に供給する。テクスチャ特徴量補間部 57は 、基本テクスチャ特徴量ベクトル群 GSFVTを基本テクスチャ特徴量重み係数群 GW CTを用いて線形重み付け加算し、超解像ィ匕テクスチャ特徴量ベクトル SFVTとして 出力する。
[0049] すなわち、超解像処理は、テクスチャ特徴量空間における線形補間によって実行さ れる。このため、入力画像 ΠΝのテクスチャ力 超解像ィ匕された画像 IOUTにおいて も保存される。また、複数の基本テクスチャ特徴量を基本テクスチャ特徴量重み係数 を用いて補間するため、情報量高密化された画像特徴量をより精密に生成すること が可能になる。
[0050] 図 10は基本テクスチャ特徴量重み係数を算出する方法の一例を示す図である。基 本テクスチャ特徴量重み係数算出部 56は、入力画像 ΠΝのテクスチャを記述したテ タスチヤ特徴量ベクトル FVTにつ 、て、超解像ィ匕テクスチャ特徴量データベース 55 が持つ基本テクスチャ特徴量ベクトル群 GSFVTとの類似度を算出する。テクスチャ 特徴量ベクトル FVTは高周波成分に有意な応答 (任意に与えられる閾値以上の応 答)を持たず、直流成分力も中間的な周波数 (この例では周波数 w)成分までに応答 が表れる。そこで基本テクスチャ特徴量重み係数算出部 56は、具体的には、テクス チヤ特徴量ベクトル FVTが応答を持つ低解像度成分同士でベクトルの内積を取り、 これを類似度とする。そして内積の和が 1になるように正規ィ匕し、基本テクスチャ特徴 量ベクトル重み係数群 GWCTとして出力する。基本テクスチャ特徴量ベクトル群 GS FVTは周波数 wを超える周波数帯域にも応答を持っため、テクスチャ特徴量空間に おいて超解像処理がなされたことになる。なお、図 10では応答量を 0— 100のダイナ ミックレンジで図示して 、る。
[0051] 以上のように本実施形態によると、入力画像のテクスチャを空間周波数スペクトルと して記述し、入力画像の解像度を超える超解像サンプル画像から生成された基本テ タスチヤ特徴量ベクトルを、類似度から求めた重み係数を用いて線形補間することに よって、超解像ィ匕テクスチャ特徴量ベクトルを算出する。このため、超解像処理後の 画像のテクスチャは、その印象が入力画像に一致する、という効果が確実に得られる
[0052] なお、ここでは、画像特徴量として空間解像度を用いる空間ドメイン超解像処理に っ ヽて説明したが、画像特徴量として時間解像度を用いる時間ドメイン超解像処理も 、ここで説明した空間ドメイン超解像処理と同様に実施できる。この場合、テクスチャ は時間変化に伴う映像信号レベルの違いから発生する。したがって、図 9のテクスチ ャ解析部 40は時間ドメインで構成され、時間周波数分解を行う。時間ドメインに展開 された以降の処理は図 9で説明したものと同様であり、ここでは説明を割愛する。
[0053] (第 3の実施形態）
図 11は本発明の第 3の実施形態に係る画像処理装置の構成を示す図である。図 1 1に示す画像処理装置は、入力画像 ΠΝの解像度を超える超解像画像 IOUTを生成 するものであり、図 4と共通の構成要素には図 4と同一の符号を付している。テクスチ ャ特徴量データベース 71およびテクスチャ特徴量ベクトル変換テーブル 72によって 、情報量高密化部が構成されている。入力画像 ΠΝの画像特徴であるテクスチャは、 画素単位でテクスチャ解析部 40によって解析され、テクスチャ特徴量ベクトル FVTと して記述される。テクスチャ解析部 40の内部動作は、図 5と同様であり、空間周波数 応答量 FRSカゝらテクスチャ特徴量ベクトル FVTを生成する。
[0054] テクスチャ特徴量データベース 71は、 i種類の解像度と j種類の材質、合計 (i Xj)個 のサンプル画像から予め作成されている。（iXj)個のサンプル画像をテクスチャ解析 部 40によって、テクスチャ特徴量ベクトルに変換し、そのヒストグラムをテクスチャ特徴 量データベース 71にサンプル画像ごとに登録する。すなわち、サンプル画像の画素 ごとにテクスチャ解析部 40によってテクスチャ特徴量ベクトルを求め、全画素を対象 にテクスチャ特徴量ベクトルの頻度を求める。これにより、画像に撮された材質の種 類毎に、複数の画像特徴カテゴリ M—1— M _jが規定される。
[0055] ここで、解像度が異なる i種類のサンプル画像のうち、少なくとも 1つは入力画像 ΠΝ の解像度を上回っていることが、超解像ィ匕の条件となる。また材質とは、たとえば木目 、紙、石、砂などであり、これらが物理的な特性力 定義されても、人間の目で見た感 覚から定義されても構わない。また同じ木目でも、目の粗い木目や表面の滑らかな木 目、明るい木目などの表現が考えられ、材料の種類に関する表現は多岐に渡る。本 発明はこの表現に制限を設けるものではなぐ任意の定義を受け入れる。
[0056] なお、同じテクスチャ特徴量ベクトルを持つ画素が少なぐ特徴量ヒストグラムの各 要素の頻度が低 ヽ場合は、クラスタリング手法 (たとえば K mean法)を用いて類似 のベクトルをまとめてヒストグラムを構成すると、テクスチャ特徴を変質させることなぐ データ量が削減できる。
[0057] このようにして予め準備したテクスチャ特徴量データベース 71に対して、入力画像 I INの全画素のテクスチャ特徴量ベクトル FVTから求めた特徴量ヒストグラムとの比較 を行う（ヒストグラムの類似度の比較方法は任意)。図 11では、材質 M— 2、解像度 R —2の特徴量ヒストグラム HIが、入力画像 ΠΝの特徴量ヒストグラムと類似度が最も高 V、ものとして選択されて 、る。画像特徴であるテクスチャの印象を変質させな 、で超 解像を行うには、同一材質 (この場合は材質 M— 2)の画像特徴カテゴリにお！/ヽて、 入力画像 ΠΝの解像度を超える特徴量ヒストグラムを選択すれば ヽ。この例では、 解像度 R—iの特徴量ヒストグラム H2を選択して 、る。
[0058] なお、ここでは、ヒストグラムを用いて処理を行って 、るので、実行時と、学習時すな わちテクスチャ特徴量データベース 71の作成時とにお 、て、空間的情報 (空間座標 )が一致していなくても、適用可能である。
[0059] 次に、入力画像 ΠΝのテクスチャ特徴量を超解像ィ匕するために、テクスチャ特徴量 ベクトル変換テーブル 72を利用する。テクスチャ特徴量ベクトル変換テーブル 72は テクスチャ特徴量データベース 71と対に設けられており、 i種類の解像度と j種類の材 質からなる（iXj)個の変換テーブルが格納されている。いま、入力画像 ΠΝのテクス チヤ特徴量ベクトル FVTと類似度が最も高いものとして、「材質 M— 2、解像度 R— 2 」の特徴量ヒストグラム HIが選定されているので、これを「材質 M— 2、解像度 R— i」 の特徴量ヒストグラム H2に変換するため、「（M— 2— R— 2)→ (M_2-R_i)」変換 テーブル TBを参照する。テクスチャ特徴量ベクトル変換テーブル 72の出力が超解 像ィ匕テクスチャ特徴量ベクトル SFVTであり、画像生成部 60によって可視化され、こ れにより出力画像 IOUTが得られる。
[0060] 図 12はテクスチャ特徴量ベクトル変換テーブル 72の作成方法の一例を示す図で ある。まず、解像度が最も高い画像から、「ローパスフィルタ +サブサンプリング」によ つて段階的に低解像度画像を作成する。ここでは、解像度が最も高い画像である解 像度 R—i画像をローパスフィルタ 81に通し、サブサンプリング 82によって解像度を 落として、解像度 R— i— 1画像を得る。同様に、解像度 R—i— 1画像をローパスフィル タ 83に通し、サブサンプリング 84によって解像度を落として、解像度 R— i— 2画像を 得る。
[0061] そして、各画像につ 、てテクスチャ解析を行 、、テクスチャ特徴量ベクトルを求める 。図 12では、テクスチャ特徴量ベクトルの種類をラベル番号によって表わしている。 解像度 R—i画像から、ラベル番号を画素ごとに持つラベル画像 Aが得られる。同様 に、解像度 R_i— 1画像力もラベル画像 Bが得られ、解像度 R_i— 2画像からラベル 画像 Cが得られる。なお、ラベル画像 A, B, Cについては、ここでの説明では全画素 を図示する必要がな 、ため、その一部を模式的に示して!/、る。
[0062] 解像度 R—i— 1画像を解像度 R—i画像に変換するテクスチャ特徴量ベクトル変換 テーブルは、例えば次のように、ラベル画像 Bとラベル画像 Aとのラベル番号の対応 関係から構築する。いま、くラベル対応例 1 >に示すように、ラベル画像 Bのラベル 番号「5」は、 2画素に存在し、かつ、ラベル画像 Aのラベル番号「3」「5」「7」「8」の 4 種類のテクスチャ特徴量ベクトルに対応している。それぞれの頻度は、 1、 2、 4、 1で ある。そこで、最大頻度をとるラベル番号「7」のテクスチャ特徴量ベクトルを超解像ィ匕 テクスチャ特徴量ベクトルとする。例えばこのような単純な選択処理によって、テクス チヤ特徴量ベクトル変換テーブルを作成できる。
[0063] また、頻度に応じて各テクスチャ特徴量ベクトルの重み付け線形和をとると、発生頻 度に準じた超解像が実現でき、計算量が別途発生するものの、テクスチャ保存の効 果は高くなる。
[0064] これら 2つの方法では、ラベル同士が一対一に対応することになり、 1個のテクスチ ャ特徴量ベクトルが 1個の超解像ィ匕テクスチャ特徴量ベクトルに変換される。このため 、図 12の例では、ラベル画像 Bの 1画素がラベル画像 Aの 4画素に対応しているため 、ラベル画像 Aの 4画素に同じテクスチャ特徴量ベクトルが割り当てられる。ところが、 超解像の効果をより引き出すためには、 4画素それぞれに対して、超解像ィ匕テクスチ ャ特徴量ベクトルを割り当てることが望ま 、。
[0065] その具体的方法としては例えば、超解像ィ匕テクスチャ特徴量ベクトルを、ラベル頻 度に応じて、各画素に当てはめていく方法が考えられる。すなわち、ラベル画像 Bの ラベル「5」に対応するラベル画像 Aの 8画素のうち、 1画素にラベル「3」を割り当て、 2画素にラベル「5」を割り当て、 4画素にラベル「7」を割り当て、 1画素にラベル「8」を 割り当てる。
[0066] ただし、テクスチャ特徴量データベース 71作成時と入力画像 ΠΝの超解像実行時と において、テクスチャパターンが空間的に同じ位置にあることは極めて稀であるため 、ラベル画像 Aの空間位置情報を利用することは必ずしも適切ではない。そこで、超 解像ィ匕テクスチャ特徴量ベクトルをラベル頻度に応じて画素毎に割り当てる場合は、 乱数発生等の手段によってランダムに行うのが好ましい。なお、画素の選択はランダ ムに決定されるが、選ばれる超解像ィ匕テクスチャ特徴量ベクトルとその頻度は、ラベ ルの対応関係に応じて定められる。
[0067] 一方、解像度 R—i— 2画像を解像度 R—i画像に変換するテクスチャ特徴量ベクトル 変換テーブルは、ラベル画像 Cとラベル画像 Aとのラベル番号の組み合わせ力 構 築される。例えば、ラベル画像 Cのラベル番号「11」とラベル画像 Aのラベルとの組み 合わせと頻度は、くラベル対応例 2 >のようになる。頻度が最大になるのはラベル番 号「7」「9」の 2つであるため、例えばラベル「7」「9」の 2個のテクスチャ特徴量ベクトル の平均を超解像ィ匕テクスチャ特徴量ベクトルとすればよい。また、他の方法としては、 解像度 R—i— 1画像を解像度 R—i画像に変換する変換テーブルの作成においてす でに説明した方法を用いてもよい。
[0068] 以上のように本実施形態によると、テクスチャ特徴量を材質ごとに超解像化するた め、テクスチャの材質感を変質せずに超解像処理が実現できる。また複数の解像度 に対してそれぞれテクスチャ特徴量が準備されて ヽるため、低解像度側 (すなわち入 力画像)のテクスチャ選定と高解像度側 (すなわち出力画像)の画像生成の両面から 、テクスチャ変質のない超解像処理を実現できる。 [0069] なお、本発明に係る画像処理装置の各手段、または本発明に係る画像処理方法 の各ステップの全部または一部を、専用のハードウェアを用いて実現してもかまわな いし、コンピュータのプログラムによってソフトウェア的に実現しても力まわない。
[0070] 以下、本発明を実現する構成例を例示する。
[0071] (第 1の構成例）
図 13は第 1の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係 る画像処理を行う構成の一例である。カメラ 101の解像度はディスプレイ 102の解像 度よりも低ぐディスプレイ 102の表示能力を最大限に生かすために、メインメモリ 10 3にロードされた本発明に係る画像処理プログラムによって超解像画像を作成する。 カメラ 101によって取り込まれた低解像度画像は画像メモリ 104に記録される。外部 記憶装置 105には予め、メインメモリ 103の画像処理プログラム力も参照できるように 、超解像ィ匕テクスチャ特徴量データベース 105aを準備しておく。メインメモリ 103の 画像処理プログラムは、メモリバス 106を介して画像メモリ 104の低解像度画像を読 み込み、ディスプレイ 102の解像度に合わせて高解像度画像に変換して、再びメモリ バス 106経由でビデオメモリ 107に転送する。ビデオメモリ 107に転送された高解像 度画像はディスプレイ 102によって見ることができる。なお、画像処理プログラムの動 作やデータベースの中身や作成方法などは、上述の実施形態で示したものの 、ず れかであり、ここでは説明を割愛する。
[0072] なお、本発明は図 13の構成に拘束されるものではなぐ様々な構成をとることがで きる。例えば、超解像ィ匕テクスチャ特徴量データベース 105aを別のパーソナルコン ピュータに接続された外部記憶装置力もネットワーク 108を介して取得してもかまわ ない。また低解像度画像は、ネットワーク 108を介して取得しても力まわない。
[0073] (第 2の構成例）
図 14は第 2の構成例を示す図であり、サーバークライアントシステムを用いて本発 明に係る画像処理を行う構成の一例である。カメラ 111の解像度はディスプレイ 112 の解像度よりも低ぐディスプレイ 112の表示能力を最大限に生かすために、サーバ 一クライアントシステムにおいて超解像処理を実行する。サーバー 113はテクスチャ 解析部 114および超解像処理部 115を備え、入力画像 ΠΝのテクスチャ特徴量 FTを 超解像化し、超解像ィ匕テクスチャ特徴量 SFTとしてネットワーク 116を経由してクライ アント 117に送信する。クライアント 117は受信した超解像ィ匕テクスチャ特徴量 SFTを 画像生成回路 118によって可視化し、得られた超解像画像をディスプレイ 112に表 示する。なお、テクスチャ解析や超解像処理、超解像化テクスチャ特徴量データべ一 スの中身や作成方法などは、上述の実施形態で示したもののいずれかであり、ここで は説明を割愛する。
[0074] なお、本発明は図 14の構成に拘束されるものではなぐ様々な構成をとることがで きる。例えば、カメラ 111はクライアント 117の一部であっても力まわない。
[0075] (第 3の構成例）
図 15は第 3の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に 係る画像処理を行う構成の一例である。カメラ付携帯電話 121はネットワーク 122ま たはメモリカード 123を介してテレビ 124に画像データを送ることができる。カメラ付携 帯電話 121の解像度はテレビ 124よりも低ぐテレビ 124の表示能力を最大限に生か すために、テレビの内部回路に実装されたテクスチャ特徴量解析回路、超解像化テ タスチヤ特徴量データベース、画像生成回路によって超解像画像を作成し、画面に 表示する。なお、テクスチャ特徴量解析、超解像化テクスチャ特徴量データベース、 画像生成の詳細は、上述の実施形態で示したもののいずれかであり、ここでは説明 を割愛する。
[0076] なお、本発明は図 15の構成に拘束されるものではなぐ様々な構成を取ることがで きる。例えば、カメラ付携帯電話 121はデジタルスチルカメラやビデオムービーカメラ であってもかまわない。
[0077] 以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークラ イアント型システム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービ 一力メラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理な どは必要ない。また、専用ハードウェアへの実装やソフトウェアとハードウェアの組み 合わせなど、システム構築方法や、機器接続形態、機器内部の構成などを拘束する ものではない。
産業上の利用可能性 本発明は、画像特徴を変質させず、より情報量の多い画像を作り出すため、視覚的 情報量が重要視される様々な応用分野で活用できる。たとえば電子商取引では、消 費者が注目する商品の細部を提示でき、デジタルアーカイブで展示物の細部を正確 に鑑賞者に提示でき、映像制作で映像表現の可能性を高め、放送では様々な映像 フォーマットで互換性が保証されるなどの効果がある。

Claims

請求の範囲
[1] 原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第 1のステ ップと、
前記第 1のステップにおいて得られた画像特徴量を、情報量高密化して、高密化画 像特徴量を得る第 2のステップと、
前記第 2のステップにお 、て得られた高密化画像特徴量を基にして、前記原画像 を情報量高密化した高密化画像を生成する第 3のステップとを備えた
ことを特徴とする画像処理方法。
[2] 請求項 1において、
前記第 2のステップは、
予め準備した複数の画像特徴カテゴリの中から、前記画像特徴量が属する画像特 徴カテゴリを選定し、
選定した画像特徴カテゴリにおける情報量高密化された基本画像特徴量を、高密 化画像特徴量データベースから、前記高密化画像特徴量として読み出すものである ことを特徴とする画像処理方法。
[3] 請求項 1において、
前記第 2のステップは、
前記画像特徴量につ!、て、予め準備した複数の画像特徴カテゴリとの類似度を、 それぞれ算出し、
前記各画像特徴カテゴリにおける基本画像特徴量を、算出した類似度に応じて重 み付け加算することによって、前記高密化画像特徴量を生成するものである ことを特徴とする画像処理方法。
[4] 請求項 1において、
前記第 2のステップは、
予め準備した複数の画像特徴カテゴリの中から、前記画像特徴量が属する画像特 徴カテゴリを選定し、
変換テーブルデータベースを参照し、選定した画像特徴カテゴリにおける特徴量 変換のための変換テーブルを用いて、前記画像特徴量を、前記高密化画像特徴量 に変換するものである
ことを特徴とする画像処理方法。
[5] 請求項 4において、
前記複数の画像特徴カテゴリは、画像に撮像された物体の材質毎に、設けられて いる
ことを特徴とする画像処理方法。
[6] 請求項 1において、
前記画像特徴量として、空間解像度または時間解像度を用いる
ことを特徴とする画像処理方法。
[7] フーリエ変換を用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項 6記載の画像処理方法。
[8] ウェーブレット変換を用いて、空間周波数応答または時間周波数応答を求める ことを特徴とする請求項 6記載の画像処理方法。
[9] スケール、位相および空間的方向性のうち少なくとも 1つが異なる複数の空間フィ ルタを用いて、空間周波数応答または時間周波数応答を求める
ことを特徴とする請求項 6記載の画像処理方法。
[10] 原画像の画像特徴解析を行!ヽ、画像座標と独立した画像特徴量を得る画像特徴 解析部と、
前記画像特徴解析部によって得られた画像特徴量を、情報量高密化して、高密化 画像特徴量を得る情報量高密化部と、
前記情報量高密化部によって得られた高密化画像特徴量を基にして、前記原画像 を情報量高密化した高密化画像を生成する画像生成部とを備えた
ことを特徴とする画像処理装置。
[11] 原画像の画像特徴解析を行い、画像座標と独立した画像特徴量を得る第 1のステ ップと、
前記第 1のステップにおいて得られた画像特徴量を、情報量高密化して、高密化画 像特徴量を得る第 2のステップと、
前記第 2のステップにお 、て得られた高密化画像特徴量を基にして、前記原画像 を情報量高密化した高密化画像を生成する第 3のステップとを コンピュータに実行させる画像処理プログラム。
PCT/JP2004/019374 2004-01-09 2004-12-24 画像処理方法、画像処理装置および画像処理プログラム WO2005067294A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005516842A JP4069136B2 (ja) 2004-01-09 2004-12-24 画像処理方法、画像処理装置、サーバクライアントシステム、サーバ装置、クライアント装置および画像処理システム
US11/063,389 US7203381B2 (en) 2004-01-09 2005-02-23 Image processing method, image processing apparatus, and image processing program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004-003853 2004-01-09
JP2004003853 2004-01-09
JP2004100727 2004-03-30
JP2004-100727 2004-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/063,389 Continuation US7203381B2 (en) 2004-01-09 2005-02-23 Image processing method, image processing apparatus, and image processing program

Publications (1)

Publication Number Publication Date
WO2005067294A1 true WO2005067294A1 (ja) 2005-07-21

Family

ID=34752096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/019374 WO2005067294A1 (ja) 2004-01-09 2004-12-24 画像処理方法、画像処理装置および画像処理プログラム

Country Status (4)

Country Link
US (1) US7203381B2 (ja)
JP (1) JP4069136B2 (ja)
CN (1) CN100493174C (ja)
WO (1) WO2005067294A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280284A (ja) * 2006-04-11 2007-10-25 Toshiba Corp 画像の高解像度化方法及び装置
JP2008252701A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像信号処理装置、映像表示装置および映像信号処理方法
US7965339B2 (en) 2006-04-11 2011-06-21 Kabushiki Kaisha Toshiba Resolution enhancing method and apparatus of video
US8131116B2 (en) 2006-08-31 2012-03-06 Panasonic Corporation Image processing device, image processing method and image processing program
JP2012506647A (ja) * 2008-09-30 2012-03-15 サムスン エレクトロニクス カンパニー リミテッド 高解像度映像獲得装置およびその方法
US8156128B2 (en) 2005-09-14 2012-04-10 Jumptap, Inc. Contextual mobile content placement on a mobile communication facility
JP2014082773A (ja) * 2008-04-22 2014-05-08 Sony Corp 画像処理作業をオフロードする携帯型画像化装置
JP2015515179A (ja) * 2012-03-05 2015-05-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 超解像度処理のための方法、システム及び装置
JP2015132930A (ja) * 2014-01-10 2015-07-23 日本放送協会 空間超解像・階調補間装置及びプログラム
JP2017207765A (ja) * 2008-12-19 2017-11-24 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
JP2018166847A (ja) * 2017-03-30 2018-11-01 コニカミノルタ株式会社 画像処理装置及び放射線画像撮影システム

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685535B (zh) * 2004-06-09 2011-09-28 松下电器产业株式会社 图象处理方法
CN100521743C (zh) * 2004-11-30 2009-07-29 松下电器产业株式会社 图像处理方法、图像处理装置
US8606383B2 (en) * 2005-01-31 2013-12-10 The Invention Science Fund I, Llc Audio sharing
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US20060174203A1 (en) 2005-01-31 2006-08-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Viewfinder for shared image device
US8902320B2 (en) 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US7920169B2 (en) 2005-01-31 2011-04-05 Invention Science Fund I, Llc Proximity of shared image devices
US20060170956A1 (en) 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US7876357B2 (en) 2005-01-31 2011-01-25 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US9001215B2 (en) 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US8081682B1 (en) * 2005-10-13 2011-12-20 Maxim Integrated Products, Inc. Video encoding mode decisions according to content categories
US8126283B1 (en) 2005-10-13 2012-02-28 Maxim Integrated Products, Inc. Video encoding statistics extraction using non-exclusive content categories
US8149909B1 (en) 2005-10-13 2012-04-03 Maxim Integrated Products, Inc. Video encoding control using non-exclusive content categories
KR100819027B1 (ko) * 2006-04-26 2008-04-02 한국전자통신연구원 얼굴 영상을 이용한 사용자 인증 방법 및 장치
US8139899B2 (en) * 2007-10-24 2012-03-20 Motorola Mobility, Inc. Increasing resolution of video images
JP2010074732A (ja) * 2008-09-22 2010-04-02 Canon Inc 画像処理装置及び画像処理方法ならびに画像処理方法を実行するプログラム
US20110211737A1 (en) * 2010-03-01 2011-09-01 Microsoft Corporation Event Matching in Social Networks
US9465993B2 (en) 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US9536288B2 (en) * 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9436890B2 (en) * 2014-01-23 2016-09-06 Samsung Electronics Co., Ltd. Method of generating feature vector, generating histogram, and learning classifier for recognition of behavior
KR102214922B1 (ko) * 2014-01-23 2021-02-15 삼성전자주식회사 행동 인식을 위한 특징 벡터 생성 방법, 히스토그램 생성 방법, 및 분류기 학습 방법
US9471853B2 (en) * 2014-05-19 2016-10-18 Jinling Institute Of Technology Method and apparatus for image processing
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
US9824278B2 (en) * 2015-06-24 2017-11-21 Netflix, Inc. Determining native resolutions of video sequences
GB2553557B (en) * 2016-09-08 2022-04-20 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112843A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH114413A (ja) * 1997-06-12 1999-01-06 Sony Corp 画像変換装置、画像変換方法、演算装置、演算方法、および、伝送媒体
JP2000312294A (ja) * 1999-02-24 2000-11-07 Oki Data Corp 画像処理装置
JP2003018398A (ja) * 2001-04-20 2003-01-17 Mitsubishi Electric Research Laboratories Inc ピクセル画像から超解像度画像を生成する方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3511645B2 (ja) 1993-08-30 2004-03-29 ソニー株式会社 画像処理装置及び画像処理方法
JPH08294001A (ja) 1995-04-20 1996-11-05 Seiko Epson Corp 画像処理方法および画像処理装置
JP2828138B2 (ja) 1996-08-28 1998-11-25 日本電気株式会社 画像合成方法及び画像合成装置
JP3743077B2 (ja) 1996-10-31 2006-02-08 ソニー株式会社 画像信号変換装置および方法
JP3867346B2 (ja) 1997-06-17 2007-01-10 ソニー株式会社 画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法
US6760489B1 (en) * 1998-04-06 2004-07-06 Seiko Epson Corporation Apparatus and method for image data interpolation and medium on which image data interpolation program is recorded
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
US7085436B2 (en) * 2001-08-28 2006-08-01 Visioprime Image enhancement and data loss recovery using wavelet transforms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112843A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH114413A (ja) * 1997-06-12 1999-01-06 Sony Corp 画像変換装置、画像変換方法、演算装置、演算方法、および、伝送媒体
JP2000312294A (ja) * 1999-02-24 2000-11-07 Oki Data Corp 画像処理装置
JP2003018398A (ja) * 2001-04-20 2003-01-17 Mitsubishi Electric Research Laboratories Inc ピクセル画像から超解像度画像を生成する方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8156128B2 (en) 2005-09-14 2012-04-10 Jumptap, Inc. Contextual mobile content placement on a mobile communication facility
US7965339B2 (en) 2006-04-11 2011-06-21 Kabushiki Kaisha Toshiba Resolution enhancing method and apparatus of video
JP2007280284A (ja) * 2006-04-11 2007-10-25 Toshiba Corp 画像の高解像度化方法及び装置
US8131116B2 (en) 2006-08-31 2012-03-06 Panasonic Corporation Image processing device, image processing method and image processing program
JP2008252701A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 映像信号処理装置、映像表示装置および映像信号処理方法
JP2014082773A (ja) * 2008-04-22 2014-05-08 Sony Corp 画像処理作業をオフロードする携帯型画像化装置
KR101498206B1 (ko) * 2008-09-30 2015-03-06 삼성전자주식회사 고해상도 영상 획득 장치 및 그 방법
JP2012506647A (ja) * 2008-09-30 2012-03-15 サムスン エレクトロニクス カンパニー リミテッド 高解像度映像獲得装置およびその方法
US10578920B2 (en) 2008-12-19 2020-03-03 Semiconductor Energy Laboratory Co., Ltd. Method for driving liquid crystal display device
US11899311B2 (en) 2008-12-19 2024-02-13 Semiconductor Energy Laboratory Co., Ltd. Method for driving liquid crystal display device
JP2017207765A (ja) * 2008-12-19 2017-11-24 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
US10018872B2 (en) 2008-12-19 2018-07-10 Semiconductor Energy Laboratory Co., Ltd. Method for driving liquid crystal display device
US11300832B2 (en) 2008-12-19 2022-04-12 Semiconductor Energy Laboratory Co., Ltd. Method for driving liquid crystal display device
US10254586B2 (en) 2008-12-19 2019-04-09 Semiconductor Energy Laboratory Co., Ltd. Method for driving liquid crystal display device
JP2019117411A (ja) * 2008-12-19 2019-07-18 株式会社半導体エネルギー研究所 表示装置の駆動方法
JP2015515179A (ja) * 2012-03-05 2015-05-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 超解像度処理のための方法、システム及び装置
JP2015132930A (ja) * 2014-01-10 2015-07-23 日本放送協会 空間超解像・階調補間装置及びプログラム
JP2018166847A (ja) * 2017-03-30 2018-11-01 コニカミノルタ株式会社 画像処理装置及び放射線画像撮影システム

Also Published As

Publication number Publication date
CN100493174C (zh) 2009-05-27
JPWO2005067294A1 (ja) 2007-07-26
JP4069136B2 (ja) 2008-04-02
CN1748416A (zh) 2006-03-15
US20050152619A1 (en) 2005-07-14
US7203381B2 (en) 2007-04-10

Similar Documents

Publication Publication Date Title
JP4069136B2 (ja) 画像処理方法、画像処理装置、サーバクライアントシステム、サーバ装置、クライアント装置および画像処理システム
Battiato et al. A locally adaptive zooming algorithm for digital images
US6009213A (en) Image processing apparatus and method
JP2001054075A (ja) 画像信号の動き補償走査変換回路
JPH06343170A (ja) ビデオ信号のノイズ低減装置、ならびに３次元ディスクリートコサイン変換およびノイズ測定を用いた方法
US6181834B1 (en) Hybrid image reduction method and apparatus with moir{acute over (e)} suppression
JP2000115716A (ja) 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機
EP1565878A1 (en) A unit for and method of image conversion
KR101098300B1 (ko) 공간 신호 변환
JP4173705B2 (ja) 動画像合成方法および装置並びにプログラム
Wang et al. A fast scheme for arbitrarily resizing of digital image in the compressed domain
CN107154020A (zh) 一种基于Curvelet变换的影像融合方法及系统
JP2522357B2 (ja) 画像の拡大方式
JPH07193789A (ja) 画像情報変換装置
JP3693187B2 (ja) 信号変換装置及び信号変換方法
JP4104937B2 (ja) 動画像合成方法および装置並びにプログラム
JP2000092455A (ja) 画像情報変換装置および画像情報変換方法
JP2004152148A (ja) 動画像合成方法および装置並びにプログラム
JP3871350B2 (ja) 解像度補償可能な画像変換装置および方法
Sicuranza et al. Multidimensional processing of video signals
Nojiri et al. Motion compensated standards converter for HDTV
JP4582993B2 (ja) 動画像合成方法および装置並びにプログラム
JPH1098694A (ja) 画像信号の走査変換方法及び回路
JP4310847B2 (ja) 画像情報変換装置および変換方法
JP3814850B2 (ja) 信号変換装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 11063389

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2005516842

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 20048039190

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase