WO2013172471A1 - 画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体 Download PDF

Info

Publication number
WO2013172471A1
WO2013172471A1 PCT/JP2013/063871 JP2013063871W WO2013172471A1 WO 2013172471 A1 WO2013172471 A1 WO 2013172471A1 JP 2013063871 W JP2013063871 W JP 2013063871W WO 2013172471 A1 WO2013172471 A1 WO 2013172471A1
Authority
WO
WIPO (PCT)
Prior art keywords
decomposition
image
coefficient
image processing
processing apparatus
Prior art date
Application number
PCT/JP2013/063871
Other languages
English (en)
French (fr)
Inventor
仁之 新井
しのぶ 新井
Original Assignee
独立行政法人科学技術振興機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 独立行政法人科学技術振興機構 filed Critical 独立行政法人科学技術振興機構
Priority to CN201380025075.9A priority Critical patent/CN104285239B/zh
Priority to KR1020147032069A priority patent/KR101697634B1/ko
Priority to RU2014147957A priority patent/RU2628481C2/ru
Priority to US14/400,440 priority patent/US9292910B2/en
Priority to JP2013541095A priority patent/JP5599520B2/ja
Priority to EP13791446.1A priority patent/EP2851866A4/en
Publication of WO2013172471A1 publication Critical patent/WO2013172471A1/ja
Priority to IL235680A priority patent/IL235680A0/en
Priority to US15/006,455 priority patent/US20160140698A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, a program, a print medium, and a recording medium.
  • Non-Patent Document 1 in order to sharpen an image, pixels on the bright side of the edge are detected and further brightened, and pixels on the dark side of the edge are detected and further darkened.
  • Japanese Patent Application Laid-Open No. 2004-260 a local contrast control is disclosed.
  • Non-Patent Document 2 it is disclosed that nonlinear processing is performed on a grayscale original image using a maximum overlapping bi-orthogonal wavelet filter bank as a mathematical model for human initial visual information processing. Has been.
  • Non-Patent Documents 6 and 7 Conventionally, as a method of edge detection, a simple filtering method and a method using a wavelet are well known (see Non-Patent Documents 6 and 7).
  • the conventional image processing method has a problem that it is difficult to perform natural image sharpening and various edge detection.
  • Non-Patent Document 1 since the brightness of the edge portion is uniformly increased and decreased, the contrast becomes extremely high and becomes unnatural even in a portion where the contrast is sufficient until it becomes close to black and white. Had. Further, the method described in Non-Patent Document 2 has a problem that it is performed as part of an illusion analysis for a black and white image and cannot be applied to sharpening a color image.
  • Non-Patent Documents 6 and 7 have a problem that frequency resolution and orientation selectivity are poor and it is difficult to detect various edges according to the purpose.
  • the present invention has been made in view of the above problems, and can perform various image processing such as natural image sharpening and detection of various edges, an image processing apparatus, an image processing method, a program, and a print medium. And it aims at providing a recording medium.
  • an image processing apparatus of the present invention is an image processing apparatus including at least a storage unit and a control unit, and the storage unit includes an approximation filter having no orientation and each orientation.
  • the resolution means for performing multi-resolution decomposition on the image data by a pinwheel framelet or pinwheel wavelet frame in a broad sense and obtaining a subband signal Processed image data by the subband signal or the multiple resolution Processing image acquisition means for acquiring processed image data obtained by reconstructing an image by adding the subband signals in the composition phase of decomposition, and the decomposition means corresponds to at least one of the filters,
  • the image processing apparatus further includes processing means for performing processing for attenuating or amplifying the subband signal in the decomposition phase of multi-resolution decomposition.
  • the image processing apparatus of the present invention is characterized in that, in the above-described image processing apparatus, the processing means performs linear or non-linear coefficient processing on the subband signal in the decomposition phase.
  • the image processing apparatus is characterized in that, in the above-described image processing apparatus, the processing means performs threshold processing on the subband signal in the decomposition phase.
  • the image processing apparatus is the image processing apparatus described above, wherein the processing means has a smaller absolute value as the energy of the decomposition detail coefficient forming the subband signal in the decomposition phase is larger.
  • the coefficient processing is performed so that the absolute value becomes smaller as the energy of the decomposition detailed coefficient is smaller and the absolute value is smaller.
  • the image processing apparatus is the above-described image processing apparatus, wherein the processing means is at least one of the plurality of filters having a predetermined frequency characteristic and / or a predetermined orientation.
  • the subband signal in the corresponding decomposition phase is attenuated or amplified.
  • the image processing apparatus of the present invention is the image processing apparatus described above, wherein the predetermined frequency characteristic is a position in a predetermined filter arrangement based on an orientation at each level of the broad pinwheel framelet or the pinwheel wavelet frame. And / or specified by the level in the multi-resolution decomposition.
  • the image processing apparatus of the present invention is the above-described image processing apparatus, wherein the processing means is at least one of a plurality of the odd filters having a predetermined frequency characteristic and / or a predetermined orientation.
  • the subband signal in the decomposition phase corresponding to is relatively amplified.
  • the image processing apparatus of the present invention is the image processing apparatus described above, wherein the processing means is at least one of the odd-shaped filters having a predetermined frequency characteristic and / or a predetermined orientation among the plurality of filters.
  • the processing means is at least one of the odd-shaped filters having a predetermined frequency characteristic and / or a predetermined orientation among the plurality of filters.
  • the subband signal in the decomposition phase corresponding to at least one of the even filters may be relatively attenuated. .
  • the image processing apparatus is the image processing apparatus described above, wherein the processing means performs processing on the decomposition detail coefficient and / or decomposition approximate coefficient output from the decomposition phase, thereby performing the decomposition.
  • the subband signal in the phase is attenuated or amplified.
  • the image processing method of the present invention is an image processing method executed in an image processing apparatus including at least a storage unit and a control unit.
  • the storage unit includes an approximation filter having no orientation and each orientation.
  • a filter storage means for storing a broadly defined pinwheel framelet or pinwheel wavelet frame having an order, and an image data storage means for storing image data.
  • the image data to be executed is subjected to multiresolution decomposition using a pinwheel framelet or pinwheel wavelet frame in a broad sense to obtain a subband signal, and the multiresolution decomposition obtained by the decomposition means.
  • Processed image data by the subband signal in the decomposition phase Or a processed image acquisition step of acquiring processed image data obtained by reconstructing an image by adding the subband signals in the synthesis phase of the multi-resolution decomposition, and the decomposition step includes at least the filter
  • the method further includes a processing step of performing a process of attenuating or amplifying the subband signal in the decomposition phase of the multi-resolution decomposition corresponding to one.
  • the program of the present invention is a program for causing an image processing apparatus including at least a storage unit and a control unit to execute an image processing method.
  • the storage unit includes an approximation filter having no orientation and each orientation.
  • the image data is subjected to multiresolution decomposition using a pinwheel framelet or pinwheel wavelet frame in a broad sense to obtain a subband signal
  • the decomposition phase of the multiresolution decomposition acquired by the decomposition means Processed image data by the subband signal in Or a processed image acquisition step of acquiring processed image data obtained by reconstructing an image by adding the subband signals in the synthesis phase of the multi-resolution decomposition.
  • a processing step of performing a process of attenuating or amplifying the subband signal in the decomposition phase of the multi-resolution decomposition corresponding to at least one of the filters is further performed.
  • the inventors of the present application completed the present invention by thinking as follows.
  • human vision originally performs information processing so that the desired portion can be seen well.
  • Humans perceive various illusions, which are thought to be the result of visual information processing.
  • the mathematical model is similar to human visual information processing, a computer that implements the mathematical model should also calculate the illusion. Therefore, the inventor of the present application uses a mathematical model that can simulate light and dark illusions and color contrast illusions, and performs information processing close to human vision on the original image to sharpen only the portion to be seen. It was confirmed that this was possible, and the present invention was completed.
  • the image processing apparatus of the present invention is an image processing apparatus including at least a storage unit and a control unit, and the storage unit includes an approximate filter having no orientation and a plurality of detailed filters having each orientation.
  • Filter storage means for storing an orientation-selective wavelet frame or orientation-selective filter bank, and image data storage means for storing image data
  • the control unit is configured to store each color of the image data.
  • the component is subjected to multi-resolution decomposition by the direction-selective wavelet frame or the direction-selective filter bank to obtain a subband signal, and the synthesis phase of each color component acquired by the decomposition unit
  • the image is reconstructed by adding the sub-band signals in to obtain reconstructed image data
  • a disassembling unit between the disassembly phase and the compositing phase in the multi-resolution decomposition if the energy of the disassembly detail coefficient is larger than the disassembly detail coefficient output from the decomposition phase.
  • It further comprises coefficient processing means for performing coefficient processing so that the smaller the absolute value is, the smaller the absolute value is, and the smaller the energy of the decomposition detailed coefficient is, the smaller the absolute value is. .
  • the image processing apparatus of the present invention is the image processing apparatus described above, wherein the color components are L * , a * , and b * in the CIELAB color space, or each color in a color space close to human vision. It is a component.
  • the image processing apparatus of the present invention is an image processing device described above, the coefficient processing means, for a * and / or b * color component of the image data, a * and / or b * of the decomposition
  • the image processing apparatus is the image processing apparatus described above, wherein the coefficient processing means automatically generates an S-shaped curve when the energy of the decomposition detail coefficient is large, and an N-shaped curve when the energy is small.
  • the coefficient processing is performed using a function that continuously changes.
  • the image processing apparatus of the present invention is the image processing apparatus described above, wherein the coefficient processing means normalizes the decomposition detail coefficient between the decomposition phase and the synthesis phase, and normalizes the decomposed details. Using the norm of the normalized decomposition detail coefficient that is a coefficient as the energy, the coefficient processing is performed on the normalized decomposition detail coefficient, and the normalization inverse operation is performed on the normalized decomposition detail coefficient that has been coefficient processed. It is characterized by performing.
  • the image processing apparatus of the present invention is characterized in that, in the above-described image processing apparatus, the coefficient processing means may perform separate processing depending on a difference in sign of the decomposition detail coefficient.
  • the image processing apparatus is the image processing apparatus described above, wherein the decomposition means includes a bi-orthogonal wavelet filter bank in which the orientation is composed of a horizontal direction, a vertical direction, and a diagonal direction, or the orientation.
  • the multi-resolution decomposition is performed using a multi-directional broad pinwheel framelet or pinwheel wavelet frame.
  • the image processing apparatus of the present invention is the image processing apparatus described above, wherein the multi-resolution decomposition by the decomposing means is a maximum overlap multi-resolution decomposition, a maximum decimation multi-resolution decomposition, or a partial decimation partially overlapping multi-resolution. It is a decomposition.
  • the present invention also relates to an image processing method.
  • the image processing method of the present invention is an image processing method executed in an image processing apparatus including at least a storage unit and a control unit, and the storage unit has no orientation.
  • the decomposition detail coefficient output from the decomposition phase the larger the energy of the decomposition detail coefficient, the smaller the absolute value is suppressed, and the smaller the energy of the decomposition detail coefficient, the smaller the absolute value.
  • the method further includes a coefficient processing step of performing coefficient processing so as to enhance the value.
  • the present invention also relates to a program.
  • the program of the present invention is a program for causing an image processing apparatus including at least a storage unit and a control unit to execute an image processing method, and the storage unit is an approximation without orientation.
  • Filter storage means for storing an orientation-selective wavelet frame or orientation-selective filter bank that is a set of filters and a plurality of detailed filters having respective orientations; and image data storage means for storing image data
  • the sub-band in the composition phase of each color component acquired in the separation step A reconstruction step of reconstructing an image by adding signals and acquiring reconstructed image data, wherein the decomposition step includes a decomposition phase and a synthesis phase in the multi-resolution decomposition
  • the decomposition step includes a decomposition phase and a synthesis phase in the multi-resolution decomposition
  • the method further includes a coefficient processing step for performing coefficient processing so that the smaller the value is, the smaller the absolute value is.
  • the present invention also relates to a recording medium, and is characterized by recording the above-described program.
  • the present invention is a print medium on which a processed image is printed, and the processed image includes components extracted from a broadly defined pinwheel framelet or pinwheel wavelet frame that constitute an original image, or orientation selectivity.
  • the predetermined component is attenuated or amplified.
  • the present invention is a computer-readable recording medium on which image data for displaying a processed image is recorded, and the processed image is extracted by a broad pinwheel framelet or pinwheel wavelet frame constituting the original image.
  • the predetermined component is attenuated or amplified.
  • image data is multiplexed by an approximate filter having no orientation and a set of a plurality of detailed filters having each orientation, and a broad pinwheel framelet or pinwheel wavelet frame having a degree.
  • Processing by resolving the resolution, obtaining the subband signal, and reconstructing the image by adding the processed image data by the subband signal in the decomposition phase of multiresolution decomposition or the subband signal in the synthesis phase of multiresolution decomposition
  • a process of attenuating or amplifying the subband signal in the decomposition phase of the multi-resolution decomposition corresponding to at least one of the filters is performed.
  • a broad pinwheel framelet or pinwheel wavelet frame is capable of multi-resolution decomposition, has a variety of frequency selectivity, and has a variety of orientation selectivity, so it can detect edge of orientation according to purpose and frequency according to purpose.
  • Various image processing such as component extraction can be executed.
  • linear or nonlinear coefficient processing is performed on the subband signal in the decomposition phase. Therefore, a linear function or a nonlinear function is applied to the decomposition detail coefficient or decomposition approximate coefficient output from the decomposition phase. By applying a function or the like, it is possible to obtain an image processing result corresponding to the coefficient value.
  • threshold processing is performed on the subband signal in the decomposition phase, it is possible to effectively remove noise by removing or attenuating minute fluctuations below the threshold. Play.
  • the subband signal in the decomposition phase corresponding to at least one of the plurality of filters having a predetermined frequency characteristic and / or a predetermined orientation is attenuated or amplified.
  • the predetermined frequency characteristic is specified by a position in a predetermined filter arrangement based on an orientation at each level of the pinwheel framelet or pinwheel wavelet frame in a broad sense and / or a level in multiresolution decomposition. Therefore, it is possible to specify various frequency characteristics.
  • the subband signal in the decomposition phase corresponding to at least one of the odd-shaped filters having a predetermined frequency characteristic and / or a predetermined orientation among the plurality of filters is relatively amplified. Therefore, by outputting as it is without going through the synthesis phase, it is possible to detect an edge with a stereoscopic effect and the like.
  • the subband signals in the decomposition phase corresponding to at least one of the odd-shaped filters having a predetermined frequency characteristic and / or a predetermined orientation among the plurality of filters are relatively
  • the subband signal in the decomposition phase corresponding to at least one of the even filters among the plurality of filters may be relatively attenuated, so that a more effective stereoscopic effect can be obtained. There is an effect that edge detection or the like becomes possible.
  • the subband signal in the decomposition phase is attenuated or amplified by performing coefficient processing on the decomposition detailed coefficient and / or decomposition approximate coefficient output from the decomposition phase.
  • an approximation filter having no orientation and an orientation-selective wavelet frame or orientation-selection filter bank, which is a set of a plurality of detailed filters having each orientation, image data, Multi-resolution decomposition for each color component of the image data using an orientation-selective wavelet frame or orientation-selective filter bank to obtain subband signals, and subband signals in the synthesis phase of each color component
  • the decomposition is performed on the decomposition detailed coefficient output from the decomposition phase.
  • the present invention has an effect that natural image sharpening can be performed on a color image. More specifically, the present invention can apply a natural image sharpening close to a human sense to a color image by using a mathematical model close to human visual information processing.
  • the present invention has an effect that natural image processing close to human senses can be performed.
  • the a * and / or b * color component of the image data, the energy determined from the decomposition detail coefficients in a * and / or b * of the decomposition detail coefficients and L * is greater
  • the coefficient processing is performed such that the smaller the absolute value is, the smaller the value is, and the smaller the energy is, and the smaller the energy is, the smaller the absolute value is.
  • the coefficient processing is performed using a function that automatically changes continuously to an S-shaped curve when the energy of the detailed decomposition coefficient is large and to an N-shaped curve when the energy is small. I do.
  • the present invention suppresses a value whose absolute value is smaller as the energy of the decomposition detail coefficient is larger, and coefficient processing that enhances a value whose absolute value is smaller as the energy of the decomposition detail coefficient is smaller.
  • the surrounding stimulus when the surrounding stimulus is large, the variation in the detailed decomposition coefficient is increased, and when the surrounding stimulus is small, the surrounding stimulus is increased by using a function for reducing the variation in the detailed decomposition coefficient.
  • small stimuli are weakened, and when the surrounding stimuli are small, even small stimuli become conscious. Therefore, appropriate sharpening can be automatically performed for each image.
  • the detailed decomposition coefficient is normalized, and the norm of the normalized decomposition detailed coefficient, which is the normalized decomposition detailed coefficient, is used as the energy.
  • the coefficient processing is performed on the normalized decomposition detailed coefficient, and the normalization inverse operation is performed on the normalized decomposition detailed coefficient that has been coefficient processed.
  • the present invention has an effect that the coefficient can be easily handled in the function processing, energy calculation, and the like by normalization.
  • the present invention has the effect that simple calculations can be performed using the bi-orthogonal wavelet filter bank, or precise calculations can be performed using the pinwheel framelet or pinwheel wavelet frame in a broad sense. .
  • the multi-resolution decomposition is maximum overlap multi-resolution decomposition, maximum thinning-out multi-resolution decomposition, or partial thinning-out partially overlapping multi-resolution decomposition.
  • Detailed coefficients can be obtained, and not only high-frequency components but also low-frequency components are processed in a multi-resolution manner, so that it is not only sharpening that emphasizes only edges, but natural sharpening. Play.
  • the present invention also relates to a computer-readable recording medium on which image data for displaying a processed image is recorded or a printing medium on which the processed image is printed, and a broad pinwheel framelet or pinwheel wavelet that constitutes an original image. Since each component extracted by the frame or each component extracted by the orientation-selective wavelet frame or orientation-selective filter bank is attenuated or amplified, any original image , It is possible to present processed images that have been subjected to various image processing such as natural image sharpening and detection of various edges.
  • FIG. 1 is a block diagram illustrating an example of a configuration of the image processing apparatus to which the exemplary embodiment is applied.
  • FIG. 2 is a diagram showing a filter obtained by circularly correlating a degree 5 maximum overlap pinwheel framelet filter with a degree 5 level 1 and level 2 maximum overlap pinwheel framelet / approximation filter.
  • FIG. 3 is a diagram showing a filter obtained by circularly correlating a maximum overlapped pinwheel framelet / level filter of level 1 with a level-2 (high frequency side) maximum overlapped pinwheel framelet filter of order 7.
  • FIG. 4 is a diagram showing a filter obtained by circularly correlating the maximum overlapped pinwheel framelet filter of level 1 and level 2 with the maximum overlapped pinwheel framelet filter of degree 7 of level 7 (low frequency side).
  • FIG. 1 is a block diagram illustrating an example of a configuration of the image processing apparatus to which the exemplary embodiment is applied.
  • FIG. 2 is a diagram showing a filter obtained by circularly correlating a degree 5 maximum overlap pinwheel
  • FIG. 5 is a diagram in which an approximate portion is represented by a k (1) and a detailed portion is represented by symbols (numbers) d k (1) to d k (99) in a pinwheel framelet of degree 7 and level k. is there.
  • FIG. 6 is a flowchart illustrating an example of basic processing of the image processing apparatus 100 according to the present embodiment.
  • FIG. 7 is a diagram illustrating an example of a filter bank for maximum overlap multiresolution decomposition.
  • FIG. 8 is a diagram illustrating an example of a filter bank for maximum overlap multiresolution decomposition.
  • FIG. 9 is a flowchart illustrating an example of the color image sharpening process of the image processing apparatus 100 according to the present embodiment.
  • FIG. 10 is a diagram illustrating an example of a filter bank in the decomposition phase and the synthesis phase of the maximum overlap multi-resolution decomposition.
  • FIG. 11 is a flowchart illustrating an example of the coefficient processing of the decomposition detail coefficient with normalization.
  • FIG. 12 is a diagram showing a comparison between an original image (512 ⁇ 512 pixels), a sharpened image according to the present embodiment, and a sharpened image obtained by a conventional method.
  • FIG. 13 is a graph showing the value of L * in the 400th pixel column from the left in each photograph of FIG.
  • FIG. 14 is a graph showing the value of a * in the 400th pixel column from the left in each photograph of FIG.
  • FIG. 10 is a diagram illustrating an example of a filter bank in the decomposition phase and the synthesis phase of the maximum overlap multi-resolution decomposition.
  • FIG. 11 is a flowchart illustrating an example of the coefficient processing of the decomposition detail coefficient with normalization.
  • FIG. 15 is a graph showing the value of b * in the 400th pixel column from the left in each photograph of FIG.
  • FIG. 16 is a diagram illustrating an example of a color contrast illusion image.
  • 17 shows an inner square portion of the original image shown in FIG. 16 (common to the original images A and B), an inner square portion of the processed image A that is an image processing result of the original image A, and an image processing result of the original image B. It is a figure which shows the inner square part of the process image B which is.
  • FIG. 18 is a diagram illustrating another example of a color contrast illusion image.
  • FIG. 19 shows the inner square part of the original image shown in FIG.
  • FIG. 20 is a diagram illustrating another example of the color contrast illusion image. 21 shows an inner square portion of the original image shown in FIG. 20 (common to the original images E and F), an inner square portion of the processed image E that is an image processing result of the original image E, and an image processing result of the original image F. It is a figure which shows the inner side square part of the process image F which is.
  • FIG. 22 is a graph for explaining the hard threshold used in this embodiment.
  • FIG. 23 shows an original image before the noise used in this embodiment.
  • FIG. 24 is a diagram showing a noise image obtained by adding Gaussian white noise to the original image in FIG.
  • FIG. 25 is a processed image using shimlet 4 as a wavelet in a conventional noise removal method using wavelets.
  • FIG. 26 is a partially enlarged view of FIG.
  • FIG. 27 is a processed image obtained using a fifth-order pinwheel framelet according to the present embodiment.
  • FIG. 28 is a partially enlarged view of FIG.
  • FIG. 29 is a processed image obtained when the threshold is changed for each filter using the seventh-order pinwheel framelet according to the present embodiment.
  • FIG. 30 is a partially enlarged view of FIG.
  • FIG. 31 is a diagram showing the detailed coefficients for performing threshold processing at level 2 by hatching.
  • FIG. 32 is a processed image obtained by performing threshold processing from the level 1 to the high frequency part of level 2 using the seventh-order pinwheel framelet according to the present embodiment.
  • FIG. 33 is a partially enlarged view of FIG.
  • FIG. 34 is a diagram showing an original image used for edge detection in this embodiment.
  • FIG. 35 is a diagram showing the weighting coefficient at level 1 of the seventh-order pinwheel framelet.
  • FIG. 36 is a diagram showing weighting coefficients at level 2 of the 7th-order pinwheel framelet.
  • FIG. 37 is a diagram illustrating an image obtained by censoring the processed image obtained in the edge detection example 1.
  • FIG. 39 is a diagram showing the weighting coefficient at level 1 of the seventh-order pinwheel framelet.
  • FIG. 40 is a diagram showing weighting coefficients at level 2 of the seventh-order pinwheel framelet.
  • FIG. 41 is a diagram illustrating a censored image according to edge detection example 2.
  • FIG. 42 is a diagram illustrating a binarized image according to edge detection example 2.
  • FIG. 43 is a diagram illustrating an image obtained by adding a processed image that has been subjected to the truncation process to 15 times the original image.
  • FIG. 44 is a diagram illustrating the numbers of 52 subband signals in the decomposition phase of a pinwheel framelet of order 5.
  • FIG. 47 is a diagram showing weighting coefficients at level 1 of the 7th-order pinwheel framelet.
  • FIG. 48 is a diagram showing weighting coefficients at level 2 of the 7th-order pinwheel framelet.
  • FIG. 53 is a diagram showing an original image.
  • FIG. 54 is a diagram illustrating a result of performing feature extraction with a stereoscopic effect.
  • FIG. 55 is a diagram showing an image displayed by reversing gradation with respect to an output image obtained by performing feature extraction with a stereoscopic effect.
  • FIG. 56 shows a filter obtained by circularly correlating an approximate filter of a level 1 maximum overlap pinwheel framelet with a level 2 maximum overlap pinwheel framelet filter of degree 7 (maximal overlap pinwheel framelet filters at level 2).
  • FIG. FIG. 57 is a diagram showing each composite subband signal obtained by performing level 2 maximum overlap multiresolution decomposition (2nd stage of maximum overlap MRA decomposition by pinwheel framelet) on a test image by a pinwheel framelet of order 7. is there.
  • an image processing apparatus an image processing method, a program, a print medium, and a recording medium according to the present invention will be described in detail with reference to the drawings.
  • the present invention is not limited to the embodiments.
  • image processing according to the present embodiment an example used for image sharpening of a color image, noise removal, edge detection, or the like may be described.
  • the present invention is not limited to this, and sharpness may be described.
  • the present invention may be applied for various purposes such as contour enhancement, contrast adjustment, color correction, feature extraction, pattern recognition, and automatic crater illusion generation.
  • FIG. 1 is a block diagram showing an example of the configuration of the image processing apparatus to which the present embodiment is applied, and conceptually shows only the portion related to the present embodiment in the configuration.
  • the image processing apparatus 100 schematically includes a control unit 102, a communication control interface unit 104, an input / output control interface unit 108, and a storage unit 106.
  • the control unit 102 is a CPU or the like that comprehensively controls the entire image processing apparatus 100.
  • the input / output control interface unit 108 is an interface connected to the input device 112 and the output device 114.
  • the storage unit 106 is a device that stores various databases and tables. Each unit of the image processing apparatus 100 is connected to be communicable via an arbitrary communication path.
  • the various files (framelet file 106a and image data file 106b) stored in the storage unit 106 are storage means such as a fixed disk device.
  • the storage unit 106 stores various programs, tables, files, databases, web pages, and the like used for various processes.
  • the framelet file 106a is a set of an orientation-selective wavelet frame or orientation selection which is a set of approximate filters without orientation and a plurality of detailed filters with orientations.
  • the “wavelet” is not limited to a classic wavelet, a narrow wavelet, or the like, but includes a broad wavelet.
  • a wavelet is a finite-length waveform or wave-like vibration with an amplitude that amplifies from 0 and quickly converges to 0.
  • a wavelet mimic such as a Gabor filter or a curvelet is used. including.
  • a pinwheel framelet (item to be described later [
  • the present invention is not limited to this.
  • a simple pinwheel framelet see Non-Patent Document 3
  • a definition expression of a pinwheel framelet for example, an item [Pigwheel framelet]
  • simple pinwheel framelet filter You may use the framelet etc.
  • the pinwheel framelets which are obtained by changing the coefficient of the term which constitutes a frequency response function ([nonpatent literature 3]).
  • These and the pinwheel framelets are collectively referred to as broad pinwheel framelets.
  • the “widely pinwheel framelet” is a set of an approximate filter having no orientation and a plurality of detailed filters having each orientation, and is a filter bank having an order.
  • the pinwheel framelet, the simple pinwheel framelet introduced in [Non-patent Document 3], and a filter obtained by modifying the filter of these framelets are referred to as “broadly pinwheel framelet”.
  • a broad pinwheel framelet is a two-dimensional framelet with orientation selectivity.
  • the pinwheel framelet in a broad sense has the property of being a filter bank that can perform multi-resolution decomposition, has various orientation selectivity, and consists of a finite length filter.
  • the pinwheel framelet is different from the simple pinwheel framelet in that it reflects the characteristics of visual information processing in the human brain. It is.
  • a pinwheel wavelet frame (see Non-Patent Document 4) may be used.
  • a pinwheel framelet is a mathematical model of information processing by simple cells in the human visual cortex.
  • This decomposition is a mathematical model of the signal that is decomposed by simple cells in the human brain.
  • the pinwheel framelet has an order, the order is an odd number of 3 or more, and the greater the order is, the more azimuths can be detected. Therefore, various filters can be created. Note that the number of filters increases and the calculation time increases accordingly.
  • the number of filters of the pinwheel framelet of order n is (n + 1) 2 + (n ⁇ 1) 2 . Among these, one filter is an approximate filter, and the remaining filters are detail filters.
  • the pinwheel framelet is a model closer to a simple cell of the cerebral cortex V1 in terms of neuroscience than the simple pinwheel framelet.
  • this pinwheel framelet is of order 5, for example, as shown in FIG. 2, the left 6 ⁇ 6 filters and the right 4 ⁇ 4 filters are combined for each level, for a total of 52 sheets. It consists of a set of filters. Of these, the one surrounded by a black rectangle at the top center of the figure is a filter obtained by the cyclic correlation product of the approximate filters from level 1 to level 3, and the other 51 are level 3 detail filters. This is a filter obtained by cyclic correlation product of 1 to 2 approximation filters. The orientation of the filter made from the detailed filter is arranged in the direction in which the windmill rotates about the filter made only from the approximate filter.
  • FIG. 2 shows a pinwheel framelet of level 3, and a rough portion (low frequency portion) is detected as the level is increased to levels 2, 3,...
  • the framelet file 106a may store an orientation-selective wavelet frame such as a pinwheel framelet in the form of a function (such as a frequency response function of a framelet filter). Specific examples of functions will be described later.
  • the present invention is not limited to the above, and various wavelets may be used in the present embodiment.
  • broad pinwheel framelets or pinwheel wavelet frames having various frequency characteristics and directional properties.
  • the wavelet is not limited to a classic wavelet, a narrow wavelet, or the like, but also includes a broad wavelet.
  • a wavelet is a finite-length waveform or wave-like vibration with an amplitude that amplifies from 0 and quickly converges to 0.
  • a wavelet mimic such as a Gabor filter or a curvelet is used. including.
  • the framelet file 106a is not limited to a frame such as a direction-selective wavelet frame, and may store a filter group such as a direction-selective filter bank or a filter having a direction.
  • each directional filter is a plurality of detailed filters having each directional property.
  • components such as subband signals are extracted by the filter.
  • the pinwheel wavelet frame has a property that the length of the filter that configures changes according to the number of pixels of the original image, whereas the pinwheel framelet in a broad sense has the property that the filter length is not related to the number of pixels. is there.
  • a pinwheel framelet is a two-dimensional framelet with orientation selectivity and is a kind of wavelet frame.
  • not only the pinwheel framelet having multi-directional orientation, but also a bi-orthogonal wavelet filter bank in which the orientation is composed of a horizontal direction, a vertical direction, and a diagonal direction may be used.
  • the image data file 106b is image data storage means for storing image data.
  • the image data stored in the image data file 106b may be image data in which a color tone, a gradation value, or the like is described in advance for each color component, and is described by the color component handled in the present embodiment.
  • the image data may not be.
  • the color space conversion unit 102f described later converts the color space into a desired color space and decomposes the color components.
  • the image data stored in the image data file 106b may be image data input via the input device 112 or image data received via the network 300 from the external system 200 or the like.
  • the image data may be color image image data or grayscale image data.
  • the original image (data) before multi-resolution decomposition by the orientation-selective wavelet frame such as pinwheel framelet is called an original image (data), and the image (data) reconstructed based on the subband signal ) Is called a reconstructed image (data).
  • an image (data) obtained by adding the processing to the subband signal in the decomposition phase of multiresolution decomposition, or an image (data) reconstructed by adding the subband signals in the synthesis phase of multiresolution decomposition This is called a processed image (data). That is, the latter processed image (data) is a form of a reconstructed image (data), but the former processed image (data) is not a reconstructed image (data).
  • the image data file 106b may store a unit impulse signal having the same image size (number of pixels) as the image data of the target original image as image data.
  • the unit impulse signal stored in the image data file 106b is similarly input as image data to the filter bank stored in the framelet file 106a, and the output unit impulse response is the image data of the target original image. Is used for high-speed calculation.
  • the image data is, for example, raster format or vector format two-dimensional image data.
  • the image may be an arbitrary image representing a design (design), a photograph, a character, or the like as an example.
  • the image is not limited to a still image but may be a moving image (video).
  • the input / output control interface unit 108 controls the input device 112 and the output device 114.
  • the output device 114 a display device such as a monitor (including a home television) or a printing device such as a printer can be used.
  • an imaging device such as a camera, an input device connected to an external storage medium, a keyboard, a mouse, a microphone, and the like can be used.
  • control unit 102 has a control program such as an OS (Operating System), a program that defines various processing procedures, and an internal memory for storing necessary data. And the control part 102 performs the information processing for performing various processes by these programs.
  • the control unit 102 includes a decomposition unit 102a, a processed image acquisition unit 102c, a color space conversion unit 102f, and a processed image output unit 102g in terms of functions.
  • the decomposition unit 102a further includes a coefficient processing unit 102b.
  • the processed image acquisition unit 102c further includes a reconstruction unit 102d.
  • the decomposing unit 102a performs multi-resolution decomposition on the image data using an orientation-selective wavelet frame such as a pinwheel framelet in a broad sense or an orientation-selective filter bank stored in the framelet file 106a. It is a decomposition means for obtaining a band signal.
  • subband signals there are two types of subband signals: a subband signal in the decomposition phase of multiresolution decomposition and a subband signal in the synthesis phase of multiresolution decomposition.
  • the subband signal in the decomposition phase may be referred to as “decomposition subband signal”
  • the subband signal in the combination phase may be referred to as “synthesis subband signal”.
  • multi-resolution decomposition includes maximum overlap multi-resolution decomposition, maximum thinning-out multi-resolution decomposition, and partial thinning-out partially overlapping multi-resolution decomposition.
  • a cyclic correlation product and a circular convolution product are used, but they may be calculated by a known high-speed calculation method using a fast Fourier transform.
  • there are levels in multi-resolution decomposition with orientation selective wavelet frames such as pinwheel framelets.
  • FIG. 3 and FIG. 4 are diagrams for showing the difference depending on the level of the pinwheel framelet, and FIG.
  • FIG 3 shows the maximum overlap of the level 1 on the pinwheel framelet filter of level 2 (high frequency side).
  • Fig. 4 shows a circular correlation product of pinwheel framelet / approximation filters.
  • Fig. 4 circulates level 1 and level 2 maximum overlap pinwheel framelet / approximation filters in the level 3 (low frequency side) maximum overlap framelet / approximation filter.
  • the decomposing unit 102a first detects the finest part (high-frequency part) by the maximum overlap multi-resolution decomposition using the pinwheel framelet of level 1, and as the level 2, 3,. Low frequency part) is detected.
  • ⁇ Multi-resolution decomposition by pinwheel framelet has a decomposition phase and a composition phase.
  • Each phase is constituted by a filter bank including an approximate filter and a detail filter.
  • the decomposing unit 102a After executing the image processing in the decomposition phase and the synthesis phase, the decomposing unit 102a finally decomposes the original image data into “the number of filters ⁇ level” image signals (that is, synthesized subband signals).
  • FIG. 5 shows an approximate part represented by a k (1) and a detailed part represented by symbols (numbers) d k (1) to d k (99) in a pinwheel framelet of degree 7 and level k.
  • the coefficient processing unit 102b of the decomposition unit 102a performs a process of attenuating or amplifying a subband signal (that is, a decomposition subband signal) in the decomposition phase of multiresolution decomposition corresponding to at least one of the plurality of filters.
  • Processing means to perform.
  • the coefficient processing unit 102b may perform linear or non-linear coefficient processing on the decomposed subband signal.
  • the coefficient processing unit 102b may perform threshold processing using a hard threshold, a soft threshold, or the like.
  • the coefficient processing unit 102b may attenuate or amplify a decomposed subband signal corresponding to at least one of a plurality of filters having a predetermined frequency characteristic and / or a predetermined orientation.
  • the predetermined frequency characteristic may be designated by a position in a predetermined filter arrangement based on an orientation at each level of the pinwheel framelet in a broad sense and / or a level in multi-resolution decomposition.
  • the decomposed subband signals are roughly classified into two types, that is, a decomposed subband signal based on the decomposition detailed coefficient and a decomposed subband signal based on the decomposition approximate coefficient, and the coefficient processing unit 102b is output from the decomposition phase.
  • Coefficient processing may be performed on the decomposition detail coefficient and / or the decomposition approximate coefficient.
  • the “decomposition detail coefficient” refers to a coefficient obtained by filtering with the decomposition detail filter in the decomposition phase of the pinwheel framelet in a broad sense
  • the “decomposition approximation coefficient” refers to a coefficient by filtering with the decomposition approximation filter.
  • those composed of approximate coefficients may be referred to as “approximate subband signals in the decomposition phase”, and others may be referred to as “detailed subband signals in the decomposition phase”.
  • the coefficient processing unit 102b suppresses a smaller absolute value to a smaller value as the energy of the decomposition detail coefficient forming the decomposition subband signal increases, and the energy of the decomposition detail coefficient.
  • the coefficient processing may be performed so that the smaller the value is, the higher the value of the absolute value becomes smaller.
  • the coefficient processing unit 102b gives a smaller value to the decomposition detailed coefficient output from the decomposition phase between the decomposition phase and the synthesis phase in the multi-resolution decomposition as the energy of the decomposition detailed coefficient increases.
  • the coefficient processing is performed so that the absolute value becomes smaller as the energy of the decomposition detail coefficient is smaller, and the smaller the absolute value is.
  • the coefficient processing unit 102b increases the variation of the decomposition detail coefficient, thereby suppressing the relatively small absolute value to a smaller value while the absolute value is relatively large. Increases more greatly.
  • the coefficient processing unit 102b suppresses a relatively large value while enhancing the relatively small value by reducing the variation of the decomposition detail coefficient. To do.
  • the image may be appropriately divided, and the processing of this embodiment may be performed on each divided image.
  • the coefficient processing unit 102b may perform normalization so that the value of the decomposition detail coefficient is easy to handle in coefficient processing such as function processing and / or energy calculation. For example, the coefficient processing unit 102b first normalizes the decomposition detail coefficient by taking an absolute value between the decomposition phase and the synthesis phase, and normalizes the decomposition detail coefficient (referred to as “normalized decomposition detail coefficient”). The square norm of (or another norm) may be used as energy. Then, the coefficient processing unit 102b performs coefficient processing on the normalized decomposition detailed coefficient according to the calculated energy, and performs the inverse operation of normalization on the normalized decomposition detailed coefficient that has been coefficient processed, It may be input data to the synthesis phase.
  • normalized decomposition detail coefficient The square norm of (or another norm) may be used as energy.
  • the coefficient processing unit 102b performs coefficient processing on the normalized decomposition detailed coefficient according to the calculated energy, and performs the inverse operation of normalization on the normalized decomposition detailed coefficient that has been
  • x ′ sgn (x) z ′
  • x is a decomposition detailed coefficient
  • z is a value after coefficient processing
  • z ′ is a value of a reverse operation result of normalization.
  • the coefficient processing unit 102b may provide a threshold value for the energy value, and may perform different coefficient processing for each energy value range, or provide a threshold value for the energy value. Instead, the coefficient processing may be performed by calculating with a function such that the variation continuously changes according to the energy value.
  • the coefficient processing unit 102b may use a function (for example, a logit function, a logistic equation, or the like) set for each energy value range.
  • the coefficient processing unit 102b is referred to as a function (“SN function”) that continuously changes to an S-shaped curve when the energy of the decomposition detail coefficient is large and to an N-shaped curve when the energy is small.
  • z y ⁇ / ⁇ y ⁇ + (1-y) ⁇ ⁇ ( Equation 1) (Where y is a normalized decomposition detail coefficient (0 ⁇ y ⁇ 1), ⁇ is an index value based on the energy of the normalized decomposition detail coefficient (0 ⁇ ), and z is a functionalized normalization It is a decomposition detail coefficient.)
  • the function may be discretized and used as a table.
  • the coefficient processing unit 102b may perform coefficient processing for each color component, such as L * , a * , and b * in the CIELAB color space. However, the coefficient processing unit 102b processes each color component value independently.
  • the present invention is not limited, and when coefficient processing of one color component is performed, the coefficient processing may be corrected based on the values of other color components. For example, in human vision, there is a neuroscientific experimental result (Non-Patent Document 5) that there are color / luminance cells in the cerebral cortex.
  • coefficient processing unit 102b Based on this experimental result, mathematics inferring the role of color / luminance cells coefficient processing unit 102b by devising a model, the a * and / or b * color component of the image data, a * and / or b * energy determined from degradation detail coefficients in exploded detail coefficients and L * of The coefficient processing may be performed such that the larger the value is, the smaller the absolute value is suppressed, and the smaller the above-described energy is, the larger the value is smaller. Also, separate processing can be performed depending on the difference in the sign of the decomposition detail coefficient.
  • the coefficient processing unit 102b performs coefficient processing that corrects the color component of a * and / or b * of the image data so that the larger the luminance difference due to L * is, the smaller the absolute value is. Also good.
  • the coefficient processing unit 102b corresponds to a filter having a predetermined frequency characteristic (specified specific frequency characteristic) and / or a predetermined orientation (specified specific orientation).
  • Image processing may be performed by weighting that attenuates or amplifies the decomposed subband signal.
  • the coefficient processing unit 102b may weight and add the decomposed subband signals acquired by the decomposing unit 102a, or may weight the frequency response function of the framelet filter stored in the function format, and then
  • Each filter coefficient may be derived, or each weighted frequency response function is multiplied and added by a predetermined method, and the filter coefficient is obtained and stored in the framelet file 106a, so that the reconstructed image data can be obtained at high speed. May be obtained.
  • the filters in the decomposition phase and / or the synthesis phase may be weighted.
  • the coefficient processing unit 102b designates a predetermined frequency characteristic by a position in a predetermined filter arrangement based on the orientation at each level of the broad-sense pinwheel framelet and / or a level in multi-resolution decomposition.
  • the weighting may be performed so that a predetermined frequency component is obtained.
  • the coefficient processing unit 102b may perform image processing such as removing a low-frequency component by performing weighting that relatively attenuates the decomposed subband signal corresponding to the approximate filter at a predetermined level in multiresolution decomposition. Good.
  • the decomposition unit 102a performs multi-resolution decomposition up to a predetermined level, and the coefficient processing unit 102b relatively attenuates the subband signal of the approximate portion obtained by the maximum level approximate filter. Weighting may be performed. Not limited to this, when the decomposing unit 102a performs multi-resolution decomposition to a level larger than a predetermined level, the coefficient processing unit 102b relatively attenuates the detailed portion having a level larger than the predetermined level and the approximate portion having the maximum level. Weighting may be performed.
  • the coefficient processing unit 102b relatively amplifies the decomposed subband signal corresponding to the detailed filter far from the approximate filter in the filter arrangement, and closes the approximate filter and the approximate filter in the filter arrangement.
  • Image processing may be performed so as to obtain a high-frequency component compared to a low-frequency component by performing weighting that relatively attenuates the decomposed subband signal corresponding to the detail filter. More specifically, the decomposition subband signal corresponding to the detailed filter having the frequency characteristic on the low frequency side located near the approximation filter and the decomposition detail coefficient of the decomposition subband signal corresponding to the approximation filter of the pinwheel framelet described above.
  • the coefficient processing unit 102b may perform image processing so that a low frequency component can be obtained as compared with a high frequency component. That is, the coefficient processing unit 102b relatively attenuates the decomposed subband signal corresponding to the detail filter far from the approximate filter in the filter arrangement among the plurality of detail filters, and details closer to the approximate filter in the filter arrangement.
  • Image processing for emphasizing the low frequency component with respect to the high frequency component may be performed by performing weighting that relatively amplifies the decomposed subband signal corresponding to the filter.
  • the weighting factor for the decomposed subband signal corresponding to the detail filter having the frequency characteristics on the low frequency side located near the approximation filter of the pinwheel framelet described above is set to a value close to 1 and is far from the approximation filter.
  • the weighting factor for the decomposed subband signal corresponding to the detailed filter having the frequency characteristic on the high frequency side at the position may be set to a value close to zero.
  • the coefficient processing unit 102b relatively attenuates the decomposed subband signal corresponding to a filter having a high frequency characteristic and a filter having a low frequency characteristic among a plurality of filters, so that a relatively high frequency, Performs image processing that emphasizes the medium frequency component compared to the high frequency component and the low frequency component by performing weighting that relatively amplifies the decomposed subband signal corresponding to the filter having the medium frequency characteristic such as the low frequency. May be.
  • the weighting coefficient for the decomposed subband signal corresponding to the filter having the high frequency characteristics and the filter having the low frequency characteristics of the pinwheel framelet described above is set to a value close to 0, and the frequency characteristics of the medium frequency
  • a weighting factor for a subband signal corresponding to a detail filter having a may be set to a value close to 1.
  • the coefficient processing unit 102b performs image processing so that a predetermined directional component is increased or decreased by performing weighting for attenuating or amplifying the decomposed subband signal corresponding to the detailed filter having the predetermined directional property. Also good. For example, by setting the weighting coefficient for the decomposed subband signal corresponding to the detailed filter having the predetermined orientation of the pinwheel framelet described above to a value close to 1 and setting the other values close to 0, the original image A component having a predetermined orientation can be emphasized or extracted.
  • the processed image acquisition unit 102c is a processed image acquisition unit that acquires processed image data.
  • the processed image acquisition unit 102c may acquire coefficient output processed image data obtained by the decomposition subband signal in the decomposition phase of multi-resolution decomposition acquired by the decomposition unit 102a.
  • the decomposed subband signals after the coefficient processing may be added with appropriate weights.
  • the processed image acquisition unit 102c may acquire reconstructed image data that is reconstructed by adding the combined subband signals in the synthesis phase of multiresolution decomposition by the processing of the reconstructing unit 102d described later. .
  • the reconstruction unit 102d of the processed image acquisition unit 102c is a reconstruction unit that reconstructs an image by adding the subband signals of each color component acquired by the decomposition unit 102a and acquires reconstructed image data. is there.
  • the reconstruction unit 102d reconstructs an image by adding together the synthesized subband signal of the approximate portion corresponding to the above-described maximum level approximate filter and the synthesized subband signals of the detailed portion corresponding to all the detailed filters. Configure to obtain reconstructed image data.
  • the reconstructing unit 102d reproduces the same image as the original image unless the coefficient processing unit 102b performs processing.
  • the reconstructing unit 102d reconstructed image data obtained by performing image processing on the original image by adding the combined subband signals after the coefficient processing is executed by the processing by the coefficient processing unit 102b. To get.
  • an approximate part that has undergone various processes by the coefficient processing unit 102b in the decomposition unit 102a is a 5 ′ (1), and a detailed part is d 5 ′ (1),..., D 1 ′ (99).
  • the coefficient processing unit 102b sets a numerical value other than 1 as a weighting coefficient for a subband signal corresponding to a filter having a predetermined frequency characteristic and / or a predetermined orientation.
  • a reconstructed image that is, a reconstructed image) that is not identical to the image is generated.
  • Detailed filters can be classified into five types based on their orientation. That is, when an axis orthogonal to a certain direction is called an “orthogonal axis”, (1) a detailed filter having an orientation in the same direction as the orthogonal axis, (2) a detailed filter having an orientation in a direction perpendicular to the orthogonal axis, (3) A detail filter having an orientation of a positive angle with respect to the orthogonal axis, (4) a detail filter having an orientation of a negative angle with respect to the orthogonal axis, and (5) a detail filter having no orientation separation. Can be classified.
  • the angle ⁇ with respect to the orthogonal axis is represented by ⁇ 90 ° ⁇ ⁇ + 90 °, with the counterclockwise direction being positive.
  • (5) Detailed filter without azimuth separation includes both positive and negative azimuths having the same absolute value with respect to the orthogonal axis, (3) or ( Not classified into 4).
  • the subband signals corresponding to “(1) a detailed filter having an orientation in the same direction as the orthogonal axis” are d k (15), d k. (23), d k (31), d k (39), d k (47), d k (55), d k (63).
  • subband signals corresponding to “(2) Detailed filter having orientation in the direction perpendicular to the orthogonal axis” are d k (1) to d k (7).
  • subband signals corresponding to “(3) Detailed filter having an orientation with a positive angle with respect to the orthogonal axis” are d k (64) to d k (99).
  • the subband signals corresponding to “(4) Detailed filter having an orientation with a negative angle with respect to the orthogonal axis” are d k (9) to d k (14) and d k (17) to d k ( 22), d k (25) to d k (30), d k (33) to d k (38), d k (41) to d k (46), d k (49) to d k (54) It becomes.
  • subband signals corresponding to “(5) Detail filter not subjected to orientation separation” are d k (8), d k (16), d k (24), d k (32), d k (40 ), D k (48), d k (56) to d k (62).
  • a detailed filter can be characterized by its frequency characteristics. That is, the detailed filter spreading concentrically from the approximate portion centering on the pinwheel framelet approximate filter has a feature of allowing a high-frequency component to pass as it moves away from the center and a low-frequency component to pass as it approaches the center.
  • the detail filter on the side farther from the approximate filter in the filter arrangement of the pinwheel framelet acquires the subband signal of the high frequency component
  • the detail filter on the side closer to the approximate filter in the filter arrangement has the subband signal of the low frequency component.
  • the subband signals corresponding to the detailed filter having the frequency characteristic on the lowest frequency side are d k (7), d k (14), d k (15), and d k (64). .
  • the subband signals corresponding to the detailed filter having the frequency characteristic on the low frequency side are d k (6), d k (13), d k (21) to d k (23), d k (65), d k (70) and d k (71).
  • the subband signals corresponding to the detailed filter having the frequency characteristic on the low frequency side are d k (5), d k (12), d k (20), d k (28) to d k (31).
  • the subband signals corresponding to the detailed filter having the frequency characteristic on the lower frequency side are d k (4), d k (11), d k (19), d k (27). , D k (35) to d k (39), d k (67), d k (73), d k (79), d k (82) to d k (85).
  • the subband signals corresponding to the detailed filter having the frequency characteristic on the next low frequency side are d k (3), d k (10), d k (18), d k ( 26), d k (34), d k (42) to d k (47), d k (68), d k (74), d k (80), d k (86), d k (88) ⁇ d k (92).
  • the subband signals corresponding to the detailed filter having the frequency characteristic on the next low frequency side are d k (2), d k (9), d k (17), d k ( 25), d k (33), d k (41), d k (49) to d k (55), d k (69), d k (75), d k (81), d k (87) , D k (93), d k (94) to d k (99).
  • the subband signals corresponding to the detailed filter having the frequency characteristic on the next low frequency side are d k (1), d k (8), d k (16), d k (24). ), D k (32), d k (40), d k (48), d k (56) to d k (63).
  • the azimuth-separated detail filter is even, almost symmetrical with respect to the azimuthal azimuthal axis of the filter, depending on its shape, almost opposite to the azimuthal axis. It can be divided into odd forms.
  • the approximate filter is an even type that is substantially symmetric with respect to the vertical axis and the horizontal axis.
  • the color space conversion unit 102f is a color space conversion unit that performs color space conversion, color component decomposition / combination, and the like.
  • the color space conversion unit 102f performs color processing by the separation unit 102a.
  • a target color space for example, CIELAB color space.
  • the image is decomposed into three color components L * (luminance), a * (red-green), and b * (yellow-blue).
  • the color space conversion unit 102f may convert to a color space other than the CIELAB color space.
  • the advantage of using the CIELAB color space is that it is close to visual information conversion from the human retina.
  • the color space conversion unit 102f does not have to perform processing related to the color space. If necessary, the color space conversion unit 102f performs color component synthesis, color space conversion, luminance / color scale conversion, and the like in the image data reconstruction processing by the reconstruction unit 102d.
  • the processed image output unit 102g is a processed image output unit that outputs the processed image data (coefficient output processed image data or reconstructed processed image data) acquired by the processed image acquisition unit 102c to the output device 114.
  • the processed image output unit 102g may display and output the processed image on a display device such as a monitor, or may print out the processed image on a printing device such as a printer to produce a print medium.
  • the recording medium may be manufactured by outputting the processed image data to the apparatus and storing the processed image data in the recording medium.
  • the medium to be printed may be, for example, paper, plastic, glass, metal, etc., for example, in the form of a leaflet, fan, card, picture book, New Year's card, Christmas card, business card, can, etc.
  • the processed image output unit 102g may make a design change (for example, change to a postcard size or the like) according to the use according to the output form.
  • the processed image output unit 102g may transmit the processed image data to the external system 200 via the network 300.
  • the image processing apparatus 100 may be communicably connected to the network 300 via a communication device such as a router and a wired or wireless communication line such as a dedicated line.
  • a communication control interface unit 104 performs communication control between the image processing apparatus 100 and a network 300 (or a communication apparatus such as a router). That is, the communication control interface unit 104 is an interface connected to a communication device (not shown) such as a router connected to a communication line or the like, and has a function of communicating data with other terminals via the communication line.
  • a network 300 has a function of mutually connecting an image processing apparatus 100 and an external system 200, and is, for example, the Internet.
  • an external system 200 is connected to the image processing apparatus 100 via a network 300, and provides an external database related to image data and pinwheel framelets, and a program for causing a computer to function as an image processing apparatus.
  • a function may be provided.
  • the external system 200 may be configured as a WEB server, an ASP server, or the like.
  • the hardware configuration of the external system 200 may be configured by an information processing apparatus such as a commercially available workstation or a personal computer and its attached devices.
  • Each function of the external system 200 is realized by a CPU, a disk device, a memory device, an input device, an output device, a communication control device, and the like in the hardware configuration of the external system 200 and a program for controlling them.
  • FIG. 6 is a flowchart illustrating an example of basic processing of the image processing apparatus 100 according to the present embodiment.
  • the decomposing unit 102a performs maximum overlapping multi-resolution decomposition on the image data stored in the image data file 106b using the broad-sense pinwheel framelet or pinwheel wavelet frame stored in the framelet file 106a, and the subband signal. Is acquired (step S-1).
  • FIG. 7 and FIG. 8 are diagrams showing an example of a filter bank in a decomposition phase and a synthesis phase (without processing / with) of multi-resolution decomposition using pinwheel framelets. The numbers in the figure represent levels. PW is a detail filter, and A is an approximate filter.
  • the decomposition unit 102a uses a level 1 pinwheel framelet and uses an original image as an input signal as an input signal, and a decomposition subband signal (decomposition detail coefficient d 1). And a signal passing through one approximate filter A1.
  • the decomposing unit 102a uses the level 2 pinwheel framelet for the signal that has passed through the level 1 approximate filter A1, and the decomposition subband signal (decomposition detail coefficient d 2 ) that passes through the level 2 detail filter PW2. To a signal that passes through the approximate filter A2 of level 2.
  • the coefficient processing unit 102b of the decomposition unit 102a is linear or nonlinear with respect to the decomposition subband signal corresponding to at least one of the plurality of filters in the filter bank.
  • Various processes for relatively attenuating or amplifying the decomposed subband signal such as coefficient processing are performed (step S-2).
  • the coefficient processing unit 102b may perform threshold processing using a hard threshold, a soft threshold, or the like. Further, the coefficient processing unit 102b may attenuate or amplify a decomposed subband signal corresponding to at least one of a plurality of filters having a predetermined frequency characteristic and / or a predetermined orientation.
  • the coefficient processing unit 102b may use a predetermined decomposition subband specified by a position in a predetermined filter arrangement based on an orientation at each level of the pinwheel framelet or pinwheel wavelet frame in a broad sense and / or a level in multiresolution decomposition. Image processing for increasing / decreasing a predetermined frequency component by increasing / decreasing the signal may be performed.
  • the coefficient processing unit 102b may perform coefficient processing on the decomposition detail coefficient and / or the decomposition approximation coefficient output from the decomposition phase, which forms the decomposition subband signal. That is, the coefficient processing unit 102b may increase or decrease the approximate subband signal in the decomposition phase and / or increase or decrease the detailed subband signal in the decomposition phase.
  • the processed image acquisition unit 102c acquires processed image data (coefficient output processed image data or reconstructed processed image data) that has been subjected to various processes in step S-2 (step S-3).
  • the processed image acquisition unit 102c performs decomposition on which various processes have been performed on the decomposition detailed coefficients d 1 to d 5 and the decomposition approximate coefficient a 5 obtained in the decomposition phase by the processing of the decomposition unit 102a.
  • the processed image data may be acquired as the coefficient output processed image data without inputting the detailed coefficients d 1 ′ to d 5 ′ and the decomposition approximation coefficient a 5 ′ in the synthesis phase, and weighted as necessary and added together. May be acquired as processed image data.
  • the processed image acquisition unit 102c performs various processes on the decomposition detail coefficients d 1 to d 5 and the decomposition approximation coefficient a 5 obtained in the decomposition phase by the process of the decomposition unit 102a.
  • the decomposed detailed coefficients d 1 ′ to d 5 ′ and the decomposed approximate coefficient a 5 ′ may be input to the synthesis phase, and the processed image data reconstructed by the reconstruction unit 102d may be acquired as reconstructed image data.
  • FIG. 9 is a flowchart illustrating an example of the color image sharpening process of the image processing apparatus 100 according to the present embodiment.
  • the decomposing unit 102a performs maximum overlap multi-resolution decomposition on each color component of the image data stored in the image data file 106b using a pinwheel framelet stored in the framelet file 106a, and acquires a subband signal.
  • the decomposing unit 102a is not limited to the pinwheel framelet, and may use a bi-orthogonal wavelet filter bank whose azimuth includes a horizontal direction, a vertical direction, and a diagonal direction.
  • the color space conversion unit 102f performs conversion processing of a desired color space for the color image. Alternatively, a color component separation process may be performed.
  • the color space conversion unit 102f may convert a color image into a CIELAB color space. As a result, the image is decomposed into three color components L * (luminance), a * (red-green), and b * (yellow-blue).
  • FIG. 10 is a diagram illustrating an example of a filter bank in the decomposition phase and the synthesis phase of the maximum overlap multi-resolution decomposition. The numbers in the figure represent levels. PW is a detailed filter. In the case of order 7, there are 99 sheets at each level. A is an approximate filter. Similarly, when the degree is 7, there is one filter at each level.
  • the maximum overlap method is used in the example of FIG. 10, the present embodiment is not limited to this, and the maximum thinning method or another thinning method may be used.
  • the decomposing unit 102a uses a level 1 pinwheel framelet and uses the original image as an input signal to pass through 99 detailed filters and 1 approximation filter. decomposing the signal (signal expressed in an exploded detail coefficients d 1).
  • the decomposing unit 102a uses the level 2 pinwheel framelet for the signal that has passed through the level 1 approximate filter, and the signal that passes through 99 (level 2) detailed filters (decomposition detail coefficient d 2 ). And a signal passing through one (level 2) approximation filter.
  • the decomposition unit 102a repeats this process up to the maximum level k (level 5 in the case of illustration), and obtains the decomposition detail coefficients d 1 to d k and the approximate coefficient a k .
  • the decomposition unit 102a applies the signal composed of the decomposition detailed coefficients d 1 to d 5 obtained in the decomposition phase as it is to the filter bank in the synthesis phase.
  • the coefficient processing in the form is performed to obtain the decomposition detailed coefficients d 1 ′ to d 5 ′ for the synthesis phase input.
  • the coefficient processing unit 102b of the decomposition unit 102a performs the decomposition detailed coefficient for the decomposition detailed coefficient output from the decomposition phase between the decomposition phase and the synthesis phase in multi-resolution decomposition.
  • the coefficient processing is performed so that the smaller the value of the absolute value is, the smaller the value of the absolute value is suppressed, and the smaller the energy of the decomposition detailed coefficient is, the smaller the value of the absolute value is increased (step SA-2).
  • the coefficient processing unit 102b the a * and / or b * color component of the image data, the larger the energy determined from degradation detail coefficients in a * and / or b * decomposition detail coefficients and L *
  • the coefficient processing may be performed so that the smaller the absolute value is, the smaller the value is, and the smaller the above-described energy is, the smaller the absolute value is.
  • the coefficient processing unit 102b may perform normalization so that the value of the decomposition detail coefficient is easy to handle in coefficient processing such as function processing and / or energy calculation.
  • FIG. 11 is a flowchart illustrating an example of the coefficient processing of the decomposition detail coefficient with normalization.
  • the coefficient processing unit 102b normalizes the absolute value of the decomposition detail coefficient x output from the decomposition phase (step SA-21). For example, the coefficient processing unit 102b normalizes the decomposition detail coefficient x by an appropriate normalization method so that all the decomposition detail coefficients x fall within a numerical value between 0 and 1.
  • the coefficient processing unit 102b calculates the energy of the decomposition detail coefficient based on the normalized decomposition detail coefficient y (step SA-22). For example, the coefficient processing unit 102b may use the square norm
  • the coefficient processing unit 102b performs the coefficient processing of the normalized decomposition detailed coefficient y nonlinearly according to the energy calculated in Step SA-22 to obtain the coefficient processing result z (Step SA-23).
  • the coefficient processing unit 102b may provide a threshold value for the energy value, and may perform different coefficient processing for each energy value range, or provide a threshold value for the energy value.
  • the coefficient processing may be performed by calculating with a function such that the variation continuously changes according to the energy value.
  • the coefficient processing unit 102b may perform coefficient processing using an SN function that continuously changes to an S-shaped curve when the energy of the detailed decomposition coefficient is large and to an N-shaped curve when the energy is small.
  • the method for determining the correspondence between energy and parameter ⁇ may be set to reflect individual differences without being fixed to one, and for each level, for each azimuth, for each color component, and for each sign of the decomposition detail coefficient May be set.
  • Equation 1 y ⁇ / ⁇ y ⁇ + (1-y) ⁇ ⁇ ( Equation 1) (Where y is a normalized decomposition detail coefficient (0 ⁇ y ⁇ 1), ⁇ is an index value based on the energy of the normalized decomposition detail coefficient (0 ⁇ ), and z is a functionalized normalization Detail factor of decomposition.)
  • the coefficient processing unit 102b obtains input data x ′ to the synthesis phase by performing a normalization inverse operation on the normalized decomposition detailed coefficient z subjected to coefficient processing in Step SA-23 (Step S23). SA-24).
  • the sign is returned to the original in the case of the inverse operation using the following formula.
  • x ′ sgn (x) z ′ (Here, x is a decomposition detailed coefficient, z is a value after coefficient processing, and z ′ is a value of a reverse operation result of normalization.
  • the decomposing unit 102a performs the synthesis phase process using the decomposable detailed coefficient processed in step SA-2 as input data (step SA-3). That is, the decomposing unit 102a finally combines 99 ⁇ 5 synthesized subband signals (detailed parts) and one synthesized signal by performing a coefficient processing on the signal output in the decomposing phase. A subband signal (approximate portion) is acquired (see FIG. 10).
  • the reconstructing unit 102d reconstructs an image by adding the combined subband signals of the respective color components acquired by the decomposing unit 102a (step SA-4).
  • a specified value for example, a range of 0 to 255 gradations
  • the reconstruction unit 102d scales the whole, for example, to specify a specified range (for example, The numerical value may fall within the range of 0 and 255 (normalization method), the numerical value below the minimum specified value (for example, 0) is set as the minimum specified value, and the numerical value above the maximum specified value (for example, 255) is set to 255 It may be replaced (method using a threshold).
  • the color space conversion unit 102f may perform processing such as color space conversion and color component synthesis as necessary (for example, output in RGB).
  • FIG. 12 is a diagram showing a comparison between the original image, the sharpened image according to the present embodiment, and the sharpened image obtained by the conventional method.
  • FIG. 15 are graphs showing the values of L * , a * and b * of the 400th pixel column from the left in each photograph (512 ⁇ 512 pixels) in FIG. It is.
  • the horizontal axis represents the number of rows from the top in the 400th pixel column from the left, and the vertical axis represents the value of each color component (L * , a * , or b * ).
  • Blue represents a graph representing the value of each point of the original image
  • green represents a graph representing the value of each point of the processed image according to the present embodiment
  • red represents a commercially available program product The graph showing the value of each point of the processing image by is shown.
  • each point of the original image is uniformly obtained in both a distant view (near 0 to 300 on the horizontal axis) and a foreground (near 400 to 500 on the horizontal axis). Contrast control is performed so as to increase the fluctuation of the graph representing the value. Therefore, particularly in the foreground (around 400 to 500 on the horizontal axis), there is a drastic change in each color component.
  • sharp changes are made in a distant view (around 0 to 300 on the horizontal axis) without increasing the change in a close view with a strong change (around 400 to 500 on the horizontal axis). Has been given. Furthermore, not only the high frequency part but also the low frequency part is sharpened. As a result, unnatural image enhancement is reduced.
  • N a function that transforms continuously into a function with a graph in the shape of a letter.
  • a function having such characteristics is called a perceptual function.
  • the perceptual function the following SN function is given.
  • X is an original image
  • X (X1, X2, X3) represents a display in a color space.
  • X1 L *
  • X2 is a *
  • X3 is data regarding b * .
  • the decomposed data of X ⁇ can be expressed by the following equation (where l, p, j, and k are integers).
  • (x ⁇ [l, 1; j, k]) 0 ⁇ j, k ⁇ 511 is a decomposition approximation coefficient of the pinwheel framelet
  • (x ⁇ [l, p; j, k]) 0 ⁇ j, k ⁇ 511 (2 ⁇ p ⁇ 52) represents the decomposition detail coefficient of the pinwheel framelet.
  • 2 ⁇ p ⁇ 52 represents the decomposition detail coefficient of the pinwheel framelet.
  • b1, b2, b3, and b4 be non-negative real numbers that are appropriately determined. This may be changed for each ⁇ and each level l. Moreover, you may change with the direction p among the decomposition detailed coefficients of a pinwheel framelet. Moreover, you may change for every code
  • x ⁇ [l, p; j , k] is subjected to proper normalization the absolute value of those so as to take a value between 0 and 1 y ⁇ , 1 [l, p; j, k] far. Moreover, it is set as follows. However, the SN function s may be replaced with an appropriate perceptual function.
  • X ′ is a sharpened image of X.
  • b1, b2, b3, and b4 are all the same for the azimuth component for each level for L * , and a * and b * are horizontal / vertical, paired for each level. It is set for each corner and others.
  • the processing method may be changed depending on the sign of x ⁇ [l, p; j, k].
  • the SN function coefficient processing described above is not limited to use for sharpening a color image, but may be used for image processing such as sharpening of a gray scale image or the like.
  • FIG. 16 is a diagram illustrating an example of a color contrast illusion image.
  • Original image A original image A
  • original image B original image B
  • the brightness, brightness, and color of the inner square part are exactly the same.
  • the arrangement of surrounding colors gives the illusion that it looks different from human visual information processing. Therefore, image processing is performed on the original image A and the original image B by the image processing apparatus 100 according to the present embodiment.
  • FIG. 17 shows an inner square portion of the original image (common to the original images A and B), an inner square portion of the processed image A that is the image processing result of the original image A, and a processed image that is the image processing result of the original image B. It is a figure which shows the inner square part of B.
  • the processed image corresponding to the original image A is the same as the human appearance (illusion) with respect to the original images A and B.
  • the inner square part of A is expressed more vividly than it actually is, and the inner square part of the processed image B corresponding to the original image B is expressed more dull than it actually is. Therefore, it can be said that the image processing by the image processing apparatus 100 of the present embodiment is close to human visual information processing.
  • FIG. 18 is a diagram showing another example of a color contrast illusion image.
  • Original image C original image
  • original image D original image
  • the luminance, brightness, and color of the inner square portion are exactly the same as described above.
  • FIG. 19 shows an inner square portion of the original image (common to the original images C and D), an inner square portion of the processed image C that is the image processing result of the original image C, and a processed image that is the image processing result of the original image D. It is a figure which shows the inner square part of D.
  • the processed image corresponding to the original image C is the same as the human appearance (illusion) with respect to the original images C and D.
  • the inner square portion of C is expressed darker than the actual one, and the inner square portion of the processed image D corresponding to the original image D is expressed brighter than the actual one.
  • FIG. 20 is a diagram showing another example of a color contrast illusion image.
  • Original image E original image
  • original image F original image F
  • the luminance, brightness, and color of the inner square portion are exactly the same as described above.
  • FIG. 21 illustrates an inner square portion of the original image (common to the original images E and F), an inner square portion of the processed image E that is the image processing result of the original image E, and a processed image that is the image processing result of the original image F. It is a figure which shows the inner side square part of F.
  • FIG. 21 illustrates an inner square portion of the original image (common to the original images E and F), an inner square portion of the processed image E that is the image processing result of the original image E, and a processed image that is the image processing result of the original image F. It is a figure which shows the inner side square part of F.
  • the processed image corresponding to the original image E is the same as the human appearance (illusion) with respect to the original images E and F.
  • the inner square portion of E is expressed darker than the actual one, and the inner square portion of the processed image F corresponding to the original image F is expressed brighter than the actual one.
  • This example is an example in which the effect of performing the treatment including the value of L * in the treatment of a * and b * appears remarkably.
  • the image processing by the image processing apparatus 100 of the present embodiment is very close to human visual information processing. Therefore, by performing image processing according to this embodiment using a mathematical model that is close to human visual information processing, information processing close to human vision is applied to the original image, and only the portion that humans want to see is sharpened A natural image can be provided. Depending on the purpose of use of the image processing apparatus 100, it is possible to perform setting so as to perform image processing in which part or all of the human visual function is enhanced or suppressed.
  • Noise removal In the present embodiment, an example in which noise removal is performed by relatively reducing at least one decomposition detail coefficient by the coefficient processing unit 102b will be described. In the following example, a grayscale image is used, but a color image can be applied in the same manner.
  • the original image is an original image without noise
  • the noise image is an image in which noise is added to the original image.
  • a noise image was created by adding Gaussian white noise to the original image.
  • the processed image refers to an image after noise removal reconstructed by the processed image acquisition unit 102c after the noise removal processing is performed by the coefficient processing unit 102b.
  • the evaluation value used in this embodiment is expressed by the following expression. The smaller the evaluation value, the closer the processed image is to the original image, and the processed image is not deteriorated.
  • a threshold In noise removal, a method is known in which a threshold (threshold value) is set and a value smaller than the threshold or a value equal to or lower than the threshold is set to zero. Therefore, a threshold (threshold value) is set in order to remove noise by the coefficient processing unit 102b. Since there are various known methods for determining the threshold, a known method other than the method exemplified below may be used. For example, hard threshold and soft threshold are well known as threshold processing, and hard threshold is used in the following, but soft threshold and other threshold processing may be used.
  • FIG. 22 is a graph for explaining the hard threshold used in this embodiment.
  • the horizontal axis represents the original coefficient value
  • the vertical axis represents the value after coefficient processing. That is, if the coefficient processing unit 102b applies a linear function having a slope of 1 to the coefficients of the decomposed subband signal, the original coefficient value does not change at all, and the reconstructed image obtained by the reconstructing unit 102d is the original image. It becomes the same as the image.
  • FIG. 23 is an original image used in the present embodiment
  • FIG. 24 is a diagram illustrating a noise image obtained by adding Gaussian white noise to the original image.
  • the original image an image having 256 gradations of 0 to 255 and a size of 512 ⁇ 512 was used.
  • a wavelet noise removal method was used as an example of the conventional method.
  • level 2 maximum overlap multiresolution decomposition using shimlets 4 is performed on noise images.
  • shimlets you may refer to MATLAB's Wavelet Toolbox and the explanations contained therein as references.
  • threshold processing is performed on the threshold 48 (value determined by the above-described method of continuous change) for all decomposition detail coefficients (horizontal / vertical / diagonal decomposition detail coefficients at each level), and thereafter Through the synthesis phase, a processed image was obtained. Note that a value smaller than 0 of the processed image is 0, and a value larger than 255 is 255.
  • FIG. 25 is a processed image by shimlet 4 of the noise removal method using the conventional wavelet
  • FIG. 26 is an enlarged view of a part thereof.
  • the evaluation value of the image processing result by the shimlet 4 of the noise removal method using the conventional wavelet was 5.0449.
  • the image processing apparatus 100 performs level 1 maximum overlap multiresolution decomposition on a noise image using a fifth-order pinwheel framelet.
  • the threshold by the coefficient processing unit 102b was set to 16 (value determined by the above-described method of continuously changing), and a processed image was obtained by the same method as in the case of the wavelet.
  • FIG. 27 is a processed image obtained using a fifth-order pinwheel framelet according to the present embodiment
  • FIG. 28 is a partially enlarged view thereof.
  • the evaluation value in this case is 4.7736, which is a better result than the conventional wavelet method. Further, even when the conventional processed images (FIGS. 25 and 26) and the processed images of the present embodiment (FIGS. 27 and 28) are compared with the naked eye, it can be seen that noise removal is effectively performed.
  • the pinwheel framelet has an order, so that more effective noise removal can be performed by selecting a more appropriate order.
  • pinwheel framelets have a variety of orientation selectivity, so there are many filters. Therefore, it can be expected that the noise removal effect is enhanced by changing the threshold used for the decomposition detail coefficient constituting each detailed subband signal in the decomposition phase.
  • level 1 maximum overlap multi-resolution decomposition was performed on noise images with seventh-order pinwheel framelets.
  • the threshold by the coefficient processing unit 102b was changed for each detailed subband signal in the corresponding decomposition phase. Specifically, the threshold value is obtained by multiplying the maximum value that can be taken by the detailed coefficient constituting each subband signal in the decomposition phase by 0.075 (a value determined by the above-described method of continuously changing). In other words, the value whose absolute value falls from 0 to 0.075 times the maximum value is defined as 0. Otherwise, a processed image was obtained in the same manner as in the previous example. FIG.
  • FIG. 29 is a processed image obtained when the threshold is changed for each filter using the seventh-order pinwheel framelet according to the present embodiment
  • FIG. 30 is an enlarged view of a part thereof.
  • the evaluation value in this case is 4.3718, and it was confirmed that the noise removal effect is improved as compared with the above-described noise removal example 1.
  • Example 3 of noise removal by pinwheel framelet The pinwheel framelet has a high frequency domain separation function, so it is possible to further eliminate noise. Therefore, as noise removal example 3 with pinwheel framelets, level 2 maximum overlap multi-resolution decomposition was performed on noise images with a 7th-order pinwheel framelet. Then, threshold processing was performed on all the level 1 detail decomposition coefficients and the level 2 detail decomposition coefficients shown in FIG. 31 in the same manner as in Example 2 to obtain a processed image. However, the threshold value is obtained by multiplying the maximum value that can be taken by the decomposition detail coefficient by 0.073 (the value determined by the above-described method of continuously changing). FIG.
  • FIG. 31 is a diagram showing the disassembly detail coefficients for performing threshold processing at level 2 by hatching.
  • the arrangement of the table corresponds to the filter arrangement of the 7th-order pinwheel framelet (refer to FIGS. 3 to 5 for the 7th-order pinwheel framelet).
  • g represents an approximate subband signal in the decomposition phase
  • h represents a detailed subband signal in the decomposition phase.
  • FIG. 32 is a processed image obtained by performing threshold processing up to a high frequency portion of level 2 using a seventh-order pinwheel framelet according to the present embodiment
  • FIG. 33 is an enlarged view of a part thereof.
  • the evaluation value in this case was 4.3647.
  • the noise removal example 3 by performing threshold processing on the detailed subband signal in the decomposition phase corresponding to the high frequency of level 2, a better result than the above-described noise removal examples 1 and 2 was obtained.
  • the noise removal method using wavelets it was only possible to select the level of threshold processing to be performed, but the pinwheel framelet has a high frequency domain separation function. It was confirmed that noise removal can be performed effectively.
  • FIG. 34 is a diagram showing an original image used for edge detection in this embodiment.
  • the original image has 256 gradations of 0 to 255 and a size of 1536 ⁇ 1536.
  • the original image used is grayscale, but if the image is color, it may be converted to grayscale by a known method.
  • level 2 maximum overlap multiresolution decomposition was performed with a 7th-order pinwheel framelet.
  • the coefficient processing unit 102b weights each decomposed subband signal with the numerical value shown in FIG. 35 at level 1 and with the numerical value shown in FIG. 36 at level 2.
  • the arrangement of the table corresponds to the filter arrangement of the 7th-order pinwheel framelet (refer to FIGS. 3 to 5 for the 7th-order pinwheel framelet).
  • the numerical values in the figure are weighting values for the coefficients of the subband signal.
  • the extracted decomposed subband signal includes a value that is not necessary for edge detection or has a small absolute value that hinders edge detection. Therefore, threshold processing is performed to remove the value.
  • a known appropriate method may be used as a method for obtaining the threshold and a threshold processing method.
  • a threshold value is obtained by setting a threshold value obtained by multiplying the maximum value that can be taken by each decomposed subband signal by 0.005 as a threshold.
  • a threshold can be determined for each decomposed subband signal.
  • a processed image having undergone the synthesis phase was obtained by processing of the processed image acquisition unit 102c.
  • the processed image for edge detection is not suitable for display as it is, and is displayed by the processed image output unit 102g by the following two methods. It should be noted that other known methods may be used for displaying the processed image for edge detection.
  • multivalued images may be easier to recognize edges than binarized images. Therefore, display by censoring is performed. Specifically, a value smaller than m1 of the processed image is m1, and a value larger than m2 is m2.
  • FIG. 37 is a diagram illustrating an image obtained by censoring the processed image obtained in the edge detection example 1.
  • ⁇ Display by binarization> In the display by binarization, a binary image is obtained by setting a value smaller than t to 0 and a value greater than t to 1.
  • edge detection example 2 was performed as an example of edge detection using the orientation of the pinwheel framelet.
  • the power transmission line can be detected in the original image by the processing of the edge detection example 1 described above.
  • processing specialized for detection of this portion is performed. That is, in edge detection example 2, the maximum overlap multi-resolution decomposition at level 2 is performed with a 7th-order pinwheel framelet, and for each decomposition subband signal, the numerical values shown in FIG. 39 are used for level 1 and FIG. Weighting was performed with the numerical values shown. Thereby, the decomposition
  • a threshold obtained by multiplying the maximum value of each decomposed subband signal by 0.005 is used as a threshold, threshold processing is performed by a hard threshold, and a processed image is obtained through a synthesis phase.
  • FIG. 41 is a truncation process image according to the edge detection example 2
  • FIG. 42 is a diagram illustrating a binarization process image according to the edge detection example 2.
  • edge detection is inferior to edge detection example 1 in parts other than the power transmission line, but the power transmission line is detected better.
  • FIG. 43 is a diagram illustrating an image obtained by adding a processed image that has been subjected to the truncation process to 15 times the original image. As shown in FIG. 43, the power transmission line is visible.
  • FIG. 44 is a diagram of level 2, but the same applies to other levels.
  • the numbers are written as follows: (X1, x2, Z, p)
  • p is a number representing a level
  • Z is a side of either a or b (36 on the left side in FIG. 44 belongs to a, 16 on the right side belongs to b)
  • x1 is a row
  • x2 is a column It is.
  • “5” in (5, 4, a, 2) is a row in FIG. 44
  • “4” is a column in FIG. 44
  • “a” is a of a and b
  • “2” is a level.
  • Non-patent Document 6 a “simple method” (Naive Edge Detection) in which all components constituting the approximate subband signal in the decomposition phase are attenuated to zero.
  • This method may be applied to pinwheel framelets, but pinwheel framelets, unlike wavelets, have a variety of detailed subband signals in the decomposition phase. For this reason, it is possible to select the detailed subband signal in the decomposition phase not related to the edge, and to amplify the detailed subband signal related to the edge by setting the component of the signal to 0 or attenuate, thereby performing edge detection. Is possible.
  • this method can also be implemented, for example, with a simple pinwheel framelet other than the pinwheel framelet.
  • the noise of the original image is first removed.
  • This may be a method according to the present embodiment or a known method.
  • the low-frequency subband signal in the decomposition phase that does not contribute to the edge is set to 0, so that the subband signal in the decomposition phase that relatively contributes to the edge is amplified.
  • an area that does not include (1, 1, a, 1) and surrounds (1, 1, a, 1) is divided into a plurality of directions in a fan shape and allowed to overlap.
  • an edge having a specific direction can be detected by subtracting or attenuating a subband signal that does not belong to the divided region.
  • the subband signal in the decomposition phase not related to the target edge can be attenuated.
  • an image reconstructed as an approximate portion of level 1 of maximum overlap multiresolution decomposition by a third-order pinwheel framelet is used as an original image.
  • the maximum overlap multi-resolution decomposition by the fifth-order pinwheel framelet is performed, and the subband signal in the decomposition phase of the same direction as the direction of the mountain ridgeline, the utility pole, and the transmission line is left, and the high frequency representing the fine part is involved.
  • the subband signal in the decomposition phase was set to zero.
  • FIG. 46 is a method of truncating the processed image (m1).
  • edge detection a high-frequency decomposed subband signal is used, but image processing using a decomposed subband signal in another frequency range is also possible. Various image processing can be performed using the high frequency resolution function and various orientation selectivity of pinwheel framelets.
  • threshold processing is performed on the decomposed subband signal, but other linear / non-linear processing can be performed and applied to image processing. In these image processes, an image can be extracted or emphasized, so an example will be shown below.
  • the above-mentioned original image used for edge detection is subjected to level 2 maximum overlap multi-resolution decomposition with a 7th-order pinwheel framelet, and the weighting shown in FIG. Weighting shown in FIG. 48 was performed on the decomposed subband signals.
  • a decomposed subband signal having a frequency slightly lower than that of edge detection is extracted.
  • a threshold obtained by multiplying the maximum value of each decomposed subband signal by 0.005 was used as a threshold, and threshold processing was performed using a hard threshold.
  • S be the decomposed subband signal after this threshold processing.
  • a processed image was obtained through the synthesis phase.
  • the pinwheel framelet has a variety of orientation selectivity, and the filters that make subband signals in the decomposition phase include not only the even type but also the odd type.
  • a shaded edge can be automatically created to create a three-dimensional edge detection image. Note that the three-dimensional effect obtained in this example is sensuous and does not represent a physical three-dimensional spread. The purpose is to make it easier to visually recognize the edge by making the person who sees the image feel a three-dimensional effect.
  • the maximum overlap multi-resolution decomposition was performed on the original image with a fifth-order pinwheel framelet.
  • the subband signals in the decomposition phase are shaded so as to shade the direction of the steam. 5 times (2,1, a, 1), 5 times (2,2, a, 1), 5 times (3,4, a, 1), (2,2, b, 1), ( 3, 4, b, 1) were added.
  • the notation for designating the decomposed subband signal is the same as that in the “edge detection example 3” described above, and is shown in FIG. FIG. 53 is an original image, and FIG.
  • FIG. 54 is a diagram illustrating a result of performing feature extraction with a stereoscopic effect.
  • the processing is performed within a single level.
  • the positional deviation may be corrected before addition. .
  • FIG. 55 is a diagram showing an image displayed by reversing gradation with respect to an output image obtained by performing feature extraction with a stereoscopic effect.
  • the optical illusion that a planar image appears swelled or recessed depending on how the shadow is added is called a “crater illusion”.
  • Feature extraction with a three-dimensional effect also has a function of automatically generating a crater illusion from a planar image.
  • the pinwheel framelet has various filters, so the application is not limited to those described above, and the filter can be used for various applications.
  • the pinwheel framelet used as an example in the present embodiment is a known simple pinwheel framelet or an orientation selective wavelet frame such as a pinwheel wavelet frame, or a filter bank having orientation selectivity. Good.
  • the pinwheel framelet will be described below.
  • M is a sampling matrix of a square lattice, a pentagonal lattice, or a hexagonal lattice.
  • FIG. 56 is a diagram showing a filter obtained by cyclically correlating a level 1 approximation filter with a maximum overlap pinwheel framelet filter at level 2 in level 2.
  • FIG. 57 is a diagram illustrating each composite subband signal obtained as a result of performing a level 2 maximum overlap multiresolution decomposition (2nd stage of maximum overlap MRA decomposition by pinwheel frame) on a test image using a pinwheel framelet. .
  • an image processing apparatus an image processing method, and a variety of image processing such as natural image sharpening, various edge detection, and noise removal can be performed.
  • the program, the print medium, and the recording medium can be provided, it is extremely useful in the fields of image processing such as medical images, aerial photographs, and satellite images, and image analysis.
  • an image processing apparatus, an image processing method, a program, a print medium, and a recording medium that can perform natural image sharpening on a color image are provided. be able to.
  • the contrast illusion of color is related to the appearance of the color of products, etc.
  • industries that manufacture and sell colored products industries such as printing, design, video, painting, etc.
  • color space for example, an example using the CIE (International Lighting Commission) uniform perceptual color space (L * a * b * expression system) may be described as the color space in the above-described embodiment, but the present invention is not limited to this. Color components in other color spaces may be used as long as the color space is close to human vision.
  • CIE International Lighting Commission
  • the image processing apparatus 100 performs processing in response to a request from a client terminal (a separate housing from the image processing apparatus 100). And the processing result may be returned to the client terminal.
  • the image processing apparatus 100 is configured as an ASP server, receives original image data transmitted from a user terminal via the network 300, and processes reconstructed image data of a processed image processed based on the original image data. You may reply to a user terminal.
  • all or part of the processes described as being automatically performed can be manually performed, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method.
  • the illustrated components are functionally conceptual, and need not be physically configured as illustrated.
  • each device of the image processing apparatus 100 in particular, the processing functions performed by the control unit 102, all or any part thereof are interpreted and executed by a CPU (Central Processing Unit) and the CPU. It may be realized by a program to be executed, or may be realized as hardware by wired logic.
  • the program is recorded on a non-transitory computer-readable recording medium including a programmed instruction for causing a computer to execute the method according to the present invention, which will be described later, and an image processing apparatus as necessary. 100 mechanically read.
  • the storage unit 106 such as a ROM or an HDD (Hard Disk Drive) stores a computer program for giving instructions to the CPU in cooperation with an OS (Operating System) and performing various processes. This computer program is executed by being loaded into the RAM, and constitutes a control unit in cooperation with the CPU.
  • the computer program may be stored in an application program server connected to the image processing apparatus 100 via an arbitrary network 300, and may be downloaded in whole or in part as necessary. It is.
  • the program according to the present invention may be stored in a computer-readable recording medium, or may be configured as a program product.
  • the “recording medium” means a memory card, USB memory, SD card, flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, CD-ROM, MO, DVD, and Blu-ray (registered trademark). It includes any “portable physical medium” such as Disc.
  • program is a data processing method described in an arbitrary language or description method, and may be in any form such as source code or binary code.
  • program is not necessarily limited to a single configuration, but is distributed in the form of a plurality of modules and libraries, or in cooperation with a separate program typified by an OS (Operating System). Including those that achieve the function.
  • OS Operating System
  • a well-known configuration and procedure can be used for a specific configuration for reading a recording medium, a reading procedure, an installation procedure after reading, and the like in each device described in the embodiment.
  • Various databases (framelet file 106a, image data file 106b) stored in the storage unit 106 are storage means such as a memory device such as RAM and ROM, a fixed disk device such as a hard disk, a flexible disk, and an optical disk. Yes, it stores various programs, tables, databases, web page files, etc. used for various processes and website provision.
  • the image processing apparatus 100 may be configured as an information processing apparatus such as a known personal computer or workstation, or may be configured by connecting an arbitrary peripheral device to the information processing apparatus.
  • the image processing apparatus 100 may be realized by installing software (including programs, data, and the like) that causes the information processing apparatus to realize the method of the present invention.
  • the specific form of the distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functionally or physically in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. In other words, the above-described embodiments may be arbitrarily combined and may be selectively implemented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

画像データに対して、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得し、多重解像度分解の分解フェーズにおけるサブバンド信号による処理画像データ、または、多重解像度分解の合成フェーズにおけるサブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する場合において、フィルタの少なくとも一つに対応する、多重解像度分解の分解フェーズにおけるサブバンド信号を、減衰または増幅させる処理を行う。

Description

画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体
 本発明は、画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体に関する。
 従来、原画像に対してシャープネス(画像鮮鋭化)やエッジ検出等の画像処理を行う方法が開発されている。
 例えば、非特許文献1に記載のプログラム製品では、画像の鮮鋭化を行うために、エッジの明るい側のピクセルを検出してさらに明るくし、エッジの暗い側のピクセルを検出してさらに暗くするように局所的なコントラスト制御を行うことが開示されている。
 また、非特許文献2に記載の方法では、ヒトの初期視覚情報処理の数理モデルとして、最大重複双直交ウェーブレットフィルタ・バンクを用いて、グレースケールの原画像に対して非線形処理を行うことが開示されている。
 また、従来、エッジ検出の方法として、単純なフィルタリングの方法やウェーブレットを用いた方法がよく知られている(非特許文献6,7参照)。
Adobe Systems Incorporated、"Photoshopのヘルプ&サポート/高度なシャープ化手法"、[online]、2006年4月6日作成、[平成24年5月9日検索]、インターネット<URL:http://www.adobe.com/jp/designcenter/photoshop/articles/phscs2at_advsharpen.html> Hitoshi Arai,"A Nonlinear Model of Visual Information Processing Based on Discrete Maximal Overlap Wavelets",Interdisciplinary Information Sciences,Vol.11,No.2,pp.177~190(2005). Hitoshi Arai and Shinobu Arai,2D tight framelets with orientation selectivity suggested by vision science,JSIAM Letters Vol.1,pp.9~12(2009). Hitoshi Arai and Shinobu Arai,Finite discrete,shift−invariant,directional filterbanks for visual information processing,I:construction,Interdisciplinary Information Sciences,Vol.13,No.2,pp.255~273(2007). E.N.Johnson,M.J.Hawken and R.Shapley,The spatial transformation of color in the primary visual cortex of the macaque monkey,Nature Neuroscience,Vol.4,No.4,pp.409~416(2001). P.J.Van Fleet,Discrete Wavelet Transformations,Wiley,2008. R.C.Gonzalez and R.E.Woods,Digital Image Processing,3rd Ed.,Pearson International Edition,2008.
 しかしながら、従来の画像処理方法においては、自然な画像鮮鋭化や多様なエッジ検出を行うことが難しいという問題点を有していた。
 例えば、非特許文献1に記載のプログラム製品においては、一律にエッジ部分の輝度を上下させるため、コントラストが十分な箇所についても白黒に近くなるまで極度にコントラストが高くなり不自然になるという問題点を有していた。また、非特許文献2に記載の方法では、白黒画像について錯視分析の一環として行われたものでありカラー画像の鮮鋭化について応用することができないという問題点を有していた。
 また、非特許文献6,7等の従来のエッジ検出方法では、周波数分解能や方位選択性に乏しく、目的に応じた多様なエッジを検出することが難しいという問題点を有していた。
 本発明は、上記問題点に鑑みてなされたもので、自然な画像鮮鋭化や様々なエッジの検出など、多様な画像処理を行うことができる、画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体を提供することを目的とする。
 このような目的を達成するため、本発明の画像処理装置は、記憶部と制御部を少なくとも備えた画像処理装置であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部は、上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得手段と、を備え、上記分解手段は、上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理手段を更に備えたことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズにおける上記サブバンド信号に対して、線形または非線形の係数処理を行うことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズにおける上記サブバンド信号に対して、閾値処理を行うことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズにおける上記サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記フィルタの少なくとも一つに対応する上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させることを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記所定の周波数特性は、上記広義かざぐるまフレームレットまたは上記かざぐるまウェーブレット・フレームの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、上記多重解像度分解におけるレベルにより指定されることを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させることを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を増幅させることに加えて、偶型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に減衰させてもよいことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記処理手段は、上記分解フェーズから出力される分解詳細係数および/または分解近似係数に対して処理を行うことにより、上記分解フェーズにおける上記サブバンド信号を減衰または増幅させることを特徴とする。
 また、本発明の画像処理方法は、記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において実行される、上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、を含み、上記分解ステップは、上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に含むことを特徴とする。
 また、本発明のプログラムは、記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において、上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、を実行させるためのプログラムであって、上記分解ステップにおいて、上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に実行させることを特徴とする。
 また、本願発明者は、鋭意検討の結果、以下のように考えることで本発明を完成させた。すなわち、ヒトの視覚は、見たい部分をよく見ることができるような情報処理を本来行っている。ヒトは、さまざまな錯視を知覚するが、それは視覚情報処理の結果であると考えられる。ここで、もしも数理モデルがヒトの視覚情報処理に近いものであれば、数理モデルを実装した計算機も錯視を算出するはずである。そこで、本願発明者は、明暗の錯視や色の対比錯視をシミュレーションできた数理モデルを用いることにより、ヒトの視覚に近い情報処理を原画像に対して施して、見たい部分のみを鮮鋭化することができることを確認して、本願発明を完成させるに至った。
 すなわち、本発明の画像処理装置は、記憶部と制御部を少なくとも備えた画像処理装置であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部は、上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、上記分解手段により取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成手段と、を備え、上記分解手段は、上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理手段を更に備えたことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記色成分は、CIELAB色空間における、L、a、および、b、または、人の視覚に近い色空間の各色成分であることを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記画像データのaおよび/またはbの色成分について、aおよび/またはbの上記分解詳細係数とLにおける分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上記エネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した上記係数処理を行うことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、自動的に連続的な変化をする関数を用いて、上記係数処理を行うことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記分解フェーズと上記合成フェーズの間において、上記分解詳細係数を正規化し、正規化された上記分解詳細係数である正規化分解詳細係数のノルムを上記エネルギーとして、当該正規化分解詳細係数に対して上記係数処理を行い、係数処理された上記正規化分解詳細係数に対して上記正規化の逆演算を行うことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記係数処理手段は、上記分解詳細係数の符号の違いによって別個の処理を行ってもよいことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記分解手段は、上記方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンク、または、上記方位性が多方向の広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いて、上記多重解像度分解を行うことを特徴とする。
 また、本発明の画像処理装置は、上記記載の画像処理装置において、上記分解手段による上記多重解像度分解は、最大重複多重解像度分解、最大間引き多重解像度分解、または、一部間引き一部重複多重解像度分解であることを特徴とする。
 また、本発明は画像処理方法に関し、本発明の画像処理方法は、記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において実行される、上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解ステップにて取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、を含み、上記分解ステップは、上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを更に含むことを特徴とする。
 また、本発明はプログラムに関し、本発明のプログラムは、記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、上記記憶部は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、画像データを記憶する画像データ記憶手段と、を備え、上記制御部において、上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、上記分解ステップにて取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、を実行させるためのプログラムであって、上記分解ステップは、上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを更に含むことを特徴とする。
 また、本発明は記録媒体に関するものであり、上記記載のプログラムを記録したことを特徴とする。
 また、本発明は、処理画像が印刷された印刷媒体であって、上記処理画像は、原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、所定の上記成分が、減衰または増幅されていることを特徴とする。
 また、本発明は、処理画像を表示するための画像データを記録したコンピュータ読み取り可能な記録媒体であって、上記処理画像は、原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、所定の上記成分が、減衰または増幅されていることを特徴とする。
 本発明によれば、画像データに対して、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得し、多重解像度分解の分解フェーズにおけるサブバンド信号による処理画像データ、または、多重解像度分解の合成フェーズにおけるサブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する際に、フィルタの少なくとも一つに対応する、多重解像度分解の分解フェーズにおけるサブバンド信号を、減衰または増幅させる処理を行う。これにより、本発明は、自然な画像鮮鋭化や様々なエッジの検出など、多種多様な画像処理を行うことができるという効果を奏する。広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームは、多重解像度分解ができ、多様な周波数選択性を持ち、多様な方位選択性を持つので、目的に応じた方位のエッジの検出や、目的に応じた周波数成分の抽出など、多様な画像処理を実行することが可能となる。
 また、本発明によれば、上記分解フェーズにおけるサブバンド信号に対して、線形または非線形の係数処理を行うので、分解フェーズから出力される分解詳細係数や分解近似係数に対して、線形関数や非線形関数を適用する等により、係数値に応じた画像処理結果を得ることができるという効果を奏する。
 また、本発明によれば、上記分解フェーズにおけるサブバンド信号に対して、閾値処理を行うので、閾値以下の微小な変動を除去または減衰して効果的にノイズ除去を行うことができるという効果を奏する。
 また、本発明によれば、上記分解フェーズにおけるサブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うので、ヒトの視覚情報処理に近い数理モデルを使うことによって、ヒトの感覚に近い自然な画像鮮鋭化を施すことができるという効果を奏する。
 また、本発明によれば、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつフィルタの少なくとも一つに対応する分解フェーズにおけるサブバンド信号を、減衰または増幅させるので、目的の周波数成分や目的の方位成分を増減した多様な画像処理結果を得ることができるという効果を奏する。
 また、本発明によれば、上記所定の周波数特性は、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより指定されるので、多様な周波数特性を指定することが可能となるという効果を奏する。
 また、本発明によれば、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させるので、合成フェーズを介さずに、そのまま出力することにより、立体感のあるエッジの検出等が可能となるという効果を奏する。
 また、本発明によれば、複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させることに加えて、上記複数のフィルタのうち、偶型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に減衰させてもよいので、より効果的な立体感のあるエッジ検出等が可能になるという効果を奏する。
 また、本発明によれば、上記分解フェーズから出力される分解詳細係数および/または分解近似係数に対して係数処理を行うことにより、分解フェーズにおけるサブバンド信号を減衰または増幅させるので、係数値に応じた係数処理を実行することで多様な画像処理結果を得ることができるという効果を奏する。
 また、この発明によれば、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクと、画像データとを記憶し、画像データの各色成分に対して、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得し、各色成分の合成フェーズにおけるサブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する場合に、多重解像度分解における分解フェーズと合成フェーズとの間において、分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う。これにより、本発明は、カラー画像に対して自然な画像鮮鋭化を行うことができる、という効果を奏する。より具体的には、本発明は、ヒトの視覚情報処理に近い数理モデルを使うことによって、ヒトの感覚に近い自然な画像鮮鋭化をカラー画像に施すことができる。
 また、本発明によれば、上記色成分として、CIELAB色空間における、L、a、および、b、または人の視覚に近い色空間の各色成分を用いる。これにより、本発明はヒトの感覚に近い自然な画像処理を行うことができる、という効果を奏する。
 また、本発明によれば、上記画像データのaおよび/またはbの色成分について、aおよび/またはbの上記分解詳細係数とLにおける上記分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上記エネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した上記係数処理を行う。これにより、輝度の効果と色の効果を協働させたヒトの視知覚にとって自然な鮮鋭化を行うことができる、という効果を奏する。
 また、本発明によれば、上記分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、自動的に連続的な変化をする関数を用いて、上記係数処理を行う。これにより、本発明は、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強する係数処理を、S字曲線からN字曲線に連続的に変化する関数を使った演算を用いて好適に実行することができる、という効果を奏する。より具体的には、周囲の刺激が大きい場合には分解詳細係数のばらつきを大きくし、周囲の刺激が小さい場合には分解詳細係数のばらつきを小さくする関数を用いることで、周囲の刺激が大きい場合には小さな刺激が弱められ、周囲の刺激が小さい場合には小さな刺激でも意識されるようになるので、画像ごとに適切な鮮鋭化を自動的にすることができる。
 また、本発明によれば、上記分解フェーズと上記合成フェーズの間において、上記詳細分解係数を正規化し、正規化された上記分解詳細係数である正規化分解詳細係数のノルムを上記エネルギーとして、当該正規化分解詳細係数に対して上記係数処理を行い、係数処理された上記正規化分解詳細係数に対して上記正規化の逆演算を行う。これにより、本発明は、正規化により関数処理やエネルギー計算等において係数を扱い易くすることができる、という効果を奏する。
 また、本発明によれば、上記分解詳細係数の符号の違いによって別個の処理を行ってもよいので、よりヒトの視覚に近い自然な鮮鋭化を行ったり、逆にヒトの視覚を補うような自然な鮮鋭化を行うなど、細やかな鮮鋭化ができる、という効果を奏する。
 また、本発明によれば、上記方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンク、または、上記方位性が多方向の広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いて、上記多重解像度分解を行う。これにより、本発明は、双直交ウェーブレットフィルタ・バンクを用いて簡易な計算を行ったり、広義かざぐるまフレームレットあるいはかざぐるまウェーブレット・フレームを用いて精密な計算を行ったりすることができる、という効果を奏する。
 また、本発明によれば、上記多重解像度分解は、最大重複多重解像度分解、最大間引き多重解像度分解、または、一部間引き一部重複多重解像度分解であるので、好適な多重解像度分解を行って分解詳細係数を取得することができ、さらに高周波成分だけでなく、低周波成分も多重解像度的に処理されるので、単にエッジだけが強調される鮮鋭化ではなく、自然な鮮鋭化ができるという効果を奏する。
 また、本発明は、処理画像を表示するための画像データを記録したコンピュータ読み取り可能な記録媒体または処理画像が印刷された印刷媒体であって、原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、所定の成分が、減衰または増幅されているので、任意の原画像において、自然な画像鮮鋭化や様々なエッジの検出など、多様な画像処理を施した処理画像を提示することができる。
図1は、本実施の形態が適用される本画像処理装置の構成の一例を示すブロック図である。 図2は、次数5のレベル3の最大重複かざぐるまフレームレット・フィルタに次数5のレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積して得られるフィルタを示す図である。 図3は、次数7のレベル2(高周波数側)の最大重複かざぐるまフレームレット・フィルタにレベル1の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示す図である。 図4は、次数7のレベル3(低周波数側)の最大重複かざぐるまフレームレット・フィルタにレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示す図である。 図5は、次数7、レベルkのかざぐるまフレームレットにおいて、近似部分をa(1)で表し、詳細部分をd(1)~d(99)の記号(番号)で表した図である。 図6は、本実施の形態における画像処理装置100の基本処理の一例を示すフローチャートである。 図7は、最大重複多重解像度分解のフィルタ・バンクの一例を示す図である。 図8は、最大重複多重解像度分解のフィルタ・バンクの一例を示す図である。 図9は、本実施の形態における画像処理装置100のカラー画像鮮鋭化処理の一例を示すフローチャートである。 図10は、最大重複多重解像度分解の分解フェーズおよび合成フェーズのフィルタ・バンクの一例を示す図である。 図11は、正規化を伴う分解詳細係数の係数処理の一例を示すフローチャートである。 図12は、原画像(512×512画素)と、本実施の形態による鮮鋭化画像と、従来手法による鮮鋭化画像を対比して示す図である。 図13は、図12の各写真において、左から400画素目の列のLの値を示すグラフである。 図14は、図12の各写真において、左から400画素目の列のaの値を示すグラフである。 図15は、図12の各写真において、左から400画素目の列のbの値を示すグラフである。 図16は、色の対比錯視画像の一例を示す図である。 図17は、図16にある原画像の内側四角部分(原画像AとBで共通)と、原画像Aの画像処理結果である処理画像Aの内側四角部分と、原画像Bの画像処理結果である処理画像Bの内側四角部分とを示す図である。 図18は、色の対比錯視画像の他の例を示す図である。 図19は、図18にある原画像の内側四角部分(原画像CとDで共通)と、原画像Cの画像処理結果である処理画像Cの内側四角部分と、原画像Dの画像処理結果である処理画像Dの内側四角部分とを示す図である。 図20は、色の対比錯視画像の他の例を示す図である。 図21は、図20にある原画像の内側四角部分(原画像EとFで共通)と、原画像Eの画像処理結果である処理画像Eの内側四角部分と、原画像Fの画像処理結果である処理画像Fの内側四角部分とを示す図である。 図22は、本実施例で用いたハードスレッシュホールドを説明するためのグラフである。 図23は、本実施例で用いたノイズを入れる前の原画像である。 図24は、図23にある原画像にガウス型白色ノイズを加えたノイズ画像を示す図である。 図25は、従来のウェーブレットによるノイズ除去方法にウェーブレットとしてシムレット4を用いた処理画像である。 図26は、図25の一部拡大図である。 図27は、本実施の形態によって5次のかざぐるまフレームレットを用いて得られた処理画像である。 図28は、図27の一部拡大図である。 図29は、本実施の形態によって7次のかざぐるまフレームレットを用いてフィルタごとに閾値を変えた場合に得られた処理画像である。 図30は、図29の一部拡大図である。 図31は、レベル2で閾値処理を行う詳細係数を斜線にて示した図である。 図32は、本実施の形態によって7次のかざぐるまフレームレットを用いてレベル1からレベル2の高周波部分まで閾値処理をした処理画像である。 図33は、図32の一部拡大図である。 図34は、本実施例でエッジ検出のために用いた原画像を示す図である。 図35は、7次のかざぐるまフレームレットのレベル1における重み付け係数を示す図である。 図36は、7次のかざぐるまフレームレットのレベル2における重み付け係数を示す図である。 図37は、エッジ検出例1により得られた処理画像を打ち切りした画像を示す図である。 図38は、t=1で二値化した処理画像を示す図である。 図39は、7次のかざぐるまフレームレットのレベル1における重み付け係数を示す図である。 図40は、7次のかざぐるまフレームレットのレベル2における重み付け係数を示す図である。 図41は、エッジ検出例2による打ち切り処理画像を示す図である。 図42は、エッジ検出例2による二値化処理画像を示す図である。 図43は、打ち切り処理をして15倍にした処理画像を原画像に加えた画像を示す図である。 図44は、次数5のかざぐるまフレームレットの分解フェーズにおける52個のサブバンド信号の番号を示す図である。 図45は、ノイズ除去の結果得られた処理画像について、2値化の方法(t=0.37)で表示した画像を示す図である。 図46は、処理画像を打ち切りの方法(m1=0, m2=1)により表示した画像を示す図である。 図47は、7次のかざぐるまフレームレットのレベル1における重み付け係数を示す図である。 図48は、7次のかざぐるまフレームレットのレベル2における重み付け係数を示す図である。 図49は、m1=−4、m2=0の打ち切りを行った処理画像を示す図である。 図50は、m1=−2、m2=0の打ち切りを行った処理画像を示す図である。 図51は、m1=−6、m2=0の打ち切りを行った処理画像を示す図である。 図52は、m1=0、m2=255で打ち切り処理をした結果を示す図である。 図53は、原画像を示す図である。 図54は、立体感のある特徴抽出を行った結果を示す図である。 図55は、立体感のある特徴抽出を行った出力画像に対し、階調を反転して表示した画像を示す図である。 図56は、次数7のレベル2の最大重複かざぐるまフレームレット・フィルタ(maximal overlap pinwheel framelet filters at level 2)にレベル1の最大重複かざぐるまフレームレットの近似フィルタを循環相関積して得たフィルタを示す図である。 図57は、テスト画像に対し、次数7のかざぐるまフレームレットによりレベル2の最大重複多重解像度分解(2nd stage of maximal overlap MRA decomposition by pinwheel framelet)を行った結果の各合成サブバンド信号を示す図である。
 以下に、本発明にかかる画像処理装置、画像処理方法、および、プログラム、並びに、印刷媒体、および、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、本実施の形態による画像処理の例として、カラー画像の画像鮮鋭化や、ノイズ除去、エッジ検出等の用途に用いた例について説明することがあるが、本発明はこれに限られず、シャープネス、輪郭強調、コントラスト調整、色補正、特徴抽出、パターン認識、クレーター錯視自動生成など様々な目的のために本発明を適用してもよいものである。
[画像処理装置の構成]
 次に、本画像処理装置の構成について図1を参照して説明する。図1は、本実施の形態が適用される本画像処理装置の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。
 図1において画像処理装置100は、概略的に、制御部102と通信制御インターフェース部104と入出力制御インターフェース部108と記憶部106を備える。ここで、制御部102は、画像処理装置100の全体を統括的に制御するCPU等である。入出力制御インターフェース部108は、入力装置112や出力装置114に接続されるインターフェースである。また、記憶部106は、各種のデータベースやテーブルなどを格納する装置である。これら画像処理装置100の各部は任意の通信路を介して通信可能に接続されている。
 記憶部106に格納される各種のファイル(フレームレットファイル106aおよび画像データファイル106b)は、固定ディスク装置等のストレージ手段である。例えば、記憶部106は、各種処理に用いる各種のプログラム、テーブル、ファイル、データベース、および、ウェブページ等を格納する。
 これら記憶部106の各構成要素のうち、フレームレットファイル106aは、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段である。なお、本実施の形態において、「ウェーブレット」とは、古典的なウェーブレットや、狭義のウェーブレット等に限られず、広義のウェーブレットをも含む。例えば、ウェーブレットは、有限長波形、もしくは、0から増幅して速やかに0に収束するような振幅を伴う波様の振動であり、一例として、ガボール・フィルタや、カーブレットのようなウェーブレット擬きを含む。
 ここで、本実施の形態では、多様な周波数特性や方位性を有する、コンパクトな台をもつ微分可能な関数として表現することができるFIRフィルタとして、かざぐるまフレームレット(pinwheel framelet)(後述する項目[かざぐるまフレームレット]参照)を用いる場合があるが、これに限られず、例えば、単純かざぐるまフレームレット(simple pinwheel framelet)(非特許文献3参照)や、かざぐるまフレームレットの定義式(例えば、項目[かざぐるまフレームレット]にて後述する、式F k,l(θ,θ)または式F k,l(θ,θ))を構成する項の係数、および/または、指数を変更して得られるフレームレット、単純かざぐるまフレームレットのフィルタの周波数応答関数を構成する項([非特許文献3])の係数を変更して得られるフレームレット等を用いてもよい。これら、および(上述した狭義の)かざぐるまフレームレットを総称して広義かざぐるまフレームレットと呼ぶ。ここで、「広義かざぐるまフレームレット」は、方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合であって、次数を有するフィルタ・バンクである。換言すると、かざぐるまフレームレット、[非特許文献3]で導入した単純かざぐるまフレームレット、および、それらのフレームレットのフィルタに修正を加えたものを「広義かざぐるまフレームレット」という。広義かざぐるまフレームレットは、方位選択性のある2次元フレームレットである。また、広義かざぐるまフレームレットは、多重解像度分解ができ、多様な方位選択性をもち、有限長のフィルタからなるフィルタ・バンクであるという性質がある。なお、かざぐるまフレームレットは単純かざぐるまフレームレットよりも、よりヒトの脳内での視覚情報処理の特性を反映するという点で、優れた機能をもつ別のものであり、構成の方法も大きく異なるものである。
 また、本実施形態では、かざぐるまウェーブレット・フレーム(pinwheel wavelet frame)(非特許文献4参照)を用いてもよい。
 一例として、かざぐるまフレームレットは、ヒトの視覚皮質の単純細胞による情報処理を数理モデル化したものである。この分解は、ヒトの脳内で単純細胞により分解される信号の数理的なモデルである。かざぐるまフレームレットには、次数があり、次数は3以上の奇数で、次数が大きくなるほど、それだけ多くの方位を検出できるゆえ、多様なフィルタ作成が可能となる。なお、その分、フィルタの枚数は多くなり、計算時間も増すという性質がある。また、一例として、次数nのかざぐるまフレームレットのフィルタ数は、(n+1)+(n−1)となる。このうち、一つのフィルタが、近似フィルタであり、残りのフィルタが詳細フィルタである。ここで、図2は、次数5のレベル3の最大重複かざぐるまフレームレット・フィルタに次数5のレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積して得られるフィルタである(循環相関積について、例えば、新井仁之著「線形代数 基礎と応用」株式会社日本評論社(2006年)を参照)。なお、かざぐるまフレームレットは、単純かざぐるまフレームレットに比べて、神経科学的に、より大脳皮質V1野の単純細胞に近いモデルになっている。
 このかざぐるまフレームレットは、次数5であるので、たとえば図2に示すように、各レベルについて左側の6×6個のフィルタと、右側の4×4個のフィルタを合わせて、合計で52枚のフィルタの集合からなっている。このうち、図の中央上部の黒い矩形で囲んだ1枚が、レベル1からレベル3までの近似フィルタの循環相関積により得られるフィルタであり、その他の51枚が、レベル3の詳細フィルタにレベル1から2までの近似フィルタを循環相関積して得られるフィルタである。詳細フィルタから作られる上記フィルタの方位性は、近似フィルタのみから作られるフィルタを中心として、およそ風車の回転する向きに並べている。なお、後に詳述するように、各次数のかざぐるまフレームレットによる最大重複多重解像度分解には、レベルがあり、レベル1はもっとも細かい部分(高周波部分)を検出する。図2は、レベル3のかざぐるまフレームレットであり、レベル2、3・・・と大きくなるにつれ、大まかな部分(低周波部分)が検出される。なお、フレームレットファイル106aは、かざぐるまフレームレット等の方位選択性ウェーブレット・フレームを、関数の形式(フレームレット・フィルタの周波数応答関数等)で記憶してもよい。関数の具体例については後述する。
 なお、上記に限られず、本実施の形態において様々なウェーブレットを用いてもよい。ただし、本実施の形態において、多様な周波数成分や方位成分を増減させるため、好適には、多様な周波数特性や方位性を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いる。ここで、ウェーブレットは、古典的なウェーブレットや、狭義のウェーブレット等に限られず、広義のウェーブレットをも含む。例えば、ウェーブレットは、有限長波形、もしくは、0から増幅して速やかに0に収束するような振幅を伴う波様の振動であり、一例として、ガボール・フィルタや、カーブレットのようなウェーブレット擬きを含む。また、フレームレットファイル106aは、方位選択性ウェーブレット・フレームのようなフレームに限らず、方位選択性フィルタ・バンク等のフィルタ群や方位性のあるフィルタを記憶してもよい。各方位性のあるフィルタは、一例として、各方位性をもった複数の詳細フィルタであり、例えば、サブバンド信号等の成分がフィルタにより抽出される。なお、かざぐるまウェーブレット・フレームは、構成するフィルタの長さが原画像の画素数に応じて変化するのに対して、広義かざぐるまフレームレットは、フィルタの長さが画素数に関係しない、という性質がある。例えば、かざぐるまフレームレットは、方位選択性のある2次元フレームレットであり、ウェーブレット・フレームの一種である。また、方位性が多方向のかざぐるまフレームレットに限らず、方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンクを用いてもよい。
 また、画像データファイル106bは、画像データを記憶する画像データ記憶手段である。ここで、画像データファイル106bに記憶される画像データは、予め各色成分ごとに色調や階調値等が記述された画像データであってもよく、本実施の形態で扱われる色成分によって記述されていない画像データであってもよい。なお、後者の場合には、後述する色空間変換部102fによって、所望の色空間に変換され、各色成分に分解される。また、画像データファイル106bに記憶される画像データは、入力装置112を介して入力された画像データでもよく、外部システム200等からネットワーク300を介して受信した画像データでもよい。また、画像データは、カラー画像のイメージデータであってもよく、グレースケールのイメージデータであってもよい。なお、かざぐるまフレームレット等の方位選択性ウェーブレット・フレームにより多重解像度分解される前の元の画像(データ)を原画像(データ)と呼び、サブバンド信号に基づき再構成された後の画像(データ)を再構成画像(データ)と呼ぶ。また、多重解像度分解の分解フェーズにおけるサブバンド信号に処理を加えたものによる画像(データ)、または、多重解像度分解の合成フェーズにおけるサブバンド信号を足し合わせることにより再構成した画像(データ)を、処理画像(データ)と呼ぶ。すなわち、後者の処理画像(データ)は、再構成画像(データ)の一形態であるが、前者の処理画像(データ)は、再構成画像(データ)ではない。両者の区別を明確にするために、以下、前者の処理画像(データ)を「係数出力処理画像(データ)」と呼び、後者の処理画像(データ)を、「再構成処理画像(データ)」と呼ぶ場合がある。ここで、画像データファイル106bは、目的の原画像の画像データと同一の画像サイズ(画素数)の単位インパルス信号を画像データとして記憶してもよい。なお、画像データファイル106bに記憶された単位インパルス信号は、画像データとして同様にフレームレットファイル106aに記憶されたフィルタ・バンクに入力され、出力された単位インパルス応答は、目的の原画像の画像データを高速計算するために用いられる。なお、画像データは、例えば、ラスタ形式またはベクタ形式の二次元画像データ等である。また、画像は、一例として、デザイン(意匠)、写真、文字等を表す、任意の画像であってもよい。また、画像は、静止画像に限らず、動画像(映像)であってもよい。
 再び図1に戻り、入出力制御インターフェース部108は、入力装置112や出力装置114の制御を行う。ここで、出力装置114としては、モニタ(家庭用テレビを含む)等の表示装置や、プリンタ等の印刷装置等を用いることができる。また、入力装置112としては、カメラ等の撮像装置、外部記憶媒体に接続される入力装置等の他、キーボード、マウス、およびマイク等を用いることができる。
 また、図1において、制御部102は、OS(Operating System)等の制御プログラムや、各種の処理手順等を規定したプログラム、および、所要データを格納するための内部メモリを有する。そして、制御部102は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部102は、機能概念的に、分解部102a、処理画像取得部102c、色空間変換部102f、および、処理画像出力部102gを備える。なお、分解部102aは、更に係数処理部102bを備える。また、処理画像取得部102cは、更に再構成部102dを備える。
 このうち、分解部102aは、画像データに対して、フレームレットファイル106aに記憶された、広義かざぐるまフレームレット等の方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解手段である。ここで、サブバンド信号には、多重解像度分解の分解フェーズにおけるサブバンド信号と、多重解像度分解の合成フェーズにおけるサブバンド信号と、の2種類がある。両者の区別を明確にするために、以下、分解フェーズにおけるサブバンド信号を「分解サブバンド信号」と呼び、合成フェーズにおけるサブバンド信号を「合成サブバンド信号」と呼ぶ場合がある。ここで、「多重解像度分解」は、最大重複多重解像度分解、最大間引き多重解像度分解、および、一部間引き一部重複多重解像度分解を含む(最大重複多重解像度分解について、例えば、新井仁之著「ウェーブレット」共立出版株式会社(2010年)参照)。なお、分解部102aにより多重解像度分解を計算する際に、循環相関積、循環畳み込み積が使われるが、それらは高速フーリエ変換を用いる公知の高速計算方法により計算してもよい。上述のように、かざぐるまフレームレット等の方位選択性ウェーブレット・フレームによる多重解像度分解には、レベルがある。ここで、図3および図4は、かざぐるまフレームレットのレベルによる違いを示すための図であり、図3は、レベル2(高周波数側)の最大重複かざぐるまフレームレット・フィルタにレベル1の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示し、図4は、レベル3(低周波数側)の最大重複フレームレット・フィルタにレベル1とレベル2の最大重複かざぐるまフレームレット・近似フィルタを循環相関積したフィルタを示している。なお、いずれも次数は7であるので、(7+1)+(7−1)=100個のフィルタがある。
 一例として、分解部102aは、まず、レベル1のかざぐるまフレームレットによる最大重複多重解像度分解により、もっとも細かい部分(高周波部分)を検出し、レベル2,3・・と大きくなるにつれ、大まかな部分(低周波部分)を検出する。
 かざぐるまフレームレットによる多重解像度分解には、分解フェーズと合成フェーズがある。各フェーズは、近似フィルタと詳細フィルタからなるフィルタ・バンクにより構成されている。分解部102aは、分解フェーズおよび合成フェーズにおける画像処理を実行後、最終的に、原画像データを「フィルタ数×レベル」個の画像信号(すなわち、合成サブバンド信号)に分解する。
 例えば、次数7のかざぐるまフレームレットによるレベル5の最大重複多重解像度分解の場合、あるレベルk(k=1から5)のサブバンド信号には、1枚の近似フィルタに対応する1つの近似部分と、99枚の詳細フィルタに対応する99個の詳細部分がある。ここで、図5は、次数7、レベルkのかざぐるまフレームレットにおいて、近似部分をa(1)で表し、詳細部分をd(1)~d(99)の記号(番号)で表した図である。なお、記号(番号)の位置は、図3(k=2)または図4(k=3)における各フィルタの位置と対応づけられている。すなわち、a(1)およびd(1)~d(99)は、図3または図4における対応する位置のフィルタから取得されたサブバンド信号を表している。
 ここで、分解部102aの係数処理部102bは、複数のフィルタの少なくとも一つに対応する、多重解像度分解の分解フェーズにおけるサブバンド信号(すなわち、分解サブバンド信号)を、減衰または増幅させる処理を行う処理手段である。例えば、係数処理部102bは、分解サブバンド信号に対して、線形または非線形の係数処理を行ってもよい。一例として、係数処理部102bは、ハードスレッシュホールドやソフトスレッシュホールド等による閾値処理を行ってもよい。また、係数処理部102bは、複数のフィルタのうち、所定の周波数特性および/または所定の方位性をもつフィルタの少なくとも一つに対応する分解サブバンド信号を、減衰または増幅させてもよい。ここで、所定の周波数特性は、広義かざぐるまフレームレットの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより指定されてもよい。なお、分解サブバンド信号には、大きく分けて、分解詳細係数に基づく分解サブバンド信号と分解近似係数に基づく分解サブバンド信号の2種類があり、係数処理部102bは、分解フェーズから出力される分解詳細係数および/または分解近似係数に対して係数処理を行ってもよい。なお、「分解詳細係数」とは、広義かざぐるまフレームレットの分解フェーズにおいて、分解詳細フィルタによるフィルタリングをして得られる係数を指し、「分解近似係数」は、分解近似フィルタによるフィルタリングによる係数を指す。広義かざぐるまフレームレットによる分解フェーズにおけるサブバンド信号のうち、近似係数から構成されるものを「分解フェーズにおける近似サブバンド信号」、それ以外を「分解フェーズにおける詳細サブバンド信号」と呼ぶ場合がある。なお、以下の表は、原画像からの画像処理の経過に沿って用語をまとめた一覧である。広義かざぐるまフレームレット以外の方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを用いる場合も同様である。
 [表:用語一覧]
原画像
↓<分解フェーズ>
分解フェーズにおけるサブバンド信号(分解サブバンド信号)
 ・分解フェーズから出力される詳細係数(分解詳細係数)
 ・分解フェーズから出力される近似係数(分解近似係数)
↓<各種処理>
↓→ 処理画像(係数出力処理画像)
↓<合成フェーズ>
合成フェーズにおけるサブバンド信号(合成サブバンド信号)
 ・合成フェーズから出力される詳細係数
 ・合成フェーズから出力される近似係数
↓<再構成>
処理画像(再構成処理画像)
 ここで、非線形の係数処理の一例として、係数処理部102bは、分解サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行ってもよい。一例として、係数処理部102bは、多重解像度分解における分解フェーズと合成フェーズとの間において、分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う。例えば、分解詳細係数のエネルギーが大きい場合に、係数処理部102bは、当該分解詳細係数のばらつきを大きくすることで、絶対値が比較的小さな値はより小さく抑制しながら絶対値が比較的大きな値はより大きく増強させる。一方、分解詳細係数のエネルギーが小さい場合に、係数処理部102bは、当該分解詳細係数のばらつきを小さくすることで、絶対値が比較的小さな値を増強しながら絶対値が比較的大きな値を抑制する。
 ここで、大きな画素数の画像の場合には、その画像を適切に分割して、各分割画像に対して本実施形態の処理を行っても良い。
 また、係数処理部102bは、関数処理等の係数処理および/またはエネルギー計算において、分解詳細係数の値が扱い易くなるように、正規化を行ってもよい。例えば、係数処理部102bは、分解フェーズと合成フェーズの間において、まず、分解詳細係数を絶対値をとって正規化し、正規化された分解詳細係数(「正規化分解詳細係数」と呼ぶ。)の二乗ノルム(あるいは他のノルムでもよい。)をエネルギーとしてもよい。そして、係数処理部102bは、計算したエネルギーに応じて、正規化分解詳細係数に対して係数処理を行い、係数処理された正規化分解詳細係数に対して正規化の逆演算を行うことで、合成フェーズへの入力データとしてもよい。なお、絶対値を用いた場合は、以下の式のように逆演算の際に符号を元に戻す。
x´=sgn(x)z´
(ここで、xは分解詳細係数であり、zは係数処理後の値であり、z´は正規化の逆演算結果の値である。ここで、x≧0ならばsgn(x)=1であり、x<0ならばsgn(x)=−1である。なお、x´は符号を戻した結果の値である。)
 なお、係数処理部102bは、エネルギーの大小に応じた係数処理を行うために、エネルギー値に閾値を設けて、エネルギー値の範囲ごとに異なる係数処理を行ってもよく、エネルギー値に閾値を設けることなく、エネルギー値に応じてばらつきが連続的に変化するような関数にて演算することで係数処理を行ってもよい。前者の場合、例えば、係数処理部102bは、エネルギー値の範囲ごとに設定した関数(例えば、ロジット関数や、ロジスティック式等)を用いてもよい。後者の場合、例えば、係数処理部102bは、分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、連続的に変化する関数(「SN関数」と呼ぶ。)を用いて、係数処理を行ってもよい。ここで、SN関数の一例を以下に示す。なお、式1は、α>1ならばS字曲線となり、α=1ならば直線となり、α<1ならばN字曲線となる。
 z=yα/{yα+(1−y)α}   ・・・(式1)
(ここで、yは正規化分解詳細係数であり(0≦y≦1)、αは正規化分解詳細係数のエネルギーに基づく指標値であり(0<α)、zは関数処理された正規化分解詳細係数である。)なお、関数は離散化することにより、テーブル化して用いてもよい。
 なお、係数処理部102bは、CIELAB色空間におけるL、a、およびbなどのように、色成分ごとに係数処理を行ってもよいが、各色成分の値を独立に処理することに限られず、一つの色成分の係数処理を行う場合に、他の色成分の値に基づいて係数処理を補正してもよい。例えば、ヒトの視覚では、大脳皮質に色・輝度細胞があるという脳神経科学的な実験結果(非特許文献5)があるが、この実験結果を元に、色・輝度細胞の役割を推測した数理モデルを考案することにより係数処理部102bは、画像データのaおよび/またはbの色成分について、aおよび/またはbの分解詳細係数とLにおける分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上述のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した係数処理を行ってもよい。また、分解詳細係数の符号の違いによって別個の処理を行うこともできる。なお、係数処理部102bは、画像データのaおよび/またはbの色成分について、Lによる輝度差が大きければ大きいほど絶対値が小さな値を増強するように補正した係数処理を行ってもよい。
 このような画像鮮鋭化のほか、係数処理部102bは、所定の周波数特性(定めるところの特定の周波数特性)および/または所定の方位性(定めるところの特定の方位性)をもつフィルタに対応する分解サブバンド信号を減衰または増幅させる重み付けにより画像処理を行ってもよい。係数処理部102bは、分解部102aにより取得された分解サブバンド信号に重み付けして足し合わせてもよく、関数形式で記憶されたフレームレット・フィルタの周波数応答関数に重み付けを行ってもよく、その後、各フィルタ係数を導き出してもよく、あるいは重み付けした各周波数応答関数を所定の方法で乗算、加算し、フィルタ係数を求めてフレームレットファイル106aに格納しておくことにより、高速に再構成画像データを得られるようにしてもよい。また分解フェーズおよび/または合成フェーズにおけるフィルタに重み付けしてもよい。
 また、係数処理部102bは、一例として、広義かざぐるまフレームレットの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより、所定の周波数特性を指定することにより、所定の周波数成分が得られるように重み付けしてもよい。例えば、係数処理部102bは、多重解像度分解における所定レベルで近似フィルタに対応する分解サブバンド信号を相対的に減衰させる重み付けを行うことにより、低周波成分を除去する等の画像処理を行ってもよい。なお、この処理のため、分解部102aは、所定レベルまでの多重解像度分解を行うこととして、係数処理部102bは、最大レベルの近似フィルタにより得られた近似部分のサブバンド信号を相対的に減衰させる重み付けを行ってもよい。これに限らず、分解部102aは、所定レベルより大きなレベルまで多重解像度分解を行う場合に、係数処理部102bは、所定レベルより大きなレベルの詳細部分および最大レベルの近似部分を相対的に減衰させる重み付けを行ってもよい。
 また、係数処理部102bは、複数のフィルタのうち、フィルタ配置において近似フィルタから遠い側の詳細フィルタに対応する分解サブバンド信号を相対的に増幅させ、フィルタ配置において近似フィルタと近似フィルタから近い側の詳細フィルタに対応する分解サブバンド信号を相対的に減衰させる重み付けを行うことにより、低周波成分に比較して高周波成分を得られるように画像処理を行ってもよい。より具体的には、上述したかざぐるまフレームレットの近似フィルタに対応する分解サブバンド信号の分解詳細係数と近似フィルタに近い位置にある低周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を0に近い値とし、近似フィルタから遠い位置にある高周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を1に近い値に設定してもよい。これとは反対に、係数処理部102bは、高周波成分に比較して低周波成分を得られるように画像処理を行ってもよい。すなわち、係数処理部102bは、複数の詳細フィルタのうち、フィルタ配置において近似フィルタから遠い側の詳細フィルタに対応する分解サブバンド信号を相対的に減衰させ、フィルタ配置において近似フィルタから近い側の詳細フィルタに対応する分解サブバンド信号を相対的に増幅させる重み付けを行うことにより、高周波成分に対して低周波成分を強調する画像処理を行ってもよい。より具体的には、上述したかざぐるまフレームレットの近似フィルタに近い位置にある低周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を1に近い値とし、近似フィルタから遠い位置にある高周波側の周波数特性をもつ詳細フィルタに対応する分解サブバンド信号に対する重み係数を0に近い値に設定してもよい。
 また、係数処理部102bは、複数のフィルタのうち、高周波の周波数特性をもつフィルタおよび低周波の周波数特性をもつフィルタに対応する分解サブバンド信号を相対的に減衰させ、比較的高周波、比較的低周波など中周波の周波数特性をもつフィルタに対応する分解サブバンド信号を相対的に増幅させる重み付けを行うことにより、高周波成分および低周波成分に比較して中周波成分を強調する画像処理を行ってもよい。より具体的には、上述したかざぐるまフレームレットの高周波の周波数特性をもつフィルタおよび低周波の周波数特性をもつフィルタに対応する分解サブバンド信号に対する重み係数を0に近い値とし、中周波の周波数特性をもつ詳細フィルタに対応するサブバンド信号に対する重み係数を1に近い値に設定してもよい。
 また、係数処理部102bは、所定の方位性をもつ詳細フィルタに対応する分解サブバンド信号を減衰または増幅させる重み付けを行うことにより、所定の方位性成分が増減されるように画像処理を行ってもよい。例えば、上述したかざぐるまフレームレットの所定の方位性を有する詳細フィルタに対応する分解サブバンド信号に対する重み係数を1に近い値とし、それ以外を0に近い値に設定することにより、原画像から当該所定の方位性をもつ成分を強調したり抽出することができる。
 また、処理画像取得部102cは、処理画像データを取得する処理画像取得手段である。例えば、処理画像取得部102cは、分解部102aにより取得された、多重解像度分解の分解フェーズにおける分解サブバンド信号による係数出力処理画像データを取得してもよい。係数出力処理画像データを取得する際には、係数処理後の分解サブバンド信号を適切な重みを付けて足し合わせてもよい。また、処理画像取得部102cは、多重解像度分解の合成フェーズにおける合成サブバンド信号を、後述する再構成部102dの処理により、足し合わせることにより再構成した再構成処理画像データを取得してもよい。
 また、処理画像取得部102cの再構成部102dは、分解部102aにより取得された各色成分のサブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成手段である。例えば、再構成部102dは、上述した最大レベルの近似フィルタに対応する近似部分の合成サブバンド信号と、すべての詳細フィルタに対応する詳細部分の合成サブバンド信号を足し合わせることによって、画像を再構成して再構成画像データを取得する。このとき、かざぐるまフレームレットが完全再構成性を有するので、係数処理部102bによる処理を行わなければ、再構成部102dは、原画像と同じ画像を再現する。換言すれば、再構成部102dは、係数処理部102bによる処理により係数処理が実行されてから、合成サブバンド信号を足し合わせることによって、原画像に対して画像処理が施された再構成画像データを取得する。
 ここで、上述した記号(番号)を合成サブバンド信号に用いて、完全再構成性と画像処理の関係について説明する。原画像の入力信号(原信号)をxとすると、次数7のかざぐるまフレームレットによるレベル5の最大重複多重解像度分解の完全再構成性は以下の式で表される。
x=a(1)+(d(1)+・・・+d(99))+・・・+(d(1)+・・・+d(99))
 ここで、分解部102aにおいて係数処理部102bによる各種処理を経た近似部分をa´(1)、詳細部分をd´(1)、・・・、d´(99)とおくと、この場合、再構成画像(信号)は以下の式で表される。
y=a´(1)+(d´(1)+・・・+d´(99))+・・・+(d´(1)+・・・+d´(99))
 このとき、分解部102aにおいて各種処理が行われていなければ、a´(1)=a(1)、d´(1)=d(1)、・・・、d´(99)=d(99)となり、明らかにx=y(原画像と再構成画像が同一)であり、完全再構成となる。本実施の形態において、一例として、係数処理部102bは、所定の周波数特性および/または所定の方位性をもつフィルタに対応するサブバンド信号に対する重み係数を1ではない数値を設定することにより、原画像と同一ではない再構成画像(すなわち再構成処理画像)を生成する。
 ここで、詳細フィルタの分類について説明する。詳細フィルタは、その方位性に基づいて、5種類に分類することができる。すなわち、ある方向に直交する軸を「直交軸」と呼ぶとすると、(1)直交軸と同方向の方位性をもつ詳細フィルタ、(2)直交軸に垂直方向の方位性をもつ詳細フィルタ、(3)直交軸に対し正の角度の方位性をもつ詳細フィルタ、(4)直交軸に対し負の角度の方位性をもつ詳細フィルタ、(5)方位分離されていない詳細フィルタ、の5つに分類することができる。ここで、直交軸に対する角度θは、反時計回りを正とし、−90°<θ≦+90°で表される。なお、直交軸に対して水平または垂直な方位性(θ=0°,90°)をもつ詳細フィルタは、(1)または(2)に分類するので、(3)または(4)には分類しない。また、「(5)方位分離されていない詳細フィルタ」では、直交軸に対する角度の絶対値が同一である正の角度と負の角度の両方の方位性を含んでいるので、(3)または(4)に分類しない。
 例えば、ある方向を縦方向とした場合、図5の例では、「(1)直交軸と同方向の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(15)、d(23)、d(31)、d(39)、d(47)、d(55)、d(63)となる。また、「(2)直交軸と垂直方向の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(1)~d(7)となる。また、「(3)直交軸に対し正の角度の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(64)~d(99)となる。また、「(4)直交軸に対し負の角度の方位性をもつ詳細フィルタ」に対応するサブバンド信号は、d(9)~d(14)、d(17)~d(22)、d(25)~d(30)、d(33)~d(38)、d(41)~d(46)、d(49)~d(54)となる。また、「(5)方位分離されていない詳細フィルタ」に対応するサブバンド信号は、d(8)、d(16)、d(24)、d(32)、d(40)、d(48)、d(56)~d(62)となる。
 また、詳細フィルタは、その周波数特性によっても特徴付けることができる。すなわち、かざぐるまフレームレットの近似フィルタを中心に、近似部分から同心円状に広がる詳細フィルタは、中心から遠ざかるほど高周波成分を通過させ、中心に近づくほど低周波成分を通過させるという特徴を有する。換言すると、かざぐるまフレームレットのフィルタ配置において近似フィルタから遠い側の詳細フィルタは、高周波成分のサブバンド信号を取得し、フィルタ配置において近似フィルタから近い側の詳細フィルタは、低周波成分のサブバンド信号を取得する。
 図5の例では、最も低周波側の周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(7)、d(14)、d(15)、d(64)となる。次に低周波側の周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(6)、d(13)、d(21)~d(23)、d(65)、d(70)、d(71)となる。そして、次に低周波側の周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(5)、d(12)、d(20)、d(28)~d(31)、d(66)、d(72)、d(76)~d(78)となる。次に低周波側の(比較的中周波の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(4)、d(11)、d(19)、d(27)、d(35)~d(39)、d(67)、d(73)、d(79)、d(82)~d(85)となる。そして、次に低周波側の(比較的高周波側の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(3)、d(10)、d(18)、d(26)、d(34)、d(42)~d(47)、d(68)、d(74)、d(80)、d(86)、d(88)~d(92)となる。そして、次に低周波側の(比較的高周波側の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(2)、d(9)、d(17)、d(25)、d(33)、d(41)、d(49)~d(55)、d(69)、d(75)、d(81)、d(87)、d(93)、d(94)~d(99)となる。そして、次に低周波側の(最も高周波側の)周波数特性をもつ詳細フィルタに対応するサブバンド信号は、d(1)、d(8)、d(16)、d(24)、d(32)、d(40)、d(48)、d(56)~d(63)となる。
 この分類の他に、方位分離されている詳細フィルタはその形状により、そのフィルタのもつ方位性の方位方向の軸に対してほぼ対称であるような偶型、方位方向の軸に対してほぼ反対称であるような奇型に分けられる。また、近似フィルタは垂直軸と水平軸に対してほぼ対称であるような偶型である。
 以上が、詳細フィルタの分類についての説明である。
 再び図1に戻り、色空間変換部102fは、色空間の変換や色成分の分解・合成等を行う色空間変換手段である。例えば、色空間変換部102fは、画像データファイル106bに記憶された画像データがカラー画像の場合であって、本実施の形態で用いる色成分によってデータが記述されていない場合、分解部102aによるカラー画像鮮鋭化処理を行う場合等において、目的の色空間(例えば、CIELAB色空間)に変換してもよい。CIELAB色空間に変換することにより、画像は、L(輝度)、a(赤−緑)、b(黄−青)の三つの色成分に分解される。なお、色空間変換部102fは、CIELAB色空間以外の他の色空間に変換してもよい。CIELAB色空間を使用する利点は、ヒトの網膜からの視覚情報変換に近いという点である。なお、画像データが予め本実施の形態で用いる各色成分ごとに色調や階調値等を記述している場合は、色空間変換部102fは、色空間に関する処理を行わなくてよい。なお、必要ならば色空間変換部102fは、再構成部102dによる画像データ再構成処理において、色成分の合成や、色空間の変換、輝度・色のスケール変換等を行う。
 また、処理画像出力部102gは、処理画像取得部102cにより取得された処理画像データ(係数出力処理画像データまたは再構成処理画像データ)を、出力装置114に出力する処理画像出力手段である。例えば、処理画像出力部102gは、モニタ等の表示装置に処理画像を表示出力してもよく、プリンタ等の印刷装置に処理画像を印刷出力して印刷媒体を製造してもよく、記録媒体格納装置に処理画像データを出力して記録媒体に処理画像データを格納することにより記録媒体を製造してもよい。印刷対象の媒体としては、例えば、紙、プラスティック、ガラス、金属等であってもよく、例えば、チラシやうちわ、カード、絵本、年賀状、クリスマスカード、名刺、缶などの容器等の形態であってもよい。なお、出力する形態に応じて、処理画像出力部102gは、用途に応じたデザイン変更(例えば、はがきサイズ等に変更)を行ってもよい。また、処理画像出力部102gは、処理画像データをネットワーク300を介して外部システム200に送信してもよい。
 すなわち、この画像処理装置100は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク300に通信可能に接続されてもよい。図1において、通信制御インターフェース部104は、画像処理装置100とネットワーク300(またはルータ等の通信装置)との間における通信制御を行う。すなわち、通信制御インターフェース部104は、通信回線等に接続されるルータ等の通信装置(図示せず)に接続されるインターフェースであり、他の端末と通信回線を介してデータを通信する機能を有する。図1において、ネットワーク300は、画像処理装置100と外部システム200とを相互に接続する機能を有し、例えば、インターネット等である。
 図1において、外部システム200は、ネットワーク300を介して、画像処理装置100と相互に接続され、画像データやかざぐるまフレームレットに関する外部データベースや、コンピュータを画像処理装置として機能させるためのプログラムを提供する機能を備えてもよい。ここで、外部システム200は、WEBサーバやASPサーバ等として構成していてもよい。また、外部システム200のハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム200の各機能は、外部システム200のハードウェア構成中のCPU、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。
 以上で、本実施の形態における画像処理装置100の構成の説明を終える。
[画像処理装置100の処理]
 次に、このように構成された本実施の形態における本画像処理装置100の処理の一例について、以下に図6~図57を参照して詳細に説明する。
[基本処理]
 まず、画像処理装置100より実行される画像処理の一例として、以下に図6~図8を参照して基本処理について説明する。図6は、本実施の形態における画像処理装置100の基本処理の一例を示すフローチャートである。
 まず、分解部102aは、画像データファイル106bに記憶された画像データに対して、フレームレットファイル106aに記憶された広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる最大重複多重解像度分解を行い、サブバンド信号を取得する(ステップS−1)。ここで、図7および図8は、かざぐるまフレームレットによる多重解像度分解の分解フェーズおよび合成フェーズ(処理無/有)のフィルタ・バンクの一例を示す図である。図中の数字は、レベルを表している。PWは、詳細フィルタであり、Aは、近似フィルタである。
 図7および図8に示すように、まず、分解部102aは、レベル1のかざぐるまフレームレットを用いて、原画像を入力信号として、詳細フィルタPW1を通過する分解サブバンド信号(分解詳細係数dにて表現される信号)と、1枚の近似フィルタA1を通過する信号に分解する。次に、分解部102aは、レベル1の近似フィルタA1を通過した信号を、レベル2のかざぐるまフレームレットを用いて、レベル2の詳細フィルタPW2を通過する分解サブバンド信号(分解詳細係数d)と、レベル2の近似フィルタA2を通過する信号に分解する。分解部102aは、この処理を、最大レベルk(図示の場合、k=5)まで繰り返し行い、分解詳細係数d~d、および、最大レベルkの近似フィルタAkを通過した分解サブバンド信号による分解近似係数aを得る。次に分解サブバンド信号に対して各種処理を行って、分解詳細係数d´~d´と分解近似係数a´を得る。
 すなわち、図7および図8に示すように、分解部102aの係数処理部102bは、フィルタ・バンクの複数のフィルタのうち、少なくとも一つに対応する分解サブバンド信号に対して、線形または非線形の係数処理を行うなど、分解サブバンド信号を相対的に減衰または増幅させる各種処理を行う(ステップS−2)。ここで、一例として、係数処理部102bは、ハードスレッシュホールドやソフトスレッシュホールド等による閾値処理を行ってもよい。また、係数処理部102bは、複数のフィルタのうち、所定の周波数特性および/または所定の方位性をもつフィルタの少なくとも一つに対応する分解サブバンド信号を、減衰または増幅させてもよい。例えば、係数処理部102bは、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、多重解像度分解におけるレベルにより指定された所定の分解サブバンド信号を増減させることにより、所定の周波数成分を増減させる画像処理を行ってもよい。一例として、係数処理部102bは、分解サブバンド信号を形成する、分解フェーズから出力される分解詳細係数および/または分解近似係数に対して係数処理を行ってもよい。すなわち、係数処理部102bは、分解フェーズにおける近似サブバンド信号を増減させてもよく、かつ/または、分解フェーズにおける詳細サブバンド信号を増減させてもよい。
 そして、処理画像取得部102cは、ステップS−2において各種処理が施された処理画像データ(係数出力処理画像データまたは再構成処理画像データ)を取得する(ステップS−3)。図7の例では、処理画像取得部102cは、分解部102aの処理による分解フェーズで得られた、分解詳細係数d~dと分解近似係数aに対し、各種処理が施された分解詳細係数d´~d´と分解近似係数a´を、合成フェーズに入力することなく処理画像データを係数出力処理画像データとして取得してもよく、必要に応じて重み付けして足し合わせて処理画像データとして取得してもよい。他方、図8の例では、処理画像取得部102cは、分解部102aの処理による分解フェーズで得られた、分解詳細係数d~dと分解近似係数aに対し、各種処理が施された分解詳細係数d´~d´と分解近似係数a´を合成フェーズに入力して再構成部102dにより再構成された処理画像データを再構成処理画像データとして取得してもよい。
 以上が、本実施の形態の基本処理である。当該基本処理により、原画像に対して本実施の形態による様々な画像処理を施すことができる。
[カラー画像鮮鋭化処理]
 まず、画像処理装置100より実行される画像処理の一例として、カラー画像の画像鮮鋭化処理について、以下に図9~図21を参照して説明する。図9は、本実施の形態における画像処理装置100のカラー画像鮮鋭化処理の一例を示すフローチャートである。
 まず、分解部102aは、画像データファイル106bに記憶された画像データの各色成分に対して、フレームレットファイル106aに記憶されたかざぐるまフレームレットによる最大重複多重解像度分解を行い、サブバンド信号を取得する(ステップSA−1)。なお、分解部102aは、かざぐるまフレームレットに限られず、方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンクを用いてもよい。また、必要に応じて(例えば、本実施の形態で用いる色成分にて画像データが記述されていなかった場合等)、色空間変換部102fは、カラー画像に対して所望の色空間の変換処理や色成分の分解処理を行ってもよい。一例として、色空間変換部102fは、カラー画像を、CIELAB色空間に変換してもよい。これにより、画像は、L(輝度)、a(赤−緑)、b(黄−青)の三つの色成分に分解される。ここで、図10は、最大重複多重解像度分解の分解フェーズおよび合成フェーズのフィルタ・バンクの一例を示す図である。図中の数字は、レベルを表している。PWは、詳細フィルタであり、次数7の場合、各レベルに99枚存在する。Aは、近似フィルタであり、同じく次数7の場合、各レベルに1枚存在する。なお、図10の例では、最大重複法を用いているが、本実施の形態はこれに限られず、最大間引き法でも他の間引き法を用いてもよい。
 図10に示すように、まず、分解部102aは、レベル1のかざぐるまフレームレットを用いて、原画像を入力信号として、99枚の詳細フィルタを通過する信号と、1枚の近似フィルタを通過する信号(分解詳細係数dにて表現される信号)に分解する。次に、分解部102aは、レベル1の近似フィルタを通過した信号を、レベル2のかざぐるまフレームレットを用いて、99枚の(レベル2の)詳細フィルタを通過する信号(分解詳細係数d)と、1枚の(レベル2の)近似フィルタを通過する信号に分解する。分解部102aは、この処理を、最大レベルk(図示の場合、レベル5)まで繰り返し行い、分解詳細係数d~d、および近似係数aを得る。通常の多重解像度分解では、分解部102aは、分解フェーズで得られた、分解詳細係数d~dからなる信号をそのまま合成フェーズのフィルタ・バンクにかけるが、本実施の形態では、本実施の形態における係数処理を行って、合成フェーズ入力用の分解詳細係数d´~d´を得る。
 すなわち、図9に示すように、分解部102aの係数処理部102bは、多重解像度分解における分解フェーズと合成フェーズとの間において、分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う(ステップSA−2)。ここで、係数処理部102bは、画像データのaおよび/またはbの色成分について、aおよび/またはbの分解詳細係数とLにおける分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上述のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した係数処理を行ってもよい。また、係数処理部102bは、関数処理等の係数処理および/またはエネルギー計算において、分解詳細係数の値が扱い易くなるように、正規化を行ってもよい。ここで、図11は、正規化を伴う分解詳細係数の係数処理の一例を示すフローチャートである。
 図11に示すように、まず、係数処理部102bは、分解フェーズから出力された分解詳細係数xの絶対値を正規化する(ステップSA−21)。例えば、係数処理部102bは、全ての分解詳細係数xが0から1の間の数値に収まるように適切な正規化手法にて分解詳細係数xの正規化を行う。
 そして、係数処理部102bは、正規化分解詳細係数yに基づいて、分解詳細係数のエネルギーを計算する(ステップSA−22)。例えば、係数処理部102bは、正規化分解詳細係数yの二乗ノルム||y||をエネルギーとしてもよい。なお、エネルギーを関数処理で扱えるように正規化する等の指数調整を行ってもよい。
 そして、係数処理部102bは、ステップSA−22にて算出したエネルギーに応じて、非線形的に正規化分解詳細係数yの係数処理を行って係数処理結果zを得る(ステップSA−23)。例えば、係数処理部102bは、エネルギーの大小に応じた係数処理を行うために、エネルギー値に閾値を設けて、エネルギー値の範囲ごとに異なる係数処理を行ってもよく、エネルギー値に閾値を設けることなく、エネルギー値に応じてばらつきが連続的に変化するような関数にて演算することで係数処理を行ってもよい。一例として、係数処理部102bは、分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、連続的に変化するSN関数を用いて、係数処理を行ってもよい。ここで、以下の式1は、SN関数の一例である。式1は、α>1ならばS字曲線となり、α=1ならば直線となり、α<1ならばN字曲線となる。なお、エネルギーとパラメータαの対応の決め方は、一つに固定することなく、個人差を反映させて設定してもよく、また、レベルごと、方位ごと、色成分ごと、分解詳細係数の符号ごとに設定してもよい。
 z=yα/{yα+(1−y)α}    ・・・(式1)
(ここで、yは正規化分解詳細係数であり(0≦y≦1)、αは正規化分解詳細係数のエネルギーに基づく指標値であり(0<α)、zは関数処理された正規化分解詳細係数である。)
 そして、係数処理部102bは、ステップSA−23にて係数処理された正規化分解詳細係数zに対して正規化の逆演算を行うことで、合成フェーズへの入力データx´を取得する(ステップSA−24)。なお、上述のノルムを用いた場合は、以下の式にて逆演算の際に符号を元に戻す。
x´=sgn(x)z´
(ここで、xは分解詳細係数であり、zは係数処理後の値であり、z´は正規化の逆演算結果の値である。ここで、x≧0ならばsgn(x)=1であり、x<0ならばsgn(x)=−1である。なお、x´は符号を戻した結果の値である。)
 再び図9に戻り、分解部102aは、ステップSA−2にて係数処理された分解詳細係数を入力データとして合成フェーズの処理を行う(ステップSA−3)。すなわち、分解部102aは、分解フェーズにて出力された信号を係数処理した信号を合成フェーズのフィルタにより、最終的に、99×5個の合成サブバンド信号(詳細部分)と、1個の合成サブバンド信号(近似部分)を取得する(図10参照)。
 そして、再構成部102dは、分解部102aにより取得された各色成分の合成サブバンド信号を足し合わせて画像を再構成する(ステップSA−4)。なお、合成サブバンド信号を足し合わせた色成分の数値が規定値(例えば、0から255階調の範囲)を超えている場合、再構成部102dは、例えば全体をスケールして規定範囲(例えば0と255の範囲内)に数値を収めてもよく(正規化の方法)、最低規定値(例えば0)以下の数値は最低規定値とし、最高規定値(例えば255)以上の数値は255に置き換えてもよい(閾値を用いた方法)。この他、必要に応じて(例えばRGBで出力しなければならない等)、色空間変換部102fは、色空間の変換や色成分の合成等の処理を行ってもよい。
 以上の処理によって得られた再構成画像は、原画像に対して本実施の形態による画像処理が施されており、例えば、原画像よりも自然な鮮鋭化が施されている。ここで、図12は、原画像と、本実施の形態による鮮鋭化画像と、従来手法による鮮鋭化画像を対比して示す図である。
 図12に示すように、非特許文献1の従来手法では、画像全体を一律に、エッジの明るい側のピクセルを検出してさらに明るくし、エッジの暗い側のピクセルを検出してさらに暗くするような局所的コントラスト制御を行っているので、特に写真の手前付近の木々のように、コントラストが本来十分な箇所についても不必要に白黒に近くなるまで極度な鮮鋭化が施されてしまい不自然な画像になってしまう。一方、本実施の形態によれば、ヒトの初期視覚情報処理に類似した画像処理を施すので、極端なコントラストが施されることがなく自然な鮮鋭化画像を得ることができる。ここで、図13、図14、および、図15は、図12の各写真(512×512画素)において、左から400画素目の列のL,a,bの値をそれぞれ示すグラフである。横軸は、左から400画素目の列において上から行数を表しており、縦軸は、各色成分(L,a,またはb)の値を表している。青色は、原画像の各点の値を表したグラフを示しており、緑色は、本実施の形態による処理画像の各点の値を表したグラフを示しており、赤色は、市販のプログラム製品による処理画像の各点の値を表したグラフを示している。
 図13~図15に示すように、非特許文献1の従来手法では、遠景(横軸の0~300付近)でも近景(横軸の400~500付近)でも、一律に原画像の各点の値を表したグラフの変動を大きくするようにコントラスト制御を行っている。そのため、特に近景(横軸の400~500付近)では、各色成分の激しい変化が生じている。一方、本実施の形態によれば、激しい変動のある近景(横軸の400~500付近)については変動を大きくせずに、変化がなだらかな遠景(横軸の0~300付近)について鮮鋭化を施している。さらに高周波部分だけでなく、低周波部分についても鮮鋭化を施している。そのため、不自然な画像の強調が少なくなっている。
 これにて、画像処理装置100のカラー画像鮮鋭化処理の説明を終える。このような本実施の形態によって自然な鮮鋭化を施すことができる原理は以下のように考えられる。すなわち、ヒトの視覚情報処理には高度な鮮鋭化の機能が備わっており、したがって、本実施形態のように、ヒトの視覚情報処理に基づいた数理モデルによる画像処理は高度な鮮鋭化ができる。しかも、その場合に、脳内の視覚情報処理と類似の処理が行われているために、過度に不自然な鮮鋭化であるとは感じないという利点がある。
[SN関数による係数処理の実施例]
 次に、画像処理装置100の係数処理部102bによりSN関数を用いた係数処理の実施例を以下に示す。
 周囲の刺激量が多いと弱い刺激が抑制され、周囲の刺激量が弱いと弱い刺激が強調されるという現象などを数学的に記述するために、パラメータによりエス字状のグラフをもつ関数からエヌ字状のグラフをもつ関数に連続的に変形していく関数を考える。このような特性をもつ関数を知覚関数と名付ける。知覚関数の一つの例として、以下のSN関数を挙げる。
Figure JPOXMLDOC01-appb-M000001
 ここで、Xを原画像とし、X=(X1,X2,X3)を色空間における表示を表すものとする。例えば、CIELAB色空間を使う場合は、X1をL、X2をa、X3をbに関するデータとする。
 そして、Xμ(μ=1,2,3)をかざぐるまフレームレットで分解する。この実施例では、Xの画素数は512×512ピクセルで、5次のかざぐるまフレームレット((5−1)+(5+1)=52枚)でレベル8の分解の場合について説明する(なお、別の画素数、別のかざぐるまフレームレット等々でも同様の考え方で行うことができる)。
 このとき、Xμの分解データは、以下の式で表せる(ただしl,p,j,kは整数)。
Figure JPOXMLDOC01-appb-M000002
 ここで、(xμ[l,1;j,k])0≦j,k≦511は、かざぐるまフレームレットの分解近似係数であり、(xμ[l,p;j,k])0≦j,k≦511(2≦p≦52)は、かざぐるまフレームレットの分解詳細係数を表すものとする。以下、2≦p≦52とする。
 φμ,l,pを適切な2変数関数として、以下の式とおく(μ=1,2,3)。
Figure JPOXMLDOC01-appb-M000003
 例えば、以下とする(a1,a2は適切な正規化定数;μ=1,2,3)。
Figure JPOXMLDOC01-appb-M000004
 また、以下とする。
Figure JPOXMLDOC01-appb-M000005
 b1,b2,b3,b4を適宜定める非負の実数とする。これはμや各レベルlごとに変えてもよい。また、かざぐるまフレームレットの分解詳細係数のうち、その方位pによって変えてもよい。また、分解詳細係数の符号ごとに変えてもよい。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 xμ[l,p;j,k]の絶対値に適切な正規化を施して、0と1の間に値をとるようにしたものをyμ,1[l,p;j,k]とおく。また、以下とおく。ただし、ここで、SN関数sを適切な知覚関数でおきかえてもよい。
Figure JPOXMLDOC01-appb-M000008
 yμ,2[l,p;j,k]にxμ[l,p;j,k]の符号関数をかけ、正規化の逆演算を施したものをy′μ[l,p;j,k]とする。
 y′μ[l,p;j,k]にかざぐるまフレームレット合成フィルタを施して再構成したデータをX′μとおく(μ=1,2,3)。X′=(X′,X′,X′)とおく。
 X′がXの鮮鋭化画像である。なお、処理画像の例では、b1,b2,b3,b4を、Lについては各レベルごとに方位成分については全部同じとし、a,bは、各レベルごとに、水平・垂直,対角,その他でそれぞれ設定している。
 なお、より人の視知覚に近づけるという目的のために、xμ[l,p;j,k]の符号の違いによって、処理方法を変えてもよい。
 以上で、画像処理装置100におけるSN関数を用いた係数処理の実施例の説明を終える。なお、上述したSN関数の係数処理は、カラー画像の鮮鋭化のために用いることに限られず、グレースケール画像等の鮮鋭化等の画像処理に用いてもよいものである。
[色の対比錯視におけるシミュレーション]
 本実施の形態にて用いる数理モデルが、ヒトの視覚情報処理に近いものであるかを確かめるために、色の対比錯視画像を原画像として、上述した実施の形態による処理を実行した。すなわち、数理モデルがヒトの視覚情報処理に近いものであれば、数理モデルを実装した計算機も錯視を算出するので、本実施の形態にて実際にヒトの錯視をシミュレーションできるかを確かめた。
 図16は、色の対比錯視画像の一例を示す図である。図16の左図(原画像A)と右図(原画像B)では、内側の四角部分の輝度や明度や色彩は全く同じである。しかしながら、周囲の色の配置によって、ヒトの視覚情報処理としては違った色に見える錯覚を生じる。そこで、本実施の形態の画像処理装置100により原画像Aと原画像Bに対しそれぞれ画像処理を行った。図17は、原画像の内側四角部分(原画像AとBで共通)と、原画像Aの画像処理結果である処理画像Aの内側四角部分と、原画像Bの画像処理結果である処理画像Bの内側四角部分とを示す図である。
 図17に示すように、本実施の形態の画像処理装置100による画像処理を行った結果、原画像A,Bに対するヒトの見え方(錯視)と同じように、原画像Aに対応する処理画像Aの内側四角部分は、実際より鮮やかに表現され、原画像Bに対応する処理画像Bの内側四角部分では、実際よりくすんで表現された。したがって、本実施の形態の画像処理装置100による画像処理は、ヒトの視覚情報処理に近いものといえる。
 また、図18は、色の対比錯視画像の他の例を示す図である。図18の左図(原画像C)と右図(原画像D)では、上記と同様に、内側の四角部分の輝度や明度や色彩は全く同じである。図19は、原画像の内側四角部分(原画像CとDで共通)と、原画像Cの画像処理結果である処理画像Cの内側四角部分と、原画像Dの画像処理結果である処理画像Dの内側四角部分とを示す図である。
 図19に示すように、本実施の形態の画像処理装置100による画像処理を行った結果、原画像C,Dに対するヒトの見え方(錯視)と同じように、原画像Cに対応する処理画像Cの内側四角部分は、実際より暗く表現され、原画像Dに対応する処理画像Dの内側四角部分では、実際より明るく表現された。
 また、図20は、色の対比錯視画像の他の例を示す図である。図20の左図(原画像E)と右図(原画像F)では、上記と同様に、内側の四角部分の輝度や明度や色彩は全く同じである。図21は、原画像の内側四角部分(原画像EとFで共通)と、原画像Eの画像処理結果である処理画像Eの内側四角部分と、原画像Fの画像処理結果である処理画像Fの内側四角部分とを示す図である。
 図21に示すように、本実施の形態の画像処理装置100による画像処理を行った結果、原画像E,Fに対するヒトの見え方(錯視)と同じように、原画像Eに対応する処理画像Eの内側四角部分は、実際より暗く表現され、原画像Fに対応する処理画像Fの内側四角部分では、実際より明るく表現された。この例は、aおよびbの処理においてLの値も加味した処理を行った効果が顕著に表れた例である。
 以上の結果、本実施の形態の画像処理装置100による画像処理は、ヒトの視覚情報処理に極めて近いものであることが確かめられた。したがって、ヒトの視覚情報処理に近い数理モデルを用いた本実施の形態による画像処理を行うことによって、ヒトの視覚に近い情報処理を原画像に施して、ヒトが見たい部分のみを鮮鋭化した自然な画像を提供することができる。なお、画像処理装置100の利用目的によっては、ヒトの視覚機能の一部または全部を強化あるいは抑制したような画像処理を行うように設定することも可能である。
[各種画像処理]
 つづいて、上述したカラー画像鮮鋭化処理以外の画像処理の実施例として、以下に、1.ノイズ除去、2.特徴抽出((ア)エッジ検出,(イ)その他の特徴抽出)、3.立体感のある特徴抽出の順で、具体的な方法と応用例について、図22~図55を参照して説明する。以下の例では、かざぐるまフレームレットを用いるが、広義かざぐるまフレームレットやかざぐるまウェーブレット・フレームを用いてもよい。
[1.ノイズ除去]
 本実施の形態において、係数処理部102bにより少なくとも一つの分解詳細係数を相対的に減少させることによりノイズ除去を行う例について説明する。なお、以下の例ではグレースケールの画像を用いているが、同様の方法でカラー画像を適用することもできる。
 ここで、本項目[1.ノイズ除去]において、原画像とはノイズのない元の画像のことであり、ノイズ画像とは原画像にノイズを入れた画像のことである。ここでは、原画像に対してガウス型白色ノイズを入れてノイズ画像を作成した。なお、処理画像とは、係数処理部102bによりノイズ除去処理が行われた後の、処理画像取得部102cにより再構成されたノイズ除去後の画像をいう。
 ここで、ノイズ除去による画像の劣化を数値化するために以下の評価値を用いる。
Figure JPOXMLDOC01-appb-M000009
 そして、原画像をX0、ノイズ除去後の画像(処理画像)をXとすると、本実施例で用いる評価値は、以下の式で表される。この評価値が小さいほど処理画像が原画像に近く、処理画像が劣化していないことになる。
Figure JPOXMLDOC01-appb-M000010
 ノイズ除去では、スレッシュホールド(閾値)を定めて、スレッシュホールドより小さい値あるいはスレッシュホールド以下の値を0にする方法が知られている。そのため、係数処理部102bによるノイズ除去を行うため、スレッシュホールド(閾値)の設定を行った。なお、スレッシュホールドの定め方には様々な公知の方法があるので、以下に例示する方法以外の公知の方法を用いてもよい。例えば、閾値処理としては、ハードスレッシュホールドとソフトスレッシュホールドがよく知られており、以下ではハードスレッシュホールドを用いたが、ソフトスレッシュホールドや他の閾値処理を用いてもよい。
 本実施例では、いくつかのノイズ除去方法を評価値で比較するため、それぞれのノイズ除去方法ごとに、スレッシュホールドを連続的に変化させ、最も良い評価値の場合の値をその方法におけるスレッシュホールドとする。ここで、図22は、本実施例で用いたハードスレッシュホールドを説明するためのグラフである。横軸は、元の係数の値であり、縦軸は、係数処理を行った後の値を示す。すなわち、係数処理部102bが、仮に、傾き1の線形関数を分解サブバンド信号の係数に適用した場合、元の係数の値は全く変化しないので、再構成部102dにより得られる再構成画像は原画像と同一になる。
 図22に示すように、ハードスレッシュホールド法では、係数の絶対値を閾値と比較し、絶対値が閾値以下の場合に、係数を0に置き換える係数処理を行う。このハードスレッシュホールドによって、小さな変動を無視することができ、ノイズを効率よく除去することができる。ここで、図23は、本実施例で用いた原画像であり、図24は、原画像にガウス型白色ノイズを加えたノイズ画像を示す図である。原画像として、0~255の256階調であり、サイズは512×512の画像を用いた。
 本実施の形態によるノイズ除去結果との比較のため、従来の方法による例として、ウェーブレットによるノイズ除去方法を使用した。この従来のウェーブレットによるノイズ除去方法では、ノイズ画像に対して、シムレット4によるレベル2の最大重複多重解像度分解を行った。シムレットについては、MATLABのWavelet Toolboxおよびそれに含まれる解説を参考文献として参照してもよい。なお、すべての分解詳細係数(各レベルの水平・垂直・対角方向の分解詳細係数)に対し、スレッシュホールド48(前述の連続的に変化させる方法により定まった値)で閾値処理を行い、その後、合成フェーズを経て処理画像を得た。なお、処理画像の0より小さい値は0とし、255より大きい値は255とした。図25は、従来のウェーブレットを用いたノイズ除去方法のシムレット4による処理画像であり、図26は、その一部を拡大した図である。なお、従来のウェーブレットを用いたノイズ除去方法のシムレット4による画像処理結果の評価値は、5.0449であった。
 一方、本実施の形態によるノイズ除去方法とその結果を以下に示す。
[かざぐるまフレームレットによるノイズ除去例1]
 本実施形態の画像処理装置100により、ノイズ画像に対して、5次のかざぐるまフレームレットによるレベル1の最大重複多重解像度分解を行った。係数処理部102bによるスレッシュホールドを16(前述の連続的に変化させる方法により定まった値)に設定し、ウェーブレットの場合と同様の方法で処理画像を得た。図27は、本実施の形態によって5次のかざぐるまフレームレットを用いて得られた処理画像であり、図28は、その一部を拡大した図である。この場合の評価値は、4.7736であり、従来のウェーブレットによる方法より良い結果が得られた。また、従来の処理画像(図25,図26)と本実施の形態の処理画像(図27,図28)を肉眼で比較しても、ノイズ除去が効果的に行われていることがわかる。
[かざぐるまフレームレットによるノイズ除去例2]
 かざぐるまフレームレットは次数を有するので、より適切な次数を選ぶことでさらに効果的なノイズ除去を行うことができる。また、かざぐるまフレームレットは多様な方位選択性を持つため、フィルタ数が多い。そこで、分解フェーズにおける詳細サブバンド信号ごとに、それを構成する分解詳細係数に用いるスレッシュホールドを変えることにより、ノイズ除去効果を高めることが期待できる。
 そこで、かざぐるまフレームレットによるノイズ除去例2として、ノイズ画像に対して7次のかざぐるまフレームレットによるレベル1の最大重複多重解像度分解を行った。係数処理部102bによるスレッシュホールドは、対応する分解フェーズにおける詳細サブバンド信号ごとに変えた。具体的には、分解フェーズの各サブバンド信号を構成する詳細係数の取りうる最大値に0.075をかけたものをスレッシュホールドとした(前述の連続的に変化させる方法により定まった値)。言い換えれば、絶対値が0から最大値の0.075倍までに入る値を0とした。その他は、前の例と同様の方法で処理画像を得た。図29は、本実施の形態によって7次のかざぐるまフレームレットを用いてフィルタごとに閾値を変えた場合に得られた処理画像であり、図30は、その一部を拡大した図である。この場合の評価値は、4.3718であり、上述のノイズ除去例1よりもノイズ除去効果が改善されることが確かめられた。
[かざぐるまフレームレットによるノイズ除去例3]
 かざぐるまフレームレットは周波数域の分離機能が高いため、さらに細やかなノイズ除去が可能である。そこで、かざぐるまフレームレットによるノイズ除去例3として、ノイズ画像に対して、7次のかざぐるまフレームレットによるレベル2の最大重複多重解像度分解を行った。そして、レベル1のすべての分解詳細係数と、レベル2の図31に示す分解詳細係数に、例2と同様の方法で閾値処理を行った後、処理画像を得た。ただし、分解詳細係数の取り得る最大値に0.073をかけたものをスレッシュホールドとした(前述の連続的に変化させる方法により定まった値)。図31は、レベル2で閾値処理を行う分解詳細係数を斜線にて示した図である。なお、表の配置は、7次のかざぐるまフレームレットのフィルタ配置に対応している(7次のかざぐるまフレームレットについて図3~図5参照)。図中のgは、分解フェーズにおける近似サブバンド信号を示し、hは、分解フェーズにおける詳細サブバンド信号を表している。
 図32は、本実施の形態によって7次のかざぐるまフレームレットを用いてレベル2の高周波部分まで閾値処理をした処理画像であり、図33は、その一部を拡大した図である。この場合の評価値は、4.3647であった。ノイズ除去例3では、レベル2の高周波に対応する分解フェーズにおける詳細サブバンド信号にも閾値処理を行うことにより、前述のノイズ除去例1,2よりも更に良い結果が得られた。従来、ウェーブレットを用いたノイズ除去方法では、どのレベルまで閾値処理を行うかという選択しかできなかったが、かざぐるまフレームレットでは、周波数域の分離機能が高いため、このように細かく周波数成分を選択して効果的にノイズ除去を行うことができることが確かめられた。
[2.特徴抽出]
 本実施の形態における係数処理部102bにより、分解フェーズから出力される近似係数・詳細係数の少なくとも一つを相対的に減衰または増幅することにより画像の特徴抽出を行う例について以下に説明する。
[2.(ア)エッジ検出]
 従来、エッジ検出の方法としては、単純なフィルタリングの方法やウェーブレットを用いた方法がよく知られている(非特許文献6,7参照)。しかし、かざぐるまフレームレットは、多様な周波数分解能、方位選択性の機能を有するため、従来のエッジ検出の方法に比べて、用途により多様なエッジ検出が可能となることが期待される。
 図34は、本実施例でエッジ検出のために用いた原画像を示す図である。原画像は、0~255の256階調で、サイズは1536×1536のものを用いた。用いた原画像は、グレースケールであるが、画像がカラーの場合は公知の方法でグレースケールに変換してもよい。
[エッジ検出例1]
 まず、本実施形態の画像処理装置100を用いて、7次のかざぐるまフレームレットでレベル2の最大重複多重解像度分解を行った。係数処理部102bにより、各分解サブバンド信号に対し、レベル1では図35に示す数値で、レベル2では図36に示す数値で、重みづけを行った。なお、表の配置は、7次のかざぐるまフレームレットのフィルタ配置に対応している(7次のかざぐるまフレームレットについて図3~図5参照)。図中の数値は、サブバンド信号の係数に対する重み付け値である。
 これにより、エッジに関連する高周波成分が抽出される。取り出された分解サブバンド信号には、エッジ検出に必要のない、あるいは、エッジ検出の妨げとなる絶対値が小さい値も含まれるので、その値を除くために閾値処理を行った。スレッシュホールドの求め方と閾値処理の方法は公知の適切な方法を用いてもよい。本例では、各分解サブバンド信号の採り得る最大値に0.005をかけたものをスレッシュホールドとしハードスレッシュホールドによる閾値処理を行った。これにより各分解サブバンド信号ごとにスレッシュホールドを定めることができる。その後、処理画像取得部102cの処理により、合成フェーズを経た処理画像を得た。
 エッジ検出の処理画像は、そのままでは表示に適さないので、処理画像出力部102gにより、以下の二つの方法で表示する。なお、エッジ検出の処理画像の表示方法は他の公知の方法を用いてもよい。
<打ち切りによる表示>
 ヒトの知覚としては、二値化画像より多値画像の方が、エッジを認識し易いことがある。そこで、打ち切りによる表示を行う。具体的には、処理画像のm1より小さい値をm1とし、m2より大きい値をm2とする。
 図37は、エッジ検出例1により得られた処理画像を打ち切りした画像を示す図である。打ち切り表示において、m1=0、m2=3とした。
<二値化による表示>
 二値化による表示では、tより小さい値を0としt以上の値を1とすることにより二値化画像を得る。
 図38は、t=1で二値化した処理画像を示す図である。図37および図38に示すように、本エッジ検出例1による結果、処理画像の画像中央付近と左側に、原画像ではほとんど判別できなかった送電線があることがわかり、本実施の形態のエッジ検出による効果が確かめられた。
[エッジ検出例2]
 つづいて、かざぐるまフレームレットの方位性を利用したエッジ検出の例として、エッジ検出例2を行った。上述のエッジ検出例1の処理で原画像において送電線を検出することができたが、これをさらに検出するために、この部分の検出に特化した処理を行う。すなわち、エッジ検出例2では、7次のかざぐるまフレームレットでレベル2の最大重複多重解像度分解をし、各分解サブバンド信号に対し、レベル1では図39に示す数値で、レベル2では図40に示す数値で、重みづけを行った。これにより、送電線の向きに近い方向に関連した分解サブバンド信号が得られる。各分解サブバンド信号の取りうる最大値に0.005をかけたものをスレッシュホールドとし、ハードスレッシュホールドによる閾値処理を行い、合成フェーズを経て処理画像を得た。
 図41は、本エッジ検出例2による打ち切り処理画像であり、図42は、本エッジ検出例2による二値化処理画像を示す図である。この図41では、m1=0、m2=2の打ち切りを行った。図42は、t=0.4で二値化した処理画像を示す図である。
 図41および図42に示すように、本エッジ検出例2では、送電線以外の部分ではエッジ検出例1よりエッジ検出は劣るが、送電線がよりよく検出されている。
 ここで、本実施の形態では、エッジ検出結果を利用して画像の鮮鋭化も行うことができる。すなわち、原画像に処理画像を加え重畳させることで、画像の鮮鋭化を行うこともできる。図43は、打ち切り処理をして15倍にした処理画像を原画像に加えた画像を示す図である。図43に示すように、送電線が視認できる画像となっている。
[エッジ検出例3]
 ここで、以下に、エッジ検出の別方法を示す。すなわち、かざぐるまフレームレットによる多重解像度分解を利用して、エッジにあまり寄与しない分解フェーズのサブバンド信号を0あるいはそれに近い値にすることにより、エッジに寄与する分解フェーズのサブバンド信号を相対的に強調したエッジ検出を行う。これは、閾値の算出を必要としない簡易な方法で、かざぐるまフレームレットの多様な方位選択性や多様な周波数選択性によって可能になるものである。前述の方法に比べ、調整の機能は劣るが、あらかじめ所定のフィルタを設計しておくことにより高速処理が可能である。
 以下では、次数5のかざぐるまフレームレットの場合を例にして述べる。次数5の場合は、各レベルにおいて、分解フェーズにおける52個のサブバンド信号が得られる。これらの分解サブバンド信号を説明のため、図44に基づいて番号づける。なお、図44は、レベル2の図であるが、他のレベルも同様である。番号は、次のように表記する。
(x1,x2,Z,p)
ここで、pはレベルを表わす数字、Zはaまたはbのどちらかの側(図44の左側の36枚がaに属し、右側の16枚がbに属す)、x1は行、x2は列である。たとえば、(5,4,a,2)の「5」は図44の行、「4」は図44の列、「a」はa,bのうちのa、「2」はレベルである。
 ウェーブレットの場合は、分解フェーズにおける近似サブバンド信号を構成する成分をすべて0に減衰させる「素朴な方法」(Naive Edge Detection)が知られている([非特許文献6]参照)。この方法を、かざぐるまフレームレットに適用しても良いが、かざぐるまフレームレットの場合、ウェーブレットとは違い、分解フェーズにおける多様な詳細サブバンド信号を有する。そのため、エッジに関係しない分解フェーズにおける詳細サブバンド信号を選出し、その信号の成分を0にするあるいは減衰させることにより相対的にエッジに係わる詳細サブバンド信号を増幅させ、エッジ検出を行うことが可能である。なおこの方法はかざぐるまフレームレット以外でも、たとえば単純かざぐるまフレームレットで実施することも可能である。
 実施例として、まず原画像のノイズ除去を行う。これは本実施の形態による方法でも、公知の方法でも良い。次に、エッジに寄与しない分解フェーズにおける低周波のサブバンド信号を0にすることにより、相対的にエッジに寄与する分解フェーズにおけるサブバンド信号を増幅させる。例えば、図44の配置で、(1,1,a,1)を含まず、(1,1,a,1)を囲むような領域を複数の方向に扇形状に重複も許して分割する。各分割領域において、その分割領域に属さないサブバンド信号を0、あるいは減衰させることにより、特定の方向をもつエッジを検出することができる。それにより、発見したエッジをさらに抽出する必要がある場合は、対象となるエッジに関係しない分解フェーズにおけるサブバンド信号を減衰させることができる。
 本実施例は、ノイズ除去として、3次のかざぐるまフレームレットによる最大重複多重解像度分解のレベル1の近似部分として再構成された画像を原画像とした。それに、5次のかざぐるまフレームレットによる最大重複多重解像度分解を行い、山の稜線、電柱、送電線の方位と同じ方位の分解フェーズにおけるサブバンド信号は残すようにし、細かい部分を表わす高周波に関与する分解フェーズのサブバンド信号を0にした。具体的には、(4,3,b,1),(4,2,b,1),(4,3,a,1),(4,2,a,1),(4,1,a,1),(3,4,b,1),(3,3,b,1),(3,2,b,1),(3,3,a,1),(3,2,a,1),(3,1,a,1),(2,3,b,1),(2,2,b,1),(1,2,a,1)以外の分解フェーズのサブバンドは0とした。なお、これは一例であって、さらに用途によって、0にしない分解フェーズのサブバンド信号を選ぶことができる。
 図45は、本エッジ検出の結果得られた処理画像について、二値化の方法(t=0.37)で表示した画像を示す図であり、図46は、処理画像を打ち切りの方法(m1=0, m2=1)により表示した画像を示す図である。これにより、閾値の算出を行わなくとも簡易な方法でエッジ検出ができることが確かめられた。
[2.(イ)その他の特徴抽出]
 エッジ検出では高周波の分解サブバンド信号を利用したが、他の周波数域の分解サブバンド信号を利用した画像処理も可能である。かざぐるまフレームレットの高い周波数分解機能と多様な方位選択性を利用して様々な画像処理ができる。また、ノイズ除去、エッジ検出では、分解サブバンド信号に閾値処理を行ったが、他の線形・非線形処理を行って画像処理に適用することもできる。これらの画像処理では、画像の持つある特徴を抽出したり強調したりすることができるので、以下に例を示す。
 エッジ検出に用いた上述の原画像を、7次のかざぐるまフレームレットでレベル2の最大重複多重解像度分解をし、レベル1の分解サブバンド信号に対しては図47に示す重み付けを行い、レベル2の分解サブバンド信号に対しては図48に示す重み付けを行った。
 この例ではエッジ検出よりもやや低い周波数の分解サブバンド信号が取り出される。各分解サブバンド信号の取りうる最大値に0.005をかけたものをスレッシュホールドとし、ハードスレッシュホールドによる閾値処理を行った。この閾値処理後の分解サブバンド信号をSとする。合成フェーズを経て処理画像を得た。
 図49は、m1=−4、m2=0の打ち切りを行った処理画像を示す図である。図49に示すように、画像のやや大まかな特徴が抽出されることが分かった。そこで、処理後の分解サブバンド信号SにSN関数による非線形処理を行った。上述の[SN関数による係数処理の実施例]と同じ方法でα=3/4とした。α<1なので詳細係数の絶対値が小さい値が増幅され、絶対値が大きい値が抑制される。そして、合成フェーズを経た処理画像を得た。
 図50は、m1=−2、m2=0の打ち切りを行った処理画像を示す図である。図49の例では弱かった部分も、図50では強く現れることが分かった。さらに、処理後の分解サブバンド信号Sにα=4/3としてSN関数による非線形処理を行った。α>1なので詳細係数の絶対値が大きい値が増幅され、絶対値が小さい値が抑制される。合成フェーズを経た処理画像を得た。
 図51は、m1=−6、m2=0の打ち切りを行った処理画像を示す図である。図51に示すように、山の稜線付近や手前の木など、もともと強い特徴も持つ部分が強調されることが分かった。ここで、処理画像をm1=−6、m2=6で打ち切り処理をし、5倍したものを原画像に加えると、図52に示す鮮鋭化画像が得られる。図52は、m1=0、m2=255で打ち切り処理をして表示している。図52に示すように、山の画像では印象的な稜線が適度に鮮鋭化され見やすい画像となっている。
[3.立体感のある特徴抽出]
 この例では、合成フェーズを経ずに、また再構成をせずに、処理を加えた分解詳細係数を重みを付けて足し合わせて出力画像とした係数出力処理画像について説明する。2次元の画像でも、物体に一定の方向から光が当たったときにできるような影が表現されていると、その物体に立体感を感じることがある。実際、ヒトのこの知覚の特性を利用して、これまで立体感のある絵画が描かれてきた。
 かざぐるまフレームレットは多様な方位選択性があり、特に分解フェーズにおけるサブバンド信号を作るフィルタは偶型のみならず、奇型のものを含んでいるので、こういった特性を用いて、人工的に影付のエッジを自動的に作り、立体感のあるエッジ検出画像を作ることができる。なお、この例により得られる立体感は、感覚的なものであり、物理的な立体的広がりを表現しているわけではない。画像を見た人に立体感を感じさせることにより、エッジを視認しやすくすることが目的である。
 以下の例では、原画像に5次のかざぐるまフレームレットで最大重複多重解像度分解を行った。例えば、以下に述べる実施例の場合は、画像内の蒸気に立体感をもたせるため、蒸気の方向に影がつくように分解フェーズのサブバンド信号のうち、(1,4,a,1),(2,1,a,1)の5倍,(2,2,a,1)の5倍,(3,4,a,1),(2,2,b,1)の5倍,(3,4,b,1)を加算した。ここで、分解サブバンド信号を指定する表記は、上述の「エッジ検出例3」におけるものと同じで、図44に示されている。図53は、原画像であり、図54は、立体感のある特徴抽出を行った結果を示す図である。なお、本例では単一レベル内の処理となっているが、複数のレベルにまたがって重みを付けた分解サブバンド信号を加算する場合は、位置のずれを補正してから加算してもよい。
 図54に示すように、蒸気が膨らんで見え、立体感があることで通常のエッジ検出よりエッジが視認しやすい。ただし、見え方には個人差があり、蒸気が凹んで見える人もいる。そのため、階調を反転して表示した画像を作成した。図55は、立体感のある特徴抽出を行った出力画像に対し、階調を反転して表示した画像を示す図である。
 このように、平面画像が影の付け方により、膨らんで見えたり、凹んだり見えたりする目の錯覚は「クレーター錯視」と呼ばれている。立体感のある特徴抽出は、平面画像からクレーター錯視を自動生成するという機能も有している。
 図53の原画像では地上の様子が蒸気に隠れてわかりにくく、蒸気の様子も分かりにくいが、図54または図55の処理画像では蒸気に立体感が感じられることにより蒸気の様子が分かり易くなっているので、地上の様子も視認しやすい。従来の方法では、地上を覆う蒸気のように、重なり合ったものを分かり易くエッジ検出することは困難であった。本実施の形態では、立体的に重なり合っているものに対しても、視認しやすい処理画像を提供することができるという効果をもたらす。なお、応用例としては、レントゲン写真などの画像処理が考えられる。
 以上、各種画像処理の例を列挙したが、かざぐるまフレームレットは多様なフィルタを有しているため、用途は上述したものに限られず、フィルタとしても多様な用途に利用することができる。
[かざぐるまフレームレット]
 本実施の形態で、例として用いているかざぐるまフレームレットは、上述したように公知の単純かざぐるまフレームレットあるいはかざぐるまウェーブレット・フレームなどの方位選択性ウェーブレット・フレーム、或いは方位選択性をもつフィルタ・バンクでもよい。ここで、かざぐるまフレームレットについて以下に説明する。
 次数をn≧3,奇数として、A=(Ak,l):(n+1)×(n+1)対称行列で、s=0,1・・・,[n/2],t=s,・・・,[n/2]に対して、As,t=An−s,t=As,n−t=An−s,n−t=sを満たす行列をみつける。ただし[]はガウス記号を表す。
 n=7の場合、条件を満たす行列は以下である。
Figure JPOXMLDOC01-appb-M000011
 B=(Bk,l):(n+1)×(n+1)行列とすると、以下の条件(P)を満たす行列である。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
 ここで、Mは、方形格子、五の目格子、あるいは六角格子のサンプリング行列である。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
 補題2(H.&S.Arai,2008) Pが方形格子,五の目格子,六角格子に関するフレームレット・フィルタであるための必要十分条件は、B=(Bk,l)が以下の条件をみたすことである。
Figure JPOXMLDOC01-appb-M000019
<上記条件を満たすB=(Bk,l)の求め方>
 {(k,l):k=0,1,・・・,n,l=s,・・・,n,}を次のように順序付ける。
Figure JPOXMLDOC01-appb-M000020
μ=(k,l),ν=(k´,l´)
Figure JPOXMLDOC01-appb-M000021
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
 定理3(H.&S.Arai,2008)以上で得たB=(Bk,l)は補題2を満たす。したがって、Pは方形格子,五の目格子,六角格子に関するフレームレット・フィルタになっている。Pを、次数nのかざぐるまフレームレット(pinwheel framelet of degree n)とよぶ。図56は、レベル2における最大重複かざぐるまフレームレット・フィルタ(maximal overlap pinwheel framelet filters at level 2)にレベル1の近似フィルタを循環相関積して得たフィルタを示す図である。また、図57は、テスト画像に対し、かざぐるまフレームレットによりレベル2の最大重複多重解像度分解(2nd stage of maximal overlap MRA decomposition by pinwheel framelet)を行った結果の各合成サブバンド信号を示す図である。
 以上で、本実施の形態の説明を終える。
 以上詳述に説明したように、本実施の形態によれば、自然な画像鮮鋭化や様々なエッジの検出やノイズ除去など多様な画像処理を行うことができる、画像処理装置、画像処理方法、および、プログラム、並びに、印刷媒体、および、記録媒体を提供することができるので、医療画像、航空写真、衛星画像等の画像処理や画像解析等の分野において極めて有用である。また、本実施の形態によれば、カラー画像に対して自然な画像鮮鋭化を行うことができる、画像処理装置、画像処理方法、および、プログラム、並びに、印刷媒体、および、記録媒体を提供することができる。特に、色の対比錯視は、製品等の色の見え方に関わることであるので、色彩の施された製品等を製造・販売等する産業(印刷、デザイン、映像、塗装等の産業)の他、映像等のサービスを提供するサービス業等において極めて有用である。
[他の実施の形態]
 さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。
 例えば、上述した実施の形態における色空間として、CIE(国際照明委員会)均等知覚色空間(L表現系)を用いた例について説明した場合があるが、これに限られず、ヒトの視覚に近い色空間であれば他の色空間における色成分を用いてもよい。
 例えば、画像処理装置100がスタンドアローンの形態で処理を行う場合を一例に説明したが、画像処理装置100は、クライアント端末(画像処理装置100とは別筐体)からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。例えば、画像処理装置100は、ASPサーバとして構成され、ユーザ端末からネットワーク300を介して送信された原画像データを受信し、この原画像データに基づいて加工した処理画像の再構成画像データを、ユーザ端末に返信してもよい。
 また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
 このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
 また、画像処理装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
 例えば、画像処理装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置100に機械的に読み取られる。すなわち、ROMまたはHDD(Hard Disk Drive)などの記憶部106などには、OS(Operating System)として協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
 また、このコンピュータプログラムは、画像処理装置100に対して任意のネットワーク300を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
 また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。
 また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
 記憶部106に格納される各種のデータベース等(フレームレットファイル106a、画像データファイル106b)は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
 また、画像処理装置100は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。
 更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施の形態を任意に組み合わせて実施してもよく、実施の形態を選択的に実施してもよい。
 100 画像処理装置
 102 制御部
 102a 分解部
 102b 係数処理部
 102c 処理画像取得部
 102d 再構成部
 102f 色空間変換部
 102g 処理画像出力部
 104 通信制御インターフェース部
 106 記憶部
 106a フレームレットファイル
 106b 画像データファイル
 108 入出力制御インターフェース部
 112 入力装置
 114 出力装置
 200 外部システム
 300 ネットワーク

Claims (23)

  1.  記憶部と制御部を少なくとも備えた画像処理装置であって、
     上記記憶部は、
     方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
     画像データを記憶する画像データ記憶手段と、
     を備え、
     上記制御部は、
     上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、
     上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得手段と、
     を備え、
     上記分解手段は、
     上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理手段を更に備えたこと
     を特徴とする画像処理装置。
  2.  請求項1に記載の画像処理装置において、
     上記処理手段は、
     上記分解フェーズにおける上記サブバンド信号に対して、線形または非線形の係数処理を行うこと
     を特徴とする画像処理装置。
  3.  請求項1または2に記載の画像処理装置において、
     上記処理手段は、
     上記分解フェーズにおける上記サブバンド信号に対して、閾値処理を行うこと
     を特徴とする画像処理装置。
  4.  請求項1または2に記載の画像処理装置において、
     上記処理手段は、
     上記分解フェーズにおける上記サブバンド信号をなす分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行うこと
     を特徴とする画像処理装置。
  5.  請求項1乃至4のいずれか一つに記載の画像処理装置において、
     上記処理手段は、
     複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記フィルタの少なくとも一つに対応する上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させること
     を特徴とする画像処理装置。
  6.  請求項5に記載の画像処理装置において、
     上記所定の周波数特性は、
     上記広義かざぐるまフレームレットまたは上記かざぐるまウェーブレット・フレームの各レベルでの方位に基づく所定のフィルタ配置における位置、および/または、上記多重解像度分解におけるレベルにより指定されること
     を特徴とする画像処理装置。
  7.  請求項1乃至6のいずれか一つに記載の画像処理装置において、
     上記処理手段は、
     複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させること
     を特徴とする画像処理装置。
  8.  請求項1乃至6のいずれか一つに記載の画像処理装置において、
     上記処理手段は、
     複数の上記フィルタのうち、所定の周波数特性および/または所定の方位性をもつ上記奇型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に増幅させることに加えて、偶型フィルタの少なくとも一つに対応する上記分解フェーズにおけるサブバンド信号を相対的に減衰させてもよいこと
     を特徴とする画像処理装置。
  9.  請求項1乃至8のいずれか一つに記載の画像処理装置において、
     上記処理手段は、
     上記分解フェーズから出力される分解詳細係数および/または分解近似係数に対して処理を行うことにより、上記分解フェーズにおける上記サブバンド信号を減衰または増幅させること
     を特徴とする画像処理装置。
  10.  記憶部と制御部を少なくとも備えた画像処理装置であって、
     上記記憶部は、
     方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、
     画像データを記憶する画像データ記憶手段と、
     を備え、
     上記制御部は、
     上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解手段と、
     上記分解手段により取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成手段と、
     を備え、
     上記分解手段は、
     上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理手段を更に備えたこと
     を特徴とする画像処理装置。
  11.  請求項10に記載の画像処理装置において、
     上記色成分は、
     CIELAB色空間における、L、a、および、b、または人の視覚に近い色空間の各色成分であること
     を特徴とする画像処理装置。
  12.  請求項11に記載の画像処理装置において、
     上記係数処理手段は、
     上記画像データのaおよび/またはbの色成分について、aおよび/またはbの上記分解詳細係数とLにおける上記分解詳細係数から定めたエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、上記エネルギーが小さければ小さいほど絶対値が小さな値を増強するように補正した上記係数処理を行うこと
     を特徴とする画像処理装置。
  13.  請求項10乃至12のいずれか一つに記載の画像処理装置において、
     上記係数処理手段は、
     上記分解詳細係数のエネルギーが大きい場合にはS字曲線に、小さい場合にはN字曲線に、自動的に連続的な変化をする関数を用いて、上記係数処理を行うこと
     を特徴とする画像処理装置。
  14.  請求項10乃至13のいずれか一つに記載の画像処理装置において、
     上記係数処理手段は、
     上記分解フェーズと上記合成フェーズの間において、上記分解詳細係数を正規化し、正規化された上記分解詳細係数である正規化分解詳細係数のノルムを上記エネルギーとして、当該正規化分解詳細係数に対して上記係数処理を行い、係数処理された上記正規化分解詳細係数に対して上記正規化の逆演算を行うこと
     を特徴とする画像処理装置。
  15.  請求項10乃至14のいずれか一つに記載の画像処理装置において、
     上記係数処理手段は、
     上記分解詳細係数の符号の違いによって別個の処理を行ってもよいこと
     を特徴とする画像処理装置。
  16.  請求項10乃至15のいずれか一つに記載の画像処理装置において、
     上記分解手段は、
     上記方位性が水平方向、垂直方向、対角方向からなる双直交ウェーブレットフィルタ・バンク、または、上記方位性が多方向の広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを用いて、上記多重解像度分解を行うこと
     を特徴とする画像処理装置。
  17.  請求項10乃至16のいずれか一つに記載の画像処理装置において、
     上記分解手段による上記多重解像度分解は、
     最大重複多重解像度分解、最大間引き多重解像度分解、または、一部間引き一部重複多重解像度分解であること
     を特徴とする画像処理装置。
  18.  記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、
     上記記憶部は、
     方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
     画像データを記憶する画像データ記憶手段と、
     を備え、
     上記制御部において実行される、
     上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
     上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、
     を含み、
     上記分解ステップは、
     上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを更に含むこと
     を特徴とする画像処理方法。
  19.  記憶部と制御部を少なくとも備えた画像処理装置において実行される画像処理方法であって、
     上記記憶部は、
     方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、
     画像データを記憶する画像データ記憶手段と、
     を備え、
     上記制御部において実行される、
     上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
     上記分解ステップにて取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、
     を含み、
     上記分解ステップは、
     上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを更に含むこと
     を特徴とする画像処理方法。
  20.  記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、
     上記記憶部は、
     方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、次数を有する広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームを記憶するフィルタ記憶手段と、
     画像データを記憶する画像データ記憶手段と、
     を備え、
     上記制御部において、
     上記画像データに対して、広義かざぐるまフレームレットまたはかざぐるまウェーブレット・フレームによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
     上記分解手段により取得された、上記多重解像度分解の分解フェーズにおける上記サブバンド信号による処理画像データ、または、上記多重解像度分解の合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成した処理画像データを取得する処理画像取得ステップと、
     を実行させるためのプログラムであって、
     上記分解ステップにおいて、
     上記フィルタの少なくとも一つに対応する、上記多重解像度分解の上記分解フェーズにおける上記サブバンド信号を、減衰または増幅させる処理を行う処理ステップを
     更に実行させるためのプログラム。
  21.  記憶部と制御部を少なくとも備えた画像処理装置に画像処理方法を実行させるためのプログラムであって、
     上記記憶部は、
     方位性のない近似フィルタ、および、各方位性をもった複数の詳細フィルタの集合である、方位選択性ウェーブレット・フレームまたは方位選択性フィルタ・バンクを記憶するフィルタ記憶手段と、
     画像データを記憶する画像データ記憶手段と、
     を備え、
     上記制御部において、
     上記画像データの各色成分に対して、上記方位選択性ウェーブレット・フレームまたは上記方位選択性フィルタ・バンクによる多重解像度分解を行い、サブバンド信号を取得する分解ステップと、
     上記分解ステップにて取得された各色成分の上記合成フェーズにおける上記サブバンド信号を足し合わせることにより画像を再構成して、再構成画像データを取得する再構成ステップと、
     を実行させるためのプログラムであって、
     上記分解ステップにおいて、
     上記多重解像度分解における分解フェーズと合成フェーズとの間において、上記分解フェーズから出力される分解詳細係数に対して、当該分解詳細係数のエネルギーが大きければ大きいほど絶対値が小さな値をより小さく抑制し、当該分解詳細係数のエネルギーが小さければ小さいほど絶対値が小さな値を増強するように係数処理を行う係数処理ステップを
     更に実行させるためのプログラム。
  22.  処理画像が印刷された印刷媒体であって、
     上記処理画像は、
     原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、
     所定の上記成分が、減衰または増幅されていること
     を特徴とする印刷媒体。
  23.  処理画像を表示するための画像データを記録したコンピュータ読み取り可能な記録媒体であって、
     上記処理画像は、
     原画像を構成する、広義かざぐるまフレームレットもしくはかざぐるまウェーブレット・フレームによって抽出された各成分、または、方位選択性ウェーブレット・フレームもしくは方位選択性フィルタ・バンクによって抽出された各成分のうち、
     所定の上記成分が、減衰または増幅されていること
     を特徴とする画像データを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/063871 2012-05-14 2013-05-13 画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体 WO2013172471A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201380025075.9A CN104285239B (zh) 2012-05-14 2013-05-13 图像处理装置、图像处理方法、以及印刷介质
KR1020147032069A KR101697634B1 (ko) 2012-05-14 2013-05-13 화상 처리 장치, 화상 처리 방법, 프로그램, 인쇄 매체, 및 기록 매체
RU2014147957A RU2628481C2 (ru) 2012-05-14 2013-05-13 Устройство обработки изображения, способ обработки изображения, программа, печатный носитель и носитель записи
US14/400,440 US9292910B2 (en) 2012-05-14 2013-05-13 Image processing apparatus, image processing method, program, printing medium, and recording medium
JP2013541095A JP5599520B2 (ja) 2012-05-14 2013-05-13 画像処理装置、画像処理方法、および、プログラム
EP13791446.1A EP2851866A4 (en) 2012-05-14 2013-05-13 Image processing device, image processing method, program, printing medium and recording medium
IL235680A IL235680A0 (en) 2012-05-14 2014-11-13 Image processing device, image processing method, software, printing means, and recording means
US15/006,455 US20160140698A1 (en) 2012-05-14 2016-01-26 Image processing apparatus, image processing method, program, printing medium, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-110949 2012-05-14
JP2012110949 2012-05-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/400,440 A-371-Of-International US9292910B2 (en) 2012-05-14 2013-05-13 Image processing apparatus, image processing method, program, printing medium, and recording medium
US15/006,455 Continuation US20160140698A1 (en) 2012-05-14 2016-01-26 Image processing apparatus, image processing method, program, printing medium, and recording medium

Publications (1)

Publication Number Publication Date
WO2013172471A1 true WO2013172471A1 (ja) 2013-11-21

Family

ID=49583869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063871 WO2013172471A1 (ja) 2012-05-14 2013-05-13 画像処理装置、画像処理方法、プログラム、印刷媒体、および、記録媒体

Country Status (9)

Country Link
US (2) US9292910B2 (ja)
EP (1) EP2851866A4 (ja)
JP (3) JP5599520B2 (ja)
KR (1) KR101697634B1 (ja)
CN (1) CN104285239B (ja)
IL (1) IL235680A0 (ja)
RU (1) RU2628481C2 (ja)
TW (1) TWI532011B (ja)
WO (1) WO2013172471A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5385487B1 (ja) * 2012-02-29 2014-01-08 独立行政法人科学技術振興機構 スーパーハイブリッド画像生成装置、スーパーハイブリッド画像生成方法、印刷媒体製造方法、電子媒体製造方法、および、プログラム
CN104285239B (zh) * 2012-05-14 2018-02-23 独立行政法人科学技术振兴机构 图像处理装置、图像处理方法、以及印刷介质
KR101769042B1 (ko) * 2012-09-28 2017-08-17 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코 착시의 분석 장치, 원화상대로 지각시키도록 착시를 가미한 착시 가미 화상 생성 장치, 착시의 분석 방법, 원화상대로 지각시키도록 착시를 가미한 착시 가미 화상 생성 방법 및 프로그램
CN104968272A (zh) * 2013-01-30 2015-10-07 国立研究开发法人科学技术振兴机构 图像处理用数字滤波器、图像处理装置、印刷介质、记录介质、图像处理方法以及程序
JP6448526B2 (ja) * 2015-12-02 2019-01-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理プログラム
JP6619638B2 (ja) * 2015-12-09 2019-12-11 Eizo株式会社 画像処理装置及びプログラム
US10387991B2 (en) * 2016-07-01 2019-08-20 Intel Corporation Method and apparatus for frame buffer compression
CN107016640A (zh) * 2017-04-06 2017-08-04 广州爱图互联网有限公司 基于多尺度分解的图片能量归一化处理方法及系统
CN109063541B (zh) * 2017-06-08 2021-11-12 墨奇公司 用于指纹识别的系统和方法
TWI709872B (zh) * 2018-01-04 2020-11-11 金佶科技股份有限公司 生物特徵影像處理方法及其電子裝置
WO2020091766A1 (en) 2018-10-31 2020-05-07 Hewlett-Packard Development Company, L.P. Luminance-biased sharpening for thermal media printing
US10885612B2 (en) 2018-10-31 2021-01-05 Hewlett-Packard Development Company, L.P. Luminance-biased sharpening for thermal media printing
CN109857367B (zh) * 2018-12-13 2023-06-30 上海集成电路研发中心有限公司 一种嵌入式图像处理的小波分解加速电路
CN111596870B (zh) * 2020-04-30 2022-11-18 厦门汉印电子技术有限公司 打印图像的轮廓加强方法、装置、设备及可读存储介质
CN115578621B (zh) * 2022-11-01 2023-06-20 中国矿业大学 一种基于多源数据融合的图像识别方法
CN116665615B (zh) * 2023-07-27 2023-11-14 深圳市安立信电子有限公司 一种医用显示器控制方法、系统、设备及其存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248824A (ja) * 2002-02-26 2003-09-05 Fuji Xerox Co Ltd 画像処理装置および画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799112A (en) 1996-08-30 1998-08-25 Xerox Corporation Method and apparatus for wavelet-based universal halftone image unscreening
EP0938235A1 (en) * 1998-02-20 1999-08-25 Canon Kabushiki Kaisha Digital signal coding and decoding
US6288842B1 (en) * 2000-02-22 2001-09-11 3M Innovative Properties Sheeting with composite image that floats
RU2174710C1 (ru) * 2000-03-20 2001-10-10 Общевойсковая Академия Вооруженных Сил Российской Федерации Способ автоматического улучшения полутонового изображения
JP4187134B2 (ja) * 2001-02-20 2008-11-26 株式会社リコー 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
EP2003612A4 (en) * 2006-03-31 2010-10-13 Nikon Corp IMAGE PROCESSING
CN101734031B (zh) * 2006-04-24 2013-06-12 精工爱普生株式会社 印刷介质
CN101201937B (zh) * 2007-09-18 2012-10-10 上海医疗器械厂有限公司 基于小波重构与分解的数字图像增强方法及其装置
CN104285239B (zh) * 2012-05-14 2018-02-23 独立行政法人科学技术振兴机构 图像处理装置、图像处理方法、以及印刷介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248824A (ja) * 2002-02-26 2003-09-05 Fuji Xerox Co Ltd 画像処理装置および画像処理方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
E. N. JOHNSON; M. J. HAWKEN; R. SHAPLEY: "The spatial transformation of color in the primary visual cortex of the macaque monkey", NATURE NEUROSCIENCE, vol. 4, no. 4, 2001, pages 409 - 416
HELP AND SUPPORT FOR PHOTOSHOP/ADVANCED SHARPENING TECHNIQUE, 6 April 2006 (2006-04-06)
HITOSHI ARAI: "A Nonlinear Model of Visual Information Processing Based on Discrete Maximal Overlap Wavelets", INTERDISCIPLINARY INFORMATION SCIENCES, vol. 11, no. 2, 2005, pages 177 - 190, XP055124621, DOI: doi:10.4036/iis.2005.177
HITOSHI ARAI: "Shikaku no Kagaku to Sugaku Wavelet de Saguru Sakushi no Sekai Dai 1 Kai Shikaku no Suri Model to Wavelet", MATHEMATICAL SCIENCES, vol. 46, no. 8, 1 August 2008 (2008-08-01), pages 64 - 69, XP008169165 *
HITOSHI ARAI: "Shikaku no Kagaku to Sugaku Wavelet de Saguru Sakushi no Sekai Dai 3 Kai Shikaku no Hisenkei Suri Model to Sakushi Hassei no Simulation", MATHEMATICAL SCIENCES, vol. 46, no. 10, 1 October 2008 (2008-10-01), pages 63 - 68, XP008174375 *
HITOSHI ARAI; SHINOBU ARAI: "2D tight framelets with orientation selectivity suggested by vision science", JSIAM LETTERS, vol. 1, 2009, pages 9 - 12, XP055124465, DOI: doi:10.14495/jsiaml.1.9
HITOSHI ARAI; SHINOBU ARAI: "Finite discrete, shift-invariant, directional filterbanks for visual information processing, I: Construction", INTERDISCIPLINARY INFORMATION SCIENCES, vol. 13, no. 2, 2007, pages 255 - 273, XP055215492, DOI: doi:10.4036/iis.2007.255
P. J. VAN FLEET: "Discrete Wavelet Transformations", 2008, WILEY
R. C. GONZALEZ; R. E. WOODS: "Digital Image Processing", 2008, PEARSON INTERNATIONAL EDITION
See also references of EP2851866A4

Also Published As

Publication number Publication date
CN104285239B (zh) 2018-02-23
JPWO2013172471A1 (ja) 2016-01-12
RU2628481C2 (ru) 2017-08-17
US20160140698A1 (en) 2016-05-19
JP6162283B2 (ja) 2017-07-12
JP2016139430A (ja) 2016-08-04
KR20150008877A (ko) 2015-01-23
JP2014059916A (ja) 2014-04-03
RU2014147957A (ru) 2016-06-20
EP2851866A1 (en) 2015-03-25
JP5599520B2 (ja) 2014-10-01
US20150131906A1 (en) 2015-05-14
EP2851866A4 (en) 2016-05-25
CN104285239A (zh) 2015-01-14
IL235680A0 (en) 2015-01-29
KR101697634B1 (ko) 2017-02-01
TWI532011B (zh) 2016-05-01
TW201401228A (zh) 2014-01-01
US9292910B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
JP6162283B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
US9418452B2 (en) Print medium displaying illusion image and non-transitory computer-readable recording medium holding illusion image data
JP5622971B2 (ja) 錯視の分析装置、原画像のとおり知覚させるように錯視を加味した錯視加味画像生成装置、錯視の分析方法、原画像のとおり知覚させるように錯視を加味した錯視加味画像生成方法、および、プログラム
Mahmood et al. Human visual enhancement using multi scale retinex
Afruz et al. Frequency domain pseudo-color to enhance ultrasound images
Trivedi et al. HYBRID MODEL FOR INFRARED AND VISIBLE IMAGE FUSION
Khandelwal et al. W-VDSR: wavelet-based secure image transmission using machine learning VDSR neural network
Deshmukh et al. A comparative study of different image fusion techniques for tone-mapped images
WO2018034302A1 (ja) エッジ起因錯視生成装置、エッジ起因錯視生成方法、エッジ起因錯視生成プログラム、印刷媒体、ならびに、記録媒体
Bovik Introduction to digital image processing
Unaldi Wavelet domain Retinex algorithm for image contrast enhancement
John 2-D Quaternion Discrete Fourier Transform in Color Image Enhancement
Jaliminche et al. Camouflage image generation system for security

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013541095

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13791446

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14400440

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 235680

Country of ref document: IL

ENP Entry into the national phase

Ref document number: 20147032069

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013791446

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014147957

Country of ref document: RU

Kind code of ref document: A