WO2011033744A1 - 画像処理装置、画像処理方法および画像処理用プログラム - Google Patents

画像処理装置、画像処理方法および画像処理用プログラム Download PDF

Info

Publication number
WO2011033744A1
WO2011033744A1 PCT/JP2010/005517 JP2010005517W WO2011033744A1 WO 2011033744 A1 WO2011033744 A1 WO 2011033744A1 JP 2010005517 W JP2010005517 W JP 2010005517W WO 2011033744 A1 WO2011033744 A1 WO 2011033744A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
term
attribute
function
restored
Prior art date
Application number
PCT/JP2010/005517
Other languages
English (en)
French (fr)
Inventor
柴田剛志
池谷彰彦
仙田修司
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/395,820 priority Critical patent/US9196025B2/en
Priority to JP2011531779A priority patent/JP5617841B2/ja
Publication of WO2011033744A1 publication Critical patent/WO2011033744A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Definitions

  • the present invention relates to an image processing device, an image processing method, and an image processing program, and more particularly, to an image processing device, an image processing method, and an image processing program for restoring a deteriorated image.
  • MAP estimation Maximum a Posteriori Estimation
  • MAP estimation is a general method for restoring degraded images that have deteriorated due to blurring, noise, resolution reduction, or the like.
  • MAP estimation is a technique for obtaining an optimized result by using prior knowledge about an amount to be estimated. Therefore, what kind of prior knowledge is used in MAP estimation is important.
  • Non-Patent Documents 1 and 2 describe, for example, methods for obtaining prior knowledge by learning, performing MAP estimation, and restoring degraded images.
  • Non-Patent Document 1 describes a method of specializing an image to be restored as a face image, acquiring prior knowledge of the face image by learning, and performing MAP estimation based on the prior knowledge.
  • Non-Patent Document 1 also describes a case where an image to be restored is specialized to a character image, and prior knowledge of the character image is acquired by learning to perform MAP estimation.
  • Non-Patent Document 2 describes a method in which a general image is used as a restoration target image, prior knowledge in the general image is obtained by learning, and MAP estimation is performed based on the prior knowledge.
  • Non-Patent Document 1 a high-quality restored image can be obtained from a deteriorated image by performing MAP estimation based on detailed prior knowledge such as facial structure information.
  • the restoration target image is specialized for a face image (or a character image)
  • the images that can be restored are limited.
  • Non-Patent Document 2 images that can be restored are not limited, but prior knowledge applicable to all images is used. As a result, the image quality improvement effect is reduced.
  • an object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program that can obtain a high-quality restored image from a deteriorated image without limiting the restoration target image.
  • the image processing apparatus calculates, as a conditional probability, a probability that an attribute exists for each region in an input deteriorated image for each attribute that is an element that is predetermined as an element that can exist in the deteriorated image.
  • Conditional probability calculating means, conditional probability calculated by the conditional probability calculating means for each area in the deteriorated image for each attribute, and attributes in that area of the restored image candidate when there is an attribute in a certain area Is a function that uses the prior knowledge defined as the conditional probability that appears and the input degraded image as a variable, and the value of the restored image candidate is closer to the true restored image.
  • Optimization function determining means for determining an optimization function that is a function to be reduced, and a restored image determination that identifies a candidate for a restored image that minimizes the value of the optimization function and determines the candidate as a restored image of a degraded image Characterized in that it comprises a stage.
  • the image processing method calculates, as a conditional probability, a probability that an attribute exists for each region in an input degraded image for each attribute that is an element that is predetermined as an element that can exist in the degraded image.
  • the prior probability calculated for each region in the degraded image for each attribute, and the prior knowledge defined as the conditional probability that the attribute appears in that region of the candidate for the restored image when there is an attribute in that region And an input deteriorated image to determine an optimization function that uses a restored image candidate as a variable and has a value that decreases as the restored image candidate is closer to a true restored image.
  • a candidate for a restored image that minimizes the value of the optimization function is specified, and the candidate is determined as a restored image of a degraded image.
  • the image processing program conditions the probability that an attribute exists for each region in the input degraded image for each attribute that is a predetermined element as an element that can exist in the degraded image.
  • Conditional probability calculation processing to calculate as a probability, conditional probability calculated for each region in the degraded image for each attribute in the conditional probability calculation processing, and that region of the restored image candidate when there is an attribute in a certain region. This function uses the prior knowledge defined as the conditional probability that the attribute appears in and the input degraded image as a variable, and the restored image candidate is close to the true restored image.
  • An optimization function determination process that determines an optimization function that is a function that decreases as much as possible, and a candidate for a restored image that minimizes the value of the optimization function is identified, and that candidate is restored to a degraded image Characterized in that to perform the restore image determining process of determining a.
  • FIG. 5 is an explanatory diagram illustrating a column vector representing the image illustrated in FIG. 4. It is explanatory drawing which shows the example of the matrix B showing degradation by blurring. It is a flowchart which shows the example of the process progress of the image processing apparatus of this invention. It is a flowchart which shows the example of process progress of calculation of conditional probability. It is a block diagram which shows the example of the minimum structure of this invention.
  • FIG. 1 is a block diagram showing an example of an image processing apparatus of the present invention.
  • the image processing apparatus of the present invention includes a deteriorated image input unit 10, an attribute probability calculation unit 11, an optimization function determination unit 12, an optimization processing unit 13, a restored image output unit 14, and a prior knowledge storage unit 15. Is provided.
  • the image processing apparatus of the present invention represents an image as a vector and performs an operation using the vector. That is, a case where the image processing apparatus of the present invention treats an image as a column vector in which pixel values are arranged in a predetermined order will be described as an example.
  • an example in which an image is a column vector in which pixel values are arranged in the raster scan order is taken as an example.
  • handling an image as a vector is an example of the present invention, and in the present invention, an image may be represented in a format other than a vector (for example, a matrix or the like).
  • the degraded image input unit 10 is an input device to which a degraded image to be restored is input.
  • the input mode of the deteriorated image is not particularly limited.
  • the deteriorated image input to the image processing apparatus of the present invention is not limited to an image showing a specific subject.
  • the attribute probability calculation unit 11 calculates what attributes are present in the deteriorated image input to the deteriorated image input unit 10. Specifically, this process is a process for obtaining, as a conditional probability, the probability that each attribute exists for each region in the degraded image.
  • An attribute is an element that is predetermined as an element that may exist in the degraded image (that is, an element that may exist in the image).
  • an object such as a person, a person's face, a building
  • a character that can be photographed with the object, a background, or the like is an attribute (element).
  • characteristic parts appearing in the image such as edges (areas with a large luminance gradient) and corners (areas with corners) also correspond to attributes (elements).
  • the type of attribute is predetermined.
  • the input deteriorated image is represented as X.
  • there are K types of attributes, and the i-th attribute is represented as A i . Note that i 1,..., K.
  • An area in the image is represented as R.
  • the attribute probability calculation unit 11 obtains the conditional probability P (A i
  • FIG. 2 is an explanatory diagram schematically showing a conditional probability distribution related to attributes in a deteriorated image, taking four different attributes as examples.
  • FIG. 2A shows a distribution of a portion having a high conditional probability and a portion having a low conditional probability in which a human face is attribute A 1 and attribute A 1 exists.
  • FIG. 2E shows the relationship between the color shading schematically shown in FIG. 2 and the conditional probability. The higher the conditional probability, the closer to white, the lower the conditional probability. It shows that it is expressed in a color closer to black.
  • FIG. 2A shows that the conditional probability P (A 1
  • FIG. 2B shows a distribution of conditional probabilities in which a window is attribute A 2 and attribute A 2 exists.
  • FIG. 2B shows that the conditional probability P (A 2
  • the building as attributes A 3 represents the distribution of the conditional probability exists that attribute A 3.
  • FIG. 2C shows that the conditional probability P (A 3
  • the background attribute A 4 represent the distribution of the conditional probability that the attribute A 4 are present.
  • FIG. 4D shows that the conditional probability P (A 4
  • each pixel in the image may be set as one region R.
  • each region R can be represented by a pixel number that identifies the pixel.
  • a region composed of a plurality of pixels may be determined.
  • the region R can be represented by a set of pixel numbers.
  • the entire image may be a single region R.
  • the attribute probability calculation unit 11 calculates the similarity between a template predetermined for each attribute and the region R extracted from the image, and obtains a conditional probability P (A i
  • X, R) using the similarity as a variable is determined in advance for each attribute, and the attribute probability calculation unit 11 assigns the similarity to the function,
  • X, R) may be calculated.
  • X, R) is not particularly limited, and the conditional probability P (A i
  • the optimization function determination unit 12 uses the input deteriorated image X, the conditional probability P (A i
  • the optimization function is a function that uses a restored image candidate as a variable, and the value becomes smaller as the restored image candidate is closer to the true restored image (that is, the closer the similarity is).
  • the optimization function is represented as E (Y).
  • Y means a candidate for a restored image that is substituted as a variable in the optimization function. A specific configuration of the optimization function determination unit 12 will be described later.
  • the prior knowledge storage unit 15 is a storage device that stores prior knowledge used when the optimization function determination unit 12 determines an optimization function.
  • the optimization processing unit 13 calculates a restored image candidate Y that minimizes the value of the optimization function E (Y), and determines the candidate Y as a restored image.
  • the restored image output unit 14 is an output device that outputs the restored image determined by the optimization processing unit 13.
  • the restored image output unit 14 is realized by a display device that displays the restored image.
  • the display device is an example of the restored image output unit 14, and the restored image output unit 14 may be an output device that outputs the restored image in a mode other than display.
  • the optimization function is expressed as the sum of two terms.
  • the first term represents a difference between an image obtained by degrading the restored image candidate Y and the actually input degraded image X.
  • the first term is referred to as an experience error term.
  • the second term pays attention to each attribute, and for the attribute of interest, the attribute in the case of obtaining an evaluation function that shows a small value when the attribute of interest exists in the image. This is the sum of the evaluation functions for each.
  • This evaluation function is a function having Y as a variable. This evaluation function can also be referred to as energy.
  • the second term is referred to as a regularization term.
  • the empirical error term becomes smaller as the restored image candidate Y approaches the true restored image.
  • the regularization term is provided to stabilize the solution when obtaining the solution (true restored image) from the optimization function.
  • the optimization function is represented only by empirical error terms, there are innumerable solutions that can be taken by the optimization processing unit 13, and the solutions become unstable. Therefore, by expressing the optimization function using not only the empirical error term but also the regularization term, it is possible to limit the solution from innumerable solutions and stabilize the solution.
  • FIG. 3 is a block diagram illustrating an example of the optimization function determination unit 12.
  • the optimization function determination unit 12 includes an empirical error term setting unit 121, a regularization term setting unit 122, and an optimization function configuration unit 123.
  • the degraded image input unit 10, the attribute probability calculation unit 11, the prior knowledge storage unit 15, and the optimization processing unit 13 are also illustrated.
  • the experience error term setting unit 121 determines an experience error term using the degraded image X input to the degraded image input unit 10. For example, the experience error term setting unit 121 may determine an experience error term as shown in the following equation (1).
  • E data (Y, X) is an empirical error term.
  • B is a matrix representing a process in which the restored image deteriorates.
  • E data (Y, X) determined by the experience error term setting unit 121 Y is a vector variable. As the restored image candidate Y, which is a variable, approaches the true restored image, the value of the empirical error term E data (Y, X) decreases.
  • a matrix representing a low-pass filter representing camera blur may be used as the matrix B representing the process in which the restored image deteriorates.
  • the matrix B representing the process in which the restored image deteriorates.
  • a specific example of the matrix B will be described by taking as an example the case where the matrix B is a matrix representing deterioration due to camera blur (blurring).
  • FIG. 4 shows an example of an image to be blurred
  • FIG. 4 illustrates an image of 5 ⁇ 5 pixels.
  • the pixel values a 22 and the pixel values a 11 of its neighboring pixels a 12, a 13, a 21, a 23, a 31 , A 32 , a 33 with the average value.
  • FIG. 5 is a column vector representing the image illustrated in FIG.
  • FIG. 6 is an example of a matrix B representing deterioration due to blurring. However, in FIG. 6, elements for two rows of the matrix B are shown, and the other rows are not shown. In FIG. 6, the first row of the two specifically shown rows is referred to as the k-th row for convenience, and the next row is referred to as the (k + 1) -th row.
  • the image shown in FIG. 4 can be represented by the column vector shown in FIG. Therefore, the matrix illustrated in FIG. 6 may be used as the matrix B to be multiplied by this column vector in order to simulate blurring.
  • K-th row shown in FIG. 6 is a matrix component for use in replacement of the pixel values a 22.
  • k + 1 th row shown in FIG. 6 is a matrix component for use in replacement of the pixel values a 23.
  • other lines are omitted in FIG. If the column vector shown in FIG. 5 is multiplied from the right side of the matrix B shown in FIG. 6, the average value of each pixel can be calculated. The same applies to the calculation of the other rows of the matrix B shown in FIG.
  • the matrix B representing the deterioration due to blurring may be determined so as to satisfy the following condition, for example.
  • the first condition is that each row corresponds to each pixel in the image.
  • the second condition is that when the number of pixels used for the average calculation is n, the value of each component in each row is the pixel corresponding to the row whose pixel value is multiplied by that component and the pixels in the vicinity thereof. If it is a value, it is set to 1 / n, and is set to 0 if the pixel value to be multiplied is a pixel value of a pixel other than the pixel corresponding to the row and its neighboring pixels. Note that this condition is an example. For example, instead of making the values of the rows of the matrix B uniform, the matrix B may be determined so as to satisfy other conditions such as setting based on a normal distribution.
  • the method of determining the matrix B in Equation (1) is not limited to the above method, and may be determined by other methods.
  • a matrix representing deterioration due to factors other than blurring may be defined as the matrix B.
  • the empirical error term setting unit 121 includes the following: An experience error term may be defined as shown in equation (1) ′.
  • q is a real number satisfying q> 0.
  • the regularization term setting unit 122 uses the deteriorated image X input to the deteriorated image input unit 10, the conditional probability P (A i
  • the regularization term is expressed as shown in the following formula (2).
  • E reg (Y) is a regularization term. As already explained, the regularization term focused on each individual attribute, and for the attribute of interest, an evaluation function that shows a small value when the attribute of interest exists in the image was obtained. The sum of evaluation functions for each attribute in the case. E i (Y) in equation (2) is an evaluation function for each attribute, and the right side of equation (2) represents the sum.
  • E i (Y) is the conditional probability P (A i
  • a i , R) represents, as a conditional probability, the probability that the attribute A i appears in the region R of the candidate Y of the restored image when the attribute A i exists in the region R. .
  • a I is the I-th attribute, and an attribute of a human face.
  • a I , R) becomes a larger value as the pixel value of the region R of the candidate Y of the restored image represents a human face.
  • a i , R) is obtained by learning in advance using the method described in Non-Patent Document 2, for example, and stored in the prior knowledge storage unit 15.
  • a i , R) is determined as a function of image Y.
  • a i , R) may be determined as a function of Y as exemplified in Expression (3).
  • k is a value for identifying each component included in the attribute
  • N is the total number of each component included in the attribute.
  • individual components included in the attribute include components such as a right eye, a left eye, and a mouth when the attribute is a human face.
  • N 1.
  • J ki (R) is a matrix representing a filter in the region R for detecting the k-th component in the attribute A i . The larger the value of J ki (R) ⁇ Y, the more likely it is that there is a part that is likely to be a constituent part in the region R in the image Y.
  • the attribute A i is a human face
  • the k-th component among the components included in the attribute is the right eye.
  • J ki (R) ⁇ Y the greater the value of J ki (R) ⁇ Y, the more likely the right eye of the human face is in the region R in the image Y.
  • Such a filter J ki (R) is determined for each component of each attribute.
  • ⁇ ki is a coefficient that defines the weights of the following parts corresponding to the 1st to Nth components in the equation (3).
  • J ki (R) and ⁇ ki in equation (3) may be determined in advance by learning.
  • a learning image (learning data) obtained by photographing the attribute A i may be prepared, and J ki (R) and ⁇ ki for each component may be obtained from the learning data by learning.
  • a i , R) expressed as a function of Y like Expression (3) is determined for each attribute.
  • the regularization term setting unit 122 determines a decreasing function of the conditional probability P (A i
  • a i , R) for example, P (A i
  • the regularization term setting unit 122 determines an evaluation function E i (Y) for the i-th attribute A i as shown in the following equation (4).
  • the function for each region is ⁇ P (A i
  • the regularization term setting unit 122 may determine the regularization term E reg (Y) as shown in equation (2) as the sum of the evaluation functions defined as in equation (4) for each attribute.
  • the optimization function configuration unit 123 determines the optimization function E (Y) as the sum of the empirical error term E data (Y, X) and the regularization term E reg (Y). That is, the optimization function configuration unit 123 determines the optimization function E (Y) as shown in the following equation (5).
  • E (Y) E data (Y, X) + E reg (Y) Equation (5)
  • the attribute probability calculation unit 11, the optimization function determination unit 12, the experience error term setting unit 121, the regularization term setting unit 122, and the optimization function configuration unit 123, and the optimization processing unit 13 are, for example, an image processing program. It is realized by a CPU of a computer that operates according to the above. In this case, the program storage device (not shown) of the computer stores the image processing program, and the CPU reads the program. According to the program, the attribute probability calculation unit 11, the optimization function determination unit 12 (experience error term setting unit) 121, the regularization term setting unit 122, the optimization function configuration unit 123), and the optimization processing unit 13. In addition, the attribute probability calculation unit 11, the optimization function determination unit 12, and the optimization processing unit 13 may be realized by different hardware. The empirical error term setting unit 121, the regularization term setting unit 122, and the optimization function configuration unit 123 may also be realized by different hardware.
  • FIG. 7 is a flowchart showing an example of processing progress of the image processing apparatus of the present invention.
  • the attribute probability calculation unit 11 determines the probability that each attribute exists for each region in the deteriorated image X as a conditional probability P (A i
  • FIG. 8 is a flowchart showing an example of processing progress of calculation of conditional probability (step S1).
  • the attribute probability calculation unit 11 selects one template (step S11).
  • the template is an image or filter prepared in advance for each attribute as an image representing the attribute.
  • the attribute probability calculation unit 11 selects one template from a plurality of templates prepared for each attribute.
  • the attribute probability calculation unit 11 extracts the region R from the input deteriorated image X and performs template matching (step S12). Specifically, the attribute probability calculation unit 11 extracts a region R from the deteriorated image X, and calculates the similarity between the region R and the template. For example, the attribute probability calculation unit 11 may calculate the absolute value of the difference between the pixel values for each corresponding pixel in the region R and the template, and determine the reciprocal of the sum as the similarity. Alternatively, the similarity may be calculated by another calculation method.
  • the region R may be the same size as the template or a size different from the template.
  • the region R may be enlarged or reduced to the same size as the template (that is, the same number of pixels as the template) to calculate the similarity.
  • each pixel included in the deteriorated image R may be set as one region R.
  • the attribute probability calculation unit 11 may extract one pixel serving as the region R and surrounding pixels and calculate the similarity with the template in step S12.
  • step S12 the attribute probability calculation unit 11 substitutes the similarity calculated in step S12 into a function for obtaining the conditional probability P (A i
  • X, R) using the similarity as a variable is determined in advance for each attribute.
  • the attribute probability calculation unit 11 may select a function corresponding to the attribute indicated by the currently selected template and substitute the similarity to the function.
  • X, R) may be determined as follows. For example, a function format that is common except for parameters may be determined, and parameters may be determined for each attribute by learning. As a specific example, for example, it is assumed that the function for obtaining the conditional probability P (A i
  • a parameter (proportional coefficient in this case) for the attribute of interest is determined from the learning data.
  • parameters may be determined for other attributes.
  • X, R) is determined to be a function proportional to the square of the similarity is taken as an example, but the form of the function is another form. May be.
  • the attribute probability calculation unit 11 determines whether or not there is a region in the degraded image X for which the conditional probability P (A i
  • FIG. 8 illustrates the case where template matching is performed
  • X, R) is not limited to the method shown in FIG.
  • X, R) may be calculated.
  • the empirical error setting unit 121 of the optimization function determining unit 12 determines the empirical error term E data (Y, X) as shown in equation (1) (see step S2, FIG. 7).
  • the matrix B in Expression (1) (that is, the matrix B representing the process in which the restored image deteriorates) may be determined in advance.
  • the regularization term setting unit 122 determines the regularization term E reg (Y) (step S3).
  • the regularization term setting unit 122 determines, for example, the evaluation function E i (Y) exemplified in the equation (4) for each attribute, and uses the equation (4) as the sum of the evaluation functions E i (Y) of each attribute.
  • the regularization term E reg (Y) may be determined as shown in 2).
  • the optimization function configuration unit 123 sets the optimization function E (Y) as the sum of the empirical error term E data (Y, X) and the regularization term E reg (Y). Is determined (step S4).
  • the optimization processing unit 13 obtains Y when the optimization function E (Y) determined by the optimization function configuration unit 123 is minimized, and determines the image Y as a restored image of the deteriorated image X. (Step S5).
  • the optimization processing unit 13 may obtain Y for minimizing the optimization function E (Y) by, for example, the gradient method.
  • the optimization processing unit 13 causes the restored image output unit 14 to output the restored image determined in step S5 (step S6).
  • the optimization processing unit 13 causes the restored image output unit 14 to display the restored image.
  • X, R) is obtained from the degraded image X, and the degraded image X, the conditional probability P (A i
  • the optimization function E (Y) is determined using the previously determined prior knowledge P (Y
  • the regularization term setting unit 122 determines the evaluation function E i (Y) for the i-th attribute A i as shown in Expression (4) is shown, but the evaluation function E i ( Y) is not limited to equation (4).
  • the regularization term setting unit 122 may determine the evaluation function E i (Y) for the i-th attribute A i as shown in Expression (6) below.
  • a i , R) determined for each region R is ⁇ log ⁇ P (A i
  • the sum of the functions for each region R may be an evaluation function E i (Y) as shown in Expression (6).
  • the regularization term setting unit 122 may determine the evaluation function E i (Y) as shown in the following equation (7).
  • a i , R) determined for each region R is ⁇ P (A i
  • the sum of the functions for each region R may be an evaluation function E i (Y) as shown in Expression (7).
  • the regularization term setting unit 122 may determine the evaluation function E i (Y) as shown in the following equation (8).
  • a i , R) determined for each region R is ⁇ log ⁇ P (A i
  • the sum of the functions for each region R may be an evaluation function E i (Y) as shown in Expression (8).
  • the method of determining the evaluation function E i (Y) for each attribute is not limited to one method.
  • the regularization term setting unit 122 determines the sum of the evaluation functions E i (Y) for each attribute as the regularization term E reg (Y) as shown in Equation (2), Good.
  • the evaluation function is defined for each attribute as the sum of the functions for each region R
  • the regularization term E reg (Y) is defined as the sum of the evaluation functions for each attribute.
  • the regularization term setting unit 122 may calculate the regularization term E reg (Y) by calculation of the following equation (9).
  • the optimization function configuration unit 123 has shown the case where the optimization function E (Y) is defined as the sum of the empirical error term and the regularization term as shown in Expression (5).
  • the optimization function E (Y) may be defined as a weighted sum of an empirical error term and a regularization term. That is, the optimization function E (Y) may be determined as shown in the following equation (10).
  • E (Y) E data (Y, X) + ⁇ ⁇ E reg (Y) Equation (10)
  • ⁇ in equation (10) is a weighting coefficient indicating the weight of the regularization term, and is predetermined. If it is known in advance that the degree of deterioration of the input deteriorated image X is small, ⁇ may be set to a small value to reduce the weight of the regularization term. Conversely, when it is known in advance that the degree of deterioration of the input deteriorated image X is large, it is sufficient to increase ⁇ to a large value and increase the weight of the regularization term.
  • E (Y) a weighted sum of the empirical error term and the regularization term
  • FIG. 9 is a block diagram showing an example of the minimum configuration of the present invention.
  • the image processing apparatus of the present invention includes conditional probability calculation means 31, optimization function determination means 32, and restored image determination means 33.
  • the conditional probability calculation means 31 (for example, the attribute probability calculation unit 11) has an attribute for each region in the input degraded image for each attribute that is an element that is predetermined as an element that can exist in the degraded image. Is calculated as a conditional probability.
  • the optimization function determination unit 32 (for example, the optimization function determination unit 12) has the conditional probability calculated by the conditional probability calculation unit 31 for each region in the deteriorated image for each attribute and an attribute in a certain region.
  • An optimization function is determined, which is a function whose value decreases as the candidate is closer to a true restored image.
  • the restored image determination means 33 (for example, the optimization processing unit 13) identifies a restored image candidate that minimizes the value of the optimization function, and determines the candidate as a restored image of the degraded image.
  • a general image can be restored to a high-quality restored image without being limited to a degraded image obtained by photographing a specific subject.
  • Conditional probability calculation which calculates the probability that an attribute exists regarding each area
  • An optimization function determination means (for example, an optimization function determination unit 12) that determines an optimization function that is a function that decreases in value as it approaches, and identifies a candidate for a restored image that minimizes the value of the optimization function,
  • the candidate is inferior Restored image determining means for determining as a restored image of the image (e.g., the optimization processor 13) an image processing apparatus, characterized in that it comprises a.
  • a first term (for example, Expression (1)) in which the optimization function determining unit represents a difference between an image obtained by degrading the restored image candidate Y and the actually input degraded image X.
  • the first term setting means (for example, the experience error term setting unit 121) that defines E data (Y, X)) in Eq., And the conditional probability calculated by the conditional probability calculation means and the prior knowledge decreasing function for each region.
  • a second term setting means (for example, E reg in Formula (2)) that defines a function related to each attribute as the sum of the decreasing functions for each region, and sets the sum of the functions defined for each attribute as a second term.
  • a regularization term setting unit 122) that defines (Y)
  • optimization function configuration means (for example, an optimization function configuration unit 123) that defines the sum of the first term and the second term as an optimization function.
  • a first term (for example, Expression (1)) in which the optimization function determining unit represents a difference between an image obtained by degrading the restored image candidate Y and the actually input degraded image X.
  • a first term setting means (for example, an empirical error term setting unit 121) for determining E data (Y, X)) and a function for performing a predetermined operation on the sum of the functions determined for each attribute;
  • a second term setting means for defining the sum of the functions determined for each region as a second term (for example, a regularization term setting unit 122 for determining E reg (Y) in equation (9)), and a first term
  • Supplementary Note 5 From Supplementary Note 2 that defines the first term as a term representing the difference between the result of the computation of the image degradation process performed on the restored image candidate Y by the first term setting means and the degraded image.
  • the image processing device according to any one of appendix 4.
  • Additional remark 6 The image processing apparatus in any one of Additional remark 1 to Additional remark 5 provided with the prior probability memory
  • storage means for example, prior knowledge memory
  • Conditional probability calculation which calculates the probability that an attribute exists regarding each area
  • An optimization function determination unit (for example, the optimization function determination unit 12) that determines an optimization function that is a function that decreases in value as it approaches, and specifies a candidate for a restored image that minimizes the value of the optimization function , Degrade the candidate Restored image determination unit that determines as a restored image of the image (e.g., the optimization processor 13) an image processing apparatus, characterized in that it comprises a.
  • a first term for example, Expression (1) in which the optimization function determination unit represents a difference between an image obtained by degrading the restored image candidate Y and the actually input degraded image X.
  • the first term setting unit for example, the experience error term setting unit 121) that defines E data (Y, X)) in the data , the conditional probability calculated by the conditional probability calculation unit, and the decreasing function of prior knowledge for each region
  • a second term setting unit for example, E reg in Formula (2)
  • a regularization term setting unit 122) that defines (Y), an optimization function configuration unit (for example, an optimization function configuration unit 123) that defines the sum of the first term and the second term as an optimization function;
  • a first term setting unit for example, an empirical error term setting unit 121) that defines E data (Y, X)) and a function that performs a predetermined operation on the sum of the functions defined for each attribute
  • a second term setting unit that defines the sum of the functions determined for each region as a second term (for example, a regularization term setting unit 122 that determines E reg (Y) in equation (9)), and the first
  • the supplementary item 8 defines the first term as a term representing the difference between the result of the calculation of the image degradation process performed on the restored image candidate Y by the first term setting unit and the degraded image.
  • Additional remark 12 The image processing apparatus of Additional remark 7 provided with the prior probability memory
  • storage part for example, prior knowledge memory
  • the present invention is preferably applied to an image processing apparatus that restores a deteriorated image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

復元対象画像を限定せずに、劣化画像から高画質の復元画像を得ることができる画像処理装置を提供する。条件付確率計算手段３１は、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する。最適化関数決定手段３２は、条件付確率計算手段３１が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する。復元画像決定手段３３は、最適化関数の値を最小とする復元画像の候補を復元画像として決定する。

Description

画像処理装置、画像処理方法および画像処理用プログラム
　本発明は、画像処理装置、画像処理方法および画像処理用プログラムに関し、特に、劣化画像を復元する画像処理装置、画像処理方法および画像処理用プログラムに関する。
　ぼかし、ノイズ、低解像度化等によって劣化した劣化画像を復元する一般的な方法として、ＭＡＰ推定（Maximum a Posteriori Estimation ：最大事後確率推定）がある。ＭＡＰ推定は、推定したい量に関する事前知識を利用して、最適化された結果を得る手法である。従って、ＭＡＰ推定では、どのような事前知識を用いるかが重要である。事前知識を学習によって得て、ＭＡＰ推定を行い、劣化画像を復元する方法が、例えば、非特許文献１，２に記載されている。
　非特許文献１には、復元対象の画像を顔画像に特化し、顔画像の事前知識を学習によって獲得し、その事前知識に基づいてＭＡＰ推定を行う方法が記載されている。また、非特許文献１には、復元対象の画像を文字画像に特化し、文字画像の事前知識を学習によって獲得してＭＡＰ推定を行う場合についても記載されている。
　また、非特許文献２には、一般の画像を復元対象画像とし、一般の画像における事前知識を学習により求め、その事前知識に基づいてＭＡＰ推定を行う方法が記載されている。
Simon Baker, Takeo Kanade, "Limits on Super-Resolution and How to Break Them",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24, NO.9, September 2002 Stefan Roth, Michael J.Black, "Fields of Experts: A Framework for Learning Image Priors", Computer Vision and Pattern Recognition,2005. CVPR2005. IEEE Computer Society Conference on Volume2, pp.860-867, June 2005
　非特許文献１に記載された方法では、顔の構造情報等の詳細な事前知識に基づいて、ＭＡＰ推定を行うことで、劣化画像から高画質の復元画像を得ることができる。しかし、復元対象画像が、顔画像（あるいは文字画像）に特化されているため、復元可能な画像が限定されていた。
　一方、非特許文献２に記載された方法では、復元可能な画像は限定されないが、全ての画像に適用可能な事前知識を用いる。その結果、画質改善効果が少なくなってしまう。
　そこで、本発明は、復元対象画像を限定せずに、劣化画像から高画質の復元画像を得ることができる画像処理装置、画像処理方法および画像処理用プログラムを提供することを目的とする。
　本発明による画像処理装置は、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算手段と、条件付確率計算手段が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定手段と、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する復元画像決定手段とを備えることを特徴とする。
　本発明による画像処理方法は、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算し、属性毎に劣化画像内の各領域に関して計算した前記条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定し、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定することを特徴とする。
　本発明による画像処理用プログラムは、コンピュータに、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算処理、条件付確率計算処理で属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定処理、および、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する復元画像決定処理を実行させることを特徴とする。
　本発明によれば、復元対象画像を限定せずに、劣化画像から高画質の復元画像を得ることができる。
本発明の画像処理装置の例を示すブロック図である。 劣化画像内の属性に関する条件付確率分布を模式的に示す説明図である。 最適化関数決定部の例を示すブロック図である。 ぼかしの対象となる画像の例を示す説明図である。 図４に例示する画像を表す列ベクトルを示す説明図である。 ぼかしによる劣化を表す行列Ｂの例を示す説明図である。 本発明の画像処理装置の処理経過の例を示すフローチャートである。 条件付確率の計算の処理経過の例を示すフローチャートである。 本発明の最小構成の例を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　図１は、本発明の画像処理装置の例を示すブロック図である。本発明の画像処理装置は、劣化画像入力部１０と、属性確率演算部１１と、最適化関数決定部１２と、最適化処理部１３と、復元画像出力部１４と、事前知識記憶部１５とを備える。なお、以下の説明では、本発明の画像処理装置が、画像をベクトルで表し、そのベクトルを用いて演算する場合を例にして説明する。すなわち、本発明の画像処理装置が、画像を、画素値が所定順に並べられた列ベクトルとして扱う場合を例にして説明する。ここでは、画像を、画素値がラスタスキャン順に並べられた列ベクトルとする場合を例にする。ただし、画像をベクトルとして扱うことは、本発明の一例であり、本発明において、画像はベクトル以外の形式（例えば、行列等）で表されていてもよい。
　劣化画像入力部１０は、復元対象となる劣化画像が入力される入力デバイスである。劣化画像の入力態様は、特に限定されない。また、本発明の画像処理装置に入力される劣化画像は、特定の被写体を写した画像に限定されない。
　属性確率演算部１１は、劣化画像入力部１０に入力された劣化画像中にどのような属性が存在しているかを計算する。この処理は、具体的には、劣化画像内の各領域について、各属性が存在している確率を、条件付確率として求める処理である。
　属性とは、劣化画像内に存在し得る要素（すなわち、画像内に存在する可能性がある要素）として予め定められた要素である。例えば、人物、人の顔、建物のような被写体となり得る物や、被写体とともに撮影され得る文字、背景等が属性（要素）となる。さらに、エッジ（輝度勾配が大きい領域）や、コーナー（角になっている領域）のような、画像中に現れる特徴的な部分も属性（要素）に該当する。属性の種類は予め定められている。入力された劣化画像をＸと表すこととする。また、属性の種類がＫ種類定められていて、そのｉ番目の属性をＡｉと表すこととする。なお、ｉ＝１，・・・，Ｋである。また、画像中の領域をＲと表すこととする。属性確率演算部１１は、劣化画像Ｘ内の領域Ｒについて属性Ａｉが存在している条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を、属性毎に、劣化画像Ｘ内の各領域について求める。
　図２は、４つの異なる属性を例にして劣化画像内の属性に関する条件付確率分布を模式的に示す説明図である。図２（ａ）は、人間の顔を属性Ａ１とし、その属性Ａ１が存在する条件付確率が高い部分と低い部分の分布を表している。なお、図２（ｅ）は、図２において模式的に示した色の濃淡と条件付確率との関係を示しており、条件付確率が高いほど白色に近い色で表し、条件付確率が低いほど黒色に近い色で表すことを示している。図２（ａ）では、人間の顔に該当する領域で条件付確率Ｐ（Ａ１｜Ｘ，Ｒ）が高くなることを示している。同様に、図２（ｂ）は、窓を属性Ａ２とし、その属性Ａ２が存在する条件付確率の分布を表している。図２（ｂ）では、窓に該当する領域で条件付確率Ｐ（Ａ２｜Ｘ，Ｒ）が高くなることを示している。また、図２（ｃ）では、建物を属性Ａ３とし、その属性Ａ３が存在する条件付確率の分布を表している。図２（ｃ）では、建物に該当する領域で条件付確率Ｐ（Ａ３｜Ｘ，Ｒ）が高くなることを示している。また、図２（ｄ）では、背景を属性Ａ４とし、その属性Ａ４が存在する条件付確率の分布を表している。図４（ｄ）では、背景に該当する領域で条件付確率Ｐ（Ａ４｜Ｘ，Ｒ）が高くなることを示している。
　なお、画像内の領域Ｒの定め方は、特に限定されず、例えば、画像内の一つ一つの画素をそれぞれ一つの領域Ｒとしてもよい。この場合、各領域Ｒは、画素を識別する画素番号で表すことができる。また、領域Ｒとして、複数の画素からなる領域を定めてもよい。この場合、領域Ｒは、画素番号の集合で表すことができる。また、注目する範囲毎に領域Ｒの大きさを変えてもよい。あるいは、画像全体を一つの領域Ｒとしてもよい。
　属性確率演算部１１は、例えば、属性毎に予め定められたテンプレートと、画像から抽出した領域Ｒとの類似度を計算し、類似度から条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求めればよい。ここで、類似度を変数として条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数は、予め属性毎に定められ、属性確率演算部１１は、その関数に類似度を代入することによって、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算すればよい。ただし、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算するアルゴリズムは、特に限定されず、他の方法で条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算してもよい。
　最適化関数決定部１２は、入力された劣化画像Ｘと、属性確率演算部１１によって計算された条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、予め定められた事前知識とを用いて、復元画像を決定するための最適化関数を決定する。最適化関数とは、復元画像の候補を変数とし、真の復元画像に復元画像の候補が近いほど（すなわち類似しているほど）、値が小さくなる関数である。以下、最適化関数をＥ（Ｙ）と表す。Ｙは、最適化関数に変数として代入される復元画像の候補を意味する。最適化関数決定部１２の具体的な構成については後述する。
　事前知識記憶部１５は、最適化関数決定部１２が最適化関数を決定する際に用いる事前知識を記憶する記憶装置である。
　最適化処理部１３は、最適化関数Ｅ（Ｙ）の値を最小化する復元画像の候補Ｙを計算し、その候補Ｙを復元画像として決定する。
　復元画像出力部１４は、最適化処理部１３によって決定された復元画像を出力する出力デバイスである。例えば、復元画像出力部１４は、復元画像を表示するディスプレイ装置によって実現される。ただし、ディスプレイ装置は復元画像出力部１４の例示であり、復元画像出力部１４は、表示以外の態様で復元画像を出力する出力デバイスであってもよい。
　次に、最適化関数の例および最適化関数決定部１２の構成例について説明する。本実施形態では、最適化関数は、２つの項の和として表される。第１の項は、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である。以下、第１の項を経験誤差項と称する。第２の項は、個々の属性にそれぞれ着目し、着目している属性について、画像内にその着目している属性が存在する場合に小さな値を示すような評価関数を求めた場合における、属性毎の評価関数の総和である。この評価関数は、Ｙを変数とする関数である。この評価関数は、エネルギーと称することもできる。以下、第２の項を正則化項と称する。経験誤差項は、復元画像の候補Ｙが真の復元画像に近づくほど小さな値となる。正則化項は、最適化関数から解（真の復元画像）を求める際に、解を安定化させるために設けられる。最適化関数を経験誤差項のみで表した場合、最適化処理部１３にてとり得る解は無数に存在し、解が不安定になる。そこで、経験誤差項だけでなく正則化項も用いて最適化関数を表すことで、無数の解の中から解を限定し、解を安定させることができる。
　図３は、最適化関数決定部１２の例を示すブロック図である。最適化関数決定部１２は、経験誤差項設定部１２１と、正則化項設定部１２２と、最適化関数構成部１２３とを備える。なお、図３では、劣化画像入力部１０と、属性確率演算部１１と、事前知識記憶部１５と、最適化処理部１３も図示している。
　経験誤差項設定部１２１は、劣化画像入力部１０に入力された劣化画像Ｘを用いて、経験誤差項を定める。例えば、経験誤差項設定部１２１は、以下の式（１）に示すように経験誤差項を定めればよい。
　Ｅｄａｔａ（Ｙ，Ｘ）＝｜Ｂ・Ｙ－Ｘ｜２　　　　　式（１）
　Ｅｄａｔａ（Ｙ，Ｘ）は、経験誤差項である。Ｂは、復元画像が劣化する過程を表す行列である。経験誤差項設定部１２１が定めるＥｄａｔａ（Ｙ，Ｘ）において、Ｙは、ベクトル変数となる。変数である復元画像候補Ｙが真の復元画像に近づくほど経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）の値は小さくなる。
　復元画像が劣化する過程を表す行列Ｂとして、例えば、カメラボケを表すローパスフィルタを表す行列を用いればよい。以下、このように、行列Ｂが、カメラボケ（ぼかし）による劣化を表す行列である場合を例にして、行列Ｂの具体例を説明する。
　図４ないし図６を用いて、ぼかしの模擬の例を説明する。ぼかしは、画像内の画素毎に、画素値を、近傍の他の画素の画素値との平均値で置き換えることで模擬できる。図４は、ぼかしの対象となる画像の例を示し、図４では、５×５画素の画像を例示している。例えば、画素値ａ２２の画素に着目した場合、その着目画素の画素値を、その画素値ａ２２およびその近傍画素の画素値ａ１１，ａ１２，ａ１３，ａ２１，ａ２３，ａ３１，ａ３２，ａ３３の平均値で置き換える。また、例えば、画素値ａ２３の画素に着目した場合、その着目画素の画素値を、その画素値ａ２３およびその近傍画素の画素値ａ１２，ａ１３，ａ１４，ａ２２，ａ２４，ａ３２，ａ３３，ａ３４の平均値で置き換える。他の画素についても、同様に画素値の置換を行うことで、ぼかしを模擬できる。図５は、図４に例示する画像を表す列ベクトルである。図６は、ぼかしによる劣化を表す行列Ｂの例である。ただし、図６では、行列Ｂの２行分の要素を示し、他の行の図示は省略している。図６において、具体的に示した２行のうち、最初の行を便宜的にｋ行目と称し、その次の行をｋ＋１行目と称することとする。
　図４に示す画像は、図５に示す列ベクトルで表すことができる。従って、ぼかしを模擬するためにこの列ベクトルに乗じる行列Ｂとして、図６に例示する行列を用いればよい。図６に示すｋ行目は、画素値ａ２２の置換に用いる行列成分である。また、図６に示すｋ＋１行目は、画素値ａ２３の置換に用いる行列成分である。なお、上述のように、図６では他の行を省略している。図６に示す行列Ｂの右側から、図５に示す列ベクトルを乗じれば、各画素の平均値を計算することができる。図６に示す行列Ｂの他の行の計算に関しても同様である。従って、ぼかしによる劣化を表す行列Ｂは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行が画像中の各画素に対応していることである。第２の条件は、平均計算に用いる画素の個数をｎとしたときに、各行の個々の成分の値を、その成分に乗じられる画素値がその行に対応する画素およびその近傍の画素の画素値である場合には１／ｎとし、その乗じられる画素値がその行に対応する画素およびその近傍の画素以外の画素の画素値である場合には０とすることである。なお、この条件は一例であり、例えば、行列Ｂの各行の値を均等とするかわりに、正規分布に基づいて設定するなど、他の条件を満足するように行列Ｂを定めてもよい。
　ただし、式（１）における行列Ｂの定め方は、上記の方法に限定されず、他の方法で定めてもよい。例えば、ぼかし以外の要因による劣化を表す行列を行列Ｂとして定めてもよい。
　また、ここでは、式（１）を用いて経験誤差項を定める方法を説明したが、劣化画像Ｘに存在する異常値に対するロバスト性を向上させるために、経験誤差項設定部１２１は、以下の式（１）’に示すように経験誤差項を定めてもよい。
　Ｅｄａｔａ（Ｙ，Ｘ）＝｜Ｂ・Ｙ－Ｘ｜ｑ　　　　　式（１）’
　式（１）’において、ｑは、ｑ＞０を満たす実数である。例えば、ｑ＝１としてもよい。
　正則化項設定部１２２は、劣化画像入力部１０に入力された劣化画像Ｘと、属性確率演算部１１によって計算された条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、事前知識とを用いて、正則化項を定める。正則化項は、以下の式（２）に示すように表される。
Figure JPOXMLDOC01-appb-M000001
　Ｅｒｅｇ（Ｙ）は、正則化項である。既に説明したように、正則化項は、個々の属性をそれぞれ着目し、着目している属性について、画像内に着目している属性が存在する場合に小さな値を示すような評価関数を求めた場合における、属性毎の評価関数の総和である。式（２）におけるＥｉ（Ｙ）が属性毎の評価関数であり、式（２）の右辺はその総和を表している。
　また、Ｅｉ（Ｙ）は、属性確率演算部１１によって計算された条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、事前知識記憶部１５に記憶される事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）とによって表される。事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）は、領域Ｒに属性Ａｉが存在するときに、復元画像の候補Ｙの領域Ｒに属性Ａｉが現れている確率を条件付確率として表している。例えば、Ｉ番目の属性であるＡＩが、人間の顔の属性であるとする。この場合、復元画像の候補Ｙの領域Ｒの画素値が人間の顔を表す状態になっているほど、Ｐ（Ｙ｜ＡＩ，Ｒ）は大きな値となる。このような事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）は、例えば、非特許文献２に記載された方法を用いて予め、学習により求めておき、事前知識記憶部１５に記憶させておく。
　事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の例を示す。事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）は、画像Ｙの関数として定めておく。例えば、式（３）に例示するようなＹの関数として事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）を定めておけばよい。
Figure JPOXMLDOC01-appb-M000002
　式（３）において、ｋは、属性に含まれる個々の構成部をそれぞれ識別する値であり、Ｎは、属性に含まれる個々の構成部の総数である。属性に含まれる個々の構成部の例として、例えば、属性が人間の顔である場合における右目、左目、口等の各構成部が挙げられる。属性が右目、左目等の複数の構成部を含まずに、属性全体が一つの構成部として捉えられる場合には、Ｎ＝１となる。Ｊｋｉ（Ｒ）は、属性Ａｉにおけるｋ番目の構成部を検出するための領域Ｒにおけるフィルタを表す行列である。Ｊｋｉ（Ｒ）・Ｙの値が大きいほど、画像Ｙ内の領域Ｒにその構成部らしい箇所が存在していることを意味する。例えば、属性Ａｉが人間の顔であり、その属性に含まれる各構成部のうち、ｋ番目の構成部が右目であるとする。この場合、Ｊｋｉ（Ｒ）・Ｙの値が大きければ大きいほど、画像Ｙ内における領域Ｒに人間の顔の右目らしい箇所が存在していることを意味する。このようなフィルタＪｋｉ（Ｒ）は、各属性のそれぞれの構成部毎に定められる。また、αｋｉは、式（３）において、１～Ｎ番目までの構成部に対応する以下の部分の重みを規定する係数である。
Figure JPOXMLDOC01-appb-M000003
　また、確率は画像全体で積分したときに１になるという制約がある。式（３）における右辺のＺは、この制約を有効にするための規格化定数である。
　式（３）におけるＪｋｉ（Ｒ）およびαｋｉは、学習により予め定めておけばよい。例えば、属性Ａｉを撮影した学習画像（学習データ）を用意し、その学習データから、各構成部に関してＪｋｉ（Ｒ）およびαｋｉを学習によって求めておけばよい。そして、例えば、式（３）のようなＹの関数として表される事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）を属性毎に定めておく。
　正則化項設定部１２２は、領域Ｒ毎に、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数を定め、領域毎の関数の総和として、各属性の評価関数を定めればよい。条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数の例として、例えば、Ｐ（Ａｉ｜Ｘ，Ｒ）と、Ｐ（Ｙ｜Ａｉ，Ｒ）の対数との積に－１を乗じた関数を定めればよい。この例では、正則化項設定部１２２は、ｉ番目の属性Ａｉについての評価関数Ｅｉ（Ｙ）を、以下の式（４）のように定める。
Figure JPOXMLDOC01-appb-M000004
　個々の領域についての関数は、上記の例では、－Ｐ（Ａｉ｜Ｘ，Ｒ）・ｌｏｇ｛Ｐ（Ｙ｜Ａｉ，Ｒ）｝である。着目している領域に属性が存在すれば、この関数の値は小さくなる。
　正則化項設定部１２２は、属性毎に式（４）のように定めた評価関数の総和として、式（２）に示すように正則化項Ｅｒｅｇ（Ｙ）を定めればよい。
　なお、正則化項は、最適化関数Ｅ（Ｙ）を最適化（最小化）して得られる解を安定化させるために設けられる。
　最適化関数構成部１２３は、経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）と正則化項Ｅｒｅｇ（Ｙ）の和として、最適化関数Ｅ（Ｙ）を定める。すなわち、最適化関数構成部１２３は、以下に示す式（５）のように、最適化関数Ｅ（Ｙ）を定める。
　Ｅ（Ｙ）＝Ｅｄａｔａ（Ｙ，Ｘ）＋Ｅｒｅｇ（Ｙ）　　　　　式（５）
　属性確率演算部１１と、最適化関数決定部１２（経験誤差項設定部１２１、正則化項設定部１２２および最適化関数構成部１２３）と、最適化処理部１３は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、コンピュータのプログラム記憶装置（図示せず）が画像処理用プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、プログラムに従って、属性確率演算部１１、最適化関数決定部１２（経験誤差項設定部１２１、正則化項設定部１２２、最適化関数構成部１２３）、最適化処理部１３として動作すればよい。また、属性確率演算部１１、最適化関数決定部１２および最適化処理部１３がそれぞれ別のハードウェアで実現されていてもよい。経験誤差項設定部１２１、正則化項設定部１２２、および最適化関数構成部１２３に関しても、それぞれ別のハードウェアで実現されていてもよい。
　次に、動作について説明する。
　図７は、本発明の画像処理装置の処理経過の例を示すフローチャートである。劣化画像入力部１０に劣化画像Ｘが入力されると、まず、属性確率演算部１１が、劣化画像Ｘ内の各領域について、各属性が存在している確率を、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）として計算する（ステップＳ１）。
　図８は、条件付確率の計算（ステップＳ１）の処理経過の例を示すフローチャートである。ステップＳ１において、属性確率演算部１１は、一つのテンプレートを選択する（ステップＳ１１）。テンプレートは、属性を表す画像として、予め属性毎に用意された画像あるいはフィルタである。ステップＳ１１において、属性確率演算部１１は、属性毎に用意されている複数のテンプレートの中から一つのテンプレートを選択する。
　次に、属性確率演算部１１は、入力された劣化画像Ｘから領域Ｒを抽出し、テンプレートマッチングを行う（ステップＳ１２）。具体的には、属性確率演算部１１は、劣化画像Ｘから領域Ｒを抽出し、その領域Ｒとテンプレートとの類似度を計算する。例えば、属性確率演算部１１は、領域Ｒとテンプレートの対応する画素毎に、画素値の差の絶対値を計算し、その総和の逆数を類似度として定めればよい。あるいは、他の計算方法で類似度を算出してもよい。
　なお、領域Ｒは、テンプレートと同じ大きさであっても、あるいは、テンプレートと異なる大きさであってもよい。テンプレートと異なる大きさの領域Ｒを抽出する場合には、その領域Ｒをテンプレートと同じ大きさ（すなわち、テンプレートと同じ画素数）に拡大または縮小して、類似度を計算すればよい。
　また、既に説明したように、劣化画像Ｒに含まれる個々の画素をそれぞれ一つの領域Ｒとしてもよい。この場合には、属性確率演算部１１は、ステップＳ１２において、領域Ｒとなる１画素とその周囲の画素を抽出して、テンプレートとの類似度を計算すればよい。
　ステップＳ１２の次に、属性確率演算部１１は、類似度を変数として条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数に、ステップＳ１２で計算した類似度を代入し、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算する（ステップＳ１３）。
　類似度を変数として条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数は、予め属性毎に定められている。属性確率演算部１１は、現在選択しているテンプレートが示す属性に対応する関数を選択し、その関数に類似度を代入すればよい。
　条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数は、以下のように定めておけばよい。例えば、パラメータ以外は共通となる関数の形式を定めておき、学習によって属性毎にパラメータを定めればよい。具体例を挙げると、例えば、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数が、類似度の自乗に比例する関数であり、パラメータとなる比例係数が属性毎に異なるとする。そして、一つの属性に着目した場合、その属性が存在する画像を学習データとして複数用意し、テンプレートマッチングで得られる類似度と、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）との対応関係を学習データから求めて、着目している属性についてのパラメータ（ここでは比例係数）を定める。同様に、他の属性についても、パラメータを定めればよい。なお、ここでは、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を求める関数を、類似度の自乗に比例する関数であると定める場合を例にしたが、関数の形式は他の形式であってもよい。
　ステップＳ１３の次に、属性確率演算部１１は、劣化画像Ｘにおいて、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算していない領域があるか否かを判定する（ステップＳ１４）。そのような領域があれば（ステップＳ１４のＹｅｓ）、属性確率演算部１１は、ステップＳ１２以降の処理を繰り返す。そのような領域がなければ（ステップＳ１４のＮｏ）、属性確率演算部１１は、未選択のテンプレートがあるか否かを判定する（ステップＳ１５）。未選択のテンプレートがあれば（ステップＳ１５のＹｅｓ）、属性確率演算部１１は、ステップＳ１１以降の処理を繰り返す。未選択のテンプレートがなければ（ステップＳ１５のＮｏ）、属性確率演算部１１は、ステップＳ１の処理を終了する。この結果、属性毎に、劣化画像Ｘの各領域について、それぞれ条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）が得られる。
　なお、図８では、テンプレートマッチングを行う場合を例示したが、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）の計算方法は、図８に示す方法に限定されず、他の計算方法で条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を算出してもよい。
　ステップＳ１の後、最適化関数決定部１２の経験誤差設定部１２１は、式（１）に示すように、経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）を定める（ステップＳ２、図７参照）。式（１）における行列Ｂ（すなわち、復元画像が劣化する過程を表す行列Ｂ）は、予め定めておけばよい。
　次に、正則化項設定部１２２は、正則化項Ｅｒｅｇ（Ｙ）を定める（ステップＳ３）。ステップＳ３において、正則化項設定部１２２は、例えば、式（４）に例示する評価関数Ｅｉ（Ｙ）を属性毎に定め、各属性の評価関数Ｅｉ（Ｙ）の総和として、式（２）に示すように正則化項Ｅｒｅｇ（Ｙ）を定めればよい。
　次に、最適化関数構成部１２３は、式（５）に示すように、経験誤差項Ｅｄａｔａ（Ｙ，Ｘ）と正則化項Ｅｒｅｇ（Ｙ）の和として、最適化関数Ｅ（Ｙ）を定める（ステップＳ４）。
　次に、最適化処理部１３は、最適化関数構成部１２３によって決定された最適化関数Ｅ（Ｙ）を最小化するときのＹを求め、その画像Ｙを、劣化画像Ｘの復元画像として決定する（ステップＳ５）。ステップＳ５において、最適化処理部１３は、例えば、勾配法によって、最適化関数Ｅ（Ｙ）を最小化するときのＹを求めればよい。
　次に、最適化処理部１３は、ステップＳ５で決定した復元画像を復元画像出力部１４に出力させる（ステップＳ６）。例えば、最適化処理部１３は、復元画像を復元画像出力部１４に表示させる。
　本発明によれば、劣化画像Ｘから条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）をそれぞれ求め、劣化画像Ｘと、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）と、複数種類の属性についてそれぞれ定めた事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）とを用いて、最適化関数Ｅ（Ｙ）を定める。そして、最適化関数Ｅ（Ｙ）を最小にするＹを復元画像として決定する。従って、特定の被写体を撮影した劣化画像だけに限定することなく、高画質の復元画像を得ることができる。条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）を計算することで、属性毎の事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）を利用することができ、複数の事前知識から最適化関数Ｅ（Ｙ）を定めるので、一般的な画像を高画質の復元画像に復元することができる。
　次に、上記の実施形態の変形例について説明する。
　上記の実施形態では、正則化項設定部１２２が、ｉ番目の属性Ａｉについての評価関数Ｅｉ（Ｙ）を式（４）に示すように定める場合を示したが、評価関数Ｅｉ（Ｙ）は、式（４）に限定されない。例えば、正則化項設定部１２２は、ｉ番目の属性Ａｉについての評価関数Ｅｉ（Ｙ）を、以下に示す式（６）のように定めてもよい。
Figure JPOXMLDOC01-appb-M000005
　式（６）の例では、領域Ｒ毎に定められる、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数は、－ｌｏｇ｛Ｐ（Ａｉ｜Ｘ，Ｒ）・Ｐ（Ｙ｜Ａｉ，Ｒ）｝である。この領域Ｒ毎の関数の総和を、式（６）のように評価関数Ｅｉ（Ｙ）としてもよい。
　また、正則化項設定部１２２は、評価関数Ｅｉ（Ｙ）を、以下に示す式（７）のように定めてもよい。
Figure JPOXMLDOC01-appb-M000006
　式（７）の例では、領域Ｒ毎に定められる、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数は、－Ｐ（Ａｉ｜Ｘ，Ｒ）・Ｐ（Ｙ｜Ａｉ，Ｒ）である。この領域Ｒ毎の関数の総和を、式（７）のように評価関数Ｅｉ（Ｙ）としてもよい。
　また、正則化項設定部１２２は、評価関数Ｅｉ（Ｙ）を、以下に示す式（８）のように定めてもよい。
Figure JPOXMLDOC01-appb-M000007
　式（８）の例では、領域Ｒ毎に定められる、条件付確率Ｐ（Ａｉ｜Ｘ，Ｒ）および事前知識Ｐ（Ｙ｜Ａｉ，Ｒ）の減少関数は、－ｌｏｇ｛Ｐ（Ａｉ｜Ｘ，Ｒ）｝・Ｐ（Ｙ｜Ａｉ，Ｒ）である。この領域Ｒ毎の関数の総和を、式（８）のように評価関数Ｅｉ（Ｙ）としてもよい。
　このように属性毎の評価関数Ｅｉ（Ｙ）の定め方は一つの方法に限定されない。いずれの場合であっても、正則化項設定部１２２は、式（２）に示すように、属性毎の評価関数Ｅｉ（Ｙ）の総和を正則化項Ｅｒｅｇ（Ｙ）と定めればよい。
　また、上記の実施形態では、領域Ｒ毎の関数の総和として評価関数を属性毎に定め、属性毎の評価関数の総和として正則化項Ｅｒｅｇ（Ｙ）を定める場合を示した。正則化項設定部１２２は、正則化項Ｅｒｅｇ（Ｙ）を、以下に示す式（９）の計算によって算出してもよい。
Figure JPOXMLDOC01-appb-M000008
　式（９）では、領域毎に、各属性毎の関数の総和の対数に－１を乗じた結果を定め、領域毎に求めた結果を、正則項Ｅｒｅｇ（Ｙ）とする。式（９）の例では、属性毎に定める関数として、Ｐ（Ａｉ｜Ｘ，Ｒ）・Ｐ（Ｙ｜Ａｉ，Ｒ）を定め、属性毎に定めたその関数の総和の対数をとる。
　また、上記の実施形態では、最適化関数構成部１２３は、式（５）に示すように、経験誤差項と正則化項との和として最適化関数Ｅ（Ｙ）を定める場合を示した。最適化関数Ｅ（Ｙ）を、経験誤差項と正則化項との重み付き和として定めてもよい。すなわち、最適化関数Ｅ（Ｙ）を、以下に示す式（１０）のように定めてもよい。
　Ｅ（Ｙ）＝Ｅｄａｔａ（Ｙ，Ｘ）＋λ・Ｅｒｅｇ（Ｙ）　　　　　式（１０）
　式（１０）におけるλは、正則化項の重みを示す重み係数であり、予め定められる。入力される劣化画像Ｘの劣化度が小さいことが予め分かっている場合には、λを小さな値に定めて正則化項の重みを下げればよい。逆に、入力される劣化画像Ｘの劣化度が大きいことが予め分かっている場合には、λを大きな値に定めて正則化項の重みを上げればよい。経験誤差項と正則化項との重み付き和として最適化関数Ｅ（Ｙ）を定めることにより、入力される劣化画像の劣化度に応じて、より適切な復元画像を得ることができる。
　次に、本発明の最小構成を説明する。図９は、本発明の最小構成の例を示すブロック図である。本発明の画像処理装置は、条件付確率計算手段３１と、最適化関数決定手段３２と、復元画像決定手段３３とを備える。
　条件付確率計算手段３１（例えば、属性確率演算部１１）は、劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する。
　最適化関数決定手段３２（例えば、最適化関数決定部１２）は、条件付確率計算手段３１が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する。
　復元画像決定手段３３（例えば、最適化処理部１３）は、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する。
　そのような構成によれば、特定の被写体を撮影した劣化画像だけに限定することなく、一般的な画像を高画質の復元画像に復元することができる。
　なお、上記の実施形態には、以下の（付記１）～（付記１２）に示すような画像処理装置の特徴的な構成が開示されている。
（付記１）劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算手段（例えば、属性確率演算部１１）と、条件付確率計算手段が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補のその領域にその属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定手段（例えば、最適化関数決定部１２）と、最適化関数の値を最小とする復元画像の候補を特定し、その候補を劣化画像の復元画像として決定する復元画像決定手段（例えば、最適化処理部１３）とを備えることを特徴とする画像処理装置。
（付記２）最適化関数決定手段が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定手段（例えば、経験誤差項設定部１２１）と、条件付確率計算手段に計算された条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定手段（例えば、式（２）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、第１の項と第２の項との和を最適化関数と定める最適化関数構成手段（例えば、最適化関数構成部１２３）とを含む付記１に記載の画像処理装置。
（付記３）最適化関数決定手段が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定手段（例えば、経験誤差項設定部１２１）と、属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めたその関数の和を第２の項として定める第２の項設定手段（例えば、式（９）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、第１の項と第２の項との和を最適化関数と定める最適化関数構成手段（例えば、最適化関数構成部１２３）とを含む付記１に記載の画像処理装置。
（付記４）最適化関数構成手段が、第１の項と第２の項との重み付き和を最適化関数と定める付記２または付記３に記載の画像処理装置。
（付記５）第１の項設定手段が、復元画像の候補Ｙに対して画像劣化過程を示す演算を行った結果と劣化画像との差を表す項として、第１の項を定める付記２から付記４のうちのいずれかに記載の画像処理装置。
（付記６）予め定められた事前確率を記憶する事前確率記憶手段（例えば、事前知識記憶部１５）を備える付記１から付記５のうちのいずれかに記載の画像処理装置。
（付記７）劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算部（例えば、属性確率演算部１１）と、条件付確率計算部が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定部（例えば、最適化関数決定部１２）と、前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する復元画像決定部（例えば、最適化処理部１３）とを備えることを特徴とする画像処理装置。
（付記８）最適化関数決定部が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定部（例えば、経験誤差項設定部１２１）と、条件付確率計算部に計算された条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定部（例えば、式（２）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成部（例えば、最適化関数構成部１２３）とを含む付記７に記載の画像処理装置。
（付記９）最適化関数決定部が、復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項（例えば、式（１）におけるＥｄａｔａ（Ｙ，Ｘ））を定める第１の項設定部（例えば、経験誤差項設定部１２１）と、属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定める第２の項設定部（例えば、式（９）におけるＥｒｅｇ（Ｙ）を定める正則化項設定部１２２）と、前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成部（例えば、最適化関数構成部１２３）とを含む付記７に記載の画像処理装置。
（付記１０）最適化関数構成部が、第１の項と第２の項との重み付き和を最適化関数と定める付記８に記載の画像処理装置。
（付記１１）第１の項設定部が、復元画像の候補Ｙに対して画像劣化過程を示す演算を行った結果と劣化画像との差を表す項として、第１の項を定める付記８に記載の画像処理装置。
（付記１２）予め定められた事前確率を記憶する事前確率記憶部（例えば、事前知識記憶部１５）を備える付記７に記載の画像処理装置。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年９月１５日に出願された日本特許出願２００９－２１３５２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
　本発明は、劣化画像を復元する画像処理装置に好適に適用される。
　１０　劣化画像入力部
　１１　属性確率演算部
　１２　最適化関数決定部
　１３　最適化処理部
　１４　復元画像出力部
　１５　事前知識記憶部
　１２１　経験誤差項設定部
　１２２　正則化項設定部
　１２３　最適化関数構成部

Claims (12)

  1. 　劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算手段と、
    　条件付確率計算手段が属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定手段と、
    　前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する復元画像決定手段とを備える
    　ことを特徴とする画像処理装置。
  2. 　最適化関数決定手段は、
    　復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定手段と、
    　条件付確率計算手段に計算された条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定手段と、
    　前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成手段とを含む
    　請求項１に記載の画像処理装置。
  3. 　最適化関数決定手段は、
    　復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定手段と、
    　属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定める第２の項設定手段と、
    　前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成手段とを含む
    　請求項１に記載の画像処理装置。
  4. 　最適化関数構成手段は、第１の項と第２の項との重み付き和を最適化関数と定める
    　請求項２または請求項３に記載の画像処理装置。
  5. 　第１の項設定手段は、復元画像の候補Ｙに対して画像劣化過程を示す演算を行った結果と劣化画像との差を表す項として、第１の項を定める
    　請求項２から請求項４のうちのいずれか１項に記載の画像処理装置。
  6. 　予め定められた事前確率を記憶する事前確率記憶手段を備える
    　請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
  7. 　劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算し、
    　属性毎に劣化画像内の各領域に関して計算した前記条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定し、
    　前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する
    　ことを特徴とする画像処理方法。
  8. 　最適化関数を決定するときに、
    　復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定め、
    　属性毎に劣化画像内の各領域に関して計算した条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定め、
    　前記第１の項と前記第２の項との和を最適化関数と定める
    　請求項７に記載の画像処理方法。
  9. 　最適化関数を決定するときに、
    　復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定め、
    　属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定め、
    　前記第１の項と前記第２の項との和を最適化関数と定める
    　請求項７に記載の画像処理方法。
  10. 　コンピュータに、
    　劣化画像内に存在し得る要素として予め定められた要素である属性毎に、入力された劣化画像内の各領域に関して属性が存在する確率を条件付確率として計算する条件付確率計算処理、
    　条件付確率計算処理で属性毎に劣化画像内の各領域に関して計算した条件付確率と、ある領域にある属性が存在するときに復元画像の候補の前記領域に前記属性が現れる条件付確率として定められた事前知識と、入力された劣化画像とを用いて、復元画像の候補を変数とする関数であって、復元画像の候補が真の復元画像に近いほど値が小さくなる関数である最適化関数を決定する最適化関数決定処理、および、
    　前記最適化関数の値を最小とする復元画像の候補を特定し、当該候補を劣化画像の復元画像として決定する復元画像決定処理
    　を実行させるための画像処理用プログラム。
  11. 　コンピュータに、
    　最適化関数決定処理で、
    　復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定処理、
    　条件付確率計算処理で計算した条件付確率と事前知識の減少関数を領域毎に定め、領域毎の減少関数の和として、各属性に関する関数を定め、各属性に関して定めた関数の総和を第２の項として定める第２の項設定処理、および、
    　前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成処理
    　を実行させる請求項１０に記載の画像処理用プログラム。
  12. 　コンピュータに、
    　最適化関数決定処理で、
    　復元画像の候補Ｙを劣化させた画像と、実際に入力された劣化画像Ｘとの差を表す項である第１の項を定める第１の項設定処理、
    　属性毎に定めた関数の総和に所定の演算を行う関数を領域毎に定め、領域毎に定めた前記関数の和を第２の項として定める第２の項設定処理、および、
    　前記第１の項と前記第２の項との和を最適化関数と定める最適化関数構成処理
    　を実行させる請求項１０に記載の画像処理用プログラム。
PCT/JP2010/005517 2009-09-15 2010-09-09 画像処理装置、画像処理方法および画像処理用プログラム WO2011033744A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/395,820 US9196025B2 (en) 2009-09-15 2010-09-09 Image processing apparatus, image processing method and image processing program
JP2011531779A JP5617841B2 (ja) 2009-09-15 2010-09-09 画像処理装置、画像処理方法および画像処理用プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-213524 2009-09-15
JP2009213524 2009-09-15

Publications (1)

Publication Number Publication Date
WO2011033744A1 true WO2011033744A1 (ja) 2011-03-24

Family

ID=43758359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005517 WO2011033744A1 (ja) 2009-09-15 2010-09-09 画像処理装置、画像処理方法および画像処理用プログラム

Country Status (3)

Country Link
US (1) US9196025B2 (ja)
JP (1) JP5617841B2 (ja)
WO (1) WO2011033744A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118225A1 (ja) * 2012-02-08 2013-08-15 日本電気株式会社 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法
WO2013118224A1 (ja) * 2012-02-08 2013-08-15 日本電気株式会社 判別モデル学習装置、判別モデル学習方法および判別モデル学習プログラム
CN110222578A (zh) * 2019-05-08 2019-09-10 腾讯科技（深圳）有限公司 对抗测试看图说话系统的方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6713185B2 (ja) * 2015-10-15 2020-06-24 株式会社日立ハイテク テンプレートマッチングを用いた検査装置および検査方法
CN117078234B (zh) * 2023-10-17 2024-02-27 深圳市城市交通规划设计研究中心股份有限公司 一种优化的路网养护维修方法、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US6987520B2 (en) * 2003-02-24 2006-01-17 Microsoft Corporation Image region filling by exemplar-based inpainting
JP4518979B2 (ja) * 2005-03-03 2010-08-04 ライトロン株式会社 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
JP5076758B2 (ja) * 2007-09-10 2012-11-21 株式会社ニコン 画像処理方法およびプログラム
US7941004B2 (en) * 2008-04-30 2011-05-10 Nec Laboratories America, Inc. Super resolution using gaussian regression

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"2000. Proceedings. IEEE Conference on, 2000.06", vol. 2, article BAKER, S. ET AL.: "Limits on super-resolution and how to break them, Computer Vision and Pattern Recognition", pages: 372 - 379 *
"2005. CVPR 2005. IEEE Computer Society Conference on, 2005.06", vol. 2, article ROTH, S. ET AL.: "Fields of Experts: a framework for learning image priors, Computer Vision and Pattern Recognition", pages: 860 - 867 *
TAKAHIRO OGAWA ET AL.: "Restoration of Missing Intensities of Still Images Using GMRF Model", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J89-D, no. 6, 1 June 2006 (2006-06-01), pages 1327 - 1335 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118225A1 (ja) * 2012-02-08 2013-08-15 日本電気株式会社 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法
WO2013118224A1 (ja) * 2012-02-08 2013-08-15 日本電気株式会社 判別モデル学習装置、判別モデル学習方法および判別モデル学習プログラム
JP5327415B1 (ja) * 2012-02-08 2013-10-30 日本電気株式会社 判別モデル学習装置、判別モデル学習方法および判別モデル学習プログラム
US8832006B2 (en) 2012-02-08 2014-09-09 Nec Corporation Discriminant model learning device, method and program
CN110222578A (zh) * 2019-05-08 2019-09-10 腾讯科技（深圳）有限公司 对抗测试看图说话系统的方法和装置
CN110222578B (zh) * 2019-05-08 2022-12-27 腾讯科技（深圳）有限公司 对抗测试看图说话系统的方法和装置

Also Published As

Publication number Publication date
JP5617841B2 (ja) 2014-11-05
US9196025B2 (en) 2015-11-24
US20120170861A1 (en) 2012-07-05
JPWO2011033744A1 (ja) 2013-02-07

Similar Documents

Publication Publication Date Title
US11610082B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
Agrawal et al. A novel joint histogram equalization based image contrast enhancement
US9430817B2 (en) Blind image deblurring with cascade architecture
US10198801B2 (en) Image enhancement using self-examples and external examples
US8073277B2 (en) Apparatus and methods for image restoration
US8908989B2 (en) Recursive conditional means image denoising
JP5617841B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
Borkar et al. Single image dehazing by approximating and eliminating the additional airlight component
US11741579B2 (en) Methods and systems for deblurring blurry images
CN114868124A (zh) 控制方法、信息处理装置以及控制程序
CN113222921A (zh) 一种图像处理方法及系统
Holzschuh et al. Realistic galaxy images and improved robustness in machine learning tasks from generative modelling
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
JP2004246618A (ja) パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
Li et al. Sparse representation-based image restoration via nonlocal supervised coding
JP6604131B2 (ja) 電子機器および情報表示プログラム
US11200708B1 (en) Real-time color vector preview generation
JP4453202B2 (ja) 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体
Cui et al. An effective coded exposure photography framework using optimal fluttering pattern generation
Yousaf et al. Closed-loop restoration approach to blurry images based on machine learning and feedback optimization
Jiang et al. Blind image deconvolution via enhancing significant segments
JP7458857B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11928799B2 (en) Electronic device and controlling method of electronic device
CN111383172B (zh) 神经网络模型的训练方法、装置及智能终端
Eboli et al. Learning to jointly deblur, demosaick and denoise raw images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10816859

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011531779

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13395820

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 10816859

Country of ref document: EP

Kind code of ref document: A1