WO2013161348A1 - 画像処理プログラム及び画像処理装置 - Google Patents

画像処理プログラム及び画像処理装置 Download PDF

Info

Publication number
WO2013161348A1
WO2013161348A1 PCT/JP2013/053435 JP2013053435W WO2013161348A1 WO 2013161348 A1 WO2013161348 A1 WO 2013161348A1 JP 2013053435 W JP2013053435 W JP 2013053435W WO 2013161348 A1 WO2013161348 A1 WO 2013161348A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
correction gain
weight
value
Prior art date
Application number
PCT/JP2013/053435
Other languages
English (en)
French (fr)
Inventor
俊彦 新井
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2013161348A1 publication Critical patent/WO2013161348A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast

Definitions

  • the present invention relates to an image processing program and an image processing apparatus that cause hardware to execute image processing on an image obtained by imaging a subject.
  • shading occurs in a complex manner due to the characteristics of the imaging optical system and the illumination system.
  • shading changes due to differences in imaging conditions and changes in illumination over time. Therefore, it is difficult to estimate the correction amount used for shading correction by calculation. For this reason, conventionally, shading correction has been performed based on empirically obtained correction values and actual measurement values.
  • Patent Document 1 As a technique related to shading correction, for example, in Patent Document 1, a luminance image (original image) generated in a microscope is subjected to filter processing such as an arithmetic average filter to generate a correction image, and this correction image is used. A technique for correcting an original image is disclosed.
  • Patent Document 2 a correction amount of shading (brightness unevenness) is calculated based on an image obtained by imaging a sample having a uniform light reflectance, and the sample is imaged using this correction amount.
  • a technique for correcting a captured image is disclosed.
  • shading calibration image data is generated based on an image obtained by performing imaging after the sample is retracted outside the angle of view of the objective lens, and the calibration image data is used.
  • a technique for calibrating an image obtained by imaging a sample is disclosed.
  • Patent Document 4 discloses a technique for removing a periodic luminance change due to shading by performing a high-pass filter process on a combined image obtained by connecting a plurality of microscope images.
  • Patent Document 1 the image of the sample reflected in the original image affects the shading correction. Further, in Patent Document 2, it is necessary to exchange the sample and the correction sample every time the photographing condition changes, and the work becomes complicated. Similarly, in Patent Document 3, it is necessary to retract the sample every time the imaging conditions change, and the work becomes complicated. Further, in Patent Document 4, when the luminance of the sample image changes with a period similar to that of the shading to be removed, the shading correction may affect the sample image itself.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image processing program and an image processing apparatus capable of performing highly accurate shading correction without requiring complicated work.
  • an image processing program provides a color similarity between a plurality of pixels based on a color component value of each of the plurality of pixels in the image.
  • the color similarity calculation step further calculates a luminance difference between the plurality of pixels based on the luminance component value of each pixel, and the estimated luminance value calculation step further includes the luminance
  • the filter processing is performed on each pixel using a difference.
  • the color similarity calculation step further acquires a positional relationship between the plurality of pixels based on the coordinate value of each pixel, and the estimated luminance value calculation step further includes the positional relationship. And applying the filtering process to each pixel.
  • the image processing program further includes a parameter setting step for setting a parameter used in the estimated luminance value calculation step based on image information of the image.
  • the image processing program calculates a color similarity weight based on the color similarity between a target pixel at an arbitrary position in the image and a reference pixel located within a predetermined range from the target pixel. And a reference pixel weight setting step of setting a weight of the reference pixel from the weight of the color similarity, and the filtering process is performed on the luminance value of the pixel located within the predetermined range. On the other hand, it is a weighted average process executed using the weight of the reference pixel.
  • the image processing program further includes a luminance difference weight calculation step of calculating a luminance difference weight according to a luminance difference that is a difference in luminance value between the target pixel and the reference pixel, and the reference pixel weight setting step includes The weight of the reference pixel is calculated by multiplying the luminance difference weight by the weight of the color similarity.
  • the luminance difference weight calculating step calculates the luminance difference weight using a positional relationship between the target pixel and the reference pixel in addition to the luminance difference.
  • the image processing program further includes a position weight calculation step of calculating a position weight from a target pixel coordinate representing the position of the target pixel and a reference pixel coordinate representing the position of the reference pixel, and the reference pixel weight setting step Is characterized in that the weight of the reference pixel is calculated by multiplying the weight of the position by the weight of the color similarity.
  • the estimated luminance value calculating step uses only a pixel for which an estimated luminance value has already been calculated as a reference pixel.
  • the image processing program determines whether or not the estimated luminance value of the target pixel is valid based on a weight of the reference pixel within the predetermined range, and is calculated for the target pixel according to the determination result.
  • the image processing program causes the color similarity calculation step, the estimated luminance value calculation step, and the correction gain calculation step to be executed for each of a plurality of images, and a plurality of corrections calculated for each of the plurality of images.
  • the method further includes calculating a new correction gain by performing a second filter process on the correction gain at coordinates corresponding to each other between the plurality of images, and the correction step includes the new correction gain. In this case, each of the plurality of images is corrected.
  • the second filter process is either an average value filter process or a median filter process.
  • the image processing program sets an arithmetic correction gain represented by a function of an arbitrary coordinate in the image, and calculates the correction gain value calculated for the pixel in the image and the arithmetic at the coordinate corresponding to the pixel.
  • the method further includes an arithmetic correction gain calculation step for obtaining a parameter of the function so that an index indicating a degree of deviation from the correction gain value is minimized, and the correction step includes correcting the image with the arithmetic correction gain.
  • the arithmetic correction gain calculating step includes, as the index, a square of a difference between a correction gain value calculated for a pixel in the image and the arithmetic correction gain value at coordinates corresponding to the pixel. It is characterized by using a sum.
  • the arithmetic correction gain calculating step uses, as the index, a difference between a correction gain value calculated for a pixel in the image and the arithmetic correction gain value at coordinates corresponding to the pixel. The sum of absolute values is used.
  • the image processing apparatus includes a color similarity between pixels calculated based on a color component value of each of a plurality of pixels in an image and a luminance component value of each pixel in the image. Based on the filter processing for each pixel, an estimated luminance value calculating unit that calculates an estimated luminance value of each pixel, and a correction gain calculating unit that calculates a correction gain from the estimated luminance value and the luminance component value And correction means for correcting the image with the correction gain.
  • the luminance value (estimated luminance value) when there is no influence of shading is calculated from the luminance component value of each pixel using the color similarity between the pixels in the image. It is possible to perform highly accurate shading correction without requiring work.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram illustrating a configuration example of a microscope system including the image processing apparatus illustrated in FIG.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 4 is a schematic diagram for explaining a series of processes shown in FIG.
  • FIG. 5 is a schematic diagram for explaining the principle of setting the color similarity weight.
  • FIG. 6 is a schematic diagram for explaining the calculation process of the estimated luminance value shown in FIG.
  • FIG. 7 is a schematic diagram for explaining reference pixel weight setting processing in Embodiment 2 of the present invention.
  • FIG. 8 is a schematic diagram for explaining the principle of setting the luminance difference weight.
  • FIG. 8 is a schematic diagram for explaining the principle of setting the luminance difference weight.
  • FIG. 9 is a schematic diagram for explaining reference pixel weight setting processing in Embodiment 3 of the present invention.
  • FIG. 10 is a schematic diagram for explaining the principle of setting the position weight.
  • FIG. 11 is a graph for explaining an example of calculating the position weight.
  • FIG. 12 is a schematic diagram for explaining the processing order of shading correction in the first modification.
  • FIG. 13 is a schematic diagram for explaining the processing order of shading correction in the second modification.
  • FIG. 14 is a block diagram illustrating a configuration example of a calculation unit included in the image processing apparatus according to the fourth embodiment of the present invention.
  • FIG. 15 is a flowchart showing the operation of the calculation unit shown in FIG.
  • FIG. 16 is a schematic diagram for explaining the principle of determination of effectiveness in the fourth embodiment.
  • FIG. 17 is a block diagram illustrating a configuration example of a calculation unit included in the image processing apparatus according to the fifth embodiment of the present invention.
  • FIG. 18 is a schematic diagram for explaining the calculation principle of the common correction gain.
  • FIG. 19 is a flowchart showing the operation of the calculation unit shown in FIG.
  • FIG. 20 is a block diagram illustrating a configuration example of a calculation unit included in the image processing apparatus according to the sixth embodiment of the present invention.
  • FIG. 21 is a flowchart showing the operation of the calculation unit shown in FIG.
  • FIG. 22 is a block diagram illustrating a configuration example of a calculation unit included in the image processing apparatus according to the seventh embodiment of the present invention.
  • FIG. 23 is a flowchart showing the operation of the calculation unit shown in FIG. FIG.
  • FIG. 24 is a block diagram illustrating a configuration example of a calculation unit included in the image processing apparatus according to the eighth embodiment of the present invention.
  • FIG. 25 is a flowchart showing the operation of the calculation unit shown in FIG.
  • FIG. 26 is a block diagram illustrating a configuration example of a calculation unit included in the image processing device according to the ninth embodiment of the present invention.
  • FIG. 27A is a graph showing a correction gain before fitting.
  • FIG. 27B is a schematic diagram for explaining a method for deriving the arithmetic correction gain.
  • FIG. 27C is a graph showing the correction gain after fitting.
  • FIG. 28 is a block diagram illustrating a configuration example of a calculation unit included in the image processing apparatus according to the tenth embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 10 includes an input unit 110 that receives an instruction and information input to the image processing apparatus 10 and an interface that receives an input of an image output from the microscope apparatus.
  • An image input unit 120 receives an instruction and information input to the image processing apparatus 10 and an interface that receives an input of an image output from the microscope apparatus.
  • a control unit 160 for controlling the operation of the microscope apparatus.
  • the input unit 110 includes input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel, and receives signals input via these devices and inputs them to the control unit 160.
  • input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel, and receives signals input via these devices and inputs them to the control unit 160.
  • the display unit 130 is configured by a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens according to control signals output from the control unit 160. indicate.
  • the display unit 130 is provided inside the image processing apparatus 10.
  • the display unit 130 may be provided outside the image processing apparatus 10. In this case, instead of the display unit 130, an external interface unit that outputs a control signal from the control unit 160 to the outside is provided.
  • the storage unit 140 includes a recording device such as a flash memory that can be updated and recorded, a semiconductor memory such as a RAM and a ROM, a recording medium such as a hard disk, an MO, a CD-R, and a DVD-R that are built-in or connected by a data communication terminal.
  • the recording apparatus includes a reading device that reads information recorded on the recording medium.
  • the storage unit 140 stores image data input from the image input unit 120, various programs executed by the calculation unit 150 and the control unit 160, various parameters, and setting information. Specifically, the storage unit 140 stores an image processing program 141 that performs shading correction on the image input from the image input unit 120.
  • the calculation unit 150 is configured by hardware such as a CPU, for example, and reads the image processing program 141 stored in the storage unit 140, thereby performing shading correction on the image corresponding to the image data stored in the storage unit 140.
  • the applied image processing is executed.
  • the calculation unit 150 calculates a color similarity based on the color component values of each of the plurality of pixels in the image, and sets a weight according to the color similarity.
  • An estimation for calculating a luminance value (estimated luminance value) assumed when there is no influence of shading by applying a filtering process to the luminance component value of each pixel using a weight corresponding to the degree of color similarity A luminance value calculation unit 152, a correction gain calculation unit 153 that calculates a correction gain from the estimated luminance value and the luminance component value, and an image correction unit 154 that corrects an image using the correction gain.
  • the control unit 160 is configured by hardware such as a CPU, for example, and reads various programs stored in the storage unit 140 based on various data stored in the storage unit 140 and various information input from the input unit 110.
  • the image processing apparatus 10 and the overall operation of the system including the image processing apparatus 10 are comprehensively controlled.
  • FIG. 2 is a schematic diagram illustrating a configuration example of a microscope system including the image processing apparatus 10.
  • a microscope system 1 shown in FIG. 2 includes an image processing apparatus 10 and a microscope apparatus 20 connected to the image processing apparatus 10.
  • the microscope apparatus 20 includes a substantially C-shaped arm 100, a specimen stage 101 that is attached to the arm 100 and on which a sample SP is placed, and a specimen stage 101 via a trinocular tube unit 106 on one end side of the lens barrel 103.
  • Objective lens 102 provided so as to face the lens
  • an image acquisition unit 104 provided on the other end side of the lens barrel 103
  • a stage position changing unit 105 for moving the sample stage 101.
  • the trinocular tube unit 106 branches the observation light of the sample incident from the objective lens 102 into an image acquisition unit 104 and an eyepiece unit 107 described later.
  • the eyepiece unit 107 is for the user to directly observe the sample SP.
  • the objective lens 102 is attached to a revolver 108 that can hold a plurality of objective lenses (for example, the objective lens 102 ′) having different magnifications.
  • a revolver 108 that can hold a plurality of objective lenses (for example, the objective lens 102 ′) having different magnifications.
  • a zoom unit including a plurality of zoom lenses and a drive unit (none of which is shown) that changes the position of these zoom lenses is provided inside the lens barrel 103.
  • the zoom unit enlarges or reduces the subject in the imaging field by adjusting the position of each zoom lens.
  • An encoder may be further provided in the drive unit in the lens barrel 103.
  • the output value of the encoder may be output to the image processing device 10, and the image processing device 10 may detect the position of the zoom lens from the output value of the encoder and automatically calculate the magnification of the imaging field.
  • the image acquisition unit 104 includes, for example, an image sensor such as a CCD or CMOS, and the pixel level (pixel value) in each band of R (red), G (green), and B (blue) in each pixel included in the image sensor. This is a camera that can capture a color image.
  • the image acquisition unit 104 receives light (observation light) incident from the objective lens 102 via the optical system in the lens barrel 103, generates image data corresponding to the observation light, and outputs the image data to the image processing apparatus 10.
  • the image acquisition unit 104 may convert the pixel value represented in the RGB color space into a pixel value represented in the YCbCr color space and output the converted pixel value to the image processing apparatus 10.
  • the stage position changing unit 105 includes, for example, a motor 105a, and changes the imaging field of view by moving the position of the sample stage 101 within the XY plane. Further, the stage position changing unit 105 focuses the objective lens 102 on the sample SP by moving the sample stage 101 along the Z axis.
  • the stage position changing unit 105 is provided with a position detecting unit 105b that detects the position of the sample stage 101 and outputs a detection signal to the image processing apparatus 10.
  • the position detection unit 105b is configured by an encoder that detects the amount of rotation of the motor 105a, for example.
  • the stage position changing unit 105 may be configured by a pulse generating unit that generates a pulse and a stepping motor in accordance with the control of the control unit 160 of the image processing apparatus 10.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus 10.
  • FIGS. 4 to 6 are schematic diagrams for explaining image processing in the first embodiment.
  • the arithmetic unit 150 inputs image data to be processed from the storage unit 140.
  • the image data to be processed may be image data of an image captured by the microscope apparatus 20, or an image generated by another optical device and input to the image processing apparatus 10 via a network or a recording medium. It may be data.
  • processing is performed on an image M composed of a plurality of pixels P as shown in FIG.
  • the calculation unit 150 sets parameters used for image processing.
  • the arithmetic unit 150 may read and set parameters previously determined for the image processing apparatus 10 or the microscope system 1 and stored in the storage unit 140 from the storage unit 140, or may set the input unit 110.
  • a value input by the user via the interface may be set as a parameter.
  • the control unit 160 may cause the display unit 130 to display a screen for allowing the user to input parameters. The contents of the parameters will be described as needed.
  • the calculation unit 150 separates the pixel value of each pixel P in the processing target image M into a luminance component and a color component based on the input image data, and a luminance image M B composed of the luminance component. And a color image M C composed of color components.
  • each pixel value (R value, G value, B value) is expressed as a luminance component value by the following equations (1-1) to (1-3). Conversion into Y and color (color difference) component values Cb and Cr is performed.
  • Y 0.30R + 0.59G + 0.11B (1-1)
  • Cb ⁇ 0.17R ⁇ 0.33G + 0.50B (1-2)
  • Cr 0.50R ⁇ 0.42G ⁇ 0.08B (1-3)
  • this step S12 may be omitted when a YCbCr image is acquired in the microscope apparatus 20 or other optical equipment.
  • the calculation unit 150 sequentially sets the pixel P in the image M as the target pixel P tar, and uses the pixel P in a predetermined range (reference range) around the target pixel P tar as a reference pixel P ref .
  • the process of Loop A is executed using the pixel value (luminance component value and color component value) of the pixel Pref .
  • the reference range Ref is set to a range of, for example, 5 ⁇ 5 pixels including two pixels P before and after the target pixel P tar in each of the X direction and the Y direction.
  • the target pixel P tar is set to be limited to pixels inside two pixels from the end of the image.
  • step S13 the weight setting unit 151, the color component values of the reference pixels P ref, calculates the color similarity of the reference pixel P ref for the pixel of interest P tar (or discrepancy).
  • the color difference of each pixel as the color of the similarity (or degree of deviation) (Cb, Cr) distance (color difference between the target pixel P tar and the reference pixel P ref in the feature space to a component Component distance).
  • the color difference component distance L col is given by the following equation (2).
  • L col (D Cb 2 + D Cr 2 ) 1/2 (2)
  • D Cb
  • and D Cr
  • the color difference component distance L col decreases, indicating that the color of the reference pixel P ref for the target pixel P tar are similar, the color difference component distance L col increases, the target pixel P tar This indicates that the color of the reference pixel Pref is deviated.
  • the weight setting unit 151 sets the weight (hereinafter referred to as reference pixel weight) W ref of the reference pixel Pref using the color similarity (for example, the color difference component distance).
  • a color similarity weight W col is set as the reference pixel weight W ref so that the value becomes larger as the color of the reference pixel Pref is similar to the target pixel P tar .
  • FIG. 5 is a diagram for explaining the principle of setting the color similarity weight, and schematically shows the pixels in the image.
  • the difference in color is represented by the difference in the type of hatching.
  • the color similarity is high (the color difference component distance is small).
  • the color similarity weight W col is set large.
  • the pixels in the region A 1 which is orange have a different hue from the target pixel P tar and have a low color similarity (the color difference component distance is large). In this case, the color similarity weight W col is set small.
  • the color similarity weight W col is given by the following equation (3), for example.
  • the symbol ⁇ col represents a parameter (color similarity parameter) that gives a weight according to the color similarity.
  • the color similarity weight W col takes a maximum value (for example, 1) when the color of the reference pixel Pref and the color of the target pixel Ptar match, and the color difference component distance between them. As the value increases, it decreases exponentially.
  • color similarity weight W col is set.
  • the color similarity of the reference pixel Pref in the areas A 2 and A 3 is low and the color similarity of the other reference pixels Pref is high with respect to the target pixel P tar . Therefore, the color similarity weight W col for the reference pixel P ref in the area A 2 and A 3 is set smaller, the color similarity weight W col against the other reference pixels P ref is set large.
  • the estimated luminance value calculation unit 152 performs the filtering process using the luminance component value of each pixel P in the reference range Ref and the reference pixel weight W ref (color similarity weight W col ), and thereby the target pixel.
  • An estimated luminance value D tar of P tar is calculated.
  • weighted average processing is used as filter processing.
  • the weighted average processing for giving the estimated luminance value D tar is performed by the luminance component value D (x, y) of each pixel P (the target pixel P tar and the reference pixel P ref ) in the reference range Ref and the reference pixel weight W ref (x , Y) and the following expression (4).
  • FIG. 6 is a schematic diagram for explaining the calculation process of the estimated luminance value in more detail.
  • the coordinates of each luminance component in the luminance image M B, the coordinate system based on the image M (X, Y) are indicated by.
  • the coordinates of the reference pixel weight W ref are indicated by a coordinate system (x, y) based on the reference range Ref.
  • the estimated luminance value D tar (X t , Y t ) of the pixel of interest P tar whose coordinates are (X t , Y t ) is expressed as follows. be able to.
  • the coordinates of the target pixel P tar are (3, 5).
  • X r X t + x ⁇ (5-1)
  • Y r Y t + y ⁇ (5-2)
  • (X r , Y r ) (X t + x ⁇ 2, Y t + y ⁇ 2).
  • the correction gain calculation unit 153 calculates the following expression from the luminance component (measured value) D (X t , Y t ) at the target pixel P tar and the estimated luminance value D tar (X t , Y t ).
  • the correction gain G (X, Y) is calculated by (7).
  • G (X t , Y t ) D (X t , Y t ) / D tar (X t , Y t ) (7)
  • the calculated correction gain G (X t , Y t ) is sequentially stored in the storage unit 140.
  • the correction gain G (X, Y) is obtained.
  • a correction image as a component is created.
  • the image correction unit 154 corrects the original image M using the correction gain G (X, Y). Specifically, as shown in the following equation (8), the pixel value I (X, Y) of the original image M is divided by the correction gain G (X, Y) to obtain a corrected pixel value I ′ ( X, Y) is calculated.
  • I ′ (X, Y) I (X, Y) / G (X, Y) (8)
  • step S18 the calculation unit 150 outputs a corrected image including the pixel value I ′ (X, Y) and displays the corrected image on the display unit 130, and the corrected image data and the correction image are displayed.
  • the image data is stored in the storage unit 140.
  • the weighted average value of the luminance component values is calculated by setting the weight of a pixel that exists in the vicinity of the target pixel and whose color component value is close to that of the target pixel to be high. Since the estimated luminance value of the target pixel is calculated, it is possible to perform highly accurate shading correction.
  • the correction target image is separated into a luminance component and a color component, and the weight used for the calculation is determined using the value of the color component that is not affected by shading.
  • the estimation accuracy of can be improved.
  • the correction image can be created only from the correction target image captured by the optical apparatus such as the microscope apparatus, and therefore, it is complicated to replace the sample for creating the correction image. Work becomes unnecessary.
  • Embodiment 2 of the present invention the weight setting unit 151 in step S13 in FIG. 3, and calculates a luminance difference in addition to the color similarity of the reference pixel P ref for the pixel of interest P tar, in step S14, color similarity
  • the reference pixel weight is set using the degree and the luminance difference.
  • the configuration and operation of the image processing apparatus according to the second embodiment are the same as those shown in FIGS. 1 and 3 as a whole.
  • FIG. 7 is a schematic diagram for explaining color similarity and luminance difference calculation processing and reference pixel weight setting processing.
  • the weight setting unit 151 calculates the color similarity of the reference pixel P ref for the target pixel P tar from the color components of each pixel P (or deviance), Further, the color similarity (or The color similarity weight W col is calculated based on the degree of deviation. Note that the process of calculating the color similarity weight W col is the same as in the first embodiment.
  • the weight setting unit 151 calculates the luminance difference between the reference pixel P ref for the pixel of interest P tar. For example, the pixel of interest P tar of the luminance values Y tar, when the luminance value of the reference pixel P ref and Y ref, the luminance difference
  • the weight setting unit 151 further calculates the luminance difference weight W dif using the luminance difference
  • Figure 8 is a diagram for explaining setting principles of the luminance difference weights, show a pixel in the luminance image M B schematically.
  • the difference in luminance is represented by the difference in hatching type.
  • the pixels in the region B 0 have a large luminance difference with respect to the target pixel P tar (very darker than the target pixel P tar ). For this reason, the luminance difference weight W dif for the pixels in the region B 0 is set low.
  • the weight setting unit 151 sets the threshold value Th L for determination of the luminance difference weight W dif as shown in the following equation (10).
  • Th L (L ⁇ 1) ⁇ S + B (10)
  • the determination parameter S is a parameter for changing the determination threshold Th L according to the distance L.
  • the determination parameter B is a parameter for giving the minimum value of the determination threshold Th L.
  • the determination threshold Th L is changed according to the distance L because the luminance difference caused by the influence of shading increases as the distance increases.
  • the luminance difference weight W dif at the reference pixel P ref (x, y) is given by the following equation (11) using the determination threshold Th L.
  • the weight of the reference pixel P ref having a large luminance difference with respect to the target pixel P tar is set to zero.
  • the weight setting unit 151 calculates the reference pixel weight W ref2 in the reference pixel P ref (x, y) from the color similarity weight W col and the luminance difference weight W dif according to the following equation (12).
  • W ref2 (x, y) W col (x, y) ⁇ W dif (x, y) (12)
  • the reference pixel weight W ref2 calculated in this way is used to calculate the estimated luminance value D tar of the target pixel P tar .
  • the reference pixel weight is set using the luminance difference in addition to the color similarity of the reference pixel with respect to the target pixel, shading is performed in the calculation of the estimated luminance value of the target pixel. It is possible to reduce the contribution of pixels that are considered to have a large influence. Therefore, highly accurate shading correction can be performed.
  • the value of the luminance difference weight W dif is set to 1 or 0, but the specific value of the luminance difference weight W dif is not limited to these. That is, the luminance difference
  • Embodiment 3 of the present invention the weight setting unit 151 in step S13 in FIG. 3, to get the positional relationship in addition to color similarity and the luminance difference between the reference pixel P ref for the pixel of interest P tar, in step S14
  • the reference pixel weight is set using the color similarity, the luminance difference, and the positional relationship. Note that the configuration and operation of the image processing apparatus according to the third embodiment are the same as those shown in FIGS. 1 and 3 as a whole.
  • FIG. 9 is a schematic diagram for explaining color similarity, luminance difference, positional relationship acquisition processing, and reference pixel weight setting processing.
  • the weight setting unit 151 calculates the color similarity of the reference pixel P ref for the pixel of interest P tar (or deviance) from the color component of each pixel P, further based on the color similarity
  • the color similarity weight W col is calculated. Note that the process of calculating the color similarity weight W col is the same as in the first embodiment.
  • the weight setting unit 151 calculates the luminance difference between the reference pixel P ref for the target pixel P tar from the luminance component of each pixel P, and calculates the luminance difference weight W dif based on the brightness difference. Note that the calculation process of the luminance difference weight W ref is the same as in the second embodiment.
  • the weight setting unit 151 acquires the positional relationship of the reference pixel Pref with respect to the target pixel Ptar .
  • the positional relationship is, for example, a relationship between which of the target pixel P tar and the reference pixel Pref is closer to the center of the image.
  • Such a positional relationship can be represented by, for example, a distance difference L dif from the center of the image.
  • the difference L dif in the distance from the center of the pixel is the center coordinates of the image (C X , C Y ), the coordinates of the target pixel P tar (T X , T Y ), and the coordinates of the reference pixel P ref (R X , R Y ), it is given by the following equation (13).
  • the weight setting unit 151 further calculates the position weight W pos using the positional relationship represented by this difference L dif .
  • FIG. 10 is a diagram for explaining the calculation principle of the position weight, and schematically shows the pixels in the image.
  • the difference in color is represented by the difference in the type of hatching.
  • the influence of shading increases as the distance from the center of the image increases. Therefore, as shown in FIG. 10, when attention is paid to a certain pixel of interest P tar, in the pixel close to the center of the image than the pixel of interest P tar, it reduces the influence of shading than the pixel of interest P tar, the pixel of interest In the pixel farther from the center of the image than P tar, the influence of shading is larger than the target pixel P tar .
  • centered is equal to the pixel of interest P tar distance image, or high reference ratio smaller reference pixel P ref than the pixel of interest P tar
  • the position weight W pos is set so that A specific value for position weight W pos is not particularly limited, as the reference pixel P ref is closer to the center of the image than the pixel of interest P tar value is increased, the reference pixel P ref is the image than the pixel of interest P tar What is necessary is just to set so that a value may become so small that it is far from the center.
  • Position weight W pos for example, as shown in FIG. 11, to the distance difference L dif and may be calculated by using a position weight W pos gives the relationship between the default function f (L dif), the difference between the distance A table in which L dif and the position weight W pos are associated may be stored in advance in the storage unit 140 and acquired by referring to this table.
  • a weight W pos for reducing the contribution in the calculation of the estimated luminance value (weighted average) is set for the region C 1 shown in FIG.
  • the weight setting unit 151 calculates the reference pixel weight W in the reference pixel P ref (x, y) from the color similarity weight W col , the luminance difference weight W dif, and the position weight W pos according to the following equation (14). Calculate ref3 .
  • W ref3 (x, y) W col (x, y) ⁇ W dif (x, y) ⁇ W pos (x, y) (14)
  • the reference pixel weight W ref3 calculated in this way is used to calculate the estimated luminance value D tar of the target pixel P tar .
  • the reference pixel weight is set using the positional relationship between the target pixel and the reference pixel, when calculating the estimated luminance value of the target pixel, It is possible to increase the contribution of reference pixels that are considered to be less affected by shading, and to reduce the contribution of reference pixels that are considered to have more influence of shading than the target pixel. Therefore, highly accurate shading correction can be performed.
  • the position weight W pos is set such that the reference pixel Pref is closer to the center of the image than the target pixel Ptar and the contribution to the calculation of the estimated luminance value increases. I can do it. Therefore, simply, as shown in the following equation (15), the target pixel P tar and the reference pixel Pref are simply compared with the distance from the center of the image (or its square value).
  • the position weight W pos may be determined.
  • the specific value of the position weight P pos is not limited to 1 or 0.
  • the estimated luminance value is calculated. A value that reduces the contribution in calculating the estimated luminance value when the contribution is increased and the reference pixel Pref is farther from the center of the image than the target pixel Ptar may be set.
  • the reference pixel weight W ref3 is calculated based on the color similarity, the luminance difference, and the positional relationship between the target pixel P tar and the reference pixel P ref.
  • the reference pixel weight may be calculated based only on the color similarity and the positional relationship between P tar and the reference pixel Pref .
  • the reference pixel P ref referenced in the filter processing for calculating the estimated luminance value D tar is usually limited to neighboring pixels of the pixel of interest P tar. However, it is considered that the neighboring pixels of the pixel having a large influence of shading are affected by the shading similarly to the target pixel P tar .
  • the arithmetic unit 150 starts the process of calculating the estimated luminance value D tar , for example, from the vicinity of the center of the image M, that is, the area SA1 where the influence of shading is small, as shown in FIG.
  • the reference range Ref is preferably executed while being shifted outward while overlapping a part of the reference range Ref.
  • the calculation is performed with reference to the estimated luminance value D tar of the pixel P tar (n ⁇ 1) calculated previously. Become.
  • the luminance value in the area SA1 can be indirectly referenced even at a position away from the area SA1 where the influence of shading is small, and the correction accuracy can be improved.
  • the calculation unit 150 incorporates a region in which the estimated luminance value D tar is newly calculated (a region that has undergone shading correction) into the unshaded region SA2, and these regions SA1, SA2 Is set as an area SA3 that is not affected by shading (hereinafter referred to as a non-shading area) SA3. Then, the pixels outside the non-shading area SA3 (for example, the pixels P tar1 , P tar2 ,...) Are sequentially set as the target pixel, and the filter process is executed.
  • the arithmetic unit 150 expands the non-shading area SA3 to the area SA4 and updates the non-shading area. Further, the calculation unit 150 sequentially sets the pixels outside the updated non-shading area (for example, the pixel P tar7 ) as the target pixel, and executes the filtering process.
  • Modification 3 Next, a third modification of the first to third embodiments will be described.
  • Modification 1 when sequentially enlarging the non-shading area, in the filtering process for each pixel of interest, processing is performed with reference to only the reference pixel inside the pixel of interest (side closer to the center of the image). Good to run.
  • the calculation is performed using only the estimated luminance value that has already been calculated, so that the accuracy of the shading correction can be further improved.
  • FIG. 14 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to Embodiment 4 of the present invention.
  • the calculation unit 200 in the fourth embodiment determines the effectiveness of the correction gain calculated by the correction gain calculation unit 153 with respect to the configuration of the calculation unit 150 shown in FIG. If not, it further includes a correction gain correction unit 201 that corrects the correction gain.
  • the configuration and operation of the calculation unit 200 other than the correction gain correction unit 201 and the configuration and operation of the entire image processing apparatus are the same as those in FIG.
  • FIG. 15 is a flowchart showing the operation of the calculation unit 200.
  • the operations in steps S10 to S18 are the same as those in the first to third embodiments.
  • steps S13 and S14 the second or third embodiment may be applied.
  • step S20 following step S14 the correction gain correction unit 201 acquires the maximum value of the set reference pixel weight and stores it in the storage unit 140.
  • step S21 following step S16 the correction gain correction unit 201 determines whether or not the maximum weight value acquired for each pixel of interest in step S20 is equal to or greater than a preset threshold value.
  • FIG. 16 is a diagram for explaining the principle of determining the effectiveness of the correction gain, and schematically shows the pixels in the processing target image.
  • the difference in color is represented by the difference in the type of hatching.
  • All reference pixel weight values in the reference range Ref are set to be small. In such a case, it is not appropriate to use the estimated luminance value calculated using the set reference pixel weight for calculating the correction gain.
  • step S21: Yes when the maximum value of the reference pixel weight for the target pixel P tar is equal to or greater than the threshold (step S21: Yes), the correction gain correction unit 201 determines that the correction gain of the target pixel P tar is valid. (Step S22). On the other hand, when the maximum value of the reference pixel weight for the target pixel P tar is less than the threshold (step S21: No), the correction gain correction unit 201 determines that the correction gain of the target pixel P tar is invalid (step S21). S23).
  • the correction gain correction unit 201 After completion of the process of loop A for each pixel, in step S24, the correction gain correction unit 201 performs a filtering process on the target pixel P tar determined to be invalid using the correction gains of the surrounding pixels, The correction gain of the target pixel P tar is interpolated.
  • the filter processing for example, an average value filter, a Gaussian filter, a median (intermediate value) filter, or the like can be used.
  • the corrected correction gain is stored in the storage unit 140.
  • the effectiveness of the correction gain is determined and the correction gain is corrected as necessary, so that the accuracy of shading correction can be further improved.
  • FIG. 17 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to the fifth embodiment of the present invention.
  • the calculation unit 210 according to the fifth embodiment further includes a common correction gain calculation unit 211 that calculates a common correction gain among a plurality of images, in addition to the configuration of the calculation unit 150 illustrated in FIG. 1. .
  • the configuration and operation of the calculation unit 210 other than the common correction gain calculation unit 211 and the configuration and operation of the entire image processing apparatus are the same as those in FIG.
  • the correction gains G1, G2,... are calculated for each image by the processing for each image M1, M2,. For this reason, a gain with a large error may be calculated due to the influence of the subject in the imaging range, noise, or the like.
  • common correction gain calculation unit 211 a plurality of images M1, M2, ... of the plurality of calculated respectively from the correction gains G1, G2, ... using a seek more probable correction gain (common correction gain) G COM .
  • FIG. 19 is a flowchart showing the operation of the arithmetic unit 210.
  • the operations in steps S10 to S16 shown in FIG. 19 are the same as in the first to third embodiments. In steps S13 and S14, the second or third embodiment may be applied.
  • step S30 the calculation unit 210 determines whether there is an input for the next image. If there is an input for the next image (step S30: Yes), the operation returns to step S11. On the other hand, when there is no input of the next image (step S30: No), the common correction gain calculation unit 211 calculates the correction gain G1 of the plurality of images M1, M2,... Calculated so far and stored in the storage unit 140. , G2,... Are obtained, and a common correction gain GCOM is calculated from these correction gains G1, G2,... (Step S31).
  • the filter processing is performed on the correction gains g1 (X, Y), g2 (X, Y),... At the pixel positions corresponding to the images M1, M2,.
  • the filtering process may be an average value filtering process or a median (intermediate value) filtering process.
  • the average value or the intermediate value calculated as a result is set as a common correction gain g COM (X, Y) at the pixel position.
  • step S32 the image correction unit 154 sequentially corrects the original images M1, M2,... Using the common correction gain GCOM . Further, in step S33, the arithmetic unit 210 sequentially outputs corrected images.
  • the common correction gain is calculated based on the correction gain calculated from each of the plurality of images, and the original plurality of images are corrected using the common correction gain.
  • FIG. 20 is a block diagram showing a configuration of a calculation unit provided in the image processing apparatus according to Embodiment 6 of the present invention.
  • the calculation unit 220 according to the sixth embodiment is the same as the correction gain correction unit 201 described in the fourth embodiment and the fifth embodiment, which is different from the configuration of the calculation unit 150 illustrated in FIG. 1.
  • a common correction gain calculation unit 211 The configuration and operation of the calculation unit 220 other than the correction gain correction unit 201 and the common correction gain calculation unit 211 and the configuration and operation of the entire image processing apparatus are the same as those in FIG.
  • FIG. 21 is a flowchart showing the operation of the calculation unit 220.
  • the series of operations in steps S10 to S24 shown in FIG. 21 is the same as that in the fourth embodiment.
  • step S40 following step S24 the calculation unit 220 determines whether there is an input for the next image. If there is an input for the next image (step S40: Yes), the operation returns to step S11. On the other hand, when there is no input of the next image (step S40: No), the common correction gain calculation unit 211 acquires the correction gains of the plurality of images calculated so far and stored in the storage unit 140, and these A common correction gain is calculated from the correction gain (step S41). The details of the common correction gain calculation process are the same as in the fifth embodiment.
  • step S42 the image correction unit 154 sequentially corrects the original image using the common correction gain. Further, in step S43, the calculation unit 220 sequentially outputs corrected images.
  • the common correction gain is calculated from the plurality of correction gains individually corrected based on the effectiveness of the correction gain, it is possible to further improve the life after shading correction. It becomes possible.
  • FIG. 22 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to Embodiment 7 of the present invention.
  • the calculation unit 230 in the seventh embodiment is different from the configuration of the calculation unit 150 shown in FIG. 1 in that the correction gain determination unit 231 and the common correction gain calculation unit 211 described in the fifth embodiment. Is provided.
  • the configuration and operation of the calculation unit 220 other than the correction gain determination unit 231 and the common correction gain calculation unit 211 and the configuration and operation of the entire image processing apparatus are the same as those in FIG.
  • the correction gain determination unit 231 determines whether a correction gain calculated individually or a common correction gain calculated from a plurality of images is used as the correction gain used for correcting the image to be processed.
  • FIG. 23 is a flowchart showing the operation of the calculation unit 230.
  • the operations in steps S10 to S18 are the same as those in the first to third embodiments.
  • steps S13 and S14 the second or third embodiment may be applied.
  • step S50 the calculation unit 230 determines whether there is an input for the next image. If there is an input for the next image (step S50: Yes), the operation returns to step S11. On the other hand, when there is no input of the next image (step S50: No), the correction gain determination unit 231 determines whether a correction process common to a plurality of images processed so far is necessary for the processing target image. Is determined (step S51).
  • the correction gain determination unit 231 refers to the incidental information of the images processed so far, and determines that common correction processing is necessary when a common flag is added between these images. Alternatively, when a plurality of images are continuously input within a predetermined time, it may be determined that a common correction process is necessary. Furthermore, the correction gain determination unit 231 may perform the determination according to a signal input from the outside to the input unit 110 (see FIG. 1). That is, the user may determine whether to perform common correction processing and input an instruction to the image processing apparatus 10.
  • step S51: No When the correction gain determination unit 231 determines that the common correction process is unnecessary (step S51: No), the operation proceeds to step S17. On the other hand, when the correction gain determination unit 231 determines that a common correction process is necessary (step S51: Yes), the common correction gain calculation unit 211 calculates a plurality of corrections calculated from images processed so far. A common correction gain is calculated using the gain (step S52). The common correction gain calculation process is the same as in the fifth embodiment.
  • step S53 the image correction unit 154 corrects the original image using the common correction gain. Thereafter, the operation proceeds to step S18.
  • an appropriate correction process according to the image can be performed. For example, when an image having different imaging conditions from another image is input alone, the image is corrected without being influenced by the other image by using a correction gain calculated from the image. be able to.
  • a correction gain calculated from the image For example, in order to create a virtual slide image, when a plurality of images obtained by partially imaging a specimen are continuously input, by using a common correction gain calculated from the plurality of input images, individual images can be obtained. It is possible to perform correction with reduced influence of noise or the like generated on the image.
  • the common correction gain is calculated only when necessary, the calculation process can be made more efficient.
  • FIG. 24 is a block diagram showing a configuration of a calculation unit provided in the image processing apparatus according to Embodiment 8 of the present invention.
  • the calculation unit 240 according to the eighth embodiment is different from the block diagram shown in FIG. 1 in that the correction gain correction unit 201, the corrected correction gain determination unit 241 described in the fourth embodiment, The common correction gain calculation unit 211 described in the fifth embodiment is provided.
  • the configuration and operation of the calculation unit 240 other than the correction gain correction unit 201, the corrected correction gain determination unit 241, and the common correction gain calculation unit 211, and the configuration and operation of the entire image processing apparatus are the same as those in FIG.
  • the corrected correction gain determination unit 241 uses a corrected correction gain obtained by correcting an individually calculated correction gain as a correction gain used for correcting an image to be processed, or a common correction calculated from a plurality of images. Determine whether to use gain.
  • FIG. 25 is a flowchart showing the operation of the calculation unit 240.
  • the series of operations in steps S10 to S24 is the same as in the fourth embodiment.
  • step S60 the calculation unit 240 determines whether there is an input for the next image. If there is an input for the next image (step S60: Yes), the operation returns to step S11. On the other hand, when there is no input of the next image (step S60: No), the corrected correction gain determination unit 241 performs a correction process common to the plurality of images processed so far on the processing target image. It is determined whether or not it is necessary (step S61).
  • step S61: No When the corrected correction gain determination unit 241 determines that the common correction process is not necessary (step S61: No), the operation proceeds to step S17. On the other hand, when the corrected correction gain determination unit 241 determines that a common correction process is necessary (step S61: Yes), the common correction gain calculation unit 211 calculates a plurality of values calculated from images processed so far. The common correction gain is calculated using the correction gain (step S62), and the original image is corrected using the common correction gain (step S63). Thereafter, the operation proceeds to step S18.
  • the eighth embodiment since it is determined whether or not a common correction process is necessary for a plurality of images, an appropriate correction process according to the image can be performed. Since the common correction gain is calculated only when necessary, the calculation process can be made more efficient.
  • FIG. 26 is a block diagram illustrating a configuration of a calculation unit included in the image processing device according to the ninth embodiment of the present invention.
  • the calculation unit 250 according to Embodiment 9 further includes an arithmetic correction gain calculation unit 251 in addition to the configuration of the calculation unit 150 shown in FIG.
  • the configuration and operation of the calculation unit 250 other than the arithmetic correction gain calculation unit 251 and the configuration and operation of the entire image processing apparatus are the same as those in FIG.
  • the arithmetic correction gain calculation unit 251 fits the correction gain calculated for each pixel of interest P tar into a predetermined function (for example, a quadratic function), thereby correcting the correction gain in the entire image. Correct it.
  • a predetermined function for example, a quadratic function
  • the arithmetic correction gain coefficient a is set so that an index indicating the degree of deviation of the correction gain calculated from each pixel P (hereinafter referred to as an index indicating the degree of deviation) DI is minimized with respect to the arithmetic correction gain G arith. ⁇ F are determined.
  • an index DI indicating the degree of deviation for example, as shown in FIG. 27B, the square of the difference between the correction gain G (X, Y) and the arithmetic correction gain G arith (X, Y) in the sampling pixel P sample (X, Y). Use sum.
  • the index DI indicating the degree of deviation is given by the following equation (17).
  • the symbol P indicates a set of sampling pixels P sample (X, Y).
  • the sum of the absolute values of the differences between the correction gain G (X, Y) and the arithmetic correction gain G arith (X, Y) in the sampling pixel P sample (X, Y) is calculated as an index DI indicating the degree of deviation. May be.
  • FIG. 27C is a graph showing the arithmetic correction gain G arith based on the arithmetic correction gain coefficients a to f determined based on the index DI indicating the degree of deviation. As shown in FIG. 27C, the value of the arithmetic correction gain G arith smoothly changes concentrically from the vicinity of the center of the image to the outside, and local unevenness is eliminated.
  • the image correction unit 154 corrects the original image using the arithmetic correction gain instead of the correction gain.
  • the ninth embodiment since the correction gain calculated for each pixel is fitted to a predetermined function, local influences such as noise can be reduced. Therefore, the accuracy of shading correction can be improved.
  • the arithmetic correction gain is calculated by fitting the correction gain calculated for each pixel in one image.
  • an arithmetic correction gain that can be used as a common correction gain may be calculated by fitting correction gains obtained from a plurality of images.
  • one or more sampling pixels are extracted from each image, and the arithmetic correction gain coefficients a to f in Expression (18) are determined so that the index DI representing the deviation shown in Expression (17) is minimized.
  • the arithmetic correction gain Garith determined thereby is used as the common correction gain.
  • the tenth embodiment is characterized in that, compared to the first to ninth embodiments described above, a parameter setting unit is further provided that sets parameters used for the calculation process of the estimated luminance value based on the input image. To do.
  • FIG. 28 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to the tenth embodiment, and illustrates an example of a calculation unit 260 provided with a parameter setting unit 261 with respect to the calculation unit 150 illustrated in FIG. ing.
  • the parameter setting unit 261 sets parameters based on the analysis result of predetermined image analysis for the image to be processed and image information such as imaging information (magnification, etc.) regarding the image.
  • image information can be acquired from the incidental information of the image, for example. Alternatively, the imaging information may be directly captured from the microscope apparatus 20 connected to the image processing apparatus 10.
  • parameters that can be set by the parameter setting unit 261 include a color similarity parameter ⁇ col that gives a color similarity weight W col as shown in Expression (3).
  • the parameter setting unit 261 acquires color component (color difference) values Cb and Cr from each pixel in the image to be processed, and a predetermined function, table, or the like according to the variance of these color component values Cb and Cr. Is used to set a color similarity parameter ⁇ col .
  • the function type may be, for example, a function whose value changes in a normal distribution according to variance, a function that changes linearly, or a function that changes stepwise.
  • the color similarity parameter ⁇ col is increased, and the color similarity weight W col is gradually changed with respect to the color difference component distance.
  • the color similarity parameter ⁇ col is preferably decreased, and the color similarity weight W col is sensitively changed with respect to the color difference component distance.
  • a table in which the color similarity parameter ⁇ col is associated with each staining method applied to the sample SP is stored in advance in the storage unit 140, and the parameter setting unit 261 sets parameters based on this table. May be. More specifically, the parameter setting unit 261 obtains the hue of each pixel from the image to be processed, estimates the staining method applied to the sample SP from the shape of the histogram of the hue, and refers to the above table to make the color similarity Set the degree parameter ⁇ col . In addition, when information regarding the staining method applied to the sample SP can be acquired from the supplementary information of the image to be processed, the color similarity parameter ⁇ col may be set directly from the table based on this information.
  • determination parameters L and B that provide a determination threshold Th L when calculating a luminance difference weight are given as shown in Expression (10).
  • a table in which the imaging information such as the imaging magnification is associated with the determination parameters L and B is stored in the storage unit 140 in advance.
  • the parameter setting unit 261 sets the determination parameters L and B with reference to the above table based on the imaging information acquired from the incidental information of the input image.
  • the parameter setting unit 261 is the size of the reference range (filter size) in the filter processing when calculating the estimated luminance value.
  • a table in which imaging information such as the imaging magnification is associated with the size of the reference range is stored in the storage unit 140 in advance.
  • the parameter setting unit 261 sets the size of the reference range with reference to the table based on the imaging information acquired from the supplementary information of the processing target image.
  • the parameter setting unit 261 may perform image analysis on the input image and set the size of the reference range based on the result. For example, there is a setting method in which the filter size is set small when there are many high frequency components, and the filter size is set large when there are many low frequency components.
  • a common correction gain use flag for determining whether or not to use a common correction gain calculated from a plurality of images for a processing target image.
  • the parameter setting unit 261 performs high-pass filter processing on the luminance value of each pixel for sequentially input images, calculates the total value of the pixel values in the resulting image, and uses the total value as a predetermined threshold value. Compare with Then, a common correction gain use flag is set for an image whose total value is equal to or greater than a threshold value.
  • the correction gain determination unit 231 Embodiment 7
  • the corrected correction gain determination unit 241 Embodiment 8 may determine whether the common correction gain use flag is set in the image.
  • the arithmetic units 150 and 200 to 260 in the first to tenth embodiments described above may further include a virtual image creation unit that creates a virtual slide image (hereinafter also referred to as a VS image) by connecting a plurality of images.
  • the calculation units 150 and 200 to 260 sequentially input a plurality of images captured by the microscope apparatus 20 while translating the imaging field of view with respect to the sample SP under the control of the control unit 160, and correcting gain (or Calculation of the common correction gain) and correction of each image using the correction gain (or common correction gain) are performed, and the corrected images are connected to each other and output. Thereby, an image corresponding to the entire sample SP can be acquired.
  • the present invention is not limited to the above-described first to eleventh embodiments and modifications, but by appropriately combining a plurality of constituent elements disclosed in the first to eleventh embodiments and modifications.
  • Various inventions can be formed. For example, some components may be excluded from all the components shown in the first to eleventh embodiments and the modifications. Or you may form combining the component shown in different embodiment suitably.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

　煩雑な作業を要することなく、精度の高いシェーディング補正を行うことができる画像処理プログラム及び画像処理装置を提供する。画像処理プログラムは、画像内の複数の画素の各々が有する色成分値に基づいて、画素間の色の類似度を算出する色類似度算出ステップＳ１３と、画像内の各画素が有する輝度成分値と上記色の類似度とに基づいて各画素にフィルタ処理を施すことにより、各画素の推定輝度値を算出する推定輝度値算出ステップＳ１５と、推定輝度値と輝度成分値とから補正ゲインを画素ごとに算出する補正ゲイン算出ステップＳ１６と、補正ゲインによって画像を補正する補正ステップＳ１７と、をコンピュータに実行させる。

Description

画像処理プログラム及び画像処理装置
　本発明は、被写体を撮像した画像に対する画像処理をハードウェアに実行させる画像処理プログラム及び画像処理装置に関する。
　顕微鏡等の光学機器においては、レンズ等の結像光学系や照明系の特性により、光軸と直交する面内において、中心領域よりも周辺領域の光量が低下して輝度にムラが生じる。この現象は、一般に、シェーディングと呼ばれる。また、このようなシェーディングの影響を画像から除去する画像処理は、シェーディング補正と呼ばれる。
　近年では、顕微鏡において１つの標本に対する視野をずらしながら撮像を行うことにより複数の顕微鏡画像を取得し、これらの顕微鏡画像を互いに繋ぎ合わせて、標本全体に対応するサイズに視野が拡大された画像（バーチャルスライド画像と呼ばれる）を作成することがある。このようなバーチャルスライド画像においては、個々の顕微鏡画像に生じたシェーディングの影響が規則的に現れるため、シェーディングが画質に与える影響は特に大きい。このため、個々の顕微鏡画像に対し、精度の良いシェーディング補正を施すことが重要となる。
　ところで、上述のとおり、シェーディングは結像光学系や照明系の特性に起因して複合的に生じる。また、撮像条件の違いや照明の経時変化によってもシェーディングは変化する。従って、シェーディング補正に用いる補正量を演算により推定することは困難である。このため、従来は、経験的に得られた補正値や実測値等に基づいてシェーディング補正が行われていた。
　シェーディング補正に関する技術として、例えば、特許文献１には、顕微鏡において生成される輝度画像（元画像）に対し、算術平均フィルタ等のフィルタ処理を施して補正画像を生成し、この補正画像を用いて元画像を補正する技術が開示されている。
　また、特許文献２には、均一な光反射率を有する試料を撮像して得られた画像に基づいてシェーディング（輝度ムラ）の補正量を算出し、この補正量を利用して、試料を撮像した画像を補正する技術が開示されている。
　特許文献３には、試料を対物レンズの画角外に退避させてから撮像を行うことにより得られた画像に基づいてシェーディングの較正用画像データを生成し、この較正用画像データを利用して、試料を撮像した画像を較正する技術が開示されている。
　特許文献４には、複数の顕微鏡画像を繋ぎ合わせた結合画像に対してハイパスフィルタ処理を施すことにより、シェーディングによる周期的な輝度変化を除去する技術が開示されている。
特開２００９－１５１１６３号公報 特開２００４－１７０５７２号公報 特開２００６－１７１２１３号公報 特開２００９－１７５３３４号公報
　しかしながら、上記特許文献１においては、元画像に写りこんでいる試料の像が、シェーディング補正に影響を与えてしまう。また、特許文献２においては、撮影条件が変わるたびに試料と補正用サンプルとを入れ替える必要があり、作業が煩雑になってしまう。特許文献３においても同様に、撮像条件が変わるたびに試料を退避させる必要があり、作業が煩雑になってしまう。さらに、特許文献４においては、試料の像が除去したいシェーディングと似たような周期で輝度変化している場合に、シェーディング補正が試料の像そのものに影響を与えてしまうおそれがある。
　本発明は、上記に鑑みてなされたものであって、煩雑な作業を要することなく、精度の高いシェーディング補正を行うことができる画像処理プログラム及び画像処理装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理プログラムは、画像内の複数の画素の各々が有する色成分値に基づいて、前記複数の画素間の色の類似度を算出する色類似度算出ステップと、前記画像内の各画素が有する輝度成分値と前記色の類似度とに基づいて前記各画素にフィルタ処理を施すことにより、前記各画素の推定輝度値を算出する推定輝度値算出ステップと、前記推定輝度値と前記輝度成分値とから補正ゲインを画素ごとに算出する補正ゲイン算出ステップと、前記補正ゲインによって前記画像を補正する補正ステップと、をコンピュータに実行させることを特徴とする。
　上記画像処理プログラムにおいて、前記色類似度算出ステップは、さらに、前記各画素の前記輝度成分値に基づいて前記複数の画素間の輝度差を算出し、前記推定輝度値算出ステップは、さらに前記輝度差を用いて前記各画素に前記フィルタ処理を施すことを特徴とする。
　上記画像処理プログラムにおいて、前記色類似度算出ステップは、さらに、前記各画素の座標値に基づいて前記複数の画素間の位置関係を取得し、前記推定輝度値算出ステップは、さらに前記位置関係を用いて前記各画素に前記フィルタ処理を施すことを特徴とする。
　上記画像処理プログラムは、前記画像の画像情報に基づいて、前記推定輝度値算出ステップにおいて用いられるパラメータを設定するパラメータ設定ステップをさらに含むことを特徴とする。
　上記画像処理プログラムは、前記画像内の任意の位置における注目画素と該注目画素から所定の範囲内に位置する参照画素との前記色類似度に基づいて、色類似度の重みを算出する色類似度重み算出ステップと、前記色類似度の重みから前記参照画素の重みを設定する参照画素重み設定ステップと、をさらに含み、前記フィルタ処理は、前記所定の範囲内に位置する画素の輝度値に対して前記参照画素の重みを用いて実行される重み付け平均処理であることを特徴とする。
　上記画像処理プログラムは、前記注目画素と前記参照画素との輝度値の差分である輝度差に応じた輝度差重みを算出する輝度差重み算出ステップをさらに含み、前記参照画素重み設定ステップは、前記輝度差重みを前記色類似度の重みに乗ずることにより前記参照画素の重みを算出することを特徴とする。
　上記画像処理プログラムにおいて、前記輝度差重み算出ステップは、前記輝度差に加えて、前記注目画素と前記参照画素との間の位置関係を用いて前記輝度差重みを算出することを特徴とする。
　上記画像処理プログラムは、前記注目画素の位置を表す注目画素座標と、前記参照画素の位置を表す参照画素座標とから、位置重みを算出する位置重み算出ステップをさらに含み、前記参照画素重み設定ステップは、前記位置重みを前記色類似度の重みに乗ずることにより前記参照画素の重みを算出することを特徴とする。
　上記画像処理プログラムにおいて、前記推定輝度値算出ステップは、推定輝度値が既に算出されている画素のみを参照画素として用いることを特徴とする。
　上記画像処理プログラムは、前記所定の範囲内における前記参照画素の重みに基づいて前記注目画素の推定輝度値が有効であるか否かを判定し、該判定の結果に従って、前記注目画素について算出された補正ゲインを、該注目画素の周囲の画素について算出された補正ゲインを用いて修正する補正ゲイン修正ステップをさらに含み、前記補正ステップは、前記補正ゲイン修正ステップにおいて修正された前記補正ゲインによって前記画像を補正することを特徴とする。
　上記画像処理プログラムは、前記色類似度算出ステップと、前記推定輝度値算出ステップと、前記補正ゲイン算出ステップとを複数の画像の各々について実行させ、前記複数の画像についてそれぞれ算出された複数の補正ゲインに対し、前記複数の画像間で互いに対応する座標における補正ゲインに第２のフィルタ処理を施すことにより、新たな補正ゲインを算出するステップをさらに含み、前記補正ステップは、前記新たな補正ゲインにより前記複数の画像の各々を補正することを特徴とする。
　上記画像処理プログラムにおいて、前記第２のフィルタ処理は、平均値フィルタ処理と、メディアンフィルタ処理とのいずれかであることを特徴とする。
　上記画像処理プログラムは、前記画像内の任意の座標の関数で表される算術補正ゲインを設定し、前記画像内の画素について算出された補正ゲインの値と、前記画素に対応する座標における前記算術補正ゲインの値との乖離度合いを示す指標が最小になるように、前記関数のパラメータを求める算術補正ゲイン算出ステップをさらに含み、前記補正ステップは、前記算術補正ゲインによって前記画像を補正することを特徴とする。
　上記画像処理プログラムにおいて、前記算術補正ゲイン算出ステップは、前記指標として、前記画像内の画素について算出された補正ゲインの値と、前記画素に対応する座標における前記算術補正ゲインの値との差分二乗和を用いることを特徴とする。
　上記画像処理プログラムにおいて、前記算術補正ゲイン算出ステップは、前記指標として、前記画像内の画素について算出された補正ゲインの値と、前記画素に対応する座標における前記算術補正ゲインの値との差分の絶対値の総和を用いることを特徴とする。
　本発明に係る画像処理装置は、画像内の複数の画素の各々が有する色成分値に基づいて算出された画素間の色の類似度と、前記画像内の各画素が有する輝度成分値とに基づいて前記各画素にフィルタ処理を施すことにより、前記各画素の推定輝度値を算出する推定輝度値算出手段と、前記推定輝度値と前記輝度成分値とから補正ゲインを算出する補正ゲイン算出手段と、前記補正ゲインによって前記画像を補正する補正手段と、を備えることを特徴とする。
　本発明によれば、画像内の画素間の色の類似度を用いて、各画素の輝度成分値から、シェーディングの影響が無かった場合の輝度値（推定輝度値）を算出するので、煩雑な作業を要することなく、精度の高いシェーディング補正を行うことが可能となる。
図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。 図２は、図１に示す画像処理装置を含む顕微鏡システムの構成例を示す模式図である。 図３は、図１に示す画像処理装置の動作を示すフローチャートである。 図４は、図３に示す一連の処理を説明するための模式図である。 図５は、色類似度重みの設定原理を説明するための模式図である。 図６は、図３に示す推定輝度値の算出処理を説明するための模式図である。 図７は、本発明の実施の形態２における参照画素重みの設定処理を説明するための模式図である。 図８は、輝度差重みの設定原理を説明するための模式図である。 図９は、本発明の実施の形態３における参照画素重みの設定処理を説明するための模式図である。 図１０は、位置重みの設定原理を説明するための模式図である。 図１１は、位置重みの算出例を説明するためのグラフである。 図１２は、変形例１におけるシェーディング補正の処理順序を説明するための模式図である。 図１３は、変形例２におけるシェーディング補正の処理順序を説明するための模式図である。 図１４は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成例を示すブロック図である。 図１５は、図１４に示す演算部の動作を示すフローチャートである。 図１６は、実施の形態４における有効度の判定原理を説明するための模式図である。 図１７は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成例を示すブロック図である。 図１８は、共通補正ゲインの算出原理を説明するための模式図である。 図１９は、図１７に示す演算部の動作を示すフローチャートである。 図２０は、本発明の実施の形態６に係る画像処理装置が備える演算部の構成例を示すブロック図である。 図２１は、図２０に示す演算部の動作を示すフローチャートである。 図２２は、本発明の実施の形態７に係る画像処理装置が備える演算部の構成例を示すブロック図である。 図２３は、図２２に示す演算部の動作を示すフローチャートである。 図２４は、本発明の実施の形態８に係る画像処理装置が備える演算部の構成例を示すブロック図である。 図２５は、図２４に示す演算部の動作を示すフローチャートである。 図２６は、本発明の実施の形態９に係る画像処理装置が備える演算部の構成例を示すブロック図である。 図２７Ａは、フィッティング前の補正ゲインを示すグラフである。 図２７Ｂは、算術補正ゲインの導出方法を説明するための模式図である。 図２７Ｃは、フィッティング後の補正ゲインを示すグラフである。 図２８は、本発明の実施の形態１０に係る画像処理装置が備える演算部の構成例を示すブロック図である。
　以下、本発明に係る画像処理装置、顕微鏡システム、及び画像処理方法の実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。以下においては、本発明に係る画像処理装置を顕微鏡システムに適用した例を説明するが、本発明に係る画像処理装置は、ディジタルカメラ等、撮像機能を有する各種機器に適用することが可能である。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。図１に示すように、実施の形態１に係る画像処理装置１０は、当該画像処理装置１０に対する指示や情報の入力を受け付ける入力部１１０と、顕微鏡装置から出力された画像の入力を受け付けるインタフェースである画像入力部１２０と、画像やその他の情報を表示する表示部１３０と、記憶部１４０と、画像入力部１２０が受け付けた画像に対して所定の画像処理を施す演算部１５０と、これらの各部の動作及び顕微鏡装置の動作を制御する制御部１６０とを備える。
　入力部１１０は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付けて制御部１６０に入力する。
　表示部１３０は、例えば、ＬＣＤ（Liquid　Crystal　Display）やＥＬ（Electro　Luminescence）ディスプレイ、ＣＲＴ（Cathode　Ray　Tube）ディスプレイ等の表示装置によって構成され、制御部１６０から出力された制御信号に従って、各種画面を表示する。なお、本実施の形態では、表示部１３０を画像処理装置１０の内部に備える構成としているが、画像処理装置１０の外部に備えるような構成としても良い。その場合、表示部１３０に代わり、制御部１６０からの制御信号を外部に出力する外部インタフェース部を備える構成となる。
　記憶部１４０は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置を含む記録装置等によって構成される。記憶部１４０は、画像入力部１２０から入力された画像データや、演算部１５０及び制御部１６０がそれぞれ実行する各種プログラムや、各種パラメータや設定情報を記憶する。具体的には、記憶部１４０は、画像入力部１２０から入力された画像に対してシェーディング補正を施す画像処理プログラム１４１を記憶する。
　演算部１５０は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１４０に記憶された画像処理プログラム１４１を読み込むことにより、記憶部１４０に記憶された画像データに対応する画像に対してシェーディング補正を施す画像処理を実行する。
　より詳細には、演算部１５０は、画像内の複数の画素の各々が有する色成分値に基づいて色の類似度を算出し、色の類似度に応じた重みを設定する重み設定部１５１と、各画素の輝度成分値に対して色の類似度に応じた重みを用いてフィルタ処理を施すことにより、シェーディングの影響がなかった場合に想定される輝度値（推定輝度値）を算出する推定輝度値算出部１５２と、推定輝度値と輝度成分値とから補正ゲインを算出する補正ゲイン算出部１５３と、補正ゲインによって画像を補正する画像補正部１５４とを備える。
　制御部１６０は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１４０に記憶された各種プログラムを読み込むことにより、記憶部１４０に記憶された各種データや入力部１１０から入力される各種情報に基づき、画像処理装置１０及び該画像処理装置１０を含むシステム全体の動作を統括的に制御する。
　図２は、画像処理装置１０を含む顕微鏡システムの構成例を示す模式図である。図２に示す顕微鏡システム１は、画像処理装置１０と、該画像処理装置１０と接続された顕微鏡装置２０とを含む。
　顕微鏡装置２０は、略Ｃ字形のアーム１００と、該アーム１００に取り付けられ、試料ＳＰが載置される標本ステージ１０１と、鏡筒１０３の一端側に三眼鏡筒ユニット１０６を介して標本ステージ１０１と対向するように設けられた対物レンズ１０２と、鏡筒１０３の他端側に設けられた画像取得部１０４と、標本ステージ１０１を移動させるステージ位置変更部１０５とを有する。三眼鏡筒ユニット１０６は、対物レンズ１０２から入射した標本の観察光を、画像取得部１０４と後述する接眼レンズユニット１０７に分岐する。接眼レンズユニット１０７は、ユーザが試料ＳＰを直接観察するためのものである。
　対物レンズ１０２は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１０２’）を保持可能なレボルバ１０８に取り付けられている。このレボルバ１０８を回転させて、標本ステージ１０１と対向する対物レンズ１０２、１０２’を変更することにより、画像取得部１０４が撮像する画像の倍率を変化させることができる。
　鏡筒１０３の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体を拡大又は縮小させる。なお、鏡筒１０３内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置１０に出力し、画像処理装置１０において、エンコーダの出力値からズームレンズの位置を検出して撮像視野の倍率を自動算出するようにしても良い。
　画像取得部１０４は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、該撮像素子が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラである。画像取得部１０４は、対物レンズ１０２から鏡筒１０３内の光学系を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置１０に出力する。或いは、画像取得部１０４は、ＲＧＢ色空間で表された画素値を、ＹＣｂＣｒ色空間で表された画素値に変換して画像処理装置１０に出力しても良い。
　ステージ位置変更部１０５は、例えばモータ１０５ａを含み、標本ステージ１０１の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部１０５には、標本ステージ１０１をＺ軸に沿って移動させることにより、対物レンズ１０２の焦点を試料ＳＰに合わせる。
　また、ステージ位置変更部１０５には、標本ステージ１０１の位置を検出して検出信号を画像処理装置１０に出力する位置検出部１０５ｂが設けられている。位置検出部１０５ｂは、例えばモータ１０５ａの回転量を検出するエンコーダによって構成される。或いは、ステージ位置変更部１０５を、画像処理装置１０の制御部１６０の制御に従ってパルスを発生するパルス発生部とステッピングモータとによって構成しても良い。
　次に、画像処理装置１０の動作について説明する。図３は、画像処理装置１０の動作を示すフローチャートである。また、図４～図６は、本実施の形態１における画像処理を説明するための模式図である。
　まず、ステップＳ１０において、演算部１５０は、記憶部１４０から処理対象の画像データを入力する。処理対象の画像データは、顕微鏡装置２０において撮像された画像の画像データであっても良いし、他の光学機器により生成され、ネットワークや記録媒体等を介して画像処理装置１０に入力された画像データであっても良い。以下においては、図４に示すように、複数の画素Ｐからなる画像Ｍに対して処理がなされるものとして説明する。
　続くステップＳ１１において、演算部１５０は、画像処理に用いるパラメータを設定する。この際、演算部１５０は、当該画像処理装置１０又は顕微鏡システム１に対して予め定められ、記憶部１４０に記憶されたパラメータを記憶部１４０から読み出して設定しても良いし、入力部１１０を介してユーザによって入力された値をパラメータとして設定しても良い。この場合、制御部１６０は、ユーザにパラメータを入力させるための画面を表示部１３０に表示させても良い。パラメータの内容については、随時説明する。
　続くステップＳ１２において、演算部１５０は、入力された画像データに基づき、処理対象の画像Ｍ内の各画素Ｐの画素値を輝度成分と色成分とに分離し、輝度成分からなる輝度画像ＭBと、色成分からなる色画像ＭCとを生成する。具体的には、画像ＭがＲＧＢ色空間で表されている場合、次式（１－１）～（１－３）により、各画素値（Ｒ値、Ｇ値、Ｂ値）を輝度成分値Ｙと色（色差）成分値Ｃｂ、Ｃｒとに変換する。
　Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ　　…（１－１）
　Ｃｂ＝－０．１７Ｒ－０．３３Ｇ＋０．５０Ｂ　…（１－２）
　Ｃｒ＝０．５０Ｒ－０．４２Ｇ－０．０８Ｂ　…（１－３）
　なお、顕微鏡装置２０やその他の光学機器においてＹＣｂＣｒ画像が取得された場合には、本ステップＳ１２を省略しても良い。
　続いて、演算部１５０は、画像Ｍ内の画素Ｐを順次、注目画素Ｐtarに設定し、注目画素Ｐtarの周囲の所定範囲（参照範囲）内の画素Ｐを参照画素Ｐrefとして、参照画素Ｐrefの画素値（輝度成分値及び色成分値）を用いてループＡの処理を実行する。本実施の形態１においては、参照範囲Ｒｅｆを、Ｘ方向及びＹ方向の各方向において注目画素Ｐtarの前後２つずつの画素Ｐを含む、例えば５×５画素の範囲に設定する。ただし、画像Ｍの端部において参照範囲Ｒｅｆが画像Ｍからはみ出さないようにするため、注目画素Ｐtarを画像の端から２画素よりも内側の画素に限定して設定する。
　なお、図４に示す輝度画像ＭB及び色画像ＭCにおいては、参照範囲Ｒｅｆ内の輝度成分及び色成分のみをそれぞれ示している。
　ステップＳ１３において、重み設定部１５１は、参照画素Ｐrefの色成分値から、注目画素Ｐtarに対する参照画素Ｐrefの色の類似度（又は乖離度）を算出する。本実施の形態１においては、色の類似度（又は乖離度）として各画素の色差（Ｃｂ，Ｃｒ）を成分とする特徴空間における注目画素Ｐtarと参照画素Ｐrefとの間の距離（色差成分距離）を用いる。
　例えば、注目画素Ｐtarの色差を（Ｃｂtar，Ｃｒtar）、参照画素Ｐrefの色差を（Ｃｂref，Ｃｒref）とすると、色差成分距離Ｌcolは、次式（２）によって与えられる。
　Ｌcol＝（ＤCb 2＋ＤCr 2）1/2　…（２）
式（２）において、ＤCb＝｜Ｃｂtar－Ｃｂref｜、ＤCr＝｜Ｃｒtar－Ｃｒref｜である。
　この場合、色差成分距離Ｌcolが小さくなるほど、注目画素Ｐtarに対して参照画素Ｐrefの色が類似していることを表し、色差成分距離Ｌcolが大きくなるほど、注目画素Ｐtarに対して参照画素Ｐrefの色が乖離していることを表す。
　続くステップＳ１４において、重み設定部１５１は、色の類似度（例えば、色差成分距離）を用いて参照画素Ｐrefの重み（以下、参照画素重みという）Ｗrefを設定する。本実施の形態１においては、参照画素重みＷrefとして、注目画素Ｐtarに対して参照画素Ｐrefの色が類似しているほど値が大きくなるような色類似重みＷcolを設定する。
　図５は、色類似重みの設定原理を説明するための図であり、画像内の画素を模式的に示している。なお、図５においては、色の違いをハッチングの種類の違いで表している。図５に示すように、領域Ａ0内の画素は、例えば青色の注目画素Ｐtarに対して同系色であるため、色の類似度は高い（色差成分距離が小さい）。この場合、色類似重みＷcolは大きく設定される。それに対して、例えば橙色である領域Ａ1内の画素は、注目画素Ｐtarとは色相が異なっており、色の類似度は低い（色差成分距離が大きい）。この場合、色類似重みＷcolは小さく設定される。
　色類似重みＷcolは、例えば次式（３）によって与えられる。
Figure JPOXMLDOC01-appb-M000001
 式（３）において、記号σcolは、色の類似度に応じた重みを与えるパラメータ（色類似度パラメータ）を表す。
　式（３）の場合、色類似重みＷcolは、参照画素Ｐrefの色と注目画素Ｐtarの色とが一致しているときに最大値（例えば、１）を取り、両者の色差成分距離が大きくなるほど指数的に減少する。
　これにより、図４に示すように、参照範囲Ｒｅｆ内の各参照画素Ｐrefに対して、色類似重みＷcolが設定される。図４の場合、注目画素Ｐtarに対し、領域Ａ2及びＡ3内の参照画素Ｐrefの色の類似度が低く、それ以外の参照画素Ｐrefの色の類似度が高い。従って、領域Ａ2及びＡ3内の参照画素Ｐrefに対する色類似度重みＷcolは小さく設定され、それ以外の参照画素Ｐrefに対する色類似度重みＷcolは大きく設定される。
　続くステップＳ１５において、推定輝度値算出部１５２は、参照範囲Ｒｅｆ内の各画素Ｐの輝度成分値と、参照画素重みＷref（色類似度重みＷcol）とを用いたフィルタ処理により、注目画素Ｐtarの推定輝度値Ｄtarを算出する。本実施の形態１においては、フィルタ処理として重み付け平均処理を用いる。ここで、色の類似度を用いた参照画素重みＷrefを用いる理由は、注目画素Ｐtarの周囲に存在し、注目画素Ｐtarと色が近い画素Ｐには、注目画素Ｐtarと同じような対象物が写っており、本来的には輝度がほぼ同じであると推定できるからである。
　推定輝度値Ｄtarを与える重み付け平均処理は、参照範囲Ｒｅｆ内の各画素Ｐ（注目画素Ｐtar及び参照画素Ｐref）の輝度成分値Ｄ（ｘ，ｙ）と、参照画素重みＷref（ｘ，ｙ）とを用いて、次式（４）によって表される。
Figure JPOXMLDOC01-appb-M000002
　図６は、推定輝度値の算出処理をより詳細に説明するための模式図である。図６において、輝度画像ＭBにおける各輝度成分の座標は、画像Ｍを基準とした座標系（Ｘ，Ｙ）により示されている。一方、参照画素重みＷrefの座標は、参照範囲Ｒｅｆを基準とした座標系（ｘ，ｙ）により示されている。画像Ｍを基準とした座標系（Ｘ，Ｙ）においては、座標が（Ｘt，Ｙt）である注目画素Ｐtarの推定輝度値Ｄtar（Ｘt，Ｙt）を次のように表すことができる。なお、図６においては、注目画素Ｐtarの座標を（３，５）としている。
　画像Ｍにおける参照範囲Ｒｅｆの範囲がＸt－Δ≦Ｘ≦Ｘt＋Δ、Ｙt－Δ≦Ｙ≦Ｙt＋Δであるとき（実施の形態１においては、Δ＝２）、参照画素Ｐrefの座標（Ｘr，Ｙr）は、注目画素Ｐtarの座標（Ｘt，Ｙt）と、参照範囲Ｒｅｆ内における座標（ｘ，ｙ）とを用いて、次式（５－１）及び（５－２）によって与えられる。
　Ｘr＝Ｘt＋ｘ－Δ　…（５－１）
　Ｙr＝Ｙt＋ｙ－Δ　…（５－２）
図６においては、（Ｘr，Ｙr）＝（Ｘt＋ｘ－２，Ｙt＋ｙ－２）となる。
　これより、（Ｘt，Ｙt）における推定輝度値Ｄtar（Ｘt，Ｙt）は、次式（６）によって与えられる。
Figure JPOXMLDOC01-appb-M000003
　続くステップＳ１６において、補正ゲイン算出部１５３は、注目画素Ｐtarにおける輝度成分（測定値）Ｄ（Ｘt，Ｙt）と、推定輝度値Ｄtar（Ｘt，Ｙt）とから、次式（７）により補正ゲインＧ（Ｘ，Ｙ）を算出する。
　Ｇ（Ｘt，Ｙt）＝Ｄ（Ｘt，Ｙt）／Ｄtar（Ｘt，Ｙt）　…（７）
算出された補正ゲインＧ（Ｘt，Ｙt）は、順次記憶部１４０に記憶される。
　このようなループＡの処理を、画像Ｍ内の端部（例えば、端から２画素分）を除く全画素Ｐ（Ｘ，Ｙ）に対して繰り返すことにより、補正ゲインＧ（Ｘ，Ｙ）を成分とする補正用画像が作成される。
　続くステップＳ１７において、画像補正部１５４は、補正ゲインＧ（Ｘ，Ｙ）を用いて、元の画像Ｍを補正する。具体的には、次式（８）に示すように、元の画像Ｍの画素値Ｉ（Ｘ，Ｙ）を補正ゲインＧ（Ｘ，Ｙ）で除算して、補正済みの画素値Ｉ’（Ｘ，Ｙ）を算出する。
　Ｉ’（Ｘ，Ｙ）＝Ｉ（Ｘ，Ｙ）／Ｇ（Ｘ，Ｙ）　…（８）
　さらに、ステップＳ１８において、演算部１５０は、画素値Ｉ’（Ｘ，Ｙ）からなる補正済みの画像を出力し、表示部１３０に表示させると共に、補正済み画像の画像データと、補正用画像の画像データとを記憶部１４０に記憶させる。
　以上説明したように、実施の形態１によれば、注目画素の周辺に存在し、注目画素と色成分値が近い画素の重みを高く設定して輝度成分値の重み付け平均値を算出することにより、注目画素の推定輝度値を算出するので、精度の高いシェーディング補正を行うことが可能となる。
　また、実施の形態１によれば、補正対象画像を輝度成分と色成分とに分離し、シェーディングの影響を受けない色成分の値を用いて上記演算に用いる重みを決定するので、推定輝度値の推定精度を向上させることができる。
　また、実施の形態１によれば、顕微鏡装置等の光学機器によって撮像された補正対象の画像のみから補正用画像を作成することができるので、補正用画像作成のための試料の入れ替えといった煩雑な作業が不要となる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　本発明の実施の形態２は、重み設定部１５１が、図３のステップＳ１３において、注目画素Ｐtarに対する参照画素Ｐrefの色類似度に加えて輝度差を算出し、ステップＳ１４において、色類似度及び輝度差を用いて参照画素重みを設定することを特徴とする。なお、実施の形態２に係る画像処理装置の構成及び動作は、全体として図１及び図３に示すものと同様である。
　以下、実施の形態２における重み設定部１５１の動作について説明する。図７は、色類似度及び輝度差の算出処理、及び参照画素重みの設定処理を説明するための模式図である。
　図７に示すように、重み設定部１５１は、各画素Ｐの色成分から注目画素Ｐtarに対する参照画素Ｐrefの色類似度（又は乖離度）を算出し、さらに、この色類似度（又は乖離度）に基づいて色類似重みＷcolを算出する。なお、色類似重みＷcolの算出処理については、実施の形態１と同様である。
　また、重み設定部１５１は、各画素Ｐの輝度成分から、注目画素Ｐtarに対する参照画素Ｐrefの輝度差を算出する。例えば、注目画素Ｐtarの輝度値をＹtar、参照画素Ｐrefの輝度値をＹrefとすると、輝度差は｜Ｙtar－Ｙref｜によって与えられる。重み設定部１５１は、さらに、この輝度差｜Ｙtar－Ｙref｜を用いて輝度差重みＷdifを算出する。
　図８は、輝度差重みの設定原理を説明するための図であり、輝度画像ＭB内の画素を模式的に示している。なお、図８においては、輝度の違いをハッチングの種類の違いで表している。図８に示すように、領域Ｂ0内の画素は、注目画素Ｐtarに対して輝度差が大きい（注目画素Ｐtarよりも非常に暗い）。このため、領域Ｂ0内の画素に対する輝度差重みＷdifは低く設定される。
　輝度差重みＷdifの算出処理の一例を説明する。注目画素Ｐtarの座標を（ｘtar，ｙtar）、参照画素Ｐrefの座標を（ｘref，ｙref）とすると、注目画素Ｐtarと参照画素Ｐrefとの間の距離Ｌは次式（９）によって与えられる。
Figure JPOXMLDOC01-appb-M000004
　重み設定部１５１は、この距離Ｌを用いて、輝度差重みＷdifの判定用閾値ＴｈＬを次式（１０）のように設定する。
　ＴｈＬ＝（Ｌ－１）×Ｓ＋Ｂ　…（１０）
式（１０）において、判定用パラメータＳは、判定用閾値ＴｈＬを距離Ｌに応じて変化させるためのパラメータである。また、判定用パラメータＢは、判定用閾値ＴｈＬの最小値を与えるためのパラメータである。ここで、距離Ｌに応じて判定用閾値ＴｈＬを変化させるのは、シェーディングの影響によって生じる輝度差は、距離が離れるほど大きくなるからである。
　これより、参照画素Ｐref（ｘ，ｙ）における輝度差重みＷdifは、判定用閾値ＴｈＬを用いて次式（１１）により与えられる。
Figure JPOXMLDOC01-appb-M000005
 例えば、図７に示す領域Ｂ1及びＢ2のように、注目画素Ｐtarに対する輝度差の大きい参照画素Ｐrefの重みは、ゼロに設定される。
　さらに、重み設定部１５１は、色類似重みＷcolと輝度差重みＷdifとから、次式（１２）により、参照画素Ｐref（ｘ，ｙ）における参照画素重みＷref2を算出する。
　Ｗref2（ｘ，ｙ）＝Ｗcol（ｘ，ｙ）×Ｗdif（ｘ，ｙ）…（１２）
　例えば図７に示す参照画素Ｐ（ｘ１，ｙ１）のように、色は注目画素Ｐtarに類似しているが、注目画素Ｐtarとの輝度差が大きい画素に対しては、重みが低く設定される。
　このようにして算出された参照画素重みＷref2が、注目画素Ｐtarの推定輝度値Ｄtarの算出に用いられる。
　以上説明したように、実施の形態２によれば、注目画素に対する参照画素の色類似度に加え、輝度差を用いて参照画素重みを設定するので、注目画素の推定輝度値の算出において、シェーディングの影響が大きいと考えられる画素の寄与を低減させることができる。従って、精度の高いシェーディング補正を行うことが可能となる。
　なお、上記実施の形態２においては、輝度差重みＷdifの値を１又は０に設定したが、輝度差重みＷdifの具体的な値はこれらに限定されない。即ち、輝度差｜Ｙtar－Ｙref｜が判定用閾値Ｌ未満であるときの輝度差重みＷdifに対して、輝度差｜Ｙtar－Ｙref｜が判定用閾値Ｌ以上であるときの輝度差重みＷdifが小さくなるように、輝度差重みＷdifの値を設定すれば良い。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。
　本発明の実施の形態３は、重み設定部１５１が、図３のステップＳ１３において、注目画素Ｐtarに対する参照画素Ｐrefの色類似度及び輝度差に加えて位置関係を取得し、ステップＳ１４において、色類似度、輝度差、及び位置関係を用いて参照画素重みを設定することを特徴とする。なお、実施の形態３に係る画像処理装置の構成及び動作は、全体として図１及び図３に示すものと同様である。
　以下、実施の形態３における重み設定部１５１の動作について説明する。図９は、色類似度、輝度差、及び位置関係の取得処理、並びに参照画素重みの設定処理を説明するための模式図である。
　図９に示すように、重み設定部１５１は、各画素Ｐの色成分から注目画素Ｐtarに対する参照画素Ｐrefの色類似度（又は乖離度）を算出し、さらに、この色類似度に基づいて色類似重みＷcolを算出する。なお、色類似重みＷcolの算出処理については、実施の形態１と同様である。
　また、重み設定部１５１は、各画素Ｐの輝度成分から注目画素Ｐtarに対する参照画素Ｐrefの輝度差を算出し、この輝度差に基づいて輝度差重みＷdifを算出する。なお、輝度差重みＷrefの算出処理については、実施の形態２と同様である。
　また、重み設定部１５１は、注目画素Ｐtarに対する参照画素Ｐrefの位置関係を取得する。位置関係とは、例えば、注目画素Ｐtarと参照画素Ｐrefとのいずれが、どれだけ画像の中心に近いかといった関係のことである。このような位置関係は、例えば、画像の中心との距離の差Ｌdifによって表すことができる。画素の中心との距離の差Ｌdifは、画像の中心座標を（ＣX，ＣY）、注目画素Ｐtarの座標を（ＴX，ＴY）、参照画素Ｐrefの座標を（ＲX，ＲY）とすると、次式（１３）によって与えられる。
Figure JPOXMLDOC01-appb-M000006
 　重み設定部１５１は、さらに、この差Ｌdifによって表される位置関係を用いて位置重みＷposを算出する。
　図１０は、位置重みの算出原理を説明するための図であり、画像内の画素を模式的に示している。なお、図１０においては、色の違いをハッチングの種類の違いで表している。
　ここで、顕微鏡装置２０等の光学機器によって取得された画像において、シェーディングの影響（輝度の低下量）は、画像の中心から離れるに従って増加する。このため、図１０に示すように、ある注目画素Ｐtarに着目したとき、注目画素Ｐtarよりも画像の中心に近い画素においては、注目画素Ｐtarよりもシェーディングの影響が少なくなり、注目画素Ｐtarよりも画像の中心から離れた画素においては、注目画素Ｐtarよりもシェーディングの影響が多くなる。
　そこで、本実施の形態３においては、領域Ｃ0で示すように、画像の中心との距離が注目画素Ｐtarと同じか、又は注目画素Ｐtarよりも小さい参照画素Ｐrefの参照比率が高くなるように、位置重みＷposを設定する。位置重みＷposの具体的な値は特に限定されず、参照画素Ｐrefが注目画素Ｐtarよりも画像の中心に近いほど値が大きくなり、参照画素Ｐrefが注目画素Ｐtarよりも画像の中心から遠いほど値が小さくなるように設定すれば良い。
　位置重みＷposは、例えば図１１に示すように、距離の差Ｌdifと位置重みＷposとの関係を与える既定の関数ｆ（Ｌdif）を用いて算出しても良いし、距離の差Ｌdifと位置重みＷposとが対応付けられたテーブルを予め記憶部１４０に記憶させておき、このテーブルを参照して取得しても良い。
　これにより、例えば図９に示す領域Ｃ1に対して、推定輝度値の算出（重み付け平均）における寄与を低減する重みＷposが設定される。
　さらに、重み設定部１５１は、色類似重みＷcolと、輝度差重みＷdifと、位置重みＷposとから、次式（１４）により、参照画素Ｐref（ｘ，ｙ）における参照画素重みＷref3を算出する。
　Ｗref3（ｘ，ｙ）
　＝Ｗcol（ｘ，ｙ）×Ｗdif（ｘ，ｙ）×Ｗpos（ｘ，ｙ）…（１４）
このようにして算出された参照画素重みＷref3が、注目画素Ｐtarの推定輝度値Ｄtarの算出に用いられる。
　以上説明したように、実施の形態３によれば、注目画素と参照画素との位置関係を用いて参照画素重みを設定するので、注目画素の推定輝度値を算出する際に、注目画素よりもシェーディングの影響の少ないと考えられる参照画素の寄与を高くし、注目画素よりもシェーディングの影響が多いと考えられる参照画素の寄与を低くすることができる。従って、精度の高いシェーディング補正を行うことが可能となる。
　なお、上述した実施の形態３においては、位置重みＷposとして、参照画素Ｐrefが注目画素Ｐtarよりも画像の中心に近いほど、推定輝度値の算出における寄与が高くなるような値を設定できれば良い。そこで、簡易的には、次式（１５）に示すように、注目画素Ｐtarと参照画素Ｐrefとで、画像の中心との距離（又はその２乗の値）の大小を単純に比較して位置重みＷposの値を決定しても良い。
Figure JPOXMLDOC01-appb-M000007
　この場合においても、位置重みＰposの値の具体的な値は１又は０に限定されず、参照画素Ｐrefが注目画素Ｐtarよりも画像の中心に近い場合に、推定輝度値の算出における寄与を増加させ、参照画素Ｐrefが注目画素Ｐtarよりも画像の中心から遠い場合に、推定輝度値の算出における寄与を低減させる値を設定すれば良い。
　この他にも、位置重みＰposの設定方法としては、例えば、注目画素Ｐtarと参照画素Ｐrefとの間の距離（画素間距離）の逆数を用いる等、種々の方法を採用することができる。
　また、上述した実施の形態３においては、注目画素Ｐtarと参照画素Ｐrefとの色の類似度と、輝度差と、位置関係とに基づいて参照画素重みＷref3を算出したが、注目画素Ｐtarと参照画素Ｐrefとの色の類似度及び位置関係のみに基づいて参照画素重みを算出しても良い。
（変形例１）
　次に、実施の形態１～３の変形例１について説明する。
　上述した実施の形態１～３において、推定輝度値Ｄtarを算出するフィルタ処理（重み付け平均処理）において参照される参照画素Ｐrefは、通常、注目画素Ｐtarの近傍画素に限られる。しかしながら、シェーディングの影響の大きい画素の近傍画素は、注目画素Ｐtarと同様にシェーディングの影響を受けていると考えられる。
　このような影響を低減するため、演算部１５０は、図１２に示すように、推定輝度値Ｄtarを算出処理を、例えば画像Ｍの中央近傍、即ち、シェーディングの影響が少ない領域ＳＡ１から開始し、参照範囲Ｒｅｆの一部を重ねつつ外側に向かってずらしながら実行すると良い。このような順序で処理を行うことにより、例えば、参照範囲Ｒｅｆ（ｎ）においては、先に算出された画素Ｐtar（ｎ－１）の推定輝度値Ｄtarを参照して演算を行うことになる。その結果、シェーディングの影響が少ない領域ＳＡ１から離れた位置においても、領域ＳＡ１内の輝度値を間接的に参照することができるようになり、補正の精度を向上させることが可能となる。
（変形例２）
　次に、実施の形態１～３の変形例２について説明する。
　上記変形例１で説明したように、推定輝度値Ｄtarを算出するフィルタ処理を画像Ｍの中央近傍から開始する場合、演算部１５０は、図１３に示すように、もともとシェーディングの影響がないと想定される領域（以下、未シェーディング領域という）ＳＡ２を予め設定しておき、当該領域の近傍からフィルタ処理を開始すると良い。
　この場合、演算部１５０は、フィルタ処理を行うごとに、新たに推定輝度値Ｄtarが算出された領域（シェーディング補正済みとなった領域）を未シェーディング領域ＳＡ２に組み込み、これらの領域ＳＡ１、ＳＡ２をシェーディングの影響がない領域（以下、非シェーディング領域という）ＳＡ３として設定する。そして、非シェーディング領域ＳＡ３の外側の画素（例えば、画素Ｐtar1、Ｐtar2、…）を順次注目画素に設定してフィルタ処理を実行する。このフィルタ処理により新たに推定輝度値Ｄtarが算出された領域ＳＡ４が生成されると、演算部１５０は、非シェーディング領域ＳＡ３を当該領域ＳＡ４まで拡大し、非シェーディング領域を更新する。さらに、演算部１５０は、更新された非シェーディング領域の外側の画素（例えば、画素Ｐtar7）を順次注目画素に設定してフィルタ処理を実行する。
　このような動作を繰り返すことにより、画像Ｍ全体に対し、精度の良いシェーディング補正を行うことができる。
（変形例３）
　次に、実施の形態１～３の変形例３について説明する。
　上記変形例１で説明したように、非シェーディング領域を順次拡大する場合、各注目画素に対するフィルタ処理においては、注目画素よりも内側（画像の中心に近い側）の参照画素のみを参照して処理を実行すると良い。具体的な処理としては、画像の中心との距離が注目画素と同じか、又は注目画素よりも遠い参照画素における重みをゼロに設定すれば良い。それにより、既に算出された推定輝度値のみを用いて演算を行うことになるので、シェーディング補正の精度をさらに向上させることが可能となる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。
　図１４は、本発明の実施の形態４に係る画像処理装置が備える演算部の構成を示すブロック図である。図１４に示すように、実施の形態４における演算部２００は、図１に示す演算部１５０の構成に対し、補正ゲイン算出部１５３が算出した補正ゲインの有効度を判定し、補正ゲインが有効でない場合に補正ゲインを修正する補正ゲイン修正部２０１をさらに備える。補正ゲイン修正部２０１以外の演算部２００の構成及び動作、並びに、画像処理装置全体の構成及び動作は、図１と同様である。
　図１５は、演算部２００の動作を示すフローチャートである。なお、ステップＳ１０～Ｓ１８の各動作は、実施の形態１～３と同様である。また、ステップＳ１３及びＳ１４においては、実施の形態２又は３を適用しても良い。
　ステップＳ１４に続くステップＳ２０において、補正ゲイン修正部２０１は、設定された参照画素重みの最大値を取得し、記憶部１４０に記憶させておく。
　ステップＳ１６に続くステップＳ２１において、補正ゲイン修正部２０１は、ステップＳ２０において各注目画素について取得した重みの最大値が、予め設定された閾値以上であるか否かを判定する。
　ここで、図１６は、補正ゲインの有効度の判定原理を説明するための図であり、処理対象画像内の画素を模式的に示している。なお、図１６においては、色の違いをハッチングの種類の違いで表している。図１６に示すように、例えば赤色系の注目画素Ｐtarに対し、参照範囲Ｒｅｆ内に色の近い参照画素が存在しない場合（例えば、青色系、緑色系、又は黄色系の参照画素しか存在しない場合）、当該参照範囲Ｒｅｆ内の全ての参照画素重みの値が小さく設定されてしまう。このような場合、設定された参照画素重みを用いて算出された推定輝度値を補正ゲインの算出に用いるのは適切ではない。
　そこで、補正ゲイン修正部２０１は、注目画素Ｐtarに対する参照画素重みの最大値が閾値以上である場合（ステップＳ２１：Ｙｅｓ）、補正ゲイン修正部２０１は、当該注目画素Ｐtarの補正ゲインは有効であると判断する（ステップＳ２２）。一方、注目画素Ｐtarに対する参照画素重みの最大値が閾値未満である場合（ステップＳ２１：Ｎｏ）、補正ゲイン修正部２０１は、当該注目画素Ｐtarの補正ゲインは無効であると判断する（ステップＳ２３）。
　各画素に対するループＡの処理の終了後、ステップＳ２４において、補正ゲイン修正部２０１は、無効と判断された注目画素Ｐtarに対し、その周囲の画素の補正ゲインを用いてフィルタ処理を実行し、当該注目画素Ｐtarの補正ゲインを補間する。フィルタ処理としては、例えば、平均値フィルタ、ガウシアンフィルタ、メディアン（中間値）フィルタ等を用いることができる。修正された補正ゲインは、記憶部１４０に記憶される。
　以上説明したように、実施の形態４によれば、補正ゲインの有効性を判断して、必要に応じて補正ゲインを修正するので、シェーディング補正の精度をさらに向上させることが可能となる。
（実施の形態５）
　次に、本発明の実施の形態５について説明する。
　図１７は、本発明の実施の形態５に係る画像処理装置が備える演算部の構成を示すブロック図である。図１７に示すように、実施の形態５における演算部２１０は、図１に示す演算部１５０の構成に対し、複数の画像間で共通の補正ゲインを算出する共通補正ゲイン算出部２１１をさらに備える。共通補正ゲイン算出部２１１以外の演算部２１０の構成及び動作、並びに画像処理装置全体の構成及び動作については、図１と同様である。
　ここで、顕微鏡装置２０において複数の画像を撮像する場合、各画像に対するシェーディングの影響には大きな差異は生じない。しかしながら、図１８に示すように、補正ゲインＧ１、Ｇ２、…は、処理対象である各画像Ｍ１、Ｍ２、…に対する処理により、画像ごとに算出される。このため、撮像範囲における被写体の違いやノイズ等の影響により、誤差の大きいゲインが算出されてしまう場合がある。
　そこで、共通補正ゲイン算出部２１１は、複数の画像Ｍ１、Ｍ２、…からそれぞれ算出された複数の補正ゲインＧ１、Ｇ２、…を用いて、より確からしい補正ゲイン（共通補正ゲイン）ＧCOMを求める。
　図１９は、演算部２１０の動作を示すフローチャートである。なお、図１９に示すステップＳ１０～Ｓ１６における動作は、実施の形態１～３と同様である。また、ステップＳ１３及びＳ１４においては、実施の形態２又は３を適用しても良い。
　画像内の各画素に対するループＡの処理が終わった後、ステップＳ３０において、演算部２１０は、次の画像の入力があるか否かを判断する。次の画像の入力がある場合（ステップＳ３０：Ｙｅｓ）、動作はステップＳ１１に戻る。一方、次の画像の入力がない場合（ステップＳ３０：Ｎｏ）、共通補正ゲイン算出部２１１は、これまでに算出され、記憶部１４０に記憶された複数の画像Ｍ１、Ｍ２、…の補正ゲインＧ１、Ｇ２、…を取得し、これらの補正ゲインＧ１、Ｇ２、…から共通補正ゲインＧCOMを算出する（ステップＳ３１）。
　具体的には、複数の画像Ｍ１、Ｍ２、…間で対応する（座標が等しい）画素位置における補正ゲインｇ１（Ｘ，Ｙ）、ｇ２（Ｘ，Ｙ）、…に対してフィルタ処理を施す。フィルタ処理としては、平均値フィルタ処理であっても良いし、メディアン（中間値）フィルタ処理であっても良い。その結果算出された平均値又は中間値を、その画素位置における共通補正ゲインｇCOM（Ｘ，Ｙ）とする。
　続くステップＳ３２において、画像補正部１５４は、共通補正ゲインＧCOMを用いて元の画像Ｍ１、Ｍ２、…を順次補正する。
　さらに、ステップＳ３３において、演算部２１０は、補正済みの画像を順次出力する。
　以上説明したように、実施の形態５によれば、複数の画像からそれぞれ算出された補正ゲインに基づいて共通補正ゲインを算出し、この共通補正ゲインを用いて元の複数の画像を補正するので、個別の画像に生じたノイズ等の影響を抑制して、シェーディング補正の精度を向上させることが可能となる。
（実施の形態６）
　次に、本発明の実施の形態６について説明する。
　図２０は、本発明の実施の形態６に係る画像処理装置が備える演算部の構成を示すブロック図である。図２０に示すように、実施の形態６における演算部２２０は、図１に示す演算部１５０の構成に対し、実施の形態４において説明した補正ゲイン修正部２０１と、実施の形態５において説明した共通補正ゲイン算出部２１１とを備える。補正ゲイン修正部２０１及び共通補正ゲイン算出部２１１以外の演算部２２０の構成及び動作、並びに画像処理装置全体の構成及び動作については、図１と同様である。
　図２１は、演算部２２０の動作を示すフローチャートである。なお、図２１に示すステップＳ１０～Ｓ２４の一連の動作は、実施の形態４と同様である。
　ステップＳ２４に続くステップＳ４０において、演算部２２０は、次の画像の入力があるか否かを判断する。次の画像の入力がある場合（ステップＳ４０：Ｙｅｓ）、動作はステップＳ１１に戻る。一方、次の画像の入力がない場合（ステップＳ４０：Ｎｏ）、共通補正ゲイン算出部２１１は、これまでに算出され、記憶部１４０に記憶された複数の画像の補正ゲインを取得し、これらの補正ゲインから共通補正ゲインを算出する（ステップＳ４１）。なお、共通補正ゲインの算出処理の詳細については、実施の形態５と同様である。
　続くステップＳ４２において、画像補正部１５４は、共通補正ゲインを用いて元の画像を順次補正する。
　さらに、ステップＳ４３において、演算部２２０は、補正済みの画像を順次出力する。
　以上説明したように、実施の形態６によれば、補正ゲインの有効性に基づいて個別に修正された複数の補正ゲインから共通補正ゲインを算出するので、シェーディング補正の生後をさらに向上させることが可能となる。
（実施の形態７）
　次に、本発明の実施の形態７について説明する。
　図２２は、本発明の実施の形態７に係る画像処理装置が備える演算部の構成を示すブロック図である。図２２に示すように、実施の形態７における演算部２３０は、図１に示す演算部１５０の構成に対し、補正ゲイン判定部２３１と、実施の形態５において説明した共通補正ゲイン算出部２１１とを備える。補正ゲイン判定部２３１及び共通補正ゲイン算出部２１１以外の演算部２２０の構成及び動作、並びに画像処理装置全体の構成及び動作については、図１と同様である。
　補正ゲイン判定部２３１は、処理対象の画像の補正に用いる補正ゲインとして、個別に算出された補正ゲインを用いるか、又は、複数の画像から算出された共通補正ゲインを用いるかを判定する。
　図２３は、演算部２３０の動作を示すフローチャートである。なお、ステップＳ１０～Ｓ１８の各動作は、実施の形態１～３と同様である。また、ステップＳ１３及びＳ１４においては、実施の形態２又は３を適用しても良い。
　画像内の各画素に対するループＡの処理が終わった後、ステップＳ５０において、演算部２３０は、次の画像の入力があるか否かを判断する。次の画像の入力がある場合（ステップＳ５０：Ｙｅｓ）、動作はステップＳ１１に戻る。一方、次の画像の入力がない場合（ステップＳ５０：Ｎｏ）、補正ゲイン判定部２３１は、処理対象の画像に対し、それまでに処理された複数の画像間で共通の補正処理が必要か否かを判断する（ステップＳ５１）。
　例えば、補正ゲイン判定部２３１は、それまでに処理された画像の付帯情報を参照し、これらの画像間に共通のフラグが附されている場合、共通の補正処理が必要と判断する。或いは、所定時間内に連続して複数の画像が入力された場合に、共通の補正処理が必要であると判断しても良い。さらに、補正ゲイン判定部２３１は、入力部１１０（図１参照）を外部から入力される信号に従って、当該判断を行っても良い。即ち、共通の補正処理を行うか否かをユーザが判断して、指示を画像処理装置１０に入力するようにしても良い。
　補正ゲイン判定部２３１が共通の補正処理は不要であると判断した場合（ステップＳ５１：Ｎｏ）、動作はステップＳ１７に移行する。一方、補正ゲイン判定部２３１が共通の補正処理は必要であると判断した場合（ステップＳ５１：Ｙｅｓ）、共通補正ゲイン算出部２１１は、それまでに処理された画像からそれぞれ算出された複数の補正ゲインを用いて、共通補正ゲインを算出する（ステップＳ５２）。共通補正ゲインの算出処理については、実施の形態５と同様である。
　続くステップＳ５３において、画像補正部１５４は、共通補正ゲインを用いて元の画像を補正する。その後、動作はステップＳ１８に移行する。
　以上説明したように、実施の形態７によれば、処理対象の画像に対して共通の補正処理が必要か否かを判断するので、画像に応じた適切な補正処理を行うことができる。例えば、他の画像とは撮像条件等が異なる画像が単独で入力された場合には、その画像から算出された補正ゲインを用いることにより、他の画像の影響を受けずに当該画像を補正することができる。一方、例えばバーチャルスライド画像を作成するため、標本を部分的に撮像した複数の画像が連続して入力された場合、入力された複数の画像から算出された共通補正ゲインを用いることにより、個別の画像に生じたノイズ等の影響が低減された補正を行うことができる。
　また、実施の形態７によれば、必要な場合にのみ共通補正ゲインを算出するので、演算処理を効率化することが可能となる。
（実施の形態８）
　次に、本発明の実施の形態８について説明する。
　図２４は、本発明の実施の形態８に係る画像処理装置が備える演算部の構成を示すブロック図である。図２４に示すように、実施の形態８における演算部２４０は、図１に示すブロック図に対して、実施の形態４において説明した補正ゲイン修正部２０１と、修正済み補正ゲイン判定部２４１と、実施の形態５において説明した共通補正ゲイン算出部２１１とを備える。補正ゲイン修正部２０１、修正済み補正ゲイン判定部２４１、及び共通補正ゲイン算出部２１１以外の演算部２４０の構成及び動作、並びに画像処理装置全体の構成及び動作については、図１と同様である。
　修正済み補正ゲイン判定部２４１は、処理対象の画像の補正に用いる補正ゲインとして、個別に算出された補正ゲインを修正した修正済み補正ゲインを用いるか、又は、複数の画像から算出された共通補正ゲインを用いるかを判定する。
　図２５は、演算部２４０の動作を示すフローチャートである。なお、ステップＳ１０～Ｓ２４の一連の動作については、実施の形態４と同様である。
　ステップＳ２４に続くステップＳ６０において、演算部２４０は、次の画像の入力があるか否かを判断する。次の画像の入力がある場合（ステップＳ６０：Ｙｅｓ）、動作はステップＳ１１に戻る。一方、次の画像の入力がない場合（ステップＳ６０：Ｎｏ）、修正済み補正ゲイン判定部２４１は、処理対象の画像に対して、それまでに処理された複数の画像間で共通の補正処理が必要か否かを判断する（ステップＳ６１）。
　修正済み補正ゲイン判定部２４１が共通の補正処理は不要であると判断した場合（ステップＳ６１：Ｎｏ）、動作はステップＳ１７に移行する。一方、修正済み補正ゲイン判定部２４１が共通の補正処理は必要であると判断した場合（ステップＳ６１：Ｙｅｓ）、共通補正ゲイン算出部２１１は、それまでに処理された画像からそれぞれ算出された複数の補正ゲインを用いて共通補正ゲインを算出し（ステップＳ６２）、さらに、共通補正ゲインを用いて元の画像を補正する（ステップＳ６３）。その後、動作はステップＳ１８に移行する。
　以上説明したように、実施の形態８によれば、複数の画像に対して共通の補正処理が必要か否かを判断するので、画像に応じた適切な補正処理を行うことができる。必要な場合にのみ共通補正ゲインを算出するので、演算処理を効率化することも可能となる。
（実施の形態９）
　次に、本発明の実施の形態９について説明する。
　図２６は、本発明の実施の形態９に係る画像処理装置が備える演算部の構成が示すブロック図である。図２６に示すように、実施の形態９に係る演算部２５０は、図１に示す演算部１５０の構成に対し、算術補正ゲイン算出部２５１をさらに備える。算術補正ゲイン算出部２５１以外の演算部２５０の構成及び動作、並びに、画像処理装置全体の構成及び動作は、図１と同様である。
　ここで、シェーディングの影響を受けた画像においては、一般的に、画像の中心から外側に向かって同心円状に輝度が低下する。このため、理論的には、補正ゲインの値は、画像の中心から外側に向かって同心円状に大きくなる。しかしながら、図２７Ａに示すように、注目画素Ｐtarごとに算出された補正ゲインにおいては、ノイズ等の影響により局所的に値のばらつきが生じることがある。
　そこで、実施の形態９においては、算術補正ゲイン算出部２５１が、注目画素Ｐtarごとに算出された補正ゲインを所定の関数（例えば２次関数）にフィッティングすることにより、画像全体における補正ゲインを修正する。以下、フィッティングによる補正ゲイン（算術補正ゲインと呼ぶ）の導出方法を説明する。
　画素Ｐの座標を（Ｘ，Ｙ）、パラメータである算術補正ゲイン係数をａ～ｆとすると、算術補正ゲインＧarith（Ｘ，Ｙ）は、次式（１６）によって与えられる。
　Ｇarith（Ｘ，Ｙ）
　＝ａＸ2＋ｂＹ2＋ｃＸＹ＋ｄＸ＋ｅＹ＋ｆ　…（１６）
　この算術補正ゲインＧarithに対し、各画素Ｐから算出された補正ゲインが乖離している度合いを表す指標（以下、乖離度合いを示す指標という）ＤＩが最小となるように、算術補正ゲイン係数ａ～ｆを決定する。乖離度合いを示す指標ＤＩとしては、例えば図２７Ｂに示すように、サンプリング画素Ｐsample（Ｘ，Ｙ）における補正ゲインＧ（Ｘ，Ｙ）と算術補正ゲインＧarith（Ｘ，Ｙ）との差分二乗和を用いる。なお、図２７Ｂは、任意のＹ座標（Ｙ＝Ｙ0）におけるＸ方向の補正ゲインの変化を示している。
　具体的には、乖離度合いを示す指標ＤＩは、次式（１７）によって与えられる。
Figure JPOXMLDOC01-appb-M000008
 式（１７）において、記号Ｐはサンプリング画素Ｐsample（Ｘ，Ｙ）の集合を示す。
　或いは、乖離度合いを示す指標ＤＩとして、サンプリング画素Ｐsample（Ｘ，Ｙ）における補正ゲインＧ（Ｘ，Ｙ）と算術補正ゲインＧarith（Ｘ，Ｙ）との差分の絶対値の総和を算出しても良い。
　図２７Ｃは、乖離度合いを示す指標ＤＩに基づいて決定された算術補正ゲイン係数ａ～ｆによる算術補正ゲインＧarithを示すグラフである。図２７Ｃに示すように、算術補正ゲインＧarithの値は、画像の中心付近から外側に向かって同心円状に滑らかに変化しており、局所的な凹凸が解消されている。
　画像補正部１５４は、補正ゲインの代わりに算術補正ゲインを用いて、元の画像を補正する。
　以上説明したように、実施の形態９によれば、画素ごとに算出された補正ゲインを所定の関数にフィッティングするので、ノイズ等の局所的な影響を低減することが可能となる。従って、シェーディング補正の精度を向上させることが可能となる。
（変形例）
　次に、実施の形態９の変形例について説明する。
　実施の形態９においては、１枚の画像において画素ごとに算出された補正ゲインをフィッティングすることにより、算術補正ゲインを算出した。しかしながら、複数の画像から得られた補正ゲインをフィッティングすることにより、共通補正ゲイン（実施の形態５～８参照）として使用可能な算術補正ゲインを算出しても良い。
　この場合、各画像から１つ以上のサンプリング画素を抽出し、式（１７）に示す乖離を表す指標ＤＩが最小となるように、式（１８）における算術補正ゲイン係数ａ～ｆを決定する。それにより定まる算術補正ゲインＧarithを共通補正ゲインとして用いる。
（実施の形態１０）
　次に、本発明の実施の形態１０について説明する。本実施の形態１０は、上述した実施の形態１～９に対し、推定輝度値の算出処理に用いられるパラメータを、入力された画像に基づいて設定するパラメータ設定部をさらに設けたことを特徴とする。
　図２８は、実施の形態１０に係る画像処理装置が備える演算部の構成を示すブロック図であり、図１に示す演算部１５０に対してパラメータ設定部２６１を設けた演算部２６０の例を示している。パラメータ設定部２６１は、処理対象の画像に対する所定の画像解析の解析結果や、当該画像に関する撮像情報（倍率等）といった画像情報に基づいてパラメータを設定する。撮像情報は、例えば当該画像の付帯情報から取得することができる。或いは、画像処理装置１０に接続された顕微鏡装置２０から撮像情報を直接取り込んでも良い。
　パラメータ設定部２６１が設定可能なパラメータの具体例としては、式（３）に示すように、色類似重みＷcolを与える色類似度パラメータσcolが挙げられる。この場合、パラメータ設定部２６１は、処理対象の画像内の各画素から色成分（色差）値Ｃｂ、Ｃｒを取得し、これらの色成分値Ｃｂ、Ｃｒの分散に応じ、所定の関数やテーブル等に用いて色類似度パラメータσcolを設定する。関数の種類としては、例えば、分散に応じて値が正規分布的に変化する関数や、線形的に変化する関数や、階段状に変化する関数であっても良い。パラメータの設定例として、各色成分値Ｃｂ、Ｃｒの分散が大きい場合には、色類似度パラメータσcolを大きくし、色差成分距離に対して色類似重みＷcolを緩やかに変化させ、反対に、各色成分値Ｃｂ、Ｃｒの分散が小さい場合には、色類似度パラメータσcolを小さくし、色差成分距離に対して色類似重みＷcolを敏感に変化させると良い。
　或いは、試料ＳＰに施される染色方法ごとに色類似度パラメータσcolが対応付けられたテーブルを予め記憶部１４０に記憶させておき、パラメータ設定部２６１は、このテーブルに基づいてパラメータを設定しても良い。より詳細には、パラメータ設定部２６１は、処理対象の画像から各画素の色相を求め、この色相のヒストグラムの形状から試料ＳＰに施された染色方法を推定し、上記テーブルを参照して色類似度パラメータσcolを設定する。また、処理対象の画像の付帯情報等から試料ＳＰに施された染色方法に関する情報を取得できる場合には、この情報に基づき、上記テーブルから直接色類似度パラメータσcolを設定しても良い。
　また、パラメータ設定部２６１が設定可能なパラメータの別の例として、式（１０）に示すように、輝度差重みを算出する際の判定用閾値ＴｈLを与える判定用パラメータＬ及びＢが挙げられる。この場合、撮像倍率等の撮像情報と判定用パラメータＬ、Ｂとを対応づけたテーブルを予め記憶部１４０に記憶させておく。パラメータ設定部２６１は、入力された画像の付帯情報等から取得した撮像情報に基づき、上記テーブルを参照して、判定用パラメータＬ、Ｂを設定する。
　また、パラメータ設定部２６１が設定可能なパラメータの別の例として、推定輝度値を算出する際のフィルタ処理における参照範囲の大きさ（フィルタサイズ）が挙げられる。この場合、撮像倍率等の撮像情報と参照範囲の大きさとを対応付けたテーブルを予め記憶部１４０に記憶させておく。パラメータ設定部２６１は、処理対象の画像の付帯情報等から取得した撮像情報に基づき、上記テーブルを参照して、参照範囲の大きさを設定する。或いは、パラメータ設定部２６１は、入力された画像に対して画像解析を行い、その結果に基づいて参照範囲の大きさを設定しても良い。例えば、高周波成分が多い場合にフィルタサイズを小さく設定し、低周波成分が多い場合にフィルタサイズを大きく設定するといった設定方法が挙げられる。
　また、パラメータ設定部２６１が設定可能なパラメータの別の例として、処理対象の画像に対して複数の画像から算出された共通補正ゲインを用いるか否かを判別するための共通補正ゲイン使用フラグが挙げられる。この場合、パラメータ設定部２６１は、順次入力される画像に対し、各画素の輝度値にハイパスフィルタ処理を施し、その結果の画像における画素値の合計値を算出して当該合計値を所定の閾値と比較する。そして、合計値が閾値以上である画像に対して共通補正ゲイン使用フラグを設定する。この場合、補正ゲイン判定部２３１（実施の形態７）又は修正済み補正ゲイン判定部２４１（実施の形態８）は、共通補正ゲイン使用フラグが画像に設定されているか否かを判断すれば良い。
　以上説明したように、実施の形態１０によれば、処理対象の画像に応じて種々のパラメータを設定するので、画像の特性に応じた補正ゲインを算出することができ、シェーディング補正の精度を向上させると共に、演算処理を効率化することが可能となる。
（実施の形態１１）
　次に、本発明の実施の形態１１について説明する。
　上述した実施の形態１～１０における演算部１５０、２００～２６０に、複数の画像を繋ぎ合わせたバーチャルスライド画像（以下、ＶＳ画像ともいう）を作成するバーチャル画像作成部をさらに設けても良い。この場合、演算部１５０、２００～２６０は、顕微鏡装置２０が制御部１６０の制御の下で、試料ＳＰに対する撮像視野を平行移動させながら撮像した複数の画像を順次入力して、補正ゲイン（又は共通補正ゲイン）の算出、及び補正ゲイン（又は共通補正ゲイン）を用いた各画像の補正を行い、補正済みの画像を互いに繋ぎ合わせて出力する。それにより、試料ＳＰ全体に対応する画像を取得することができる。
　本発明は、上述した各実施の形態１～１１及び変形例そのままに限定されるものではなく、各実施の形態１～１１及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１～１１及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１　顕微鏡システム
　１０　画像処理装置
　２０　顕微鏡装置
　１００　アーム
　１０１　標本ステージ
　１０２　対物レンズ
　１０３　鏡筒
　１０４　画像取得部
　１０５　ステージ位置変更部
　１０５ａ　モータ
　１０５ｂ　位置検出部
　１０６　三眼鏡筒ユニット
　１０７　接眼レンズユニット
　１０８　レボルバ
　１１０　入力部
　１２０　画像入力部
　１３０　表示部
　１４０　記憶部
　１４１　画像処理プログラム
　１５０、２００、２１０、２２０、２３０、２４０、２５０、２６０　演算部
　１５１　重み設定部
　１５２　推定輝度値算出部
　１５３　補正ゲイン算出部
　１５４　画像補正部
　１６０　制御部
　２０１　補正ゲイン修正部
　２１１　共通補正ゲイン算出部
　２３１　補正ゲイン判定部
　２４１　修正済み補正ゲイン判定部
　２５１　算術補正ゲイン算出部
　２６１　パラメータ設定部

Claims (16)

  1. 　画像内の複数の画素の各々が有する色成分値に基づいて、前記複数の画素間の色の類似度を算出する色類似度算出ステップと、
    　前記画像内の各画素が有する輝度成分値と前記色の類似度とに基づいて前記各画素にフィルタ処理を施すことにより、前記各画素の推定輝度値を算出する推定輝度値算出ステップと、
    　前記推定輝度値と前記輝度成分値とから補正ゲインを画素ごとに算出する補正ゲイン算出ステップと、
    　前記補正ゲインによって前記画像を補正する補正ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
  2. 　前記色類似度算出ステップは、さらに、前記各画素の前記輝度成分値に基づいて前記複数の画素間の輝度差を算出し、
    　前記推定輝度値算出ステップは、さらに前記輝度差を用いて前記各画素に前記フィルタ処理を施す、
    ことを特徴とする請求項１に記載の画像処理プログラム。
  3. 　前記色類似度算出ステップは、さらに、前記各画素の座標値に基づいて前記複数の画素間の位置関係を取得し、
    　前記推定輝度値算出ステップは、さらに前記位置関係を用いて前記各画素に前記フィルタ処理を施す、
    ことを特徴とする請求項１又は２に記載の画像処理プログラム。
  4. 　前記画像の画像情報に基づいて、前記推定輝度値算出ステップにおいて用いられるパラメータを設定するパラメータ設定ステップをさらに含むことを特徴とする請求項１に記載の画像処理プログラム。
  5. 　前記画像内の任意の位置における注目画素と該注目画素から所定の範囲内に位置する参照画素との前記色類似度に基づいて、色類似度の重みを算出する色類似度重み算出ステップと、
    　前記色類似度の重みから前記参照画素の重みを設定する参照画素重み設定ステップと、
    をさらに含み、
    　前記フィルタ処理は、前記所定の範囲内に位置する画素の輝度値に対して前記参照画素の重みを用いて実行される重み付け平均処理である、
    ことを特徴とする請求項１に記載の画像処理プログラム。
  6. 　前記注目画素と前記参照画素との輝度値の差分である輝度差に応じた輝度差重みを算出する輝度差重み算出ステップをさらに含み、
    　前記参照画素重み設定ステップは、前記輝度差重みを前記色類似度の重みに乗ずることにより前記参照画素の重みを算出する、
    ことを特徴とする請求項５に記載の画像処理プログラム。
  7. 　前記輝度差重み算出ステップは、前記輝度差に加えて、前記注目画素と前記参照画素との間の位置関係を用いて前記輝度差重みを算出する、
    ことを特徴とする請求項６に記載の画像処理プログラム。
  8. 　前記注目画素の位置を表す注目画素座標と、前記参照画素の位置を表す参照画素座標とから、位置重みを算出する位置重み算出ステップをさらに含み、
    　前記参照画素重み設定ステップは、前記位置重みを前記色類似度の重みに乗ずることにより前記参照画素の重みを算出する、
    ことを特徴とする請求項５に記載の画像処理プログラム。
  9. 　前記推定輝度値算出ステップは、推定輝度値が既に算出されている画素のみを参照画素として用いる、
    ことを特徴とする請求項１に記載の画像処理プログラム。
  10. 　前記所定の範囲内における前記参照画素の重みに基づいて前記注目画素の推定輝度値が有効であるか否かを判定し、該判定の結果に従って、前記注目画素について算出された補正ゲインを、該注目画素の周囲の画素について算出された補正ゲインを用いて修正する補正ゲイン修正ステップをさらに含み、
    　前記補正ステップは、前記補正ゲイン修正ステップにおいて修正された前記補正ゲインによって前記画像を補正する、
    ことを特徴とする請求項５に記載の画像処理プログラム。
  11. 　前記色類似度算出ステップと、前記推定輝度値算出ステップと、前記補正ゲイン算出ステップとを複数の画像の各々について実行させ、
    　前記複数の画像についてそれぞれ算出された複数の補正ゲインに対し、前記複数の画像間で互いに対応する座標における補正ゲインに第２のフィルタ処理を施すことにより、新たな補正ゲインを算出するステップをさらに含み、
    　前記補正ステップは、前記新たな補正ゲインにより前記複数の画像の各々を補正する、
    ことを特徴とする請求項１に記載の画像処理プログラム。
  12. 　前記第２のフィルタ処理は、平均値フィルタ処理と、メディアンフィルタ処理とのいずれかである、
    ことを特徴とする請求項１１に記載の画像処理プログラム。
  13. 　前記画像内の任意の座標の関数で表される算術補正ゲインを設定し、前記画像内の画素について算出された補正ゲインの値と、前記画素に対応する座標における前記算術補正ゲインの値との乖離度合いを示す指標が最小になるように、前記関数のパラメータを求める算術補正ゲイン算出ステップをさらに含み、
    　前記補正ステップは、前記算術補正ゲインによって前記画像を補正する、
    ことを特徴とする請求項１に記載の画像処理プログラム。
  14. 　前記算術補正ゲイン算出ステップは、前記指標として、前記画像内の画素について算出された補正ゲインの値と、前記画素に対応する座標における前記算術補正ゲインの値との差分二乗和を用いる、
    ことを特徴とする請求項１３に記載の画像処理プログラム。
  15. 　前記算術補正ゲイン算出ステップは、前記指標として、前記画像内の画素について算出された補正ゲインの値と、前記画素に対応する座標における前記算術補正ゲインの値との差分の絶対値の総和を用いる、
    ことを特徴とする請求項１３に記載の画像処理プログラム。
  16. 　画像内の複数の画素の各々が有する色成分値に基づいて算出された画素間の色の類似度と、前記画像内の各画素が有する輝度成分値とに基づいて前記各画素にフィルタ処理を施すことにより、前記各画素の推定輝度値を算出する推定輝度値算出手段と、
    　前記推定輝度値と前記輝度成分値とから補正ゲインを算出する補正ゲイン算出手段と、
    　前記補正ゲインによって前記画像を補正する補正手段と、
    を備えることを特徴とする画像処理装置。
PCT/JP2013/053435 2012-04-24 2013-02-13 画像処理プログラム及び画像処理装置 WO2013161348A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012099140A JP2013229677A (ja) 2012-04-24 2012-04-24 画像処理プログラム及び画像処理装置
JP2012-099140 2012-04-24

Publications (1)

Publication Number Publication Date
WO2013161348A1 true WO2013161348A1 (ja) 2013-10-31

Family

ID=49482690

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/053435 WO2013161348A1 (ja) 2012-04-24 2013-02-13 画像処理プログラム及び画像処理装置

Country Status (2)

Country Link
JP (1) JP2013229677A (ja)
WO (1) WO2013161348A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205806A (zh) * 2015-08-19 2015-12-30 广东科杰机械自动化有限公司 一种基于机器视觉的精度补偿方法
CN115914801A (zh) * 2023-02-21 2023-04-04 哈尔滨学院 一种多光延时摄影控制系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6346431B2 (ja) * 2013-11-13 2018-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置及び画像処理方法
JP6351289B2 (ja) * 2014-02-18 2018-07-04 Ntn株式会社 表面形状測定装置、方法およびプログラム
KR102469454B1 (ko) * 2021-06-30 2022-11-24 한국생산기술연구원 3차원 입체 모델 기반의 비네트 영상의 보정 방법
KR102649330B1 (ko) * 2022-07-05 2024-03-19 한국생산기술연구원 3차원 이변수 다항식 모델 기반의 비네트 영상 보정 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03191674A (ja) * 1989-12-21 1991-08-21 Toshiba Corp 画像処理装置
WO2004079905A1 (ja) * 2003-03-03 2004-09-16 Neuro Solution Corp. デジタルフィルタの設計方法および装置、デジタルフィルタ設計用プログラム、デジタルフィルタ
JP2009151163A (ja) * 2007-12-21 2009-07-09 Olympus Corp シェーディング補正装置及びシェーディング補正方法
JP2010178302A (ja) * 2009-02-02 2010-08-12 Olympus Corp 画像処理装置及び画像処理方法
JP2010218110A (ja) * 2009-03-16 2010-09-30 Ricoh Co Ltd ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
JP2011035894A (ja) * 2009-07-07 2011-02-17 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2011100314A (ja) * 2009-11-06 2011-05-19 Nippon Telegr & Teleph Corp <Ntt> 画像多重化方法、画像多重化装置、および画像多重化プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03191674A (ja) * 1989-12-21 1991-08-21 Toshiba Corp 画像処理装置
WO2004079905A1 (ja) * 2003-03-03 2004-09-16 Neuro Solution Corp. デジタルフィルタの設計方法および装置、デジタルフィルタ設計用プログラム、デジタルフィルタ
JP2009151163A (ja) * 2007-12-21 2009-07-09 Olympus Corp シェーディング補正装置及びシェーディング補正方法
JP2010178302A (ja) * 2009-02-02 2010-08-12 Olympus Corp 画像処理装置及び画像処理方法
JP2010218110A (ja) * 2009-03-16 2010-09-30 Ricoh Co Ltd ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
JP2011035894A (ja) * 2009-07-07 2011-02-17 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2011100314A (ja) * 2009-11-06 2011-05-19 Nippon Telegr & Teleph Corp <Ntt> 画像多重化方法、画像多重化装置、および画像多重化プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205806A (zh) * 2015-08-19 2015-12-30 广东科杰机械自动化有限公司 一种基于机器视觉的精度补偿方法
CN105205806B (zh) * 2015-08-19 2018-03-02 广东科杰机械自动化有限公司 一种基于机器视觉的精度补偿方法
CN115914801A (zh) * 2023-02-21 2023-04-04 哈尔滨学院 一种多光延时摄影控制系统

Also Published As

Publication number Publication date
JP2013229677A (ja) 2013-11-07

Similar Documents

Publication Publication Date Title
WO2013161348A1 (ja) 画像処理プログラム及び画像処理装置
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN105378538B (zh) 用于多频谱成像的自动聚焦方法和系统
JP6196832B2 (ja) 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
JP5959976B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
RU2466438C2 (ru) Способ облегчения фокусировки
US8086024B2 (en) Defect detection apparatus, defect detection method and computer program
JP6422967B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP5978949B2 (ja) 画像合成装置及び画像合成用コンピュータプログラム
US9341579B2 (en) Defect detection apparatus, defect detection method, and computer program
JP2009168572A (ja) 画像処理装置および画像処理プログラム
JP2014089321A (ja) 顕微鏡システム
JP6270388B2 (ja) 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2015035782A (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
US20170131536A1 (en) Systems and methods for imaging device interfaces
JP6487938B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP5123509B2 (ja) 測定領域設定装置、測定領域設定方法および分光測定装置
JP2013148856A (ja) 撮像装置、表示画面生成装置、撮像システム、及びその制御方法
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP7369801B2 (ja) 顕微鏡システム、設定探索方法、及び、プログラム
JP2013092636A (ja) 画像処理装置、顕微鏡システム、画像処理方法、画像処理プログラム
JP6685550B2 (ja) オートフォーカス装置及びオートフォーカス用プログラム
JP2017083790A (ja) 画像取得装置、及びそれを用いた画像取得方法
CN118379196A (zh) 质量分析图像的处理方法、图像的处理方法以及质量分析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13782038

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13782038

Country of ref document: EP

Kind code of ref document: A1