WO2013094273A1 - 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2013094273A1
WO2013094273A1 PCT/JP2012/074957 JP2012074957W WO2013094273A1 WO 2013094273 A1 WO2013094273 A1 WO 2013094273A1 JP 2012074957 W JP2012074957 W JP 2012074957W WO 2013094273 A1 WO2013094273 A1 WO 2013094273A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
shading
image processing
difference
Prior art date
Application number
PCT/JP2012/074957
Other languages
English (en)
French (fr)
Inventor
原 堀江
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201280063454.2A priority Critical patent/CN104011580B/zh
Priority to EP12860928.6A priority patent/EP2796916B1/en
Publication of WO2013094273A1 publication Critical patent/WO2013094273A1/ja
Priority to US14/306,418 priority patent/US20140293035A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, a microscope system, an image processing method, and an image processing program that perform image processing on an image obtained by imaging a subject.
  • the shading correction of a microscope image is performed using a calibration image obtained by imaging the field of view without placing a subject on the stage.
  • a calibration image obtained by imaging the field of view without placing a subject on the stage.
  • the shading state may change between when the calibration image is captured and when the subject is captured. Therefore, it has also been proposed to create shading correction data from a correction target image in which a subject is captured instead of a calibration image prepared in advance, and to perform the shading correction of the correction target image using the shading correction data. (See Patent Document 2).
  • the correction target image includes various components such as a luminance component derived from the subject in addition to the luminance component derived from the shading, and distinguishes the luminance component derived from the shading from other components. It is difficult. For this reason, when shading correction data created from a correction target image is used, correction is also performed on components that should not be affected by correction, such as luminance components derived from the subject. As a result of the reduction in the accuracy of the shading correction as described above, there is a possibility that the image quality may be lowered due to an artifact in the corrected image.
  • the present invention has been made in view of the above, and an image processing apparatus, an imaging apparatus, a microscope system, an image processing method, and an image processing apparatus capable of performing highly accurate shading correction using image data of an image to be corrected, and
  • An object is to provide an image processing program.
  • an image processing apparatus includes an image input unit that inputs a plurality of images having a common part of at least a part of a subject, and the plurality of images.
  • Correction image creating means for creating a correction image used for correction, and the correction image creating means is configured to generate a pixel from two arbitrary images having a common portion where the subject is common among the plurality of images. It has a difference acquisition means for acquiring a luminance difference, and a shading detection means for detecting a shading component in the arbitrary image based on the difference.
  • the corrected image creating unit further includes an image adjusting unit that adjusts the position of the arbitrary image and matches the subject in the common part, and the difference acquisition unit The difference is acquired in a state where the position is adjusted.
  • the corrected image creating unit further includes a shading estimation unit that estimates an influence of shading in a region in each image other than the common portion based on the shading component.
  • the plurality of images are images picked up by translating an imaging field of view.
  • the plurality of images are images picked up by changing an image pickup magnification.
  • the plurality of images are images picked up by rotating an image pickup field of view.
  • An imaging apparatus includes the above-described image processing apparatus and imaging means for imaging the subject.
  • the microscope system includes the image processing apparatus, a stage on which the specimen as the subject can be placed, an optical system provided opposite to the stage, and set on the specimen via the optical system.
  • An image acquisition unit that captures an image of the field of view to acquire an image, and moves at least one of the stage and the optical system in a direction orthogonal to the optical axis of the optical system.
  • a microscope apparatus having a stage position changing unit to be changed.
  • An image processing method includes an image input step of inputting a plurality of images having a portion where at least a part of the subject is common, and two arbitrary images having a common portion where the subject is common among the plurality of images.
  • a correction image creating step for creating a correction image to be used.
  • An image processing program includes an image input step of inputting a plurality of images having a portion where at least a part of the subject is common, and two arbitrary images having a common portion where the subject is common among the plurality of images.
  • a correction image creating step for creating a correction image to be used is executed by a computer.
  • a luminance difference of a pixel is acquired from two arbitrary images having a common part where a subject is common among a plurality of images, and the plurality of the plurality of images are determined based on a shading component detected based on the difference. Since a correction image used for image correction is created, it is possible to perform highly accurate shading correction.
  • FIG. 1 is a schematic diagram showing a configuration example of a microscope system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram schematically showing the configuration of the microscope apparatus shown in FIG.
  • FIG. 3 is a flowchart showing the operation of the microscope system shown in FIG.
  • FIG. 4 is a schematic diagram illustrating an image capturing method according to the first embodiment.
  • FIG. 5 is a schematic diagram illustrating an image capturing method according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating a plurality of images that are partly in common.
  • FIG. 7 is a schematic diagram showing a plurality of images whose positions have been adjusted.
  • FIG. 8 is a flowchart showing the operation of the shading detection unit shown in FIG. FIG.
  • FIG. 9 is a schematic diagram illustrating an image capturing method according to Embodiment 2 of the present invention.
  • FIG. 10 is a schematic diagram illustrating corresponding pixels between a plurality of images.
  • FIG. 11 is a schematic diagram illustrating an image capturing method according to Embodiment 3 of the present invention.
  • FIG. 12 is a schematic diagram showing a plurality of images that are partially shared.
  • FIG. 13 is a schematic diagram showing a plurality of images whose positions have been adjusted.
  • FIG. 14 is a block diagram showing a configuration example of a microscope system according to Embodiment 4 of the present invention.
  • FIG. 15 is a flowchart showing the operation of the microscope system shown in FIG.
  • FIG. 16 is a schematic diagram showing a virtual slide image created by the VS image creation unit shown in FIG.
  • FIG. 1 is a schematic diagram showing a configuration of a microscope system according to Embodiment 1 of the present invention.
  • a microscope system 1 according to Embodiment 1 controls a microscope apparatus 10 and an operation of the microscope apparatus 10 and an image processing apparatus 11 that processes an image acquired by the microscope apparatus 10.
  • an image processing apparatus 11 that processes an image acquired by the microscope apparatus 10.
  • FIG. 2 is a schematic diagram schematically showing the configuration of the microscope apparatus 10.
  • the microscope apparatus 10 includes a substantially C-shaped arm 100, a sample stage 101 that is attached to the arm 100 and on which the sample SP is placed, and a trinocular tube unit on one end side of the lens barrel 103.
  • An objective lens 102 provided so as to face the sample stage 101 via 106, an image acquisition unit 104 provided on the other end side of the lens barrel 103, and a stage position changing unit 105 that moves the sample stage 101.
  • the trinocular tube unit 106 branches the observation light of the sample incident from the objective lens 102 into an image acquisition unit 104 and an eyepiece unit 107 described later.
  • the eyepiece unit 107 is for the user to directly observe the specimen.
  • the optical axis L direction of the objective lens 102 is defined as a Z-axis direction, and a plane orthogonal to the Z-axis direction is defined as an XY plane.
  • the microscope apparatus 10 is installed so that the main surface of the specimen stage 101 substantially coincides with the XY plane.
  • the objective lens 102 is attached to a revolver 108 that can hold a plurality of objective lenses (for example, the objective lens 102 ′) having different magnifications.
  • a revolver 108 that can hold a plurality of objective lenses (for example, the objective lens 102 ′) having different magnifications.
  • a zoom unit including a plurality of zoom lenses and a drive unit (none of which is shown) that changes the position of these zoom lenses is provided inside the lens barrel 103.
  • the zoom unit enlarges or reduces the subject in the imaging field by adjusting the position of each zoom lens.
  • An encoder may be further provided in the drive unit in the lens barrel 103.
  • the output value of the encoder may be output to the image processing device 11, and the image processing device 11 may detect the position of the zoom lens from the output value of the encoder and automatically calculate the magnification of the imaging field.
  • the image acquisition unit 104 includes, for example, an image sensor such as a CCD or CMOS, and the pixel level (pixel value) in each band of R (red), G (green), and B (blue) in each pixel included in the image sensor. This is a camera that can capture a color image.
  • the image acquisition unit 104 receives light (observation light) incident from the objective lens 102 via the optical system in the lens barrel 103, generates image data corresponding to the observation light, and outputs the image data to the image processing apparatus 11.
  • the stage position changing unit 105 includes, for example, a motor 105a, and changes the imaging field of view by moving the position of the sample stage 101 in the XY plane. Further, the stage position changing unit 105 focuses the objective lens 102 on the specimen SP by moving the specimen stage 101 along the Z axis.
  • the stage position changing unit 105 is provided with a position detecting unit 105b that detects the position of the sample stage 101 and outputs a detection signal to the image processing apparatus 11.
  • the position detection unit 105b is configured by an encoder that detects the amount of rotation of the motor 105a, for example.
  • the stage position changing unit 105 may be configured by a pulse generation unit that generates a pulse and a stepping motor according to control of a control unit 160 (described later) of the image processing apparatus 11.
  • the image processing apparatus 11 includes an input unit 110 that receives input of instructions and information to the image processing apparatus 11, an image input unit 120 that is an interface that receives input of an image output from the image acquisition unit 104, a microscope image, and the like.
  • the input unit 110 includes input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel, and receives signals input via these devices and inputs them to the control unit 160.
  • input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel, and receives signals input via these devices and inputs them to the control unit 160.
  • the display unit 130 is configured by a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens according to control signals output from the control unit 160. indicate.
  • a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens according to control signals output from the control unit 160. indicate.
  • the storage unit 140 includes update-recordable flash memory, RAM, ROM, and other semiconductor memories, a built-in hard disk connected via a data communication terminal, MO, CD-R, DVD-R, and the like, and the recording medium. It is comprised by the reader etc. which read the recorded information.
  • the storage unit 140 stores the image data output from the image acquisition unit 104, various programs executed by the calculation unit 150 and the control unit 160, and various setting information. Specifically, the storage unit 140 stores an image processing program 141 that performs shading correction on the image acquired by the image acquisition unit 104.
  • the calculation unit 150 is configured by hardware such as a CPU, for example, and reads the image processing program 141 stored in the storage unit 140, thereby performing shading correction on the image corresponding to the image data stored in the storage unit 140.
  • the applied image processing is executed.
  • the calculation unit 150 includes a correction image creation unit 151 that creates a correction image for shading correction of an image, and an image correction unit 156 that corrects the image using the correction image.
  • the correction image creation unit 151 includes an image adjustment unit 152 that adjusts the position of the image so that the common part matches between a plurality of images in which at least a part of the subject is common, and the plurality of position adjusted parts.
  • a difference acquisition unit 153 that acquires a difference in luminance of corresponding pixels between images, a shading detection unit 154 that detects a shading component generated in the image based on the difference in luminance, and the above based on the shading component
  • a shading estimation unit 155 that estimates the influence of shading in an area other than the common part and creates a correction image.
  • the control unit 160 is configured by hardware such as a CPU, for example, and reads various programs stored in the storage unit 140 based on various data stored in the storage unit 140 and various information input from the input unit 110. Then, instructions and data are transferred to each part of the image processing apparatus 11 and the microscope apparatus 10, and the operation of the entire microscope system 1 is comprehensively controlled.
  • An image captured by the microscope apparatus 10 includes a luminance component corresponding to a subject (hereinafter referred to as a subject component) T (x, y) and a luminance component corresponding to shading (hereinafter referred to as a shading component) S (x, y). And are included.
  • the coordinates (x, y) indicate the position coordinates of each pixel in the image. Therefore, assuming that the luminance of each pixel is I (x, y), the luminance I (x, y) can be expressed by the following equation (1-1).
  • I (x, y) T (x, y) ⁇ S (x, y) (1-1)
  • the influence of the shading component S (x, y) on the common subject component T (x, y) depends on the position coordinates in the image. Change. Therefore, the shading component S (x, y) corresponding to the position coordinates in the image is obtained by canceling the subject component T (x, y) from the luminance of the pixel having the same subject component T (x, y) among the plurality of images. The change in y) can be calculated. The distribution of the shading component S (x, y) in the image can be extracted from the change in the shading component.
  • the imaging condition for example, there are methods of translating the imaging field of view with respect to the specimen SP, changing the magnification, and rotating the imaging field of view with respect to the specimen SP.
  • the imaging conditions are changed by a method of translating the imaging field of view with respect to the specimen SP.
  • FIG. 3 is a flowchart showing the operation of the microscope system 1.
  • the microscope apparatus 10 captures a plurality of images in which a part of the imaging field of view overlaps while changing the imaging field of view of the specimen SP. More specifically, as shown in FIG. 4, the microscope apparatus 10 causes the image acquisition unit 104 to image the imaging field of view while translating the sample stage 101 on which the sample SP is placed.
  • the image acquisition unit 104 outputs the image data acquired by performing imaging as described above to the image processing apparatus 11.
  • the image processing apparatus 11 temporarily stores the image data output from the image acquisition unit 104 in the storage unit 140.
  • step S ⁇ b> 11 the control unit 160 reads image data from the storage unit 140 and inputs a plurality of images corresponding to the image data to the calculation unit 150.
  • an image M j in the burst imaging field of view V j, the image M j + 1 and the calculation unit 150 copies the image capturing field V j + 1 Is input.
  • the horizontal size of the images M j and M j + 1 is set as w
  • the vertical size is set as h.
  • the image adjustment unit 152 adjusts the position of the image based on the output value from the position detection unit 105 b so that the common portions match among the plurality of images. For example, the image M j, when the M j + 1, as shown in FIG. 7, shifting the image M j image M j + 1 by the amount of movement amounts dx and dy in the imaging field of view, the region C1 overlap each other The position is adjusted as follows.
  • step S ⁇ b> 13 the difference acquisition unit 153 calculates the luminance from the pixel values of the pixels included in the common part of each image, and calculates the luminance difference between the corresponding pixels among the plurality of images.
  • the image M j when the M j + 1, the coordinates in the image M j (x i, y i ) the luminance of the pixels in I j, the image M j + 1 in the coordinates (x 'i, y' i ) The difference from the luminance I j + 1 of the pixel at is calculated.
  • the luminances I j and I j + 1 are given by the following equations (1-3) and (1-4), respectively.
  • I j (x i , y i ) T (x i , y i ) ⁇ S (x i , y i ) (1-3)
  • I j + 1 (x ′ i , y ′ i ) T (x ′ i , y ′ i ) ⁇ S (x ′ i , y ′ i ) (1-4)
  • equation (1-4) can be rewritten as the following equation (1-6).
  • I j + 1 (x ′ i , y ′ i ) T (x i , y i ) ⁇ S (x i ⁇ dx, y i ⁇ dy) (1-6)
  • step S13 such a difference I j + 1 (x ′ i , y ′ i ) / I j (x i , y i ) is calculated for all the coordinates in the area C1 which is a common part.
  • step S14 the shading detection unit 154 creates a shading model that approximates the influence of shading in the images M j and M j + 1 , and the difference I j + in each coordinate (x i , y i ) in the region C1. 1
  • the shading model is corrected based on (x ′ i , y ′ i ) / I j (x i , y i ).
  • the reason why the quadric surface is used is that the shading component is generally small near the center of the image and increases as the distance from the center of the image increases.
  • S (x, y; a) 1 ⁇ a ⁇ (x ⁇ w / 2) 2 + (y ⁇ h / 2) 2 ⁇ (1-9)
  • the shading component S can be acquired.
  • the shading detection unit 154 obtains the parameter a by the arithmetic processing shown in FIG.
  • FIG. 8 is a flowchart showing the operation of the shading detection unit 154.
  • the shading detection unit 154 initializes the parameter a.
  • the shading detection unit 154 determines the difference in luminance I j + 1 (x ′ i , y ′ i ) at the parameter a and all the coordinates (x i , y i ) in the region C1 calculated in step S13. ) / I j (x i , y i ) is substituted into the error evaluation function (1-10) to calculate the evaluation value K1 ′.
  • step S153 the shading detection unit 154 determines whether or not the evaluation value K1 ′ is less than a predetermined threshold value.
  • the magnitude of the threshold value is sufficiently small so that when a corrected image is created based on the parameter a that is substituted in each subsequent iteration, the difference between the corrected images with different parameters a is not clearly recognized. Shall be set empirically. Since this threshold value is set to end the iterative process, for example, even if other end conditions are set, such as ending the iterative process when a change in evaluation value in the repetition becomes sufficiently small. good.
  • the shading detection unit 154 corrects the parameter a (step S154).
  • step S153 determines the parameter a at that time as a parameter in the equation (1-9) (step S155).
  • Expression (1-9) including the determined parameter a is an expression representing the corrected shading model in the region C1. Thereafter, the operation returns to the main routine.
  • step S15 the shading estimation unit 155 extends the application range of the modified shading model to the areas in the images M j and M j + 1 other than the area C1, and corrects the shading in all the areas in the image. Create a correction image.
  • the correction image is an image having the shading model S (x, y; a) as the luminance of each pixel.
  • the image to be corrected is not limited to the images M j and M j + 1 used to create the shading correction image, but may be other images captured by the microscope apparatus 10.
  • step S17 the calculation unit 150 outputs a corrected image.
  • the control unit 160 causes the display unit 130 to display the corrected image and causes the storage unit 140 to store image data corresponding to the corrected image.
  • the shading correction image is created based on the luminance of the correction target image itself, the shading change over time occurs in the microscope apparatus 10. Even if it exists, a highly accurate shading correction
  • the microscope system 1 captures the visual field region V j of the specimen SP and acquires an image M j .
  • the zoom is adjusted to change the magnification, and the same visual field region V j is captured to obtain an image M j + 1 .
  • the entire image is a common part in which the same subject is captured.
  • the image adjustment unit 152 adjusts the positions of the images M j and M j + 1 so that the center O of the image M j matches the center O ′ of M j + 1 .
  • the image M j in between M j + 1, away from the center O of the image M j distance r i, the pixel P i located on the rotation angle phi i from a given axis, the image M away 'from the distance r' j + 1 of the center O by i, and a pixel P 'i which is located on the rotation angle phi i from a given axis is a corresponding pixel from each other.
  • the difference acquisition unit 153 calculates a luminance difference between corresponding pixels between the images M j and M j + 1 .
  • the luminance I of each pixel, the composed of the subject component T and the shading component S, the luminance I j (r i, ⁇ i ) of the pixel P i and the luminance I j + 1 pixel P 'i (R ′ i , ⁇ i ) can be expressed by the following equations (2-2) and (2-3), respectively.
  • I j (r i , ⁇ i ) T (r i , ⁇ i ) ⁇ S (r i , ⁇ i ) (2-2)
  • I j + 1 (r ′ i , ⁇ i ) T j + 1 (r ′ i , ⁇ i ) ⁇ S j + 1 (r ′ i , ⁇ i ) (2-3)
  • the luminance difference I j + 1 (r ′ i ) / I j (r i ) is given by the following equation (2-5) from the equations (2-2) to (2-4).
  • I j + 1 (r ′ i , ⁇ i ) / I j (r i , ⁇ i ) S j + 1 (r ′ i , ⁇ i ) / S (r i , ⁇ i ) (2-5)
  • the luminance difference I j + 1 (r ′ i , ⁇ i ) / I j (r i , ⁇ i ) corresponds to a change in the shading component.
  • the expression (2-5) can be rewritten as the following expression (2-6).
  • the difference acquisition unit 153 calculates such a difference I j + 1 (r ′ i , ⁇ i ) / I j (r i , ⁇ i ) for all the pixels in the image M j .
  • the shading detection unit 154 creates a shading model that approximates the influence of shading in the images M j and M j + 1 , and the difference I j + 1 (r ′ i , ⁇ i ) / I j at each coordinate. Based on (r i , ⁇ i ), the shading model is corrected.
  • an error evaluation function for correcting the shading model is given by the following equation (2-7), and an operation for obtaining a shading model S (r i ) that minimizes the evaluation value K2 is performed. .
  • the shading component S can be acquired.
  • the shading detection unit 154 obtains this parameter b by the arithmetic processing shown in FIG. However, in FIG. 8, the parameter a is replaced with the parameter b, and the evaluation value K1 'is replaced with the evaluation value K2'.
  • the expression (2-8) including the parameter b determined thereby is an expression representing the corrected shading model.
  • the shading estimation unit 155 extends the application range of the modified shading model to the entire image M j + 1 (that is, a range slightly wider than the image M j ), and within the image M j and the image M j + 1 .
  • a correction image for correcting shading in all the regions is created.
  • the subsequent processing is the same as in the first embodiment.
  • the correction image is created based on the luminance of the pixels of the entire image M j, so that highly accurate shading correction can be performed.
  • the microscope system 1 captures the visual field region V j of the specimen SP and acquires an image M j .
  • the specimen stage 101 is rotated in the XY plane by an angle d ⁇ with respect to a predetermined rotation center point, and the visual field region V j + 1 is imaged to obtain an image M j + 1 .
  • the rotation center point is set to the center O of the imaging region V j .
  • a region C3 shown in FIG. 11 is a common part in which the same subject is captured. Further, as shown in FIG.
  • the difference acquisition unit 153 calculates a luminance difference between corresponding pixels between the images M j and M j + 1 . Specifically, the luminance I j (r i, ⁇ i ) of the pixel Q i and, 'luminance I j + 1 (r i, ⁇ of i' i) pixels Q and the difference I j + 1 (r i, ⁇ ′ i ) / I j (r i , ⁇ i ) is calculated.
  • the luminance I of each pixel, the composed of the subject component T and the shading component S, the luminance of the pixel Q i I j (r i, ⁇ i) luminance and the pixel Q 'i I j + 1 (R i , ⁇ ′ i ) can be expressed by the following equations (3-1) and (3-2), respectively.
  • I j (r i , ⁇ i ) T (r i , ⁇ i ) ⁇ S (r i , ⁇ i ) (3-1)
  • I j + 1 (r i , ⁇ ′ i ) T j + 1 (r i , ⁇ ′ i ) ⁇ S j + 1 (r i , ⁇ ′ i ) (3-2)
  • I j + 1 (r i , ⁇ ′ i ) / I j (r i , ⁇ i ) S j + 1 (r i , ⁇ ′ i ) / S j (r i , ⁇ i ) (3-4) That is, the luminance difference I j + 1 (r i , ⁇ ′ i ) / I j (r i , ⁇ i ) corresponds to a change in the shading component S.
  • the shading component S includes a shading component caused by the lens (hereinafter referred to as shading component S1) and a shading component caused by factors other than the lens such as illumination (hereinafter referred to as shading component Sm). included. That is, the shading component S is given by the following equation (3-5).
  • S (r i , ⁇ i ) Sm (r i , ⁇ i ) ⁇ Sl (r i , ⁇ i ) (3-5)
  • the shading component Sl is generated symmetrically about the optical axis L, and therefore can be modeled only by the distance r i from the center of the image to the pixel, as shown in the following equation (3-6). .
  • S (r i , ⁇ i ) Sm (r i , ⁇ i ) ⁇ Sl (r i ) (3-6)
  • the difference I j + 1 (r i , ⁇ ′ i ) / I j (r i , ⁇ i ) between the corresponding pixels represents a change in the shading component Sm caused by illumination or the like. It can be said.
  • the difference acquisition unit 153 calculates such a difference I j + 1 (r i , ⁇ ′ i ) / I j (r i , ⁇ i ) for all the pixels in the region C3.
  • the shading detection unit 154 creates a shading model that approximates the influence of shading in the images M j and M j + 1 , and the difference I j + 1 (r i , ⁇ ′ i ) / I j at each coordinate. Based on (r i , ⁇ i ), the shading model is corrected.
  • an error evaluation function for correcting the shading model is given by the following equation (3-8), and an operation for obtaining a shading model Sm (r i , ⁇ i ) that minimizes the evaluation value K3. Is done.
  • a quadric surface that changes depending on the distance r from the center of the image M j and the angle ⁇ as shown in the following equation (3-9).
  • a function representing is used.
  • r 0 and ⁇ 0 are predetermined constants.
  • the shading component S can be acquired.
  • the shading detection unit 154 obtains the parameter c by the arithmetic processing shown in FIG. However, in FIG. 8, the parameter a is replaced with the parameter c, and the evaluation value K1 ′ is replaced with the evaluation value K3 ′.
  • the expression (3-9) including the parameter c determined thereby is an expression representing a corrected model of the shading component Sm caused by illumination or the like.
  • the shading estimation unit 155 creates a correction image for correcting shading in all regions in the image M j and the image M j + 1 .
  • the cosine fourth law represents the relationship between the angle ⁇ of the incident light with respect to the optical axis L and the illuminance I ′ of the incident light when the light having the illuminance I 0 is incident on the lens.
  • I ′ I 0 cos 4 ⁇ (3-11)
  • the shading estimation unit 155 creates a shading model S1 (r) representing the shading component S1 caused by the lens based on the equation (3-11).
  • the shading model Sl (r) for example, a look-up table obtained by converting the shading amount according to the value of the distance r from the center of the optical axis based on the equation (3-11) can be used.
  • the storage unit 140 stores a plurality of types of lookup tables created for each lens, and the shading estimation unit 155 reads a lookup table corresponding to the selected lens from the storage unit 140, and this lookup table. Is used to determine the shading component S1.
  • the shading estimation unit 155 expands the shading model given by Expression (3-9) to the entire image (the region of the image M j and the image M j + 1 other than the region C1) and based on the lookup table.
  • a correction image for correcting the total shading in all areas in the image M j and the image M j + 1 is created as shown in the following equation (3-12).
  • S TOTAL Sl (r) ⁇ Sm (r, ⁇ ) (3-12)
  • the subsequent processing is the same as in the first embodiment.
  • the third embodiment it is possible to accurately correct shading with a relatively large change over time due to illumination or the like. Therefore, even when a large amount of images are captured or when the imaging time is prolonged, it is possible to perform accurate shading correction on each image.
  • FIG. 14 is a block diagram illustrating a configuration of a microscope system according to the fourth embodiment.
  • the microscope system 2 according to the fourth embodiment includes an image processing device 20 instead of the image processing device 11 shown in FIG.
  • the image processing apparatus 20 includes a calculation unit 200 that further includes a virtual slide (VS) image creation unit 201 with respect to the calculation unit 150 illustrated in FIG. 1.
  • the configurations of the image processing apparatus 20 and the microscope system 2 other than the VS image creation unit 201 are the same as those described in the first embodiment.
  • the VS image creation unit 201 joins a plurality of images taken by the microscope apparatus 10 while translating the imaging field of view for the specimen SP, and creates an image (VS image) corresponding to the entire specimen SP.
  • FIG. 15 is a flowchart showing the operation of the microscope system 2.
  • FIG. 16 is a schematic diagram showing a virtual slide image created by the VS image creation unit.
  • step S10 under the control of the control unit 160, the microscope apparatus 10 captures a plurality of images in which a part of the imaging field overlaps while translating the imaging field with respect to the specimen SP.
  • steps S11 and S12 are the same as those in the first embodiment.
  • step S20 the VS image creation unit 201 creates a virtual slide image VS by connecting a plurality of images whose positions have been adjusted by the image adjustment unit 152, as shown in FIG.
  • this virtual slide image VS between the images M (k, l) and M (K + 1, l) adjacent in the X direction, the region C k is a common part that overlaps each other (that is, the subject matches).
  • the calculation target at this time may be all the common parts (area C k and area C l ) in the virtual slide image VS, or may be a part of the common parts. In the latter case, specifically, only all the regions C k, only all the regions C l, only the first and last regions C k or only the regions C l , the region C k or the region C near the center of the virtual slide image VS l only region extracted at predetermined intervals C k or areas C l, or may be any region C k or areas C l were selected randomly.
  • a plurality of common parts are to be calculated, a plurality of correction images corresponding to the common parts are created.
  • step S30 following step S15 the image correction unit 156 corrects each image M (k, l) constituting the virtual slide image VS using the correction image created in step S15.
  • the correction images may be determined according to the position of the common portion that is the basis of the correction image. For example, when a correction image is created from all the areas C k , adjacent images M (k, l) and M (K + 1, l) in the X direction are areas that are common parts of both images. Correction is performed using a correction image based on C k .
  • the images M (k, l) and M (K, l + 1) adjacent in the Y direction are regions that are common parts of both images. It corrected using the correction image based on the C l.
  • the region C k or region C l is used.
  • the image M (k, l) within the predetermined range may be corrected using the correction image based on the region C k or the region C l .
  • step S31 the calculation unit 200 outputs a virtual slide image VS obtained by joining the corrected images.
  • the control unit 160 causes the display unit 130 to display the virtual slide image VS and causes the storage unit 140 to store image data corresponding to the virtual slide image VS.
  • a virtual slide image is configured by an image in which shading generated in an individual imaging field of view is corrected. Therefore, a virtual slide image with high image quality can be acquired. .
  • the image processing apparatus 11 can also process images acquired by various imaging devices other than the microscope apparatus 10. It is.
  • the image processing apparatus 11 may be applied to a digital camera that can capture a panoramic image. In this case, by capturing a plurality of images in which the edges of the visual field overlap, correcting each image using a correction image created based on the overlapping parts of the visual field, and joining the images together, the image quality is improved. It is possible to generate a good panoramic image.
  • the present invention is not limited to the above-described first to fourth embodiments and modifications, but various inventions can be made by appropriately combining a plurality of constituent elements disclosed in the first to fourth embodiments. Can be formed. For example, some components may be excluded from all the components shown in the first to fourth embodiments. Or you may form combining the component shown in different embodiment suitably.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

　補正対象画像の画像データを用いて、精度の高いシェーディング補正を行うことができる画像処理装置等を提供する。画像処理装置１１は、被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力部１２０と、該複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成部１５１とを備え、補正用画像作成部１５１は、上記複数の画像のうち、被写体が共通する共通部分を持つ２つの任意画像から、画素の輝度の差分を取得する差分取得部１５３と、該差分に基づいて上記任意画像におけるシェーディング成分を検出するシェーディング検出部１５４とを有する。

Description

画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
　本発明は、被写体を撮像した画像に対して画像処理を施す画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
　カメラや顕微鏡等の光学機器においては、通常、レンズ等の結像光学系の特性により、光軸と直交する面内の中心に比べて周辺領域の光量が低下する現象が生じる。この現象は、一般に、シェーディングと呼ばれる。このため、従来、撮像後の画像に対して経験的に得られた補正値や実測値等に基づく画像処理を施すことにより、画像の劣化を抑制していた。このような画像処理は、シェーディング補正と呼ばれる（例えば、特許文献１及び２を参照）。
　ところで、顕微鏡は、高倍率且つ高分解能の被写体（標本）観察が可能である反面、倍率を高くするほど、一度に観察可能な視野が狭くなるという問題がある。このため、１つの標本に対して視野をずらしながら撮像を行って複数の画像を取得し、これらの画像を繋ぎ合わせることにより、標本全体に対応するサイズに視野が拡大された画像を合成する画像処理が行われることがある。このような視野拡大処理がなされた連結画像は、バーチャルスライド画像と呼ばれ、バーチャルスライド画像の取得が可能な顕微鏡システムは、バーチャルスライドシステム又はバーチャル顕微鏡システムと呼ばれる（例えば、特許文献３及び４を参照）。
特開２００９－１５９０９３号公報 特開２００４－２７２０７７号公報 特開２００８－１９１４２７号公報 特開２０１１－１４１３９１号公報
　ところが、複数の画像を繋ぎ合わせた連結画像においては、個別の画像に生じたシェーディングの影響が規則的に現れる。このため、シェーディングが連結画像の画質に与える影響は特に大きい。従って、個別の画像に対して精度の良いシェーディング補正を行うことが重要となる。
　一般的に、顕微鏡画像のシェーディング補正は、ステージに被写体を配置しない状態で視野を撮像して得られたキャリブレーション画像を用いて行われる。（特許文献１参照）。しかしながら、同じ顕微鏡であっても、キャリブレーション画像の撮像時と、被写体を撮像する時とでは、シェーディングの状態が変化している場合がある。そこで、予め用意されたキャリブレーション画像ではなく、被写体が写った補正対象画像からシェーディング補正用のデータを作成し、このシェーディング補正用データを用いて当該補正対象画像をシェーディング補正することも提案されている（特許文献２参照）。
　しかしながら、補正対象画像には、シェーディングに由来する輝度成分の他に、被写体に由来する輝度成分等の様々な成分が含まれており、シェーディングに由来する輝度成分と、その他の成分とを区別することは困難である。そのため、補正対象画像から作成されたシェーディング補正用データを用いると、被写体に由来する輝度成分のように、本来補正の影響が及ぶべきでない成分に対しても補正が行われてしまう。そして、このようにシェーディング補正の精度が低下した結果、補正された画像にアーティファクトが生じるなどして画質がかえって低下してしまうおそれがある。
　本発明は、上記に鑑みてなされたものであって、補正対象画像の画像データを用いて、精度の高いシェーディング補正を行うことができる画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力手段と、前記複数の画像を補正する際に用いられる補正用画像を作成する補正画像作成手段と備え、前記補正画像作成手段は、前記複数の画像のうち、前記被写体が共通する共通部分を持つ２つの任意画像から、画素の輝度の差分を取得する差分取得手段と、前記差分に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出手段とを有することを特徴とする。
　上記画像処理装置において、前記補正画像作成手段は、前記任意画像の位置調整を行い、前記共通部分における前記被写体を一致させる画像調整手段をさらに有し、前記差分取得手段は、前記画像調整手段により位置調整された状態で、前記差分を取得することを特徴とする。
　上記画像処理装置において、前記補正画像作成手段は、前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定するシェーディング推定手段をさらに有することを特徴とする。
　上記画像処理装置において、前記複数の画像は、撮像視野を平行移動させて撮像された画像であることを特徴とする。
　上記画像処理装置において、前記複数の画像は、撮像倍率を変化させて撮像された画像であることを特徴とする。
　上記画像処理装置において、前記複数の画像は、撮像視野を回転させて撮像された画像であることを特徴とする。
　本発明に係る撮像装置は、上記画像処理装置と、前記被写体を撮像する撮像手段とを備えることを特徴とする。
　本発明に係る顕微鏡システムは、上記画像処理装置と、前記被写体としての標本を載置可能なステージと、前記ステージに対向して設けられる光学系と、前記光学系を介して前記標本上に設定される視野を撮像して画像を取得する画像取得部と、前記ステージと前記光学系との内の少なくとも一方を、前記光学系の光軸と直交する方向に移動させることにより、前記撮像視野を変化させるステージ位置変更部と、を有する顕微鏡装置とを備えることを特徴とする。
　本発明に係る画像処理方法は、被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、前記複数の画像のうち、前記被写体が共通する共通部分を持つ２つの任意画像から、画素の輝度の差分を取得する差分取得ステップと、前記差分に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、前記シェーディング成分に基づいて前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップとを含むことを特徴とする。
　本発明に係る画像処理プログラムは、被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、前記複数の画像のうち、前記被写体が共通する共通部分を持つ２つの任意画像から、画素の輝度の差分を取得する差分取得ステップと、前記差分に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、前記シェーディング成分に基づいて前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップとをコンピュータに実行させることを特徴とする。
　本発明によれば、複数の画像間で被写体が共通する共通部分を持つ２つの任意画像から画素の輝度の差分を取得し、該差分に基づいて検出されたシェーディング成分に基づいて、上記複数の画像の補正に用いられる補正用画像を作成するので、精度の高いシェーディング補正を行うことが可能となる。
図１は、本発明の実施の形態１に係る顕微鏡システムの構成例を示す模式図である。 図２は、図１に示す顕微鏡装置の構成を概略的に示す模式図である。 図３は、図１に示す顕微鏡システムの動作を示すフローチャートである。 図４は、実施の形態１における画像の撮像方法を説明する模式図である。 図５は、実施の形態１における画像の撮像方法を説明する模式図である。 図６は、一部が共通する複数の画像を示す模式図である。 図７は、位置調整された複数の画像を示す模式図である。 図８は、図１に示すシェーディング検出部の動作を示すフローチャートである。 図９は、本発明の実施の形態２における画像の撮像方法を説明する模式図である。 図１０は、複数の画像間で対応する画素を示す模式図である。 図１１は、本発明の実施の形態３における画像の撮像方法を説明する模式図である。 図１２は、一部が共通する複数の画像を示す模式図である。 図１３は、位置調整された複数の画像を示す模式図である。 図１４は、本発明の実施の形態４に係る顕微鏡システムの構成例を示すブロック図である。 図１５は、図１４に示す顕微鏡システムの動作を示すフローチャートである。 図１６は、図１４に示すＶＳ画像作成部が作成したバーチャルスライド画像を示す模式図である。
　以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、以下の説明においては、本発明に係る画像処理装置を顕微鏡システムに適用した例を説明するが、本発明に係る画像処理装置は、ディジタルカメラ等、撮像機能を有する各種機器に適用することが可能である。
（実施の形態１）
　図１は、本発明の実施の形態１に係る顕微鏡システムの構成を示す模式図である。図１に示すように、実施の形態１に係る顕微鏡システム１は、顕微鏡装置１０と、該顕微鏡装置１０の動作を制御すると共に、該顕微鏡装置１０によって取得された画像を処理する画像処理装置１１とを備える。
　図２は、顕微鏡装置１０の構成を概略的に示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００に取り付けられ、標本ＳＰが載置される標本ステージ１０１と、鏡筒１０３の一端側に三眼鏡筒ユニット１０６を介して標本ステージ１０１と対向するように設けられた対物レンズ１０２と、鏡筒１０３の他端側に設けられた画像取得部１０４と、標本ステージ１０１を移動させるステージ位置変更部１０５とを有する。三眼鏡筒ユニット１０６は、対物レンズ１０２から入射した標本の観察光を、画像取得部１０４と後述する接眼レンズユニット１０７に分岐する。接眼レンズユニット１０７は、ユーザが標本を直接観察するためのものである。なお、以下において、対物レンズ１０２の光軸Ｌ方向をＺ軸方向とし、このＺ軸方向と直交する平面をＸＹ平面とする。図２において、顕微鏡装置１０は、標本ステージ１０１の主面が概ねＸＹ平面と一致するように設置されている。
　対物レンズ１０２は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１０２’）を保持可能なレボルバ１０８に取り付けられている。このレボルバ１０８を回転させて、標本ステージ１０１と対向する対物レンズ１０２、１０２’を変更することにより、画像取得部１０４が撮像する画像の倍率を変化させることができる。
　鏡筒１０３の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体を拡大又は縮小させる。なお、鏡筒１０３内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置１１に出力し、画像処理装置１１において、エンコーダの出力値からズームレンズの位置を検出して撮像視野の倍率を自動算出するようにしても良い。
　画像取得部１０４は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、該撮像素子が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラである。画像取得部１０４は、対物レンズ１０２から鏡筒１０３内の光学系を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置１１に出力する。
　ステージ位置変更部１０５は、例えば、モータ１０５ａを含み、標本ステージ１０１の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部１０５には、標本ステージ１０１をＺ軸に沿って移動させることにより、対物レンズ１０２の焦点を標本ＳＰに合わせる。
　また、ステージ位置変更部１０５には、標本ステージ１０１の位置を検出して検出信号を画像処理装置１１に出力する位置検出部１０５ｂが設けられている。位置検出部１０５ｂは、例えばモータ１０５ａの回転量を検出するエンコーダによって構成される。或いは、ステージ位置変更部１０５を、画像処理装置１１の制御部１６０（後述）の制御に従ってパルスを発生するパルス発生部とステッピングモータとによって構成しても良い。
　画像処理装置１１は、当該画像処理装置１１に対する指示や情報の入力を受け付ける入力部１１０と、画像取得部１０４から出力された画像の入力を受け付けるインタフェースである画像入力部１２０と、顕微鏡画像やその他の情報を表示する表示部１３０と、記憶部１４０と、顕微鏡装置１０により取得された画像に対して所定の画像処理を施す演算部１５０と、これらの各部の動作を制御する制御部１６０とを備える。
　入力部１１０は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付けて制御部１６０に入力する。
　表示部１３０は、例えば、ＬＣＤ（Liquid　Crystal　Display）やＥＬ（Electro　Luminescence）ディスプレイ、ＣＲＴ（Cathode　Ray　Tube）ディスプレイ等の表示装置によって構成され、制御部１６０から出力された制御信号に従って、各種画面を表示する。
　記憶部１４０は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって構成される。記憶部１４０は、画像取得部１０４から出力された画像データや、演算部１５０及び制御部１６０がそれぞれ実行する各種プログラムや各種設定情報を記憶する。具体的には、記憶部１４０は、画像取得部１０４が取得した画像に対してシェーディング補正を施す画像処理プログラム１４１を記憶する。
　演算部１５０は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１４０に記憶された画像処理プログラム１４１を読み込むことにより、記憶部１４０に記憶された画像データに対応する画像に対してシェーディング補正を施す画像処理を実行する。
　より詳細には、演算部１５０は、画像をシェーディング補正するための補正用画像を作成する補正用画像作成部１５１と、補正用画像を用いて画像を補正する画像補正部１５６とを有する。このうち、補正用画像作成部１５１は、被写体の少なくとも一部が共通する複数の画像間で共通部分が一致するように画像の位置調整を行う画像調整部１５２と、位置調整がなされた複数の画像間で対応する画素の輝度の差分を取得する差分取得部１５３と、輝度の差分に基づいて当該画像内に生じているシェーディング成分を検出するシェーディング検出部１５４と、該シェーディング成分に基づき、上記共通部分以外の領域におけるシェーディングの影響を推定して補正用画像を作成するシェーディング推定部１５５とを有する。
　制御部１６０は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１４０に記憶された各種プログラムを読み込むことにより、記憶部１４０に記憶された各種データや入力部１１０から入力される各種情報に基づき、画像処理装置１１及び顕微鏡装置１０の各部に指示やデータの転送を行い、顕微鏡システム１全体の動作を統括的に制御する。
　次に、本実施の形態１におけるシェーディング補正の原理について説明する。
　顕微鏡装置１０によって撮像された画像には、被写体に対応する輝度成分（以下、被写体成分という）Ｔ（ｘ，ｙ）とシェーディングに対応する輝度成分（以下、シェーディング成分という）Ｓ（ｘ，ｙ）とが含まれる。なお、座標（ｘ，ｙ）は、画像内における各画素の位置座標を示す。そこで、各画素の輝度をＩ（ｘ，ｙ）とすると、輝度Ｉ（ｘ，ｙ）は次式（１－１）によって表すことができる。
　Ｉ（ｘ，ｙ）＝Ｔ（ｘ，ｙ）×Ｓ（ｘ，ｙ）　…（１－１）
　また、撮像条件の一部を変更して撮像した複数の画像間では、共通の被写体成分Ｔ（ｘ，ｙ）に対するシェーディング成分Ｓ（ｘ，ｙ）の影響が、画像内の位置座標に応じて変化する。そこで、複数の画像間で被写体成分Ｔ（ｘ，ｙ）が共通する画素の輝度から、被写体成分Ｔ（ｘ，ｙ）を打ち消すことにより、画像内の位置座標に応じたシェーディング成分Ｓ（ｘ，ｙ）の変化を算出することができる。そして、このシェーディング成分の変化から、画像内におけるシェーディング成分Ｓ（ｘ，ｙ）の分布を抽出することができる。
　さらに、次式（１－２）に示すように、抽出されたシェーディング成分Ｓ（ｘ，ｙ）を輝度Ｉ（ｘ，ｙ）から除去することにより、被写体成分Ｔ（ｘ，ｙ）のみの画像を取得することができる。
　Ｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｓ（ｘ，ｙ）　…（１－２）
　なお、撮像条件を変更する方法としては、例えば、標本ＳＰに対して撮像視野を平行移動させる、倍率を変更する、標本ＳＰに対して撮像視野を回転させるといった方法がある。本実施の形態１においては、標本ＳＰに対して撮像視野を平行移動させる方法により、撮像条件を変更する。
　次に、顕微鏡システム１の動作について説明する。図３は、顕微鏡システム１の動作を示すフローチャートである。
　まず、ステップＳ１０において、顕微鏡装置１０は、制御部１６０の制御の下で、標本ＳＰに対して撮像視野を変化させながら、撮像視野の一部が重複する複数の画像を撮像する。より詳細には、顕微鏡装置１０は、図４に示すように、標本ＳＰが載置された標本ステージ１０１を平行移動させつつ、画像取得部１０４に撮像視野を撮像させる。
　その際、本実施の形態１において、顕微鏡装置１０は、図５に示すように、撮像を行う毎に標本ステージ１０１をＸ方向に移動量ｄｘ、及び、Ｙ方向に移動量ｄｙだけ移動させ、隣接する撮像視野Ｖj、Ｖj+1間で一部の領域Ｃ１が重なるようにして撮像を行う（ｊは撮像順序を示す番号であり、ｊ＝１、２、…）。なお、撮像視野は、Ｘ方向又はＹ方向のいずれか一方にのみ移動させても良い。画像取得部１０４は、このように撮像を行って取得した画像データを画像処理装置１１に出力する。画像処理装置１１は、画像取得部１０４から出力された画像データを、記憶部１４０に一旦記憶させる。
　ステップＳ１１において、制御部１６０は、記憶部１４０から画像データを読み出し、該画像データに対応する複数の画像を演算部１５０に入力する。具体的には、図６（ａ）及び（ｂ）に示すように、撮像視野Ｖjを写した画像Ｍjと、撮像視野Ｖj+1を写した画像Ｍj+1とが演算部１５０に入力される。画像Ｍj、Ｍj+1間においては、画像Ｍj内の座標（ｘi，ｙi）の画素と、画像Ｍj+1内の座標（ｘ’i，ｙ’i）（＝（ｘi－ｄｘ，ｙi－ｄｙ））の画素とが、互いに対応する画素となる。互いに対応する画素には、同じ被写体が写っている。以下、画像Ｍj、Ｍj+1の水平方向のサイズをｗとし、垂直方向のサイズをｈとする。
　続くステップＳ１２において、画像調整部１５２は、位置検出部１０５ｂからの出力値に基づいて、複数の画像間で共通部分が一致するように画像の位置調整を行う。例えば、画像Ｍj、Ｍj+1の場合、図７に示すように、画像Ｍjに対して画像Ｍj+1を撮像視野の移動量ｄｘ及びｄｙの分だけずらし、領域Ｃ１同士が重なるように位置調整がなされる。
　ステップＳ１３において、差分取得部１５３は、各画像の共通部分に含まれる画素の画素値から輝度を算出し、複数の画像間で互いに対応する画素の輝度の差分を算出する。例えば、画像Ｍj、Ｍj+1の場合、画像Ｍj内の座標（ｘi，ｙi）における画素の輝度Ｉj、画像Ｍj+1内の座標（ｘ’i，ｙ’i）における画素の輝度Ｉj+1との差分が算出される。
　ここで、輝度Ｉj、Ｉj+1はそれぞれ、次式（１－３）、（１－４）により与えられる。
　Ｉj（ｘi，ｙi）＝Ｔ（ｘi，ｙi）×Ｓ（ｘi，ｙi）　…（１－３）
　Ｉj+1（ｘ’i，ｙ’i）＝Ｔ（ｘ’i，ｙ’i）×Ｓ（ｘ’i，ｙ’i）
　　　　　　　　　　　　　　　　　　　　　　　　　　　…（１－４）
　また、対応する画素間において被写体成分は等しいから、次式（１－５）が成り立つ。
　Ｔ（ｘi，ｙi）＝Ｔ（ｘ’i，ｙ’i）　…（１－５）
　さらに、座標（ｘ’i，ｙ’i）＝（ｘi－ｄｘ，ｙi－ｄｙ）を用いると、式（１－４）は次式（１－６）のように書き換えることができる。
　Ｉj+1（ｘ’i，ｙ’i）＝Ｔ（ｘi，ｙi）×Ｓ（ｘi－ｄｘ，ｙi－ｄｙ）
　　　　　　　　　　　　　　　　　　　　　　　　　　…（１－６）
　式（１－３）及び（１－６）より、次式（１－７）に示す関係が成り立つ。
　Ｉj+1（ｘ’i，ｙ’i）／Ｉj（ｘi，ｙi）
　　＝Ｓ（ｘi－ｄｘ，ｙi－ｄｙ）／Ｓ（ｘi，ｙi）　…（１－７）
即ち、輝度の差分Ｉj+1（ｘ’i，ｙ’i）／Ｉj（ｘi，ｙi）は、シェーディング成分の変化に相当する。
　ステップＳ１３においては、このような差分Ｉj+1（ｘ’i，ｙ’i）／Ｉj（ｘi，ｙi）が、共通部分である領域Ｃ１内の全ての座標に関して算出される。
　ステップＳ１４において、シェーディング検出部１５４は、画像Ｍj、Ｍj+1内のシェーディングの影響を近似するシェーディングモデルを作成し、領域Ｃ１内の各座標（ｘi，ｙi）における差分Ｉj+1（ｘ’i，ｙ’i）／Ｉj（ｘi，ｙi）に基づいて、シェーディングモデルを修正する。
　各画像に生じるシェーディングの影響は、原理的には式（１－７）に従うはずであるが、実際には、対応する画素同士においても微妙に輝度が異なったり、シェーディングにばらつきがあったりするので、領域Ｃ１内の全ての座標において式（１－７）が成り立つわけではない。そこで、シェーディング成分Ｓを表すモデルを設定し、次式（１－８）に示す誤差評価関数により、評価値Ｋ１が最小となるときのシェーディング成分Ｓを求める。
Figure JPOXMLDOC01-appb-M000001
　具体的なシェーディングモデルの一例として、本実施の形態１においては、次式（１－９）に示すように、画像の中心座標（ｗ／２，ｈ／２）を通る２次曲面を表す関数を用いる。ここで、２次曲面を用いるのは、シェーディング成分は一般に、画像の中心付近で少なく、画像の中心から離れるに従って増加するからである。
　Ｓ（ｘ，ｙ；ａ）＝１－ａ｛（ｘ－ｗ／２）2＋（ｙ－ｈ／２）2｝
　　　　　　　　　　　　　　　　　　　　　　　　　　　…（１－９）
　従って、式（１－９）を用いた誤差評価関数（１－１０）によって与えられる評価値Ｋ１’が最小となるときの２次の係数（パラメータ）ａを求めることにより（式（１－１０’））、シェーディング成分Ｓを取得することができる。
Figure JPOXMLDOC01-appb-M000002
　シェーディング検出部１５４は、このパラメータａを、図８に示す演算処理により求める。図８は、シェーディング検出部１５４の動作を示すフローチャートである。
　まず、ステップＳ１５１において、シェーディング検出部１５４は、パラメータａを初期化する。
　続くステップＳ１５２において、シェーディング検出部１５４は、パラメータａ及びステップＳ１３において算出された領域Ｃ１内の全ての座標（ｘi，ｙi）における輝度の差分Ｉj+1（ｘ’i，ｙ’i）／Ｉj（ｘi，ｙi）を誤差評価関数（１－１０）に代入して、評価値Ｋ１’を算出する。
　ステップＳ１５３において、シェーディング検出部１５４は、評価値Ｋ１’が所定の閾値未満であるか否かを判定する。閾値の大きさは、後に続く繰り返し処理の各回において代入されるパラメータａに基づいて補正画像を作成した場合に、パラメータａが互いに異なる補正画像間で差異が明確に認識されない程度に、充分小さい値を経験的に設定するものとする。この閾値は、繰り返し処理を終了させるために設定するものであるので、例えば、繰り返しにおける評価値の変化が充分に小さくなったときに繰り返し処理を終了するなど、他の終了条件を設定しても良い。評価値Ｋ１’が所定の閾値以上である場合（ステップＳ１５３：Ｎｏ）、シェーディング検出部１５４は、パラメータａを修正する（ステップＳ１５４）。その後、動作はステップＳ１５２に戻る。一方、評価値Ｋ１’が所定の閾値未満である場合（ステップＳ１５３：Ｙｅｓ）、シェーディング検出部１５４は、そのときのパラメータａを、式（１－９）におけるパラメータとして決定する（ステップＳ１５５）。この決定されたパラメータａを含む式（１－９）が、領域Ｃ１における修正済みのシェーディングモデルを表す式である。
　その後、動作はメインルーチンに戻る。
　ステップＳ１５において、シェーディング推定部１５５は、修正されたシェーディングモデルの適用範囲を、領域Ｃ１以外の画像Ｍj、Ｍj+1内の領域に拡張し、画像内の全領域におけるシェーディングを補正するための補正用画像を作成する。補正用画像は、シェーディングモデルＳ（ｘ，ｙ；ａ）を各画素の輝度とする画像である。
　ステップＳ１６において、画像補正部１５６は、ステップＳ１５において作成された補正用画像を用いて、画像の補正を行う。即ち、補正対象である画像内の各画素の輝度Ｉ（ｘ，ｙ）を取得し、次式（１－１１）により、被写体成分Ｔ（ｘ，ｙ）を算出する。
　Ｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｓ（ｘ，ｙ；ａ）　…（１－１１）
それにより、シェーディングの影響が除去された補正済みの画像が取得される。なお、補正対象の画像は、シェーディング補正用画像の作成に用いた画像Ｍj、Ｍj+1に限らず、顕微鏡装置１０において撮像した他の画像であっても良い。
　さらに、ステップＳ１７において演算部１５０は、補正済みの画像を出力する。それに応じて、制御部１６０は、補正済みの画像を表示部１３０に表示させると共に、補正済みの画像に対応する画像データを記憶部１４０に記憶させる。
　以上説明したように、実施の形態１によれば、補正対象である画像自体の輝度に基づいてシェーディング補正用画像を作成するので、顕微鏡装置１０において経時的なシェーディングの変化が生じている場合であっても、当該画像に対して精度の高いシェーディング補正を施すことができる。また、実施の形態１によれば、画像内の輝度を被写体成分とシェーディング成分とを分離し、シェーディング成分のみを抽出してシェーディング補正用画像を作成するので、シェーディング補正の精度を向上させることが可能となる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　実施の形態２に係る顕微鏡システムの全体的な構成及び動作は、実施の形態１と共通であり、実施の形態２においては、撮像視野の倍率を変化させて複数の画像を撮像し、これらの画像を用いてシェーディング補正用画像を作成することを特徴とする。従って、以下においては、互いに倍率が異なる複数の画像を用いてシェーディング補正用画像を作成する処理についてのみ説明する。
　まず、顕微鏡システム１は、図９に示すように、標本ＳＰの視野領域Ｖjを撮像して画像Ｍjを取得する。次いで、ズームを調整して倍率を変更し、同じ視野領域Ｖjを撮像して画像Ｍj+1を取得する。この場合、画像Ｍj、Ｍj+1間では、画像全体が、同じ被写体が写った共通部分となる。
　演算部１５０において、画像調整部１５２は、画像Ｍjの中心Ｏと、Ｍj+1の中心Ｏ’とが一致するように、画像Ｍj、Ｍj+1の位置調整を行う。図１０に示すように、画像Ｍj、Ｍj+1間では、画像Ｍjの中心Ｏから距離ｒiだけ離れ、所定の軸からの回転角φiに位置する画素Ｐiと、画像Ｍj+1の中心Ｏ’から距離ｒ’iだけ離れ、所定の軸からの回転角φiに位置する画素Ｐ’iとが互いに対応する画素となる。
　続いて、差分取得部１５３は、画像Ｍj、Ｍj+1間で対応する画素の輝度の差分を算出する。ここで、画像Ｍjの倍率をｍj、画像Ｍj+1の倍率をｍj+1とすると、距離ｒ’iは次式（２－１）によって表すことができる。
　　　ｒ’i＝（ｍj+1／ｍj）×ｒi　…（２－１）
　上述したとおり、各画素の輝度Ｉは、被写体成分Ｔとシェーディング成分Ｓとで構成されるから、画素Ｐiの輝度Ｉj（ｒi，φi）及び画素Ｐ’iの輝度Ｉj+1（ｒ’i，φi）は、それぞれ、次式（２－２）及び（２－３）によって表すことができる。
　Ｉj（ｒi，φi）＝Ｔ（ｒi，φi）×Ｓ（ｒi，φi）　…（２－２）
　Ｉj+1（ｒ’i，φi）＝Ｔj+1（ｒ’i，φi）×Ｓj+1（ｒ’i，φi）…（２－３）
　ここで、一般には、撮像倍率を変更するとシェーディングも変化する。しかしながら、倍率の変化が小さい場合には、シェーディングの変化は極めて小さく、無視することができる。それに対して、画像内の被写体像の変化は倍率の変化と厳密に一致する。即ち、次式（２－４）のとおりである。
　Ｔj+1（ｒ’i，φi）＝Ｔ（ｒi，φi）　…（２－４）
　従って、式（２－２）～（２－４）より、輝度の差分Ｉj+1（ｒ’i）／Ｉj（ｒi）は次式（２－５）によって与えられる。
　Ｉj+1（ｒ’i，φi）／Ｉj（ｒi，φi）＝Ｓj+1（ｒ’i，φi）／Ｓ（ｒi，φi）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（２－５）
　式（２－５）に示すとおり、輝度の差分Ｉj+1（ｒ’i，φi）／Ｉj（ｒi，φi）は、シェーディング成分の変化に相当する。ここで、一般にシェーディング成分は、光学系の光軸Ｌからの距離に応じて軸対称に変化するから、式（２－５）は次式（２－６）に書き換えることができる。
　Ｉj+1（ｒ’i，φi）／Ｉj（ｒi，φi）＝Ｓj+1（ｒ’i）／Ｓ（ｒi）
　　　　　　　　　　　　　　　　　　　　　　　　　…（２－６）
　差分取得部１５３は、このような差分Ｉj+1（ｒ’i，φi）／Ｉj（ｒi，φi）を、画像Ｍj内の全ての画素に対して算出する。
　続いて、シェーディング検出部１５４は、画像Ｍj、Ｍj+1内のシェーディングの影響を近似するシェーディングモデルを作成し、各座標における差分Ｉj+1（ｒ’i，φi）／Ｉj（ｒi，φi）に基づいて、シェーディングモデルを修正する。本実施の形態２の場合、シェーディングモデルを修正するための誤差評価関数は次式（２－７）によって与えられ、評価値Ｋ２を最小にするシェーディングモデルＳ（ｒi）を求める演算が行われる。
Figure JPOXMLDOC01-appb-M000003
　また、具体的なシェーディングモデルの一例として、本実施の形態２においては、次式（２－８）に示すように、画像Ｍjの中心からの距離ｒに依存して変化する２次曲面を表す関数を用いる。
　Ｓ（ｒ；ｂ）＝１－ｂ×ｒ２　…（２－８）
　従って、式（２－７）を用いた誤差評価関数（２－９）によって与えられる評価値Ｋ２’が最小となるときの２次の係数であるパラメータｂを求めることにより（式（２－９’））、シェーディング成分Ｓを取得することができる。
Figure JPOXMLDOC01-appb-M000004
　シェーディング検出部１５４は、このパラメータｂを、図８に示す演算処理により求める。ただし、図８において、パラメータａはパラメータｂに読み替えられ、評価値Ｋ１’は評価値Ｋ２’に読み替えられる。それによって決定されたパラメータｂを含む式（２－８）が、修正済みのシェーディングモデルを表す式である。
　続いて、シェーディング推定部１５５は、修正されたシェーディングモデルの適用範囲を画像Ｍj+1全体（即ち、画像Ｍjよりも若干広い範囲）に拡張し、画像Ｍj及び画像Ｍj+1内の全領域におけるシェーディングを補正するための補正用画像を作成する。
　その後の処理については、実施の形態１と同様である。
　以上説明したように、実施の形態２によれば、画像Ｍj全体の画素の輝度に基づいて補正用画像を作成するので、精度の高いシェーディング補正を行うことができる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。
　実施の形態３に係る顕微鏡システムの全体的な構成及び動作は、実施の形態１と共通であり、実施の形態３においては、撮像視野を回転させて複数の画像を撮像し、これらの画像を用いてシェーディング補正用画像を作成することを特徴とする。従って、以下においては、ＸＹ平面における座標軸が互いに交差する複数の画像を用いてシェーディング補正用画像を作成する処理についてのみ説明する。
　まず、顕微鏡システム１は、図１１及び図１２に示すように、標本ＳＰの視野領域Ｖjを撮像して画像Ｍjを取得する。次いで、標本ステージ１０１を所定の回転中心点に対して角度ｄθだけＸＹ平面内で回転させ、視野領域Ｖj+1を撮像して画像Ｍj+1を取得する。なお、実施の形態３においては、回転中心点を撮像領域Ｖjの中心Ｏに設定する。この場合、画像Ｍj、Ｍj+1間では、図１１に示す領域Ｃ３が、同じ被写体が写った共通部分となる。また、図１２（ａ）及び（ｂ）に示すように、画像Ｍjの回転中心点（中心Ｏ）から距離ｒiだけ離れ、所定の軸からの角度θiに位置する画素Ｑiと、画像Ｍj+1の回転中心点（中心Ｏ）から距離ｒiだけ離れ、所定の軸からの角度θ’i（＝θi－ｄθ）に位置する画素Ｑ’iとが、互いに対応する画素となる。
　演算部１５０において、画像調整部１５２は、図１３に示すように、画像Ｍjに対して画像Ｍj+1を角度ｄθだけ回転させ、画像Ｍj、Ｍj+1間で領域Ｃ３が一致するよう、位置調整を行う。
　続いて、差分取得部１５３は、画像Ｍj、Ｍj+1間で対応する画素の輝度の差分を算出する。具体的には、画素Ｑiの輝度Ｉj（ｒi，θi）と、画素Ｑ’iの輝度Ｉj+1（ｒi，θ’i）との差分Ｉj+1（ｒi，θ’i）／Ｉj（ｒi，θi）を算出する。
　上述したとおり、各画素の輝度Ｉは、被写体成分Ｔとシェーディング成分Ｓとで構成されるから、画素Ｑiの輝度Ｉj（ｒi，θi）及び画素Ｑ’iの輝度Ｉj+1（ｒi，θ’i）は、それぞれ、次式（３－１）及び（３－２）によって表すことができる。
　Ｉj（ｒi，θi）＝Ｔ（ｒi，θi）×Ｓ（ｒi，θi）　…（３－１）
　Ｉj+1（ｒi，θ’i）＝Ｔj+1（ｒi，θ’i）×Ｓj+1（ｒi，θ’i）…（３－２）
　また、対応する画素間において被写体成分Ｔは等しいから、次式（３－３）が成り立つ。
　Ｔ（ｒi，θi）＝Ｔj+1（ｒi，θ’i）　…（３－３）
　従って、式（３－１）～（３－３）より、差分Ｉj+1（ｒi，θ’i）／Ｉj（ｒi，θi）は次式（３－４）によって与えられる。
　Ｉj+1（ｒi，θ’i）／Ｉj（ｒi，θi）＝Ｓj+1（ｒi，θ’i）／Ｓj（ｒi，θi）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（３－４）
即ち、輝度の差分Ｉj+1（ｒi，θ’i）／Ｉj（ｒi，θi）は、シェーディング成分Ｓの変化に相当する。
　ここで、シェーディング成分Ｓには、レンズに起因して生じるシェーディング成分（以下、シェーディング成分Ｓｌとする）と、照明等、レンズ以外の要因によって生じるシェーディング成分（以下、シェーディング成分Ｓｍとする）とが含まれる。即ち、シェーディング成分Ｓは、次式（３－５）によって与えられる。
　Ｓ（ｒi，θi）＝Ｓｍ（ｒi，θi）×Ｓｌ（ｒi，θi）　…（３－５）
　この内、シェーディング成分Ｓｌは光軸Ｌを中心とする軸対称に生じるため、次式（３－６）に示すように、画像の中心から画素までの距離ｒiのみによってモデル化することができる。
　Ｓ（ｒi，θi）＝Ｓｍ（ｒi，θi）×Ｓｌ（ｒi）　…（３－６）
　式（３－５）及び（３－６）より、式（３－４）を次式（３－７）のように書き換えることができる。
Figure JPOXMLDOC01-appb-M000005
　式（３－７）より、対応する画素間の差分Ｉj+1（ｒi，θ’i）／Ｉj（ｒi，θi）は、照明等に起因するシェーディング成分Ｓｍの変化を表すと言える。差分取得部１５３は、このような差分Ｉj+1（ｒi，θ’i）／Ｉj（ｒi，θi）を、領域Ｃ３内の全ての画素に対して算出する。
　続いて、シェーディング検出部１５４は、画像Ｍj、Ｍj+1内のシェーディングの影響を近似するシェーディングモデルを作成し、各座標における差分Ｉj+1（ｒi，θ’i）／Ｉj（ｒi，θi）に基づいて、シェーディングモデルを修正する。本実施の形態３の場合、シェーディングモデルを修正するための誤差評価関数は次式（３－８）によって与えられ、評価値Ｋ３を最小にするシェーディングモデルＳｍ（ｒi，θi）を求める演算が行われる。
Figure JPOXMLDOC01-appb-M000006
　具体的なシェーディングモデルの一例として、本実施の形態３においては、次式（３－９）に示すように、画像Ｍjの中心からの距離ｒ及び角度θに依存して変化する２次曲面を表す関数を用いる。
Figure JPOXMLDOC01-appb-M000007
 式（３－９）において、ｒ0及びθ0は所定の定数である。
　従って、式（３－９）を用いた誤差評価関数（３－１０）によって与えられる評価値Ｋ３’が最小となるときの２次の係数であるパラメータｃを求めることにより（式（３－１０’））、シェーディング成分Ｓを取得することができる。
Figure JPOXMLDOC01-appb-M000008
 シェーディング検出部１５４は、このパラメータｃを、図８に示す演算処理により求める。ただし、図８において、パラメータａはパラメータｃに読み替えられ、評価値Ｋ１’は評価値Ｋ３’に読み替えられる。それによって決定されたパラメータｃを含む式（３－９）が、照明等に起因するシェーディング成分Ｓｍの修正済みモデルを表す式である。
　続いて、シェーディング推定部１５５は、画像Ｍj及び画像Ｍj+1内の全領域におけるシェーディングを補正するための補正用画像を作成する。ここで、レンズに起因するシェーディング成分Ｓｌは経時的な変化が少ないため、コサイン四乗則により正確に予測することができる。コサイン四乗則は、レンズに照度Ｉ0の光が入射するとき、入射光の光軸Ｌに対する角度Θと、入射後の光の照度Ｉ’との関係を表す。
　Ｉ’＝Ｉ0ｃｏｓ4Θ　…（３－１１）
　シェーディング推定部１５５は、式（３－１１）に基づいて、レンズに起因するシェーディング成分Ｓｌを表すシェーディングモデルＳｌ（ｒ）を作成する。シェーディングモデルＳｌ(ｒ)としては、例えば、式（３－１１）に基づいて、光軸中心からの距離ｒの値に応じたシェーディング量をルックアップテーブル化したものを用いることができる。記憶部１４０は、レンズごとに作成された複数種類のルックアップテーブルを格納しており、シェーディング推定部１５５は、選択されたレンズに対応するルックアップテーブルを記憶部１４０から読み出し、このルックアップテーブルを使用して、シェーディング成分Ｓｌを求める。
　さらに、シェーディング推定部１５５は、式（３－９）によって与えられるシェーディングモデルを画像全体（領域Ｃ１以外の画像Ｍj及び画像Ｍj+1の領域）に拡張すると共に、上記ルックアップテーブルに基づくシェーディングモデルＳｌ（ｒ）を用いて、次式（３－１２）に示すように、画像Ｍj及び画像Ｍj+1内の全領域におけるトータルのシェーディングを補正するための補正用画像を作成する。
　ＳTOTAL＝Ｓｌ（ｒ）×Ｓｍ（ｒ，θ）　…（３－１２）
　その後の処理については、実施の形態１と同様である。
　以上説明したように、実施の形態３によれば、照明等に起因する経時的な変化が比較的大きいシェーディングについても精度良く補正を行うことができる。従って、多量の画像を撮像した場合や、撮像時間が長引いたりした場合においても、各画像に対して正確なシェーディング補正を施すことが可能となる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。
　図１４は、実施の形態４に係る顕微鏡システムの構成を示すブロック図である。図１４に示すように、実施の形態４に係る顕微鏡システム２は、図１に示す画像処理装置１１の代わりに画像処理装置２０を備える。画像処理装置２０は、図１に示す演算部１５０に対してバーチャルスライド（ＶＳ）画像作成部２０１をさらに有する演算部２００を備える。ＶＳ画像作成部２０１以外の画像処理装置２０及び顕微鏡システム２の構成については、実施の形態１において説明したものと同様である。
　ＶＳ画像作成部２０１は、顕微鏡装置１０が標本ＳＰに対する撮像視野を平行移動させながら撮像した複数の画像を繋ぎ合わせて、標本ＳＰ全体に対応する画像（ＶＳ画像）を作成する。
　次に、顕微鏡システム２の動作について説明する。図１５は、顕微鏡システム２の動作を示すフローチャートである。また、図１６は、ＶＳ画像作成部が作成したバーチャルスライド画像を示す模式図である。
　まず、ステップＳ１０において、顕微鏡装置１０は、制御部１６０の制御の下で、標本ＳＰに対する撮像視野を平行移動させながら、撮像視野の一部が重複する複数の画像を撮像する。
　続くステップＳ１１及びＳ１２の動作は、実施の形態１と同様である。
　ステップＳ１２に続くステップＳ２０において、ＶＳ画像作成部２０１は、図１６に示すように、画像調整部１５２による位置調整済みの複数の画像を繋ぎ合わせて、バーチャルスライド画像ＶＳを作成する。このバーチャルスライド画像ＶＳにおいて、Ｘ方向で隣接する画像Ｍ(k,l)とＭ(K+1,l)間では、領域Ｃkが互いに重複する（即ち、被写体が一致する）共通部分であり、Ｙ方向で隣接する画像Ｍ(k,l)とＭ(k,l+1)間では、領域Ｃlが互いに重複する共通部分である（ｋ，ｌ＝１、２、…）。
　続くステップＳ１３～Ｓ１５の動作は、実施の形態１と同様である。ただし、この際の演算対象は、バーチャルスライド画像ＶＳ内の全ての共通部分（領域Ｃk及び領域Ｃl）であっても良いし、一部の共通部分であっても良い。後者の場合、具体的には、全ての領域Ｃkのみ、全ての領域Ｃlのみ、最初と最後の領域Ｃk若しくは領域Ｃlのみ、バーチャルスライド画像ＶＳの中央近傍の領域Ｃk若しくは領域Ｃlのみ、所定間隔で抽出した領域Ｃk若しくは領域Ｃl、又は、ランダムに選択した領域Ｃk若しくは領域Ｃlのいずれであっても良い。複数の共通部分が演算対象となる場合には、それらの共通部分に対応する複数の補正用画像が作成される。
　ステップＳ１５に続くステップＳ３０において、画像補正部１５６は、ステップＳ１５において作成された補正用画像を用いて、バーチャルスライド画像ＶＳを構成する各画像Ｍ(k,l)を補正する。この際、ステップＳ１５において複数の補正用画像が作成された場合には、補正用画像の基となった共通部分の位置に応じて補正用画像を決定すると良い。例えば、全ての領域Ｃkから補正用画像が作成された場合には、Ｘ方向において隣接する画像Ｍ(k,l)、Ｍ(K+1,l)を、両画像の共通部分である領域Ｃkに基づく補正用画像を用いて補正する。また、全ての領域Ｃlから補正用画像が作成された場合には、Ｙ方向において隣接する画像Ｍ(k,l)、Ｍ(K,l+1)を、両画像の共通部分である領域Ｃlに基づく補正用画像を用いて補正する。或いは、所定間隔で抽出された領域Ｃk若しくは領域Ｃl、又は、ランダムに選択された領域Ｃk若しくは領域Ｃlから補正用画像が作成された場合には、領域Ｃk若しくは領域Ｃlから所定範囲内の画像Ｍ(k,l)を、当該領域Ｃk若しくは領域Ｃlに基づく補正用画像を用いて補正することとしても良い。
　続くステップＳ３１において、演算部２００は、補正済みの画像を繋ぎ合わせたバーチャルスライド画像ＶＳを出力する。それに応じて、制御部１６０は、バーチャルスライド画像ＶＳを表示部１３０に表示させると共に、バーチャルスライド画像ＶＳに対応する画像データを記憶部１４０に記憶させる。
　以上説明したように、実施の形態４によれば、個別の撮像視野に生じたシェーディングが補正された画像によってバーチャルスライド画像を構成するので、画質の良いバーチャルスライド画像を取得することが可能となる。
（変形例）
　上記実施の形態１～３においては、顕微鏡装置１０によって取得された画像に対する処理を説明したが、画像処理装置１１は、顕微鏡装置１０以外の各種撮像機器によって取得された画像を処理することも可能である。例えば、画像処理装置１１を、パノラマ画像の撮像が可能なディジタルカメラに適用しても良い。この場合、視野の端部が重複する複数の画像を撮像し、視野の重複部分に基づいて作成した補正用画像を用いて各画像を補正して、それらの画像を繋ぎ合わせることにより、画質の良いパノラマ画像を生成することが可能である。
　本発明は、上述した各実施の形態１～４及び変形例そのままに限定されるものではなく、各実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１～４に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１、２　顕微鏡システム
　１０　顕微鏡装置
　１１、２０　画像処理装置
　１００　アーム
　１０１　標本ステージ
　１０２　対物レンズ
　１０３　鏡筒
　１０４　画像取得部
　１０５　ステージ位置変更部
　１０５ａ　モータ
　１０５ｂ　位置検出部
　１０６　三眼鏡筒ユニット
　１０７　接眼レンズユニット
　１０８　レボルバ
　１１０　入力部
　１２０　画像入力部
　１３０　表示部
　１４０　記憶部
　１４１　画像処理プログラム
　１５０、２００　演算部
　１５１　補正用画像作成部
　１５２　画像調整部
　１５３　差分取得部
　１５４　シェーディング検出部
　１５５　シェーディング推定部
　１５６　画像補正部
　１６０　制御部
　２０１　ＶＳ画像作成部

Claims (10)

  1. 　被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力手段と、
    　前記複数の画像を補正する際に用いられる補正用画像を作成する補正画像作成手段と、
    を備え、
    　前記補正画像作成手段は、
    　前記複数の画像のうち、前記被写体が共通する共通部分を持つ２つの任意画像から、画素の輝度の差分を取得する差分取得手段と、
    　前記差分に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出手段と、
    を有することを特徴とする画像処理装置。
  2. 　前記補正画像作成手段は、前記任意画像の位置調整を行い、前記共通部分における前記被写体を一致させる画像調整手段をさらに有し、
    　前記差分取得手段は、前記画像調整手段により位置調整された状態で、前記差分を取得することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記補正画像作成手段は、前記シェーディング成分に基づき、前記共通部分以外の各画像内の領域におけるシェーディングの影響を推定するシェーディング推定手段をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記複数の画像は、撮像視野を平行移動させて撮像された画像であることを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
  5. 　前記複数の画像は、撮像倍率を変化させて撮像された画像であることを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
  6. 　前記複数の画像は、撮像視野を回転させて撮像された画像であることを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
  7. 　請求項１～６のいずれか１項に記載の画像処理装置と、
    　前記被写体を撮像する撮像手段と、
    を備えることを特徴とする撮像装置。
  8. 　請求項１～６のいずれか１項に記載の画像処理装置と、
    　前記被写体としての標本を載置可能なステージと、前記ステージに対向して設けられる光学系と、前記光学系を介して前記標本上に設定される視野を撮像して画像を取得する画像取得部と、前記ステージと前記光学系との内の少なくとも一方を、前記光学系の光軸と直交する方向に移動させることにより、前記撮像視野を変化させるステージ位置変更部と、を有する顕微鏡装置と、
    を備えることを特徴とする顕微鏡システム。
  9. 　被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、
    　前記複数の画像のうち、前記被写体が共通する共通部分を持つ２つの任意画像から、画素の輝度の差分を取得する差分取得ステップと、
    　前記差分に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、
    　前記シェーディング成分に基づいて前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップと、
    を含むことを特徴とする画像処理方法。
  10. 　被写体の少なくとも一部が共通する部分を持つ複数の画像を入力する画像入力ステップと、
    　前記複数の画像のうち、前記被写体が共通する共通部分を持つ２つの任意画像から、画素の輝度の差分を取得する差分取得ステップと、
    　前記差分に基づいて前記任意画像におけるシェーディング成分を検出するシェーディング検出ステップと、
    　前記シェーディング成分に基づいて前記複数の画像を補正する際に用いられる補正用画像を作成する補正用画像作成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2012/074957 2011-12-22 2012-09-27 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム WO2013094273A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280063454.2A CN104011580B (zh) 2011-12-22 2012-09-27 图像处理装置、摄像装置、显微镜系统以及图像处理方法
EP12860928.6A EP2796916B1 (en) 2011-12-22 2012-09-27 Image processing device, imaging device, microscope system, image processing method, and image processing program
US14/306,418 US20140293035A1 (en) 2011-12-22 2014-06-17 Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-282300 2011-12-22
JP2011282300A JP5911296B2 (ja) 2011-12-22 2011-12-22 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/306,418 Continuation US20140293035A1 (en) 2011-12-22 2014-06-17 Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2013094273A1 true WO2013094273A1 (ja) 2013-06-27

Family

ID=48668178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/074957 WO2013094273A1 (ja) 2011-12-22 2012-09-27 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20140293035A1 (ja)
EP (1) EP2796916B1 (ja)
JP (1) JP5911296B2 (ja)
CN (1) CN104011580B (ja)
WO (1) WO2013094273A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836942A (zh) * 2014-11-03 2015-08-12 中国计量学院 胶体金便携式ccd读数仪
DE102014107933A1 (de) 2014-06-05 2015-12-17 Carl Zeiss Microscopy Gmbh Verfahren zur mikroskopischen Abbildung von Proben an Böden von mit Fluid befüllten Töpfchen einer Mikrotiterplatte

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5996462B2 (ja) * 2013-03-13 2016-09-21 オリンパス株式会社 画像処理装置、顕微鏡システム及び画像処理方法
JP6196832B2 (ja) * 2013-07-25 2017-09-13 オリンパス株式会社 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
US9443322B2 (en) * 2013-09-09 2016-09-13 Mediatek Singapore Pte. Ltd. Method and associated apparatus for correcting color artifact of image
JP6284428B2 (ja) * 2014-05-22 2018-02-28 オリンパス株式会社 顕微鏡システム
JP6557520B2 (ja) * 2015-06-17 2019-08-07 オリンパス株式会社 顕微鏡システム
US10142568B2 (en) * 2017-02-13 2018-11-27 Semiconductor Components Industries, Llc Methods and apparatus for vignette and out-of-focus correction
CN110059529A (zh) * 2017-12-13 2019-07-26 台达电子工业股份有限公司 模拟计量器的指针的指向的识别方法及其影像获取设备
DE102018123781B4 (de) * 2018-09-26 2023-08-03 Carl Zeiss Meditec Ag Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094860A (ja) * 2000-09-11 2002-03-29 Canon Inc 画像処理装置及び画像処理方法並びにメモリ媒体
JP2002290829A (ja) * 2001-03-26 2002-10-04 Minolta Co Ltd 画像処理装置、プログラムおよび記録媒体
JP2004272077A (ja) 2003-03-11 2004-09-30 Olympus Corp シェーディング補正装置、方法および制御プログラムを記録した記録媒体
JP2008191427A (ja) 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2009159093A (ja) 2007-12-25 2009-07-16 Canon Inc 撮像装置
JP2011141391A (ja) 2010-01-06 2011-07-21 Olympus Corp バーチャルスライド作成装置およびバーチャルスライド作成方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4304276A1 (en) * 1992-02-17 1993-08-19 Galram Technology Ind Ltd Forming high resolution image of planar or three=dimensional object - combining sharp image data provided by detector matrix for successive scanning of object via optical imaging system.
JPH08254499A (ja) * 1995-03-17 1996-10-01 Sharp Corp 表示・外観検査装置
US6587581B1 (en) * 1997-01-10 2003-07-01 Hitachi, Ltd. Visual inspection method and apparatus therefor
JP2001177738A (ja) * 1999-12-16 2001-06-29 Canon Inc 画像合成方法及び画像処理装置
JP2002057927A (ja) * 2000-08-08 2002-02-22 Canon Inc 画像補間方法、画像合成方法、撮像システム及び画像処理装置
JP3680827B2 (ja) * 2002-08-27 2005-08-10 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP4388327B2 (ja) * 2003-08-25 2009-12-24 オリンパス株式会社 顕微鏡像撮像装置及び顕微鏡像撮像方法
JP2008131981A (ja) * 2006-11-27 2008-06-12 Fujifilm Corp 画質評価演算方法および装置ならびにプログラム
JP2009151163A (ja) * 2007-12-21 2009-07-09 Olympus Corp シェーディング補正装置及びシェーディング補正方法
JP5153599B2 (ja) * 2008-12-08 2013-02-27 オリンパス株式会社 顕微鏡システム及び該動作方法
JP2011124948A (ja) * 2009-12-14 2011-06-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
JP5471965B2 (ja) * 2010-08-16 2014-04-16 富士通セミコンダクター株式会社 画像処理装置、撮像装置、及び画像処理方法
JP5799863B2 (ja) * 2012-03-12 2015-10-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094860A (ja) * 2000-09-11 2002-03-29 Canon Inc 画像処理装置及び画像処理方法並びにメモリ媒体
JP2002290829A (ja) * 2001-03-26 2002-10-04 Minolta Co Ltd 画像処理装置、プログラムおよび記録媒体
JP2004272077A (ja) 2003-03-11 2004-09-30 Olympus Corp シェーディング補正装置、方法および制御プログラムを記録した記録媒体
JP2008191427A (ja) 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2009159093A (ja) 2007-12-25 2009-07-16 Canon Inc 撮像装置
JP2011141391A (ja) 2010-01-06 2011-07-21 Olympus Corp バーチャルスライド作成装置およびバーチャルスライド作成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2796916A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014107933A1 (de) 2014-06-05 2015-12-17 Carl Zeiss Microscopy Gmbh Verfahren zur mikroskopischen Abbildung von Proben an Böden von mit Fluid befüllten Töpfchen einer Mikrotiterplatte
CN105278090A (zh) * 2014-06-05 2016-01-27 卡尔蔡司显微镜有限责任公司 用于粘附于微量滴定板的流体填充井的底部上的样品的显微镜成像的方法
CN104836942A (zh) * 2014-11-03 2015-08-12 中国计量学院 胶体金便携式ccd读数仪
CN104836942B (zh) * 2014-11-03 2017-12-19 中国计量学院 胶体金便携式ccd读数仪

Also Published As

Publication number Publication date
CN104011580B (zh) 2016-08-24
EP2796916A4 (en) 2015-08-19
EP2796916A1 (en) 2014-10-29
CN104011580A (zh) 2014-08-27
EP2796916B1 (en) 2019-02-27
JP2013132027A (ja) 2013-07-04
JP5911296B2 (ja) 2016-04-27
US20140293035A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP5154392B2 (ja) 撮像装置
JP5940383B2 (ja) 顕微鏡システム
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
US8274026B2 (en) Focus assist system and method
JP4345940B2 (ja) 手ぶれ画像補正方法、記録媒体及び撮像装置
WO2015012279A1 (ja) 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
JP6270388B2 (ja) 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
WO2013161348A1 (ja) 画像処理プログラム及び画像処理装置
JP6479178B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP6140255B2 (ja) 画像処理装置及び画像処理方法
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP5149984B2 (ja) 撮像装置
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2007049496A (ja) 画像処理方法および装置
JP5209137B2 (ja) 撮像装置
JP2014202673A (ja) マルチバンド撮像装置およびその制御方法
JP2011227282A (ja) 撮像装置、合焦レベル表示方法、プログラムおよび集積回路
JP2013092636A (ja) 画像処理装置、顕微鏡システム、画像処理方法、画像処理プログラム
JP2013118598A (ja) 撮像装置のシェーディング補正方法、及び撮像装置
WO2017068655A1 (ja) 画像処理装置、画像処理システム、顕微鏡システム、画像処理方法、及び画像処理プログラム
TWI418330B (zh) Auxiliary image recognition method
JP2013029991A (ja) 画像処理装置およびこの画像処理装置を備える電子カメラおよび画像再生装置
JP2007192610A (ja) 画素位置取得方法、画像処理装置、画素位置取得方法をコンピュータ上で実行させるプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP2018013344A (ja) Ｍｔｆ測定装置およびそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12860928

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012860928

Country of ref document: EP