WO2015190013A1 - 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2015190013A1
WO2015190013A1 PCT/JP2014/081787 JP2014081787W WO2015190013A1 WO 2015190013 A1 WO2015190013 A1 WO 2015190013A1 JP 2014081787 W JP2014081787 W JP 2014081787W WO 2015190013 A1 WO2015190013 A1 WO 2015190013A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
shading
shading component
region
luminance
Prior art date
Application number
PCT/JP2014/081787
Other languages
English (en)
French (fr)
Inventor
隼一 古賀
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to DE112014006672.9T priority Critical patent/DE112014006672T5/de
Priority to CN201480079674.3A priority patent/CN106461928B/zh
Priority to JP2016527610A priority patent/JP6422967B2/ja
Publication of WO2015190013A1 publication Critical patent/WO2015190013A1/ja
Priority to US15/343,692 priority patent/US9990752B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/248—Base structure objective (or ocular) turrets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/005—Diaphragms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, a microscope system, an image processing method, and an image processing program that perform image processing on an image acquired by imaging a specimen or the like.
  • the virtual slide technique In recent years, a so-called virtual slide technique is known in which an image obtained by copying a specimen placed on a slide glass is recorded as electronic data so that the user can observe the image on a monitor such as a personal computer.
  • a high-resolution image in which the entire specimen is captured is constructed by sequentially pasting together partial images of the specimen magnified by a microscope.
  • the virtual slide technique is a technique for acquiring a plurality of images with different fields of view for the same subject and connecting the images to generate an image with an enlarged field of view for the subject.
  • the microscope includes a light source for illuminating the specimen and an optical system for enlarging the specimen image.
  • An image sensor for converting an enlarged sample image into electronic data is provided at the subsequent stage of the optical system.
  • This unevenness of brightness is called shading and usually becomes darker as the distance from the center of the image corresponding to the position of the optical axis of the optical system increases. For this reason, when a virtual slide image is created by pasting together a plurality of images, an unnatural boundary occurs between the images. Further, since shading is repeated by pasting a plurality of images, it looks as if a periodic pattern exists on the specimen.
  • a shading correction technique in which a shading pattern is acquired in advance as a calibration image, and an image showing a sample is corrected based on the calibration image.
  • imaging is performed in a state in which a specimen is retracted outside the angle of view of the optical system during transmission illumination observation, and a reflecting member is disposed within the angle of view of the optical system during observation of incident illumination.
  • a shading correction technique is disclosed that uses an image acquired by performing imaging in the above state as a calibration image.
  • Patent Document 2 discloses a method for acquiring shading correction data by performing imaging using a uniform fluorescent sample as a calibration sample during fluorescence observation.
  • a reference visual field image that is an image of a predetermined visual field range of a sample is captured, and the position of the sample is moved relative to the optical system to include a predetermined region within the predetermined visual field range.
  • a technique is disclosed in which a plurality of peripheral visual field images, which are images of peripheral visual field ranges different from the visual field range, are taken, and the correction gain of each pixel of the reference visual field image is calculated based on the reference visual field image and the peripheral visual field image.
  • Patent Document 1 is provided with a dedicated function for acquiring a calibration image, such as a drive mechanism for retracting a specimen.
  • a dedicated function for acquiring a calibration image such as a drive mechanism for retracting a specimen.
  • Patent Document 3 no consideration is given to the number of times of imaging by moving the sample or reducing the time required for shading correction performed for each combination of the reference visual field image and the peripheral visual field image.
  • the present invention has been made in view of the above, and provides an image processing apparatus, an imaging apparatus, a microscope system, an image processing method, and an image processing program capable of performing shading correction in a short time and with high accuracy with a simple configuration.
  • the purpose is to provide.
  • an image processing apparatus provides an object in at least one other image in each of first and second directions different from each other.
  • An image acquisition unit that acquires first and second image groups including a plurality of images that share a common part, and a flatness in which a shading component is constant in one image for each of the first and second image groups
  • a shading component calculation unit that calculates, as the shading component, the ratio of the luminance in a region in another image in which a subject common to the region is captured to the luminance in the region including the region, and using the shading component
  • An image correction unit that performs shading correction on the area of the image, and the shading component is normalized shading based on luminance in the flat area And a non-normalized shading component based on luminance in a region other than the flat region, and the image correction unit performs the shading correction based on the normalized shading component and the non-normalized shading component. It is characterized by performing.
  • the shading component calculation unit includes, based on the first image group, in the region including the flat region of the first image and aligned in the second direction with respect to the flat region. Based on the luminance, the first shading component calculation unit that calculates the shading component and the second image group include the flat area of the first image, and the first area includes the flat area. And a second shading component calculation unit that calculates the shading component based on luminance in a region aligned in one direction.
  • the image correction unit performs shading correction on the first region, which is the region where the normalized shading component is calculated, among the regions in the image using the normalized shading component.
  • a second image correction unit that performs the shading correction using a component and the normalized shading component calculated for a region that is used as a reference when calculating the non-normalized shading component.
  • the second image correction unit calculates from the non-normalized shading component calculated from one of the first and second image groups and the other of the first and second image groups.
  • the shading correction is performed using the normalized normalized shading component.
  • the shading component calculation unit may calculate the luminance in the partial area and the partial area when the shading component regarding the partial area in the one image is known.
  • a shading component relating to a region in the other image is calculated using brightness in the region in the other image in which a common subject is captured and the known shading component.
  • the shading component calculation unit may determine a plurality of the other images based on a plurality of combinations of the first image and the other image for each of the first and second image groups. A shading component relating to a region in the image is calculated, and the calculated plurality of shading components are added and averaged.
  • the shading component calculation unit may include a plurality of combinations of the first image and the other image for each of the first and second image groups, The shading component is calculated based on a plurality of combinations having different texture components in a common area, which is an area in which a common subject is captured with the other image.
  • the shading component calculation unit cumulatively adds the luminance in the corresponding region between the plurality of images for each of the first and second image groups, and uses the cumulative addition value. Then, the shading component is calculated.
  • the shading component calculation unit calculates a plurality of shading components based on the plurality of combinations, and averages the plurality of shading components.
  • the shading component calculation unit includes two non-normalized shading components calculated based on the first and second image groups for the region in the image, and the two non-normalized shading components.
  • a shading component in a region in the image is calculated using two normalized shading components respectively calculated for two regions used as a reference when calculating the normalized shading component.
  • the image processing apparatus further includes a flat area search unit that searches for the flat area based on a luminance gradient of pixels included in an area in which a common subject is captured between the first image and the other image. It is characterized by that.
  • the first and second directions are orthogonal to each other.
  • the imaging apparatus moves the at least one of the image processing device, the optical system that generates the image of the subject, and the subject and the optical system, thereby reducing the field of view of the optical system with respect to the subject.
  • the image acquisition unit picks up an image on the imaging means while moving the visual field in the first and second directions respectively.
  • the first image group and the second image group are acquired by performing control to execute the above.
  • the microscope system according to the present invention includes the imaging device and a stage on which the subject is placed, and the moving unit moves at least one of the stage and the optical system.
  • the image processing apparatus further includes a virtual slide creation unit that creates a virtual slide image by pasting together images having the same visual field included in the first and second image groups. It is characterized by.
  • the image processing method includes a first image and a second image including a plurality of images in which a part of a subject is common to at least another image in first and second directions different from each other.
  • An image acquisition step for acquiring each group, and for each of the first and second image groups, a subject common to the region with respect to luminance in a region including a flat region having a constant shading component in one image
  • a shading component calculation step for calculating a luminance ratio in a region in another image in which the image is captured as a shading component, and an image correction step for performing shading correction on the region in the image using the shading component.
  • the shading component includes a normalized shading component based on luminance in the flat region and a region other than the flat region.
  • a non-normalized shading components relative to the luminance of the image correction step performs the shading correction on the basis of the normalized shading component and the non-normalized shading component, characterized in that.
  • the image processing program includes a first image and a second image including a plurality of images in which a part of a subject is common to at least another image in first and second directions different from each other.
  • An image acquisition step for acquiring each group, and for each of the first and second image groups, a subject common to the region with respect to luminance in a region including a flat region having a constant shading component in one image
  • a shading component calculation step for calculating a luminance ratio in a region in another image in which the image is captured as a shading component, and an image correction step for performing shading correction on the region in the image using the shading component.
  • the computer executes the shading component, the normalized shading component based on the luminance in the flat region
  • the image correction step performs the shading correction based on the normalized shading component and the non-normalized shading component. It is characterized by that.
  • the first and second image groups in which a part of the subject is in common with at least another one image in the first and second directions are acquired, respectively.
  • the normalized shading component and the denormalized shading component are calculated based on the luminance in the region including the flat region, and the normalized shading component and the denormalized shading component are used to calculate the inside of the image. Therefore, the number of images required for calculating the shading component can be reduced, and the shading correction can be performed with high accuracy in a short time with high accuracy.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram for explaining the operation of the image acquisition unit shown in FIG.
  • FIG. 3 is a schematic diagram for explaining the principle of image processing executed by the image processing unit shown in FIG.
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 5 is a schematic diagram for explaining the amount of movement by which the imaging field of view is moved every time imaging is performed.
  • FIG. 6 is a schematic diagram for explaining an imaging method of a subject.
  • FIG. 7 is a schematic diagram for explaining an imaging method of a subject.
  • FIG. 8 is a schematic diagram illustrating five images acquired by performing imaging five times while moving the imaging field of view in the horizontal direction.
  • FIG. 9 is a schematic diagram showing shading components in the horizontal direction stored in the storage unit shown in FIG.
  • FIG. 10 is a schematic diagram showing shading components in the vertical direction stored in the storage unit shown in FIG.
  • FIG. 11 is a schematic diagram for explaining image correction processing executed by the image correction unit shown in FIG.
  • FIG. 12 is a flowchart showing in detail an image correction process executed by the image correction unit shown in FIG.
  • FIG. 13 is a schematic diagram for explaining another example of the shading correction process performed by the second image correction unit illustrated in FIG. 1.
  • FIG. 14 is a schematic diagram for explaining an image capturing method used for calculation of a shading component in Embodiment 2 of the present invention.
  • FIG. 15 is a schematic diagram for explaining a shading component calculation method according to Embodiment 2 of the present invention.
  • FIG. 16 is a schematic diagram for explaining a shading component calculation method according to Embodiment 3 of the present invention.
  • FIG. 17 is a schematic diagram for explaining a shading component calculation method according to Embodiment 4 of the present invention.
  • FIG. 18 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 7 of the present invention.
  • FIG. 19 is a schematic diagram showing a horizontal image created by the flat area search unit shown in FIG.
  • FIG. 20 is a schematic diagram showing a vertical image created by the flat area search unit shown in FIG.
  • FIG. 21 is a schematic diagram showing the horizontal image shown in FIG. 19 in units of pixels.
  • FIG. 22 is a schematic diagram showing the vertical image shown in FIG. 20 in units of pixels.
  • FIG. 23 is a diagram schematically illustrating a shading component in the horizontal direction stored in the storage unit illustrated in FIG.
  • FIG. 24 is a diagram schematically showing the shading components in the vertical direction stored in the storage unit shown in FIG.
  • FIG. 25 is a diagram illustrating a configuration example of a microscope system according to the eighth embodiment of the present invention.
  • FIG. 26 is a schematic diagram for explaining an operation of acquiring a plurality of images in the eighth embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to Embodiment 1 includes an image acquisition unit 11 that acquires an image of a subject to be observed, an image processing unit 12 that performs image processing on the image, And a storage unit 13.
  • the image acquisition unit 11 acquires a plurality of images having different imaging fields of view for the subject.
  • the image acquisition unit 11 may acquire such a plurality of images directly from the imaging device, or may acquire via a network or a storage device. In the first embodiment, it is assumed that the image acquisition unit 11 directly acquires an image from the imaging device.
  • the kind of imaging device is not specifically limited, For example, the microscope apparatus provided with the imaging function may be sufficient and a digital camera may be sufficient.
  • FIG. 2 is a schematic diagram for explaining the operation of the image acquisition unit 11, and shows the optical system 30 of the imaging apparatus, the subject SP, and the imaging field of view V of the optical system 30.
  • the position of the optical system 30 is shifted from the front side of the subject SP and the imaging field of view V, and the side surface of the optical system 30 is placed outside the subject SP.
  • the figure shows the positional relationship with the imaging field of view V.
  • the direction parallel to one side of the imaging field of view V (the left-right direction in FIG. 2) is defined as the horizontal direction, and the direction orthogonal to the one side (up and down direction in FIG. ) Is the vertical direction.
  • the image acquisition unit 11 includes an imaging control unit 111 that controls the imaging operation of the imaging apparatus, and a drive control unit 112 that performs control to change the position of the imaging field of view V with respect to the subject SP.
  • the drive control unit 112 changes the position of the imaging field of view V with respect to the subject SP by relatively moving either or both of the optical system 30 and the subject SP.
  • the imaging control unit 111 causes the imaging device to perform imaging at a predetermined timing, and captures an image M in which the subject in the imaging field of view V is captured from the imaging device.
  • the imaging field of view V is moved in two directions of a horizontal direction and a vertical direction orthogonal to each other.
  • the moving direction of the imaging field of view V is two different directions, the horizontal direction And it is not limited to the vertical direction. Further, the two directions in which the imaging field of view V is moved are not necessarily orthogonal.
  • FIG. 3 is a schematic diagram for explaining the principle of image processing executed by the image processing unit 12.
  • the coordinates (x, y) shown in FIGS. 3A to 3C indicate the position of each pixel constituting the image M.
  • the image M acquired by the imaging device has a non-uniform illuminance of the light source, non-uniformity of the optical system, and non-uniformity of the characteristics of the imaging element, except for a partial region at the center. Unevenness of brightness or color unevenness caused by the above or the like occurs. This lightness unevenness and color unevenness is called shading.
  • the luminance I (x, y), the texture component T (x, y), and the shading component S (x, y) are the luminance, texture component, and shading component at each color signal at each coordinate.
  • the image processing unit 12 uses the plurality of images acquired by the image acquisition unit 11 to execute image processing for correcting shading generated in the image.
  • the image processing unit 12 includes a shading component calculation unit 121 that calculates a shading component generated in the image M (x, y), and an image correction unit 122 that performs shading correction using the shading component. .
  • the shading component calculation unit 121 includes a first direction shading component calculation unit 121a and a second direction shading component calculation unit 121b.
  • the first direction shading component calculation unit 121a calculates a shading component from a plurality of images acquired by moving the imaging field of view V for the subject SP in a first direction (for example, the horizontal direction).
  • the second direction shading component calculation unit 121b calculates a shading component from a plurality of images acquired by moving the imaging field of view V for the subject SP in the second direction (for example, the vertical direction).
  • the image correction unit 122 includes a first image correction unit 122a and a second image correction unit 122b.
  • the first image correction unit 122a applies the shading component calculated by the first direction shading component calculation unit 121a and the second direction shading component calculation unit 121b to a partial area in the image acquired by the image acquisition unit 11.
  • the shading correction is performed using any one of the shading components calculated by the above.
  • the second image correction unit 122b performs the shading component calculated by the first direction shading component calculation unit 121a and the second direction shading on the region of the image that has not been corrected by the first image correction unit 122a.
  • Shading correction is performed using both the shading component calculated by the component calculation unit 121b. A region to be corrected by the first image correction unit 122a and the second image correction unit 122b and specific correction processing will be described later.
  • the storage unit 13 is composed of a storage device such as a flash memory, a RAM, and a semiconductor memory such as a ROM, which can be updated and recorded.
  • the storage unit 13 stores various parameters used by the image acquisition unit 11 to control the imaging apparatus, image data of an image subjected to image processing by the image processing unit 12, various parameters calculated by the image processing unit 12, and the like.
  • the image acquisition unit 11 and the image processing unit 12 may be configured by dedicated hardware, or may be configured by a CPU and a program that causes the CPU to execute predetermined processing. In the latter case, an image processing program for causing the image acquisition unit 11 and the image processing unit 12 to execute predetermined processing, and various parameters and setting information used during the execution of these programs are stored in the storage unit 13. Also good.
  • a storage device including a recording medium such as a hard disk, an MO, a CD-R, a DVD-R, and a writing / reading device for writing / reading information to / from the recording medium is subjected to image processing via a data communication terminal.
  • the image processing program and parameters may be stored in the storage device connected to the device 1.
  • FIG. 4 is a flowchart showing the operation of the image processing apparatus 1.
  • an image showing the subject SP shown in FIG. 2 is acquired, and correction processing is performed on the image.
  • step S1 the image acquisition unit 11 acquires a plurality of images generated by imaging the subject SP while moving the imaging field of view V in two different directions by a predetermined amount.
  • the drive control unit 112 moves the imaging field of view V in a predetermined direction by moving either the subject SP or the optical system 30, and the imaging control unit 111 is at least in the moving direction of the imaging field of view V. Control is performed so that a part of the imaging visual field V overlaps with another image. In the following, the imaging field of view V is moved in the horizontal direction and the vertical direction, respectively.
  • FIG. 5 is a schematic diagram for explaining the amount of movement for moving the imaging field of view V every time imaging is performed.
  • each block into which the imaging field of view V is divided is determined according to the size of a flat area (described later) in which shading is hardly caused in the image and the shading component can be regarded as constant, the required shading correction accuracy, and the like. can do.
  • the number of divisions of the imaging visual field V in the horizontal direction and the vertical direction may be the same or different.
  • the coordinates of each block in the image are indicated by (X, Y). In the first embodiment, 1 ⁇ X ⁇ 5 and 1 ⁇ Y ⁇ 5.
  • 6 and 7 are schematic diagrams for explaining a method of imaging the subject SP. 6 and 7, for the sake of convenience, the position of the optical system 30 is shifted from the front side of the subject SP and the imaging field of view V in order to clarify the position of the imaging field V of the subject SP, and the optical system 30 is located outside the subject SP. These figures show the positional relationship with the imaging field of view V at each position.
  • FIG. 6 the image acquisition unit 11 executes imaging every time the imaging field of view V moves in the horizontal direction by the length Bw, so that one of the imaging fields of view V between the immediately preceding image is generated.
  • FIG. 8 is a schematic diagram showing five images M 0 to M 4 acquired by performing imaging five times while moving the imaging visual field V in the horizontal direction.
  • the images M 0 to M 4 are arranged vertically along the imaging order, and are shifted to the left and right so that blocks having the same texture component are aligned vertically.
  • the position of the subject SP may be fixed and the optical system 30 side may be moved, or the position of the optical system 30 may be fixed and the subject SP. You may move the side. Alternatively, both the subject SP and the optical system 30 may be moved in directions opposite to each other.
  • the subject in the imaging field of view V All or part of the image may include the same image, or all or part of the subject may not include the same image at all.
  • the shading component calculation unit 121 takes in a plurality of images acquired in step S1, and uses these images to calculate a shading component for each direction in the horizontal direction and the vertical direction.
  • the calculation of the shading component is normally performed on the basis of the luminance in a region where the shading component hardly occurs in the image and the change of the shading component is hardly observed (hereinafter referred to as a flat region).
  • the shading component is divided by dividing the luminance of each pixel included in the calculation target region of the shading component by the luminance of each pixel included in the flat region having a texture component common to the calculation target region. Is obtained.
  • the shading component is calculated for each column or each row on the basis of the luminance in the column or row of the block including the flat region.
  • a common area is generated in units of columns in the horizontal direction between images acquired by moving the imaging field of view V one block at a time in the horizontal direction. Therefore, in this case, the shading component is calculated based on the luminance in the block of the column that includes the flat region and is arranged in the direction perpendicular to the flat region.
  • the shading component (luminance ratio) calculated based on the common region generated in the horizontal direction is also referred to as a shading component in the horizontal direction.
  • the shading component is calculated based on the luminance in the block of the row including the flat region and arranged in the horizontal direction with respect to the flat region.
  • the shading component luminance ratio
  • the processing is performed on the assumption that a flat region exists in the center portion of the image and the shading component changes concentrically. Specifically, among the blocks (1, 1) to (5, 5) obtained by dividing the image M, the central block (3, 3) is a flat region.
  • the first direction shading component calculation unit 121a extracts a column including the block (3, 3) of the flat region from one image among the images M 0 to M 4 shown in FIG. 8, and from another image, A block (that is, a common area) in which the same subject as the block is captured is extracted, and a shading component in the horizontal direction is calculated using the luminance of pixels corresponding to positions between the blocks extracted from both images.
  • the shading component Sh (1,1) is represented as a shading component at an arbitrary pixel in the blocks (1,1), (1,2), (1,3), (1,4), (1,5).
  • Sh (1,2), Sh (1,3), Sh (1,4), Sh (1,5) is expressed as luminance H 0 (1 , 1), H 0 (1,2), H 0 (1,3), H 0 (1,4), H 0 (1,5).
  • the luminance of an arbitrary pixel in the blocks (3, 1), (3, 2), (3, 3), (3,4), (3, 5) in the third column of the image M 2 is expressed as luminance.
  • the shading components Sh (1,1) to Sh (1,5) in arbitrary pixels in the blocks (1,1) to (1,5) are given by the following equations (1a) to (1e). It is done.
  • equations (1a) to (1e) the shading component in any pixel in each block corresponds to the luminance of the pixel in the block described in the numerator on the right side, and the position in the block described in the denominator. It is given by dividing by the luminance of the pixel.
  • equations (1a) to (1e) operations relating to pixels corresponding to positions in different blocks are comprehensively expressed in the form of an operation equation between blocks.
  • FIG. 9 is a schematic diagram showing the shading component Sh in the horizontal direction stored in the storage unit 13.
  • a row including the flat region at the center that is, a row used as a reference for calculating the shading component
  • the shading components Sh (1, 3), Sh (2, 3), Sh (4, 3), and Sh (5, 3) are the luminances of pixels corresponding to positions in the block (3, 3) that are flat regions. Is calculated based on the above. Therefore, in the following, the shading component calculated using the luminance of the pixels in the block in the flat area is referred to as a normalized shading component.
  • the shading component is the luminance of the pixel corresponding to the position in the block (3, 1), (3, 2), (3,4), (3, 5) other than the flat region in the third column.
  • the shading component Sh (1,1) of the block (1,1) is calculated using the luminance H 2 (3,1) of the pixel in the block (3,1).
  • the shading component calculated using the luminance of the pixels in the block other than the flat area is referred to as a non-normalized shading component.
  • the second direction shading component calculation unit 121b performs the vertical direction based on five images acquired by imaging the subject SP five times while moving the imaging visual field V by the length Bh in the vertical direction.
  • the shading component at is calculated. That is, a row including a flat area block (3, 3) is extracted from one of these five images, and a block (common area) in which the same subject as those blocks is captured from another image.
  • the shading component in the vertical direction is calculated using the luminance of the pixels whose positions correspond between the blocks extracted from both images.
  • FIG. 10 is a schematic diagram showing the shading component Sv in the vertical direction stored in the storage unit 13.
  • hatched hatching is added to a line including a central flat region (that is, a line used as a reference for calculating a shading component).
  • the shading components Sv (3, 1), Sv (3, 2), Sv (3, 4), and Sv (3, 5) are the luminance of the pixel corresponding to the position in the block (3, 3) which is a flat region. Is a normalized shading component calculated with reference to.
  • the shading component is the luminance of the pixel corresponding to the position in the block (1, 3), (2, 3), (4, 3), (5, 3) other than the flat region in the third row. Is a non-normalized shading component calculated using.
  • step S1 after acquiring an image by moving the imaging field of view in each of the horizontal and vertical directions in step S1, shading components in the horizontal and vertical directions are sequentially calculated in step S2.
  • the order of processing is not limited to this.
  • the shading component in the horizontal direction is calculated using the acquired image, and then the image is acquired by moving the imaging field in the vertical direction. Thereafter, the shading component in the vertical direction may be calculated using the acquired image.
  • the calculation of the shading component in the horizontal direction and the acquisition of the image by moving the imaging field of view in the vertical direction may be performed in parallel. Further, each process in the vertical direction may be performed before each process in the horizontal direction.
  • FIG. 11 is a schematic diagram for explaining the image correction processing executed by the image correction unit 122.
  • the image M illustrated in FIG. the luminance of an arbitrary pixel in the block (X, Y) in the image M is denoted as H (X, Y).
  • FIG. 12 is a flowchart showing in detail the image correction processing executed by the image correction unit 122.
  • the first image correction unit 122a corrects the luminance of each pixel in the block from which the normalized shading component is obtained in the image M using the normalized shading component.
  • the blocks from which the normalized shading component Sh (see FIG. 9) in the horizontal direction is obtained are (1,3), (2,3), (4,3), (5,3). )
  • the blocks from which the normalized shading component Sv (see FIG. 10) in the vertical direction is obtained are (3, 1), (3, 2), (3,4), (3, 5). . Therefore, if the block in the flat region is (X 0 , Y 0 ), the block from which the normalized shading component is obtained can be expressed as (X, Y 0 ) or (X 0 , Y).
  • the first image correction unit 122a normalizes the luminance H (X, Y 0 ) of any pixel in the block (X, Y 0 ) from which the normalized shading component Sh in the horizontal direction is obtained at this pixel position.
  • the texture component T (X, Y 0 ) in the pixel is calculated (see Expression (2-1)).
  • the first image correction unit 122a calculates the luminance H (X 0 , Y) of an arbitrary pixel in the block (X 0 , Y) from which the normalized shading component Sv in the vertical direction is obtained at this pixel position.
  • the texture component T (X 0 , Y) in the pixel is calculated (see Expression (2-2)).
  • the second image correction unit 122b corrects the luminance of each pixel in the block in which the normalized shading component is not obtained in the image M using the normalized shading component and the non-normalized shading component. To do.
  • the shading component Sh (1,1) calculated for the pixel in the block (1,1) is common in the horizontal direction of the block (1,1) as shown in FIG. 11B and the equation (1a).
  • a position in the block (3, 1) as a region is a denormalized shading component calculated with reference to the luminance H 2 (3, 1) of the corresponding pixel.
  • the shading component included in the luminance H 2 (3,1) of the pixels in the block (3,1) is the same in the vertical direction of the block (3,1) as shown in FIG.
  • the position in the block (3, 3) of the flat area which is the area is given as a normalized shading component Sv (3, 1) calculated on the basis of the luminance of the corresponding pixel. Therefore, the texture component T (1,1) at any pixel in the block (1,1) of the image M is the luminance H (1,1) of the pixel in the block (1,1) in the image M.
  • the denormalized shading component Sh (1,1) at the pixel position and the normalized shading component Sv (3,1) at the corresponding pixel position in the block (3,1) the following equation (3) Given by.
  • FIG. 13 is a schematic diagram for explaining another example of the shading correction process performed by the second image correction unit 122b.
  • the position in the block (1, 3), which is the common area in the vertical direction of (1, 1), is a denormalized shading component calculated based on the luminance of the corresponding pixel.
  • the shading component included in the luminance of the pixels in the block (1, 3) is a block in a flat area that is a common area in the horizontal direction of the block (1, 3).
  • the position in (3, 3) is given as a normalized shading component Sh (1, 3) calculated on the basis of the luminance of the corresponding pixel. Therefore, the texture component T (1,1) at any pixel in the block (1,1) of the image M is the luminance H (1,1) of the pixel in the block (1,1) in the image M.
  • the non-normalized shading component Sv (1, 1) at the pixel position and the normalized shading component Sh (1, 3) at the corresponding pixel position in the block (1, 3) the following equation (4) Given by.
  • the texture component T (X, Y) in an arbitrary pixel in the block (X, Y) for which the normalized shading component is not obtained is the luminance of the pixel in the block (X, Y).
  • H (X, Y) the denormalized shading component Sv (X, Y) calculated based on the luminance of the common area in the vertical direction of the block (X, Y), and the common area in the horizontal direction of the common area
  • Sh X, Y 0
  • steps S31 and S32 are not limited to the order described above, and step S32 may be executed first, or steps S31 and S32 may be executed in parallel.
  • the number of images necessary for calculating the shading component can be reduced as compared with the conventional case. Therefore, it is possible to reduce the number of times of imaging when acquiring these images, and it is possible to perform highly accurate shading correction in a short time with a simple configuration. Further, according to the first embodiment, since the imaging field of view is simply moved in two directions, the horizontal direction and the vertical direction, it is possible to simplify the control of the stage on which the subject SP is placed or the control of the optical system. It becomes.
  • the number is not limited to this. As the number of divisions is increased, finer shading correction can be performed. On the other hand, as the number of divisions is reduced, the number of times the subject SP is imaged and the amount of computation in the shading component calculation process and the image correction process can be suppressed, so the total time required for shading correction can be shortened. It becomes.
  • the shading component calculation unit 121 calculates the normalized shading component and the non-normalized shading component in each of the horizontal direction and the vertical direction, and the image correction unit 122 uses these shading components. Then, the texture component was calculated using the equations (2-1), (2-2), or (5) or (6) corresponding to the block to be corrected. However, the shading component calculation unit 121 creates a map in which the shading component S (X, Y) applicable to the same texture component calculation formula regardless of the correction target block is stored, and stored in the storage unit 13. May be.
  • this normalized shading component is used as the shading component S (X, Y).
  • this normalized shading component is stored in the map as the shading component S (X, Y). Is done.
  • the value Sh (X, Y) calculated from either of the denormalized shading components and the normalized shading component ) ⁇ Sv (X 0 , Y) or Sv (X, Y) ⁇ Sh (X, Y 0 ) is stored in the map as a shading component S (X, Y).
  • FIG. 14 is a schematic diagram for explaining an image capturing method used for calculating shading components in the second embodiment, and the relative positions P0 and P1 of the subject SP with respect to the imaging field of view V of the optical system 30 in the horizontal direction. ,... Are shown in time series (t).
  • each of regions obtained by dividing the subject SP by the length Bw in the horizontal direction is defined as subject regions SP (1) to SP (5).
  • the image capturing field V of the optical system 30 is moved relative to the subject SP by length Bw (or length Bh) in each of the horizontal direction and the vertical direction.
  • Five images were acquired by performing multiple imaging.
  • nine images are captured in one direction by capturing images nine times while relatively moving the imaging field of view V with the same length Bw (or length Bh). get.
  • FIG. 15 is a schematic diagram for explaining a shading component calculation method according to the second embodiment. Images M (0), M (1),... Shown in FIG. 15A are taken when the subject SP shown in FIG. 14 is located at relative positions P0, P1,. FIG. 15B is a schematic diagram showing the shading component Sh in the horizontal direction stored in the storage unit 13.
  • the column X 1 in the image M (0) in which the subject area SP (1) is captured.
  • the second and subsequent terms of the numerator and denominator that is, it can be said that the equations (7-1) to (7-5) are obtained by averaging a plurality of shading components calculated based on common regions having different texture components.
  • the second direction shading component calculation unit 121b can also calculate a shading component in the vertical direction by executing the same processing as the first direction shading component calculation unit 121a.
  • a highly robust shading component can be calculated. Therefore, accurate correction can be stably performed without depending on the characteristics of the texture component in the correction target image. Further, according to the second embodiment, since the shading component is calculated after the luminance is cumulatively added for each column or row, it is not necessary to add a new memory, and the arithmetic processing can be easily performed. .
  • the imaging field of view V is moved eight times in each direction and the shading component is calculated based on nine images acquired by performing the imaging nine times. More images may be used by repeating the imaging. Thereby, the robustness of the shading component can be further improved.
  • the shading component in the horizontal direction of the column may be acquired by individually calculating a plurality of types of shading components from the combination of a plurality of common regions related to each column as described above, and averaging these shading components. .
  • the configuration of the image processing apparatus according to the third embodiment is the same as that of the first embodiment (see FIG. 1) as a whole, and is executed by the first direction shading component calculation unit 121a and the second direction shading component calculation unit 121b.
  • the details of the shading component calculation process are different from those of the first embodiment.
  • FIGS. 16A to 16C are schematic diagrams for explaining the shading component calculation method according to the third embodiment. As shown in FIG. 6, the imaging field of view V is moved by a length Bw in the horizontal direction. 3 images obtained by performing the imaging three times are shown.
  • the first direction shading component calculation unit 121a pays attention to the symmetry in the left-right direction of the common area between the three images M 0 to M 2 , and the following expressions (8-1) to ( The shading component in the horizontal direction is calculated according to 8-5).
  • the second direction shading component calculation unit 121b can also calculate the shading component in the vertical direction from the three images by executing the same processing as the first direction shading component calculation unit 121a.
  • the image correction method using the normalized shading component and the non-normalized shading component in the horizontal direction and the vertical direction calculated in this way is the same as that of the first embodiment (see FIGS. 11 to 13). ).
  • a map in which shading components are stored may be created, and the image may be corrected using this map.
  • the third embodiment it is possible to reduce the number of times the imaging field of view V is moved and the number of times of imaging, so that shading correction can be performed in a shorter time.
  • FIG. 17 is a schematic diagram for explaining a shading component calculation method according to the fourth embodiment.
  • the imaging field of view V is aligned with a certain area in the subject SP to capture an image M 0 , and then the imaging field of view V is shifted by the length Bw in the horizontal direction.
  • the image M 1 is acquired by performing imaging.
  • at least the central portion of the image which is a flat area is the common area of both the images M 0 and M 1 .
  • the length Bw is set so as to be included in.
  • the imaging field of view V is set twice or more in a specified block unit. There is no need to shift. Therefore, if the condition for the length Bw described above is satisfied, the imaging field of view V can be shifted by the user arbitrarily moving the stage on which the subject SP is placed in the horizontal direction. In this case, an arbitrary stage movement amount is the length Bw for one block.
  • the shift amount between a pair of images selected from a group of images continuously acquired while moving the stage in the horizontal direction may be set as the length Bw.
  • the division number of blocks in the horizontal direction is determined by dividing the horizontal length w of the image by the length Bw of one block.
  • H 1 (X 2).
  • the second-direction shading component calculation unit 121b obtains an image obtained by performing imaging while aligning the imaging field of view V with a certain area in the subject SP, and the imaging field of view V in a vertical direction with respect to this image (a predetermined distance (for example, a shading component is acquired from an image (see FIG. 7) shifted by a length Bh corresponding to one block (see FIG. 5). Even in this case, the length Bh is set so that at least the central portion of the image, which is a flat region, is included in the common region so that a sufficient common region is secured between both images.
  • the imaging field of view V is shifted by the user arbitrarily moving the stage on which the subject SP is placed in the vertical direction. May be.
  • an arbitrary stage movement amount is the length Bh for one block.
  • the shift amount between a pair of images selected from a group of images continuously acquired while moving the stage in the vertical direction may be the length Bh.
  • the division number of blocks in the vertical direction is determined by dividing the vertical length h of the image by the length Bh of one block.
  • Either the image before or after the imaging field of view V is shifted may be shared with either of the images M 0 and M 1 used by the first direction shading component calculation unit 121a. That is, substantially only one new image obtained by shifting the imaging field of view V in the vertical direction with respect to the image M 0 or M 1 may be acquired.
  • the image correction method using the normalized shading component and the non-normalized shading component in the horizontal direction and the vertical direction calculated in this way is the same as that of the first embodiment (see FIGS. 11 to 13). ).
  • a map in which shading components are stored may be created, and the image may be corrected using this map.
  • the fourth embodiment it is possible to calculate a shading component in the entire image from two sets of images having sufficient common areas in the horizontal direction and the vertical direction. Since one image of each set can be used as another image, the shading component in the entire image can be calculated from at least three images.
  • the horizontal shading component is calculated from a pair of images obtained by shifting the visual field in the horizontal direction.
  • a final horizontal shading component Sh may be acquired by calculating a plurality of horizontal shading components at the same pixel position and averaging the horizontal shading components.
  • the shift amount in the horizontal direction of a plurality of pairs of images may be arbitrary. Thereby, it is possible to suppress a reduction in accuracy of the shading component due to image degradation such as random noise, overexposure, and blackout.
  • a plurality of vertical shading components at the same pixel position are calculated from a plurality of pairs of images obtained by shifting the imaging field of view V in the vertical direction, and the vertical shading is calculated.
  • the final vertical shading component Sv may be acquired by averaging the components.
  • the texture component T (X, Y) of an arbitrary pixel in the block for which the normalized shading component is not obtained is calculated using one of Expression (5) and Expression (6).
  • the shading component calculation unit 121 may calculate a combined shading component obtained by weighting and combining the shading components used in these equations (5) and (6).
  • the denormalized shading component Sh (X, Y) calculated with reference to the block of the common area in the horizontal direction and the block of the common area in the vertical direction.
  • a shading component consisting of the normalized shading component Sv (X 0 , Y) calculated on the basis of the block (3, 3) in the flat region which is the common region is defined as a shading component Shv 1 (X, Y) (formula (Refer to (11)).
  • Shv 1 (X, Y) Sh (X, Y) ⁇ Sv (X 0 , Y) (11)
  • the non-normalized shading component Sv (X, Y) calculated with reference to the block in the common area in the vertical direction and the common in the horizontal direction of the block in the common area
  • a shading component composed of the normalized shading component Sh (X, Y 0 ) calculated on the basis of the block (3, 3) in the flat region as the region is defined as a shading component Shv 2 (X, Y) (formula ( 12)).
  • Shv 2 (X, Y) Sv (X, Y) ⁇ Sh (X, Y 0 ) (12)
  • a combined shading component S (X, Y) obtained by weighting and combining these shading components Shv 1 (X, Y) and Shv 2 (X, Y) is given by the following equation (13).
  • w (X, Y) is a weight used for combining the shading components.
  • the weight w (X, Y) can be determined based on, for example, the ratio of the sum of the edge amounts, as shown in the following equation (14). .
  • the parameter ⁇ is a normalization coefficient.
  • Edge h [] represents the sum of the horizontal edge amounts in the target region (block (X, Y) or (X, Y 0 )) of the distribution of shading components in the horizontal direction.
  • Edge v [] indicates the total sum of edge amounts in the vertical direction in the target region (block (X 0 , Y) or (X, Y)) of the distribution of shading components in the vertical direction.
  • the sum of the edge amounts in the blocks (X, Y) and (X 0 , Y) used for the calculation of the shading component Shv 1 (X, Y) is the block used for calculating the shading component Shv 2 (X, Y) (
  • the value of the weight w (X, Y) is also small. Accordingly, the contribution of the shading component Shv 1 in equation (13) is increased.
  • the second image correction unit 122b calculates the texture component T (X, Y) by the following equation (15) for the block (X, Y) for which the normalized shading component is not obtained.
  • the fifth embodiment it is possible to perform robust shading correction regardless of the direction (horizontal direction or vertical direction) in which the shading component is calculated.
  • the smooth composite shading component S is calculated by setting the weight w (X, Y) according to the equation (14).
  • a smoother combined shading component S may be generated by combining filter processing.
  • Embodiments 1 to 5 described above can also be implemented in combination with each other.
  • shading components can be calculated in the same manner as in the third embodiment. Therefore, using the shading components calculated from the three combinations, three composite shading components S (X, Y) are calculated in the same manner as in the fifth embodiment. Eventually, a combined shading component based on five images and three combined shading components S (X, Y) based on a combination of the three images are obtained for one block. By adding and averaging these four synthetic shading components S (X, Y), a more robust synthetic shading component can be obtained.
  • a shading component is calculated from nine images as in the second embodiment, and further, as in the fifth embodiment, a combined shading component S (X, Y) is calculated.
  • a shading component is calculated from the combination of three consecutive images among the nine images in the same manner as in the third embodiment, and further, as in the fifth embodiment, the combined shading component S (X , Y).
  • a more robust shading component can also be calculated by averaging these combined shading components S (X, Y).
  • FIG. 18 is a block diagram illustrating a configuration example of the image processing apparatus according to the seventh embodiment.
  • the image processing apparatus 2 according to the seventh embodiment has an image processing unit in which a flat area search unit 211 is further provided in the image processing unit 12 instead of the image processing unit 12 shown in FIG. 21 is provided.
  • the central area of the image is regarded as a flat area where the shading component is uniform, and the shading component in the area other than the central block is calculated.
  • the shading component is calculated after searching for a flat region in the image.
  • the image processing unit 21 Prior to the search for the flat area, the image processing unit 21 obtains an image obtained by performing imaging while moving the imaging field of view by a predetermined amount in each of the horizontal direction and the vertical direction, as in the first embodiment. (For example, in the case of the horizontal direction, the images M 0 to M 4 shown in FIG. 8) are fetched from the image acquisition unit 11.
  • the flat area search unit 211 detects the vertical direction image shown in FIG. 20 from the luminance of an arbitrary pixel included in the block having the same texture component among the images acquired by moving the imaging field of view V in the vertical direction. Fv is obtained and stored in the storage unit 13.
  • FIG. 21 is a schematic diagram showing the horizontal image Fh shown in FIG. 19 in units of pixels.
  • FIG. 22 is a schematic diagram showing the vertical image Fv shown in FIG. 20 in units of pixels. 21 and 22, one block (X, Y) is assumed to be composed of 5 pixels ⁇ 5 pixels for the sake of simplicity.
  • pixel coordinates are indicated by (x, y)
  • block coordinates are indicated by (X, Y).
  • the block (X, Y) for which the gradient is to be calculated is defined as ROI (X, Y).
  • the flat area search unit 211 calculates the gradient N (x, y) of the shading component given by the following equation (17) for each block (X, Y) from the horizontal image Fh and the vertical image Fv. .
  • Equation (17) represents the size (length) of each block in the horizontal direction, and is represented by the number of pixels. Further, the symbol Bh shown in the equation (17) represents the size (length) of each block in the vertical direction and is indicated by the number of pixels (see FIG. 5).
  • the shading component gradient of each block is not limited to the shading component gradient of the pixel located at the center of the ROI, but the statistical values (total value, average value, maximum value) of the shading component gradient of all pixels in the ROI. Frequency values, median values, etc.), or statistical values (same as above) of gradients of shading components in some pixels in the ROI.
  • the first direction shading component calculation unit 121a and the second direction shading component calculation unit 121b are based on the searched flat region (that is, Assuming that the shading component is 1.0), the shading component in each direction is calculated.
  • FIG. 23 is a diagram schematically illustrating the shading component Sh in the horizontal direction stored in the storage unit 13.
  • FIG. 24 is a diagram schematically illustrating the shading component Sv in the vertical direction stored in the storage unit 13. In FIG. 23 and FIG. 24, shaded hatching is added to columns and rows including flat regions.
  • the second image correction unit 122b calculates the texture component T (X, Y) in the block for which the normalized shading component is not obtained using the following equation (20) or (21).
  • the shading component in each block is calculated with 1.0 as the shading component in the searched flat region.
  • the shading component in the flat region is not 1.0.
  • the image correcting unit 122 may normalize the texture component calculated by the shading correction with a uniform gain over the entire image.
  • the block including the pixel having the smallest gradient N (x, y) is defined as a flat region.
  • a threshold for the gradient N (x, y) is set, and the gradient N (x, y) is set. All blocks in which y) is equal to or less than the threshold may be set as a flat area.
  • the final shading component may be calculated by weighting and combining the shading components calculated on the basis of each flat region based on the value of the gradient N (x, y).
  • FIG. 25 is a diagram illustrating a configuration example of a microscope system according to the eighth embodiment.
  • the microscope system 6 according to the eighth embodiment includes a microscope device 3, an image processing device 4, and a display device 5.
  • the microscope apparatus 3 includes a substantially C-shaped arm 300 provided with an epi-illumination unit 301 and a transmission illumination unit 302, a sample stage 303 attached to the arm 300 and on which a subject SP to be observed is placed, a mirror An objective lens 304 provided on one end side of the tube 305 so as to face the sample stage 303 via the trinocular tube unit 308, an imaging unit 306 provided on the other end side of the lens tube 305, and the sample stage 303 And a stage position changing unit 307 to be moved.
  • the trinocular tube unit 308 branches the observation light of the subject SP incident from the objective lens 304 into an imaging unit 306 and an eyepiece unit 309 described later.
  • the eyepiece unit 309 is for the user to directly observe the subject SP.
  • the epi-illumination unit 301 includes an epi-illumination light source 301a and an epi-illumination optical system 301b, and irradiates the subject SP with epi-illumination light.
  • the epi-illumination optical system 301b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the epi-illumination light source 301a and guide it in the direction of the observation optical path L.
  • the transmitted illumination unit 302 includes a transmitted illumination light source 302a and a transmitted illumination optical system 302b, and irradiates the subject SP with transmitted illumination light.
  • the transmission illumination optical system 302b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the transmission illumination light source 302a and guide it in the direction of the observation optical path L.
  • the objective lens 304 is attached to a revolver 310 that can hold a plurality of objective lenses having different magnifications (for example, objective lenses 304 and 304 ′). By rotating the revolver 310 and changing the objective lenses 304 and 304 ′ facing the sample stage 303, the imaging magnification can be changed.
  • a revolver 310 that can hold a plurality of objective lenses having different magnifications (for example, objective lenses 304 and 304 ′).
  • a zoom unit including a plurality of zoom lenses and a drive unit (none of which is shown) that changes the positions of these zoom lenses.
  • the zoom unit enlarges or reduces the subject image within the imaging field of view by adjusting the position of each zoom lens.
  • An encoder may be further provided in the drive unit in the lens barrel 305. In this case, the output value of the encoder may be output to the image processing device 4, and the image processing device 4 may detect the position of the zoom lens from the output value of the encoder and automatically calculate the imaging magnification.
  • the imaging unit 306 includes an imaging device such as a CCD or CMOS, and has pixel levels (pixel values) in each band of R (red), G (green), and B (blue) in each pixel included in the imaging device. This is a camera that can capture a color image, and operates at a predetermined timing in accordance with the control of the imaging control unit 111 of the image processing apparatus 4.
  • the imaging unit 306 receives light (observation light) incident from the objective lens 304 via the optical system in the lens barrel 305, generates image data corresponding to the observation light, and outputs the image data to the image processing device 4.
  • the imaging unit 306 may convert the pixel value represented in the RGB color space into a pixel value represented in the YCbCr color space and output the pixel value to the image processing device 4.
  • the stage position changing unit 307 includes, for example, a ball screw (not shown) and a stepping motor 307a, and changes the imaging field of view by moving the position of the sample stage 303 in the XY plane. Further, the stage position changing unit 307 focuses the objective lens 304 on the subject SP by moving the sample stage 303 along the Z axis. Note that the configuration of the stage position changing unit 307 is not limited to the configuration described above, and for example, an ultrasonic motor or the like may be used.
  • the position of the optical system including the objective lens 304 is fixed, and the imaging field of view for the subject SP is changed by moving the sample stage 303 side.
  • the objective lens 304 is used as the optical axis.
  • a moving mechanism for moving in an orthogonal plane may be provided, the specimen stage 303 may be fixed, and the objective lens 304 side may be moved to change the imaging field of view.
  • both the specimen stage 303 and the objective lens 304 may be relatively moved.
  • the image processing apparatus 4 includes an image acquisition unit 11, an image processing unit 41, and a storage unit 13. Among these, the configurations and operations of the image acquisition unit 11 and the storage unit 13 are the same as those in the first embodiment (see FIG. 1).
  • the drive control unit 112 indicates the position of the sample stage 303 by instructing the drive coordinates of the sample stage 303 at a predetermined pitch based on the value of the scale mounted on the sample stage 303. Although the control is performed, the position control of the specimen stage 303 may be performed based on the result of image matching such as template matching based on the image acquired by the microscope apparatus 3.
  • the imaging field of view V is moved in the horizontal direction within the plane of the subject SP and then moved in the vertical direction, the control of the sample stage 303 is very easy.
  • the image processing unit 41 further includes a VS image creation unit 411 with respect to the image processing unit 12 shown in FIG.
  • the VS image creation unit 411 creates a virtual slide (VS) image based on the plurality of images subjected to the shading correction by the image correction unit 122.
  • the virtual slide image is a wide-field image created by pasting together a plurality of images having different imaging fields of view, and the microscope system 6 has a virtual slide image creation function.
  • an image captured by the microscope apparatus 3 is to be pasted as it is, an unnatural boundary occurs at the joint where the images are pasted due to the influence of shading that occurs according to the characteristics of the optical system. . Therefore, in the eighth embodiment, the images after the shading correction by the image correction unit 122 are pasted together.
  • the configurations and operations of the shading component calculation unit 121 and the image correction unit 122 are the same as those in the first embodiment.
  • the shading component calculation unit 121 and the image correction unit 122 may be operated as in any of the second to fifth embodiments.
  • a flat area search unit 211 may be further provided.
  • the image acquisition unit 11 and the image processing unit 12 may be configured by dedicated hardware, or may be configured by reading a predetermined program into hardware such as a CPU.
  • a control program for causing the image acquisition unit 11 to perform control of an imaging operation for the microscope apparatus 3 to be described later, an image processing program for causing the image processing unit 12 to perform image processing including shading correction, and the like may be stored in the storage unit 13.
  • the display device 5 is configured by a display device such as an LCD, an EL display, or a CRT display, for example, and displays an image output from the image processing device 4 and related information.
  • a display device such as an LCD, an EL display, or a CRT display, for example, and displays an image output from the image processing device 4 and related information.
  • FIG. 26 is a schematic diagram for explaining an operation of acquiring a plurality of images according to the eighth embodiment.
  • imaging is performed with the imaging field of view moving at a narrower pitch (for example, set to length Bh).
  • a narrower pitch for example, set to length Bh.
  • the moving direction of the imaging field when acquiring the image for creating the virtual slide image and the moving direction of the imaging field when acquiring the image for calculating the shading component are common. Therefore, these images can be acquired efficiently without wastefully moving the specimen stage 303. In addition, since some of the images for creating the virtual slide image can be used for creating the shading component, the number of times of imaging can be reduced.
  • the position for acquiring the shading component calculation can be arbitrarily set.
  • shading component calculation images may be acquired at a plurality of locations on the image acquisition path for creating a virtual slide image, and the shading components calculated for each location where the images are acquired may be combined. In this case, robustness in shading correction can be improved by using the combined shading component.
  • the image for virtual slide image creation may be aligned by the value of the scale provided on the stage, the number of pulses of the stepping motor 307a, image matching, or a combination thereof.
  • the imaging visual field V is simply moved in two directions in the plane of the subject SP, such alignment can be easily performed.
  • the present invention is not limited to the above-described first to eighth embodiments, and various inventions are formed by appropriately combining a plurality of constituent elements disclosed in the first to eighth embodiments. be able to. For example, some components may be excluded from all the components shown in the first to eighth embodiments. Or you may form combining the component shown in different embodiment suitably.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

　短時間且つ高精度にシェーディング補正を行うことができる画像処理装置等を提供する。画像処理装置は、互いに異なる第１及び第２の方向のそれぞれにおいて他の画像との間で被写体の一部が共通する第１及び第２の画像群を取得する画像取得部１１と、各画像群において、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部１２１と、画像内の領域に対してシェーディング補正を行う画像補正部１２２とを備え、上記シェーディング成分は、平坦領域における輝度を基準とする正規化シェーディング成分と、平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、画像補正部は正規化シェーディング成分及び非正規化シェーディング成分をもとにシェーディング補正を行う。

Description

画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
　本発明は、標本等を撮像することにより取得した画像に画像処理を施す画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムに関する。
　近年、スライドガラス上に載置された標本を写した画像を電子データとして記録し、パーソナルコンピュータ等のモニタ上においてユーザが該画像を観察できるようにした、所謂バーチャルスライド技術が知られている。バーチャルスライド技術においては、顕微鏡により拡大された標本の一部の画像を順次貼り合わせることにより、標本全体が写った高解像度の画像を構築する。つまり、バーチャルスライド技術は、同一被写体に対して異なる視野の画像を複数枚取得し、これらの画像をつなぎ合わせることで、被写体に対する視野を拡大した画像を生成する技術である。
　ところで、顕微鏡は、標本を照明する光源及び標本の像を拡大する光学系を備える。この光学系の後段には、拡大された標本の像を電子的なデータに変換する撮像素子が設けられる。このため、光源の照度ムラや光学系の不均一性、さらには、撮像素子の特性のムラ等に起因して、取得した画像に明度ムラが発生するという問題がある。この明度ムラはシェーディングと呼ばれ、通常、光学系の光軸の位置に対応する画像の中心から遠ざかるに従って暗くなる。そのため、複数の画像を貼り合わせてバーチャルスライド画像を作成する場合、画像のつなぎ目に不自然な境界が生じてしまう。また、複数の画像を貼り合わせることによりシェーディングが繰り返されるため、あたかも標本に周期的な模様が存在しているかのように見えてしまう。
　このような問題に対し、シェーディングのパターンを較正画像として予め取得し、該較正画像に基づいて、標本が写った画像を補正するシェーディング補正技術が知られている。例えば特許文献１には、透過照明観察の際には光学系の画角外に標本を退避させた状態で撮像を行い、落射照明観察の際には光学系の画角内に反射部材を配置した状態で撮像を行うことで取得した画像を較正画像として使用するシェーディング補正技術が開示されている。
　また、特許文献２には、蛍光観察の際に、均一な蛍光試料を較正試料として撮像を行うことでシェーディング補正用のデータを取得する方法が開示されている。
　特許文献３には、試料の所定視野範囲の画像である基準視野画像を撮像すると共に、試料の位置を光学系に対して相対的に移動させて、所定視野範囲内の所定領域を含み、所定視野範囲と互いに異なる周辺視野範囲の画像である周辺視野画像を複数撮像し、基準視野画像と周辺視野画像とに基づいて基準視野画像の各画素の補正ゲインを算出する技術が開示されている。
特開２００６－１７１２１３号公報 特開２００８－５１７７３号公報 特開２０１３－２５７４２２号公報
　しかしながら、較正画像を取得するために観察中の標本を一旦退避させる、或いは反射部材を別途配置する場合、作業が煩雑となり、非常に手間がかかると共に、撮像時間が延びてしまう。この点について、特許文献１においては、標本を退避させるための駆動機構等、較正画像を取得するための専用の機能が設けられている。しかしながら、このような機能は一般的な顕微鏡には元来設けられていないため、実用化しようとすると構成が複雑になると共に、大幅なコスト増を招いてしまう。
　また、特許文献２のように較正試料を用いる場合、較正試料の配置及び退避等の作業が生じる他、損壊やゴミの付着等がないように較正試料を管理する必要があり、余計な手間がかかってしまう。さらに、蛍光観察の際に較正試料として使用できる均一な蛍光試料を作製すること自体が非常に困難であるため、シェーディングを高精度に補正することも難しい。
　さらに、特許文献３においては、試料を移動させて撮像を行う回数や、基準視野画像と周辺視野画像との組み合わせごとに行われるシェーディング補正に要する時間を削減することについては考慮されていない。
　本発明は、上記に鑑みてなされたものであり、簡易な構成で、短時間且つ高精度にシェーディング補正を行うことができる画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる第１及び第２の方向のそれぞれにおいて、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群を取得する画像取得部と、前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部と、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正部と、を備え、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正部は、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分算出部は、前記第１の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第２の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第１シェーディング成分算出部と、前記第２の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第１の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第２シェーディング成分算出部と、を備えることを特徴とする。
　上記画像処理装置において、前記画像補正部は、前記画像内の領域のうち、前記正規化シェーディング成分が算出された領域である第１の領域に対し、該正規化シェーディング成分を用いてシェーディング補正を行う第１画像補正部と、前記画像内の領域のうち、前記正規化シェーディング成分が算出されていない領域である第２の領域に対し、該第２の領域について算出された前記非正規化シェーディング成分と、該非正規化シェーディング成分を算出する際に基準とされた領域について算出された前記正規化シェーディング成分とを用いて、前記シェーディング補正を行う第２画像補正部と、を備えることを特徴とする。
　上記画像処理装置において、前記第２画像補正部は、前記第１及び第２の画像群の一方から算出された前記非正規化シェーディング成分と、前記第１及び第２の画像群の他方から算出された正規化シェーディング成分とを用いて、前記シェーディング補正を行う、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分算出部は、前記１の画像内の一部の領域に関するシェーディング成分が既知である場合に、該一部の領域における輝度と、前記一部の領域に対して共通の被写体が写った前記他の画像内の領域における輝度と、既知である前記シェーディング成分と、を用いて、前記他の画像内の領域に関するシェーディング成分を算出する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせに基づいて、複数の前記他の画像内の領域に関するシェーディング成分をそれぞれ算出し、算出した複数の該シェーディング成分を加算平均する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせであって、前記１の画像と前記他の画像との間で共通の被写体が写った領域である共通領域におけるテクスチャ成分が互いに異なる複数の組み合わせに基づいて、前記シェーディング成分を算出する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記複数の画像間で対応する領域における輝度を累積加算し、該累積加算した値を用いて、前記シェーディング成分を算出する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分算出部は、前記複数の組み合わせに基づいて複数のシェーディング成分をそれぞれ算出し、該複数のシェーディング成分を加算平均する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分算出部は、前記画像内の領域に対して前記第１及び第２の画像群に基づいてそれぞれ算出された２つの非正規化シェーディング成分と、該２つの非正規化シェーディング成分をそれぞれ算出する際に基準とされた２つの領域に対してそれぞれ算出された２つの正規化シェーディング成分とを用いて、前記画像内の領域におけるシェーディング成分を算出する、ことを特徴とする。
　上記画像処理装置は、前記１の画像と前記他の画像との間で共通の被写体が写った領域に含まれる画素の輝度の勾配に基づいて前記平坦領域を探索する平坦領域探索部をさらに備える、ことを特徴とする。
　上記画像処理装置において、前記第１及び第２の方向は互いに直交する、ことを特徴とする。
　本発明に係る撮像装置は、前記画像処理装置と、前記被写体の像を生成する光学系と、前記被写体と前記光学系との少なくとも一方を移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、前記被写体を撮像する撮像手段と、を備え、前記画像取得部は、前記移動手段に前記視野を前記第１及び第２の方向にそれぞれ移動させながら、前記撮像手段に撮像を実行させる制御を行うことにより、前記第１及び第２の画像群をそれぞれ取得する、ことを特徴とする。
　本発明に係る顕微鏡システムは、前記撮像装置と、前記被写体を載置するステージと、を備え、前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させる、ことを特徴とする。
　上記顕微鏡システムにおいて、前記画像処理装置は、前記第１及び第２の画像群に含まれる前記視野が隣り合う画像同士を貼り合わせることによりバーチャルスライド画像を作成するバーチャルスライド作成部をさらに備える、ことを特徴とする。
　本発明に係る画像処理方法は、互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、を含み、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。
　本発明に係る画像処理プログラムは、互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、をコンピュータに実行させ、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。
　本発明によれば、第１及び第２の方向において少なくとも他の１枚の画像との間で被写体の一部が共通する第１及び第２の画像群をそれぞれ取得し、該第１及び第２の画像群の各々において、平坦領域を含む領域における輝度をもとに正規化シェーディング成分及び非正規化シェーディング成分を算出し、これらの正規化シェーディング成分及び非正規化シェーディング成分を用いて画像内の領域のシェーディング補正を行うので、シェーディング成分の算出に必要な画像の枚数を低減することができ、簡易な構成で、短時間且つ高精度にシェーディング補正を行うことが可能となる。
図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。 図２は、図１に示す画像取得部の動作を説明するための模式図である。 図３は、図１に示す画像処理部が実行する画像処理の原理を説明するための模式図である。 図４は、図１に示す画像処理装置の動作を示すフローチャートである。 図５は、撮像を１回行うごとに撮像視野を移動させる移動量を説明するための模式図である。 図６は、被写体の撮像方法を説明するための模式図である。 図７は、被写体の撮像方法を説明するための模式図である。 図８は、撮像視野を水平方向に移動させながら５回撮像を行うことにより取得された５枚の画像を示す模式図である。 図９は、図１に示す記憶部に記憶された水平方向におけるシェーディング成分を示す模式図である。 図１０は、図１に示す記憶部に記憶された垂直方向におけるシェーディング成分を示す模式図である。 図１１は、図１に示す画像補正部が実行する画像の補正処理を説明するための模式図である。 図１２は、図１に示す画像補正部が実行する画像の補正処理を詳細に示すフローチャートである。 図１３は、図１に示す第２画像補正部が実行するシェーディング補正処理の別の例を説明するための模式図である。 図１４は、本発明の実施の形態２においてシェーディング成分の算出に用いられる画像の撮像方法を説明するための模式図である。 図１５は、本発明の実施の形態２におけるシェーディング成分の算出方法を説明するための模式図である。 図１６は、本発明の実施の形態３におけるシェーディング成分の算出方法を説明するための模式図である。 図１７は、本発明の実施の形態４におけるシェーディング成分の算出方法を説明するための模式図である。 図１８は、本発明の実施の形態７に係る画像処理装置の構成例を示すブロック図である。 図１９は、図１８に示す平坦領域探索部が作成する水平方向画像を示す模式図である。 図２０は、図１８に示す平坦領域探索部が作成する垂直方向画像を示す模式図である。 図２１は、図１９に示す水平方向画像を画素単位で示す模式図である。 図２２は、図２０に示す垂直方向画像を画素単位で示す模式図である。 図２３は、図１８に示す記憶部に記憶された水平方向におけるシェーディング成分を模式的に示す図である。 図２４は、図１８に示す記憶部に記憶された垂直方向におけるシェーディング成分を模式的に示す図である。 図２５は、本発明の実施の形態８に係る顕微鏡システムの構成例を示す図である。 図２６は、本発明の実施の形態８における複数の画像の取得動作を説明するための模式図である。
　以下、本発明に係る画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。図１に示すように、実施の形態１に係る画像処理装置１は、観察対象である被写体が写った画像を取得する画像取得部１１と、該画像に画像処理を施す画像処理部１２と、記憶部１３とを備える。
　画像取得部１１は、被写体に対する撮像視野が互いに異なる複数の画像を取得する。画像取得部１１は、このような複数の画像を、撮像装置から直接取得しても良いし、ネットワークや記憶装置等を介して取得しても良い。実施の形態１において、画像取得部１１は、撮像装置から画像を直接取得するものとする。なお、撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であっても良いし、デジタルカメラであっても良い。
　図２は、画像取得部１１の動作を説明するための模式図であり、撮像装置の光学系３０と、被写体ＳＰと、光学系３０の撮像視野Ｖとを示している。図２においては、被写体ＳＰにおける撮像視野Ｖの位置を明確にするため、便宜上、被写体ＳＰ及び撮像視野Ｖの紙面手前から光学系３０の位置をずらし、被写体ＳＰの外側に光学系３０の側面を図示して撮像視野Ｖとの位置関係を示している。以下においては、撮像視野Ｖを含む平面において、該撮像視野Ｖの１つの辺と平行な方向（図２の左右方向）を水平方向とし、該１つの辺と直交する方向（図２の上下方向）を垂直方向とする。
　画像取得部１１は、撮像装置の撮像動作を制御する撮像制御部１１１と、被写体ＳＰに対して撮像視野Ｖの位置を変化させる制御を行う駆動制御部１１２とを備える。駆動制御部１１２は、光学系３０と被写体ＳＰとのいずれか又は両方を相対的に移動させることにより、被写体ＳＰに対する撮像視野Ｖの位置を変化させる。撮像制御部１１１は、駆動制御部１１２の制御動作と連動して、所定のタイミングで撮像装置に撮像を実行させ、該撮像装置から撮像視野Ｖ内の被写体が写った画像Ｍを取り込む。
　本実施の形態１においては、互いに直交する水平方向及び垂直方向の２方向に撮像視野Ｖを移動させる例を説明するが、撮像視野Ｖの移動方向は、互いに異なる２方向であれば、水平方向及び垂直方向に限定されない。また、撮像視野Ｖを移動させる２方向は、必ずしも直交している必要はない。
　図３は、画像処理部１２が実行する画像処理の原理を説明するための模式図である。図３（ａ）～（ｃ）に示す座標（ｘ，ｙ）は、画像Ｍを構成する各画素の位置を示す。図３（ａ）に示すように、撮像装置により取得された画像Ｍには、中央の一部の領域を除き、光源の照度ムラや、光学系の不均一性や、撮像素子の特性のムラ等に起因する明度ムラ、あるいは色ムラが生じている。この明度ムラや色ムラはシェーディングと呼ばれる。図３（ａ）に示す画像Ｍを構成する各画素の輝度Ｉ（ｘ，ｙ）は、図３（ｂ）に示すシェーディングが生じていない本来の被写体像を表す成分（以下、テクスチャ成分と記す）Ｔ（ｘ，ｙ）に対して、図３（ｃ）に示すシェーディング成分Ｓ（ｘ，ｙ）が掛け合わされたものであり、Ｉ（ｘ，ｙ）＝Ｔ（ｘ，ｙ）×Ｓ（ｘ，ｙ）と表すことができる。ここで、輝度Ｉ（ｘ，ｙ）、テクスチャ成分Ｔ（ｘ，ｙ）、シェーディング成分Ｓ（ｘ，ｙ）は、各座標における各色信号での輝度、テクスチャ成分、シェーディング成分とするが、各色信号に基づき合成された信号の輝度、テクスチャ成分、シェーディング成分としてもよい。
　画像処理部１２は、画像取得部１１が取得した複数の画像を用いて、画像に生じているシェーディングを補正する画像処理を実行する。詳細には、画像処理部１２は、画像Ｍ（ｘ，ｙ）に生じているシェーディング成分を算出するシェーディング成分算出部１２１と、該シェーディング成分を用いてシェーディング補正を行う画像補正部１２２とを備える。
　このうち、シェーディング成分算出部１２１は、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂを備える。第１方向シェーディング成分算出部１２１ａは、被写体ＳＰに対する撮像視野Ｖを第１の方向（例えば水平方向）に移動させることにより取得された複数の画像から、シェーディング成分を算出する。一方、第２方向シェーディング成分算出部１２１ｂは、被写体ＳＰに対する撮像視野Ｖを第２の方向（例えば垂直方向）に移動させることにより取得された複数の画像から、シェーディング成分を算出する。
　画像補正部１２２は、第１画像補正部１２２ａ及び第２画像補正部１２２ｂを備える。第１画像補正部１２２ａは、画像取得部１１により取得された画像内の一部の領域に対し、第１方向シェーディング成分算出部１２１ａにより算出されたシェーディング成分と、第２方向シェーディング成分算出部１２１ｂにより算出されたシェーディング成分とのいずれか一方を用いて、シェーディング補正を行う。一方、第２画像補正部１２２ｂは、上記画像のうち、第１画像補正部１２２ａにより補正されなかった領域に対し、第１方向シェーディング成分算出部１２１ａにより算出されたシェーディング成分と、第２方向シェーディング成分算出部１２１ｂにより算出されたシェーディング成分との両方を用いて、シェーディング補正を行う。第１画像補正部１２２ａ及び第２画像補正部１２２ｂが補正対象とする領域及び具体的な補正処理については後述する。
　記憶部１３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記憶装置によって構成される。記憶部１３は、画像取得部１１が撮像装置の制御に用いる種々のパラメータや、画像処理部１２により画像処理が施された画像の画像データや、画像処理部１２が算出した種々のパラメータ等を記憶する。
　上記画像取得部１１及び画像処理部１２は、専用のハードウェアによって構成しても良いし、ＣＰＵ及び該ＣＰＵに所定の処理を実行させるプログラムによって構成しても良い。後者の場合、画像取得部１１及び画像処理部１２に所定の処理を実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を記憶部１３に記憶させても良い。或いは、ハードディスク、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体及び該記録媒体に対して情報の書き込み及び読み取りを行う書込読取装置等を含む記憶装置を、データ通信端子を介して画像処理装置１に接続し、この記憶装置に、上記画像処理プログラムやパラメータを記憶させても良い。
　次に、画像処理装置１の動作を説明する。図４は、画像処理装置１の動作を示すフローチャートである。以下においては、一例として、図２に示す被写体ＳＰが写った画像を取得し、該画像に対して補正処理を行うこととする。
　まず、ステップＳ１において、画像取得部１１は、撮像視野Ｖを互いに異なる２つの方向に所定量ずつ移動させながら被写体ＳＰを撮像することにより生成された複数の画像を取得する。詳細には、駆動制御部１１２が、被写体ＳＰと光学系３０とのいずれかを移動させることにより撮像視野Ｖを所定方向に移動させ、撮像制御部１１１が、撮像視野Ｖの移動方向において、少なくとも他の１枚の画像との間で撮像視野Ｖの一部が重なるように制御を行う。以下においては、撮像視野Ｖを水平方向及び垂直方向にそれぞれ移動させることとする。
　図５は、撮像を１回行うごとに撮像視野Ｖを移動させる移動量を説明するための模式図である。撮像１回当たりの撮像視野Ｖの移動量は、撮像視野Ｖを所定サイズの複数のブロックに分割した場合の該ブロックの１辺の長さに設定される。例えば図５に示すように、サイズがｗ×ｈ（ｗ、ｈは各辺の長さ）の撮像視野Ｖを５×５＝２５個のブロックに分割した場合、撮像視野Ｖの１回当たりの移動量は、水平方向については長さＢｗ＝ｗ／５、垂直方向については長さＢｈ＝ｈ／５となる。撮像視野Ｖを分割した各ブロックのサイズは、画像内でシェーディングがほとんど生じておらず、シェーディング成分が一定とみなせる平坦領域（後述）のサイズや、要求されるシェーディング補正の精度等に応じて決定することができる。なお、水平方向及び垂直方向における撮像視野Ｖの分割数は、同じであっても良いし、異なっていても良い。以下においては、図５に示すように、画像内の各ブロックの座標を（Ｘ，Ｙ）で示す。本実施の形態１においては、１≦Ｘ≦５、１≦Ｙ≦５である。
　図６及び図７は、被写体ＳＰの撮像方法を説明するための模式図である。図６及び図７においては、被写体ＳＰにおける撮像視野Ｖの位置を明確にするため、便宜上、被写体ＳＰ及び撮像視野Ｖの紙面手前から光学系３０の位置をずらし、被写体ＳＰの外側に光学系３０の側面を図示して各位置における撮像視野Ｖとの位置関係を示している。
　画像取得部１１は、図６に示すように、撮像視野Ｖが水平方向に長さＢｗだけ移動するごとに撮像を実行させることにより、直前に生成された画像との間で撮像視野Ｖの一部が重複する複数の画像Ｍj（ｊ＝０、１、２、…）を順次取得する。図８は、撮像視野Ｖを水平方向に移動させながら５回撮像を行うことにより取得された５枚の画像Ｍ0～Ｍ4を示す模式図である。図８においては、画像Ｍ0～Ｍ4を撮像順に沿って縦に並べると共に、テクスチャ成分が共通であるブロックが縦に揃うように、左右にずらして配置している。
　また、画像取得部１１は、図７に示すように、撮像視野Ｖが垂直方向に長さＢｈだけ移動するごとに撮像を実行させることにより、直前に取得された画像との間で撮像視野Ｖの一部が重複する複数の画像Ｍk（ｋ＝０、１、２、…）を順次取得する。
　なお、被写体ＳＰに対して撮像視野Ｖの位置を変化させる際には、被写体ＳＰの位置を固定し、光学系３０側を移動させても良いし、光学系３０の位置を固定し、被写体ＳＰ側を移動させても良い。或いは、被写体ＳＰと光学系３０との両方を、互いに反対方向に移動させることとしても良い。
　また、撮像視野Ｖを水平方向に移動させて取得した複数の画像Ｍjと、撮像視野Ｖを垂直方向に移動させて取得した複数の画像Ｍkとの間では、撮像視野Ｖ内の被写体の全部又は一部が同一の画像を含んでいても良いし、被写体の全部又は一部が同一の画像を全く含んでいなくても良い。
　続くステップＳ２において、シェーディング成分算出部１２１は、ステップＳ１において取得された複数の画像を取り込み、これらの画像を用いて、水平方向、垂直方向の方向別にシェーディング成分を算出する。
　ここで、シェーディング成分の算出は、通常、画像内でシェーディング成分がほとんど生じておらず、シェーディング成分の変化がほとんど見られない領域（以下、平坦領域という）における輝度を基準として行われる。具体的には、シェーディング成分の算出対象の領域に含まれる各画素の輝度を、該算出対象の領域と共通のテクスチャ成分を有する平坦領域に含まれる各画素の輝度によって除することで、シェーディング成分が得られる。
　これに対し、本実施の形態１においては、平坦領域を含むブロックの列、又は行における輝度を基準として、列ごと、又は行ごとにシェーディング成分の算出を行う。例えば、撮像視野Ｖを水平方向に１ブロックずつ移動させて取得した画像間においては、水平方向において、列単位で共通領域が生じる。従って、この場合には、平坦領域を含み、該平坦領域に対して垂直方向に並ぶ列のブロックにおける輝度をもとに、シェーディング成分を算出する。以下、このように、水平方向において生じる共通領域に基づいて算出されたシェーディング成分（輝度の比）を、水平方向におけるシェーディング成分ともいう。一方、撮像視野Ｖを垂直方向に１ブロックずつ移動させて取得した画像間においては、垂直方向において、行単位で共通領域が生じる。従って、この場合には、平坦領域を含み、該平坦領域に対して水平方向に並ぶ行のブロックにおける輝度をもとに、シェーディング成分を算出する。以下、このように、垂直方向において生じる共通領域に基づいて算出されたシェーディング成分（輝度の比）を、垂直方向におけるシェーディング成分ともいう。
　また、本実施の形態１においては、図３（ｃ）に示すように、画像の中央部分に平坦領域が存在し、シェーディング成分が同心円状に変化するものとして、処理を行う。具体的には、画像Ｍを分割したブロック（１，１）～（５，５）のうち、中央のブロック（３，３）が平坦領域であるものとする。
　まず、第１方向シェーディング成分算出部１２１ａは、図８に示す画像Ｍ0～Ｍ4のうちのある画像から平坦領域のブロック（３，３）を含む列を抽出すると共に、別の画像から、これらのブロックと同じ被写体が写ったブロック（即ち、共通領域）を抽出し、両画像から抽出したブロック間で位置が対応する画素同士の輝度を用いて、水平方向におけるシェーディング成分を算出する。
　具体的には、画像Ｍ0の第１列Ｒ0（Ｘ＝１）に含まれるブロック（１，１）、（１，２）、（１，３）、（１，４）、（１，５）と、画像Ｍ2の第３列Ｒ2（Ｘ＝３）に含まれるブロック（３，１）、（３，２）、（３，３）、（３，４）、（３，５）とは共通領域であるため、これらのブロックの間では位置が対応する画素同士のテクスチャ成分が共通である。従って、第１列のブロック内の各画素におけるシェーディング成分は、画像Ｍ0の第１列Ｒ0（Ｘ＝１）のブロック内の当該画素の輝度を、画像Ｍ2の第３列Ｒ2（Ｘ＝３）のブロック内の画素であって、位置が対応する画素の輝度で除することによって算出される。
　以下において、ブロック（１，１）、（１，２）、（１，３）、（１，４）、（１，５）内の任意の画素におけるシェーディング成分を、シェーディング成分Ｓｈ（１，１）、Ｓｈ（１，２）、Ｓｈ（１，３）、Ｓｈ（１，４）、Ｓｈ（１，５）と表す。また、画像Ｍ0のブロック（１，１）、（１，２）、（１，３）、（１，４）、（１，５）内の任意の画素の輝度を、輝度Ｈ0（１，１）、Ｈ0（１，２）、Ｈ0（１，３）、Ｈ0（１，４）、Ｈ0（１，５）と表す。また、画像Ｍ2の第３列のブロック（３，１）、（３，２）、（３，３）、（３，４）、（３，５）内の任意の画素の輝度を、輝度Ｈ2（３，１）、Ｈ2（３，２）、Ｈ2（３，３）、Ｈ2（３，４）、Ｈ2（３，５）と表す。これより、各ブロック（１，１）～（１，５）内の任意の画素におけるシェーディング成分Ｓｈ（１，１）～Ｓｈ（１，５）は、次式（１ａ）～（１ｅ）によって与えられる。
Figure JPOXMLDOC01-appb-M000001
　式（１ａ）～（１ｅ）は、各ブロック内の任意の画素におけるシェーディング成分が、右辺の分子に記載されたブロック内の当該画素の輝度を、分母に記載されたブロック内の位置が対応する画素の輝度によって除することにより与えられることを示す。以下においては、式（１ａ）～（１ｅ）に示すように、異なるブロック間において位置が対応する画素同士に関する演算を、ブロック同士の演算式の形式で包括的に表す。
　また、これらの式（１ａ）～（１ｅ）をまとめて、第１列のブロック（Ｘ＝１）内の任意の画素におけるシェーディング成分を、画像Ｍ1の第１列のブロック内の当該画素における輝度Ｈ0（Ｘ＝１）と、画像Ｍ2の第３列のブロック内の位置が対応する画素の輝度Ｈ2（Ｘ＝３）とを用いて、次式（１－１）の形式で示す。
Figure JPOXMLDOC01-appb-M000002
　式（１－１）は、第１列の各ブロック内の任意の画素におけるシェーディング成分Ｓｈ（１，１）、Ｓｈ（１，２）、Ｓｈ（１，３）、Ｓｈ（１，４）、Ｓｈ（１，５）（これらを包括してＳｈ（Ｘ＝１）と記す）が、それぞれ、画像Ｍ0の第１列において任意の画素の輝度Ｈ0（１，１）、Ｈ0（１，２）、Ｈ0（１，３）、Ｈ0（１，４）、Ｈ0（１，５）（これらを包括してＨ0（Ｘ＝１）と記す）を、画像Ｍ2の第３列において位置が対応する画素の輝度Ｈ2（３，１）、Ｈ2（３，２）、Ｈ2（３，３）、Ｈ2（３，４）、Ｈ2（３，５）（これらを包括してＨ2（Ｘ＝３）と記す）によって除することにより与えられることを示す。
　同様に、第２～５列の各ブロック内の任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝３）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）も、次式（１－２）、（１－３）、（１－４）、（１－５）によってそれぞれ与えられる。なお、式（１－３）に示すように、第３列のブロック内の各画素におけるシェーディング成分Ｓｈ（Ｘ＝３）は、同一ブロック内の同一画素の輝度同士の演算となるため、１．０となる。
Figure JPOXMLDOC01-appb-M000003
　このようにして算出されたシェーディング成分Ｓｈ（Ｘ＝１）～Ｓｈ（Ｘ＝５）は、記憶部１３の所定の記憶領域に順次記憶される。図９は、該記憶部１３に記憶された水平方向におけるシェーディング成分Ｓｈを示す模式図である。なお、図９においては、中央の平坦領域を含む列（即ち、シェーディング成分の算出の基準に用いられた列）に斜線の網掛けを附している。
　ここで、図９に示すシェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第３行のブロック内の任意の画素におけるシェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，３）は、平坦領域であるブロック（３，３）内の位置が対応する画素の輝度を基準として算出されたものである。そこで、以下においては、平坦領域のブロック内の画素の輝度を用いて算出されたシェーディング成分のことを、正規化シェーディング成分という。
　これに対し、シェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第１、２、４、５行のブロック内の任意の画素におけるシェーディング成分は、第３列のうちでも平坦領域以外のブロック（３，１）、（３，２）、（３，４）、（３，５）内の位置が対応する画素の輝度を基準としてそれぞれ算出されたものである。例えば、式（１ａ）に示すように、ブロック（１，１）のシェーディング成分Ｓｈ（１，１）は、ブロック（３，１）内の画素の輝度Ｈ2（３，１）を用いて算出されている。以下においては、平坦領域以外のブロック内の画素の輝度を用いて算出されたシェーディング成分のことを、非正規化シェーディング成分という。
　同様にして、第２方向シェーディング成分算出部１２１ｂは、撮像視野Ｖを垂直方向に長さＢｈずつ移動させながら被写体ＳＰを５回撮像することにより取得された５枚の画像に基づいて、垂直方向におけるシェーディング成分を算出する。即ち、これらの５枚の画像のうちのある画像から平坦領域のブロック（３，３）を含む行を抽出すると共に、別の画像から、これらのブロックと同じ被写体が写ったブロック（共通領域）を抽出し、両画像から抽出したブロック間で位置が対応する画素同士の輝度を用いて、垂直方向におけるシェーディング成分を算出する。
　図１０は、記憶部１３に記憶された垂直方向におけるシェーディング成分Ｓｖを示す模式図である。なお、図１０においては、中央の平坦領域を含む行（即ち、シェーディング成分の算出の基準に用いられた行）に斜線の網掛けを附している。
　ここで、図１０に示すシェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第３列のブロック内の任意の画素におけるシェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）は、平坦領域であるブロック（３，３）内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分である。これに対し、シェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第１、２、４、５列のブロック内の任意の画素におけるシェーディング成分は、第３行のうちでも平坦領域以外のブロック（１，３）、（２，３）、（４，３）、（５，３）内の位置が対応する画素の輝度を用いて算出された非正規化シェーディング成分である。
　なお、上記説明においては、ステップＳ１で水平方向及び垂直方向の各々に撮像視野を移動させて画像を取得した後、ステップＳ２で水平方向及び垂直方向におけるシェーディング成分の算出を順次行っているが、処理の順序はこれに限定されない。例えば、水平方向に撮像視野を移動させて画像を取得した後、この取得した画像を用いて水平方向におけるシェーディング成分の算出を行い、続いて、垂直方向に撮像視野を移動させて画像を取得した後、この取得した画像を用いて垂直方向におけるシェーディング成分の算出を行っても良い。この際、水平方向におけるシェーディング成分の算出と、垂直方向に撮像視野を移動させての画像の取得とを並行して行っても良い。また、垂直方向における各処理を水平方向における各処理よりも先に行っても良い。
　続くステップＳ３において、画像補正部１２２は、ステップＳ２において算出された水平方向及び垂直方向におけるシェーディング成分を用いて、ステップＳ１において取得された任意の画像の補正を行う。図１１は、画像補正部１２２が実行する画像の補正処理を説明するための模式図である。ここでは、一例として、図１１（ａ）に示す画像Ｍを補正対象画像とする場合を説明する。以下においては、画像Ｍ内のブロック（Ｘ，Ｙ）内の任意の画素の輝度をＨ（Ｘ，Ｙ）と記す。
　図１２は、画像補正部１２２が実行する画像の補正処理を詳細に示すフローチャートである。ステップＳ３１において、第１画像補正部１２２ａは、画像Ｍのうち、正規化シェーディング成分が得られているブロック内の各画素の輝度を、正規化シェーディング成分を用いて補正する。
　実施の形態１の場合、水平方向における正規化シェーディング成分Ｓｈ（図９参照）が得られているブロックは、（１，３）、（２，３）、（４，３）、（５，３）であり、垂直方向における正規化シェーディング成分Ｓｖ（図１０参照）が得られているブロックは、（３，１）、（３，２）、（３，４）、（３，５）である。そこで、平坦領域のブロックを（Ｘ0、Ｙ0）とすると、正規化シェーディング成分が得られているブロックは、（Ｘ，Ｙ0）又は（Ｘ0，Ｙ）と表すことができる。
　第１画像補正部１２２ａは、水平方向における正規化シェーディング成分Ｓｈが得られているブロック（Ｘ，Ｙ0）内の任意の画素の輝度Ｈ（Ｘ，Ｙ0）を、この画素位置における正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）を用いて補正することにより、当該画素におけるテクスチャ成分Ｔ（Ｘ，Ｙ0）を算出する（式（２－１）参照）。また、第１画像補正部１２２ａは、垂直方向における正規化シェーディング成分Ｓｖが得られているブロック（Ｘ0，Ｙ）内の任意の画素の輝度Ｈ（Ｘ0，Ｙ）を、この画素位置における正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）を用いて補正することにより、当該画素におけるテクスチャ成分Ｔ（Ｘ0，Ｙ）を算出する（式（２－２）参照）。
Figure JPOXMLDOC01-appb-M000004
　続くステップＳ３２において、第２画像補正部１２２ｂは、画像Ｍのうち、正規化シェーディング成分が得られていないブロック内の各画素の輝度を、正規化シェーディング成分及び非正規化シェーディング成分を用いて補正する。
　例えば、図１１（ａ）に示すブロック（１，１）内の任意の画素に対してシェーディング補正を行う場合を考える。ブロック（１，１）内の当該画素について算出されたシェーディング成分Ｓｈ（１，１）は、図１１（ｂ）及び式（１ａ）に示すように、ブロック（１，１）の水平方向における共通領域であるブロック（３，１）内の位置が対応する画素の輝度Ｈ2（３，１）を基準として算出された非正規化シェーディング成分である。そして、このブロック（３，１）内の画素の輝度Ｈ2（３，１）に含まれるシェーディング成分は、図１１（ｃ）に示すように、該ブロック（３，１）の垂直方向における共通領域である平坦領域のブロック（３，３）内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分Ｓｖ（３，１）として与えられている。従って、画像Ｍのブロック（１，１）内の任意の画素におけるテクスチャ成分Ｔ（１，１）は、画像Ｍにおけるブロック（１，１）内の当該画素の輝度Ｈ（１，１）と、当該画素位置における非正規化シェーディング成分Ｓｈ（１，１）と、ブロック（３，１）内の対応する画素位置における正規化シェーディング成分Ｓｖ（３，１）とを用いて、次式（３）によって与えられる。
Figure JPOXMLDOC01-appb-M000005
　図１３は、第２画像補正部１２２ｂが実行するシェーディング補正処理の別の例を説明するための模式図である。図１３（ａ）に示す補正対象のブロック（１，１）内の任意の画素について算出されたもう１つのシェーディング成分Ｓｖ（１，１）は、図１３（ｂ）に示すように、ブロック（１，１）の垂直方向における共通領域であるブロック（１，３）内の位置が対応する画素の輝度を基準として算出された非正規化シェーディング成分である。そして、このブロック（１，３）内の画素の輝度に含まれるシェーディング成分は、図１３（ｃ）に示すように、該ブロック（１，３）の水平方向における共通領域である平坦領域のブロック（３，３）内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分Ｓｈ（１，３）として与えられている。従って、画像Ｍのブロック（１，１）内の任意の画素におけるテクスチャ成分Ｔ（１，１）は、画像Ｍにおけるブロック（１，１）内の当該画素の輝度Ｈ（１，１）と、当該画素位置における非正規化シェーディング成分Ｓｖ（１，１）と、ブロック（１，３）内の対応する画素位置における正規化シェーディング成分Ｓｈ（１，３）とを用いて、次式（４）によって与えられる。
Figure JPOXMLDOC01-appb-M000006
　これらの算出式を、平坦領域のブロックを（Ｘ0，Ｙ0）として一般化する。画像Ｍのうち、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）内の任意の画素におけるテクスチャ成分Ｔ（Ｘ，Ｙ）は、ブロック（Ｘ，Ｙ）内の当該画素の輝度Ｈ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）の水平方向における共通領域の輝度を基準として算出された非正規化シェーディング成分Ｓｈ（Ｘ，Ｙ）と、上記共通領域の垂直方向における共通領域である平坦領域の輝度を基準として算出された正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）とを用いて、次式（５）によって与えられる。
Figure JPOXMLDOC01-appb-M000007
　或いは、画像Ｍのうち、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）内の任意の画素におけるテクスチャ成分Ｔ（Ｘ，Ｙ）は、ブロック（Ｘ，Ｙ）内の当該画素の輝度Ｈ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）の垂直方向における共通領域の輝度を基準として算出された非正規化シェーディング成分Ｓｖ（Ｘ，Ｙ）と、上記共通領域の水平方向における共通領域である平坦領域の輝度を基準として算出された正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）とを用いて、次式（６）によって与えられる。
Figure JPOXMLDOC01-appb-M000008
　その後、処理はメインルーチンに戻り、画像処理装置１の動作は終了する。
　なお、ステップＳ３１及びＳ３２を実行する順序は上述した順序に限らず、ステップＳ３２を先に実行しても良いし、ステップＳ３１及びＳ３２を並行に実行しても良い。
　以上説明したように、本実施の形態１によれば、シェーディング成分を算出するために必要な画像枚数を従来よりも低減することができる。従って、それらの画像を取得する際の撮像回数を低減することができ、簡素な構成で、短時間に高精度なシェーディング補正を行うことが可能となる。また、本実施の形態１によれば、水平方向及び垂直方向の２方向に撮像視野を移動させるだけなので、被写体ＳＰが載置されるステージの制御又は光学系に対する制御を簡素化することが可能となる。
　なお、上記説明においては、撮像視野を移動させ、シェーディング成分を算出し、或いは、画像補正を行う単位となるブロックへの分割数を５×５＝２５としたが、画像（撮像視野）の分割数はこれに限定されない。分割数を多くするほど、より精細なシェーディング補正を行うことができる。一方、分割数を少なくするほど、被写体ＳＰの撮像回数や、シェーディング成分の算出処理及び画像の補正処理における演算量を抑制することができるので、シェーディング補正に要するトータルの時間を短縮することが可能となる。
　また、上記説明においては、式（２－１）及び（２－２）、並びに（５）若しくは（６）によりテクスチャ成分を算出する際、即ちシェーディング補正を行う際、式（１ａ）～（１ｅ）及び（１－１）～（１－５）によって与えられるシェーディング成分の逆数（シェーディング補正ゲイン）を輝度に乗算している。この演算は、シェーディング成分を与える式（１ａ）～（１ｅ）及び（１－１）～（１－５）における右辺の分子と分母とを入れ替え、式（２－１）、（２－２）、（５）、（６）におけるシェーディング補正ゲインを直接算出することで、演算量の削減が可能である。
（変形例１）
　本発明の実施の形態１の変形例１について説明する。
　上記実施の形態１においては、シェーディング成分算出部１２１が水平方向及び垂直方向の各方向において正規化シェーディング成分及び非正規化シェーディング成分を算出し、画像補正部１２２が、これらのシェーディング成分を用いて、補正対象のブロックに応じた式（２－１）、（２－２）、又は、（５）若しくは（６）を用いてテクスチャ成分を算出した。しかしながら、シェーディング成分算出部１２１が、補正対象のブロックによらず同一のテクスチャ成分の演算式に適用可能なシェーディング成分Ｓ（Ｘ，Ｙ）が格納されたマップを作成し、記憶部１３に記憶させても良い。
　具体的には、水平方向における正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）が取得されているブロック（Ｘ，Ｙ0）については、この正規化シェーディング成分が、シェーディング成分Ｓ（Ｘ，Ｙ）としてマップに格納される。また、垂直方向における正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）が取得されているブロック（Ｘ0，Ｙ）については、この正規化シェーディング成分が、シェーディング成分Ｓ（Ｘ，Ｙ）としてマップに格納される。非正規化シェーディング成分Ｓｈ（Ｘ，Ｙ）及びＳｖ（Ｘ，Ｙ）が取得されているブロックについては、非正規化シェーディング成分のいずれかと正規化シェーディング成分とから算出される値Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ0，Ｙ）、又は、Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ0）が、シェーディング成分Ｓ（Ｘ，Ｙ）としてマップに格納される。
　この場合、画像補正部１２２は、シェーディング成分算出部１２１が作成したマップに格納されたシェーディング成分Ｓ（Ｘ，Ｙ）を用いて、テクスチャ成分Ｔ（Ｘ，Ｙ）（＝Ｈ（Ｘ，Ｙ）／Ｓ（Ｘ，Ｙ））を算出すれば良い。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　本実施の形態２に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂが実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。
　図１４は、本実施の形態２においてシェーディング成分の算出に用いられる画像の撮像方法を説明するための模式図であり、光学系３０の撮像視野Ｖに対する被写体ＳＰの水平方向における相対位置Ｐ０、Ｐ１、…の変化を時系列（ｔ）で示している。図１４においては、被写体ＳＰを水平方向において長さＢｗずつ分割した領域の各々を、被写体領域ＳＰ（１）～ＳＰ（５）としている。
　ここで、上記実施の形態１においては、水平方向及び垂直方向の各々において、被写体ＳＰに対して光学系３０の撮像視野Ｖを長さＢｗ（又は長さＢｈ）ずつ相対的に移動させながら５回撮像を行うことにより、５枚の画像を取得した。これに対し、本実施の形態２においては、撮像視野Ｖを同じ長さＢｗ（又は長さＢｈ）で相対的に移動させながら９回撮像を行うことにより、１つの方向で９枚の画像を取得する。
　図１５は、本実施の形態２におけるシェーディング成分の算出方法を説明するための模式図である。図１５（ａ）に示す画像Ｍ（０）、Ｍ（１）、…は、図１４に示す被写体ＳＰが相対位置Ｐ０、Ｐ１、…に位置するときにそれぞれ撮像されたものである。また、図１５（ｂ）は、記憶部１３に記憶された水平方向におけるシェーディング成分Ｓｈを示す模式図である。
　図１４及び図１５（ａ）に示すように、列Ｘ＝１内の任意の画素におけるシェーディング成分を求める場合、被写体領域ＳＰ（１）が写った画像Ｍ（０）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（２）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良いし、被写体領域ＳＰ（２）が写った画像Ｍ（１）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（３）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良い。また、被写体領域ＳＰ（３）が写った画像Ｍ（２）の列Ｘ＝１内の当該画素とその共通領域である画像Ｍ（４）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良いし、被写体領域ＳＰ（４）が写った画像Ｍ（３）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（５）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良い。さらに、被写体領域ＳＰ（５）が写った画像Ｍ（４）の列Ｘ＝１内の当該画素の輝度とその共通領域である画像Ｍ（６）の列Ｘ＝３内の位置が対応する画素の輝度を用いても良い。即ち、列Ｘ＝１に関して、テクスチャ成分が互いに異なる５通りの共通領域の組み合わせ（画像の組み合わせ）から、５種類のシェーディング成分を算出することができる。他の列についても同様である。
　これより、１つの列に対して、テクスチャ成分が異なる複数の列の輝度を用いることによって、よりロバスト性の高いシェーディング成分を算出することができることがわかる。具体的には、各列内の任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）～Ｓｈ（Ｘ＝５）は、次式（７－１）～（７－５）によって与えられる。
Figure JPOXMLDOC01-appb-M000009
　ここで、各式の分子の第１項と分母の第１項とに着目すると、式（１ａ）と同様に、ある画像の左端の行（Ｘ＝１）内の画素の輝度と、該左端の行の共通領域である中央の行（Ｘ＝３）内の画素の輝度との比を表す形式が見られる。分子及び分母の第２項以降についても同様である。即ち、式（７－１）～（７－５）は、テクスチャ成分が互いに異なる共通領域に基づいて算出された複数のシェーディング成分を平均化したものといえる。
　第１方向シェーディング成分算出部１２１ａが実行する実際の処理としては、図１４及び図１５に示すように、画像取得部１１から画像を取り込む度に、画像内の各画素の輝度を記憶部１３の所定の記憶領域に累積加算する。具体的には、シェーディング成分Ｓｈの第１列に対応する記憶領域に、画像Ｍ（０）～Ｍ（４）の第１列のブロック内の画素の輝度Ｈ0（Ｘ＝１）、Ｈ1（Ｘ＝１）、Ｈ2（Ｘ＝１）、Ｈ3（Ｘ＝１）、Ｈ4（Ｘ＝１）を、これらの列の間で位置が対応する画素ごとに順次累積加算する。また、シェーディング成分Ｓｈの第２列に対応する記憶領域に、画像Ｍ（１）～Ｍ（５）の第２列のブロック内の画素の輝度Ｈ1（Ｘ＝２）、Ｈ2（Ｘ＝２）、Ｈ3（Ｘ＝２）、Ｈ4（Ｘ＝２）、Ｈ5（Ｘ＝２）を、これらの列の間で位置が対応する画素ごとに順次累積加算する。同様に、シェーディング成分Ｓｈの第３列に対応する記憶領域に、画像Ｍ（２）～Ｍ（６）の第３列のブロック内の画素の輝度Ｈ2（Ｘ＝３）、Ｈ3（Ｘ＝３）、Ｈ4（Ｘ＝３）、Ｈ5（Ｘ＝３）、Ｈ6（Ｘ＝３）を、これらの列の間で位置が対応する画素ごとに順次累積加算する。第４行及び第５行についても同様である。
　このようにして、画像Ｍ（０）～Ｍ（９）内の各画素の輝度を所定の記憶領域に累積加算した後、第１方向シェーディング成分算出部１２１ａは、各列における輝度の累積加算値を、中央の列（Ｘ＝３）における輝度の累積加算値で除算する。それにより、ロバスト性の高いシェーディング成分を得ることができる。
　第２方向シェーディング成分算出部１２１ｂも、第１方向シェーディング成分算出部１２１ａと同様の処理を実行することにより、垂直方向におけるシェーディング成分を算出することができる。
　以上説明したように、本実施の形態２によれば、ロバスト性の高いシェーディング成分を算出することができる。従って、補正対象画像におけるテクスチャ成分の特性に依存することなく、精度の良い補正を安定的に行うことが可能となる。また、本実施の形態２によれば、列ごと又は行ごとに輝度を累積加算した後でシェーディング成分を算出するので、新たなメモリを増設する必要がなく、演算処理も簡単に行うことができる。
　なお、本実施の形態２においては、撮像視野Ｖを各方向について８回移動させ、９回撮像を行うことにより取得した９枚の画像に基づいてシェーディング成分を算出したが、撮像視野の移動及び撮像をさらに繰り返すことにより、より多くの画像を用いても良い。それにより、シェーディング成分のロバスト性をさらに向上させることができる。
（変形例２）
　本発明の実施の形態２の変形例２について説明する。
　上述したような各列に関する複数の共通領域の組み合わせから複数種類のシェーディング成分を個別に算出し、これらのシェーディング成分を加算平均することにより、当該列の水平方向におけるシェーディング成分を取得しても良い。例えば、列Ｘ＝１に関しては、画像Ｍ（０）の列Ｘ＝１と画像Ｍ（２）の列Ｘ＝３、画像Ｍ（１）の列Ｘ＝１と画像Ｍ（３）の列Ｘ＝３、画像Ｍ（２）の列Ｘ＝１と画像Ｍ（４）の列Ｘ＝３、画像Ｍ（３）の列Ｘ＝１と画像Ｍ（５）の列Ｘ＝３、画像Ｍ（４）の列Ｘ＝１と画像Ｍ（６）の列Ｘ＝３、の５通りの共通領域の組み合わせから５種類のシェーディング成分を算出し、これらを加算平均する。垂直方向におけるシェーディング成分についても同様である。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。
　本実施の形態３に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂが実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。
　図１６（ａ）～（ｃ）は、本実施の形態３におけるシェーディング成分の算出方法を説明するための模式図であり、図６に示すように撮像視野Ｖを水平方向に長さＢｗずつ移動させながら３回撮像を行うことにより取得された３枚の画像を示している。
　本実施の形態３において、第１方向シェーディング成分算出部１２１ａは、３枚の画像Ｍ0～Ｍ2間での共通領域の左右方向における対称性に着目し、次式（８－１）～（８－５）により、水平方向におけるシェーディング成分を算出する。
Figure JPOXMLDOC01-appb-M000010
　即ち、第１列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）は、画像Ｍ0の第１列のブロックＲ0（Ｘ＝１）内の当該画素の輝度Ｈ0（Ｘ＝１）と、その共通領域である画像Ｍ2の第３列のブロックＲ2（Ｘ＝３）内の位置が対応する画素の輝度Ｈ2（Ｘ＝３）とによって算出される（式（８－１）参照）。また、第２列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）は、画像Ｍ1の第２列のブロックＲ1（Ｘ＝２）内の当該画素の輝度Ｈ1（Ｘ＝２）と、その共通領域である画像Ｍ2の第３列のブロックＲ2（Ｘ＝３）内の位置が対応する画素の輝度Ｈ2（Ｘ＝３）とによって算出される（式（８－２）参照）。第４列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝４）は、画像Ｍ1の第４列のブロックＲ1（Ｘ＝４）内の当該画素の輝度Ｈ1（Ｘ＝４）と、その共通領域である画像Ｍ0の第３列のブロックＲ0（Ｘ＝３）内の位置が対応する画素の輝度Ｈ0（Ｘ＝３）とによって算出される（式（８－４）参照）。第５列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝５）は、画像Ｍ2の第５列のブロックＲ2（Ｘ＝５）内の当該画素の輝度Ｈ2（Ｘ＝５）と、その共通領域である画像Ｍ0の第３列のブロックＲ0（Ｘ＝３）内の位置が対応する画素の輝度Ｈ0（Ｘ＝３）とによって算出される（式（８－５）参照）。なお、第３列に含まれる各画素のシェーディング成分は、式（８－３）に示すように、Ｓｈ（Ｘ＝３）＝１．０となる。
　第２方向シェーディング成分算出部１２１ｂも、第１方向シェーディング成分算出部１２１ａと同様の処理を実行することにより、３枚の画像から垂直方向におけるシェーディング成分を算出することができる。
　このようにして算出された水平方向及び垂直方向の各方向における正規化シェーディング成分及び非正規化シェーディング成分を用いた画像の補正方法は、実施の形態１と同様である（図１１～図１３参照）。或いは、実施の形態１の変形例１と同様に、シェーディング成分が格納されたマップを作成し、このマップを用いて画像を補正しても良い。
　以上説明したように、本実施の形態３によれば、撮像視野Ｖの移動回数及び撮像回数を低減することができるので、より短時間にシェーディング補正を行うことが可能となる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。
　本実施の形態４に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂが実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。図１７は、本実施の形態４におけるシェーディング成分の算出方法を説明するための模式図である。
　まず、図６に示すように、被写体ＳＰ内のある領域に撮像視野Ｖを合わせて撮像を行うことにより、画像Ｍ0を取得し、続いて、撮像視野Ｖを水平方向に長さＢｗだけシフトさせて撮像を行うことにより、画像Ｍ1を取得した場合を考える。この際、画像Ｍ0と画像Ｍ1との間で十分な共通領域が確保されるように、具体的には、少なくとも平坦領域である画像の中心部が両画像Ｍ0、Ｍ1の共通領域に含まれるように長さＢｗを設定する。図１７は、このような撮像を行うことにより取得された画像Ｍ0、Ｍ1を示しており、画像Ｍ0の列Ｘ＝１と画像Ｍ1の列Ｘ＝２とが共通領域である。
　ここで、本実施の形態４においては、撮像視野Ｖを水平方向にシフトさせた１ペアの画像によりシェーディング成分を算出することが可能であるため、規定したブロック単位で２回以上撮像視野Ｖをシフトさせる必要がない。そのため、上述した長さＢｗの条件を満たせば、被写体ＳＰが載置されたステージをユーザが水平方向に任意に移動させることにより、撮像視野Ｖをシフトさせることができる。この場合、任意のステージ移動量が１ブロック分の長さＢｗとなる。或いは、水平方向にステージを移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を長さＢｗとしても良い。これらの場合、画像の水平方向の長さｗを１ブロックの長さＢｗで除算することにより、水平方向におけるブロックの分割数が決定される。
　画像Ｍ0の列Ｘ＝１に含まれる任意の画素の輝度Ｈ0（Ｘ＝１）は、この画素におけるテクスチャ成分Ｔ0（Ｘ＝１）とシェーディング成分Ｓｈ（Ｘ＝１）とによって構成される。即ち、Ｈ0（Ｘ＝１）＝Ｔ0（Ｘ＝１）×Ｓｈ（Ｘ＝１）である。一方、この画素と共通の被写体が写った画素であって、画像Ｍ1の列Ｘ＝２に含まれる画素の輝度をＨ1（Ｘ＝２）とすると、輝度Ｈ1（Ｘ＝２）は、この画素におけるテクスチャ成分Ｔ1（Ｘ＝２）とシェーディング成分Ｓｈ（Ｘ＝２）とによって構成される。即ち、Ｈ1（Ｘ＝２）＝Ｔ2（Ｘ＝２）×Ｓｈ（Ｘ＝２）である。
　上述したように、画像Ｍ0の列Ｘ＝１と画像Ｍ1の列Ｘ＝２とは共通領域であるため、テクスチャ成分Ｔ0（Ｘ＝１）とＴ1（Ｘ＝２）とは等しい。従って、次式（９－１）が成り立つ。
Figure JPOXMLDOC01-appb-M000011
　同様に、画像Ｍ0の列Ｘ＝２と画像Ｍ1の列Ｘ＝３、画像Ｍ0の列Ｘ＝３と画像Ｍ1の列Ｘ＝４、画像Ｍ0の列Ｘ＝４と画像Ｍ1の列Ｘ＝５がそれぞれ共通領域であることを利用すると、列Ｘ＝２、Ｘ＝３、Ｘ＝４にそれぞれ含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝３）、Ｓｈ（Ｘ＝４）を表す式（９－２）～（９－４）が得られる。
Figure JPOXMLDOC01-appb-M000012
　ここで、平坦領域（３，３）を含む中央の列Ｘ＝３内の各画素におけるシェーディング成分Ｓｈ（Ｘ＝３）を基準とし、式（９－１）～（９－４）にシェーディング成分Ｓｈ（Ｘ＝３）＝１．０を代入して整理すると、各列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）～Ｓｈ（Ｘ＝５）を表す式（１０－１）～（１０－５）が得られる。
Figure JPOXMLDOC01-appb-M000013
　式（１０－２）に示すように、シェーディング成分Ｓｈ（Ｘ＝２）は、輝度Ｈ0（Ｘ＝２）及びＨ1（Ｘ＝３）によって与えられる。また、式（１０－１）に示すように、シェーディング成分Ｓｈ（Ｘ＝１）は、式（１０－２）により算出されたシェーディング成分Ｓｈ（Ｘ＝２）と、輝度Ｈ0（Ｘ＝１）及びＨ1（Ｘ＝２）とによって与えられる。また、式（１０－４）に示すように、シェーディング成分Ｓｈ（Ｘ＝４）は、輝度Ｈ0（Ｘ＝３）及びＨ1（Ｘ＝４）よって与えられる。さらに、式（１０－５）に示すように、シェーディング成分Ｓｈ（Ｘ＝５）は、式（１０－４）により算出されたシェーディング成分Ｓｈ（Ｘ＝４）と、輝度Ｈ0（Ｘ＝４）及びＨ1（Ｘ＝５）とによって与えられる。即ち、式（１０－１）～（１０－５）に示すように、各列に含まれる任意の画素におけるシェーディング成分Ｓｈは、２つの画像Ｍ0、Ｍ1内の画素の輝度を用いて算出することができる。
　つまり、画像内の一部の領域（例えば列Ｘ＝３）におけるシェーディング成分（Ｓｈ（Ｘ＝３））が既知（平坦領域の場合１．０）であれば、一方の画像（例えば画像Ｍ0）内のシェーディング成分が既知である領域（列Ｘ＝３）内の画素の輝度（Ｈ0（Ｘ＝３））と、この領域に対して共通の被写体が写った他方の画像（画像Ｍ1）内の領域（Ｘ＝４）における位置が対応する画素の輝度（Ｈ1（Ｘ＝４））との比（Ｈ1（Ｘ＝４）／Ｈ0（Ｘ＝３））、及び、当該既知のシェーディング成分（Ｓｈ（Ｘ＝３））を用いて、未知のシェーディング成分（Ｓｈ（Ｘ＝４））を算出することができる。そして、このような演算を順次繰り返すことにより、画像全体におけるシェーディング成分を取得することができる。
　一方、第２方向シェーディング成分算出部１２１ｂは、被写体ＳＰ内のある領域に撮像視野Ｖを合わせて撮像を行うことにより取得した画像と、この画像に対して撮像視野Ｖを垂直方向に所定距離（例えば、１ブロック分に相当する長さＢｈ、図５参照）だけシフトさせた画像（図７参照）とからシェーディング成分を取得する。この場合においても、両画像間で十分な共通領域が確保されるように、具体的には、少なくとも平坦領域である画像の中心部が共通領域に含まれるように長さＢｈを設定する。
　この場合も、水平方向の場合と同様に、上述した長さＢｈの条件を満たせば、被写体ＳＰが載置されたステージをユーザが垂直方向に任意に移動させることにより、撮像視野Ｖをシフトさせても良い。このとき、任意のステージ移動量が１ブロック分の長さＢｈとなる。或いは、垂直方向にステージを移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を長さＢｈとしても良い。これらの場合、画像の垂直方向の長さｈを１ブロックの長さＢｈで除算することにより、垂直方向におけるブロックの分割数が決定される。
　撮像視野Ｖをシフトさせる前又は後の画像のいずれかは、第１方向シェーディング成分算出部１２１ａが演算に用いた画像Ｍ0、Ｍ1のいずれかと兼用しても良い。つまり、実質的には、画像Ｍ0又はＭ1に対して撮像視野Ｖを垂直方向にシフトさせた画像を新たに１枚のみ取得すれば良い。
　そして、第２方向シェーディング成分算出部１２１ｂは、上述した水平方向シェーディング成分Ｓｈの算出方法と同様の演算を行うことにより、各行（Ｙ＝１、Ｙ＝２、Ｙ＝３、Ｙ＝４、Ｙ＝５）に含まれる各画素におけるシェーディング成分を算出する。
　このようにして算出された水平方向及び垂直方向の各方向における正規化シェーディング成分及び非正規化シェーディング成分を用いた画像の補正方法は、実施の形態１と同様である（図１１～図１３参照）。或いは、実施の形態１の変形例１と同様に、シェーディング成分が格納されたマップを作成し、このマップを用いて画像を補正しても良い。
　以上説明したように、本実施の形態４によれば、水平方向及び垂直方向のそれぞれにおいて十分な共通領域を有する２組の画像から、画像全体におけるシェーディング成分を算出することができる。そして、各組のうちの一方の画像については、他の組の画像と兼用することができるので、少なくとも３枚の画像から画像全体におけるシェーディング成分を算出することが可能となる。また、共通領域を有する画像を取得する際には、撮像視野の水平方向及び垂直方向におけるシフト量を厳密に制御する必要はないため、例えば顕微鏡システムにおいて、電動ステージに限らず手動ステージにおいても簡易に実現が可能である。
　なお、本実施の形態４においては、視野を水平方向にシフトさせた１ペアの画像から水平方向シェーディング成分を算出しているが、撮像視野Ｖを水平方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の水平方向シェーディング成分をそれぞれ算出し、これらの水平方向シェーディング成分を加算平均するなどして、最終的な水平方向シェーディング成分Ｓｈを取得しても良い。この際、複数ペアの画像の水平方向におけるシフト量は任意でも良い。それにより、ランダムノイズや、白飛び、黒つぶれといった画像の劣化に起因するシェーディング成分の精度低下を抑制することができる。
　垂直方向シェーディング成分を取得する際にも同様に、撮像視野Ｖを垂直方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の垂直方向シェーディング成分をそれぞれ算出し、これらの垂直方向シェーディング成分を加算平均するなどして、最終的な垂直方向シェーディング成分Ｓｖを取得しても良い。
（実施の形態５）
　次に、本発明の実施の形態５について説明する。
　本実施の形態５に係る画像処理装置の構成は、全体として実施の形態１（図１参照）と同様であり、シェーディング成分算出部１２１が実行するシェーディング成分の算出処理の詳細が実施の形態１と異なる。
　上記実施の形態１においては、正規化シェーディング成分が得られていないブロック内の任意の画素のテクスチャ成分Ｔ（Ｘ，Ｙ）を、式（５）及び式（６）のいずれかを用いて算出することとしたが、シェーディング成分算出部１２１は、これらの式（５）、（６）で用いたシェーディング成分を予め重み付け合成した合成シェーディング成分を算出しても良い。
　ここで、補正対象のブロック（Ｘ，Ｙ）に対し、水平方向における共通領域のブロックを基準として算出された非正規化シェーディング成分Ｓｈ（Ｘ，Ｙ）と、上記共通領域のブロックの垂直方向における共通領域である平坦領域のブロック（３，３）を基準として算出された正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）とからなるシェーディング成分を、シェーディング成分Ｓｈｖ1（Ｘ，Ｙ）とする（式（１１）参照）。
　　　Ｓｈｖ1（Ｘ，Ｙ）＝Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ0，Ｙ）　…（１１）
　また、補正対象のブロック（Ｘ，Ｙ）に対し、垂直方向における共通領域のブロックを基準として算出された非正規化シェーディング成分Ｓｖ（Ｘ，Ｙ）と、上記共通領域のブロックの水平方向における共通領域である平坦領域のブロック（３，３）を基準として算出された正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）とからなるシェーディング成分を、シェーディング成分Ｓｈｖ2（Ｘ，Ｙ）とする（式（１２）参照）。
　　　Ｓｈｖ2（Ｘ，Ｙ）＝Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ0）　…（１２）
　これらのシェーディング成分Ｓｈｖ1（Ｘ，Ｙ）、Ｓｈｖ2（Ｘ，Ｙ）を重み付け合成した合成シェーディング成分Ｓ（Ｘ，Ｙ）は、次式（１３）によって与えられる。
Figure JPOXMLDOC01-appb-M000014
　式（１３）において、ｗ（Ｘ，Ｙ）は、シェーディング成分の合成に用いられる重みである。一般に、シェーディング成分は滑らかであるとみなすことができるので、重みｗ（Ｘ，Ｙ）は、次式（１４）に示すように、例えば、エッジ量の総和の比に基づいて決定することができる。
Figure JPOXMLDOC01-appb-M000015
　式（１４）において、パラメータαは正規化係数である。また、Ｅｄｇｅh［　］は、水平方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ，Ｙ）又は（Ｘ，Ｙ0））での水平方向のエッジ量の総和を示す。Ｅｄｇｅv［　］は、垂直方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ0，Ｙ）又は（Ｘ，Ｙ））での垂直方向のエッジ量の総和を示す。
　例えば、シェーディング成分Ｓｈｖ1（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ）及び（Ｘ0，Ｙ）におけるエッジ量の総和が、シェーディング成分Ｓｈｖ2（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ0）及び（Ｘ0，Ｙ）におけるエッジ量の総和に対して小さい場合、重みｗ（Ｘ，Ｙ）の値も小さくなる。従って、式（１３）におけるシェーディング成分Ｓｈｖ1の寄与分が大きくなる。
　式（１４）に示すように、エッジ量或いはコントラストに基づいて重みｗ（Ｘ，Ｙ）を設定することにより、２つのシェーディング成分Ｓｈｖ1、Ｓｈｖ2を、これらの滑らかさに基づいて合成することができる。従って、より滑らかな合成シェーディング成分Ｓを算出することが可能となる。
　この場合、第２画像補正部１２２ｂは、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）に対し、次式（１５）によりテクスチャ成分Ｔ（Ｘ，Ｙ）を算出する。
Figure JPOXMLDOC01-appb-M000016
　以上説明したように、本実施の形態５によれば、シェーディング成分を算出した方向（水平方向、垂直方向）によらない、ロバストなシェーディング補正を行うことが可能となる。
　なお、上記実施の形態５においては、式（１４）により重みｗ（Ｘ，Ｙ）を設定することで、滑らかな合成シェーディング成分Ｓを算出したが、メディアンフィルタ、平均化フィルタ、ガウシアンフィルタ等のフィルタ処理を組み合わることにより、さらに滑らかな合成シェーディング成分Ｓを生成することとしても良い。
（実施の形態６）
　次に、本発明の実施の形態６について説明する。上述した実施の形態１～５は、互いに組み合わせて実施することも可能である。
　例えば、実施の形態１、３、５を組み合わせる場合、まず、実施の形態１と同様に、水平方向及び垂直方向の各々に対し、撮像視野Ｖを移動させながら５回撮像を行うことにより５枚の画像（例えば画像Ｍ0～Ｍ4）を取得する。そして、これらの５枚の画像に基づいて、水平方向及び垂直方向におけるシェーディング成分を算出し、実施の形態５と同様に、正規化シェーディング成分が得られていないブロックに対して合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出する。
　一方、上記画像Ｍ0～Ｍ4のうちの連続する３枚の画像の組み合わせ（Ｍ0，Ｍ1，Ｍ2）、（Ｍ1，Ｍ2，Ｍ3）、（Ｍ2，Ｍ3，Ｍ4）の各々からも、実施の形態３と同様にして、シェーディング成分を算出することができる。そこで、３つの組み合わせからそれぞれ算出されたシェーディング成分を用い、実施の形態５と同様にして合成シェーディング成分Ｓ（Ｘ，Ｙ）を３つ算出する。結局、１つのブロックに対し、５枚の画像に基づく合成シェーディング成分と、上記３つの画像の組み合わせに基づく３つの合成シェーディング成分Ｓ（Ｘ，Ｙ）が得られる。これらの４つの合成シェーディング成分Ｓ（Ｘ，Ｙ）を加算平均することで、よりロバストな合成シェーディング成分を得ることができる。
　また、実施の形態２、３、５を組み合わせる場合、実施の形態２と同様に、９枚の画像からシェーディング成分を算出し、さらに、実施の形態５と同様に、合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出する。一方、上記９枚の画像のうちの連続する３枚の画像の組み合わせから、実施の形態３と同様にしてシェーディング成分を算出し、さらに、実施の形態５と同様に、合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出する。そして、これらの合成シェーディング成分Ｓ（Ｘ，Ｙ）を加算平均することによっても、よりロバストなシェーディング成分を算出することができる。
（実施の形態７）
　次に、本発明の実施の形態７について説明する。
　図１８は、本実施の形態７に係る画像処理装置の構成例を示すブロック図である。図１８に示すように、本実施の形態７に係る画像処理装置２は、図１に示す画像処理部１２の代わりに、該画像処理部１２に平坦領域探索部２１１をさらに設けた画像処理部２１を備える。
　ここで、上記実施の形態１～５においては、画像の中央領域を、シェーディング成分が一様である平坦領域とみなして、中央のブロック以外の領域におけるシェーディング成分を算出した。これに対し、本実施の形態７においては、画像内から平坦領域を探索した上でシェーディング成分を算出する。
　なお、平坦領域の探索に先立って、画像処理部２１は、実施の形態１と同様に、水平方向及び垂直方向の各々において撮像視野を所定量ずつ移動させながら撮像を行うことにより取得された画像（例えば、水平方向の場合、図８に示す画像Ｍ0～Ｍ4）を、画像取得部１１から取り込んでおく。
　平坦領域探索部２１１は、水平方向に撮像視野を移動させることにより取得された画像Ｍ0～Ｍ4のうち、テクスチャ成分が共通するブロックに含まれる任意の画素の輝度Ｈ0（Ｘ＝１）、Ｈ1（Ｘ＝２）、Ｈ2（Ｘ＝３）、Ｈ3（Ｘ＝４）、Ｈ4（Ｘ＝５）から、図１９に示す水平方向画像Ｆｈを求め、記憶部１３に記憶させる。水平方向画像Ｆｈを構成する各列Ｆｈ（Ｘ＝１）～のＦｈ（Ｘ＝５）に含まれる任意の画素の輝度は、次式（１６－１）～（１６－５）によって与えられる。
Figure JPOXMLDOC01-appb-M000017
　同様に、平坦領域探索部２１１は、撮像視野Ｖを垂直方向に移動させることにより取得された画像のうち、テクスチャ成分が共通するブロックに含まれる任意の画素の輝度から図２０に示す垂直方向画像Ｆｖを求め、記憶部１３に記憶させる。
　図２１は、図１９に示す水平方向画像Ｆｈを画素単位で示す模式図である。また、図２２は、図２０に示す垂直方向画像Ｆｖを画素単位で示す模式図である。なお、図２１及び図２２においては、説明を簡単にするため、１つのブロック（Ｘ，Ｙ）が５画素×５画素によって構成されるものとしている。以下、図２１及び図２２においては、画素の座標を（ｘ，ｙ）で示し、ブロックの座標を（Ｘ，Ｙ）で示す。また、勾配の算出対象のブロック（Ｘ，Ｙ）をＲＯＩ（Ｘ，Ｙ）とする。
　平坦領域探索部２１１は、これらの水平方向画像Ｆｈ及び垂直方向画像Ｆｖから、ブロック（Ｘ，Ｙ）ごとに、次式（１７）によって与えられるシェーディング成分の勾配Ｎ（ｘ，ｙ）を算出する。
Figure JPOXMLDOC01-appb-M000018
　式（１７）に示す符号Ｂｗは、各ブロックの水平方向におけるサイズ（長さ）を表し、画素数で示される。また、式（１７）に示す符号Ｂｈは、各ブロックの垂直方向におけるサイズ（長さ）を表し、画素数で示される（図５参照）。
　一例として、ＲＯＩ（Ｘ＝２，Ｙ＝２）におけるシェーディング成分の勾配Ｎ（ｘ，ｙ）を算出する場合を考える。水平方向画像Ｆｈにおいては、画素（ｘ＝３，ｙ＝８）、（ｘ＝８，ｙ＝８）、（ｘ＝１３，ｙ＝８）におけるテクスチャ成分が等しい。そのため、これらの画素における輝度の変化は、シェーディング成分の変化に相当する。また、垂直方向画像Ｆｖにおいては、画素（ｘ＝８，ｙ＝３）、（ｘ＝８，ｙ＝８）、（ｘ＝８，ｙ＝１３）におけるテクスチャ成分が等しい。そのため、これらの画素における輝度の変化は、シェーディング成分の変化に相当する。
　従って、ＲＯＩ（Ｘ＝２，Ｙ＝２）の中心画素（ｘ＝８，ｙ＝８）におけるシェーディング成分の勾配Ｎ（８，８）は、次式（１８）によって与えられる。
Figure JPOXMLDOC01-appb-M000019
　平坦領域探索部２１１は、ＲＯＩ（Ｘ＝２，Ｙ＝２）の中心に位置する画素（ｘ＝８，ｙ＝８）におけるシェーディング成分の勾配を、当該ＲＯＩ（Ｘ＝２，Ｙ＝２）のシェーディング成分の勾配とする。平坦領域探索部２１１は、このようにして、画像端を除く全てのブロックについてシェーディング成分の勾配を算出し、勾配が最小となるブロックを平坦領域として決定する。
　なお、各ブロックのシェーディング成分の勾配としては、当該ＲＯＩの中心に位置する画素のシェーディング成分の勾配に限らず、ＲＯＩ内の全画素におけるシェーディング成分の勾配の統計値（合計値、平均値、最頻値、中央値等）を採用しても良いし、ＲＯＩ内の一部の画素におけるシェーディング成分の勾配の統計値（同上）を採用しても良い。
　平坦領域探索部２１１により中央領域以外の領域が平坦領域として探索された場合、第１方向シェーディング成分算出部１２１ａ及び第２方向シェーディング成分算出部１２１ｂは、探索された平坦領域を基準として（即ち、シェーディング成分が１．０であるとみなして）、各方向におけるシェーディング成分を算出する。例えば、ブロック（Ｘ＝２，Ｙ＝２）が平坦領域である場合、第１方向シェーディング成分算出部１２１ａは、平坦領域を含む第２列のブロックを基準として、次式（１９－１）～（１９－５）により、水平方向におけるシェーディング成分Ｓｈ（Ｘ＝１）～Ｓｈ（Ｘ＝５）を算出し、記憶部１３に記憶させる。
　図２３は、記憶部１３に記憶された水平方向におけるシェーディング成分Ｓｈを模式的に示す図である。
　同様に、第２方向シェーディング成分算出部１２１ｂは、平坦領域を含む第２行のブロックを基準として、垂直方向におけるシェーディング成分Ｓｖ（Ｙ＝１）～Ｓｖ（Ｙ＝５）を算出し、記憶部１３に記憶させる。図２４は、記憶部１３に記憶された垂直方向におけるシェーディング成分Ｓｖを模式的に示す図である。なお、図２３及び図２４においては、平坦領域を含む列及び行に斜線の網掛けを附している。
　この場合、第２画像補正部１２２ｂは、正規化シェーディング成分が得られていないブロックにおけるテクスチャ成分Ｔ（Ｘ，Ｙ）を次式（２０）又は（２１）を用いて算出する。
Figure JPOXMLDOC01-appb-M000021
　以上説明したように、本実施の形態７によれば、光軸のずれ等によりシェーディングが一様である平坦領域が中央からずれてしまった場合であっても、精度の良いシェーディング補正を行うことが可能となる。
　なお、上記実施の形態７においては、探索した平坦領域におけるシェーディング成分を１．０として、各ブロックにおけるシェーディング成分を算出しているが、実際には、平坦領域のシェーディング成分が１．０でない場合もあり得る。このような場合、画像補正部１２２は、シェーディング補正により算出したテクスチャ成分に対してさらに、画像全体において均一なゲインで正規化すれば良い。
　また、上記実施の形態７においては、勾配Ｎ（ｘ，ｙ）が最小となる画素を含むブロックを平坦領域としたが、勾配Ｎ（ｘ，ｙ）に対する閾値を設定し、勾配Ｎ（ｘ，ｙ）が閾値以下となる全てのブロックを平坦領域としても良い。この場合、各平坦領域を基準として算出されたシェーディング成分同士を、勾配Ｎ（ｘ，ｙ）の値に基づいて重み付け合成をするなどして、最終的なシェーディング成分を算出しても良い。
（実施の形態８）
　次に、本発明の実施の形態８について説明する。
　図２５は、本実施の形態８に係る顕微鏡システムの構成例を示す図である。図２５に示すように、本実施の形態８に係る顕微鏡システム６は、顕微鏡装置３と、画像処理装置４と、表示装置５とを備える。
　顕微鏡装置３は、落射照明ユニット３０１及び透過照明ユニット３０２が設けられた略Ｃ字形のアーム３００と、該アーム３００に取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ３０３と、鏡筒３０５の一端側に三眼鏡筒ユニット３０８を介して標本ステージ３０３と対向するように設けられた対物レンズ３０４と、鏡筒３０５の他端側に設けられた撮像部３０６と、標本ステージ３０３を移動させるステージ位置変更部３０７とを有する。三眼鏡筒ユニット３０８は、対物レンズ３０４から入射した被写体ＳＰの観察光を、撮像部３０６と後述する接眼レンズユニット３０９とに分岐する。接眼レンズユニット３０９は、ユーザが被写体ＳＰを直接観察するためのものである。
　落射照明ユニット３０１は、落射照明用光源３０１ａ及び落射照明光学系３０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系３０１ｂは、落射照明用光源３０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　透過照明ユニット３０２は、透過照明用光源３０２ａ及び透過照明光学系３０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系３０２ｂは、透過照明用光源３０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　対物レンズ３０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ３０４、３０４’）を保持可能なレボルバ３１０に取り付けられている。このレボルバ３１０を回転させて、標本ステージ３０３と対向する対物レンズ３０４、３０４’を変更することにより、撮像倍率を変化させることができる。
　鏡筒３０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。なお、鏡筒３０５内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置４に出力し、画像処理装置４において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしても良い。
　撮像部３０６は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、該撮像素子が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラであり、画像処理装置４の撮像制御部１１１の制御に従って、所定のタイミングで動作する。撮像部３０６は、対物レンズ３０４から鏡筒３０５内の光学系を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置４に出力する。或いは、撮像部３０６は、ＲＧＢ色空間で表された画素値を、ＹＣｂＣｒ色空間で表された画素値に変換して画像処理装置４に出力しても良い。
　ステージ位置変更部３０７は、例えばボールネジ（図示せず）及びステッピングモータ３０７ａを含み、標本ステージ３０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部３０７には、標本ステージ３０３をＺ軸に沿って移動させることにより、対物レンズ３０４の焦点を被写体ＳＰに合わせる。なお、ステージ位置変更部３０７の構成は上述した構成に限定されず、例えば超音波モータ等を使用しても良い。
　なお、本実施の形態８においては、対物レンズ３０４を含む光学系の位置を固定し、標本ステージ３０３側を移動させることにより、被写体ＳＰに対する撮像視野を変化させるが、対物レンズ３０４を光軸と直交する面内において移動させる移動機構を設け、標本ステージ３０３を固定して、対物レンズ３０４側を移動させることにより、撮像視野を変化させることとしても良い。或いは、標本ステージ３０３及び対物レンズ３０４の双方を相対的に移動させても良い。
　画像処理装置４は、画像取得部１１と、画像処理部４１と、記憶部１３とを備える。このうち、画像取得部１１及び記憶部１３の構成及び動作は、実施の形態１と同様である（図１参照）。画像取得部１１のうち、駆動制御部１１２は、標本ステージ３０３に搭載されたスケールの値等に基づき、予め定められたピッチで該標本ステージ３０３の駆動座標を指示することにより標本ステージ３０３の位置制御を行うが、顕微鏡装置３により取得された画像に基づくテンプレートマッチング等の画像マッチングの結果に基づいて標本ステージ３０３の位置制御を行っても良い。本実施の形態８においては、被写体ＳＰの面内で撮像視野Ｖを水平方向に移動させた後、垂直方向に移動させるだけなので、標本ステージ３０３の制御は非常に容易である。
　画像処理部４１は、図１に示す画像処理部１２に対し、ＶＳ画像作成部４１１をさらに備える。ＶＳ画像作成部４１１は、画像補正部１２２によりシェーディング補正が施された複数の画像をもとに、バーチャルスライド（ＶＳ）画像を作成する。
　バーチャルスライド画像とは、撮像視野が互いに異なる複数の画像を貼り合わせて作成された広視野の画像であり、本顕微鏡システム６には、バーチャルスライド画像の作成機能が搭載されている。ここで、顕微鏡装置３において撮像された画像をそのまま貼り合わせようとすると、光学系の特性等に応じて生じるシェーディングの影響により、画像同士を貼り合わせたつなぎ目に不自然な境界が発生してしまう。そこで、本実施の形態８においては、画像補正部１２２によりシェーディング補正がなされた後の画像同士を貼り合わせることとしている。
　なお、シェーディング成分算出部１２１及び画像補正部１２２の構成及び動作は、実施の形態１と同様である。或いは、実施の形態２～５のいずれかと同様にシェーディング成分算出部１２１及び画像補正部１２２を動作させても良い。さらには、実施の形態７と同様に、平坦領域探索部２１１をさらに設けても良い。
　また、画像取得部１１及び画像処理部１２は、専用のハードウェアによって構成しても良いし、ＣＰＵ等のハードウェアに所定のプログラムを読み込むことによって構成しても良い。後者の場合、後述する顕微鏡装置３に対する撮像動作の制御を画像取得部１１に実行させるための制御プログラムや、シェーディング補正を含む画像処理を画像処理部１２に実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を上記記憶部１３に記憶させても良い。
　表示装置５は、例えば、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって構成され、画像処理装置４から出力された画像や関連情報を表示する。
　次に、顕微鏡システム６における画像の取得動作について説明する。本顕微鏡システム６においては、バーチャルスライド画像作成用の画像取得とシェーディング成分算出用の画像取得とを組み合わせて行うことが可能である。図２６は、本実施の形態８における複数の画像の取得動作を説明するための模式図である。
　例えば図２６に示すように、バーチャルスライド画像の作成用の画像Ｖ０～Ｖ７を取得する際、撮像視野を水平に移動させる間の一部の区間（例えば画像Ｖ０、Ｖ１を取得する間）のみ、撮像視野の移動ピッチを狭くして（例えば長さＢｗに設定して）撮像を行うことにより、水平方向におけるシェーディング成分算出用の画像Ｍj=0、Ｍj=1、Ｍj=2、Ｍj=3、Ｍj=4を取得する。このうち、画像Ｍj=0と画像Ｖ０とは撮像視野内の被写体が共通なので、画像を兼用することができる。また、撮像視野を垂直に移動させる間の一部の区間（例えば画像Ｖ４、Ｖ５を取得する間）のみ、撮像視野の移動ピッチを狭くして（例えば長さＢｈに設定して）撮像を行うことにより、垂直方向におけるシェーディング成分算出用の画像Ｍk=0、Ｍk=1、Ｍk=2、Ｍk=3、Ｍk=4を取得する。このうち、画像Ｍk=0と画像Ｖ４とは撮像視野内の被写体が共通なので、画像を兼用することができる。また、画像Ｖ０、Ｖ１、…と撮像を進めている間に、取得済みの画像Ｍj=0～Ｍj=4からシェーディング成分の算出を並行して行っても良いし、算出されたシェーディング成分を用いてシェーディング補正を並行して行っても良い。
　このように、本実施の形態８においては、バーチャルスライド画像作成用の画像を取得する際の撮像視野の移動方向と、シェーディング成分算出用の画像を取得する際の撮像視野の移動方向とが共通しているため、標本ステージ３０３を無駄に移動させることなく、効率的に、これらの画像を取得することができる。また、バーチャルスライド画像の作成用の一部の画像を、シェーディング成分の作成に使用することができるので、撮像回数を低減することもできる。
　なお、バーチャルスライド画像作成用の画像取得経路上において、シェーディング成分算出用の取得を行う位置は、任意に設定することができる。また、バーチャルスライド画像作成用の画像取得経路上の複数箇所においてシェーディング成分の算出用画像を取得し、画像を取得した箇所ごとに算出されたシェーディング成分を合成しても良い。この場合、合成されたシェーディング成分を用いることにより、シェーディング補正におけるロバスト性を向上させることができる。
　また、標本ステージ３０３の位置決め精度や顕微鏡装置３の分解能によっては、予め設定した標本ステージ３０３の移動量にズレが生じる場合がある。このような場合、ステージに設けられたスケールの値、ステッピングモータ３０７ａのパルス数、画像マッチング、或いはこれらの組み合わせにより、バーチャルスライド画像作成用の画像の位置合わせを行っても良い。本実施の形態８においては、被写体ＳＰの面内で撮像視野Ｖを２つの方向に順次移動させるだけなので、このような位置合わせも容易に行うことができる。
　本発明は、上述した各実施の形態１～８そのままに限定されるものではなく、各実施の形態１～８に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１～８に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１、２、４　画像処理装置
　３　顕微鏡装置
　５　表示装置
　６　顕微鏡システム
　１１　画像取得部
　１２、２１、４１　画像処理部
　１３　記憶部
　３０　光学系
　１１１　撮像制御部
　１１２　駆動制御部
　１２１　シェーディング成分算出部
　１２１ａ　第１方向シェーディング成分算出部
　１２１ｂ　第２方向シェーディング成分算出部
　１２２　画像補正部
　１２２ａ　第１画像補正部
　１２２ｂ　第２画像補正部
　２１１　平坦領域探索部
　３００　アーム
　３０１　落射照明ユニット
　３０１ａ　落射照明用光源
　３０１ｂ　落射照明光学系
　３０２　透過照明ユニット
　３０２ａ　透過照明用光源
　３０２ｂ　透過照明光学系
　３０３　標本ステージ
　３０４、３０４’　対物レンズ
　３０５　鏡筒
　３０６　撮像部
　３０７　ステージ位置変更部
　３０７ａ　ステッピングモータ
　３０８　三眼鏡筒ユニット
　３０９　接眼レンズユニット
　３１０　レボルバ
　４１１　ＶＳ画像作成部

Claims (17)

  1. 　互いに異なる第１及び第２の方向のそれぞれにおいて、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群を取得する画像取得部と、
    　前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部と、
    　前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正部と、
    を備え、
    　前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
    　前記画像補正部は、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
    ことを特徴とする画像処理装置。
  2. 　前記シェーディング成分算出部は、
    　前記第１の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第２の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第１シェーディング成分算出部と、
    　前記第２の画像群に基づき、前記１の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第１の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第２シェーディング成分算出部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記画像補正部は、
    　前記画像内の領域のうち、前記正規化シェーディング成分が算出された領域である第１の領域に対し、該正規化シェーディング成分を用いてシェーディング補正を行う第１画像補正部と、
    　前記画像内の領域のうち、前記正規化シェーディング成分が算出されていない領域である第２の領域に対し、該第２の領域について算出された前記非正規化シェーディング成分と、該非正規化シェーディング成分を算出する際に基準とされた領域について算出された前記正規化シェーディング成分とを用いて、前記シェーディング補正を行う第２画像補正部と、
    を備えることを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記第２画像補正部は、前記第１及び第２の画像群の一方から算出された前記非正規化シェーディング成分と、前記第１及び第２の画像群の他方から算出された正規化シェーディング成分とを用いて、前記シェーディング補正を行う、ことを特徴とする請求項３に記載の画像処理装置。
  5. 　前記シェーディング成分算出部は、前記１の画像内の一部の領域に関するシェーディング成分が既知である場合に、該一部の領域における輝度と、前記一部の領域に対して共通の被写体が写った前記他の画像内の領域における輝度と、既知である前記シェーディング成分と、を用いて、前記他の画像内の領域に関するシェーディング成分を算出する、ことを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせに基づいて、複数の前記他の画像内の領域に関するシェーディング成分をそれぞれ算出し、算出した複数の該シェーディング成分を加算平均する、ことを特徴とする請求項５に記載の画像処理装置。
  7. 　前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記１の画像と前記他の画像との複数の組み合わせであって、前記１の画像と前記他の画像との間で共通の被写体が写った領域である共通領域におけるテクスチャ成分が互いに異なる複数の組み合わせに基づいて、前記シェーディング成分を算出する、ことを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
  8. 　前記シェーディング成分算出部は、前記第１及び第２の画像群の各々に対し、前記複数の画像間で対応する領域における輝度を累積加算し、該累積加算した値を用いて、前記シェーディング成分を算出する、ことを特徴とする請求項７に記載の画像処理装置。
  9. 　前記シェーディング成分算出部は、前記複数の組み合わせに基づいて複数のシェーディング成分をそれぞれ算出し、該複数のシェーディング成分を加算平均する、ことを特徴とする請求項７に記載の画像処理装置。
  10. 　前記シェーディング成分算出部は、前記画像内の領域に対して前記第１及び第２の画像群に基づいてそれぞれ算出された２つの非正規化シェーディング成分と、該２つの非正規化シェーディング成分をそれぞれ算出する際に基準とされた２つの領域に対してそれぞれ算出された２つの正規化シェーディング成分とを用いて、前記画像内の領域におけるシェーディング成分を算出する、ことを特徴とする請求項１～９いずれか１項に記載の画像処理装置。
  11. 　前記１の画像と前記他の画像との間で共通の被写体が写った領域に含まれる画素の輝度の勾配に基づいて前記平坦領域を探索する平坦領域探索部をさらに備える、ことを特徴とする請求項１～１０のいずれか１項に記載の画像処理装置。
  12. 　前記第１及び第２の方向は互いに直交する、ことを特徴とする請求項１～１１のいずれか１項に記載の画像処理装置。
  13. 　請求項１～１２のいずれか１項に記載の画像処理装置と、
    　前記被写体の像を生成する光学系と、
    　前記被写体と前記光学系との少なくとも一方を移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、
    　前記被写体を撮像する撮像手段と、
    を備え、
    　前記画像取得部は、前記移動手段に前記視野を前記第１及び第２の方向にそれぞれ移動させながら、前記撮像手段に撮像を実行させる制御を行うことにより、前記第１及び第２の画像群をそれぞれ取得する、
    ことを特徴とする撮像装置。
  14. 　請求項１３に記載の撮像装置と、
    　前記被写体を載置するステージと、
    を備え、
    　前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させる、ことを特徴とする顕微鏡システム。
  15. 　前記画像処理装置は、前記第１及び第２の画像群に含まれる前記視野が隣り合う画像同士を貼り合わせることによりバーチャルスライド画像を作成するバーチャルスライド作成部をさらに備える、ことを特徴とする請求項１４に記載の顕微鏡システム。
  16. 　互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、
    　前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、
    　前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、
    を含み、
    　前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
    　前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
    ことを特徴とする画像処理方法。
  17. 　互いに異なる第１及び第２の方向において、少なくとも他の１枚の画像との間で被写体の一部が共通する複数の画像を含む第１及び第２の画像群をそれぞれ取得する画像取得ステップと、
    　前記第１及び第２の画像群の各々について、１の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、
    　前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、
    をコンピュータに実行させ、
    　前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
    　前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
    ことを特徴とする画像処理プログラム。
PCT/JP2014/081787 2014-06-10 2014-12-01 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム WO2015190013A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112014006672.9T DE112014006672T5 (de) 2014-06-10 2014-12-01 Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung, Mikroskopsystem, Bildverarbeitungsverfahren und ein Bildverarbeitungsprogramm
CN201480079674.3A CN106461928B (zh) 2014-06-10 2014-12-01 图像处理装置、摄像装置、显微镜系统以及图像处理方法
JP2016527610A JP6422967B2 (ja) 2014-06-10 2014-12-01 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
US15/343,692 US9990752B2 (en) 2014-06-10 2016-11-04 Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014119868 2014-06-10
JP2014-119868 2014-06-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/343,692 Continuation US9990752B2 (en) 2014-06-10 2016-11-04 Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015190013A1 true WO2015190013A1 (ja) 2015-12-17

Family

ID=54833133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/081787 WO2015190013A1 (ja) 2014-06-10 2014-12-01 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9990752B2 (ja)
JP (1) JP6422967B2 (ja)
CN (1) CN106461928B (ja)
DE (1) DE112014006672T5 (ja)
WO (1) WO2015190013A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139247A (ja) * 2015-04-30 2019-08-22 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ 反射を低減したコントラスト画像を生成するための方法およびこれに関連する装置
CN113014805A (zh) * 2021-02-08 2021-06-22 北京大学 一种仿视网膜中央凹与外周的联合采样方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3367153B1 (en) 2017-02-27 2022-02-09 Leica Instruments (Singapore) Pte. Ltd. Coded zoom knob, microscope having the same and method for retrofitting a coded zoom knob
WO2018163572A1 (ja) * 2017-03-10 2018-09-13 富士フイルム株式会社 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム
CN111757029A (zh) * 2018-03-26 2020-10-09 上海小蚁科技有限公司 阴影校正检测参数确定、校正检测方法及装置、存储介质、鱼眼相机
CN110794569B (zh) * 2019-11-14 2021-01-26 武汉兰丁智能医学股份有限公司 细胞微型显微图像采集装置及图像识别方法
DE102021203872A1 (de) 2021-04-19 2022-10-20 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung eines Helligkeitskorrekturbilds und Vorrichtung
CN115914601A (zh) * 2022-11-04 2023-04-04 展讯半导体(南京)有限公司 图像处理方法、系统、电子设备、可读存储介质及芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155558A (ja) * 1997-08-06 1999-02-26 Minolta Co Ltd デジタルカメラ
JP2005039339A (ja) * 2003-07-15 2005-02-10 Fuji Photo Film Co Ltd 撮影装置
JP2013257422A (ja) * 2012-06-12 2013-12-26 Olympus Corp 顕微鏡システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1985995A3 (en) * 1996-08-16 2009-09-16 GE Healthcare Niagara Inc. A digital imaging system for assays in well plates, gels and blots
US6571022B2 (en) * 1997-08-06 2003-05-27 Minolta Co., Ltd. Image processing apparatus for generating a single image of an object using overlapping partial images
JP2006171213A (ja) 2004-12-14 2006-06-29 Nikon Corp 顕微鏡システム
JP2008051773A (ja) 2006-08-28 2008-03-06 Hamamatsu Photonics Kk 蛍光画像取得装置、及び蛍光画像取得方法
CN201203699Y (zh) * 2008-01-27 2009-03-04 麦克奥迪实业集团有限公司 体视显微镜上光源照明装置
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
JP5830328B2 (ja) * 2011-09-26 2015-12-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
US9881373B2 (en) * 2012-12-07 2018-01-30 Canon Kabushiki Kaisha Image generating apparatus and image generating method
WO2015072306A1 (ja) * 2013-11-14 2015-05-21 日本電気株式会社 画像処理システム
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
JP6520919B2 (ja) * 2014-03-28 2019-05-29 日本電気株式会社 画像補正装置、画像補正方法およびプログラム
JP6075315B2 (ja) * 2014-03-28 2017-02-08 株式会社Ｊｖｃケンウッド 合成画像作成システム、合成画像作成方法、及び合成画像作成プログラム
JP6443857B2 (ja) * 2014-06-05 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155558A (ja) * 1997-08-06 1999-02-26 Minolta Co Ltd デジタルカメラ
JP2005039339A (ja) * 2003-07-15 2005-02-10 Fuji Photo Film Co Ltd 撮影装置
JP2013257422A (ja) * 2012-06-12 2013-12-26 Olympus Corp 顕微鏡システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139247A (ja) * 2015-04-30 2019-08-22 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ 反射を低減したコントラスト画像を生成するための方法およびこれに関連する装置
CN113014805A (zh) * 2021-02-08 2021-06-22 北京大学 一种仿视网膜中央凹与外周的联合采样方法及装置
WO2022165873A1 (zh) * 2021-02-08 2022-08-11 北京大学 一种仿视网膜中央凹与外周的联合采样方法及装置

Also Published As

Publication number Publication date
JPWO2015190013A1 (ja) 2017-04-20
US9990752B2 (en) 2018-06-05
JP6422967B2 (ja) 2018-11-14
CN106461928A (zh) 2017-02-22
CN106461928B (zh) 2019-09-17
DE112014006672T5 (de) 2017-02-23
US20170076481A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6422967B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP6196832B2 (ja) 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
JP5940383B2 (ja) 顕微鏡システム
EP2796916B1 (en) Image processing device, imaging device, microscope system, image processing method, and image processing program
US20120105612A1 (en) Imaging apparatus, endoscope apparatus, and image generation method
JP2016024052A (ja) ３次元計測システム、３次元計測方法及びプログラム
US10656406B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
WO2013161348A1 (ja) 画像処理プログラム及び画像処理装置
JP2015119344A (ja) 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法
JP6487938B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP2019016975A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP6422761B2 (ja) 顕微鏡システム、及び、ｚ位置と補正装置の設定値との関係算出方法
JP6800648B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP2016201600A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP7319840B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6838608B2 (ja) 画像処理装置及び画像処理方法
WO2017068655A1 (ja) 画像処理装置、画像処理システム、顕微鏡システム、画像処理方法、及び画像処理プログラム
CN113947534A (zh) 影像校正方法及装置
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP5982245B2 (ja) 画像処理装置及び画像処理方法
JP2015222310A (ja) 顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14894373

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016527610

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112014006672

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14894373

Country of ref document: EP

Kind code of ref document: A1