WO2016079853A1 - 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2016079853A1
WO2016079853A1 PCT/JP2014/080781 JP2014080781W WO2016079853A1 WO 2016079853 A1 WO2016079853 A1 WO 2016079853A1 JP 2014080781 W JP2014080781 W JP 2014080781W WO 2016079853 A1 WO2016079853 A1 WO 2016079853A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
shading
images
shading component
unit
Prior art date
Application number
PCT/JP2014/080781
Other languages
English (en)
French (fr)
Inventor
隼一 古賀
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2016559761A priority Critical patent/JP6487938B2/ja
Priority to PCT/JP2014/080781 priority patent/WO2016079853A1/ja
Publication of WO2016079853A1 publication Critical patent/WO2016079853A1/ja
Priority to US15/587,450 priority patent/US20170243386A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, a microscope system, an image processing method, and an image processing program that perform image processing on an image acquired by imaging a subject.
  • a microscope system in which an image obtained by copying a specimen placed on a slide glass in a microscope is recorded as electronic data, and this image is displayed on a monitor so that a user can observe it.
  • a virtual slide technique is used that constructs a high-resolution image in which the entire specimen is captured by sequentially pasting together partial images of the specimen magnified by the microscope.
  • the virtual slide technique is a technique for acquiring a plurality of images with different fields of view for the same subject and connecting the images to generate an image with an enlarged field of view for the subject.
  • a composite image obtained by connecting a plurality of images is called a virtual slide image.
  • the microscope includes a light source for illuminating the specimen and an optical system for enlarging the specimen image.
  • an imaging element that converts an enlarged sample image into electronic data is provided at the subsequent stage of the optical system.
  • This lightness unevenness is called shading and usually changes so as to become darker as it moves away from the center of the image corresponding to the position of the optical axis of the optical system.
  • shading is repeated by pasting a plurality of images, it looks as if a periodic pattern exists on the specimen.
  • Patent Document 1 captures a reference visual field image that is an image of a predetermined visual field range of the sample, and moves the position of the sample relative to the optical system.
  • a plurality of peripheral visual field images which are images of a peripheral visual field range different from the predetermined visual field range including a predetermined region, are captured, and a correction gain for each pixel of the reference visual field image is calculated based on the reference visual field image and the peripheral visual field image.
  • a technique for performing shading correction is disclosed.
  • Patent Document 2 discloses an image formed by recording an image formed in an image circle, which is a region corresponding to one field of view of an imaging optical system, while relatively shifting the imaging element with respect to the imaging optical system.
  • a technique for acquiring a plurality of images having an area smaller than a circle, positioning each image using shift information of each image, and acquiring a composite image of these images is disclosed.
  • shading correction fails, it is necessary to perform imaging again or acquire an image by reading an original image that has been saved separately, and then perform pasting and shading correction again. That is, there is a problem in that only shading correction cannot be performed again later, and the degree of freedom of shading correction is low.
  • the present invention has been made in view of the above, and can generate a combined image in which shading correction has been performed in a short time, and can perform shading correction with a higher degree of freedom than in the past, and many
  • an imaging device an imaging device, a microscope system, an image processing method, and an image processing program capable of generating both a composite image before shading correction and a composite image after shading correction without requiring a large memory capacity Objective.
  • an image processing apparatus is a plurality of images having different fields of view, and each image is a subject common to at least one other image.
  • An image acquisition unit that acquires a plurality of images having a common area that is an area where the image is captured, a positional relationship acquisition unit that acquires a positional relationship between the plurality of images, and pastes the plurality of images based on the positional relationship
  • a shading component acquisition unit that acquires a shading component in each image, and the correction used for shading correction of the composite image based on the shading component and the positional relationship
  • a correction gain calculation unit that calculates a gain; and an image correction unit that performs shading correction on the composite image using the correction gain.
  • the image composition unit weights and adds the luminances in the common region between adjacent images using a blend coefficient, thereby obtaining the luminance in the region in the composite image corresponding to the common region.
  • the correction gain calculation unit calculates a correction gain to be applied to the region in the composite image using the blend coefficient.
  • the image processing apparatus further includes a display unit that displays the composite image, and an operation input unit that inputs an instruction signal according to an operation performed from the outside, and the display unit responds to the instruction signal, The composite image after shading correction and the composite image before shading correction are switched and displayed.
  • the shading component acquisition unit calculates the shading component from at least two images having a common area among the plurality of images.
  • the shading component acquisition unit uses the luminance of the common region in the first pair of images having a common region in the first direction to determine the characteristics of the shading component in the first direction.
  • a second shading component calculation unit that calculates a characteristic of the shading component; a third shading component calculation unit that calculates a shading component in each image using the characteristics of the shading component in the first and second directions; It is characterized by providing.
  • the shading component acquisition unit calculates a luminance ratio in the common area from the at least two images, and estimates a shading component in each image using the luminance ratio.
  • the shading component acquisition unit uses the luminance in the central region of the first image and the luminance in the common region of the second image having a common region with respect to the central region, to use the shading component. Is calculated.
  • An imaging apparatus includes the image processing apparatus and an imaging unit that images the subject and outputs an image signal.
  • the microscope system includes at least one of the image processing device, an imaging unit that images the subject and outputs an image signal, a stage on which the subject is placed, the imaging unit, and the stage.
  • An image processing method includes a plurality of images having different fields of view, each having a common area that is an area in which a common subject is captured with at least one other image.
  • An image processing program includes a plurality of images having a common area, each of which is a plurality of images having different fields of view, each of which is an area in which a common subject is captured with at least one other image.
  • a shading component acquisition step for acquiring a shading component in each image, a correction gain calculation step for calculating a correction gain used for shading correction of the composite image based on the shading component and the positional relationship, and the correction gain
  • a composite image is generated by pasting together a plurality of images having different fields of view based on the positional relationship between the images, and correction used for shading correction of the composite image based on the positional relationship. Since the gain is calculated and the composite image is subjected to shading correction using this correction gain, the time required for shading correction for each image can be omitted, and the throughput in the combining process can be improved. Furthermore, according to the present invention, it is possible to perform shading correction with a higher degree of freedom than in the past, such as redoing only shading correction after generating a composite image.
  • the correction gain used for the shading correction of the composite image is created, the composite image before the shading correction and the composite image after the shading correction are appropriately used without using individual images before the shading correction. Can be generated. Therefore, it is not necessary to save individual images before shading correction, and the memory capacity can be saved.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram for explaining the operation of the image acquisition unit shown in FIG.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 4 is a schematic diagram for explaining the operation of the image processing apparatus shown in FIG.
  • FIG. 5 is a schematic diagram for explaining image pasting processing.
  • FIG. 6 is a schematic diagram showing a plurality of images acquired by sequentially capturing the subject shown in FIG.
  • FIG. 7 is a schematic diagram showing a composite image generated by pasting a plurality of images shown in FIG.
  • FIG. 8 is a schematic diagram illustrating an example of a shading component in each image.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram for explaining the operation of the image acquisition unit shown in FIG.
  • FIG. 9 is a schematic diagram for explaining a method for calculating a shading component in a composite image.
  • FIG. 10 is a schematic diagram for explaining a method for calculating a shading component in a composite image.
  • FIG. 11 is a schematic diagram showing shading components in a composite image.
  • FIG. 12 is a schematic diagram illustrating the correction gain applied to the composite image.
  • FIG. 13 is a schematic diagram for explaining shading correction of a composite image.
  • FIG. 14 is a block diagram showing a configuration of a shading component acquisition unit provided in the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 15 is a schematic diagram for explaining a method for acquiring a shading component in each image.
  • FIG. 16 is a schematic diagram for explaining an image capturing method used for obtaining a shading component in each image.
  • FIG. 17 is a schematic diagram illustrating a horizontal shading component.
  • FIG. 18 is a schematic diagram showing a vertical shading component.
  • FIG. 19 is a schematic diagram showing shading components in each image.
  • FIG. 20 is a schematic diagram for explaining a method for calculating a shading component in a block in which only a denormalized shading component is obtained.
  • FIG. 21 is a schematic diagram for explaining another method for calculating a shading component in a block in which only a non-normalized shading component is obtained.
  • FIG. 22 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
  • FIG. 23 is a schematic diagram for explaining a shading component acquisition method according to Embodiment 3 of the present invention.
  • FIG. 24 is a schematic diagram for explaining a shading component acquisition method according to Embodiment 3 of the present invention.
  • FIG. 25 is a schematic diagram showing a configuration example of a microscope system according to Embodiment 4 of the present invention.
  • FIG. 26 is a schematic diagram illustrating an example of a screen displayed on the display device illustrated in FIG.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to the first embodiment includes an image acquisition unit 11 that acquires an image showing an observation target, an image processing unit 12 that performs image processing on the image, and a storage unit 13. With.
  • the image acquisition unit 11 acquires a plurality of images having a common area that is a plurality of images having different fields of view and in which each image includes a common subject with at least one other image.
  • the image acquisition unit 11 may acquire such a plurality of images directly from the imaging device, or may acquire via a network or a storage device. In the first embodiment, it is assumed that the image acquisition unit 11 directly acquires an image from the imaging device.
  • the type of the imaging device is not particularly limited, and may be, for example, a microscope device having an imaging function or a digital camera.
  • FIG. 2 is a schematic diagram for explaining the operation of the image acquisition unit 11.
  • the imaging optical system 14 included in the imaging device, the stage 15 on which the subject SP is placed, and the field of view V of the imaging optical system 14 are illustrated. Show.
  • the mounting surface of the stage 15 is the XY plane, and the optical axis of the imaging optical system 14 is the Z direction.
  • At least one of the imaging optical system 14 and the stage 15 is provided with a drive unit (not shown) that changes the position in the XY plane.
  • the image acquisition unit 11 includes an imaging control unit 111 that controls an imaging operation in the imaging apparatus, and a drive control unit 112 that changes the relative position between the imaging optical system 14 and the stage 15 by controlling the operation of the driving unit. Prepare.
  • the drive control unit 112 sequentially moves the visual field V with respect to the subject SP by changing the relative positions of the imaging optical system 14 and the stage 15 in the XY plane.
  • the imaging control unit 111 executes imaging control for the imaging device in conjunction with the drive control by the drive control unit 112, and captures an image of the subject SP in the field of view V from the imaging device.
  • the drive control unit 112 moves the imaging optical system 14 or the stage 15 so that the sequentially moving field of view V overlaps a part of the field of view V previously captured.
  • the position of the imaging optical system 14 may be fixed and the stage 15 side may be moved, or the position of the stage 15 may be fixed, The imaging optical system 14 side may be moved. Alternatively, both the imaging optical system 14 and the stage 15 may be moved relatively.
  • the drive unit is configured by a motor and an encoder that detects the rotation amount of the motor, and the operation value of the motor is feedback-controlled by inputting the output value of the encoder to the drive control unit 112. Also good. Or you may comprise a drive part by the pulse generation part and stepping motor which generate a pulse under control of the drive control part 112.
  • the image processing unit 12 generates a composite image by combining a plurality of images acquired by the image acquisition unit 11.
  • the image processing unit 12 includes a positional relationship acquisition unit 121 that acquires a positional relationship between a plurality of images, an image combining unit 122 that performs a combining process of combining a plurality of images to generate a combined image, Based on the shading component acquisition unit 123 that acquires the shading component generated in each image corresponding to the field of view V of the imaging optical system 14 and the positional relationship between the shading component and the plurality of images, the shading correction of the composite image is performed.
  • a correction gain calculation unit 124 that calculates a correction gain to be used, and an image correction unit 125 that performs shading correction of the composite image using the correction gain.
  • the positional relationship acquisition unit 121 acquires control information for the driving unit provided in the imaging optical system 14 or the stage 15 from the drive control unit 112, and acquires the positional relationship between images from the control information. Specifically, the positional relationship acquisition unit 121 uses, as the positional relationship, the center coordinates of the visual field when each image is captured (or the upper left coordinate of the visual field) and the amount of movement that moves the visual field every time imaging is performed. You may get it. Or you may acquire the motion vector between the images acquired continuously as a positional relationship.
  • the image composition unit 122 generates a composite image by pasting together a plurality of images acquired by the image acquisition unit 11 based on the positional relationship acquired by the positional relationship acquisition unit 121.
  • the shading component acquisition unit 123 acquires the shading component generated in the image by imaging the visual field V by the imaging optical system 14.
  • the shading component acquisition unit 123 holds a shading component acquired in advance.
  • This shading component can be obtained from an image obtained by placing a white plate or a slide glass on which a specimen is not fixed on the stage 15 in place of the subject SP and performing imaging.
  • the shading component may be calculated in advance based on the design data of the imaging optical system 14.
  • the correction gain calculation unit 124 is applied to the synthesized image generated by the image synthesis unit 122 based on the shading component acquired by the shading component acquisition unit 123 and the positional relationship between the plurality of images acquired by the positional relationship acquisition unit 121.
  • the correction gain to be calculated is calculated.
  • the image correction unit 125 corrects shading generated in the composite image using the correction gain calculated by the correction gain calculation unit 124.
  • the storage unit 13 is composed of a storage device such as a flash memory, a RAM, and a semiconductor memory such as a ROM, which can be updated and recorded.
  • the storage unit 13 stores various parameters used by the image acquisition unit 11 for controlling the imaging apparatus, image data of a composite image generated by the image processing unit 12, various parameters used in the image processing unit 12, and the like. .
  • the image acquisition unit 11 and the image processing unit 12 described above may be realized using dedicated hardware, or may be realized by reading a predetermined program into the CPU. In the latter case, an image processing program for causing the image acquisition unit 11 and the image processing unit 12 to execute predetermined processing, and various parameters and setting information used during the execution of these programs are stored in the storage unit 13. Also good.
  • a storage device including a recording medium such as a hard disk, an MO, a CD-R, a DVD-R, and a writing / reading device for writing / reading information to / from the recording medium is processed through a data communication terminal.
  • the image processing program and parameters may be stored in the storage device connected to the device 1.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus 1.
  • the shading component acquisition unit 123 acquires and holds a shading component in advance.
  • step S10 the image acquisition unit 11 acquires an image showing a part of the subject.
  • FIG. 4 is a schematic diagram for explaining a subject imaging method.
  • the subject SP is partially captured are sequentially obtained by performing imaging in a plurality of times while moving the field of view V with respect to the subject SP shown in FIG. Shall be acquired.
  • the moving direction of the visual field V with respect to the subject SP and the imaging order of the areas in the subject SP are not particularly limited.
  • the image acquisition unit 11 captures images twice so that a part of the visual field V overlaps, and acquires two images m1 and m2 (FIG. 4B). reference).
  • the positional relationship acquisition unit 121 determines the position of the latest image (image m2 in the case of FIG. 4B) and the previously acquired image (image m1 in the case of FIG. 4B). Get relationship.
  • the positional relationship includes, for example, the amount of movement (scale value) of the stage on which the subject SP is placed, the amount of driving of the driving unit provided on the stage, the number of pulses of the stepping motor, and the matching processing for the images m1 and m2. As well as the motion vectors of the subject in the images m1 and m2 and combinations thereof.
  • the positional relationship acquisition unit 121 causes the storage unit 13 to store information representing the acquired positional relationship.
  • step S12 the image composition unit 122 generates a composite image by pasting the latest image to the previously acquired image based on the positional relationship between the images acquired in step S11.
  • FIG. 5 is a schematic diagram for explaining image pasting processing.
  • the image composition unit 122 uses the common areas a1 and a2 between the image m1 and the image m2. Are extracted based on the positional relationship between the image m1 and the image m2, and the common regions a1 and a2 are superimposed and combined. Specifically, as shown in FIG. 5A, when the latest image m2 is pasted to the previously acquired image m1, the image composition unit 122 uses the common areas a1 and a2 between the image m1 and the image m2. Are extracted based on the positional relationship between the image m1 and the image m2, and the common regions a1 and a2 are superimposed and combined. Specifically, as shown in FIG.
  • the luminance I (x, y) of the pixel at the coordinates (x, y) in the area a3 where the common areas a1 and a2 are overlapped is expressed as the common area a1, It is obtained by weighted addition of luminances I 1 (s, t) and I 2 (u, v) of pixels corresponding to positions between a2.
  • the luminance I 1 (s, t) is the luminance of the pixel at the coordinates (s, t) in the image m1 corresponding to the coordinates (x, y) in the region a3, and the luminance I 2 (u, v).
  • a composition method by weighted addition in which the sum of weighting coefficients is 1 is called ⁇ blending, and the weighting coefficient ⁇ in Expression (1) is also called a blending coefficient.
  • the blending coefficient ⁇ may be changed according to the coordinates of the pixel to be blended. For example, when the coordinate x in the horizontal direction (the left-right direction in the figure) is located at the center of the region a3, the blending coefficient ⁇ is set to 0.5. The blend coefficient ⁇ may be made closer to 0 as the coordinate x approaches the center of the image m2.
  • step S13 the image composition unit 122 causes the storage unit 13 to store the image data of the composite image subjected to the pasting process.
  • the original images m1, m2,... Before being bonded may be sequentially deleted after the bonding process.
  • the image composition unit 122 stores the blend coefficient ⁇ in the storage unit 13 for each pixel in the region a3.
  • step S14 the image processing apparatus 1 determines whether or not to end the pasting process. For example, if the entire area of the subject SP shown in FIG. 4A has been imaged, the image processing apparatus 1 determines to end the pasting process (step S14: Yes), and proceeds to step S16 described later. .
  • step S14 determines that the pasting process is not completed (step S14: No), and moves the visual field V (step S15).
  • the drive control unit 112 performs drive control of the imaging apparatus so that the destination visual field V overlaps a part of the captured visual field V.
  • the imaging control unit 111 acquires an image by causing the imaging device to capture the moving field of view V (step S10).
  • the subsequent steps S11 to S15 are as described above. Among these, in step S13, every time a new composite image is generated, the image data of the composite image stored in the storage unit 13 is updated.
  • FIG. 6 is a schematic diagram showing images m1 to m9 acquired by sequentially imaging the subject SP.
  • FIG. 7 is a schematic diagram showing a composite image generated by pasting the images m1 to m9. Steps S10 to S15 described above are repeated, and a newly acquired image is sequentially pasted to the previously acquired image, thereby generating a composite image M1 shown in FIG.
  • the composite image M1 is a combination of the images m1 to m9 that have not been subjected to the shading correction, so that a grid-like shading occurs as a whole.
  • the correction gain calculation unit 124 calculates a correction gain applied to the composite image M1. Specifically, the correction gain calculation unit 124 takes in the shading components in each of the images m1 to m9 from the shading component acquisition unit 123 and also takes in the positional relationship information acquired in step S11 from the storage unit 13. . Based on these pieces of information, a shading component in the composite image M1 is calculated, and a correction gain is calculated from the shading component.
  • FIG. 8 is a schematic diagram showing an example of a shading component in each image.
  • the shading component sh1 shown in FIG. 8 has a characteristic that the brightness is high at the center of the image and the brightness decreases as the distance from the center of the image increases.
  • FIG. 9 and 10 are schematic diagrams for explaining a method of calculating a shading component in the composite image M1.
  • the correction gain calculation unit 124 firstly adds the shading component sh1 as shown in FIG. Then, the shading components of the areas a1 ′ and a2 ′ corresponding to the common areas a1 and a2 are extracted. Then, as shown in FIG. 10, the shading component sh1 is repetitively synthesized so that these regions a1 ′ and a2 ′ overlap.
  • the shading component S ′ (x, y) of the pixel at the coordinates (x, y) in the region a3 ′ obtained by superimposing the regions a1 ′ and a2 ′ is represented by the regions a1 ′ and a2 as shown in the following equation (2).
  • 'Is given by ⁇ blending the shading components S (s, t) and S (u, v) of the corresponding pixels.
  • the blending coefficient ⁇ used at that time is acquired from the storage unit 13, and shading is performed using the same blending coefficient ⁇ as in the pasting process.
  • the component sh1 is synthesized.
  • the shading component SH in the synthesized image M1 is obtained as shown in FIG.
  • the correction gain calculation unit 124 calculates a correction gain G (x, y) used for shading correction of the composite image M1 by taking the reciprocal of the shading component SH as shown in the following equation (3).
  • FIG. 12 is a schematic diagram showing the correction gain G calculated thereby.
  • step S ⁇ b> 17 the correction gain calculation unit 124 stores the calculated correction gain G in the storage unit 13.
  • step S18 the image correcting unit 125 performs shading correction of the composite image M1 using the correction gain G calculated in step S16.
  • FIG. 13 is a schematic diagram for explaining shading correction of the composite image M1.
  • T (x, y) I (x, y) ⁇ G (x, y) (4)
  • the luminance I (x, y) of the pixel in the region a3 in the composite image is the luminance I 1 (s, s) of the corresponding pixel between the common regions a1 and a2 in the images m1 and m2.
  • t) and I 2 (u, v) are calculated by ⁇ blending.
  • the texture component T (x, y) from which the shading component is removed is also obtained in the region a3. Thereafter, the image processing apparatus 1 ends the operation.
  • the subject SP is sequentially captured to perform the pasting process each time the images m1, m2,.
  • shading correction since shading correction is performed, it is possible to omit shading correction for individual images and to improve the throughput in the pasting process.
  • Embodiment 1 of the present invention since the shading correction is performed after the composite image M1 is generated, only the shading correction can be redone when the shading correction fails, and the shading correction with a higher degree of freedom than in the past. It becomes possible to do.
  • the composite image M1 before shading correction and the correction gain G used for shading correction of this composite image are stored in the storage unit 13, so that the composite image before shading correction and Both the combined image after the shading correction can be appropriately generated.
  • the correction gain G may be generated and deleted each time shading correction is performed.
  • the memory capacity of the storage unit 13 can be saved.
  • FIG. 14 is a block diagram showing a configuration of a shading component acquisition unit provided in the image processing apparatus according to Embodiment 2 of the present invention.
  • the image processing apparatus according to Embodiment 2 includes a shading component acquisition unit 200 shown in FIG. 14 instead of the shading component acquisition unit 123 shown in FIG.
  • the configuration of each unit of the image processing apparatus other than the shading component acquisition unit 200 is the same as that of the first embodiment.
  • the shading component acquisition unit 200 uses the image acquired by the image acquisition unit 11 to acquire a shading component in each image corresponding to the visual field V (see FIG. 2).
  • the shading component acquisition unit 200 includes a first shading component calculation unit 201 that calculates the characteristics of the shading component in the horizontal direction (left-right direction in the figure), and the vertical direction (up-down direction in the figure).
  • a second shading component calculation unit 202 that calculates the characteristics of the shading component, and a shading component calculation unit that calculates the shading component of the entire image using the characteristics of the shading components in the horizontal direction and the vertical direction (third shading component calculation unit) 203).
  • FIGS. 15 to 21 are schematic diagrams for explaining a method for acquiring a shading component according to the second embodiment.
  • (X, Y) (1, 1) to (5, 5).
  • the length in the horizontal direction of each block is ⁇ w, and the length in the vertical direction is ⁇ h.
  • the shading component is 1.0
  • the shading component changes substantially concentrically from the flat area toward the edge of the image. Therefore, in the second embodiment, as shown in FIG. 15, among the blocks (1, 1) to (5, 5) obtained by dividing the image m, the central block (3, 3) is a flat region. And the shading components of other blocks are calculated.
  • FIG. 16 is a schematic diagram for explaining a method of capturing an image used for acquiring a shading component.
  • the distance for moving the visual field V may be a predetermined distance or a distance that the user arbitrarily moves the stage 15 (see FIG.
  • the shift amount between a pair of images selected from a group of images continuously acquired while moving the stage 15 in the horizontal direction can be set to a length ⁇ w for one block.
  • the number of blocks divided in the horizontal direction is determined by dividing the horizontal length w of the image m by the shift amount (length ⁇ w) between the images.
  • the luminance H 1 (X 2).
  • the shading component Sh acquired from the images m 0 and m 1 whose fields of view are shifted in the horizontal direction is also referred to as a horizontal direction shading component Sh.
  • the first shading component calculation unit 201 may calculate the horizontal direction shading component Sh from two images with the visual field shifted in the horizontal direction, but from a plurality of pairs of images with the visual field shifted in the horizontal direction.
  • the final horizontal shading component Sh may be obtained by calculating a plurality of horizontal shading components Sh at the same pixel position and averaging the horizontal shading components Sh. Thereby, it is possible to suppress a reduction in accuracy of the shading component due to image degradation such as random noise, overexposure, and blackout.
  • the second shading component calculation unit 202 acquires a shading component from an image whose field of view is shifted in the vertical direction.
  • the second shading component calculation unit 202 corresponds to an image acquired by performing imaging while aligning the visual field V with a certain area in the subject SP, and the visual field V in a vertical direction (equivalent to one block).
  • the image acquired by taking an image after shifting by a length ⁇ h (see FIG. 15) is captured from the image acquisition unit 11.
  • the distance for moving the visual field V may be a distance obtained by arbitrarily moving the stage 15 (see FIG. 2) in the vertical direction as in the horizontal direction.
  • the shift amount between a pair of images selected from a group of images acquired continuously while moving the stage 15 in the vertical direction may be set to a length ⁇ h for one block.
  • the number of blocks divided in the vertical direction can be determined later from the length ⁇ h of one block.
  • a shading component is obtained and stored in the storage unit 13.
  • FIG. 18 is a schematic diagram showing the vertical shading component Sv.
  • the shading component calculation unit 203 uses the horizontal direction shading component Sh calculated by the first shading component calculation unit 201 and the vertical direction shading component Sv calculated by the second shading component calculation unit 202 to calculate a shading component in each image. calculate.
  • the shading components at arbitrary pixels in the block (X, Y) will be referred to as Sh (X, Y).
  • the shading components at arbitrary pixels in the block (X, Y) are denoted as Sv (X, Y).
  • the shading component Sh of the block in the third row is used.
  • (1, 3), Sh (2, 3), Sh (4, 3), Sh (5, 4) are calculated using the shading component of the block (3, 3), which is a flat region, as the reference (1.0). It has been done. Therefore, the shading components Sh (1,3), Sh (2,3), Sh (4,3) of the block calculated based on the shading component of the flat region (3,3) among the horizontal shading components Sh.
  • Sh (5,4) is referred to as a normalized shading component.
  • the blocks of the first, second, fourth, and fifth rows The shading component is based on the shading components Sh (3, 1), Sh (3, 2), Sh (3, 4), and Sh (3, 5) other than the flat region (3, 3) (1.0). ) And calculated respectively. Therefore, a shading component (Sh (1, 1) or the like) calculated based on the shading component of a block other than the flat region is referred to as a denormalized shading component.
  • the shading component is based on the shading components Sv (1, 3), Sv (2, 3), Sv (4, 3), and Sv (5, 3) other than the flat region (3, 3) (1.0). ) And calculated respectively. Therefore, the shading components (Sv (1, 1), etc.) of these blocks are referred to as non-normalized shading components.
  • the shading component calculation unit 203 includes the shading component 1.0 of the flat region (3, 3) and the normalized shading components Sh (1, 3), Sh (2, 3), Sh (of the horizontal direction shading component Sv. 4,3), Sh (5,3), and normalized shading components Sv (3,1), Sv (3,2), Sv (3,4), Sv (3, of the vertical direction shading components Sh. 5) is determined as the shading component S (X, Y) of each block and stored in the storage unit 13.
  • FIG. 19 is a schematic diagram showing shading components in each image, and shaded lines are attached to blocks where flat regions and normalized shading components are obtained.
  • the shading component calculation unit 203 uses a non-normalized shading component of the block and a normalized shading component in the same row or column as the block as the shading component of the block from which only the non-normalized shading component is obtained. To calculate.
  • FIG. 20 is a schematic diagram for explaining a method for calculating a shading component of a block in which only a non-normalized shading component is obtained.
  • the shading component S (1,1) of the block (1,1) shown in FIG. 19 is calculated.
  • the non-normalized shading component Sh (1,1) of the block (1,1) is based on the shading component of the block (3,1) in the same row as the reference (1.0). It is calculated by considering.
  • the normalized shading component Sv (3, 1) calculated with reference to the flat region (3, 3) is obtained for the block (3, 1). Therefore, the shading component S (1,1) of the block (1,1) is given by the following equation (9).
  • S (1,1) Sh (1,1) ⁇ Sv (3,1) (9)
  • the shading component S (1,1) of the same block (1,1) can be obtained as follows.
  • the non-normal shading component Sv (1,1) of the block (1,1) regards the shading component of the block (1,3) in the same column as the reference (1.0). It is calculated by this.
  • the normalized shading component Sh (1, 3) calculated with reference to the flat region (3, 3) is obtained for the block (1, 3). Therefore, the shading component S (1,1) of the block (1,1) is given by the following equation (10).
  • S (1,1) Sv (1,1) ⁇ Sh (1,3) (10)
  • the shading component S (X, Y) at any pixel in the block (X, Y) is in the same column as the vertical shading component Sv (X, Y) calculated for the block (X, Y).
  • the normalized shading component Sh (X, Y 0 ) included it is given by the following equation (12).
  • S (X, Y) Sv (X, Y) ⁇ Sh (X, Y 0 ) (12)
  • the shading component calculation unit 203 calculates the shading component S (X, Y) using Equation (11) or (12) for all blocks for which only the non-normal shading component is calculated, and stores it in the storage unit 13. .
  • FIG. 22 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
  • steps S10 to S15 are the same as those in the first embodiment.
  • the visual field V is moved so that at least one pair of images having a sufficient common area is acquired for each of the horizontal direction and the vertical direction of the image. Specifically, at least the central portion of the image that is a flat region is included in the common region between the pair of images. Further, the pair of images having a sufficient common area is stored without being deleted even after being used for generating the composite image in step S12.
  • step S14 When it is determined in step S14 that the image combining process is to be ended (step S14: Yes), the shading component acquisition unit 200 captures a pair of images having a sufficient common area in each of the horizontal direction and the vertical direction. Then, a shading component is acquired from these pairs of images (step S20). In addition, between these pair images, it is assumed that the common area is aligned based on the positional relationship between the images acquired in step S11.
  • the shading component acquisition method is as described with reference to FIGS. Further, after the shading component is acquired, the pair image may be deleted.
  • step S16 a correction gain is calculated using the shading component acquired in step S20.
  • the shading component is acquired from the image acquired by the image acquisition unit 11
  • a white board or the like is separately prepared to acquire the shading component, and the subject SP and It is possible to perform highly accurate shading correction without the need for switching and imaging.
  • the length ⁇ w and length ⁇ h of one block in the horizontal direction and the vertical direction of the image can be set from the distance that the user arbitrarily moves the stage, the microscope system is not limited to the electric stage but also to the manual stage. Simple implementation is possible.
  • the shading component acquisition process is executed after the image combining process is completed. If the pair image used for acquiring the shading component is acquired, The shading component acquisition process may be executed in parallel with the image combining process.
  • the characteristics of the shading components in the horizontal direction and the vertical direction are obtained.
  • the direction for obtaining the characteristics of the shading components is not limited to this, and the characteristics of the shading components in two different directions are used. Just ask.
  • the shading component S (X, Y) of the block (X, Y) for which the normalized shading component is not obtained is calculated using either of the equations (11) and (12).
  • the shading component S (X, Y) may be calculated by weighting and combining the shading components given by these equations (11) and (12).
  • the horizontal direction shading component Sh (X, Y), which is a non-normalized shading component of the block (X, Y), is included in the same row as the block (X, Y).
  • the shading component given by the vertical shading component Sv (X 0 , Y) that is the normalized shading component is defined as a shading component Shv 1 (X, Y) (Formula (13)).
  • Shv 1 (X, Y) Sh (X, Y) ⁇ Sv (X 0 , Y) (13)
  • the vertical shading component Sv (X, Y), which is a denormalized shading component of the same block (X, Y), is included in the same column as the block (X, Y).
  • a shading component given by the horizontal shading component Sh (X, Y 0 ), which is a normalized shading component, is defined as a shading component Shv 2 (X, Y) (formula (14)).
  • Shv 2 (X, Y) Sv (X, Y) ⁇ Sh (X, Y 0 ) (14)
  • a combined shading component S (X, Y) obtained by weighting and combining these shading components Shv 1 (X, Y) and Shv 2 (X, Y) is given by the following equation (15).
  • w (X, Y) is a weight used for combining the shading components.
  • the weight w (X, Y) can be determined based on, for example, the ratio of the sum of the edge amounts as shown in the following equation (16). .
  • the parameter ⁇ is a normalization coefficient.
  • Edge h [] represents the sum of the horizontal edge amounts in the target region (block (X, Y) or (X, Y 0 )) of the distribution of shading components in the horizontal direction.
  • Edge v [] indicates the total sum of edge amounts in the vertical direction in the target region (block (X 0 , Y) or (X, Y)) of the distribution of shading components in the vertical direction.
  • the sum of the edge amounts in the blocks (X, Y) and (X 0 , Y) used for the calculation of the shading component Shv 1 (X, Y) is the block used for calculating the shading component Shv 2 (X, Y) (
  • the value of the weight w (X, Y) is also small. Accordingly, the contribution of the shading component Shv 1 in equation (15) is increased.
  • the smooth composite shading component S (X, Y) is calculated by setting the weight w (X, Y) by the equation (16).
  • the median filter, the averaging filter, and the Gaussian are calculated.
  • a smoother combined shading component S (X, Y) may be generated by combining filter processing such as a filter.
  • FIG. 23 and FIG. 24 are schematic diagrams for explaining a shading component acquisition method according to Embodiment 3 of the present invention.
  • a case will be described as an example where shading components are acquired from nine images acquired by capturing the subject SP in nine times.
  • the image used for acquiring the shading component is stored without being erased even after being used for generating the composite image in step S12.
  • FIG. 24 shows an image m5 located at the center among the nine images m1 to m9 shown in FIG.
  • the luminance of an arbitrary pixel included in the region a5 at the upper end of the image m5 is I (x, y)
  • the luminance I (x, y) is a texture component T (x, y)
  • a shading component S (x , Y) and can be expressed by the following equation (17).
  • I (x, y) T (x, y) ⁇ S (x, y) (17)
  • the region a5 at the upper end of the image m5 is a common region with the region at the lower end of the image m2, the texture components T (x, y) and T ′ (x ′, y ′) are equal to each other. . Therefore, the following equation (19) is established from the equations (17) and (18). That is, the luminance ratio in the common area between the two images corresponds to the ratio of the shading components.
  • the image m5 is obtained by shifting the field of view in the xy plane with respect to the image m2, and this shift amount is given by the positional relationship between the images acquired in step S11.
  • the change in the shading component is calculated using the luminance in the common area with the adjacent images m4, m6, and m8. be able to.
  • a shading model that approximates the shading component S (x, y) in the image is created, and this shading model is corrected using the luminance ratio calculated for the regions a5, a6, a7, and a8.
  • An example of the shading model is a quadric surface that is minimal at the center coordinates of the image.
  • a model function representing a shading model for example, a quadratic function representing a quadric surface
  • f (x, y) is created, and this model function f (x, y) is given by the following equation (21).
  • the evaluation function K is evaluated.
  • the evaluation function K is calculated by substituting (x, y) into the equation (21), and the model function f (x, y) when the evaluation function K is minimized is obtained.
  • the shading component S (x, y) at each coordinate (x, y) in the image may be calculated using the model function f (x, y).
  • FIG. 25 is a schematic diagram showing a configuration example of a microscope system according to Embodiment 4 of the present invention.
  • the microscope system 2 according to Embodiment 4 includes a microscope apparatus 3 and an image processing apparatus 4 that processes an image acquired by the microscope apparatus 3 and displays the image.
  • the microscope apparatus 3 includes a substantially C-shaped arm 300 provided with an epi-illumination unit 301 and a transmission illumination unit 302, a sample stage 303 attached to the arm 300 and on which a subject SP to be observed is placed, a mirror An objective lens 304 provided on one end side of the tube 305 so as to face the sample stage 303 via the trinocular tube unit 308, an imaging unit 306 provided on the other end side of the lens tube 305, and the sample stage 303 And a stage position changing unit 307 to be moved.
  • the trinocular tube unit 308 branches the observation light of the subject SP incident from the objective lens 304 into an imaging unit 306 and an eyepiece unit 309 described later.
  • the eyepiece unit 309 is for the user to directly observe the subject SP.
  • the epi-illumination unit 301 includes an epi-illumination light source 301a and an epi-illumination optical system 301b, and irradiates the subject SP with epi-illumination light.
  • the epi-illumination optical system 301b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the epi-illumination light source 301a and guide it in the direction of the observation optical path L.
  • the transmitted illumination unit 302 includes a transmitted illumination light source 302a and a transmitted illumination optical system 302b, and irradiates the subject SP with transmitted illumination light.
  • the transmission illumination optical system 302b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the transmission illumination light source 302a and guide it in the direction of the observation optical path L.
  • the objective lens 304 is attached to a revolver 310 that can hold a plurality of objective lenses having different magnifications (for example, objective lenses 304 and 304 ′). By rotating the revolver 310 and changing the objective lenses 304 and 304 ′ facing the sample stage 303, the imaging magnification can be changed.
  • a revolver 310 that can hold a plurality of objective lenses having different magnifications (for example, objective lenses 304 and 304 ′).
  • a zoom unit including a plurality of zoom lenses and a drive unit (none of which is shown) that changes the positions of these zoom lenses.
  • the zoom unit enlarges or reduces the subject image in the field of view by adjusting the position of each zoom lens.
  • An encoder may be further provided in the drive unit in the lens barrel 305. In this case, the output value of the encoder may be output to the image processing device 4, and the image processing device 4 may detect the position of the zoom lens from the output value of the encoder and automatically calculate the imaging magnification.
  • the imaging unit 306 includes, for example, an imaging device such as a CCD or a CMOS, and each pixel included in the imaging device has a pixel level (luminance) in each band of R (red), G (green), and B (blue).
  • the camera is capable of capturing an image, and operates at a predetermined timing in accordance with the control of the imaging control unit 111 of the image processing apparatus 4.
  • the imaging unit 306 receives light (observation light) incident from the objective lens 304 via the optical system in the lens barrel 305, generates image data corresponding to the observation light, and outputs the image data to the image processing device 4.
  • the imaging unit 306 may convert the luminance expressed in the RGB color space into the luminance expressed in the YCbCr color space and output the converted luminance to the image processing apparatus 4.
  • the stage position changing unit 307 includes, for example, a ball screw (not shown) and a stepping motor 307a, and changes the field of view by moving the position of the sample stage 303 within the XY plane. Further, the stage position changing unit 307 focuses the objective lens 304 on the subject SP by moving the sample stage 303 along the Z axis. Note that the configuration of the stage position changing unit 307 is not limited to the configuration described above, and for example, an ultrasonic motor or the like may be used.
  • the field of view of the subject SP is changed by fixing the position of the optical system including the objective lens 304 and moving the sample stage 303 side, but the objective lens 304 is orthogonal to the optical axis. It is also possible to change the field of view by providing a moving mechanism for moving in the plane, fixing the sample stage 303, and moving the objective lens 304 side. Alternatively, both the specimen stage 303 and the objective lens 304 may be relatively moved.
  • the drive control unit 112 controls the position of the sample stage 303 by instructing the drive coordinates of the sample stage 303 at a predetermined pitch based on the value of the scale mounted on the sample stage 303. I do.
  • the drive control unit 112 may perform the position control of the specimen stage 303 based on the result of image matching such as template matching based on the image acquired by the microscope device 3.
  • the image processing apparatus 4 includes an image acquisition unit 11, an image processing unit 12, a storage unit 13, a display control unit 16, a display unit 17, and an operation input unit 18. Among these, the configurations and operations of the image acquisition unit 11, the image processing unit 12, and the storage unit 13 are the same as those in the first embodiment. Note that the shading component acquisition unit 200 described in Embodiments 2 and 3 may be applied instead of the shading component acquisition unit 123.
  • the display control unit 16 performs control to create a screen including the composite image generated by the image processing unit 12 and display the screen on the display unit 17.
  • the display unit 17 is configured by, for example, an LCD or an EL display, and displays the composite image and related information generated by the image processing unit 12 in a predetermined format in accordance with a signal output from the display control unit 16.
  • the operation input unit 18 is a touch panel type input device incorporated in the display unit 17, and inputs a signal corresponding to a touch operation performed from the outside to the image acquisition unit 11, the image processing unit 12, and the display control unit 16. To do.
  • FIG. 26 is a schematic diagram illustrating an example of a screen displayed on the display unit 17.
  • This screen includes a macro display area 17a in which an enlarged image of the subject SP is displayed, a micro display area 17b in which an image further enlarged from the area selected in the macro display area 17a, and correction selection buttons 17c and 17d. Is included.
  • the function of the operation input unit 18 is active in the macro display area 17a and the correction selection buttons 17c and 17d.
  • the operation of the microscope system 2 according to the operation on such a screen will be described.
  • the user Prior to the observation of the subject SP, the user places the subject SP on the specimen stage 303 of the microscope apparatus 3, and touches a desired position on the macro display area 17a with a finger or a touch pen.
  • the operation input unit 18 inputs position information indicating the touched position to the image acquisition unit 11 and the display control unit 16 in response to a touch operation on the macro display region 17a. Note that the user may slide a finger or a touch pen while touching the macro display area 17a. In this case, the operation input unit 18 sequentially inputs position information that changes continuously to each unit.
  • the image acquisition unit 11 calculates the position on the sample stage 303 corresponding to the position information input from the operation input unit 18, and controls the drive of the sample stage 303 so that the position becomes the center of the visual field. Then, an image is acquired by causing the imaging unit 306 to perform imaging.
  • the image processing unit 12 captures an image from the image acquisition unit 11 and performs a pasting process with the previously acquired image, calculation of a correction gain applied to the composite image, and shading correction.
  • the display control unit 16 displays a frame 17e having a predetermined size centered on the touched position on the macro display area 17a based on the position information input from the operation input unit 18. Then, the combined image after the shading correction generated by the image processing unit 12 is displayed in the frame 17e. Further, when the position information is changed according to the touch operation by the user, the display control unit 16 sequentially moves the frame 17e according to the position information. In this case, the display unit 17 leaves the synthesized image already displayed on the macro display area 17e as it is, and sequentially updates and displays the synthesized image only in the area within the frame 17e. In FIG. 26, an arrow shown in the macro display area 17a indicates a locus where the user touches the macro display area 17a.
  • the display control unit 16 enlarges the portion of the composite image that has entered the frame 17e and displays it on the micro display area 17b.
  • the operation input unit 18 outputs to the image processing unit 12 a signal instructing output of a composite image before shading correction in response to a touch operation on the correction selection button (no correction) 17d.
  • the image processing unit 12 returns the already generated shading-corrected composite image to the state before the shading correction using the reciprocal of the correction gain (that is, the shading component) calculated by the correction gain calculation unit 124. Output.
  • the image processing unit 12 also outputs a newly generated composite image after that in a state before shading correction.
  • the display control unit 16 causes the display unit 17 to display the composite image before shading correction output from the image processing unit 12.
  • the operation input unit 18 inputs a signal instructing the output of the combined image after the shading correction to the image processing unit 12 in response to a touch operation on the correction selection button (with correction) 17c.
  • the image processing unit 12 performs shading correction again on the already generated composite image before shading correction using the correction gain calculated by the correction gain calculation unit 124 and outputs the result.
  • the image processing unit 12 also outputs a newly generated composite image after the shading correction.
  • the display control unit 16 causes the display unit 17 to display the shading corrected composite image output from the image processing unit 12.
  • the user observes a composite image (virtual slide image) in which a desired area of the subject SP is captured only by touching the macro display area 17a. Can do. Further, the user can observe by appropriately switching between the composite image before shading correction and the composite image after shading correction by operating the correction selection buttons 17c and 17d.
  • the method for obtaining the shading component in each image is not particularly limited, but the method described in Embodiment 2 is relatively suitable. This is because in the fourth embodiment, since the field of view is continuously changed, a pair of images having a sufficient common area can be sequentially obtained.
  • either the composite image before shading correction or the composite image after shading correction is displayed on the display unit 17 so as to be switchable.
  • these composite images are arranged side by side at the same time. It may be displayed.
  • the present invention is not limited to the above-described first to fourth embodiments and modification examples, but by appropriately combining a plurality of components disclosed in the first to fourth embodiments and modification examples.
  • Various inventions can be formed. For example, some components may be excluded from all the components shown in the first to fourth embodiments and the modified examples. Or you may form combining the component shown in different embodiment suitably.

Abstract

　シェーディング補正がなされた合成画像を短時間に作成することができると共に、従来よりも自由度の高いシェーディング補正を行うことができ、且つ、多くのメモリ容量を要することなく、シェーディング補正前後の両方の合成画像を生成可能な画像処理装置等を提供する。各画像が少なくとも１つの他の画像との間で共通領域を有する複数の画像を取得する画像取得部１１と、複数の画像間の位置関係を取得する位置関係取得部１２１と、該位置関係に基づいて複数の画像を貼り合わせることにより合成画像を生成する画像合成部１２２と、各画像におけるシェーディング成分を取得するシェーディング成分取得部１２３と、該シェーディング成分と上記位置関係とに基づいて合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出部１２４と、補正ゲインを用いて合成画像をシェーディング補正する画像補正部１２５とを備える。

Description

画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
　本発明は、被写体を撮像することにより取得した画像に対して画像処理を施す画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
　近年、顕微鏡においてスライドガラス上に載置された標本を写した画像を電子データとして記録し、この画像をモニタに表示してユーザが観察できるようにした顕微鏡システムが知られている。このような顕微鏡システムにおいては、顕微鏡により拡大された標本の一部の画像を順次貼り合わせることにより、標本全体が写った高解像度の画像を構築するバーチャルスライド技術が用いられている。即ち、バーチャルスライド技術とは、同一被写体に対して異なる視野の画像を複数枚取得し、これらの画像をつなぎ合わせることで、被写体に対する視野を拡大した画像を生成する技術である。複数枚の画像をつなぎ合わせた合成画像はバーチャルスライド画像と呼ばれる。
　ところで、顕微鏡は、標本を照明する光源及び標本の像を拡大する光学系を備える。また、光学系の後段には、拡大された標本の像を電子的なデータに変換する撮像素子が設けられる。このため、光源の照度ムラや光学系の不均一性、さらには、撮像素子の画素ごとの特性のばらつき等に起因して、取得した画像に明度ムラが発生するという問題がある。この明度ムラはシェーディングと呼ばれ、通常、光学系の光軸の位置に対応する画像の中心から遠ざかるに従って暗くなるように変化する。そのため、複数の画像を貼り合わせてバーチャルスライド画像を作成する場合、画像のつなぎ目に不自然な境界が生じてしまう。また、複数の画像を貼り合わせることによりシェーディングが繰り返されるため、あたかも標本に周期的な模様が存在しているかのように見えてしまう。
　このような問題に対し、特許文献１には、試料の所定視野範囲の画像である基準視野画像を撮像すると共に、試料の位置を光学系に対して相対的に移動させ、所定視野範囲内の所定領域を含み、所定視野範囲と互いに異なる周辺視野範囲の画像である複数の周辺視野画像を撮像し、基準視野画像と周辺視野画像とに基づいて基準視野画像の各画素の補正ゲインを算出し、シェーディング補正を行う技術が開示されている。
　また、特許文献２には、撮像光学系の一視野に対応する領域であるイメージサークルに形成された像を、撮像光学系に対して撮像素子を相対的にシフトさせつつ記録することにより、イメージサークルよりも小さな面積の複数の画像を取得し、各画像のシフト情報を用いて各画像の位置決めを行ってこれらの画像の合成画像を取得する技術が開示されている。
特開２０１３－２５７４２２号公報 特開２０１１－１２４８３７号公報
　ところで、従来、バーチャルスライド画像を作成する際には、被写体が載置された顕微鏡のステージの移動と撮像とを交互に繰り返すことにより、視野が異なる複数の画像を取得し、各画像に対してシェーディング補正を施した上で画像同士の貼り合わせを行っている。そのため、貼り合わせ処理におけるスループットを上げることが困難という問題がある。
　また、シェーディング補正に失敗した場合には、再度撮像を行う、或いは別途保存しておいたオリジナルの画像を読み込むなどして画像を取得し、貼り合わせ及びシェーディング補正を再度実行する必要がある。即ち、シェーディング補正のみを後でやり直すといったことができず、シェーディング補正の自由度が低いという問題もある。
　さらに、ユーザの中には、自動で画像が編集・加工されることを望まずシェーディング補正がなされたバーチャルスライド画像と、シェーディング補正がなされていないバーチャルスライド画像とを比較観察したいという要望もある。しかし、そのためには、シェーディング補正後のバーチャルスライド画像とは別に、シェーディング補正前のオリジナルの画像を保存しておく必要があり、多くのメモリ容量を要するという問題がある。
　これらの問題を解決するため、貼り合わせ処理後のバーチャルスライド画像に対してシェーディング補正を行うことも考えらえる。しかしながら、上述したように、バーチャルスライド画像を作成する際には被写体に対して視野を移動させて撮像を行うため、異なる画像間では、共通の被写体が写った領域（共通領域）におけるシェーディング成分が異なる。そのため、共通領域を重ね合わせることにより画像同士を貼り合わせた場合、重ね合わせた領域におけるシェーディング成分は、もとの共通領域におけるシェーディング成分から変化してしまう。
　本発明は、上記に鑑みてなされたものであり、シェーディング補正がなされた合成画像を短時間に生成することができると共に、従来よりも自由度の高いシェーディング補正を行うことができ、且つ、多くのメモリ容量を要することなく、シェーディング補正前の合成画像とシェーディング補正後の合成画像との両方を生成可能な画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得部と、前記複数の画像間の位置関係を取得する位置関係取得部と、前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成部と、前記各画像におけるシェーディング成分を取得するシェーディング成分取得部と、前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出部と、前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正部と、を備えることを特徴とする。
　上記画像処理装置において、前記画像合成部は、隣り合う画像間の前記共通領域における輝度同士をブレンド係数を用いて重み付け加算することにより、該共通領域に対応する前記合成画像内の領域における輝度を算出し、前記補正ゲイン算出部は、前記ブレンド係数を用いて、前記合成画像内の前記領域に適用される補正ゲインを算出する、ことを特徴とする。
　上記画像処理装置は、前記合成画像を表示する表示部と、外部からなされる操作に応じて指示信号を入力する操作入力部と、をさらに備え、前記表示部は、前記指示信号に応じて、シェーディング補正済みの前記合成画像と、シェーディング補正前の前記合成画像とを切り替えて表示する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分取得部は、前記複数の画像のうち、互いに共通領域を有する少なくとも２枚の画像から前記シェーディング成分を算出する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分取得部は、第１の方向において互いに共通領域を有する第１のペアの画像における前記共通領域の輝度を用いて、前記第１の方向におけるシェーディング成分の特性を算出する第１のシェーディング成分算出部と、前記第１の方向と異なる第２の方向において互いに共通領域を有する第２のペアの画像における前記共通領域の輝度を用いて、前記第２の方向におけるシェーディング成分の特性を算出する第２のシェーディング成分算出部と、前記第１及び第２の方向におけるシェーディング成分の特性を用いて、前記各画像におけるシェーディング成分を算出する第３のシェーディング成分算出部と、を備えることを特徴とする。
　上記画像処理装置において、前記シェーディング成分取得部は、前記少なくとも２枚の画像から前記共通領域における輝度の比を算出し、該輝度の比を用いて前記各画像におけるシェーディング成分を推定する、ことを特徴とする。
　上記画像処理装置において、前記シェーディング成分取得部は、第１の画像の中心領域における輝度と、前記中心領域に対する共通領域を有する第２の画像の当該共通領域における輝度とを用いて、前記シェーディング成分を算出する、ことを特徴とする。
　本発明に係る撮像装置は、前記画像処理装置と、前記被写体を撮像して画像信号を出力する撮像部と、を備えることを特徴とする。
　本発明に係る顕微鏡システムは、前記画像処理装置と、前記被写体を撮像して画像信号を出力する撮像部と、前記被写体が載置されるステージと、前記撮像部と前記ステージとの少なくともいずれか一方を他方に対して相対的に移動させる駆動手段と、を備えることを特徴とする。
　本発明に係る画像処理方法は、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、前記複数の画像間の位置関係を取得する位置関係取得ステップと、前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、を含むことを特徴とする。
　本発明に係る画像処理プログラムは、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、前記複数の画像間の位置関係を取得する位置関係取得ステップと、前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、をコンピュータに実行させることを特徴とする。
　本発明によれば、視野が互いに異なる複数の画像を、画像間の位置関係をもとに貼り合わせることにより合成画像を生成すると共に、上記位置関係をもとに合成画像のシェーディング補正に用いる補正ゲインを算出し、この補正ゲインを用いて上記合成画像をシェーディング補正するので、個々の画像に対するシェーディング補正に要する時間を省略することができ、貼り合わせ処理におけるスループットを向上することが可能になる。また、本発明によれば、合成画像を生成した後でシェーディング補正のみをやり直すといった、従来よりも自由度の高いシェーディング補正を行うことができる。さらに、本発明によれば、合成画像のシェーディング補正に用いる補正ゲインを作成するので、シェーディング補正前の個々の画像を用いることなく、シェーディング補正前の合成画像とシェーディング補正後の合成画像とを適宜生成することができる。従って、シェーディング補正前の個々の画像を保存する必要がなくなり、メモリ容量を節約することが可能となる。
図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。 図２は、図１に示す画像取得部の動作を説明するための模式図である。 図３は、図１に示す画像処理装置の動作を示すフローチャートである。 図４は、図１に示す画像処理装置の動作を説明するための模式図である。 図５は、画像の貼り合わせ処理を説明するための模式図である。 図６は、図４に示す被写体を順次撮像することにより取得した複数の画像を示す模式図である。 図７は、図６に示す複数の画像を貼り合わせることにより生成した合成画像を示す模式図である。 図８は、各画像におけるシェーディング成分の例を示す模式図である。 図９は、合成画像におけるシェーディング成分の算出方法を説明するための模式図である。 図１０は、合成画像におけるシェーディング成分の算出方法を説明するための模式図である。 図１１は、合成画像におけるシェーディング成分を示す模式図である。 図１２は、合成画像に適用される補正ゲインを示す模式図である。 図１３は、合成画像のシェーディング補正を説明するための模式図である。 図１４は、本発明の実施の形態２に係る画像処理装置が備えるシェーディング成分取得部の構成を示すブロック図である。 図１５は、各画像におけるシェーディング成分の取得方法を説明するための模式図である。 図１６は、各画像におけるシェーディング成分の取得に使用される画像の撮像方法を説明するための模式図である。 図１７は、水平方向シェーディング成分を示す模式図である。 図１８は、垂直方向シェーディング成分を示す模式図である。 図１９は、各画像におけるシェーディング成分を示す模式図である。 図２０は、非正規化シェーディング成分しか得られていないブロックにおけるシェーディング成分の算出方法を説明するための模式図である。 図２１は、非正規化シェーディング成分しか得られていないブロックにおけるシェーディング成分の別の算出方法を説明するための模式図である。 図２２は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。 図２３は、本発明の実施の形態３におけるシェーディング成分の取得方法を説明するための模式図である。 図２４は、本発明の実施の形態３におけるシェーディング成分の取得方法を説明するための模式図である。 図２５は、本発明の実施の形態４に係る顕微鏡システムの構成例を示す模式図である。 図２６は、図２５に示す表示装置に表示される画面の例を示す模式図である。
　以下、本発明に係る画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。図１に示すように、実施の形態１に係る画像処理装置１は、観察対象が写った画像を取得する画像取得部１１と、該画像に画像処理を施す画像処理部１２と、記憶部１３とを備える。
　画像取得部１１は、視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する。画像取得部１１は、このような複数の画像を撮像装置から直接取得しても良いし、ネットワークや記憶装置等を介して取得しても良い。実施の形態１において、画像取得部１１は、撮像装置から画像を直接取得するものとする。撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であっても良いし、デジタルカメラであっても良い。
　図２は、画像取得部１１の動作を説明するための模式図であり、撮像装置が備える撮像光学系１４と、被写体ＳＰが載置されたステージ１５と、撮像光学系１４の視野Ｖとを示している。なお、図２においては、ステージ１５の載置面をＸＹ平面とし、撮像光学系１４の光軸をＺ方向としている。撮像光学系１４とステージ１５との少なくとも一方には、ＸＹ平面内における位置を変化させる駆動部（図示せず）が設けられている。
　画像取得部１１は、撮像装置における撮像動作を制御する撮像制御部１１１と、駆動部の動作を制御することにより、撮像光学系１４とステージ１５との相対位置を変化させる駆動制御部１１２とを備える。
　駆動制御部１１２は、撮像光学系１４とステージ１５とのＸＹ平面における相対位置を変化させることにより、被写体ＳＰに対して視野Ｖを順次移動させる。撮像制御部１１１は、駆動制御部１１２による駆動制御と連動して撮像装置に対する撮像制御を実行し、視野Ｖ内の被写体ＳＰが写った画像を撮像装置から取り込む。この際、駆動制御部１１２は、順次移動する視野Ｖが先に撮像された視野Ｖの一部と重なるように、撮像光学系１４又はステージ１５を移動させる。
　ここで、撮像光学系１４とステージ１５との相対位置を変化させる際には、撮像光学系１４の位置を固定し、ステージ１５側を移動させても良いし、ステージ１５の位置を固定し、撮像光学系１４側を移動させても良い。或いは、撮像光学系１４とステージ１５との両方を相対的に移動させても良い。また、駆動部に対する制御方法としては、モータ及び該モータの回転量を検出するエンコーダによって駆動部を構成し、エンコーダの出力値を駆動制御部１１２に入力することによりモータの動作をフィードバック制御しても良い。或いは、駆動制御部１１２の制御の下でパルスを発生するパルス発生部とステッピングモータとによって駆動部を構成しても良い。
　再び図１を参照すると、画像処理部１２は、画像取得部１１が取得した複数の画像を貼り合わせた合成画像を生成する。詳細には、画像処理部１２は、複数の画像間の位置関係を取得する位置関係取得部１２１と、複数の画像を貼り合わせて合成画像を生成する貼り合わせ処理を行う画像合成部１２２と、撮像光学系１４の視野Ｖに対応する各画像に生じているシェーディング成分を取得するシェーディング成分取得部１２３と、該シェーディング成分と複数の画像間の位置関係とに基づいて、合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出部１２４と、該補正ゲインを用いて合成画像をシェーディング補正する画像補正部１２５とを備える。
　位置関係取得部１２１は、撮像光学系１４又はステージ１５に設けられた駆動部に対する制御情報を駆動制御部１１２から取得し、この制御情報から画像間の位置関係を取得する。具体的には、位置関係取得部１２１は、各画像を撮像した際の視野の中心座標（又は視野の左上の座標）や、撮像を１回行うごとに視野を移動させる移動量を位置関係として取得しても良い。或いは、連続して取得された画像間における動きベクトルを位置関係として取得しても良い。
　画像合成部１２２は、位置関係取得部１２１が取得した位置関係に基づき、画像取得部１１が取得した複数の画像を貼り合わせることにより、合成画像を生成する。
　シェーディング成分取得部１２３は、撮像光学系１４によって視野Ｖを撮像することにより画像に生じたシェーディング成分を取得する。実施の形態１において、シェーディング成分取得部１２３は、予め取得されたシェーディング成分を保持しているものとする。このシェーディング成分は、被写体ＳＰの代わりに白板又は標本が固定されていないスライドガラスをステージ１５に載置して撮像を行い、それによって得られた画像から求めることができる。或いは、撮像光学系１４の設計データに基づいてシェーディング成分を予め算出しても良い。
　補正ゲイン算出部１２４は、シェーディング成分取得部１２３が取得したシェーディング成分と、位置関係取得部１２１が取得した複数の画像間の位置関係とに基づいて、画像合成部１２２が生成した合成画像に適用される補正ゲインを算出する。
　画像補正部１２５は、補正ゲイン算出部１２４が算出した補正ゲインを用いて、合成画像に生じているシェーディングを補正する。
　記憶部１３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記憶装置によって構成される。記憶部１３は、画像取得部１１が撮像装置の制御に用いる種々のパラメータや、画像処理部１２により生成された合成画像の画像データや、画像処理部１２において用いられる種々のパラメータ等を記憶する。
　上述した画像取得部１１及び画像処理部１２は、専用のハードウェアを用いて実現しても良いし、所定のプログラムをＣＰＵに読み込むことによって実現しても良い。後者の場合、画像取得部１１及び画像処理部１２に所定の処理を実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を記憶部１３に記憶させても良い。或いは、ハードディスク、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体並びに該記録媒体に対して情報の書き込み及び読み取りを行う書込読取装置等を含む記憶装置を、データ通信端子を介して画像処理装置１に接続し、この記憶装置に、上記画像処理プログラムやパラメータを記憶させても良い。
　次に、画像処理装置１の動作を、図３～図１３を参照しながら説明する。図３は、画像処理装置１の動作を示すフローチャートである。なお、上述したように、実施の形態１においては、シェーディング成分取得部１２３が予めシェーディング成分を取得して保持しているものとする。
　まず、ステップＳ１０において、画像取得部１１は、被写体の一部が写った画像を取得する。図４は、被写体の撮像方法を説明するための模式図である。以下においては、図４（ａ）に示す被写体ＳＰに対して視野Ｖを移動させながら、複数回に分けて撮像を行うことにより、被写体ＳＰが部分的に写った画像ｍ１、ｍ２、…を順次取得するものとする。なお、被写体ＳＰに対する視野Ｖの移動方向や、被写体ＳＰ内の領域の撮像順序については特に限定されない。ここで、画像取得部１１は、最初にステップＳ１０を実行するときのみ、視野Ｖの一部が重なるように２回撮像を行い、２枚の画像ｍ１、ｍ２を取得する（図４（ｂ）参照）。
　続くステップＳ１１において、位置関係取得部１２１は、最新の画像（図４（ｂ）の場合、画像ｍ２）と、先に取得された画像（図４（ｂ）の場合、画像ｍ１）との位置関係を取得する。位置関係は、例えば、被写体ＳＰが載置されたステージの移動量（スケールの値）や、ステージに設けられた駆動部の駆動量や、ステッピングモータのパルス数や、画像ｍ１、ｍ２に対するマッチング処理の結果や、画像ｍ１、ｍ２に写った被写体の動きベクトル、及びこれらの組み合わせから取得することができる。位置関係取得部１２１は、取得した位置関係を表す情報を記憶部１３に記憶させる。
　続くステップＳ１２において、画像合成部１２２は、ステップＳ１１において取得された画像間の位置関係をもとに、最新の画像を先に取得された画像に貼り合わせることにより合成画像を生成する。図５は、画像の貼り合わせ処理を説明するための模式図である。
　例えば図５（ａ）に示すように、先に取得された画像ｍ１に対して最新の画像ｍ２を貼り合わせる場合、画像合成部１２２は、画像ｍ１と画像ｍ２との間の共通領域ａ１、ａ２を、画像ｍ１と画像ｍ２との間の位置関係に基づいて抽出し、これらの共通領域ａ１、ａ２を重ね合わせて合成する。具体的には、図５（ｂ）に示すように、共通領域ａ１、ａ２を重ね合わせた領域ａ３内の座標（ｘ，ｙ）における画素の輝度Ｉ（ｘ，ｙ）を、共通領域ａ１、ａ２間で位置が対応する画素の輝度Ｉ1（ｓ，ｔ）、Ｉ2（ｕ，ｖ）を重み付け加算することにより求める。ここで、輝度Ｉ1（ｓ，ｔ）は、領域ａ３内の座標（ｘ，ｙ）に対応する画像ｍ１内の座標（ｓ，ｔ）における画素の輝度であり、輝度Ｉ2（ｕ，ｖ）は、同座標（ｘ，ｙ）に対応する画像ｍ２内の座標（ｕ，ｖ）における画素の輝度である。合成画像内の領域ａ３における輝度Ｉ（ｘ，ｙ）は、次式（１）によって与えられる。
Figure JPOXMLDOC01-appb-M000001
　式（１）に示すように、重み係数の和が１となる重み付け加算による合成方法はαブレンドと呼ばれ、式（１）における重み係数αはブレンド係数とも呼ばれる。ブレンド係数αは、予め設定された固定値としても良い。例えばα＝０．５とする場合、輝度Ｉ（ｘ，ｙ）は、輝度Ｉ1（ｓ，ｔ）と輝度Ｉ2（ｕ，ｖ）との単純平均となる。また、α＝１又はα＝０とする場合、輝度Ｉ（ｘ，ｙ）として、輝度Ｉ1（ｓ，ｔ）と輝度Ｉ2（ｕ，ｖ）とのいずれかが採用される。
　また、ブレンド係数αを、ブレンドされる画素の座標に応じて変化させても良い。例えば、水平方向（図の左右方向）における座標ｘが領域ａ３の中心に位置する場合にブレンド係数αを０．５に設定し、座標ｘが画像ｍ１の中心に近づくほどブレンド係数αを１に近づけ、座標ｘが画像ｍ２の中心に近づくほどブレンド係数αを０に近づけることとしても良い。
　或いは、ブレンド係数αを、ブレンドされる画素の輝度や、この輝度から算出される値に応じて、適応的に変化させても良い。具体的には、輝度Ｉ1（ｓ，ｔ）と輝度Ｉ2（ｕ，ｖ）とのうち、値が大きい方を輝度Ｉ（ｘ，ｙ）として採用するといった方法が挙げられる（即ち、Ｉ1（ｓ，ｔ）≧Ｉ2（ｕ，ｖ）の場合α＝１、Ｉ1（ｓ，ｔ）＜Ｉ2（ｕ，ｖ）の場合α＝０）。
　ステップＳ１３において、画像合成部１２２は、貼り合わせ処理がなされた合成画像の画像データを記憶部１３に記憶させる。この際、貼り合わせ前のオリジナルの画像ｍ１、ｍ２、…は、貼り合わせ処理後に順次消去しても良い。また、画像合成部１２２は、ブレンド係数αを変化させた場合、領域ａ３内の画素ごとに、ブレンド係数αを記憶部１３に併せて記憶させておく。
　続くステップＳ１４において、画像処理装置１は、貼り合わせ処理を終了するか否かを判定する。例えば図４（ａ）に示す被写体ＳＰの全領域に対して撮像が行われた場合、画像処理装置１は貼り合わせ処理を終了すると判定し（ステップＳ１４：Ｙｅｓ）、後述するステップＳ１６に移行する。
　一方、被写体ＳＰに未だ撮像されていない領域が残っている場合、画像処理装置１は貼り合わせ処理を終了しないと判定し（ステップＳ１４：Ｎｏ）、視野Ｖを移動させる（ステップＳ１５）。この際、駆動制御部１１２は、移動先の視野Ｖが、既に撮像された視野Ｖの一部と重なるように撮像装置の駆動制御を行う。その後、撮像制御部１１１は、撮像装置に移動先の視野Ｖを撮像させることにより画像を取得する（ステップＳ１０）。以降のステップＳ１１～Ｓ１５は、上述したとおりである。この内、ステップＳ１３においては、新たな合成画像が生成されるごとに、記憶部１３に記憶された合成画像の画像データを更新する。
　図６は、被写体ＳＰを順次撮像することにより取得された画像ｍ１～ｍ９を示す模式図である。また、図７は、画像ｍ１～ｍ９を貼り合わせることにより生成された合成画像を示す模式図である。上述したステップＳ１０～Ｓ１５を繰り返し、新たに取得された画像を先に取得された画像に順次貼り合わせることにより、図７に示す合成画像Ｍ１が生成される。図７に示すように、合成画像Ｍ１は、シェーディング補正がなされていない画像ｍ１～ｍ９を貼り合わせたものなので、全体的に格子状のシェーディングが発生している。
　ステップＳ１６において、補正ゲイン算出部１２４は、合成画像Ｍ１に適用される補正ゲインを算出する。詳細には、補正ゲイン算出部１２４は、シェーディング成分取得部１２３から画像ｍ１～ｍ９の各画像におけるシェーディング成分を取り込むと共に、ステップＳ１１において取得された画像間の位置関係の情報を記憶部１３から取り込む。そして、これらの情報をもとに、合成画像Ｍ１におけるシェーディング成分を算出し、このシェーディング成分から補正ゲインを算出する。
　図８は、各画像におけるシェーディング成分の例を示す模式図である。図８に示すシェーディング成分ｓｈ１は、画像の中心部で明度が高く、画像の中心部から離れるほど明度が低くなる特性を示している。
　図９及び図１０は、合成画像Ｍ１におけるシェーディング成分の算出方法を説明するための模式図である。例えば、画像ｍ１、ｍ２の共通領域ａ１、ａ２を重ね合わせた領域ａ３（図５参照）におけるシェーディング成分を算出する場合、補正ゲイン算出部１２４は、まず、図９に示すように、シェーディング成分ｓｈ１から、共通領域ａ１、ａ２に対応する領域ａ１’、ａ２’のシェーディング成分を抽出する。そして、図１０に示すように、これらの領域ａ１’、ａ２’が重なり合うようにシェーディング成分ｓｈ１を反復して合成する。領域ａ１’、ａ２’を重ね合わせた領域ａ３’内の座標（ｘ，ｙ）における画素のシェーディング成分Ｓ’（ｘ，ｙ）は、次式（２）に示すように、領域ａ１’、ａ２’間で対応する画素のシェーディング成分Ｓ（ｓ，ｔ）、Ｓ（ｕ，ｖ）をαブレンドすることにより与えられる。
Figure JPOXMLDOC01-appb-M000002
　ここで、画像の貼り合わせ処理においてブレンド係数αを変化させた場合には、その際に用いたブレンド係数αを記憶部１３から取得し、貼り合わせ処理の際と同じブレンド係数αを用いてシェーディング成分ｓｈ１の合成を行う。
　このようなシェーディング成分ｓｈ１の合成を、画像ｍ１～ｍ９間の相互の位置関係に基づいて行うことにより、図１１に示すように、合成画像Ｍ１におけるシェーディング成分ＳＨが得られる。
　さらに、補正ゲイン算出部１２４は、次式（３）に示すように、シェーディング成分ＳＨの逆数を取ることにより、合成画像Ｍ１のシェーディング補正に用いる補正ゲインＧ（ｘ，ｙ）を算出する。
Figure JPOXMLDOC01-appb-M000003
 図１２は、それによって算出された補正ゲインＧを示す模式図である。
　続くステップＳ１７において、補正ゲイン算出部１２４は、算出した補正ゲインＧを記憶部１３に記憶させる。
　続くステップＳ１８において、画像補正部１２５は、ステップＳ１６において算出した補正ゲインＧを用いて、合成画像Ｍ１のシェーディング補正を行う。図１３は、合成画像Ｍ１のシェーディング補正を説明するための模式図である。
　合成画像Ｍ２におけるシェーディング補正後の輝度値であるテクスチャ成分Ｔ（ｘ，ｙ）は、次式（４）により与えられる。
　　　Ｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）×Ｇ（ｘ，ｙ）　…（４）
　ここで、共通領域を重ね合わせた領域（例えば、図５（ｂ）に示す領域ａ３）におけるシェーディングを補正ゲインＧによって補正できる原理を説明する。式（１）に示すように、合成画像における領域ａ３内の画素の輝度Ｉ（ｘ，ｙ）は、画像ｍ１、ｍ２内の共通領域ａ１、ａ２間で対応する画素の輝度Ｉ1（ｓ，ｔ）、Ｉ2（ｕ，ｖ）をαブレンドすることにより算出される。
　式（１）における輝度Ｉ1（ｓ，ｔ）は、実際にはテクスチャ成分Ｔ1（ｓ，ｔ）とシェーディング成分Ｓ（ｓ，ｔ）とによって構成されるため、Ｉ1（ｓ，ｔ）＝Ｔ1（ｓ，ｔ）×Ｓ（ｓ，ｔ）と表すことができる。輝度Ｉ2（ｕ，ｖ）も同様に、テクスチャ成分Ｔ2（ｕ，ｖ）とシェーディング成分Ｓ（ｕ，ｖ）とを用いて、Ｉ2（ｕ，ｖ）＝Ｔ2（ｕ，ｖ）×Ｓ（ｕ，ｖ）と表すことができる。これらを式（１）に代入すると、次式（５）が得られる。
Figure JPOXMLDOC01-appb-M000004
　式（５）におけるテクスチャ成分Ｔ1（ｓ，ｔ）とテクスチャ成分Ｔ2（ｕ，ｖ）とは、合成画像の領域ａ３におけるテクスチャ成分Ｔ（ｘ，ｙ）と共通であるため、式（５）にＴ1（ｓ，ｔ）＝Ｔ2（ｕ，ｖ）＝Ｔ（ｘ，ｙ）を代入して整理すると、次式（６）が得られる。
Figure JPOXMLDOC01-appb-M000005
　これより、領域ａ３においても、シェーディング成分が除去されたテクスチャ成分Ｔ（ｘ，ｙ）が得られることがわかる。
　その後、画像処理装置１は動作を終了する。
　以上説明したように、本発明の実施の形態１によれば、被写体ＳＰを順次撮像して画像ｍ１、ｍ２、…を取得するごとに貼り合わせ処理を行い、最終的に得られた合成画像に対してシェーディング補正を行うので、個々の画像に対するシェーディング補正を省略することができ、貼り合わせ処理におけるスループットを向上することが可能になる。
　また、本発明の実施の形態１によれば、合成画像Ｍ１の生成後にシェーディング補正を行うので、シェーディング補正に失敗したときにはシェーディング補正のみをやり直すことができるなど、従来よりも自由度の高いシェーディング補正を行うことが可能になる。
　また、本発明の実施の形態１によれば、シェーディング補正前の合成画像Ｍ１と、この合成画像のシェーディング補正に用いる補正ゲインＧとを記憶部１３に記憶させるので、シェーディング補正前の合成画像とシェーディング補正後の合成画像との両方を適宜生成することができる。或いは、記憶部１３のメモリ容量を節約するため、シェーディング補正を行う度に補正ゲインＧの生成及び削除を行ってもよい。
　さらに、実施の形態１によれば、オリジナルの画像ｍ１、ｍ２、…を貼り合わせ処理後に消去するので、記憶部１３のメモリ容量を節約することができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　図１４は、本発明の実施の形態２に係る画像処理装置が備えるシェーディング成分取得部の構成を示すブロック図である。実施の形態２に係る画像処理装置は、図１に示すシェーディング成分取得部１２３の代わりに、図１４に示すシェーディング成分取得部２００を備える。シェーディング成分取得部２００以外の画像処理装置の各部の構成は、実施の形態１と同様である。
　シェーディング成分取得部２００は、画像取得部１１が取得した画像を用いて、視野Ｖ（図２参照）に対応する各画像におけるシェーディング成分を取得する。詳細には、シェーディング成分取得部２００は、シェーディング成分のうち、水平方向（図の左右方向）におけるシェーディング成分の特性を算出する第１シェーディング成分算出部２０１と、垂直方向（図の上下方向）におけるシェーディング成分の特性を算出する第２シェーディング成分算出部２０２と、水平方向及び垂直方向におけるシェーディング成分の特性を用いて、画像全体のシェーディング成分を算出するシェーディング成分算出部（第３のシェーディング成分算出部）２０３とを備える。
　以下、シェーディング成分取得部２００によるシェーディング成分の取得方法を詳細に説明する。図１５～図２１は、実施の形態２におけるシェーディング成分の取得方法を説明するための模式図である。以下においては、図１５に示すように、水平方向（図の左右方向）における長さがｈ、垂直方向（図の上下方向）における長さがｈである１つの画像ｍ内を所定数（例えば５×５＝２５）のブロックに分割した際の各ブロックの位置を（Ｘ，Ｙ）で示す。図１５の場合、（Ｘ，Ｙ）＝（１，１）～（５，５）である。また、各ブロックの水平方向における長さをΔｗ、垂直方向における長さをΔｈとする。
　ここで、図８に示すように、一般に、画像の中心部には、シェーディングがほとんど生じておらず（即ち、シェーディング成分が１．０）、変化もしない領域が存在する。以下、このような領域を平坦領域という。シェーディング成分は、この平坦領域から画像の端部に向け、概ね同心円状に変化する。そこで、実施の形態２においては、図１５に示すように、画像ｍを分割したブロック（１，１）～（５，５）のうち、中央のブロック（３，３）が平坦領域であるものとみなして、他のブロックのシェーディング成分を算出する。
　図１６は、シェーディング成分の取得に使用される画像の撮像方法を説明するための模式図である。図１６に示すように、被写体ＳＰ内のある領域に視野Ｖ（図２参照）を合わせて撮像を行うことにより、画像ｍ0を取得し、続いて、視野Ｖを水平方向に所定距離（例えば、１ブロック分に相当する長さΔｗ）だけシフトさせて撮像を行うことにより、画像ｍ1を取得した場合を考える。この場合、画像ｍ0の列Ｘ＝１と画像ｍ1の列Ｘ＝２とは共通領域である。視野Ｖを移動させる距離としては、予め決められた距離の他、ユーザがステージ１５（図２参照）を水平方向に任意に移動させた距離としても良い。或いは、ステージ１５を水平方向に移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を１ブロック分の長さΔｗとすることも可能である。これらの場合、画像ｍの水平方向の長さｗを画像間のシフト量（長さΔｗ）で除算することにより、水平方向におけるブロックの分割数が決定される。
　画像ｍ0の列Ｘ＝１に含まれる任意の画素の輝度Ｈ0（Ｘ＝１）は、この任意の画素におけるテクスチャ成分Ｔ0（Ｘ＝１）とシェーディング成分Ｓｈ（Ｘ＝１）とによって構成される。即ち、Ｈ0（Ｘ＝１）＝Ｔ0（Ｘ＝１）×Ｓｈ（Ｘ＝１）である。一方、この任意の画素と共通の被写体が写った画素であって、画像ｍ1の列Ｘ＝２に含まれる画素の輝度をＨ1（Ｘ＝２）とすると、輝度Ｈ1（Ｘ＝２）は、この画素におけるテクスチャ成分Ｔ1（Ｘ＝２）とシェーディング成分Ｓｈ（Ｘ＝２）とによって構成される。即ち、Ｈ1（Ｘ＝２）＝Ｔ2（Ｘ＝２）×Ｓｈ（Ｘ＝２）である。
　上述したように、画像ｍ0の列Ｘ＝１と画像ｍ1の列Ｘ＝２とは共通領域であるため、テクスチャ成分Ｔ0（Ｘ＝１）とＴ1（Ｘ＝２）とは等しい。従って、次式（７－１）が成り立つ。
Figure JPOXMLDOC01-appb-M000006
　同様に、画像ｍ0の列Ｘ＝２と画像ｍ1の列Ｘ＝３、画像ｍ0の列Ｘ＝３と画像ｍ1の列Ｘ＝４、画像ｍ0の列Ｘ＝４と画像ｍ1の列Ｘ＝５がそれぞれ共通領域であることを利用すると、列Ｘ＝２、Ｘ＝３、Ｘ＝４にそれぞれ含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝３）、Ｓｈ（Ｘ＝４）を表す式（７－２）～（７－４）が得られる。
Figure JPOXMLDOC01-appb-M000007
　ここで、平坦領域（３，３）を含む中央の列Ｘ＝３に含まれる画素におけるシェーディング成分Ｓｈ（Ｘ＝３）を基準とし、式（７－１）～（７－４）にシェーディング成分Ｓｈ（Ｘ＝３）＝１．０を代入して整理すると、各列に含まれる任意の画素におけるシェーディング成分Ｓｈ（Ｘ＝１）～Ｓｈ（Ｘ＝５）を表す式（８－１）～（８－５）が得られる。
Figure JPOXMLDOC01-appb-M000008
　式（８－２）に示すように、シェーディング成分Ｓｈ（Ｘ＝２）は、輝度Ｈ0（Ｘ＝２）及びＨ1（Ｘ＝３）によって与えられる。また、式（８－１）に示すように、シェーディング成分Ｓｈ（Ｘ＝１）は、式（８－２）により算出されたシェーディング成分Ｓｈ（Ｘ＝２）と、輝度Ｈ0（Ｘ＝１）及びＨ1（Ｘ＝２）とによって与えられる。また、式（８－４）に示すように、シェーディング成分Ｓｈ（Ｘ＝４）は、輝度Ｈ0（Ｘ＝３）及びＨ1（Ｘ＝４）よって与えられる。さらに、式（８－５）に示すように、シェーディング成分Ｓｈ（Ｘ＝５）は、式（８－４）により算出されたシェーディング成分Ｓｈ（Ｘ＝４）と、輝度Ｈ0（Ｘ＝４）及びＨ1（Ｘ＝５）とによって与えられる。即ち、式（８－１）～（８－５）に示すように、各列に含まれる任意の画素におけるシェーディング成分は、画像ｍ0、ｍ1内の画素の輝度を用いて算出することができる。
　つまり、画像内の一部の領域（例えば列Ｘ＝３）におけるシェーディング成分（Ｓｈ（Ｘ＝３））が既知であれば（平坦領域の場合１．０）、一方の画像（例えば画像ｍ0）内のシェーディング成分が既知である領域（列Ｘ＝３）内の画素の輝度（Ｈ0（Ｘ＝３））と、この領域に対して共通の被写体が写った他方の画像（画像ｍ1）内の領域（Ｘ＝４）における位置が対応する画素の輝度（Ｈ1（Ｘ＝４））との比（Ｈ1（Ｘ＝４）／Ｈ0（Ｘ＝３））、及び、当該既知のシェーディング成分（Ｓｈ（Ｘ＝３））を用いて、未知のシェーディング成分（Ｓｈ（Ｘ＝４））を算出することができる。そして、このような演算を順次繰り返すことにより、画像全体におけるシェーディング成分を取得することができる。
　第１シェーディング成分算出部２０１は、このような演算を行うことにより、シェーディング成分Ｓｈ（Ｘ＝１）～Ｓｈ（Ｘ＝５）（以下、これらをまとめてシェーディング成分Ｓｈとも記す）を取得し、記憶部１３に記憶させる。以下においては、視野を水平方向にシフトさせた画像ｍ0、ｍ1から取得されたシェーディング成分Ｓｈを、水平方向シェーディング成分Ｓｈともいう。
　なお、第１シェーディング成分算出部２０１は、視野を水平方向にシフトさせた２枚の画像から水平方向シェーディング成分Ｓｈを算出しても良いが、視野を水平方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の水平方向シェーディング成分Ｓｈを算出し、これらの水平方向シェーディング成分Ｓｈを加算平均するなどして、最終的な水平方向シェーディング成分Ｓｈを取得しても良い。それにより、ランダムノイズや、白飛び、黒つぶれといった画像の劣化に起因するシェーディング成分の精度低下を抑制することができる。図１７は、このようにして取得した水平方向シェーディング成分Ｓｈを示す模式図である。図１７においては、基準として利用したシェーディング成分Ｓｈ（Ｘ＝３）のブロックに斜線を附している。
　一方、第２シェーディング成分算出部２０２は、視野を垂直方向にシフトさせた画像からシェーディング成分を取得する。即ち、第２シェーディング成分算出部２０２は、被写体ＳＰ内のある領域に視野Ｖを合わせて撮像を行うことにより取得された画像と、視野Ｖを垂直方向に所定距離（例えば、１ブロック分に相当する長さΔｈ、図１５参照）だけシフトさせて撮像を行うことにより取得された画像とを画像取得部１１から取り込む。視野Ｖを移動させる距離としては、水平方向の場合と同様に、ステージ１５（図２参照）を垂直方向に任意に移動させた距離としても良い。或いは、ステージ１５を垂直方向に移動させながら連続的に取得した画像群の中から選択した１ペアの画像間のシフト量を１ブロック分の長さΔｈとしても良い。これらの場合、１ブロック分の長さΔｈから、垂直方向におけるブロックの分割数を後で決めることも可能である。そして、上述した水平方向シェーディング成分Ｓｈの算出方法と同様の演算を行うことにより、各行（Ｙ＝１、Ｙ＝２、Ｙ＝３、Ｙ＝４、Ｙ＝５）に含まれる任意の画素におけるシェーディング成分を求め、記憶部１３に記憶させる。以下においては、視野を垂直方向にシフトさせた２枚の画像から取得されたシェーディング成分を垂直方向シェーディング成分Ｓｖ（Ｙ＝１）～Ｓｖ（Ｙ＝５）といい、これらをまとめて、垂直方向シェーディング成分Ｓｖとも記す。
　なお、垂直方向シェーディング成分を取得する際にも、複数ペアの画像からそれぞれ、同一の画素位置における複数の垂直方向シェーディング成分Ｓｖを算出し、これらの垂直方向シェーディング成分Ｓｖを加算平均するなどして、最終的な垂直方向シェーディング成分Ｓｖを取得しても良い。図１８は、垂直方向シェーディング成分Ｓｖを示す模式図である。図１８においては、基準として利用したシェーディング成分Ｓｖ（Ｙ＝３）のブロックに斜線を附している。
　シェーディング成分算出部２０３は、第１シェーディング成分算出部２０１が算出した水平方向シェーディング成分Ｓｈと、第２シェーディング成分算出部２０２が算出した垂直方向シェーディング成分Ｓｖとを用いて、各画像におけるシェーディング成分を算出する。以下においては、水平方向シェーディング成分Ｓｈのうち、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分をＳｈ（Ｘ，Ｙ）と記す。また、垂直方向シェーディング成分Ｓｖのうち、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分をＳｖ（Ｘ，Ｙ）と記す。
　ここで、図１７に示す水平方向シェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第３行のブロックのシェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，４）は、平坦領域であるブロック（３，３）のシェーディング成分を基準（１．０）として算出されたものである。そこで、水平方向シェーディング成分Ｓｈのうち、平坦領域（３，３）のシェーディング成分を基準として算出されたブロックのシェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，４）を、正規化シェーディング成分という。
　これに対し、水平方向シェーディング成分Ｓｈ（Ｘ＝１）、Ｓｈ（Ｘ＝２）、Ｓｈ（Ｘ＝４）、Ｓｈ（Ｘ＝５）のうち、第１、２、４、５行のブロックのシェーディング成分は、平坦領域（３，３）以外のブロックのシェーディング成分Ｓｈ（３，１）、Ｓｈ（３，２）、Ｓｈ（３，４）、Ｓｈ（３，５）を基準（１．０）とみなしてそれぞれ算出されたものである。そこで、平坦領域以外のブロックのシェーディング成分を基準として算出されたシェーディング成分（Ｓｈ（１，１）等）を、非正規化シェーディング成分という。
　また、図１８に示す垂直方向シェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第３列のブロックのシェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）は、平坦領域であるブロック（３，３）のシェーディング成分を基準（１．０）として算出されたものである。そこで、垂直方向シェーディング成分Ｓｖのうち、平坦領域（３，３）のシェーディング成分を基準として算出されたブロックのシェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）を、正規化シェーディング成分という。
　これに対し、垂直方向シェーディング成分Ｓｖ（Ｙ＝１）、Ｓｖ（Ｙ＝２）、Ｓｖ（Ｙ＝４）、Ｓｖ（Ｙ＝５）のうち、第１、２、４、５列のブロックのシェーディング成分は、平坦領域（３，３）以外のブロックのシェーディング成分Ｓｖ（１，３）、Ｓｖ（２，３）、Ｓｖ（４，３）、Ｓｖ（５，３）を基準（１．０）とみなしてそれぞれ算出されたものである。そこで、これらのブロックのシェーディング成分（Ｓｖ（１，１）等）を、非正規化シェーディング成分という。
　シェーディング成分算出部２０３は、平坦領域（３，３）のシェーディング成分１．０と、水平方向シェーディング成分Ｓｖのうちの正規化シェーディング成分Ｓｈ（１，３）、Ｓｈ（２，３）、Ｓｈ（４，３）、Ｓｈ（５，３）と、垂直方向シェーディング成分Ｓｈのうちの正規化シェーディング成分Ｓｖ（３，１）、Ｓｖ（３，２）、Ｓｖ（３，４）、Ｓｖ（３，５）とを、それぞれのブロックのシェーディング成分Ｓ（Ｘ，Ｙ）として決定し、記憶部１３に記憶させる。図１９は、各画像におけるシェーディング成分を示す模式図であり、平坦領域及び正規化シェーディング成分が得られているブロックに斜線を附している。
　また、シェーディング成分算出部２０３は、非正規化シェーディング成分しか得られていないブロックのシェーディング成分を、当該ブロックの非正規化シェーディング成分と、当該ブロックと同じ行又は列の正規化シェーディング成分とを用いて算出する。図２０は、非正規化シェーディング成分しか得られていないブロックのシェーディング成分の算出方法を説明するための模式図である。
　例えば、図１９に示すブロック（１，１）のシェーディング成分Ｓ（１，１）を算出する場合を考える。図２０（ａ）に示すように、ブロック（１，１）の非正規化シェーディング成分Ｓｈ（１，１）は、同じ行のブロック（３，１）のシェーディング成分を基準（１．０）とみなすことにより算出されたものである。一方、図２０（ｂ）に示すように、ブロック（３，１）については、平坦領域（３，３）を基準として算出された正規化シェーディング成分Ｓｖ（３，１）が得られている。従って、ブロック（１，１）のシェーディング成分Ｓ（１，１）は、次式（９）により与えられる。
　　　Ｓ（１，１）＝Ｓｈ（１，１）×Ｓｖ（３，１）　…（９）
　或いは、同じブロック（１，１）のシェーディング成分Ｓ（１，１）を、次のようにして求めることもできる。図２１（ａ）に示すように、ブロック（１，１）の非正規シェーディング成分Ｓｖ（１，１）は、同じ列のブロック（１，３）のシェーディング成分を基準（１．０）とみなすことにより算出されたものである。一方、図２１（ｂ）に示すように、ブロック（１，３）については、平坦領域（３，３）を基準として算出された正規化シェーディング成分Ｓｈ（１，３）が得られている。従って、ブロック（１，１）のシェーディング成分Ｓ（１，１）は、次式（１０）により与えられる。
　　　Ｓ（１，１）＝Ｓｖ（１，１）×Ｓｈ（１，３）　…（１０）
　これらの算出式を、平坦領域のブロックを（Ｘ0、Ｙ0）として一般化すると、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分Ｓ（Ｘ，Ｙ）は、当該ブロック（Ｘ，Ｙ）について算出された水平方向シェーディング成分Ｓｈ（Ｘ，Ｙ）と、同じ行に含まれる正規化シェーディング成分Ｓｖ（Ｘ0，Ｙ）とを用いて、次式（１１）により与えられる。
　　　Ｓ（Ｘ，Ｙ）＝Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ0，Ｙ）　…（１１）
　或いは、ブロック（Ｘ，Ｙ）内の任意の画素におけるシェーディング成分Ｓ（Ｘ，Ｙ）は、当該ブロック（Ｘ，Ｙ）について算出された垂直方向シェーディング成分Ｓｖ（Ｘ，Ｙ）と、同じ列に含まれる正規化シェーディング成分Ｓｈ（Ｘ，Ｙ0）とを用いて、次式（１２）により与えられる。
　　　Ｓ（Ｘ，Ｙ）＝Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ0）　…（１２）
　シェーディング成分算出部２０３は、非正規シェーディング成分しか算出されていない全てのブロックについて、式（１１）又は（１２）を用いてシェーディング成分Ｓ（Ｘ，Ｙ）を算出し、記憶部１３に記憶させる。
　次に、実施の形態２に係る画像処理装置の動作について説明する。図２２は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。このうち、ステップＳ１０～Ｓ１５は、実施の形態１と同様である。ただし、ステップＳ１５においては、画像の水平方向及び垂直方向の各々について、十分な共通領域を有する少なくとも１組のペアの画像が取得されるように、視野Ｖを移動させる。具体的には、少なくとも、平坦領域である画像の中心部が、ペアの画像間の共通領域に含まれるようにする。また、十分な共通領域を有するペアの画像は、ステップＳ１２における合成画像の生成に用いた後も消去せずに保存しておく。
　ステップＳ１４において、画像の貼り合わせ処理を終了すると判定された場合（ステップＳ１４：Ｙｅｓ）、シェーディング成分取得部２００は、水平方向及び垂直方向の各々について、十分な共通領域を有するペアの画像を取り込み、これらのペアの画像からシェーディング成分を取得する（ステップＳ２０）。なお、これらのペア画像間においては、ステップＳ１１において取得された画像間の位置関係をもとに、共通領域の位置合わせがなされているものとする。シェーディング成分の取得方法は、図１５～図２１を参照しながら説明したとおりである。また、シェーディング成分を取得した後は、ペア画像を消去しても良い。
　その後のステップＳ１６～Ｓ１８は、実施の形態１と同様である。このうち、ステップＳ１６においては、ステップＳ２０において取得したシェーディング成分を用いて補正ゲインを算出する。
　以上説明したように、本発明の実施の形態２によれば、画像取得部１１が取得した画像からシェーディング成分を取得するので、シェーディング成分を取得するために白板等を別途用意し、被写体ＳＰと入れ替えて撮像を行うといった手間を要することなく、高精度なシェーディング補正を行うことが可能となる。また、画像の水平方向及び垂直方向における１ブロックの長さΔｗ及び長さΔｈは、ユーザが任意にステージを移動させた距離から設定できるため、顕微鏡システムにおいて、電動ステージに限らず手動ステージにおいても簡易に実現が可能である。
　なお、上記実施の形態２においては、画像の貼り合わせ処理が終了した後で、シェーディング成分の取得処理を実行したが、シェーディング成分の取得に使用するペアの画像が取得された後であれば、画像の貼り合わせ処理と並列にシェーディング成分の取得処理を実行しても良い。
　また、上記実施の形態２においては、水平方向及び垂直方向におけるシェーディング成分の特性を求めたが、シェーディング成分の特性を求める方向はこれに限定されず、互いに異なる２つの方向におけるシェーディング成分の特性を求めれば良い。
（変形例）
　次に、本発明の実施の形態２の変形例について説明する。
　上記実施の形態２においては、式（１１）と（１２）とのいずれかを用いて、正規化シェーディング成分が得られていないブロック（Ｘ，Ｙ）のシェーディング成分Ｓ（Ｘ，Ｙ）を算出したが、これらの式（１１）、（１２）によってそれぞれ与えられるシェーディング成分を重み付け合成することにより、シェーディング成分Ｓ（Ｘ，Ｙ）を算出しても良い。
　ここで、式（１１）に示すように、ブロック（Ｘ，Ｙ）の非正規化シェーディング成分である水平方向シェーディング成分Ｓｈ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）と同じ行に含まれる正規化シェーディング成分である垂直方向シェーディング成分Ｓｖ（Ｘ0，Ｙ）とによって与えられるシェーディング成分を、シェーディング成分Ｓｈｖ1（Ｘ，Ｙ）とする（式（１３））。
　　　Ｓｈｖ1（Ｘ，Ｙ）＝Ｓｈ（Ｘ，Ｙ）×Ｓｖ（Ｘ0，Ｙ）　…（１３）
　また、式（１２）に示すように、同じブロック（Ｘ，Ｙ）の非正規化シェーディング成分である垂直方向シェーディング成分Ｓｖ（Ｘ，Ｙ）と、ブロック（Ｘ，Ｙ）と同じ列に含まれる正規化シェーディング成分である水平方向シェーディング成分Ｓｈ（Ｘ，Ｙ0）とによって与えられるシェーディング成分を、シェーディング成分Ｓｈｖ2（Ｘ，Ｙ）とする（式（１４））。
　　　Ｓｈｖ2（Ｘ，Ｙ）＝Ｓｖ（Ｘ，Ｙ）×Ｓｈ（Ｘ，Ｙ0）　…（１４）
　これらのシェーディング成分Ｓｈｖ1（Ｘ，Ｙ）、Ｓｈｖ2（Ｘ，Ｙ）を重み付け合成した合成シェーディング成分Ｓ（Ｘ，Ｙ）は、次式（１５）により与えられる。
Figure JPOXMLDOC01-appb-M000009
　式（１５）において、ｗ（Ｘ，Ｙ）は、シェーディング成分の合成に用いられる重みである。一般に、シェーディング成分は滑らかであるとみなすことができるので、重みｗ（Ｘ，Ｙ）は、次式（１６）に示すように、例えば、エッジ量の総和の比に基づいて決定することができる。
Figure JPOXMLDOC01-appb-M000010
　式（１６）において、パラメータβは正規化係数である。また、Ｅｄｇｅh［　］は、水平方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ，Ｙ）又は（Ｘ，Ｙ0））での水平方向のエッジ量の総和を示す。Ｅｄｇｅv［　］は、垂直方向におけるシェーディング成分の分布の対象領域（ブロック（Ｘ0，Ｙ）又は（Ｘ，Ｙ））での垂直方向のエッジ量の総和を示す。
　例えば、シェーディング成分Ｓｈｖ1（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ）及び（Ｘ0，Ｙ）におけるエッジ量の総和が、シェーディング成分Ｓｈｖ2（Ｘ，Ｙ）の算出に用いるブロック（Ｘ，Ｙ）及び（Ｘ，Ｙ0）におけるエッジ量の総和に対して小さい場合、重みｗ（Ｘ，Ｙ）の値も小さくなる。従って、式（１５）におけるシェーディング成分Ｓｈｖ1の寄与分が大きくなる。
　式（１６）に示すように、エッジ量或いはコントラストに基づいて重みｗ（Ｘ，Ｙ）を設定することにより、２つのシェーディング成分Ｓｈｖ1、Ｓｈｖ2を、これらの滑らかさに基づいて合成することができる。従って、より滑らかで、シェーディング成分の算出に用いた画像のシフト方向によらない合成シェーディング成分Ｓを算出することができる。それにより、ロバストなシェーディング補正を行うことが可能となる。
　なお、上記変形例においては、式（１６）により重みｗ（Ｘ，Ｙ）を設定することで、滑らかな合成シェーディング成分Ｓ（Ｘ，Ｙ）を算出したが、メディアンフィルタ、平均化フィルタ、ガウシアンフィルタ等のフィルタ処理を組み合わることにより、さらに滑らかな合成シェーディング成分Ｓ（Ｘ，Ｙ）を生成することとしても良い。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。
　本発明の実施の形態３に係る画像処理装置の構成及び動作は全体として実施の形態２と同様であり、ステップＳ２０（図２２参照）においてシェーディング成分取得部２００が実行するシェーディング成分の取得方法が実施の形態２と異なる。実施の形態３においては、２枚の画像を貼り合わせる際に重ね合わせられる共通領域におけるシェーディング成分をもとに、画像全体のシェーディング成分を推定する。
　図２３及び図２４は、本発明の実施の形態３におけるシェーディング成分の取得方法を説明するための模式図である。以下においては、図２３に示すように、被写体ＳＰを９回に分けて撮像することにより取得した９枚の画像からシェーディング成分を取得する場合を例として説明する。なお、実施の形態３においても、シェーディング成分の取得に用いる画像は、ステップＳ１２における合成画像の生成に用いた後も消去せずに保存しておくこととする。
　図２４は、図２３に示す９枚の画像ｍ１～ｍ９のうち、中心に位置する画像ｍ５である。画像ｍ５の上端部の領域ａ５に含まれる任意の画素の輝度をＩ（ｘ，ｙ）とすると、この輝度Ｉ（ｘ，ｙ）は、テクスチャ成分Ｔ（ｘ，ｙ）とシェーディング成分Ｓ（ｘ，ｙ）とを用いて、次式（１７）によって表すことができる。
Ｉ（ｘ，ｙ）＝Ｔ（ｘ，ｙ）×Ｓ（ｘ，ｙ）　…（１７）
　一方、領域ａ５は、画像ｍ２の下端部の領域との共通領域になっている。画像ｍ５内の座標（ｘ，ｙ）に対応する画像ｍ２内の座標（ｘ’，ｙ’）における画素の輝度をＩ’（ｘ’，ｙ’）とすると、この輝度Ｉ’（ｘ’，ｙ’）も、テクスチャ成分Ｔ’（ｘ’，ｙ’）とシェーディング成分Ｓ（ｘ’，ｙ’）とを用いて、次式（１８）によって表すことができる。
Ｉ’（ｘ’，ｙ’）＝Ｔ’（ｘ’，ｙ’）×Ｓ（ｘ’，ｙ’）　…（１８）
　上述したように、画像ｍ５の上端部の領域ａ５は画像ｍ２の下端部の領域との共通領域であるから、テクスチャ成分Ｔ（ｘ，ｙ）、Ｔ’（ｘ’，ｙ’）は互いに等しい。従って、式（１７）、（１８）より、次式（１９）が成り立つ。
Figure JPOXMLDOC01-appb-M000011
 即ち、２枚の画像間の共通領域における輝度の比は、シェーディング成分の比に対応する。
　ここで、画像ｍ５は、画像ｍ２に対して視野をｘｙ平面内においてシフトさせたものであり、このシフト量は、ステップＳ１１において取得された画像間の位置関係により与えられている。このシフト量をΔｘ、Δｙとすると、式（１９）を次式（２０）のように変形することができる。
Figure JPOXMLDOC01-appb-M000012
 即ち、輝度の比Ｉ（ｘ，ｙ）／Ｉ’（ｘ’，ｙ’）は、画像内の位置に応じたシェーディング成分の変化に相当する。なお、画像ｍ５、ｍ２間においては、Δｘ＝０である。
　画像ｍ５の左端部の領域ａ６、右端部の領域ａ７、下端部の領域ａ８についても同様に、隣接する画像ｍ４、ｍ６、ｍ８との共通領域における輝度を用いて、シェーディング成分の変化を算出することができる。
　続いて、画像内のシェーディング成分Ｓ（ｘ，ｙ）を近似するシェーディングモデルを作成し、領域ａ５、ａ６、ａ７、ａ８に対して算出された輝度の比を用いて、このシェーディングモデルを修正する。シェーディングモデルの一例としては、画像の中心座標において極小となる２次曲面が挙げられる。
　詳細には、シェーディングモデルを表すモデル関数（例えば、２次曲面を表す２次関数）ｆ（ｘ，ｙ）を作成し、このモデル関数ｆ（ｘ，ｙ）を、次式（２１）によって与えられる評価関数Ｋによって評価する。
Figure JPOXMLDOC01-appb-M000013
　即ち、領域ａ５～ａ８内の座標（ｘ，ｙ）における輝度の比Ｉ（ｘ，ｙ）／Ｉ’（ｘ’，ｙ’）と、これらの座標（ｘ，ｙ）におけるモデル関数の値ｆ（ｘ，ｙ）とを式（２１）に代入して評価関数Ｋを算出し、評価関数Ｋが最小となるときのモデル関数ｆ（ｘ，ｙ）を求める。そして、このモデル関数ｆ（ｘ，ｙ）を用いて、画像内の各座標（ｘ，ｙ）におけるシェーディング成分Ｓ（ｘ，ｙ）を算出すれば良い。なお、シェーディングモデルを評価関数Ｋに基づいて修正することによりシェーディング成分を取得する方法については、特開２０１３－１３２０２７号公報も参照されたい。
　この他、画像取得部１１が取得した画像からシェーディング成分を取得する方法としては、公知の種々の手法を適用することができる。一例として、特開２０１３－２５７４１１号公報と同様の手法が挙げられる。具体的には、一方の画像の中心領域（即ち、シェーディング成分の平坦領域）における画素の輝度をＩ（ｘ，ｙ）＝Ｔ（ｘ，ｙ）×Ｓ（ｘ，ｙ）と、この中心領域との共通領域である他方の画像内の領域における画素の輝度をＩ’（ｘ’，ｙ’）＝Ｔ’（ｘ’，ｙ’）×Ｓ（ｘ’，ｙ’）とする。テクスチャ成分Ｔ（ｘ，ｙ）、Ｔ’（ｘ’，ｙ’）が共通であることを考慮すると、領域（ｘ’，ｙ’）におけるシェーディング成分Ｓ（ｘ’，ｙ’）は、次式（２２）によって与えられる。
　Ｓ（ｘ’，ｙ’）＝Ｉ’（ｘ’，ｙ’）／Ｉ（ｘ，ｙ）×Ｓ（ｘ，ｙ）　…（２２）
　画像の中心領域（ｘ，ｙ）は平坦領域であるから、シェーディング成分Ｓ（ｘ，ｙ）＝１とすると、領域（ｘ’，ｙ’）におけるシェーディング成分Ｓ（ｘ’，ｙ’）は、次式（２３）によって与えられる。
　Ｓ（ｘ’，ｙ’）＝Ｉ’（ｘ’，ｙ’）／Ｉ（ｘ，ｙ）　…（２３）
（実施の形態４）
　次に、本発明の実施の形態４について説明する。
　図２５は、本発明の実施の形態４に係る顕微鏡システムの構成例を示す模式図である。図２５に示すように、実施の形態４に係る顕微鏡システム２は、顕微鏡装置３と、顕微鏡装置３により取得された画像を処理し、該画像を表示する画像処理装置４とを備える。
　顕微鏡装置３は、落射照明ユニット３０１及び透過照明ユニット３０２が設けられた略Ｃ字形のアーム３００と、該アーム３００に取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ３０３と、鏡筒３０５の一端側に三眼鏡筒ユニット３０８を介して標本ステージ３０３と対向するように設けられた対物レンズ３０４と、鏡筒３０５の他端側に設けられた撮像部３０６と、標本ステージ３０３を移動させるステージ位置変更部３０７とを有する。三眼鏡筒ユニット３０８は、対物レンズ３０４から入射した被写体ＳＰの観察光を、撮像部３０６と後述する接眼レンズユニット３０９とに分岐する。接眼レンズユニット３０９は、ユーザが被写体ＳＰを直接観察するためのものである。
　落射照明ユニット３０１は、落射照明用光源３０１ａ及び落射照明光学系３０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系３０１ｂは、落射照明用光源３０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　透過照明ユニット３０２は、透過照明用光源３０２ａ及び透過照明光学系３０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系３０２ｂは、透過照明用光源３０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　対物レンズ３０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ３０４、３０４’）を保持可能なレボルバ３１０に取り付けられている。このレボルバ３１０を回転させて、標本ステージ３０３と対向する対物レンズ３０４、３０４’を変更することにより、撮像倍率を変化させることができる。
　鏡筒３０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、視野内の被写体像を拡大又は縮小させる。なお、鏡筒３０５内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置４に出力し、画像処理装置４において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしても良い。
　撮像部３０６は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、該撮像素子が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（輝度）を持つカラー画像を撮像可能なカメラであり、画像処理装置４の撮像制御部１１１の制御に従って、所定のタイミングで動作する。撮像部３０６は、対物レンズ３０４から鏡筒３０５内の光学系を介して入射した光（観察光）を受光し、観察光に対応する画像データを生成して画像処理装置４に出力する。或いは、撮像部３０６は、ＲＧＢ色空間で表された輝度を、ＹＣｂＣｒ色空間で表された輝度に変換して画像処理装置４に出力しても良い。
　ステージ位置変更部３０７は、例えばボールネジ（図示せず）及びステッピングモータ３０７ａを含み、標本ステージ３０３の位置をＸＹ平面内で移動させることにより、視野を変化させる。また、ステージ位置変更部３０７には、標本ステージ３０３をＺ軸に沿って移動させることにより、対物レンズ３０４の焦点を被写体ＳＰに合わせる。なお、ステージ位置変更部３０７の構成は上述した構成に限定されず、例えば超音波モータ等を使用しても良い。
　なお、実施の形態４においては、対物レンズ３０４を含む光学系の位置を固定し、標本ステージ３０３側を移動させることにより、被写体ＳＰに対する視野を変化させるが、対物レンズ３０４を光軸と直交する面内において移動させる移動機構を設け、標本ステージ３０３を固定して、対物レンズ３０４側を移動させることにより、視野を変化させることとしても良い。或いは、標本ステージ３０３及び対物レンズ３０４の双方を相対的に移動させても良い。
　画像処理装置４において、駆動制御部１１２は、標本ステージ３０３に搭載されたスケールの値等に基づき、予め定められたピッチで該標本ステージ３０３の駆動座標を指示することにより標本ステージ３０３の位置制御を行う。或いは、駆動制御部１１２は、顕微鏡装置３により取得された画像に基づくテンプレートマッチング等の画像マッチングの結果に基づいて標本ステージ３０３の位置制御を行っても良い。
　画像処理装置４は、画像取得部１１と、画像処理部１２と、記憶部１３と、表示制御部１６と、表示部１７と、操作入力部１８とを備える。このうち、画像取得部１１、画像処理部１２、及び記憶部１３の構成及び動作は実施の形態１と同様である。なお、シェーディング成分取得部１２３の代わりに、実施の形態２、３において説明したシェーディング成分取得部２００を適用しても良い。
　表示制御部１６は、画像処理部１２により生成された合成画像を含む画面を作成して、表示部１７に表示させる制御を行う。
　表示部１７は、例えば、ＬＣＤやＥＬディスプレイ等によって構成され、表示制御部１６から出力される信号に従って、画像処理部１２により生成された合成画像や関連情報を所定の形式で表示する。
　操作入力部１８は、表示部１７に組み込まれたタッチパネル方式の入力デバイスであり、外部からなされるタッチ操作に応じた信号を、画像取得部１１、画像処理部１２、及び表示制御部１６に入力する。
　図２６は、表示部１７に表示される画面の例を示す模式図である。この画面は、被写体ＳＰの拡大画像が表示されるマクロ表示領域１７ａと、マクロ表示領域１７ａにおいて選択された領域をさらに拡大した画像が表示されるミクロ表示領域１７ｂと、補正選択ボタン１７ｃ、１７ｄとを含んでいる。この画面内では、マクロ表示領域１７ａ及び補正選択ボタン１７ｃ、１７ｄにおいて、操作入力部１８の機能がアクティブになっている。以下、このような画面に対する操作に応じた顕微鏡システム２の動作を説明する。
　被写体ＳＰの観察に先立って、ユーザは顕微鏡装置３の標本ステージ３０３上に被写体ＳＰを載置し、マクロ表示領域１７ａ上の所望の位置を、指やタッチペン等を用いてタッチする。
　操作入力部１８は、マクロ表示領域１７ａに対するタッチ操作に応じて、タッチされた位置を表す位置情報を画像取得部１１及び表示制御部１６に入力する。なお、ユーザは、マクロ表示領域１７ａにタッチした状態で指やタッチペンをスライドさせても良く、この場合、操作入力部１８は連続的に変化する位置情報を各部に順次入力する。
　画像取得部１１は、操作入力部１８から入力された位置情報に対応する標本ステージ３０３上の位置を算出し、当該位置が視野の中心となるように、標本ステージ３０３の駆動制御を行う。そして、撮像部３０６に撮像を実行させることにより、画像を取得する。
　画像処理部１２は、画像取得部１１から画像を取り込み、先に取得された画像との貼り合わせ処理、合成画像に適用される補正ゲインの算出、及びシェーディング補正を実行する。
　表示制御部１６は、操作入力部１８から入力された位置情報に基づき、タッチされた位置を中心とする所定サイズの枠１７ｅをマクロ表示領域１７ａ上に表示させる。そして、画像処理部１２が生成したシェーディング補正済みの合成画像を、枠１７ｅ内に表示させる。また、表示制御部１６は、ユーザによるタッチ操作に応じて位置情報が変更された場合、この位置情報に従って枠１７ｅを順次移動させる。この場合、表示部１７は、マクロ表示領域１７ｅ上に既に表示した合成画像はそのまま残し、枠１７ｅ内の領域のみ、合成画像を順次更新して表示する。なお、図２６においてマクロ表示領域１７ａに示す矢印は、ユーザがマクロ表示領域１７ａをタッチした軌跡を示している。
　さらに、表示制御部１６は、枠１７ｅ内に入った合成画像の部分を拡大してミクロ表示領域１７ｂに表示させる。
　操作入力部１８は、補正選択ボタン（補正なし）１７ｄに対するタッチ操作に応じて、シェーディング補正前の合成画像の出力を指示する信号を画像処理部１２に出力する。これに応じて、画像処理部１２は、既に生成したシェーディング補正済みの合成画像を、補正ゲイン算出部１２４が算出した補正ゲインの逆数（即ち、シェーディング成分）を用いてシェーディング補正前の状態に戻して出力する。また、画像処理部１２は、その後で新たに生成する合成画像についても、シェーディング補正前の状態で出力する。表示制御部１６は、画像処理部１２から出力されたシェーディング補正前の合成画像を表示部１７に表示させる。
　一方、操作入力部１８は、補正選択ボタン（補正あり）１７ｃに対するタッチ操作に応じて、シェーディング補正済みの合成画像の出力を指示する信号を画像処理部１２に入力する。これに応じて、画像処理部１２は、既に生成したシェーディング補正前の合成画像に対し、補正ゲイン算出部１２４が算出した補正ゲインを用いて再びシェーディング補正を施して出力する。また、画像処理部１２は、その後で新たに生成する合成画像についても、シェーディング補正を施した状態で出力する。表示制御部１６は、画像処理部１２から出力されたシェーディング補正済みの合成画像を表示部１７に表示させる。
　以上説明したように、本発明の実施の形態４によれば、ユーザは、マクロ表示領域１７ａをタッチするだけで、被写体ＳＰの所望の領域が写った合成画像（バーチャルスライド画像）を観察することができる。また、ユーザは、補正選択ボタン１７ｃ、１７ｄに対する操作により、シェーディング補正前の合成画像とシェーディング補正済みの合成画像とを適宜切り替えて観察することができる。
　なお、実施の形態４において、各画像におけるシェーディング成分の取得方法は特に限定されないが、実施の形態２において説明した方法が比較的適している。実施の形態４においては、視野を連続的に変化させるので、十分な共通領域を有するペアの画像が逐次得られるからである。
　また、上記実施の形態４においては、シェーディング補正前の合成画像と、シェーディング補正済みの合成画像とのいずれかを表示部１７に切り替え可能に表示させることとしたが、これらの合成画像を並べて同時に表示させても良い。
　本発明は、上述した各実施の形態１～４及び変形例はそのままに限定されるものではなく、各実施の形態１～４及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１～４及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１、４　画像処理装置
　２　顕微鏡システム
　３　顕微鏡装置
　５　表示装置
　１１　画像取得部
　１２　画像処理部
　１３　記憶部
　１４　撮像光学系
　１５　ステージ
　１６　表示制御部
　１７　表示部
　１７ａ　マクロ表示領域
　１７ｂ　ミクロ表示領域
　１７ｃ　補正選択ボタン（補正あり）
　１７ｄ　補正選択ボタン（補正なし）
　１７ｅ　枠
　１８　操作入力部
　１１１　撮像制御部
　１１２　駆動制御部
　１２１　位置関係取得部
　１２２　画像合成部
　１２３、２００　シェーディング成分取得部
　１２４　補正ゲイン算出部
　１２５　画像補正部
　２０１　第１シェーディング成分算出部
　２０２　第２シェーディング成分算出部
　２０３　シェーディング成分算出部
　３００　アーム
　３０１　落射照明ユニット
　３０１ａ　落射照明用光源
　３０１ｂ　落射照明光学系
　３０２　透過照明ユニット
　３０２ａ　透過照明用光源
　３０２ｂ　透過照明光学系
　３０３　標本ステージ
　３０４、３０４’　対物レンズ
　３０５　鏡筒
　３０６　撮像部
　３０７　ステージ位置変更部
　３０７ａ　ステッピングモータ
　３０８　三眼鏡筒ユニット
　３０９　接眼レンズユニット
　３１０　レボルバ

Claims (11)

  1. 　視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得部と、
    　前記複数の画像間の位置関係を取得する位置関係取得部と、
    　前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成部と、
    　前記各画像におけるシェーディング成分を取得するシェーディング成分取得部と、
    　前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出部と、
    　前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記画像合成部は、隣り合う画像間の前記共通領域における輝度同士をブレンド係数を用いて重み付け加算することにより、該共通領域に対応する前記合成画像内の領域における輝度を算出し、
    　前記補正ゲイン算出部は、前記ブレンド係数を用いて、前記合成画像内の前記領域に適用される補正ゲインを算出する、
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記合成画像を表示する表示部と、
    　外部からなされる操作に応じて指示信号を入力する操作入力部と、
    をさらに備え、
    　前記表示部は、前記指示信号に応じて、シェーディング補正済みの前記合成画像と、シェーディング補正前の前記合成画像とを切り替えて表示する、
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 　前記シェーディング成分取得部は、前記複数の画像のうち、互いに共通領域を有する少なくとも２枚の画像から前記シェーディング成分を算出する、ことを特徴とする請求項１に記載の画像処理装置。
  5. 　前記シェーディング成分取得部は、
    　第１の方向において互いに共通領域を有する第１のペアの画像における前記共通領域の輝度を用いて、前記第１の方向におけるシェーディング成分の特性を算出する第１のシェーディング成分算出部と、
    　前記第１の方向と異なる第２の方向において互いに共通領域を有する第２のペアの画像における前記共通領域の輝度を用いて、前記第２の方向におけるシェーディング成分の特性を算出する第２のシェーディング成分算出部と、
    　前記第１及び第２の方向におけるシェーディング成分の特性を用いて、前記各画像におけるシェーディング成分を算出する第３のシェーディング成分算出部と、
    を備えることを特徴とする請求項４に記載の画像処理装置。
  6. 　前記シェーディング成分取得部は、前記少なくとも２枚の画像から前記共通領域における輝度の比を算出し、該輝度の比を用いて前記各画像におけるシェーディング成分を推定する、ことを特徴とする請求項４に記載の画像処理装置。
  7. 　前記シェーディング成分取得部は、第１の画像の中心領域における輝度と、前記中心領域に対する共通領域を有する第２の画像の当該共通領域における輝度とを用いて、前記シェーディング成分を算出する、ことを特徴とする請求項１に記載の画像処理装置。
  8. 　請求項１～７のいずれか１項に記載の画像処理装置と、
    　前記被写体を撮像して画像信号を出力する撮像部と、
    を備えることを特徴とする撮像装置。
  9. 　請求項１～７のいずれか１項に記載の画像処理装置と、
    　前記被写体を撮像して画像信号を出力する撮像部と、
    　前記被写体が載置されるステージと、
    　前記撮像部と前記ステージとの少なくともいずれか一方を他方に対して相対的に移動させる駆動手段と、
    を備えることを特徴とする顕微鏡システム。
  10. 　視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、
    　前記複数の画像間の位置関係を取得する位置関係取得ステップと、
    　前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、
    　前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、
    　前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、
    　前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、
    を含むことを特徴とする画像処理方法。
  11. 　視野が互いに異なる複数の画像であって、各画像が少なくとも１つの他の画像との間で共通の被写体が写った領域である共通領域を有する複数の画像を取得する画像取得ステップと、
    　前記複数の画像間の位置関係を取得する位置関係取得ステップと、
    　前記位置関係に基づいて前記複数の画像を貼り合わせることにより、合成画像を生成する画像合成ステップと、
    　前記各画像におけるシェーディング成分を取得するシェーディング成分取得ステップと、
    　前記シェーディング成分と前記位置関係とに基づいて、前記合成画像のシェーディング補正に用いる補正ゲインを算出する補正ゲイン算出ステップと、
    　前記補正ゲインを用いて前記合成画像をシェーディング補正する画像補正ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2014/080781 2014-11-20 2014-11-20 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム WO2016079853A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016559761A JP6487938B2 (ja) 2014-11-20 2014-11-20 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
PCT/JP2014/080781 WO2016079853A1 (ja) 2014-11-20 2014-11-20 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
US15/587,450 US20170243386A1 (en) 2014-11-20 2017-05-05 Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/080781 WO2016079853A1 (ja) 2014-11-20 2014-11-20 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/587,450 Continuation US20170243386A1 (en) 2014-11-20 2017-05-05 Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2016079853A1 true WO2016079853A1 (ja) 2016-05-26

Family

ID=56013458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080781 WO2016079853A1 (ja) 2014-11-20 2014-11-20 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20170243386A1 (ja)
JP (1) JP6487938B2 (ja)
WO (1) WO2016079853A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111033352A (zh) * 2017-08-31 2020-04-17 浜松光子学株式会社 图像取得装置和图像取得方法
KR102255074B1 (ko) * 2020-03-13 2021-05-24 한국광기술원 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7153425B2 (ja) * 2017-01-23 2022-10-14 セイコーエプソン株式会社 スキャナー、スキャンプログラムおよびスキャンデータの生産方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290829A (ja) * 2001-03-26 2002-10-04 Minolta Co Ltd 画像処理装置、プログラムおよび記録媒体
JP2003087549A (ja) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003281562A (ja) * 2002-03-25 2003-10-03 Fuji Photo Film Co Ltd 画像表示方法およびこれを行う画像処理装置
JP2008092548A (ja) * 2006-09-06 2008-04-17 Casio Comput Co Ltd 撮像装置、撮影方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509565B2 (en) * 2008-12-15 2013-08-13 National Tsing Hua University Optimal multi-resolution blending of confocal microscope images
JP5751986B2 (ja) * 2010-12-08 2015-07-22 キヤノン株式会社 画像生成装置
JP5735846B2 (ja) * 2011-04-11 2015-06-17 キヤノン株式会社 画像処理装置およびその方法
US8731278B2 (en) * 2011-08-15 2014-05-20 Molecular Devices, Inc. System and method for sectioning a microscopy image for parallel processing
JP2013201530A (ja) * 2012-03-23 2013-10-03 Canon Inc 撮像装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290829A (ja) * 2001-03-26 2002-10-04 Minolta Co Ltd 画像処理装置、プログラムおよび記録媒体
JP2003087549A (ja) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003281562A (ja) * 2002-03-25 2003-10-03 Fuji Photo Film Co Ltd 画像表示方法およびこれを行う画像処理装置
JP2008092548A (ja) * 2006-09-06 2008-04-17 Casio Comput Co Ltd 撮像装置、撮影方法及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111033352A (zh) * 2017-08-31 2020-04-17 浜松光子学株式会社 图像取得装置和图像取得方法
CN111033352B (zh) * 2017-08-31 2021-08-03 浜松光子学株式会社 图像取得装置和图像取得方法
US11280991B2 (en) 2017-08-31 2022-03-22 Hamamatsu Photonics K.K. Image acquisition device and image acquisition method
US11698519B2 (en) 2017-08-31 2023-07-11 Hamamatsu Photonics K.K. Image acquisition device and image acquisition method
KR102255074B1 (ko) * 2020-03-13 2021-05-24 한국광기술원 명시야 전체 슬라이드 이미징을 위한 음영 보정 방법 및 장치

Also Published As

Publication number Publication date
JP6487938B2 (ja) 2019-03-20
JPWO2016079853A1 (ja) 2017-09-21
US20170243386A1 (en) 2017-08-24

Similar Documents

Publication Publication Date Title
JP6196832B2 (ja) 画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラム
JP5940383B2 (ja) 顕微鏡システム
US8767085B2 (en) Image processing methods and apparatuses to obtain a narrow depth-of-field image
JP5523017B2 (ja) 画像処理装置及び画像処理方法
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP6422967B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP6099477B2 (ja) 撮像装置、顕微鏡システム及び撮像方法
JP2019087794A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6487938B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP6270388B2 (ja) 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
JP5875813B2 (ja) 顕微鏡システム
WO2013100029A1 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
US10656406B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
JP5212046B2 (ja) デジタルカメラおよび画像処理装置並びに画像処理プログラム
JP6173032B2 (ja) 顕微鏡システム
JP2012150142A (ja) 顕微鏡制御装置、顕微鏡システム及び該制御方法
JP6724395B2 (ja) 画像表示制御装置、画像表示制御方法及び画像表示制御プログラム
JP2013092636A (ja) 画像処理装置、顕微鏡システム、画像処理方法、画像処理プログラム
JP2023069527A (ja) 画像処理装置および画像処理方法
JP2011254335A (ja) 画像処理装置、画像処理方法
JP2021060450A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14906422

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016559761

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14906422

Country of ref document: EP

Kind code of ref document: A1