WO2016166858A1 - 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム - Google Patents

顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム Download PDF

Info

Publication number
WO2016166858A1
WO2016166858A1 PCT/JP2015/061640 JP2015061640W WO2016166858A1 WO 2016166858 A1 WO2016166858 A1 WO 2016166858A1 JP 2015061640 W JP2015061640 W JP 2015061640W WO 2016166858 A1 WO2016166858 A1 WO 2016166858A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
slice
images
omnifocal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/061640
Other languages
English (en)
French (fr)
Inventor
洋子 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to DE112015006312.9T priority Critical patent/DE112015006312T5/de
Priority to PCT/JP2015/061640 priority patent/WO2016166858A1/ja
Priority to JP2017512142A priority patent/JPWO2016166858A1/ja
Publication of WO2016166858A1 publication Critical patent/WO2016166858A1/ja
Priority to US15/782,108 priority patent/US10429632B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/088—Condensers for both incident illumination and transillumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to a microscope observation system, a microscope observation method, and a microscope observation program for observing a subject through an image acquired in a microscope apparatus.
  • a multifocal image generated by superimposing a Z stack image is restored using a blur function, or a focused region is extracted from each of a plurality of images having different focal planes.
  • each image having a different focal plane is also referred to as a slice image.
  • Patent Document 1 calculates the degree of focus in each slice image, selects a candidate area to be synthesized based on this degree of focus, and weights the candidate area according to the degree of focus. And a technique for synthesizing them.
  • the user can instantly grasp the position of the structure in the subject in the Z direction on the two-dimensional XY plane.
  • Patent Document 2 a user selects an area through a user interface for an omnifocal image generated from a Z stack image, and the area is focused on A technique for displaying a slice image is disclosed.
  • a transparent subject such as a living body may have a plurality of focused structures in the Z direction, it is difficult to grasp the position of the structure in the Z direction from the omnifocal image.
  • a plurality of structures are overlapped in the Z direction, it is also difficult to grasp the front-rear relationship between the structures, that is, the positional relationship in the Z direction.
  • Patent Document 2 since a slice image having the highest degree of focus is extracted with respect to the region selected from the omnifocal image, when a plurality of structures with different Z positions overlap on the plane, The area selected by the user is not necessarily extracted.
  • the present invention has been made in view of the above, and even when observing an omnifocal image of a transparent subject such as a living body, the user visually determines the position of the structure in the Z direction and the front-rear relationship between the structures. It is another object of the present invention to provide a microscope observation system, a microscope observation method, and a microscope observation program that can be intuitively grasped.
  • the microscope observation system is generated by capturing a subject image while shifting the focal position along the optical axis of the observation optical system included in the microscope.
  • An image acquisition unit that acquires a plurality of slice images, and an image that relatively shifts another slice image with respect to one slice image of the plurality of slice images in a plane including the one slice image
  • the shift processing unit, the one slice image, and the other slice image shifted relative to the one slice image have different shift amounts of the other slice image with respect to the one slice image.
  • An omnifocal image generation unit that generates a plurality of omnifocal images by combining under a plurality of conditions, and a display unit that displays the plurality of omnifocal images. It is characterized in.
  • the microscope observation system includes an input unit that inputs information according to an operation performed from the outside, and a shift amount acquisition processing unit that calculates the shift amount in each of the plurality of conditions according to the information input from the input unit
  • the image shift processing unit shifts the other slice image according to the shift amount calculated by the shift amount acquisition processing unit.
  • the microscope observation system includes an observation region determination processing unit that determines, as an observation region, a region selected from any one of the plurality of omnifocal images according to an operation performed from the outside, and the observation region The region corresponding to the observation region is extracted from the omnifocal image other than the selected omnifocal image, and the position of the observation region in the omnifocal image from which the observation region is selected and the total region from which the region is extracted.
  • An attention image extraction processing unit that extracts a slice image including the observation region from the plurality of slice images based on a shift amount with respect to a position of the region in the focus image.
  • the omnifocal image generation unit is configured to be relative to the one slice image and the one slice image based on the position of the observation region in the omnifocal image where the observation region is selected.
  • a cutout range determination processing unit that determines a range to be used when generating each of the plurality of omnifocal images with respect to the other slice image that has been shifted to is further provided.
  • the microscope observation method includes an image acquisition step of acquiring a plurality of slice images generated by capturing a subject image while shifting a focal position along an optical axis of an observation optical system included in the microscope, An image shift processing step of shifting another slice image relative to one of the slice images in a plane including the slice image, the slice image, By synthesizing the other slice image shifted relative to the slice image under a plurality of conditions with different shift amounts of the other slice image with respect to the one slice image, And an omnifocal image generating step for generating a focal image, and a display step for displaying the plurality of omnifocal images.
  • the microscope observation program includes a plurality of slice images for a plurality of slice images generated by capturing a subject image while shifting a focal position along an optical axis of an observation optical system included in the microscope.
  • An image shift processing step of shifting another slice image relative to the one slice image in a plane including the one slice image, the one slice image, and the one slice image The plurality of omnifocal images are generated by synthesizing the other slice images that have been shifted relative to each other under a plurality of conditions with different shift amounts of the other slice images with respect to the one slice image.
  • An omnifocal image generation step and a display step for displaying the plurality of omnifocal images are executed by a computer.
  • the shift amounts of other slice images with respect to one slice image are different based on a plurality of slice images acquired by performing imaging while shifting the focal position along the optical axis of the observation optical system. Since a plurality of omnifocal images are generated and displayed under a plurality of conditions, a state in which the subject is viewed from a plurality of viewpoints can be reproduced virtually. Therefore, the user can visually and intuitively grasp the position of the structure in the Z direction and the context between the structures.
  • FIG. 1 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the microscope apparatus illustrated in FIG. 1.
  • FIG. 3 is a flowchart showing the operation of the microscope observation system shown in FIG.
  • FIG. 4 is a schematic diagram for explaining an operation of acquiring a Z stack image.
  • FIG. 5 is a flowchart showing details of a process for generating a plurality of multi-focus superimposed images.
  • FIG. 6 is a schematic diagram for explaining a process for generating a plurality of multi-focus superimposed images.
  • FIG. 7 is a schematic diagram for explaining a method for setting the shift amount of the slice image.
  • FIG. 1 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the microscope apparatus illustrated in FIG. 1.
  • FIG. 3 is
  • FIG. 8 is a flowchart showing details of a process for generating a plurality of omnifocal images.
  • FIG. 9 is a schematic diagram illustrating an example in which two omnifocal images are displayed side by side on the display device illustrated in FIG. 1.
  • FIG. 10 is a flowchart showing details of the multi-focus superimposed image generation process in the first modification of the first embodiment of the present invention.
  • FIG. 11 is a schematic diagram for explaining a method for setting the shift amount of the slice image in Modification 1 of Embodiment 1 of the present invention.
  • FIG. 12 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 2 of the present invention.
  • FIG. 13 is a flowchart showing the operation of the microscope observation system shown in FIG. FIG.
  • FIG. 14 is a flowchart showing details of a process for generating a plurality of multi-focus superimposed images.
  • FIG. 15 is a schematic diagram for explaining a process for generating a plurality of multi-focus superimposed images.
  • FIG. 16 is a schematic diagram for explaining a process for generating a plurality of multi-focus superimposed images.
  • FIG. 17 is a schematic diagram for explaining slice image shift amount calculation processing in Modification 2-2 of Embodiment 2 of the present invention.
  • FIG. 18 is a schematic diagram for explaining slice image shift amount calculation processing in Modification 2-2 of Embodiment 2 of the present invention.
  • FIG. 19 is a schematic diagram showing an example of a screen displayed on the display device in Modification 2-3 of Embodiment 2 of the present invention.
  • FIG. 20 is a block diagram illustrating a configuration example of a microscope observation system according to Embodiment 3 of the present invention.
  • FIG. 21 is a flowchart showing the operation of the microscope observation system shown in FIG.
  • FIG. 22 is a schematic diagram showing a slice image shifted with respect to the reference image.
  • FIG. 23 is a schematic diagram illustrating an example of a method for selecting an observation region.
  • FIG. 24 is a flowchart showing details of the processing for acquiring the Z position information of the observation area.
  • FIG. 25 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 4 of the present invention.
  • FIG. 26 is a flowchart showing the operation of the microscope observation system shown in FIG. FIG.
  • FIG. 27 is a schematic diagram for explaining the operation of the microscope observation system shown in FIG.
  • FIG. 28 is a schematic diagram illustrating a slice image shift method according to a modification of the fourth embodiment.
  • FIG. 29 is a schematic diagram showing another method for shifting a slice image in a modification of the fourth embodiment.
  • FIG. 1 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 1 of the present invention.
  • a microscope observation system 1 according to Embodiment 1 includes a microscope apparatus 10 that generates an enlarged image of a subject, and an imaging apparatus that acquires and processes an image of the enlarged image generated by the microscope apparatus 10. 20 and a display device 30 that displays an image processed by the imaging device 20.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the microscope apparatus 10.
  • the microscope apparatus 10 includes a substantially C-shaped arm 100, a lens barrel 102 and an eyepiece unit 103 supported on the arm 100 via a trinocular tube unit 101, and the arm 100.
  • an objective lens 140 that forms an image of observation light from the subject S.
  • the objective lens 140, the lens barrel 102 connected via the trinocular tube unit 101, and an imaging unit 211 (described later) provided on the other end side of the lens barrel 102 are an observation optical system (imaging optical system). ) 104 is configured.
  • the trinocular tube unit 101 branches the observation light incident from the objective lens 140 in the direction of an eyepiece unit 103 for the user to directly observe the subject S and an imaging unit 211 described later.
  • the epi-illumination unit 110 includes an epi-illumination light source 111 and an epi-illumination optical system 112 and irradiates the subject S with epi-illumination light.
  • the epi-illumination optical system 112 condenses the illumination light emitted from the epi-illumination light source 111 and guides it in the direction of the optical axis L of the observation optical system 104, specifically a filter unit, a shutter, and a field of view. Including diaphragm, aperture diaphragm, etc.
  • the transmitted illumination unit 120 includes a transmitted illumination light source 121 and a transmitted illumination optical system 122 and irradiates the subject S with transmitted illumination light.
  • the transmission illumination optical system 122 includes various optical members that condense the illumination light emitted from the transmission illumination light source 121 and guide it in the direction of the optical axis L, specifically, a filter unit, a shutter, a field stop, an aperture stop, and the like. Including.
  • any one of these epi-illumination units 110 and transmission illumination units 120 is selected and used according to the spectroscopic method.
  • the microscope apparatus 10 may be provided with only one of the epi-illumination unit 110 and the transmission illumination unit 120.
  • the electric stage unit 130 includes a stage 131, a stage drive unit 132 that moves the stage 131, and a position detection unit 133.
  • the stage driving unit 132 is configured by, for example, a motor, and is a moving unit that moves the stage 131 under the control of the imaging control unit 22 described later.
  • a subject placement surface 131 a of the stage 131 is provided so as to be orthogonal to the optical axis of the objective lens 140. In the following, it is assumed that the subject placement surface 131a is the XY plane, and the normal direction of the XY plane, that is, the direction parallel to the optical axis is the Z direction. In the Z direction, the downward direction in the figure, that is, the direction away from the objective lens 140 is the plus direction.
  • the observation field of the objective lens 140 can be changed by moving the stage 131 in the XY plane. Further, by moving the stage 131 in the Z direction, the slice of the subject S positioned at the focal point of the objective lens 140 can be changed along the optical axis.
  • the stage 131 can be moved by electrical control.
  • the stage 131 may be manually moved by the user using an adjustment knob or the like.
  • the position of the observation optical system 104 including the objective lens 140, the lens barrel 102, and the imaging unit 211 is fixed and moved on the stage 131 side, but the position of the stage 131 is fixed,
  • the observation optical system 104 side may be moved.
  • both the stage 131 and the observation optical system 104 may be moved in opposite directions. That is, any configuration may be used as long as the observation optical system 104 and the subject S are relatively movable.
  • the position detection unit 133 is configured by an encoder that detects the amount of rotation of the stage drive unit 132 made of a motor, for example, and detects the position of the stage 131 and outputs a detection signal.
  • a pulse generation unit and a stepping motor that generate pulses in accordance with the control of the imaging control unit 22 described later may be provided.
  • the objective lens 140 is attached to a revolver 142 that can hold a plurality of objective lenses having different magnifications (for example, the objective lenses 140 and 141).
  • the imaging magnification can be changed by rotating the revolver 142 and changing the objective lenses 140 and 141 facing the stage 131.
  • FIG. 2 shows a state in which the objective lens 140 faces the stage 131.
  • the imaging device 20 includes an image acquisition unit 21 that acquires an image by imaging the subject S, an imaging control unit 22 that controls the imaging operation of the image acquisition unit 21, and the imaging device 20.
  • a control unit 23 that controls the various operations in the image acquisition unit 21, processes the image acquired by the image acquisition unit 21, a storage unit 24 that stores various information such as image data of the image acquired by the image acquisition unit 21 and a control program,
  • the image acquisition unit 21 includes an imaging unit 211 and a memory 212.
  • the image pickup unit 211 includes an image pickup device (imager) 211a made of, for example, a CCD or a CMOS, and pixel levels (R (red), G (green), and B (blue)) in each pixel included in the image pickup device 211a ( It is configured using a camera capable of capturing a color image having a pixel value. Or you may comprise the imaging part 211 using the camera which can image the monochrome image which outputs the luminance value Y as a pixel level (pixel value) in each pixel.
  • the imaging unit 211 is provided at one end of the lens barrel 102 so that the optical axis L passes through the center of the light receiving surface of the imaging element 211a, and receives the light receiving surface via the objective lens 140 to the lens barrel 102.
  • Image data of an image that has entered the field of view of the objective lens 140 is generated by photoelectrically converting the observation light incident on.
  • the memory 212 includes a recording device such as a flash memory that can be updated and recorded, a semiconductor memory such as a RAM, and a ROM, and temporarily stores the image data generated by the imaging unit 211.
  • a recording device such as a flash memory that can be updated and recorded
  • a semiconductor memory such as a RAM, and a ROM
  • the imaging control unit 22 outputs a control signal to the microscope apparatus 10 and moves the stage 131 to change the region of the subject S that enters the field of view of the objective lens 140 and the focal position, and causes the imaging unit 211 to perform imaging.
  • a control for sequentially acquiring a plurality of images is performed.
  • a set of a plurality of images having the same coordinates of the subject S on the XY plane and different focal positions is also referred to as a Z stack image.
  • An image at each focal position included in the Z stack image is also referred to as a slice image.
  • the control unit 23 is configured by hardware such as a CPU, for example, and by reading a program stored in the storage unit 24, based on various parameters stored in the storage unit 24, information input from the input unit 25, and the like, The overall operation of the imaging device 20 and the microscope observation system 1 is controlled. In addition, the control unit 23 generates an image by performing predetermined image processing on the image data input from the image acquisition unit 21, and further performs a process of generating an omnifocal image by combining the plurality of generated images. Do.
  • control unit 23 synthesizes a plurality of slice images included in the Z stack image by combining the image shift processing unit 231 that relatively shifts the position in the image plane and the plurality of slice images. And an omnifocal image generation unit 232 that generates an omnifocal image by generating a superimposed image and restoring the multifocal superimposed image using a point spread function representing a blur of the image.
  • the storage unit 24 includes a recording device such as a flash memory, RAM, and ROM that can be updated and recorded, a recording medium such as a hard disk, MO, CD-R, and DVD-R that is built-in or connected by a data communication terminal, and the like.
  • a writing / reading apparatus that writes information to a recording medium and reads information recorded on the recording medium.
  • the storage unit 24 includes a parameter storage unit 241 that stores parameters used for calculation in the control unit 23 and a program storage unit 242 that stores various programs.
  • the parameter storage unit 241 stores parameters such as a shift amount according to the focal position when the image shift processing unit 231 shifts the slice image.
  • the program storage unit 242 stores a control program for causing the imaging device 20 to execute a predetermined operation, an image processing program, and the like.
  • the input unit 25 includes an input device such as a keyboard, various buttons, and various switches, a pointing device such as a mouse and a touch panel, and the like, and inputs signals corresponding to operations performed on these devices to the control unit 23. .
  • the output unit 26 outputs an image based on the image data acquired by the image acquisition unit 21, an omnifocal image generated by the control unit 23, and other various information to an external device such as the display device 30, and a predetermined format This is an external interface to be displayed with.
  • Such an imaging device 20 can be configured by combining a general-purpose digital camera via an external interface with a general-purpose device such as a personal computer or a workstation.
  • the display device 30 is configured by, for example, an LCD, an EL display, a CRT display, or the like, and displays an image and related information output from the output unit 26.
  • the display device 30 is provided outside the imaging device 20, but may be provided inside the imaging device 20.
  • FIG. 3 is a flowchart showing the operation of the microscope observation system 1.
  • step S ⁇ b> 10 the image acquisition unit 21 acquires a Z stack image by imaging the subject S set on the stage 131 (see FIG. 2) of the microscope apparatus 10 under the control of the imaging control unit 22.
  • FIG. 4 is a schematic diagram for explaining the operation of acquiring the Z stack image, and shows the subject S placed on the slide glass SG.
  • each time imaging is performed the distance between the objective lens 140 and the stage 131 is changed by ⁇ z, and the focal position F of the objective lens 140 is moved along the Z direction, so that a plurality of slices are obtained.
  • FIG. 4 shows a case where five slice images are acquired by sequentially setting the focal position F to the slice positions F 1 to F 5 and capturing images five times.
  • the upper limit value of the subscript j) may be set arbitrarily.
  • the Z stack image is acquired in real time while imaging is performed in the imaging unit 211 provided in the microscope apparatus 10, but the Z stack image stored in the server or the like is acquired via the network.
  • the Z stack image may be acquired via a storage medium.
  • the image acquisition unit 21 includes an interface for inputting / outputting information to / from an external network, a reading device for reading information stored in a storage medium, and the like.
  • the control unit 23 In subsequent step S11, the control unit 23 generates a plurality of multifocal superimposed images in which slice images are superimposed differently from the Z stack image acquired in step S10. Specifically, the shift amount between the multi-focus superimposed image obtained by shifting a part of the slice image in the Z stack image with a predetermined (non-zero) shift amount with respect to the other image and the slice image is set to zero. A set multi-focus superimposed image, that is, a multi-focus superimposed image that does not shift any slice image is generated.
  • FIG. 5 is a flowchart showing details of the generation processing of a plurality of multifocus superimposed images in step S11.
  • FIG. 6 is a schematic diagram for explaining a process for generating a plurality of multi-focus superimposed images.
  • the state (XZ plane) is shown.
  • processing for the slice image M j shown in FIG. 6 will be described.
  • the subscript j of the slice image M j indicates the stack order in the Z stack image, and corresponds to the slice order. Further, the shaded area shown in each slice image M j indicates an area in which the structure existing at the slice position F j is shown.
  • step S110 the control unit 23 reads slice images M 1 to M 5 from the image acquisition unit 21 as Z stack images.
  • the control unit 23 In subsequent step S111, the control unit 23 generates multiple focuses superimposed image SI 0 shift amount zero. Specifically, the omnifocal image generation unit 232 adds and averages the pixel values of pixels corresponding to positions in the slice images M 1 to M 5 , thereby obtaining the pixel value of each pixel of the multifocal superimposed image SI 0. Is calculated. For example, as shown in FIG. 6 (a), by adding the pixel values of the pixels in each slice image M 1 ⁇ M 5 in the coordinates (x 0, y 0), the coordinates in the multi-focal superimposed image SI 0 ( The pixel value of the pixel of x 0 , y 0 ) is obtained. The image data of the multi-focus superimposed image SI 0 generated in this way is temporarily stored in the storage unit 24.
  • the image shift processing unit 231 sets an arbitrary slice image M j in the Z stack image as a reference image M k (k is any one of 1 to 5).
  • the reference image M k may be set as appropriate according to information input from the input unit 25 according to a user operation.
  • the slice image M 1 is set as the reference image M k .
  • the image shift processing unit 231 sets a shift amount ⁇ (pixel) for shifting another slice image M j with respect to the reference image M k .
  • a value stored in advance in the parameter storage unit 241 may be read and set, or an arbitrary value may be set according to information (user instruction information) input from the input unit 25. good.
  • FIG. 7 is a schematic diagram for explaining a method for setting the shift amount ⁇ of the slice image M j .
  • the shift amount ⁇ is the distance z between the slice position F i of the other slice images M j to the slice position F k of the reference image M k, the angle ⁇ and the pixel pitch p of the image pickup device provided in the imaging unit 211 ( ⁇ m / pixel) and is given by the following equation (1).
  • ⁇ (z ⁇ tan ⁇ ) / p (1)
  • the distance z between the slice position F 1 and the slice position F 5 is shown.
  • step S114 the image shift processing unit 231 shifts the slice image based on the shift amount ⁇ determined in step S113.
  • FIG. 6B shows a state in which the other slice images M 2 to M 5 are shifted in the minus X direction by the shift amount ⁇ with respect to the slice image M 1 set as the reference image.
  • the total focus image generation unit 232 a Z-stack images after shift processing of the slice image to generate a multi-focal superimposed image SI 1 of the shift amount sigma. That is, the pixel value of each pixel of the multifocal superimposed image SI 1 is calculated by averaging the pixel values of the pixels corresponding in position between the reference image M k and the slice image M j after the shift process. . Specifically, in the case of FIG. 6B, the pixel value of the pixel at the coordinates (x 0 , y 0 ) in the slice image M 1 that is the reference image, and the coordinates in each of the slice images M 2 to M 5 .
  • the pixel value of the pixel at the coordinate (x 0 , y 0 ) in the multifocal superimposed image SI 1 is obtained by averaging the pixel values of the pixel of (x 0 + ⁇ , y 0 ).
  • the image data of the multi-focus superimposed image SI 1 generated in this way is temporarily stored in the storage unit 24. Thereafter, the operation of the control unit 23 returns to the main routine.
  • step S12 the omnifocal image generation unit 232 generates a plurality of omnifocal images from the plurality of multifocal superimposed images S 0 and SI 1 generated in step S11.
  • FIG. 8 is a flowchart showing details of the generation processing of a plurality of omnifocal images in step S12.
  • the total focus image generation unit 232 the point spread represents the image blur in each slice image M j function (point spread function: PSF) to obtain information, to generate a PSF image based on the PSF information.
  • the point spread function is stored in advance in the parameter storage unit 241 in association with imaging conditions such as the magnification of the objective lens 140 in the microscope apparatus 10 and the slice position F j .
  • the omnifocal image generation unit 232 reads a point spread function corresponding to the slice position F j from the parameter storage unit 241 based on the imaging conditions such as the magnification of the objective lens 140, and based on the point spread function, the slice image M j A PSF image is generated by calculating a pixel value corresponding to each pixel position.
  • a shift amount corresponding to the multifocal superimposed image S 0 generates multiple focuses superimposed PSF image PI 0 zero.
  • the pixel value of each pixel of the multi-focus superimposed PSF image PI 0 is calculated by averaging the pixel values of the pixels corresponding in position among the plurality of PSF images generated in step S121.
  • the total focus image generation unit 232 obtains a shift amount sigma used in generating multiple focuses superimposed image SI 1, to shift the PSF image based on the shift amount sigma. That is, as in the case of generating the multifocal superimposed image SI 1 , the PSF image corresponding to the other slice image M j is shifted by the shift amount ⁇ with respect to the PSF image corresponding to the reference image M k .
  • the total focus image generating unit 232 by using a plurality of PSF image after the shift processing in step S122, it generates a multi-focal superimposed PSF image PI 1 of shift sigma. Specifically, by averaging the pixel values of the pixels corresponding to the positions between the PSF image corresponding to the reference image M k and the PSF image after the shift processing corresponding to the other slice image M j. Then, the pixel value of each pixel of the multi-focus superimposed PSF image PI 1 is calculated.
  • step S124 the total focus image generating unit 232, by using the multi-focal superimposed PSF image PI 0, PI 1, resulting multifocal superimposed image SI 0, SI 1 to restore, respectively, in step S11. That is, the multi-focus superimposed image SI 0 is restored by using the multi-focus superimposed PSF image PI 0 with zero shift amount to generate the omni-focus image AI 0, and the multi-focus superimposed PSF image PI i with the shift amount ⁇ is generated. generating a full-focus image AI i by restoring multiple focuses superimposed image SI i used. Thereafter, the operation of the control unit 23 returns to the main routine.
  • step S13 subsequent to step S12 the imaging device 20 outputs the image data of the plurality of omnifocal images AI 0 and AI 1 generated in step S12 to the display device 30, and these omnifocal images AI 0 and AI 1 are output.
  • Display The display method of the omnifocal images AI 0 and AI 1 is not particularly limited.
  • the omnifocal images AI 0 and AI 1 may be displayed side by side, or the omnifocal images AI 0 and AI 1 may be alternately displayed in the same region.
  • the omnifocal images AI 0 and AI 1 may be automatically switched at a predetermined cycle, or manually input to the user using the input unit 25. It is good also as making it switch with.
  • FIG. 9 is a schematic diagram illustrating a display example of an omnifocal image on the display device 30.
  • two omnifocal images AI 0 and AI 1 are displayed side by side. Thereafter, the operation of the microscope observation system 1 ends.
  • an arbitrary slice image in the Z stack image is set as a reference image, and another slice image is set in the plane of the reference image with respect to this reference image.
  • the omnifocal image is acquired by superimposing the Z stack image.
  • the subject S can be virtually viewed from a plurality of viewpoints. You can reproduce what you see.
  • the shift amount is set to zero and ⁇ .
  • the user can visually and intuitively grasp the position in the Z direction of the structure in the subject S, the anteroposterior relationship between the structures, the overlapping state of the structures, and the like. It becomes possible.
  • the first embodiment it is possible to significantly reduce the amount of calculation and the amount of data compared to the case where 3D volume data is generated and displayed based on the Z stack image.
  • the omnifocal image is generated by restoring the multifocal superimposed image using the multifocal superimposed PSF image generated from the PSF image.
  • each slice image is generated using the PSF image.
  • An omnifocal image may be generated by superimposing the image after restoring.
  • the omnifocal image generation method is not limited to this method, and a method of extracting and synthesizing a focused area from each slice image after the shift may be used.
  • the slice image is shifted only in the X direction in order to facilitate understanding.
  • the same processing can be performed in the Y direction.
  • an omnifocal image corresponding to the case where the virtual viewpoint with respect to the subject S is moved along the Y direction can be generated.
  • by shifting the slice image in two directions, the X direction and the Y direction it is possible to generate an omnifocal image corresponding to the case where the virtual viewpoint with respect to the subject S is moved in the horizontal plane.
  • one omnifocal image having the shift amount ⁇ using the slice image M 1 as the reference image M k is generated.
  • a plurality of appropriately selected images from the slice images M 1 to M 5 are used.
  • a plurality of omnifocal images with the shift amount ⁇ may be generated by sequentially setting the slice image as the reference image M k .
  • Modification 1 Next, a first modification of the first embodiment of the present invention will be described.
  • the configuration and operation of the microscope observation system according to Modification 1 are generally the same as those in Embodiment 1 (see FIGS. 1 and 3), and details of the processing for generating a plurality of multifocal superimposed images in Step S11 are implemented. Different from Form 1.
  • FIG. 10 is a flowchart showing details of the multi-focus superimposed image generation process in the first modification. Note that steps S110 to S112 shown in FIG. 10 are the same as those in the first embodiment (see FIG. 5).
  • FIG. 11 is a schematic diagram for explaining a method of setting the slice image shift amount ⁇ i in the first modification.
  • symbol i is a variable representing the number of times of shifting another slice image M j with respect to the reference image M k
  • the shift amount ⁇ i a predetermined value may be determined in advance, or an arbitrary value may be determined according to information input from the input unit 25 according to a user operation.
  • step S132 the image shift processing unit 231 shifts another slice image M j with respect to the reference image M k based on the shift amount ⁇ i determined in step S131.
  • FIG. 11B shows a state in which the slice images M 2 to M 5 in the Z stack image shown in FIG. 11A are shifted in the minus X direction by the shift amount ⁇ 1 .
  • the omnifocal image generation unit 232 generates a multifocal superimposed image SI i with the shift amount ⁇ i from the Z stack image after the shift processing of the slice image. That is, each pixel of the multifocal superimposed image SI i is obtained by averaging the pixel values of pixels corresponding to positions between the reference image M k and the slice image M j after the shift processing of the shift amount ⁇ i. The pixel value of is calculated. For (b) of FIG.
  • the image data of the multi-focus superimposed image SI i generated in this way is temporarily stored in the storage unit 24.
  • step S134 the control unit 23 determines whether or not the variable i has reached the maximum value n.
  • step S134: No the control unit 23 increments the variable i (step S135). Thereafter, the operation of the control unit 23 returns to step S131.
  • step S134 Yes
  • the operation of the control unit 23 returns to the main routine.
  • step S11 step S12 (see FIGS. 3 and 8) is similar to the first embodiment as a whole, in step S122 ⁇ S124 shown in FIG. 8, to produce a multi-focal superimposed image SI i
  • a multi-focus superimposed PSF image is generated for each multi-focus superimposed image SI i using the shift amount ⁇ i used at the time, and the multi-focus superimposed image SI i is restored using each of these multi-focus superimposed PSF images. Is done.
  • a plurality of omnifocal images having different shift amounts ⁇ i are acquired from one Z stack image.
  • the omnifocal images may be displayed side by side in the order of the shift amount ⁇ i in ascending order or descending order.
  • These omnifocal images may be sequentially switched and displayed in the same area. For example, a plurality of omnifocal images respectively acquired from a plurality of multifocal superimposed images SI i shown in (a) to (d) of FIG. 11 are shifted from zero shift amount ⁇ shift amount ⁇ 1 ⁇ shift amount ⁇ 2 ⁇ shift amount. Switching may be repeated in the order of ⁇ 3 ⁇ shift amount ⁇ 2 ⁇ shift amount ⁇ 1 ⁇ shift amount zero ⁇ .
  • a plurality of omnifocal images having different shift amounts ⁇ i with respect to the reference image M k are acquired and displayed. It becomes possible to grasp in more detail the degree of overlap and the front-rear relationship in the Z direction between the internal structures.
  • FIG. 12 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 2 of the present invention.
  • the microscope observation system 2 according to the second embodiment includes a microscope apparatus 10, an imaging apparatus 40 that acquires and processes an enlarged image generated by the microscope apparatus 10, and an imaging apparatus 40. And a display device 30 that displays the processed image and the like.
  • the configurations and operations of the microscope apparatus 10 and the display apparatus 30 are the same as those in the first embodiment (see FIGS. 1 and 2).
  • the imaging device 40 includes a control unit 41 instead of the control unit 23 shown in FIG.
  • the control unit 41 further includes a shift amount acquisition processing unit 411 with respect to the control unit 23.
  • the configuration and operation of each unit of the imaging apparatus 40 other than the control unit 41 and the operations of the image shift processing unit 231 and the omnifocal image generation unit 232 are the same as those in the first embodiment.
  • the shift amount acquisition processing unit 411 acquires the shift amount of each of the other slice images with respect to the reference image, which is used when generating the multifocus superimposed image from the Z stack image. This shift amount is acquired based on shift parameters stored in advance in the parameter storage unit 241.
  • the shift parameter includes the direction of the virtual viewpoint with respect to the subject S and the unit shift amount of the slice image set for each viewpoint.
  • FIG. 13 is a flowchart showing the operation of the microscope observation system 2.
  • Step S10 shown in FIG. 13 is the same as that in the first embodiment (see FIG. 3), but in the second embodiment, at least three slice images having different focal positions are obtained by performing imaging at least three times.
  • a Z stack image is acquired. In the following, as will be described later, processing for a Z stack image composed of five slice images will be described.
  • step S21 following step S10 the control unit 41 generates a plurality of multifocus superimposed images having different shift amounts of slice images.
  • FIG. 14 is a flowchart showing details of a process for generating a plurality of multi-focus superimposed images.
  • FIGS. 15 and 16 are schematic diagrams for explaining a process for generating a plurality of multi-focus superimposed images.
  • step S210 the shift amount acquisition processing unit 411 reads a Z stack image from the image acquisition unit 21.
  • the shift amount acquisition processing unit 411 sets an arbitrary slice image M j in the Z stack image as the reference image M k .
  • the reference image M k may be set as appropriate according to information input from the input unit 25 according to a user operation.
  • the slice image M 1 is set as the reference image M k .
  • step S ⁇ b> 212 the shift amount acquisition processing unit 411 acquires a shift parameter from the parameter storage unit 241.
  • the parameter ⁇ ⁇ 1, 0, +1 representing the viewpoint V ⁇ and the unit shift amount ⁇ are acquired as the shift parameters.
  • the parameter ⁇ zero, it means that the viewpoint V ⁇ is set right above the subject S.
  • the parameter ⁇ is a positive value, it means that the viewpoint V ⁇ is set in the + X direction with respect to the subject S.
  • the parameter ⁇ is a negative value, it means that the viewpoint V ⁇ is set in the ⁇ X direction directly above the subject S.
  • the shift amount acquisition processing unit 411 calculates the shift amount ⁇ ⁇ j of each slice image M j based on the shift parameter acquired in step S212.
  • This shift amount ⁇ ⁇ j is sequentially calculated for each viewpoint V ⁇ .
  • the shift amount ⁇ ⁇ j is given by the following equation (2) using the unit shift amount ⁇ (pixel).
  • ⁇ ⁇ j ⁇ ⁇ ⁇ ⁇ (j ⁇ k) ⁇ (2)
  • the image shift processing unit 231 shifts the slice image M j based on the shift amount ⁇ ⁇ j calculated in step S213.
  • the slice image M j is shifted in the + X direction
  • the sign of the shift amount ⁇ ⁇ j is negative
  • the slice image M j is shifted in the ⁇ X direction.
  • the shift amount ⁇ ⁇ j is zero
  • the slice image M j is not shifted.
  • FIG. 16A shows that the other slice images M 2 to M 5 are shifted by shift amounts ⁇ -12 , ⁇ -13 , ⁇ -14 , and ⁇ -15 with respect to the slice image M 1 that is the reference image. It shows the state that was made to.
  • step S216 the control unit 41 determines whether or not processing has been performed for all viewpoints based on the shift parameter acquired in step S212. If there is still a viewpoint that has not been processed (step S216: No), the shift amount acquisition processing unit 411 changes the parameter ⁇ (step S217), and steps S213 to S216 are performed based on the changed parameter ⁇ . Repeat the process.
  • the shift amounts ⁇ 02 to ⁇ 05 of the slice images M 2 to M 5 are all zero.
  • step S216: Yes the operation of the control unit 41 returns to the main routine.
  • step S12 following step S21 is generally the same as in the first embodiment, but in steps S122 to S124, the multifocal superimposed image SI ⁇ is generated.
  • a multi-focus superimposed PSF image is generated for each multi-focus superimposed image SI ⁇ using the shift amount ⁇ ⁇ j of each slice image M j used, and a multi-focus superimposed image is generated using each of these multi-focus superimposed PSF images.
  • SI ⁇ is restored.
  • a plurality of omnifocal images having different shift amounts ⁇ ⁇ j are acquired from one Z stack image.
  • the second embodiment of the present invention it is possible to reproduce a state in which the subject S is virtually observed from a plurality of directions by using a plurality of omnifocal images having different shift amounts. Therefore, the user can more intuitively grasp the position in the Z direction of the structure in the subject S, the degree of overlap between the structures, and the front-rear relationship.
  • ⁇ ⁇ j ⁇ (d j, k ⁇ tan ⁇ ⁇ ) / p (4)
  • the distance d 4,1 between the slice position F 1 and the slice position F 4 is shown.
  • Modification 2-2 of Embodiment 2 of the present invention will be described.
  • the configuration and operation of the microscope observation system according to the modified example 2-2 are generally the same as those in the second embodiment (see FIGS. 12 and 13).
  • FIGS. 17 and 18 are schematic diagrams for explaining the calculation processing of the shift amount ⁇ ⁇ j of the slice image in Modification 2-2.
  • the shift amount ⁇ ⁇ j of each slice image M j when generating the multifocal superimposed image SI ⁇ increases as the angle ⁇ of the virtual viewpoint V ⁇ increases.
  • the viewpoints V 1 , V 2 ,... are changed in one direction (rightward in FIG. 17) with respect to the direction directly above the subject S. You may change to both right and left with respect to the direction.
  • the shift amount of each slice image M j is determined according to the shift parameter stored in advance in the parameter storage unit 241.
  • the shift amount may be determined according to a user operation.
  • control unit 41 first generates a plurality of omnifocal images based on the shift parameters stored in advance in the parameter storage unit 241 and causes the display device 30 to display them. Then, an input field for allowing the user to input the viewpoint V ⁇ is displayed on the display device 30.
  • FIG. 19 is a schematic diagram illustrating an example of a screen displayed on the display device 30.
  • This screen m2 includes a omnifocal image display area m3 in which a plurality of omnifocal image is displayed by switching, and a perspective input field m4 for inputting a viewpoint V alpha to the user.
  • the view input field m4, and scale m5 indicating the angle ⁇ of the viewpoint V alpha is displayed.
  • the pointer operation using the input unit 25 for the scale m5 when the user desired angle theta alpha is selected, a signal representing the angle theta alpha is input to the control unit 41.
  • the control unit 41 generates an omnifocal image by calculating the shift amount ⁇ ⁇ j corresponding to the angle ⁇ ⁇ and causes the display device 30 to display it.
  • Modification 2-3 it is possible to reproduce the state in which the subject S is observed from the viewpoint desired by the user. Therefore, it is possible to adjust the position in the Z direction of the structure in the subject S, the degree of overlap between the structures, and the front-rear relationship so that the user can easily see.
  • FIG. 20 is a block diagram illustrating a configuration example of a microscope observation system according to Embodiment 3 of the present invention.
  • the microscope observation system 3 according to the third embodiment includes a microscope device 10, an imaging device 50 that acquires and processes an enlarged image generated by the microscope device 10, and an imaging device 50. And a display device 60 that displays the processed image and the like.
  • the configuration and operation of the microscope apparatus 10 are the same as those in the first embodiment (see FIG. 2).
  • the imaging device 50 includes a control unit 51 instead of the control unit 23 shown in FIG.
  • the control unit 51 further includes a shift amount acquisition processing unit 411 and an attention image determination processing unit 511 with respect to the control unit 23.
  • the operation of the shift amount acquisition processing unit 411 is the same as that of the second embodiment.
  • the attention image determination processing unit 511 determines, as the attention image, a slice image including an observation region input from the display device 60 described later via the input unit 25.
  • the display device 60 is configured by, for example, an LCD, an EL display, a CRT display, or the like, and an image display unit 61 that displays an image output from the output unit 26 and related information, and an image display unit according to an operation performed from the outside.
  • An observation area determination unit 62 that determines an area in the omnifocal image displayed on 61 as an observation area and inputs a signal representing the observation area to the control unit 51.
  • FIG. 21 is a flowchart showing the operation of the microscope observation system 3.
  • the operations in steps S10, S21, S12, and S13 are the same as those in the second embodiment.
  • FIG. 6 is a schematic diagram showing a state where 5 is shifted.
  • step S31 No
  • the operation of the microscope observation system 3 returns to step S13.
  • FIG. 23 is a schematic diagram illustrating an example of a method for selecting an observation region.
  • the observation region is selected by surrounding a desired region in the omnifocal image displayed on the image display unit 61 by a pointer operation using a mouse or the like.
  • step S ⁇ b> 33 the control unit 51 acquires the Z position information of the observation region based on the information indicating the observation region input from the observation region determination unit 62.
  • FIG. 24 is a flowchart showing details of the processing for acquiring the Z position information of the observation area.
  • the shift amount ⁇ ⁇ j of each slice image M j in the omnifocal image AI ⁇ is given by the following equation (6) as described in the second embodiment. Therefore, given the shift amount
  • ⁇ ⁇ j ⁇ ⁇ ⁇ ⁇ (j ⁇ k) ⁇ (6)
  • the attention image determination processing unit 511 outputs the slice position F j acquired in this way as the Z position information of the observation region. Thereafter, the operation of the control unit 51 returns to the main routine.
  • step S34 following step S33 the control unit 51 extracts and outputs a slice image M j including an observation region based on the Z position information output by the attention image determination processing unit 511.
  • the display device 60 displays the slice image M j including the observation region.
  • other (i.e., front and rear) of the slice locations are adjacent on the slice image M j may be displayed slice image.
  • the user can intuitively and easily grasp the position in the Z direction of the structures that appear to overlap each other on the plane and the front-rear relationship between the structures.
  • FIG. 25 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 4 of the present invention.
  • the microscope observation system 4 according to the fourth embodiment includes a microscope apparatus 10, an imaging apparatus 70 that acquires and processes an enlarged image generated by the microscope apparatus 10, and an imaging apparatus 70. And a display device 60 that displays the processed image and the like.
  • the configuration and operation of the microscope apparatus 10 are the same as those in the first embodiment (see FIG. 2).
  • the configuration and operation of the display device 60 are the same as those in the third embodiment (see FIG. 20).
  • the imaging device 70 includes a control unit 71 instead of the control unit 51 shown in FIG.
  • the control unit 71 includes an omnifocal image generation unit 711 instead of the omnifocal image generation unit 232 with respect to the control unit 51.
  • the configuration and operation of each unit of the imaging device 70 other than the control unit 71 and the configuration and operation of each unit of the control unit 71 other than the omnifocal image generation unit 711 are the same as those in the third embodiment.
  • the omnifocal image generation unit 711 includes a cutout range determination processing unit 712 that cuts out a range of the multifocal superimposed image used for generation of the omnifocal image, and the omnifocal image is generated from the range cut out by the cutout range determination processing unit 712. Generate.
  • FIG. 26 is a flowchart showing the operation of the microscope observation system 4. Steps S10 to S34 are the same as in the third embodiment (see FIG. 21).
  • FIG. 27 is a schematic diagram for explaining the operation of the microscope observation system 4. In the following description, the observation area determined in step S32 is, it is assumed that was found to contain the slice image M 3 (see step S33).
  • step S41 following step S34 the shift amount obtaining unit 411, sets the slice image M 3 including the observation area determined in step S32 to the new reference image.
  • the shift amount acquisition processing unit 411 acquires the shift amount of another slice image M j with respect to a new reference image when generating a multifocal superimposed image from the original Z stack image.
  • This shift amount determination method can be calculated using Equation (2), as in the second embodiment.
  • FIGS. 27A to 27D show cases where the shift amounts of other slice images M j with respect to the slice image M 3 as the reference image are set to ⁇ 1 , ⁇ 2 , ⁇ 3 , and ⁇ 4 , respectively. ing. Note that the shift amount between the slice images M j in each multi-focus superimposed image is the same.
  • the image shift processing unit 231 shifts another slice image M j with respect to the new reference image based on the shift amounts ⁇ 1 , ⁇ 2 , ⁇ 3 , and ⁇ 4 acquired in step S42.
  • the omnifocal image generation unit 711 regenerates a plurality of multifocal superimposed images SI 01 , SI 02 , SI 03 , SI 04 from the reference image after this shift processing and the other slice images M j .
  • the method for generating the multifocal superimposed image is the same as in the second embodiment.
  • the cutout range determination processing unit 712 determines the XY position of the observation region determined in step S32 for the multiple multifocal superimposed images SI 01 , SI 02 , SI 03 , SI 04 regenerated in step S43.
  • the cutout range to be cut out from each multi-focus superimposed image SI 01 , SI 02 , SI 03 , SI 04 is determined so as not to change.
  • the clipping ranges C 1 to C 4 shown in FIGS. 27A to 27D are set.
  • the cutout ranges C 1 to C 4 are set so that the X position of the slice image M 3 is constant.
  • the omnifocal image generation unit 711 cuts out each multi-focus superimposed image SI 01 , SI 02 , SI 03 , SI 04 in the cut-out range determined in step S44, and performs restoration processing on the cut-out range. By executing this, an omnifocal image is generated.
  • step S46 the imaging device 70 causes the display device 60 to display the plurality of omnifocal images generated in step S45. Thereafter, the operation of the microscope observation system 4 ends.
  • a plurality of omnifocal images with different virtual viewpoints can be displayed without changing the position of the observation region selected by the user in the omnifocal image. Therefore, the user can intuitively grasp the position of the observation region in the Z direction, the front-rear relationship with other structures, and the like without changing the line of sight with respect to the observation region selected by the user.
  • FIG. 28 is a schematic diagram showing a slice image shift method in a modification of the fourth embodiment, and shows three multi-focus superimposed images using the slice image M 1 as a reference image.
  • a shift amount between the same slice images (for example, a shift amount of the slice image M 2 with respect to the slice image M 1) between the multifocal superimposed images SI 11 , SI 12 , and SI 13 shown in FIGS. ) Increases in the order of the multi-focus superimposed images SI 11 , SI 12 , SI 13 ( ⁇ 11 ⁇ 21 ⁇ 31 ).
  • the closer the slice position on the slice image M 1 is in each multifocal superimposed image it has many shift amount between the slice images.
  • the shift amounts have a relationship of ⁇ 11 > ⁇ 12 > ⁇ 13 > ⁇ 14 in order from the closest to the slice image M 1 .
  • the shift amount is sequentially increased or sequentially increased with respect to the highest slice image M 1 or the lowest slice image M 5 so that the slice images M 1 to M 5 are arranged in one direction. Decreased.
  • the increase or decrease of the shift amount may be changed according to the positional relationship of the slice images.
  • FIG. 29 is a schematic diagram showing another method of shifting a slice image in a modification of the fourth embodiment, and shows two multi-focus superimposed images using the slice image M 3 as a reference image.
  • the shift amount is increased or decreased according to the slice position with the slice image M 3 as a boundary.
  • Embodiments 1 to 4 and the modifications described above are not limited as they are, and various inventions are formed by appropriately combining a plurality of constituent elements disclosed in the embodiments and modifications. be able to. For example, some components may be excluded from all the components shown in the embodiment. Or you may form combining the component shown in different embodiment suitably.
  • Microscope observation system 10 Microscope device 20, 40, 50, 70 Imaging device 21 Image acquisition unit 22 Imaging control unit 23, 41, 51, 71 Control unit 24 Storage unit 25 Input unit 26 Output unit 30, DESCRIPTION OF SYMBOLS 60 Display apparatus 61 Image display part 62 Observation area determination part 100 Arm 101 Trinocular tube unit 102 Lens tube 103 Eyepiece unit 104 Observation optical system 110 Epi-illumination unit 111 Epi-illumination light source 112 Epi-illumination optical system 120 Transmission illumination unit 121 Transmission Illumination light source 122 Transmission illumination optical system 130 Electric stage unit 131 Stage 132 Stage drive unit 133 Position detection unit 140, 141 Objective lens 142 Revolver 211 Imaging unit 212 Memory 231 Image shift processing unit 232, 711 All-focus image generation unit 241 Parameter Data storage unit 242 program storage unit 411 shift amount acquisition processing unit 511 attention image determination processing unit 712 clipping range determination processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

生体等の透明被写体の全焦点画像を観察する場合であっても、Ｚ方向における構造の位置や構造同士の前後関係をユーザが視覚的に把握することができる顕微鏡観察システム等を提供する。顕微鏡観察システム１は、顕微鏡装置１０が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得部２１と、複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理部２３１と、上記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた他のスライス画像とを、１のスライス画像に対する他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成部２３２と、複数の全焦点画像を表示する表示装置３０とを備える。

Description

顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
　本発明は、顕微鏡装置において取得された画像を介して被写体を観察する顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムに関する。
　生物学や医学等の分野においては、焦点深度が数十μｍレベルの生物顕微鏡を用いて細胞核や幹細胞等の厚みのある被写体を観察する際、観察光学系の光軸に沿った奥行き方向（Ｚ方向）に存在する注目部位を速やかに特定したいというユーザのニーズがある。このようなニーズに対し、観察光学系の焦点位置を光軸に沿ってずらしながら順次撮像を行うことにより焦点面が異なる複数の画像を取得し、これらの複数の画像をもとに、Ｚ方向の各位置に合焦された全焦点画像を生成する技術が知られている。このように取得された焦点面が異なる複数の画像をまとめて、Ｚスタック画像ともいう。
　全焦点画像を生成する方法としては、Ｚスタック画像を重畳して生成した多重焦点画像を、ボケ関数を用いて復元する方法や、焦点面が異なる複数の画像の各々から合焦領域を抽出して合成する方法等がある。以下、焦点面が異なる各画像をスライス画像ともいう。例えば特許文献１には、各スライス画像内における合焦度を算出し、この合焦度に基づいて合成対象とする候補領域を選択し、候補領域に対して合焦度に応じた重み付けを行って合成する技術が開示されている。
　このような全焦点画像によれば、ユーザは、２次元ＸＹ平面上において、被写体内の構造のＺ方向における位置を瞬時に把握することができる。
　また、全焦点画像に関連する技術として、例えば特許文献２には、Ｚスタック画像から生成した全焦点画像に対し、ユーザインタフェースを介してユーザに領域を選択させ、この領域に合焦しているスライス画像を表示する技術が開示されている。
特開２０１４－２１４８９号公報 特開２０１４－２１４９０号公報
　生体等の透明被写体は合焦している構造がＺ方向に複数存在することがあるため、全焦点画像からＺ方向における構造の位置を把握することは難しい。また、Ｚ方向において複数の構造が重なっている場合には、それらの構造同士の前後関係、即ちＺ方向における位置関係を把握することも困難である。
　このような問題に関し、上記特許文献１においては、全焦点画像に対して深度マップを生成することで、各構造のＺ位置を視覚的に再現している。しかしながら、Ｚ方向に重なった構造については複数の深度マップが示されるが、ユーザにとっては深度マップの位置関係が不明なため、構造同士の前後関係を視覚的且つ直感的に把握することは困難である。
　また、上記特許文献２においては、全焦点画像から選択された領域に対して合焦度が最も高いスライス画像が抽出されるため、Ｚ位置が異なる複数の構造が平面上で重なっている場合、必ずしもユーザが選択した領域が抽出されるとは限らない。
　本発明は上記に鑑みてなされたものであり、生体等の透明被写体の全焦点画像を観察する場合であっても、Ｚ方向における構造の位置や、構造同士の前後関係を、ユーザが視覚的且つ直感的に把握することができる顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡観察システムは、顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得部と、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理部と、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成部と、前記複数の全焦点画像を表示する表示部と、を備えることを特徴とする。
　上記顕微鏡観察システムは、外部からなされる操作に応じた情報を入力する入力部と、前記入力部から入力された情報に従って、前記複数の条件の各々における前記シフト量を算出するシフト量取得処理部と、をさらに備え、前記画像シフト処理部は、前記シフト量取得処理部が算出した前記シフト量に従って、前記他のスライス画像をシフトさせる、ことを特徴とする。
　上記顕微鏡観察システムは、外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、前記観察領域が選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域が選択された全焦点画像における前記観察領域の位置と、前記領域が抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記複数のスライス画像から前記観察領域が含まれるスライス画像を抽出する注目画像抽出処理部と、をさらに備えることを特徴とする。
　上記顕微鏡観察システムにおいて、前記全焦点画像生成部は、前記観察領域が選択された全焦点画像における前記観察領域の位置に基づき、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とに対し、前記複数の全焦点画像の各々を生成する際に用いる範囲を決定する切り出し範囲決定処理部をさらに備える、ことを特徴とする。
　本発明に係る顕微鏡観察方法は、顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得ステップと、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示する表示ステップと、を含むことを特徴とする。
　本発明に係る顕微鏡観察プログラムは、顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像に対し、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示する表示ステップと、をコンピュータに実行させることを特徴とする。
　本発明によれば、観察光学系の光軸に沿って焦点位置をずらしながら撮像を行うことにより取得した複数のスライス画像をもとに、１のスライス画像に対する他のスライス画像のシフト量が異なる複数の条件の下で複数の全焦点画像を生成して表示するので、仮想的に複数の視点から被写体を見た状態を再現することができる。従って、ユーザは、Ｚ方向における構造の位置や構造同士の前後関係を視覚的且つ直感的に把握することが可能となる。
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。 図２は、図１に示す顕微鏡装置の構成例を示す模式図である。 図３は、図１に示す顕微鏡観察システムの動作を示すフローチャートである。 図４は、Ｚスタック画像を取得する動作を説明するための模式図である。 図５は、複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。 図６は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。 図７は、スライス画像のシフト量の設定方法を説明するための模式図である。 図８は、複数の全焦点画像の生成処理の詳細を示すフローチャートである。 図９は、図１に示す表示装置に２つの全焦点画像を並べて表示した例を示す模式図である。 図１０は、本発明の実施の形態１の変形例１における多重焦点重畳画像の生成処理の詳細を示すフローチャートである。 図１１は、本発明の実施の形態１の変形例１におけるスライス画像のシフト量の設定方法を説明するための模式図である。 図１２は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。 図１３は、図１２に示す顕微鏡観察システムの動作を示すフローチャートである。 図１４は、複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。 図１５は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。 図１６は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。 図１７は、本発明の実施の形態２の変形例２－２におけるスライス画像のシフト量の算出処理を説明するための模式図である。 図１８は、本発明の実施の形態２の変形例２－２におけるスライス画像のシフト量の算出処理を説明するための模式図である。 図１９は、本発明の実施の形態２の変形例２－３において表示装置に表示される画面の例を示す模式図である。 図２０は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。 図２１は、図２０に示す顕微鏡観察システムの動作を示すフローチャートである。 図２２は、基準画像に対してシフトさせられたスライス画像を示す模式図である。 図２３は、観察領域の選択方法の一例を示す模式図である。 図２４は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。 図２５は、本発明の実施の形態４に係る顕微鏡観察システムの構成例を示すブロック図である。 図２６は、図２５に示す顕微鏡観察システムの動作を示すフローチャートである。 図２７は、図２５に示す顕微鏡観察システムの動作を説明するための模式図である。 図２８は、実施の形態４の変形例におけるスライス画像のシフト方法を示す模式図である。 図２９は、実施の形態４の変形例におけるスライス画像の別のシフト方法を示す模式図である。
　以下、本発明に係る顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡観察システム１は、被写体の拡大像を生成する顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置２０と、撮像装置２０が処理した画像を表示する表示装置３０とを備える。
　図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００上に三眼鏡筒ユニット１０１を介して支持された鏡筒１０２及び接眼レンズユニット１０３と、アーム１００に設けられた落射照明ユニット１１０及び透過照明ユニット１２０と、被写体Ｓが載置されるステージ１３１を含む電動ステージユニット１３０と、鏡筒１０２の一端側に三眼鏡筒ユニット１０１を介してステージ１３１と対向するように設けられ、被写体Ｓからの観察光を結像する対物レンズ１４０とを備える。この対物レンズ１４０と、三眼鏡筒ユニット１０１を介して接続された鏡筒１０２と、該鏡筒１０２の他端側に設けられた撮像部２１１（後述）とが、観察光学系（撮像光学系）１０４を構成する。
　三眼鏡筒ユニット１０１は、対物レンズ１４０から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１０３と、後述する撮像部２１１との方向に分岐する。
　落射照明ユニット１１０は、落射照明用光源１１１及び落射照明光学系１１２を備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１１２は、落射照明用光源１１１から出射した照明光を集光して、観察光学系１０４の光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
　透過照明ユニット１２０は、透過照明用光源１２１及び透過照明光学系１２２を備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１２２は、透過照明用光源１２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
　これらの落射照明ユニット１１０及び透過照明ユニット１２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置１０に、落射照明ユニット１１０と透過照明ユニット１２０とのいずれか一方のみを設けることとしても良い。
　電動ステージユニット１３０は、ステージ１３１と、該ステージ１３１を移動させるステージ駆動部１３２と、位置検出部１３３とを備える。ステージ駆動部１３２は、例えばモータによって構成され、後述する撮像制御部２２の制御の下でステージ１３１を移動させる移動手段である。ステージ１３１の被写体載置面１３１ａは、対物レンズ１４０の光軸と直交するように設けられている。以下においては、被写体載置面１３１ａをＸＹ平面とし、該ＸＹ平面の法線方向、即ち光軸と平行な方向をＺ方向とする。Ｚ方向においては、図の下方向、即ち対物レンズ１４０から離れる方向をプラス方向とする。
　ステージ１３１をＸＹ平面内で移動させることにより、対物レンズ１４０の観察視野を変化させることができる。また、ステージ１３１をＺ方向に移動させることにより、対物レンズ１４０の焦点に位置する被写体Ｓのスライスを光軸に沿って変化させることができる。
　なお、実施の形態１においては、電気的な制御によりステージ１３１を移動可能な構成としているが、調節ツマミ等を用いてステージ１３１をユーザが手動で移動させる構成としても良い。
　また、図２においては、対物レンズ１４０、鏡筒１０２、及び撮像部２１１を含む観察光学系１０４の位置を固定し、ステージ１３１側を移動させる構成としているが、ステージ１３１の位置を固定し、観察光学系１０４側を移動させても良い。或いは、ステージ１３１と観察光学系１０４との双方を互いに反対方向に移動させても良い。つまり、観察光学系１０４と被写体Ｓとが相対的に移動可能な構成であれば、どのような構成であっても構わない。
　位置検出部１３３は、例えばモータからなるステージ駆動部１３２の回転量を検出するエンコーダによって構成され、ステージ１３１の位置を検出して検出信号を出力する。なお、ステージ駆動部１３２及び位置検出部１３３の代わりに、後述する撮像制御部２２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。
　対物レンズ１４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４０、１４１）を保持可能なレボルバ１４２に取り付けられている。レボルバ１４２を回転させ、ステージ１３１と対向する対物レンズ１４０、１４１を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４０がステージ１３１と対向している状態を示している。
　再び図１を参照すると、撮像装置２０は、被写体Ｓを撮像することにより画像を取得する画像取得部２１と、該画像取得部２１の撮像動作を制御する撮像制御部２２と、当該撮像装置２０における各種動作を制御すると共に、画像取得部２１が取得した画像を処理する制御部２３と、画像取得部２１が取得した画像の画像データや制御プログラム等の各種情報を記憶する記憶部２４と、当該撮像装置２０に対する指示や情報を入力するための入力部２５と、記憶部２４に記憶された画像データに基づく画像やその他各種情報を外部機器に出力する出力部２６とを備える。
　画像取得部２１は、撮像部２１１及びメモリ２１２を備える。撮像部２１１は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子（イメージャ）２１１ａを備え、撮像素子２１１ａが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル（画素値）として輝度値Ｙを出力するモノクロ画像を撮像可能なカメラを用いて撮像部２１１を構成しても良い。
　図２に示すように、撮像部２１１は、光軸Ｌが撮像素子２１１ａの受光面の中心を通るように、鏡筒１０２の一端に設けられ、対物レンズ１４０～鏡筒１０２を介して受光面に入射した観察光を光電変換することにより、対物レンズ１４０の視野に入った像の画像データを生成する。
　メモリ２１２は、例えば更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置からなり、撮像部２１１が生成した画像データを一時的に記憶する。
　撮像制御部２２は、顕微鏡装置１０に制御信号を出力してステージ１３１を移動させることにより、対物レンズ１４０の視野に入る被写体Ｓの領域や焦点位置を変化させ、撮像部２１１に撮像を実行させることにより、複数の画像を順次取得する制御を行う。以下、ＸＹ平面における被写体Ｓの座標が同一で、焦点位置が異なる複数の画像の組を、Ｚスタック画像ともいう。また、Ｚスタック画像に含まれる各焦点位置の画像を、スライス画像ともいう。
　制御部２３は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２４に記憶されたプログラムを読み込むことにより、記憶部２４に記憶された各種パラメータや入力部２５から入力される情報等に基づき、撮像装置２０及び顕微鏡観察システム１全体の動作を統括的に制御する。また、制御部２３は、画像取得部２１から入力された画像データに所定の画像処理を施すことにより画像を生成し、さらに、生成した複数の画像を合成して全焦点画像を生成する処理を行う。
　詳細には、制御部２３は、Ｚスタック画像に含まれる複数のスライス画像に対し、画像面内における位置を相対的にシフトさせる画像シフト処理部２３１と、複数のスライス画像を合成して多重焦点重畳画像を生成すると共に、画像のボケを表す点拡がり関数（point　spread　function）を用いて多重焦点重畳画像を復元することにより、全焦点画像を生成する全焦点画像生成部２３２とを備える。
　記憶部２４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体と該記録媒体に対して情報を書き込むと共に該記録媒体に記録された情報を読み取る書込読取装置とによって構成される。記憶部２４は、制御部２３における演算に使用されるパラメータを記憶するパラメータ記憶部２４１と、各種プログラムを記憶するプログラム記憶部２４２とを備える。パラメータ記憶部２４１は、画像シフト処理部２３１においてスライス画像をシフトさせる際の焦点位置に応じたシフト量等のパラメータを記憶する。また、プログラム記憶部２４２は、当該撮像装置２０に所定の動作を実行させるための制御プログラムや、画像処理プログラム等を記憶する。
　入力部２５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対してなされる操作に応じた信号を制御部２３に入力する。
　出力部２６は、画像取得部２１により取得された画像データに基づく画像や、制御部２３において生成された全焦点画像や、その他各種情報を表示装置３０等の外部機器に出力し、所定の形式で表示させる外部インタフェースである。
　このような撮像装置２０は、例えば、パーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェースを介して汎用のデジタルカメラを組み合わせることにより構成することができる。
　表示装置３０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する。なお、実施の形態１においては、表示装置３０を撮像装置２０の外部に設けているが、撮像装置２０の内部に設けても良い。
　次に、顕微鏡観察システム１の動作について説明する。図３は、顕微鏡観察システム１の動作を示すフローチャートである。
　まず、ステップＳ１０において、画像取得部２１は、撮像制御部２２の制御の下で、顕微鏡装置１０のステージ１３１（図２参照）にセットされた被写体Ｓを撮像することにより、Ｚスタック画像を取得する。図４は、Ｚスタック画像を取得する動作を説明するための模式図であり、スライドガラスＳＧ上に載置された被写体Ｓを示している。
　図４に示すように、撮像を１回行うごとに対物レンズ１４０とステージ１３１との距離をΔｚずつ変化させ、対物レンズ１４０の焦点位置ＦをＺ方向に沿って移動させることにより、複数のスライス位置（Ｚ＝Ｆj）における被写体Ｓの画像を取得することができる。ここで、スライス位置Ｆjの添え字ｊは、被写体Ｓの表面から数えたスライス順を表し、図４においてはｊ＝１～５である。なお、図４は、焦点位置Ｆをスライス位置Ｆ1～Ｆ5に順次設定して５回撮像を行うことにより５枚のスライス画像を取得する場合を示しているが、スライス画像の取得枚数（添え字ｊの上限値）は任意に設定して良い。
　また、本実施の形態１においては、顕微鏡装置１０に設けられた撮像部２１１において撮像を行いながらリアルタイムにＺスタック画像を取得するが、サーバ等に格納されたＺスタック画像をネットワーク経由で取得しても良いし、記憶媒体を介してＺスタック画像を取得しても良い。これらの場合、画像取得部２１は、外部のネットワークとの間で情報の入出力を行うインタフェースや、記憶媒体に記憶された情報を読み取る読取装置等を備える。
　続くステップＳ１１において、制御部２３は、ステップＳ１０において取得したＺスタック画像から、スライス画像の重畳のさせ方が異なる複数の多重焦点重畳画像を生成する。具体的には、Ｚスタック画像内の一部のスライス画像を他の画像に対して所定の（ゼロ以外の）シフト量でシフトさせた多重焦点重畳画像と、スライス画像間のシフト量をゼロに設定した多重焦点重畳画像、即ち、いずれのスライス画像もシフトさせない多重焦点重畳画像とを生成する。
　図５は、ステップＳ１１における複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。また、図６は、複数の多重焦点重畳画像の生成処理を説明するための模式図であり、図４に示すスライス位置Ｆjにおけるスライス画像Ｍj（ｊ＝１～５）を側方から見た状態（ＸＺ面）を示している。以下においては、一例として、図６に示すスライス画像Ｍjに対する処理を説明する。スライス画像Ｍjの添え字ｊは、Ｚスタック画像におけるスタック順を示し、スライス順に対応している。また、各スライス画像Ｍjに示す網掛けは、スライス位置Ｆjに存在する構造が写った領域を示している。
　まず、ステップＳ１１０において、制御部２３は、画像取得部２１からＺスタック画像としてスライス画像Ｍ1～Ｍ5を読み込む。
　続くステップＳ１１１において、制御部２３は、シフト量ゼロの多重焦点重畳画像ＳＩ0を生成する。詳細には、全焦点画像生成部２３２が、スライス画像Ｍ1～Ｍ5の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩ0の各画素の画素値を算出する。例えば図６の（ａ）に示すように、各スライス画像Ｍ1～Ｍ5内の座標（ｘ0，ｙ0）の画素の画素値を加算することにより、多重焦点重畳画像ＳＩ0における座標（ｘ0，ｙ0）の画素の画素値が得られる。このように生成された多重焦点重畳画像ＳＩ0の画像データは、記憶部２４に一旦記憶される。
　続くステップＳ１１２において、画像シフト処理部２３１は、Ｚスタック画像のうちの任意のスライス画像Ｍjを基準画像Ｍk（ｋは１～５のいずれか）として設定する。基準画像Ｍkとして、具体的には、スライス位置が最も浅い（Ｚ＝Ｆ1）スライス画像Ｍ1や、スライス位置が最も深い（Ｚ＝Ｆ5）スライス画像Ｍ5や、スライス位置が中央付近（Ｚ＝Ｆ3）であるスライス画像Ｍ3など、任意のスライス画像Ｍjが予め設定されている。或いは、ユーザ操作に応じて入力部２５から入力される情報に従って、基準画像Ｍkを適宜設定しても良い。実施の形態１においては、一例としてスライス画像Ｍ1が基準画像Ｍkとして設定されるものとする。
　続くステップＳ１１３において、画像シフト処理部２３１は、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせるシフト量σ（ピクセル）を設定する。シフト量σとしては、予めパラメータ記憶部２４１に記憶されている値を読み出して設定しても良いし、入力部２５から入力された情報（ユーザ指示情報）に従って任意の値を設定することとしても良い。
　図７は、スライス画像Ｍjのシフト量σの設定方法を説明するための模式図である。シフト量σとして任意の値を設定する場合、一例として、ユーザが被写体Ｓを観察する際の仮想的な視点Ｖの方向（被写体Ｓの真上の方向とのなす角度θ）を入力させる。この場合、シフト量σは、基準画像Ｍkのスライス位置Ｆkに対する他のスライス画像Ｍjのスライス位置Ｆiとの距離ｚと、角度θと、撮像部２１１が備える撮像素子の画素ピッチｐ（μｍ／ピクセル）とを用いて、次式（１）により与えられる。
　　　σ＝（ｚ・ｔａｎθ）／ｐ　…（１）
なお、図７においては、スライス位置Ｆ1とスライス位置Ｆ5との距離ｚを示している。
　続くステップＳ１１４において、画像シフト処理部２３１は、ステップＳ１１３において決定したシフト量σに基づいてスライス画像をシフトさせる。図６の（ｂ）は、基準画像に設定されたスライス画像Ｍ1に対して他のスライス画像Ｍ2～Ｍ5をシフト量σだけマイナスＸ方向にシフトさせた状態を示している。
　続くステップＳ１１５において、全焦点画像生成部２３２は、スライス画像のシフト処理後のＺスタック画像から、シフト量σの多重焦点重畳画像ＳＩ1を生成する。即ち、基準画像Ｍkとシフト処理後のスライス画像Ｍjとの間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩ1の各画素の画素値を算出する。具体的には、図６の（ｂ）の場合、基準画像であるスライス画像Ｍ1内の座標（ｘ0，ｙ0）の画素の画素値と、各スライス画像Ｍ2～Ｍ5内の座標（ｘ0＋σ，ｙ0）の画素の画素値とを加算平均することにより、多重焦点重畳画像ＳＩ1における座標（ｘ0，ｙ0）の画素の画素値が得られる。このようにして生成された多重焦点重畳画像ＳＩ1の画像データは、記憶部２４に一旦記憶される。その後、制御部２３の動作はメインルーチンに戻る。
　ステップＳ１１に続くステップＳ１２において、全焦点画像生成部２３２は、ステップＳ１１において生成された複数の多重焦点重畳画像Ｓ0、ＳＩ1から、複数の全焦点画像を生成する。
　図８は、ステップＳ１２における複数の全焦点画像の生成処理の詳細を示すフローチャートである。まず、ステップＳ１２０において、全焦点画像生成部２３２は、各スライス画像Ｍjにおける画像ボケを表す点拡がり関数（point　spread　function：ＰＳＦ）情報を取得し、このＰＳＦ情報に基づくＰＳＦ画像を生成する。点拡がり関数は、顕微鏡装置１０における対物レンズ１４０の倍率等の撮像条件やスライス位置Ｆjと関連づけられて、予めパラメータ記憶部２４１に記憶されている。全焦点画像生成部２３２は、対物レンズ１４０の倍率等の撮像条件に基づき、スライス位置Ｆjに応じた点拡がり関数をパラメータ記憶部２４１から読み出し、点拡がり関数をもとに、スライス画像Ｍj内の各画素位置に対応する画素値を算出することで、ＰＳＦ画像を生成する。
　続くステップＳ１２１において、全焦点画像生成部２３２は、多重焦点重畳画像Ｓ0に対応するシフト量がゼロの多重焦点重畳ＰＳＦ画像ＰＩ0を生成する。詳細には、ステップＳ１２１において生成した複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ0の各画素の画素値を算出する。
　続くステップＳ１２２において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ1を生成する際に使用されたシフト量σを取得し、このシフト量σに基づいてＰＳＦ画像をシフトさせる。即ち、多重焦点重畳画像ＳＩ1を生成する際と同様に、基準画像Ｍkに対応するＰＳＦ画像に対し、他のスライス画像Ｍjに対応するＰＳＦ画像をシフト量σだけシフトさせる。
　続くステップＳ１２３において、全焦点画像生成部２３２は、ステップＳ１２２におけるシフト処理後の複数のＰＳＦ画像を用いて、シフト量σの多重焦点重畳ＰＳＦ画像ＰＩ1を生成する。詳細には、基準画像Ｍkに対応するＰＳＦ画像と、他のスライス画像Ｍjに対応するシフト処理後のＰＳＦ画像との間で、位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ1の各画素の画素値を算出する。
　ステップＳ１２４において、全焦点画像生成部２３２は、多重焦点重畳ＰＳＦ画像ＰＩ0、ＰＩ1を用いて、ステップＳ１１において生成した多重焦点重畳画像ＳＩ0、ＳＩ1をそれぞれ復元する。即ち、シフト量がゼロの多重焦点重畳ＰＳＦ画像ＰＩ0を用いて多重焦点重畳画像ＳＩ0を復元することにより全焦点画像ＡＩ0を生成すると共に、シフト量σの多重焦点重畳ＰＳＦ画像ＰＩiを用いて多重焦点重畳画像ＳＩiを復元することにより全焦点画像ＡＩiを生成する。その後、制御部２３の動作はメインルーチンに戻る。
　ステップＳ１２に続くステップＳ１３において、撮像装置２０は、ステップＳ１２において生成した複数の全焦点画像ＡＩ0、ＡＩ1の画像データを表示装置３０に出力し、これらの全焦点画像ＡＩ0、ＡＩ1を表示させる。全焦点画像ＡＩ0、ＡＩ1の表示方法は特に限定されない。例えば、全焦点画像ＡＩ0、ＡＩ1を並べて表示しても良いし、同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示しても良い。同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示する場合には、所定の周期で全焦点画像ＡＩ0、ＡＩ1を自動で切り替えても良いし、入力部２５を用いてユーザに手動で切り替えさせることとしても良い。
　図９は、表示装置３０における全焦点画像の表示例を示す模式図である。図９に示す画面ｍ１には、２つの全焦点画像ＡＩ0、ＡＩ1が並べて表示されている。その後、顕微鏡観察システム１の動作は終了する。
　以上説明したように、本発明の実施の形態１においては、Ｚスタック画像のうちの任意のスライス画像を基準画像に設定し、この基準画像に対して他のスライス画像を当該基準画像の面内でシフトさせた上で、Ｚスタック画像を重畳することにより全焦点画像を取得する。この際、１組のＺスタック画像から、基準画像に対する他のスライス画像の相対的なシフト量が異なる複数の全焦点画像を生成して表示することにより、仮想的に複数の視点から被写体Ｓを見た状態を再現することができる。具体的には、上記実施の形態１においては、シフト量をゼロ及びσとしている。従って、ユーザは、これらの全焦点画像を参照することにより、被写体Ｓ内の構造のＺ方向における位置や構造同士の前後関係、構造の重なり具合等を、視覚的且つ直感的に把握することが可能となる。
　また、上記実施の形態１によれば、Ｚスタック画像に基づいて３Ｄボリュームデータを生成して表示する場合と比較して、演算量やデータ量を大幅に抑制することが可能となる。
　なお、上記実施の形態１においては、ＰＳＦ画像から生成した多重焦点重畳ＰＳＦ画像を用いて多重焦点重畳画像を復元することにより全焦点画像を生成したが、例えば、ＰＳＦ画像を用いて各スライス画像を復元した後で重畳することにより、全焦点画像を生成しても良い。また、全焦点画像生成方法はこの方法に限定されず、シフト後の各スライス画像から合焦領域を抽出して合成する方法を用いても良い。
　また、上記実施の形態１においては、理解を促進するため、スライス画像をＸ方向においてのみシフトさせる場合を説明したが、Ｙ方向についても同様の処理を行うことができる。この場合、被写体Ｓに対する仮想的な視点をＹ方向に沿って移動させた場合に相当する全焦点画像を生成することができる。また、スライス画像をＸ方向及びＹ方向の２方向にシフトさせることにより、被写体Ｓに対する仮想的な視点を水平面内において移動させた場合に相当する全焦点画像を生成することも可能である。
　また、上記実施の形態１においては、スライス画像Ｍ1を基準画像Ｍkとするシフト量σの全焦点画像を１つ生成したが、スライス画像Ｍ1～Ｍ5のうちから適宜選択した複数のスライス画像を順次基準画像Ｍkに設定することにより、シフト量σの全焦点画像を複数生成しても良い。
（変形例１）
　次に、本発明の実施の形態１の変形例１について説明する。変形例１に係る顕微鏡観察システムの構成及び動作は、全体として実施の形態１と同様であり（図１、図３参照）、ステップＳ１１における複数の多重焦点重畳画像の生成処理の詳細が実施の形態１と異なる。
　図１０は、変形例１における多重焦点重畳画像の生成処理の詳細を示すフローチャートである。なお、図１０に示すステップＳ１１０～Ｓ１１２は、実施の形態１と同様である（図５参照）。
　ステップＳ１１２に続くステップＳ１３１において、画像シフト処理部２３１は、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせるシフト量σi（ｉ＝１、２、…、ｎ）を設定する。図１１は、変形例１におけるスライス画像のシフト量σiの設定方法を説明するための模式図である。ここで、符号ｉは、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせる回数を表す変数であり、初期値としてｉ＝１が設定され、最大値としてｉ＝ｎが設定されている。シフト量σiとしては、所定の値を予め決定しておいても良いし、ユーザ操作に応じて入力部２５から入力される情報に従って任意の値を決定することとしても良い。
　続くステップＳ１３２において、画像シフト処理部２３１は、ステップＳ１３１において決定したシフト量σiに基づき、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせる。図１１の（ｂ）は、図１１の（ａ）に示すＺスタック画像のうち、スライス画像Ｍ2～Ｍ5をシフト量σ1だけマイナスＸ方向にシフトさせた状態を示している。
　続くステップＳ１３３において、全焦点画像生成部２３２は、スライス画像のシフト処理後のＺスタック画像から、シフト量σiの多重焦点重畳画像ＳＩiを生成する。即ち、基準画像Ｍkと、シフト量σiのシフト処理後のスライス画像Ｍjとの間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩiの各画素の画素値を算出する。図１１の（ｂ）の場合、基準画像であるスライス画像Ｍ1内の座標（ｘ0，ｙ0）における画素の画素値と、スライス画像Ｍ2～Ｍ5内の座標（ｘ0＋σ1，ｙ0）における画素の画素値とを加算平均することにより、多重焦点重畳画像ＳＩi=1における座標（ｘ0，ｙ0）の画素の画素値が得られる。このようにして生成された多重焦点重畳画像ＳＩiの画像データは、記憶部２４に一旦記憶される。
　続くステップＳ１３４において、制御部２３は、変数ｉが最大値ｎに至ったか否かを判定する。変数ｉが最大値ｎに至っていない場合（ステップＳ１３４：Ｎｏ）、制御部２３は、変数ｉをインクリメントする（ステップＳ１３５）。その後、制御部２３の動作はステップＳ１３１に戻る。このようにステップＳ１３１～Ｓ１３３を繰り返すことにより、基準画像Ｍkに対するシフト量σiが異なる複数の多重焦点重畳画像ＳＩiが生成される。図１１の（ｃ）は、基準画像であるスライス画像Ｍ1に対して他のスライス画像Ｍ2～Ｍ5をシフト量σ2だけシフトさせた場合の多重焦点重畳画像ＳＩi=2を示し、図１１の（ｄ）は、スライス画像Ｍ1に対して他のスライス画像Ｍ2～Ｍ5をシフト量σ3だけシフトさせた場合の多重焦点重畳画像ＳＩi=3を示す。
　一方、変数ｉが最大値ｎに至った場合（ステップＳ１３４：Ｙｅｓ）、制御部２３の動作はメインルーチンに戻る。
　ステップＳ１１に続くステップＳ１２（図３、図８参照）の処理は、全体として実施の形態１と同様であるが、図８に示すステップＳ１２２～Ｓ１２４においては、多重焦点重畳画像ＳＩiを生成した際に用いられてシフト量σiを用いて、多重焦点重畳画像ＳＩiごとに多重焦点重畳ＰＳＦ画像が生成され、これらの多重焦点重畳ＰＳＦ画像をそれぞれ用いて、多重焦点重畳画像ＳＩiが復元される。その結果、１つのＺスタック画像から、シフト量σiが異なる複数の全焦点画像が取得される。
　また、図３のステップＳ１３において、これらの全焦点画像を表示装置３０に表示する際には、シフト量σiの大きさ順（昇順又は降順）に全焦点画像を並べて表示しても良いし、同じ領域にこれらの全焦点画像を順次切り替えて表示しても良い。例えば、図１１の（ａ）～（ｄ）に示す複数の多重焦点重畳画像ＳＩiからそれぞれ取得された複数の全焦点画像を、シフト量ゼロ→シフト量σ1→シフト量σ2→シフト量σ3→シフト量σ2→シフト量σ1→シフト量ゼロ→…の順に繰り返し切り替えても良い。
　以上説明したように、本発明の実施の形態１の変形例１によれば、基準画像Ｍkに対するシフト量σiが異なる複数の全焦点画像を取得して表示するので、ユーザは、被写体Ｓ内の構造同士のＺ方向における重なり具合や前後関係をさらに詳細に把握することが可能となる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図１２は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。図１２に示すように、実施の形態２に係る顕微鏡観察システム２は、顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置４０と、撮像装置４０が処理した画像等を表示する表示装置３０とを備える。このうち、顕微鏡装置１０及び表示装置３０の構成及び動作は、実施の形態１と同様である（図１及び図２参照）。
　撮像装置４０は、図１に示す制御部２３の代わりに制御部４１を備える。制御部４１は、制御部２３に対してシフト量取得処理部４１１をさらに有する。制御部４１以外の撮像装置４０の各部の構成及び動作、並びに、画像シフト処理部２３１及び全焦点画像生成部２３２の動作は、実施の形態１と同様である。
　シフト量取得処理部４１１は、Ｚスタック画像から多重焦点重畳画像を生成する際に用いられる、基準画像に対する他のスライス画像の各々のシフト量を取得する。このシフト量は、パラメータ記憶部２４１に予め記憶されているシフトパラメータに基づいて取得される。シフトパラメータは、被写体Ｓに対する仮想的な視点の方向や、視点ごとに設定されるスライス画像の単位シフト量を含んでいる。
　次に、顕微鏡観察システム２の動作について説明する。図１３は、顕微鏡観察システム２の動作を示すフローチャートである。図１３に示すステップＳ１０は実施の形態１と同様であるが（図３参照）、本実施の形態２においては、少なくとも３回撮像を行うことにより、焦点位置が異なる少なくとも３枚のスライス画像からなるＺスタック画像を取得する。以下においては、後述するように、５枚のスライス画像からなるＺスタック画像に対する処理を説明する。
　ステップＳ１０に続くステップＳ２１において、制御部４１は、スライス画像のシフト量が互いに異なる複数の多重焦点重畳画像を生成する。
　図１４は、複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。また、図１５及び図１６は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。
　まず、ステップＳ２１０において、シフト量取得処理部４１１は、画像取得部２１からＺスタック画像を読み込む。
　続くステップＳ２１１において、シフト量取得処理部４１１は、Ｚスタック画像のうちの任意のスライス画像Ｍjを基準画像Ｍkとして設定する。基準画像Ｍkとして、具体的には、スライス位置が最も浅い（Ｚ＝Ｆ1）スライス画像Ｍ1や、スライス位置が最も深い（Ｚ＝Ｆ5）スライス画像Ｍ5や、スライス位置が中央付近（Ｚ＝Ｆ3）であるスライス画像Ｍ3など、任意のスライス画像Ｍjが予め設定されている。或いは、ユーザ操作に応じて入力部２５から入力される情報に従って、基準画像Ｍkを適宜設定しても良い。実施の形態２においては、一例としてスライス画像Ｍ1が基準画像Ｍkとして設定されるものとする。
　続くステップＳ２１２において、シフト量取得処理部４１１は、パラメータ記憶部２４１からシフトパラメータを取得する。実施の形態２においては、仮想的に、視点Ｖα＝Ｖ-1、Ｖ0、Ｖ+1の３方向から被写体Ｓをそれぞれ観察した場合の全焦点画像を最終的に取得するものとする。この場合、シフトパラメータとして、視点Ｖαを表すパラメータα＝－１、０、＋１と、単位シフト量δとが取得される。ここで、パラメータαがゼロである場合、被写体Ｓの真上に視点Ｖαが設定されることを意味する。パラメータαが正の値である場合、被写体Ｓの真上に対して＋Ｘ方向に視点Ｖαが設定されることを意味する。反対に、パラメータαが負の値である場合、被写体Ｓの真上に対して－Ｘ方向に視点Ｖαが設定されることを意味する。
　続くステップＳ２１３において、シフト量取得処理部４１１は、ステップＳ２１２において取得したシフトパラメータに基づいて各スライス画像Ｍjのシフト量σαjを算出する。このシフト量σαjは、視点Ｖαごとに順次算出される。以下においては、α＝－１、０、＋１の順にシフト量σαjが算出されるものとするが、算出順はこれに限定されない。また、スライス画像Ｍjのスライス位置を表す符号ｊは、図１５においてｊ＝１、２、３、４、５である。
　シフト量σαjは、単位シフト量δ（ピクセル）を用いて、次式（２）によって与えられる。
　σαj＝－α×｛δ×（ｊ－ｋ）｝　…（２）
　具体的には、基準画像がスライス画像Ｍ1（ｋ＝１）、視点Ｖα＝Ｖ-1（α＝－１）である場合、単位シフト量δをδ＝１（ピクセル）とすると、各スライス画像Ｍjのシフト量σ-11～σ-15は次式（３－１）～（３－５）によって与えられる。
　σ-11＝－（－１）×｛１×（１－１）｝＝０（ピクセル）　…（３－１）
　σ-12＝－（－１）×｛１×（２－１）｝＝＋１（ピクセル）…（３－２）
　σ-13＝－（－１）×｛１×（３－１）｝＝＋２（ピクセル）…（３－３）
　σ-14＝－（－１）×｛１×（４－１）｝＝＋３（ピクセル）…（３－４）
　σ-15＝－（－１）×｛１×（５－１）｝＝＋４（ピクセル）…（３－５）
　続くステップＳ２１４において、画像シフト処理部２３１は、ステップＳ２１３において算出したシフト量σαjに基づいてスライス画像Ｍjをシフトさせる。ここで、シフト量σαjの符号が正である場合、スライス画像Ｍjは＋Ｘ方向にシフトされ、シフト量σαjの符号が負である場合、スライス画像Ｍjは－Ｘ方向にシフトされる。また、シフト量σαjがゼロである場合、スライス画像Ｍjはシフトされない。図１６の（ａ）は、基準画像であるスライス画像Ｍ1に対して他のスライス画像Ｍ2～Ｍ5を、シフト量σ-12、σ-13、σ-14、σ-15だけそれぞれシフトさせた状態を示している。
　続くステップＳ２１５において、全焦点画像生成部２３２は、スライス画像Ｍjのシフト処理後のＺスタック画像から、多重焦点重畳画像ＳＩαを生成する。即ち、基準画像Ｍkと、シフト処理後のスライス画像Ｍjとの間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩα（図１６の（ａ）の場合、ＳＩα=-1）の各画素の画素値を算出する。
　続くステップＳ２１６において、制御部４１は、ステップＳ２１２において取得されたシフトパラメータに基づく全ての視点について処理がなされたか否かを判定する。未だ処理がなされていない視点が残っている場合（ステップＳ２１６：Ｎｏ）、シフト量取得処理部４１１はパラメータαを変更し（ステップＳ２１７）、変更後のパラメータαをもとに、ステップＳ２１３～Ｓ２１６の処理を繰り返す。
　図１６の（ｂ）は、視点Ｖα＝Ｖ0（α＝０）の場合に生成される多重焦点重畳画像ＳＩα=0を示す模式図である。α＝０の場合、スライス画像Ｍ2～Ｍ5のシフト量σ02～σ05は全てゼロになる。
　図１６の（ｃ）は、視点Ｖα＝Ｖ+1の場合に生成される多重焦点重畳画像ＳＩα=+1を示す模式図である。α＝＋１の場合、シフト量σ+12、σ+13、σ+14、σ+15は負の値となるため、スライス画像Ｍ2～Ｍ5は－Ｘ方向にシフトさせられる。
　一方、全ての視点について処理がなされた場合（ステップＳ２１６：Ｙｅｓ）、制御部４１の動作はメインルーチンに戻る。
　ステップＳ２１に続くステップＳ１２の処理（図１３、図８参照）は、全体として実施の形態１と同様であるが、このうちステップＳ１２２～Ｓ１２４においては、多重焦点重畳画像ＳＩαを生成した際に用いられた各スライス画像Ｍjのシフト量σαjを用いて、多重焦点重畳画像ＳＩαごとに多重焦点重畳ＰＳＦ画像が生成され、これらの多重焦点重畳ＰＳＦ画像をそれぞれ用いて、多重焦点重畳画像ＳＩαが復元される。その結果、１つのＺスタック画像から、シフト量σαjが異なる複数の全焦点画像が取得される。
　また、ステップＳ１３において、これらの全焦点画像を表示装置３０に表示する際には、視点Ｖαの異なる全焦点画像を、α＝－１、０、＋１の順に並べて表示しても良いし、同じ領域にこれらの全焦点画像を順次切り替えて表示しても良い。後者の場合、全焦点画像を、例えばα＝－１、０、＋１、０、－１、…の順に繰り返し切り替えることにより、ユーザは、被写体Ｓに対する視点を左右に順次ずらしている感覚で全焦点画像を観察することができる。
　以上説明したように、本発明の実施の形態２によれば、シフト量が異なる複数の全焦点画像により、仮想的に複数の方向から被写体Ｓを観察している状態を再現することができる。従って、ユーザは、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係をさらに直感的に把握することが可能となる。
（変形例２－１）
　次に、本発明の実施の形態２の変形例２－１について説明する。上記実施の形態２においては、単位シフト量δを用いて、視点Ｖαごとに各スライス画像Ｍjのシフト量σαjを算出したが、各視点Ｖαの方向を表すθ（図１５においてはθ＝－θ0、０、＋θ0）を用いてシフト量σαjを算出しても良い。
　この場合、視点Ｖαごとに設定されるスライス画像Ｍjのシフト量σαjは、基準画像Ｍkのスライス位置Ｆkとスライス画像Ｍjのスライス位置Ｆjとの距離ｄj,k＝Δｚ×（ｊ－ｋ）と、角度θαと、撮像部２１１が備える撮像素子の画素ピッチｐ（μｍ／ピクセル）とを用いて、次式（４）により与えられる。
　　　σαj＝－（ｄj,k・ｔａｎθα）／ｐ　…（４）
なお、図１５においては、スライス位置Ｆ1とスライス位置Ｆ4との距離ｄ4,1を示している。
（変形例２－２）
　次に、本発明の実施の形態２の変形例２－２について説明する。変形例２－２に係る顕微鏡観察システムの構成及び動作は、全体として実施の形態２と同様であり（図１２及び図１３参照）、ステップＳ２１の複数の多重焦点重畳画像の生成処理のうち、図１４に示すステップＳ２１３においてシフト量σαjの算出処理を実行する際に、さらに視点Ｖαを増やす場合について説明する。図１７及び図１８は、変形例２－２におけるスライス画像のシフト量σαjの算出処理を説明するための模式図である。
　変形例２－２においては、図１７に示すように、仮想的な視点Ｖα（α＝１、２、…）を、被写体Ｓの真上の方向θα＝０に対して一方向に、複数の角度（θα＝θ1、θ2、…）をなすように設定する。この場合においても、シフト量σαjは、上記実施の形態２と同様に、式（２）によって与えられる。
　σαj＝－α×｛δ×（ｊ－ｋ）｝　…（２）
　つまり、多重焦点重畳画像ＳＩαを生成する際の各スライス画像Ｍjのシフト量σαjは、仮想的な視点Ｖαの角度θが大きくなるほど増加する。具体的には、図１８の（ａ）～（ｄ）に示すように、スライス位置（スタック順ｊ）が隣り合うスライス画像Ｍj間のシフト量は、多重焦点重畳画像ＳＩα=1ではδ、多重焦点重畳画像ＳＩα=2では２δ、多重焦点重畳画像ＳＩα=3では３δ、多重焦点重畳画像ＳＩα=4では４δとなっている。
　このように、複数の多重焦点重畳画像ＳＩαの間で、スライス位置（スタック順ｊ）が隣り合うスライス画像間のシフト量を変化させることにより、仮想的に角度が異なる複数の方向から被写体Ｓを観察した状態を、よりリアルに再現することができる。従って、ユーザは、より広い範囲において、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を直感的に把握することが可能となる。
　なお、変形例２－２においては、視点Ｖ1、Ｖ2、…を被写体Ｓの真上の方向に対して１方向（図１７においては右方向）に変化させたが、被写体Ｓの真上の方向に対して左右両方にそれぞれ変化させても良い。
　また、変形例２－２においても、視点Ｖαの方向の角度θαを用いて、上述した式（４）によりシフト量σαjを算出しても良い。
（変形例２－３）
　次に、上記実施の形態２の変形例２－３について説明する。上記実施の形態２においては、パラメータ記憶部２４１に予め記憶されているシフトパラメータに従って、各スライス画像Ｍjのシフト量を決定したが、このシフト量をユーザ操作に従って決定しても良い。
　この場合、制御部４１はまず、パラメータ記憶部２４１に予め記憶されているシフトパラメータに基づいて複数の全焦点画像を生成し、表示装置３０に表示させる。そして、この表示装置３０に、ユーザに視点Ｖαを入力させるための入力欄を表示する。
　図１９は、表示装置３０に表示される画面の例を示す模式図である。この画面ｍ２は、複数の全焦点画像が切り替えて表示される全焦点画像表示領域ｍ３と、ユーザに視点Ｖαを入力させるための視点入力欄ｍ４とを含んでいる。視点入力欄ｍ４には、視点Ｖαの角度θを示すスケールｍ５とが表示されている。このスケールｍ５に対する入力部２５を用いたポインタ操作により、ユーザ所望の角度θαが選択されると、当該角度θαを表す信号が制御部４１に入力される。これに応じて、制御部４１は、角度θαに応じたシフト量σαjを算出することにより全焦点画像を生成し、表示装置３０に表示させる。
　変形例２－３によれば、ユーザ所望の視点から被写体Ｓを観察した状態を再現することができる。従って、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を、ユーザ自身が見やすいように調節することが可能となる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図２０は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。図２０に示すように、実施の形態３に係る顕微鏡観察システム３は、顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置５０と、撮像装置５０が処理した画像等を表示する表示装置６０とを備える。このうち、顕微鏡装置１０の構成及び動作は、実施の形態１と同様である（図２参照）。
　撮像装置５０は、図１に示す制御部２３の代わりに制御部５１を備える。制御部５１は、制御部２３に対して、シフト量取得処理部４１１及び注目画像決定処理部５１１をさらに備える。このうち、シフト量取得処理部４１１の動作は、実施の形態２と同様である。
　注目画像決定処理部５１１は、後述する表示装置６０から入力部２５を介して入力される観察領域を含むスライス画像を注目画像として決定する。
　表示装置６０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する画像表示部６１と、外部からなされる操作に応じて、画像表示部６１に表示される全焦点画像内の領域を観察領域として決定し、該観察領域を表す信号を制御部５１に入力する観察領域決定部６２とを備える。
　次に、顕微鏡観察システム３の動作を説明する。図２１は、顕微鏡観察システム３の動作を示すフローチャートである。なお、ステップＳ１０、Ｓ２１、Ｓ１２、Ｓ１３における動作は実施の形態２と同様である。図２２は、ステップＳ２１において多重焦点重畳画像ＳＩα=1、ＳＩα=2、ＳＩα=3、ＳＩα=4を生成する際に、スライス画像Ｍ1を基準画像としてスライス画像Ｍ2～Ｍ5をシフトさせた状態を示す模式図である。これらの画像Ｍ1～Ｍ5を重畳することにより多重焦点重畳画像を生成し、さらに、ＰＳＦ画像を用いて復元することにより、複数の全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4が生成される。本実施の形態３においては、このようにして生成された全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4が画像表示部６１に順次切り替えて表示されるものとする。
　ステップＳ１３に続くステップＳ３１において、観察領域決定部６２は、画像表示部６１に表示された全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4のいずれかに対して任意の領域を選択するユーザ操作がなされたか否かを判定する。
　ユーザ操作がなされない場合（ステップＳ３１：Ｎｏ）、顕微鏡観察システム３の動作はステップＳ１３に戻る。
　一方、ユーザ操作がなされた場合（ステップＳ３１：Ｙｅｓ）、観察領域決定部６２は、ユーザ操作により選択された領域を観察領域として決定し、該観察領域を表す信号を制御部５１に入力する（ステップＳ３２）。図２３は、観察領域の選択方法の一例を示す模式図である。観察領域の選択は、例えば図２３に示すように、マウス等を用いたポインタ操作により画像表示部６１に表示された全焦点画像内の所望の領域を囲むことによって行われる。
　続くステップＳ３３において、制御部５１は、観察領域決定部６２から入力された観察領域を表す情報に基づいて、観察領域のＺ位置情報を取得する。図２４は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。以下においては、一例として、図２２に示す全焦点画像ＡＩα=3内の領域Ａα=3が観察領域として決定された場合を説明する。
　ステップＳ３３１において、注目画像決定処理部５１１は、全焦点画像Ａα=3における観察領域Ａα=3のＸＹ位置情報を取得する。
　続くステップＳ３３２において、注目画像決定処理部５１１は、全焦点画像Ａα=3以外の各全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=4から、観察領域Ａα=3に対応する領域Ａ’α=１、Ａ’α=2、Ａ’α=4、を抽出し、各領域のＸＹ位置情報を取得する。領域Ａ’α=１、Ａ’α=2、Ａ’α=4は、パターンマッチング等の公知の画像認識技術を用いて抽出することができる。以下、これらの領域Ａ’α=１、Ａ’α=2、Ａ’α=4を、観察領域ともいう。
　続くステップＳ３３３において、注目画像決定処理部５１１は、全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4間における観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4のＸＹ位置のシフト量を取得する。図２２の（ａ）～（ｄ）の場合、全焦点画像ＡＩα=1における観察領域Ａ’α=１のＸ位置と全焦点画像ＡＩα=2における観察領域Ａ’α=2の位置との間のシフト量、全焦点画像ＡＩα=2における観察領域Ａ’α=2のＸ位置と全焦点画像ＡＩα=3における観察領域Ａα=3の位置との間のシフト量、及び、全焦点画像ＡＩα=3における観察領域Ａα=3のＸ位置と全焦点画像ＡＩα=4における観察領域Ａ’α=4の位置との間のシフト量が取得される。
　続くステップＳ３３４において、注目画像決定処理部５１１は、観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4のシフト量に基づいて、これらの観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4が含まれるスライス位置Ｆjを取得する。
　ここで、全焦点画像ＡＩαにおける各スライス画像Ｍjのシフト量σαjは、実施の形態２において説明したように、次式（６）によって与えられる。従って、観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4間のシフト量｜σαj－σ(α+1)j｜が与えられれば、次式（７）により、当該観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4のスライス位置Ｆiを算出することができる。
　σαj＝－α×｛δ×（ｊ－ｋ）｝　…（６）
　｜σαj－σ(α+1)j｜＝｜｛α－（α＋１）｝×｛δ×（ｊ－ｋ）｝｜
　｜σαj－σ(α+1)j｜＝｜δ×（ｊ－ｋ）｜　…（７）
　例えば図２２の（ｃ）、（ｄ）に示すように、基準画像がスライス画像Ｍ1（ｋ＝１）であり、観察領域Ａα=3と観察領域Ａ’α=4との間のシフト量は８δ－６δ＝２δである場合に、式（７）よりｊ＝３が得られる。即ち、観察領域Ａα=3は、３番目のスライス位置Ｆiであるスライス画像Ｍ3に含まれることがわかる。
　注目画像決定処理部５１１は、このようにして取得したスライス位置Ｆjを観察領域のＺ位置情報として出力する。その後、制御部５１の動作はメインルーチンに戻る。
　ステップＳ３３に続くステップＳ３４において、制御部５１は、注目画像決定処理部５１１が出力したＺ位置情報に基づいて、観察領域を含むスライス画像Ｍjを抽出して出力する。これに応じて表示装置６０は、観察領域を含むスライス画像Ｍjを表示する。なお、この際に、観察領域を含むスライス画像Ｍjと共に、スライス画像Ｍjに対してスライス位置が隣り合う他の（即ち、前後の）スライス画像を表示することとしても良い。その後、顕微鏡観察システム３の動作は終了する。
　以上説明した本発明の実施の形態３によれば、ユーザは、平面上では重なって見える構造のＺ方向における位置や、構造同士の前後関係を直感的に容易に把握することが可能となる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。図２５は、本発明の実施の形態４に係る顕微鏡観察システムの構成例を示すブロック図である。図２５に示すように、実施の形態４に係る顕微鏡観察システム４は、顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置７０と、撮像装置７０が処理した画像等を表示する表示装置６０とを備える。このうち、顕微鏡装置１０の構成及び動作は、実施の形態１と同様である（図２参照）。また、表示装置６０の構成及び動作は、実施の形態３と同様である（図２０参照）。
　撮像装置７０は、図２０に示す制御部５１の代わりに制御部７１を備える。制御部７１は、制御部５１に対して、全焦点画像生成部２３２の代わりに全焦点画像生成部７１１を備える。制御部７１以外の撮像装置７０の各部の構成及び動作、並びに、全焦点画像生成部７１１以外の制御部７１の各部の構成及び動作は、実施の形態３と同様である。
　全焦点画像生成部７１１は、全焦点画像の生成に用いる多重焦点重畳画像の範囲を切り出す切り出し範囲決定処理部７１２を有し、切り出し範囲決定処理部７１２が切り出した範囲に対して全焦点画像を生成する。
　次に、顕微鏡観察システム４の動作について説明する。図２６は、顕微鏡観察システム４の動作を示すフローチャートである。なお、ステップＳ１０～Ｓ３４は、実施の形態３と同様である（図２１参照）。また、図２７は、顕微鏡観察システム４の動作を説明するための模式図である。以下の説明においては、ステップＳ３２において決定された観察領域が、スライス画像Ｍ3に含まれることが判明したものとする（ステップＳ３３参照）。
　ステップＳ３４に続くステップＳ４１において、シフト量取得処理部４１１は、ステップＳ３２において決定された観察領域を含むスライス画像Ｍ3を新たな基準画像に設定する。
　続くステップＳ４２において、シフト量取得処理部４１１は、もとのＺスタック画像から多重焦点重畳画像を生成する際の新たな基準画像に対する他のスライス画像Ｍjのシフト量を取得する。このシフト量の決定方法は、実施の形態２と同様に、式（２）を用いて算出することができる。図２７の（ａ）～（ｄ）は、基準画像であるスライス画像Ｍ3に対する他のスライス画像Ｍjのシフト量がδ1、δ2、δ3、δ4にそれぞれ設定された場合を示している。なお、各多重焦点重畳画像内におけるスライス画像Ｍj間のシフト量は同一である。
　続くステップＳ４３において、画像シフト処理部２３１は、ステップＳ４２で取得したシフト量δ1、δ2、δ3、δ4に基づき、新たな基準画像に対して他のスライス画像Ｍjをシフトさせ、全焦点画像生成部７１１はこのシフト処理後の基準画像及び他のスライス画像Ｍjから複数の多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04を再生成する。この多重焦点重畳画像の生成方法は、実施の形態２と同様である。
　続くステップＳ４４において、切り出し範囲決定処理部７１２は、ステップＳ４３において再生成した複数の多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04に対し、ステップＳ３２において決定した観察領域のＸＹ位置が変化しないように、各多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04から切り出す切り出し範囲を決定する。これにより、図２７の（ａ）～（ｄ）に示す切り出し範囲Ｃ1～Ｃ4が設定される。切り出し範囲Ｃ1～Ｃ4は、スライス画像Ｍ3のＸ位置が一定となるように設定されている。
　続くステップＳ４５において、全焦点画像生成部７１１は、ステップＳ４４において決定した切り出し範囲において各多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04を切り出し、切り出された範囲に対して復元処理を実行することにより全焦点画像を生成する。
　続くステップＳ４６において、撮像装置７０は、ステップＳ４５において生成した複数の全焦点画像を表示装置６０に表示させる。その後、顕微鏡観察システム４の動作は終了する。
　以上説明した本発明の実施の形態４によれば、ユーザが選択した観察領域の全焦点画像における位置を変化させることなく、仮想的な視点の異なる複数の全焦点画像を表示することができる。従って、ユーザは、自身が選択した観察領域に対する視線を変化させることなく、観察領域のＺ方向における位置や他の構造との前後関係等を直感的に把握することが可能となる。
（変形例）
　次に、本発明の実施の形態４の変形例について説明する。上記実施の形態４では、各多重焦点重畳画像内において隣り合うスライス画像間のシフト量を同一としたが（ステップＳ４２参照）、１つの多重焦点重畳画像内においても、隣り合うスライス画像間のシフト量を変化させても良い。
　図２８は、実施の形態４の変形例におけるスライス画像のシフト方法を示す模式図であり、スライス画像Ｍ1を基準画像とする３つの多重焦点重畳画像を示している。図２８の（ａ）～（ｃ）に示す多重焦点重畳画像ＳＩ11、ＳＩ12、ＳＩ13の間において、同じスライス画像間のシフト量（例えば、スライス画像Ｍ1に対するスライス画像Ｍ2のシフト量）は、多重焦点重畳画像ＳＩ11、ＳＩ12、ＳＩ13の順に大きくなっている（δ11＜δ21＜δ31）。また、各多重焦点重畳画像内においてはスライス画像Ｍ1に対してスライス位置が近いほど、スライス画像間のシフト量が多くなっている。例えば多重焦点重畳画像ＳＩ11の場合、スライス画像Ｍ1に近い方から順にシフト量がδ11＞δ12＞δ13＞δ14という関係になっている。
　このように、ユーザが注目した観察領域を含むスライス画像に対するスライス位置が近いほど、スライス画像間のシフト量を多くすることにより、注目するスライス画像の構造を把握し易くすることができる。
　また、上記実施の形態４においては、スライス画像Ｍ1～Ｍ5が一方向に並ぶように、最上位のスライス画像Ｍ1又は最下位のスライス画像Ｍ5に対してシフト量を順次増加又は順次減少させた。しかしながら、スライス画像の位置関係に応じてシフト量の増減を変化させても良い。
　図２９は、実施の形態４の変形例におけるスライス画像の別のシフト方法を示す模式図であり、スライス画像Ｍ3を基準画像とする２つの多重焦点重畳画像を示している。図２９の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ21、ＳＩ22においては、スライス画像Ｍ3を境に、スライス位置に応じたシフト量の増減を転換させている。それにより、全焦点画像を生成した場合においても、ユーザが選択した観察領域を含むスライス位置をより際立たせて表示することが可能となる。
　以上説明した実施の形態１～４及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１、２、３、４　顕微鏡観察システム
　１０　顕微鏡装置
　２０、４０、５０、７０　撮像装置
　２１　画像取得部
　２２　撮像制御部
　２３、４１、５１、７１　制御部
　２４　記憶部
　２５　入力部
　２６　出力部
　３０、６０　表示装置
　６１　画像表示部
　６２　観察領域決定部
　１００　アーム
　１０１　三眼鏡筒ユニット
　１０２　鏡筒
　１０３　接眼レンズユニット
　１０４　観察光学系
　１１０　落射照明ユニット
　１１１　落射照明用光源
　１１２　落射照明光学系
　１２０　透過照明ユニット
　１２１　透過照明用光源
　１２２　透過照明光学系
　１３０　電動ステージユニット
　１３１　ステージ
　１３２　ステージ駆動部
　１３３　位置検出部
　１４０、１４１　対物レンズ
　１４２　レボルバ
　２１１　撮像部
　２１２　メモリ
　２３１　画像シフト処理部
　２３２、７１１　全焦点画像生成部
　２４１　パラメータ記憶部
　２４２　プログラム記憶部
　４１１　シフト量取得処理部
　５１１　注目画像決定処理部
　７１２　切り出し範囲決定処理部
 

Claims (6)

  1. 　顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得部と、
    　前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理部と、
    　前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成部と、
    　前記複数の全焦点画像を表示する表示部と、
    を備えることを特徴とする顕微鏡観察システム。
  2. 　外部からなされる操作に応じた情報を入力する入力部と、
    　前記入力部から入力された情報に従って、前記複数の条件の各々における前記シフト量を算出するシフト量取得処理部と、
    をさらに備え、
    　前記画像シフト処理部は、前記シフト量取得処理部が算出した前記シフト量に従って、前記他のスライス画像をシフトさせる、
    ことを特徴とする請求項１に記載の顕微鏡観察システム。
  3. 　外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、
    　前記観察領域が選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域が選択された全焦点画像における前記観察領域の位置と、前記領域が抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記複数のスライス画像から前記観察領域が含まれるスライス画像を抽出する注目画像抽出処理部と、
    をさらに備えることを特徴とする請求項１に記載の顕微鏡観察システム。
  4. 　前記全焦点画像生成部は、前記観察領域が選択された全焦点画像における前記観察領域の位置に基づき、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とに対し、前記複数の全焦点画像の各々を生成する際に用いる範囲を決定する切り出し範囲決定処理部をさらに備える、ことを特徴とする請求項３に記載の顕微鏡観察システム。
  5. 　顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得ステップと、
    　前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、
    　前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、
    　前記複数の全焦点画像を表示する表示ステップと、
    を含むことを特徴とする顕微鏡観察方法。
  6. 　顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像に対し、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、
    　前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、
    　前記複数の全焦点画像を表示する表示ステップと、
    をコンピュータに実行させることを特徴とする顕微鏡観察プログラム。
     
     
PCT/JP2015/061640 2015-04-15 2015-04-15 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム Ceased WO2016166858A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112015006312.9T DE112015006312T5 (de) 2015-04-15 2015-04-15 Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
PCT/JP2015/061640 WO2016166858A1 (ja) 2015-04-15 2015-04-15 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2017512142A JPWO2016166858A1 (ja) 2015-04-15 2015-04-15 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US15/782,108 US10429632B2 (en) 2015-04-15 2017-10-12 Microscopy system, microscopy method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/061640 WO2016166858A1 (ja) 2015-04-15 2015-04-15 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/782,108 Continuation US10429632B2 (en) 2015-04-15 2017-10-12 Microscopy system, microscopy method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2016166858A1 true WO2016166858A1 (ja) 2016-10-20

Family

ID=57125912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061640 Ceased WO2016166858A1 (ja) 2015-04-15 2015-04-15 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Country Status (4)

Country Link
US (1) US10429632B2 (ja)
JP (1) JPWO2016166858A1 (ja)
DE (1) DE112015006312T5 (ja)
WO (1) WO2016166858A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016166871A1 (ja) * 2015-04-16 2018-02-08 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896482B2 (en) * 2017-05-11 2021-01-19 Lockheed Martin Corporation Slice scan imaging system and methods of use
CN109374621A (zh) * 2018-11-07 2019-02-22 杭州迪英加科技有限公司 切片扫描仪的对焦方法、系统和装置
CN110673325A (zh) * 2019-09-25 2020-01-10 腾讯科技（深圳）有限公司 显微镜系统、智能医疗设备、自动对焦方法和存储介质
WO2022076361A1 (en) * 2020-10-05 2022-04-14 Thrive Bioscience, Inc. Method and apparatus for displaying cultured cells

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161530A (ja) * 1994-12-09 1996-06-21 Olympus Optical Co Ltd アイコン作成方法及び動画用のコマ作成方法
JP2008067915A (ja) * 2006-09-14 2008-03-27 Canon Inc 医用画像表示装置
WO2013069215A1 (ja) * 2011-11-10 2013-05-16 ソニー株式会社 画像処理装置、画像処理方法、および画像ファイルのデータ構造
JP2014021489A (ja) * 2012-07-19 2014-02-03 Sony Corp 顕微鏡法における被写界深度（ｄｏｆ）を改善するための方法及び装置
JP2014021490A (ja) * 2012-07-19 2014-02-03 Sony Corp スタックされた顕微鏡画像をナビゲートするための方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG140484A1 (en) * 2006-08-24 2008-03-28 Sony Corp An electron emitter and a display apparatus utilizing the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161530A (ja) * 1994-12-09 1996-06-21 Olympus Optical Co Ltd アイコン作成方法及び動画用のコマ作成方法
JP2008067915A (ja) * 2006-09-14 2008-03-27 Canon Inc 医用画像表示装置
WO2013069215A1 (ja) * 2011-11-10 2013-05-16 ソニー株式会社 画像処理装置、画像処理方法、および画像ファイルのデータ構造
JP2014021489A (ja) * 2012-07-19 2014-02-03 Sony Corp 顕微鏡法における被写界深度（ｄｏｆ）を改善するための方法及び装置
JP2014021490A (ja) * 2012-07-19 2014-02-03 Sony Corp スタックされた顕微鏡画像をナビゲートするための方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016166871A1 (ja) * 2015-04-16 2018-02-08 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Also Published As

Publication number Publication date
JPWO2016166858A1 (ja) 2018-02-08
US10429632B2 (en) 2019-10-01
DE112015006312T5 (de) 2017-12-28
US20180081161A1 (en) 2018-03-22

Similar Documents

Publication Publication Date Title
US20210312596A1 (en) Image processing device, image processing program, image processing method, and imaging device
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP5555014B2 (ja) バーチャルスライド作成装置
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
EP2786340A1 (en) Image processing apparatus and image processing method
US11109916B2 (en) Personalized hand-eye coordinated digital stereo microscopic systems and methods
EP3151719B1 (en) Image processing apparatus and program
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
JP2013211827A (ja) 画像処理方法および装置、プログラム。
JP2018181333A (ja) 医学−光学式表示システムを作動させるための方法
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
WO2015107872A1 (en) Image acquisition apparatus and control method thereof
US10089768B2 (en) Image processing device, image processing method, image processing program, and imaging system
JP6736670B2 (ja) 内視鏡システム
WO2025088159A1 (en) Endoscopic systems and methods for imaging an object
JP2017143759A (ja) 細胞観察装置および細胞観察方法
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP6422761B2 (ja) 顕微鏡システム、及び、ｚ位置と補正装置の設定値との関係算出方法
WO2024178045A1 (en) Systems, methods, and devices providing fluorescence microscopy confocally sectioned images
JP4346888B2 (ja) 顕微鏡装置
CN114730070B (zh) 图像处理方法、图像处理装置和图像处理系统
JP2024104391A (ja) 焦点位置推定方法、焦点位置推定プログラム、焦点位置推定システム、モデル生成方法、モデル生成プログラム、モデル生成システム及び焦点位置推定モデル
WO2012049022A1 (en) Method and device for digital image processing
JP2016114796A (ja) 顕微鏡システム、関数算出方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15889196

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017512142

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006312

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15889196

Country of ref document: EP

Kind code of ref document: A1