WO2016166871A1 - 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム - Google Patents

顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム Download PDF

Info

Publication number
WO2016166871A1
WO2016166871A1 PCT/JP2015/061742 JP2015061742W WO2016166871A1 WO 2016166871 A1 WO2016166871 A1 WO 2016166871A1 JP 2015061742 W JP2015061742 W JP 2015061742W WO 2016166871 A1 WO2016166871 A1 WO 2016166871A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation
imaging
unit
omnifocal
Prior art date
Application number
PCT/JP2015/061742
Other languages
English (en)
French (fr)
Inventor
洋子 阿部
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017512154A priority Critical patent/JP6563486B2/ja
Priority to DE112015006271.8T priority patent/DE112015006271T5/de
Priority to PCT/JP2015/061742 priority patent/WO2016166871A1/ja
Publication of WO2016166871A1 publication Critical patent/WO2016166871A1/ja
Priority to US15/782,920 priority patent/US10613313B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/025—Objectives with variable magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/088—Condensers for both incident illumination and transillumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to a microscope observation system, a microscope observation method, and a microscope observation program for observing a subject through an image acquired in a microscope apparatus.
  • a multifocal image generated by superimposing a Z stack image is restored using a blur function, or a focused region is extracted from each of a plurality of images having different focal planes.
  • Patent Document 1 discloses two images focused on the near end side and the far end side of a subject, and an omnifocal image generated by imaging while sweeping the image sensor from the near end side to the far end side of the subject.
  • the image is focused on the near-end side and the far-end side using the omnifocal image, and the amount of blur in the partial area in the image is calculated.
  • a technique for acquiring a distance and creating a distance map is disclosed.
  • Patent Document 1 it is possible to visually grasp the Z position of the structure shown in the image by generating a distance map.
  • the distance map the front-rear relationship between the structures in the Z direction cannot be visually reproduced, and it is difficult for the user to grasp intuitively.
  • the present invention has been made in view of the above, and an image that allows a user to visually and intuitively grasp the position in the Z direction of the structure in the image and the front-rear relationship between the structures is shorter than before.
  • An object of the present invention is to provide a microscope observation system, a microscope observation method, and a microscope observation program that can be generated in time and that can suppress the amount of data and the amount of calculation in image processing more than ever.
  • a microscope observation system includes an imaging unit that captures a subject image generated by an observation optical system of a microscope and acquires the image, and the observation optical system And a plurality of surfaces in the optical axis direction of the observation optical system by shifting the positions of the focal plane and the visual field during one exposure period of the imaging unit.
  • An imaging control unit that causes the imaging unit to acquire a multi-focus superimposed image including image information in the image, a shift amount acquisition processing unit that acquires a shift amount for shifting the position of the visual field, and a plurality of conditions with different shift amounts.
  • An omnifocal image generation unit that generates a plurality of omnifocal images based on the plurality of multifocal superimposed images respectively acquired in step (b), and a display unit that displays the plurality of omnifocal images. It is characterized in.
  • the imaging control unit determines an imaging start position when acquiring each of the plurality of multi-focus superimposed images based on the shift amount acquired by the shift amount acquisition processing unit. It is characterized by.
  • the microscope observation system includes an observation region determination processing unit that determines, as an observation region, a region selected from any one of the plurality of omnifocal images according to an operation performed from the outside, and the observation region The region corresponding to the observation region is extracted from the omnifocal image other than the selected omnifocal image, and the position of the observation region in the omnifocal image selected as the observation region and all the regions from which the region has been extracted are extracted. And a target slice acquisition unit that acquires a position of a slice including a structure in the subject corresponding to the observation region based on a shift amount between the region and the position of the region in the focus image. .
  • the omnifocal image generation unit is configured to determine the position of the field of view of the observation optical system during one exposure period of the imaging unit based on the position of the observation region in the omnifocal image in which the observation region is selected.
  • an imaging position determination processing unit that determines an imaging position when acquiring a multifocal superimposed image by shifting.
  • the imaging position determination processing unit determines the imaging position so that a position of the observation region in each omnifocal image does not change between the plurality of omnifocal images. To do.
  • the microscope observation method is the microscope observation method in which a subject image generated by an observation optical system of a microscope is captured by an imaging unit to acquire an image, and the observation optical system is used during one exposure period of the imaging unit.
  • An omnifocal image generation step for generating a plurality of omnifocal images based on a plurality of multifocal superimposed images respectively acquired under a plurality of different conditions, and displaying the plurality of omnifocal images on a display unit And a display step.
  • the microscope observation program is a microscope observation program for acquiring an image by capturing an image of a subject generated by an observation optical system of a microscope using an imaging unit, and the observation optical system during one exposure period of the imaging unit.
  • An imaging control step for performing control for acquiring a multifocal superimposed image including image information on a plurality of surfaces in the optical axis direction of the observation optical system by shifting the focal plane and the visual field position of the observation optical system, and the position of the visual field
  • An omnifocal image generation step for generating a plurality of omnifocal images based on a plurality of multifocal superimposed images respectively acquired under a plurality of conditions with different shift amounts, and the plurality of omnifocal images.
  • a display step of displaying on the display unit is executed by a computer.
  • the multifocal superimposed image is acquired by shifting the position of the focal plane and the visual field during one exposure period of the imaging unit. Therefore, the Z stack image is acquired and the multifocus image is generated by image processing. Compared to the case, the imaging time can be greatly shortened, and the data amount and the calculation amount can be greatly suppressed.
  • the user since a plurality of omnifocal images generated under a plurality of conditions with different shift amounts of the visual field position are displayed on the screen, the user can compare these omnifocal images by comparing them. It becomes possible to visually and intuitively grasp the position in the Z direction of the structure shown in the image and the front-rear relationship between the structures.
  • FIG. 1 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the microscope apparatus illustrated in FIG. 1.
  • FIG. 3 is a flowchart showing the operation of the microscope observation system shown in FIG.
  • FIG. 4 is a schematic diagram for explaining a process for acquiring a plurality of multi-focus superimposed images.
  • FIG. 5 is a flowchart showing details of the processing for acquiring a plurality of multi-focus superimposed images.
  • FIG. 6 is a flowchart showing details of a process for generating a plurality of omnifocal images.
  • FIG. 7 is a schematic diagram illustrating an example in which two omnifocal images are displayed side by side on the display device illustrated in FIG. 1.
  • FIG. 8 is a schematic diagram for explaining a method of acquiring a multifocal superimposed image in Modification 1 of Embodiment 1 of the present invention.
  • FIG. 9 is a schematic diagram for explaining a method for acquiring a multifocal superimposed image in Modification 1 of Embodiment 1 of the present invention.
  • FIG. 10 is a flowchart showing details of a process for acquiring a plurality of multifocal superimposed images in the third modification of the first embodiment of the present invention.
  • FIG. 11 is a schematic diagram for explaining a process for acquiring a plurality of multi-focus superimposed images in the third modification of the first embodiment of the present invention.
  • FIG. 12 is a schematic diagram for explaining the multifocal superimposed image acquisition process according to the fourth modification of the first embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a configuration example of a microscope observation system according to Embodiment 2 of the present invention.
  • FIG. 14 is a flowchart showing the operation of the microscope observation system shown in FIG.
  • FIG. 15 is a schematic diagram showing a plurality of multi-focus superimposed images.
  • FIG. 16 is a schematic diagram illustrating an example of a method for selecting an observation region.
  • FIG. 17 is a flowchart showing details of the processing for acquiring the Z position information of the observation area.
  • FIG. 18 is a block diagram illustrating a configuration example of a microscope observation system according to Embodiment 3 of the present invention.
  • FIG. 19 is a flowchart showing the operation of the microscope observation system shown in FIG.
  • FIG. 20 is a schematic diagram for explaining the operation of the microscope observation system shown in FIG.
  • FIG. 21 is a schematic diagram illustrating a method of shifting the position of the visual field in a modification of the third embodiment.
  • FIG. 22 is a schematic diagram illustrating another method of shifting the position of the visual field in the modification of the third embodiment.
  • FIG. 1 is a block diagram showing a configuration example of a microscope observation system according to Embodiment 1 of the present invention.
  • a microscope observation system 1 according to Embodiment 1 includes a microscope apparatus 10 that generates a subject image, and an imaging apparatus 20 that acquires and processes an enlarged image generated by the microscope apparatus 10. And a display device 30 for displaying an image processed by the imaging device 20.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the microscope apparatus 10.
  • the microscope apparatus 10 includes a substantially C-shaped arm 100, a lens barrel 102 and an eyepiece unit 103 supported on the arm 100 via a trinocular tube unit 101, and the arm 100.
  • an objective lens 140 that forms an image of observation light from the subject S.
  • the objective lens 140, the lens barrel 102 connected via the trinocular tube unit 101, and an imaging unit 211 (described later) provided on the other end side of the lens barrel 102 are an observation optical system (imaging optical system). ) 104 is configured.
  • the trinocular tube unit 101 branches the observation light incident from the objective lens 140 in the direction of an eyepiece unit 103 for the user to directly observe the subject S and an imaging unit 211 described later.
  • the epi-illumination unit 110 includes an epi-illumination light source 111 and an epi-illumination optical system 112 and irradiates the subject S with epi-illumination light.
  • the epi-illumination optical system 112 condenses the illumination light emitted from the epi-illumination light source 111 and guides it in the direction of the optical axis L of the observation optical system 104, specifically a filter unit, a shutter, and a field of view. Including diaphragm, aperture diaphragm, etc.
  • the transmitted illumination unit 120 includes a transmitted illumination light source 121 and a transmitted illumination optical system 122 and irradiates the subject S with transmitted illumination light.
  • the transmission illumination optical system 122 includes various optical members that condense the illumination light emitted from the transmission illumination light source 121 and guide it in the direction of the optical axis L, specifically, a filter unit, a shutter, a field stop, an aperture stop, and the like. Including.
  • any one of these epi-illumination units 110 and transmission illumination units 120 is selected and used according to the spectroscopic method.
  • the microscope apparatus 10 may be provided with only one of the epi-illumination unit 110 and the transmission illumination unit 120.
  • the electric stage unit 130 includes a stage 131, a stage drive unit 132 that moves the stage 131, and a position detection unit 133.
  • the stage drive unit 132 is configured by a motor, for example.
  • a subject placement surface 131 a of the stage 131 is provided so as to be orthogonal to the optical axis of the objective lens 140.
  • the subject placement surface 131a is the XY plane, and the normal direction of the XY plane, that is, the direction parallel to the optical axis is the Z direction.
  • the downward direction in the figure, that is, the direction away from the objective lens 140 is the plus direction.
  • the position of the field of view of the objective lens 140 can be shifted by moving the stage 131 in the XY plane. Further, the focal plane of the objective lens 140 can be shifted along the optical axis L by moving the stage 131 in the Z direction. That is, the electric stage unit 130 is a shift unit that shifts the position of the focal plane and the visual field by moving the stage 131 under the control of the imaging control unit 22 described later.
  • the position of the observation optical system 104 including the lens barrel 102 to the objective lens 140 is fixed and the stage 131 is moved. May be fixed and the observation optical system 104 side may be moved. Alternatively, both the stage 131 and the observation optical system 104 may be moved in opposite directions. That is, any configuration may be used as long as the observation optical system 104 and the subject S are relatively movable.
  • the focal plane may be shifted by moving the observation optical system 104 in the Z direction, and the position of the visual field V may be shifted by moving the stage 131 in the XY plane.
  • the position detection unit 133 is configured by an encoder that detects the amount of rotation of the stage drive unit 132 made of a motor, for example, and detects the position of the stage 131 and outputs a detection signal.
  • a pulse generation unit and a stepping motor that generate pulses in accordance with the control of the imaging control unit 22 described later may be provided.
  • the objective lens 140 is attached to a revolver 142 that can hold a plurality of objective lenses having different magnifications (for example, the objective lenses 140 and 141).
  • the imaging magnification can be changed by rotating the revolver 142 and changing the objective lenses 140 and 141 facing the stage 131.
  • FIG. 2 shows a state in which the objective lens 140 faces the stage 131.
  • the imaging device 20 acquires an image by capturing a subject image generated by the observation optical system 104 of the microscope device 10, and performs an imaging operation of the image acquisition unit 21.
  • the image capturing control unit 22 to be controlled, the various operations in the image capturing apparatus 20, the control unit 23 that processes the image acquired by the image acquiring unit 21, and the image data and control program of the image acquired by the image acquiring unit 21
  • a storage unit 24 for storing various information such as, an input unit 25 for inputting instructions and information to the imaging device 20, and an image based on the image data stored in the storage unit 24 and other various types of information to an external device.
  • an output unit 26 for outputting.
  • the image acquisition unit 21 includes an imaging unit 211 and a memory 212.
  • the image pickup unit 211 includes an image pickup device (imager) 211a made of, for example, a CCD or a CMOS, and pixel levels (R (red), G (green), and B (blue)) in each pixel included in the image pickup device 211a ( It is configured using a camera capable of capturing a color image having a pixel value. Or you may comprise the imaging part 211 using the camera which can image the monochrome image which outputs the luminance value Y as a pixel level (pixel value) in each pixel.
  • the imaging unit 211 is provided at one end of the lens barrel 102 so that the optical axis L passes through the center of the light receiving surface of the imaging element 211a, and includes an observation optical system including the objective lens 140 to the lens barrel 102.
  • the observation light incident on the light receiving surface via 104 is photoelectrically converted to generate image data of the subject image that enters the field of view of the objective lens 140.
  • the memory 212 includes a recording device such as a flash memory that can be updated and recorded, a semiconductor memory such as a RAM, and a ROM, and temporarily stores the image data generated by the imaging unit 211.
  • a recording device such as a flash memory that can be updated and recorded
  • a semiconductor memory such as a RAM, and a ROM
  • the imaging control unit 22 outputs a control signal to the microscope apparatus 10 and moves the stage 131 during one exposure period of the imaging unit 211 to shift the position of the focal plane and field of view of the objective lens 140, thereby Control is performed to acquire a multifocal superimposed image including image information on a plurality of surfaces in the optical axis L direction of the observation optical system 104.
  • the control unit 23 is configured by hardware such as a CPU, for example, and by reading a program stored in the storage unit 24, based on various parameters stored in the storage unit 24, information input from the input unit 25, and the like, The overall operation of the imaging device 20 and the microscope observation system 1 is controlled. Further, the control unit 23 performs a process of generating an omnifocal image by performing predetermined image processing on the image data input from the image acquisition unit 21.
  • control unit 23 includes a shift amount acquisition processing unit 231 that acquires a shift amount for shifting the position of the field of view of the observation optical system 104 when acquiring a multifocal superimposed image, and a point spread function that represents image blur. And an omnifocal image generation unit 232 that generates an omnifocal image by restoring the multifocal superimposed image using (Point Spread Function).
  • the storage unit 24 includes a recording device such as a flash memory, RAM, and ROM that can be updated and recorded, a recording medium such as a hard disk, MO, CD-R, and DVD-R that is built-in or connected by a data communication terminal, and the like.
  • a writing / reading apparatus that writes information to a recording medium and reads information recorded on the recording medium.
  • the storage unit 24 includes a parameter storage unit 241 that stores parameters used for calculation in the control unit 23 and a program storage unit 242 that stores various programs.
  • the parameter storage unit 241 stores parameters such as a shift amount for shifting the position of the visual field when acquiring a multi-focus superimposed image.
  • the program storage unit 242 stores a control program for causing the imaging device 20 to execute a predetermined operation, an image processing program, and the like.
  • the input unit 25 includes an input device such as a keyboard, various buttons, and various switches, a pointing device such as a mouse and a touch panel, and the like, and inputs signals corresponding to operations performed on these devices to the control unit 23. .
  • the output unit 26 outputs an image based on the image data acquired by the image acquisition unit 21, an omnifocal image generated by the control unit 23, and other various information to an external device such as the display device 30, and a predetermined format This is an external interface to be displayed with.
  • Such an imaging device 20 can be configured by combining a general-purpose digital camera via an external interface with a general-purpose device such as a personal computer or a workstation.
  • the display device 30 is configured by, for example, an LCD, an EL display, a CRT display, or the like, and displays an image and related information output from the output unit 26.
  • the display device 30 is provided outside the imaging device 20, but may be provided inside the imaging device 20.
  • FIG. 3 is a flowchart showing the operation of the microscope observation system 1.
  • step S10 the image acquisition unit 21 acquires a plurality of multifocus superimposed images.
  • FIG. 4 is a schematic diagram for explaining a process for acquiring a plurality of multi-focus superimposed images.
  • the range of thickness D ( ⁇ m) in the subject S is superimposed and imaged.
  • This range of thickness D is referred to as a superimposed imaging range.
  • the thickness ⁇ z of each slice F j corresponds to the depth of field of the observation optical system 104.
  • each slice F j a region surrounded by a bold line is the field of view V of the observation optical system 104 to be imaged, and an arrow superimposed on the field of view V indicates a direction in which the focal plane and the position of the field of view are shifted. .
  • FIG. 5 is a flowchart showing details of the processing for acquiring a plurality of multi-focus superimposed images.
  • the shift amount acquisition processing unit 231 acquires a shift amount for shifting the position of the visual field V when acquiring the multifocus superimposed image.
  • This shift amount may be a preset amount or may be acquired based on information input from the input unit 25 in response to a user operation.
  • the shift amount ⁇ is determined according to the user operation, as shown in FIG. 4B, the angle ⁇ when the user's line of sight is inclined with respect to the direction directly above the subject S is input. Good to do.
  • the shift amount ⁇ (pixel) is given by the following equation (2).
  • ⁇ (Z / tan ⁇ ) / p (2)
  • the distance Z can be approximated by the distance from the objective lens 140 to each depth in the subject S.
  • the imaging control unit 22 calculates a shift speed v 1 for shifting the visual field V along the X direction during one exposure period as an imaging parameter.
  • step S104 the image acquisition unit 21 controls the focal plane and field of view V of the observation optical system 104 during one exposure period of the imaging unit 211 under the control of the imaging control unit 22 based on the imaging parameters set in step S103.
  • the image acquisition unit 21 controls the focal plane and field of view V of the observation optical system 104 during one exposure period of the imaging unit 211 under the control of the imaging control unit 22 based on the imaging parameters set in step S103.
  • the direction in which the positions of the focal plane and the visual field V are shifted is not limited to the direction of the arrow shown in FIG.
  • the visual field V may be shifted in the + X direction while shifting the focal plane in the + Z direction.
  • the order of obtaining the multiple multi-focus superimposed images SI 0 and SI 1 and the shift direction of the focal plane and the field of view V are set so that the number of movements and the amount of movement of the stage 131 are as small as possible.
  • step S11 the omnifocal image generation unit 232 generates an omnifocal image based on the multiple multifocal superimposed images acquired in step S10.
  • FIG. 6 is a flowchart showing details of the omnifocal image generation process.
  • the total focus image generation unit 232 the point spread represents the image blur in the image of each slice F j function (Point Spread Function: PSF) to obtain information, to generate a PSF image based on the PSF information.
  • the point spread function is stored in advance in the parameter storage unit 241 in association with imaging conditions such as the magnification of the objective lens 140 in the microscope apparatus 10 and the slice F j .
  • the omnifocal image generation unit 232 reads out the point spread function corresponding to the slice F j from the parameter storage unit 241 based on the imaging conditions such as the magnification of the objective lens 140, and based on the point spread function, A PSF image for each slice F j is generated by calculating a pixel value corresponding to each pixel position.
  • the total focus image generating unit 232 generates multiple focuses superimposed PSF image PI 0 shift amount zero corresponding to multifocal superimposed image SI 0.
  • the total focus image generating unit 232 by using a plurality of PSF image after the shift processing in step S113, it generates a multi-focal superimposed PSF image PI 1 of shift sigma. Specifically, the pixel value of each pixel of the multifocal superimposed PSF image PI 1 is calculated by averaging the pixel values of pixels corresponding in position among the plurality of PSF images after the shift process.
  • step S115 the total focus image generating unit 232, by using the multi-focal superimposed PSF image PI 0, PI 1, to restore each generated plurality of multiple focuses superimposed image SI 0, SI 1 to the step S10. Thereby, an omnifocal image AI 0 is generated from the multifocal superimposed image SI 0, and an omnifocal image AI 1 is generated from the multifocal superimposed image SI 1 . Thereafter, the operation of the control unit 23 returns to the main routine.
  • step S12 the imaging device 20 outputs the image data of the plurality of omnifocal images AI 0 and AI 1 generated in step S11 to the display device 30, and these omnifocal images AI 0 and AI 1 are output.
  • the display method of the omnifocal images AI 0 and AI 1 is not particularly limited.
  • the omnifocal images AI 0 and AI 1 may be displayed side by side, or the omnifocal images AI 0 and AI 1 may be alternately displayed in the same region.
  • the omnifocal images AI 0 and AI 1 may be automatically switched at a predetermined cycle, or manually input to the user using the input unit 25. It is good also as making it switch with.
  • FIG. 7 is a schematic diagram illustrating a display example of an omnifocal image on the display device 30.
  • two omnifocal images AI 0 and AI 1 are displayed side by side. Thereafter, the operation of the microscope observation system 1 ends.
  • a multifocal superimposed image is acquired by performing imaging while shifting the focal plane and the field of view during one exposure period.
  • An omnifocal image is generated by restoration.
  • a state in which the subject S is virtually viewed from a plurality of viewpoints can be reproduced.
  • FIG. 4 it is possible to reproduce the state of the subject S viewed from directly above by setting the shift amount to zero, and to reproduce the state of viewing the subject S from the upper left by setting the shift amount to ⁇ . Can do.
  • the user can visually and intuitively grasp the position in the Z direction of the structure in the subject S, the anteroposterior relationship between the structures, the overlapping state of the structures, and the like. It becomes possible.
  • a Z stack image is acquired by imaging a plurality of times, and this Z Compared with the case where the stack images are added and averaged to obtain a multifocus superimposed image, imaging can be performed in a short time, and the amount of data and the amount of calculation in image processing can be greatly suppressed.
  • the case where the field of view V of the observation optical system 104 is shifted only in the X direction has been described in order to facilitate understanding.
  • similar processing can be performed in the Y direction.
  • an omnifocal image corresponding to the case where the virtual viewpoint with respect to the subject S is moved along the Y direction can be generated.
  • an omnifocal image corresponding to the case where the virtual viewpoint with respect to the subject S is moved in the horizontal plane may be generated. Is possible.
  • FIG. 8 and FIG. 9 are schematic diagrams for explaining a method for acquiring a multifocal superimposed image in the first modification.
  • Embodiment 1 described above when the optical axis of the observation optical system 104 is orthogonal to the stage 131 and the multifocal superimposed image SI 1 with the shift amount ⁇ is acquired, the stage 131 is moved in the Z direction and the X direction. Imaging was performed while moving. However, imaging may be performed with the optical axis of the observation optical system 104 inclined in advance with respect to the stage 131.
  • the subject placement surface 131a of the stage 131 is installed horizontally, and the optical axis L of the observation optical system 104 is inclined by an angle ⁇ with respect to the normal line of the subject placement surface 131a. Accordingly, the focal plane Pf of the imaging unit 211 is inclined at an angle ⁇ with respect to the subject placement surface 131a.
  • the focal plane Pf moves in the + Z direction with respect to the subject S, and the field of view shifts in the + X direction. To do. That is, control for moving the observation optical system 104 two-dimensionally becomes unnecessary, and drive control for the observation optical system 104 can be simplified.
  • the subject placement surface 131a of the stage 131 is installed horizontally, and the optical axis L of the observation optical system 104 is placed perpendicular to the subject placement surface 131a. Then, a pedestal 106 having an inclined surface with an angle ⁇ with respect to the bottom surface is installed on the stage 131. By placing the subject S on the inclined surface 161a of the pedestal 106, the focal plane Pf of the imaging unit 211 is inclined at an angle ⁇ with respect to the inclined surface 161a.
  • the focal plane Pf with respect to the subject S moves in the + Z direction, and the field of view shifts in the + X direction.
  • the shift amount acquisition processing unit 231 calculates and outputs the angle ⁇ based on the shift amount ⁇ . Based on this angle ⁇ , the imaging control unit 22 performs control to incline the focal plane Pf of the observation optical system 104 with respect to the subject placement surface 131a by the angle ⁇ , as shown in FIG.
  • the shift amount acquisition processing unit 231 calculates a shift amount ⁇ corresponding to the angle ⁇ from Expression (4), and the imaging control unit 22 calculates various control parameters based on the shift amount ⁇ .
  • the multifocal superimposed image is acquired by continuously shifting the focal plane and the position of the visual field V while the shutter is opened during one exposure period of the imaging unit 211.
  • the shutter that blocks the incidence of light on the imaging unit 211 is opened and closed at a predetermined cycle, and the position of the focal plane and the visual field V can be shifted stepwise while the shutter is closed. good.
  • the number of times the shutter is opened and closed during one exposure period that is, the number of times the subject S is exposed to the imaging unit 211, the number of times the positions of the focal plane and the visual field are shifted, and the positions of the focal plane and the visual field V per time.
  • the shift amount is appropriately set according to one exposure period, shutter speed, and the like in the imaging unit 211.
  • the focal plane is set within a predetermined superimposed imaging range, specifically the object field while the shutter is open. Move multiple times the depth (k ⁇ ⁇ z, k is a natural number). Further, when acquiring the multifocal superimposed image SI 1 with the shift amount ⁇ shown in FIG. 4B, the focal plane is set within a predetermined superimposed imaging range, specifically the object field while the shutter is open. While moving the depth multiple times (k ⁇ ⁇ z), the position of the visual field V is shifted multiple times the shift amount ⁇ (k ⁇ ⁇ ).
  • step S111 of FIG. 6 a PSF image corresponding to a plurality of slices from when the shutter is opened to when it is closed is generated.
  • step S113 in FIG. 6 the PSF image is shifted in accordance with the shift amount of the position of the visual field V corresponding to the opening / closing cycle of the shutter.
  • the processes in S112, S114, and S115 are the same as those in the first embodiment.
  • FIG. 10 is a flowchart showing details of the acquisition processing of a plurality of multi-focus superimposed images in the third modification.
  • FIG. 11 is a schematic diagram for explaining a process for acquiring a plurality of multi-focus superimposed images in the third modification.
  • the visual field V is shifted in the + X direction when the focal plane is shifted in the + Z direction.
  • the subscript i is a variable indicating the acquisition order of the multi-focus superimposed image.
  • shift amounts ⁇ i may be preset amounts, or may be acquired based on information input from the input unit 25 in response to a user operation. In the latter case, it is preferable to cause the user to input an angle ⁇ i when the user's line of sight is inclined with respect to the direction directly above the subject S.
  • the imaging control unit 22 calculates a shift speed for shifting the visual field V along the X direction during one exposure period of the imaging unit 211 as an imaging parameter.
  • the method for calculating the shift speed is the same as in the first embodiment (see step S103 in FIG. 5).
  • the image acquisition unit 21 controls the focal plane and field of view V of the observation optical system 104 during one exposure period of the imaging unit 211 under the control of the imaging control unit 22 based on the imaging parameters set in step S122. by capturing an object S while shifting the position, and acquires multiple focuses superimposed image SI i of the shift amount sigma i.
  • the method for obtaining the multifocal superimposed image SI i is the same as in the first embodiment (see step S104 in FIG. 5).
  • step S124 the control unit 23 determines whether or not the variable i has reached the maximum value n.
  • step S124: No the control unit 23 increments the variable i (step S125). Thereafter, the operation of the control unit 23 returns to step S121.
  • the amount of movement of the stage 131 is suppressed by appropriately setting the imaging parameters for controlling the acquisition order of the multi-focus superimposed image SI i , the imaging start position, and the shift direction of the focal plane and the field of view V.
  • the total imaging time can be shortened and the multi-focus superimposed image SI i can be efficiently acquired.
  • FIG. 11A by shifting the position of the visual field V in the X direction at a pace of the shift amount k while shifting the focal plane in the + Z direction during one exposure period. acquires multiple focuses superimposed image SI 11 of shift sigma 11.
  • FIG. 11A by shifting the position of the visual field V in the X direction at a pace of the shift amount k while shifting the focal plane in the + Z direction during one exposure period. acquires multiple focuses superimposed image SI 11 of shift sigma 11.
  • step S124 Yes
  • the operation of the microscope observation system 1 returns to the main routine.
  • the omnifocal image generation process (see step S11 in FIG. 3 and FIG. 6) based on the plurality of multifocal superimposed images SI i generated in this way is the same as that of the first embodiment as a whole.
  • steps S112 to S115 shown in FIG. 6 a multi-focus superimposed PSF image is generated for each multi-focus superimposed image SI i using the shift amount ⁇ i used when the multi-focus superimposed image SI i is generated.
  • the multi-focus superimposed image SI i is generated using each of these multi-focus superimposed PSF images.
  • a plurality of omnifocal images having different shift amounts ⁇ i are generated.
  • the plurality of omnifocal images may be displayed side by side, or these omnifocal images may be sequentially switched and displayed in the same region. May be.
  • a plurality of omnifocal images having different directions for shifting the position of the visual field V are generated and displayed. Can be reproduced from the respective directions of directly above ( ⁇ 12 ), upper left ( ⁇ 11 ), and upper right ( ⁇ 12 ). Therefore, by referring to such an omnifocal image, the user can grasp in more detail the degree of overlap and the front-rear relationship in the Z direction between the structures in the subject S.
  • FIG. 12 is a schematic diagram for explaining the multifocal superimposed image acquisition process according to the fourth modification.
  • the magnitudes of the shift amounts ⁇ 21 to ⁇ 25 are set to ⁇ 21 ⁇ 22 ⁇ 23 ⁇ 24 ⁇ 25. In order of increasing. In this way, by changing the magnitude of the shift amount ⁇ i , it is possible to reproduce a state in which the subject S is virtually observed from various angles.
  • the acquisition process of these multifocal superimposed images SI i is the same as that in the third modification (see FIG. 10).
  • the multi-focus superimposed image SI 22 is acquired by shifting the visual field V in the ⁇ X direction at a pace of the shift amount ⁇ 22 while shifting to the ⁇ X direction.
  • the multi-focus superimposed image SI 22 is acquired by shifting the visual field V in the
  • the processing for generating a plurality of omnifocal images and the processing for displaying a plurality of images based on these multifocal superimposed images SI i are the same as in the third modification.
  • the fourth modification of the first embodiment of the present invention since the magnitude of the shift amount ⁇ i is changed between the plurality of multifocus superimposed images SI i , virtually wider The state in which the subject S is observed from a plurality of directions in the range can be reproduced. Therefore, the user can intuitively and more realistically understand the position in the Z direction of the structure in the subject S, the degree of overlap between the structures, and the front-rear relationship.
  • FIG. 13 is a block diagram showing a configuration of a microscope observation system according to Embodiment 2 of the present invention.
  • the microscope observation system 2 according to the second embodiment includes a microscope apparatus 10, an imaging apparatus 40 that acquires and processes an image of a subject image generated by the microscope apparatus 10, and an imaging apparatus 40. And a display device 50 that displays the processed image and the like.
  • the configuration and operation of the microscope apparatus 10 are the same as those in the first embodiment (see FIG. 2).
  • the imaging device 40 includes a control unit 41 instead of the control unit 23 shown in FIG.
  • the control unit 41 further includes an attention slice acquisition unit 411 with respect to the control unit 23.
  • the operations of the shift amount acquisition processing unit 231 and the omnifocal image generation unit 232 are the same as those in the first embodiment.
  • the attention slice acquisition unit 411 acquires the position in the Z direction of the slice including the structure in the subject S corresponding to the observation region input from the display device 50 described later via the input unit 25, and uses this slice as the attention slice. Determine as.
  • the display device 50 is configured by, for example, an LCD, an EL display, a CRT display, or the like, and an image display unit 51 that displays an image output from the output unit 26 or related information, and an image display unit according to an operation performed from the outside.
  • An observation area determination unit 52 that determines an area in the omnifocal image displayed at 51 as an observation area and inputs a signal representing the observation area to the control unit 41.
  • FIG. 14 is a flowchart showing the operation of the microscope observation system 2.
  • the operations in steps S10 to S12 are the same as in the first embodiment.
  • a plurality of omnifocal images AI i are respectively generated by restoring these multifocal superimposed images SI i , and are sequentially switched and displayed on the image display unit 51.
  • step S21 following step S12 the observation region determination unit 52 selects an arbitrary region for any one of the omnifocal images AI 31 , AI 32 , AI 33 , and AI 34 displayed on the image display unit 51. It is determined whether or not an operation has been performed.
  • step S21: No If no user operation is performed (step S21: No), the operation of the microscope observation system 2 returns to step S12.
  • FIG. 16 is a schematic diagram illustrating an example of a method for selecting an observation region.
  • the observation area is selected by surrounding a desired area in the omnifocal image displayed on the image display unit 51 by a pointer operation using a mouse or the like.
  • step S ⁇ b> 23 the control unit 41 acquires the Z position information of the observation region based on the information indicating the observation region input from the observation region determination unit 52.
  • FIG. 17 is a flowchart showing details of the processing for acquiring the Z position information of the observation area. In the following description, it is assumed that the region R 34 in the omnifocal image AI 34 shown in FIG. 15 is determined as the observation region as an example.
  • step S231 focused slice acquisition unit 411 acquires the XY position information of the observation area R 34 in the all-focus image A 34.
  • step S232 focused slice acquisition unit 411, the total focus image A 34 each omnifocal image AI 31 except, AI 32, AI 33, region R corresponding to the observation region R 34 '31, R' 32, R '33 is extracted and the XY position information of each area is acquired.
  • Regions R ′ 31 , R ′ 32 , and R ′ 33 can be extracted using a known image recognition technique such as pattern matching.
  • these regions R ′ 31 , R ′ 32 and R ′ 33 are also referred to as observation regions.
  • the target slice acquisition unit 411 shifts the XY positions of the observation regions R ′ 31 , R ′ 32 , R ′ 33 , and R 34 between the omnifocal images AI 31 , AI 32 , AI 33 , and AI 34.
  • the shift amount between the X position of the observation region R ′ 31 in the omnifocal image AI 31 and the position of the observation region R ′ 32 in the omnifocal image AI 32 and the total focus.
  • step S234 the target slice acquisition unit 411, based on the shift amounts of the observation regions R ′ 31 , R ′ 32 , R ′ 33 , R 34 , these observation regions R ′ 31 , R ′ 32 , R ′ 33. to obtain a slice F j that contains the R 34.
  • FIG. 15 (c), (d), the shift amount sigma 33 is 2 pixels in the entire focus image AI 33, shift sigma 34 in total focus image AI 34 is 3 pixels, the observation region R '33,
  • the target slice acquisition unit 411 outputs the slice F j acquired in this way as the Z position information of the observation region. Thereafter, the operation of the control unit 41 returns to the main routine.
  • step S24 following step S23 the control unit 41 acquires an image of a slice including the observation region by performing imaging while focusing on the Z position based on the Z position information output by the target slice acquisition unit 411. And displayed on the display device 50. At this time, the control unit 41 may acquire and display images of slices including the observation region and images of other slices adjacent to the slice (that is, before and after). Thereafter, the operation of the microscope observation system 2 ends.
  • the user can intuitively and easily grasp the position in the Z direction of the structures that appear to overlap each other on the plane and the front-rear relationship between the structures.
  • FIG. 18 is a block diagram illustrating a configuration example of a microscope observation system according to Embodiment 3 of the present invention.
  • the microscope observation system 3 according to the third embodiment includes a microscope apparatus 10, an imaging apparatus 60 that acquires and processes an image of a subject image generated by the microscope apparatus 10, and the imaging apparatus 60.
  • a display device 50 that displays the processed image and the like.
  • the configuration and operation of the microscope apparatus 10 are the same as those in the first embodiment (see FIG. 2).
  • the configuration and operation of the display device 50 are the same as those in the second embodiment (see FIG. 13).
  • the imaging device 60 includes a control unit 61 instead of the control unit 41 shown in FIG.
  • the control unit 61 includes an omnifocal image generation unit 611 instead of the omnifocal image generation unit 232 with respect to the control unit 41.
  • the configuration and operation of each unit of the imaging device 60 other than the control unit 61 and the configuration and operation of each unit of the control unit 61 other than the omnifocal image generation unit 611 are the same as those in the third embodiment.
  • the omnifocal image generation unit 611 includes an imaging position determination processing unit 612 that determines an imaging position when acquiring a multifocal superimposed image based on the position of the target slice determined by the target slice determination unit 411.
  • FIG. 19 is a flowchart showing the operation of the microscope observation system 3. Steps S10 to S24 are the same as in the second embodiment (see FIG. 14).
  • step S31 following step S24 the imaging position determination processing unit 612 obtains a multi-focus superimposed image so that the position of the observation region determined in step S22 does not change between a plurality of all-focus images.
  • An imaging position is determined.
  • the imaging position determination processing unit 612 includes the slice F including the observation region R so that the position of the observation region R does not change between the omnifocal images AI 41 , AI 42 , AI 43 , AI 44.
  • Determine the position of the field of view V at j 2 . 20A to 20D, the position of the visual field V is determined so that the observation region R is at the center of the visual field V.
  • the imaging start position of each multi-focus superimposed image SI 41 , SI 42 , SI 43 , SI 44 is calculated. Based on the imaging start position and the shift amounts ⁇ 41 , ⁇ 42 , ⁇ 43 , ⁇ 44 , the imaging position for each slice F j when acquiring each multi-focus superimposed image SI 41 , SI 42 , SI 43 , SI 44 is obtained. Determined.
  • step S ⁇ b> 32 the imaging control unit 22 controls the position of the stage 131 and the imaging unit 211 based on the imaging position determined by the imaging position determination processing unit 612 to reacquire a plurality of multifocus superimposed images.
  • the re-acquisition processing of a plurality of multi-focus superimposed images is the same as step S11 except that the imaging parameters are different.
  • step S33 the omnifocal image generation unit 611 generates a plurality of omnifocal images by restoring the multifocal superimposed image acquired in step S32 using the PSF function.
  • the omnifocal image generation process is the same as that in step S12.
  • step S34 the imaging device 60 causes the display device 50 to display the plurality of omnifocal images generated in step S33. Thereafter, the operation of the microscope observation system 3 ends.
  • a plurality of omnifocal images with different virtual viewpoints are displayed without changing the position of the observation region selected by the user in the omnifocal image. Can do. Therefore, the user can intuitively grasp the position of the observation region in the Z direction, the front-rear relationship with other structures, and the like without changing the line of sight with respect to the observation region selected by the user.
  • FIG. 21 is a schematic diagram illustrating a method of shifting the position of the visual field in a modification of the third embodiment.
  • FIG. 22 is a schematic diagram showing another method of shifting the visual field in the modification of the third embodiment.
  • Embodiments 1 to 3 and the modifications described above are not limited as they are, and various inventions are formed by appropriately combining a plurality of constituent elements disclosed in the embodiments and modifications. be able to. For example, some components may be excluded from all the components shown in the embodiment. Or you may form combining the component shown in different embodiment suitably.
  • Microscope observation system 10 Microscope device 20, 40, 60 Imaging device 21 Image acquisition unit 22 Imaging control unit 23, 41, 61 Control unit 24 Storage unit 25 Input unit 26 Output unit 30, 50 Display device 51 Image display Unit 52 observation region determination unit 100 arm 101 trinocular tube unit 102 lens tube 103 eyepiece unit 104 observation optical system 110 epi-illumination unit 111 epi-illumination light source 112 epi-illumination optical system 120 trans-illumination unit 121 trans-illumination light source 122 trans-illumination Optical system 130 Electric stage unit 131 Stage 132 Stage drive unit 133 Position detection unit 140, 141 Objective lens 142 Revolver 161 Pedestal 161a Slope 211 Imaging unit 212 Memory 231 Shift amount acquisition processing unit 232, 611 All-focus image generation unit 2 41 parameter storage unit 242 program storage unit 411 attention slice acquisition unit 612 imaging position determination processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

Ｚ方向における構造の位置や構造同士の前後関係をユーザが視覚的且つ直感的に把握することができる画像を、短時間に生成することができ、且つデータ量及び演算量を抑制することができる顕微鏡観察システム等を提供する。顕微鏡観察システム１は、顕微鏡装置１０の観察光学系１０４により生成される被写体像を撮像して画像を取得する撮像部２１１と、観察光学系の焦点面及び視野の位置をシフトさせる電動ステージユニット１３０と、撮像部の１露光期間中に焦点面及び視野の位置をシフトさせることにより、多重焦点重畳画像を撮像部に取得させる撮像制御部２２と、視野の位置をシフトさせるシフト量を取得するシフト量取得処理部２３１と、シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部２３２と、複数の全焦点画像を表示する表示装置３０とを備える。

Description

顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
　本発明は、顕微鏡装置において取得された画像を介して被写体を観察する顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムに関する。
　生物学や医学等の分野においては、焦点深度が数十μｍレベルの生物顕微鏡を用いて細胞核や幹細胞等の厚みのある被写体を観察する際、観察光学系の光軸に沿った奥行き方向（Ｚ方向）に存在する注目部位を速やかに特定したいというユーザのニーズがある。このようなニーズに対し、観察光学系の焦点面を光軸に沿ってずらしながら順次撮像を行うことにより焦点面が異なる複数の画像を取得し、これらの複数の画像をもとに、Ｚ方向の各位置に合焦された全焦点画像を生成する技術が知られている。このように取得された焦点面が異なる複数の画像をまとめて、Ｚスタック画像ともいう。
　全焦点画像を生成する方法としては、Ｚスタック画像を重畳して生成した多重焦点画像を、ボケ関数を用いて復元する方法や、焦点面が異なる複数の画像の各々から合焦領域を抽出して合成する方法等がある。
　例えば特許文献１には、被写体の近端側及び遠端側にそれぞれ合焦した２つの画像と、被写体の近端側から遠端側にイメージセンサをスイープしながら撮像して生成した全焦点画像とを取得し、近端側及び遠端側にそれぞれ合焦した画像を、全焦点画像を用いて復元することにより、画像内の部分領域におけるボケ量を算出し、それにより光学系から被写体までの距離を取得して距離マップを作成する技術が開示されている。
国際公開第２０１１／１５８４９８号
　生体等に見られる透明被写体を全焦点画像により観察する場合において、構造がＺ方向に複数存在するとき、これらの構造の各々に合焦していると、各構造のＺ方向における位置を把握することは難しい。また、Ｚ方向において複数の構造が重なっている場合には、それらの構造同士の前後関係、即ちＺ方向における位置関係を把握することも困難である。さらに、Ｚスタック画像は撮像に時間がかかる上に、記憶すべきデータ量や画像処理における演算量が膨大になるという問題もある。
　このような問題に関し、上記特許文献１においては、距離マップを生成することにより、画像に写った構造のＺ位置を視覚的に把握することはできる。しかしながら、距離マップではＺ方向における構造同士の前後関係を視覚的に再現することができず、ユーザが直感的に把握することは困難である。
　本発明は上記に鑑みてなされたものであり、画像に写った構造のＺ方向における位置や構造同士の前後関係をユーザが視覚的且つ直感的に把握することができる画像を、従来よりも短時間に生成することができ、且つ、データ量や画像処理における演算量を従来よりも抑制することができる顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡観察システムは、顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、前記複数の全焦点画像を表示する表示部と、を備えることを特徴とする。
　上記顕微鏡観察システムにおいて、前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする。
　上記顕微鏡観察システムは、外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、をさらに備えることを特徴とする。
　上記顕微鏡観察システムにおいて、前記全焦点画像生成部は、前記観察領域を選択された全焦点画像における前記観察領域の位置に基づき、前記撮像部の１露光期間中に前記観察光学系の視野の位置をシフトさせて多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部を有する、ことを特徴とする。
　上記顕微鏡観察システムにおいて、前記撮像位置決定処理部は、前記複数の全焦点画像の間で各全焦点画像における前記観察領域の位置が変化しないように、前記撮像位置を決定する、ことを特徴とする。
　本発明に係る顕微鏡観察方法は、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示部に表示させる表示ステップと、を含むことを特徴とする。
　本発明に係る顕微鏡観察プログラムは、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する制御を行う撮像制御ステップと、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示部に表示させる表示ステップと、をコンピュータに実行させることを特徴とする。
　本発明によれば、撮像部の１露光期間中に焦点面及び視野の位置をシフトさせることにより多重焦点重畳画像を取得するので、Ｚスタック画像を取得して画像処理により多重焦点画像を生成する場合と比較して、撮像時間を大幅に短縮することができると共に、データ量及び演算量を大幅に抑制することが可能となる。また、本発明によれば、視野の位置のシフト量が異なる複数の条件の下で生成された複数の全焦点画像を画面に表示するので、ユーザは、これらの全焦点画像を対比することにより、画像に写った構造のＺ方向における位置や構造同士の前後関係を視覚的且つ直感的に把握することが可能となる。
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。 図２は、図１に示す顕微鏡装置の構成例を示す模式図である。 図３は、図１に示す顕微鏡観察システムの動作を示すフローチャートである。 図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。 図５は、複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。 図６は、複数の全焦点画像の生成処理の詳細を示すフローチャートである。 図７は、図１に示す表示装置に２つの全焦点画像を並べて表示した例を示す模式図である。 図８は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。 図９は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。 図１０は、本発明の実施の形態１の変形例３における複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。 図１１は、本発明の実施の形態１の変形例３における複数の多重焦点重畳画像の取得処理を説明するための模式図である。 図１２は、本発明の実施の形態１の変形例４における多重焦点重畳画像の取得処理を説明するための模式図である。 図１３は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。 図１４は、図１３に示す顕微鏡観察システムの動作を示すフローチャートである。 図１５は、複数の多重焦点重畳画像を示す模式図である。 図１６は、観察領域の選択方法の一例を示す模式図である。 図１７は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。 図１８は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。 図１９は、図１８に示す顕微鏡観察システムの動作を示すフローチャートである。 図２０は、図１９に示す顕微鏡観察システムの動作を説明するための模式図である。 図２１は、実施の形態３の変形例における視野の位置のシフト方法を示す模式図である。 図２２は、実施の形態３の変形例における視野の位置の別のシフト方法を示す模式図である。
　以下、本発明に係る顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡観察システム１は、被写体像を生成する顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置２０と、撮像装置２０が処理した画像を表示する表示装置３０とを備える。
　図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００上に三眼鏡筒ユニット１０１を介して支持された鏡筒１０２及び接眼レンズユニット１０３と、アーム１００に設けられた落射照明ユニット１１０及び透過照明ユニット１２０と、被写体Ｓが載置されるステージ１３１を含む電動ステージユニット１３０と、鏡筒１０２の一端側に三眼鏡筒ユニット１０１を介してステージ１３１と対向するように設けられ、被写体Ｓからの観察光を結像する対物レンズ１４０とを備える。この対物レンズ１４０と、三眼鏡筒ユニット１０１を介して接続された鏡筒１０２と、該鏡筒１０２の他端側に設けられた撮像部２１１（後述）とが、観察光学系（撮像光学系）１０４を構成する。
　三眼鏡筒ユニット１０１は、対物レンズ１４０から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１０３と、後述する撮像部２１１との方向に分岐する。
　落射照明ユニット１１０は、落射照明用光源１１１及び落射照明光学系１１２を備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１１２は、落射照明用光源１１１から出射した照明光を集光して、観察光学系１０４の光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
　透過照明ユニット１２０は、透過照明用光源１２１及び透過照明光学系１２２を備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１２２は、透過照明用光源１２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
　これらの落射照明ユニット１１０及び透過照明ユニット１２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置１０に、落射照明ユニット１１０と透過照明ユニット１２０とのいずれか一方のみを設けることとしても良い。
　電動ステージユニット１３０は、ステージ１３１と、該ステージ１３１を移動させるステージ駆動部１３２と、位置検出部１３３とを備える。ステージ駆動部１３２は、例えばモータによって構成される。ステージ１３１の被写体載置面１３１ａは、対物レンズ１４０の光軸と直交するように設けられている。以下においては、被写体載置面１３１ａをＸＹ平面とし、該ＸＹ平面の法線方向、即ち光軸と平行な方向をＺ方向とする。Ｚ方向においては、図の下方向、即ち対物レンズ１４０から離れる方向をプラス方向とする。
　ステージ１３１をＸＹ平面内で移動させることにより、対物レンズ１４０の視野の位置をシフトさせることができる。また、ステージ１３１をＺ方向に移動させることにより、対物レンズ１４０の焦点面を光軸Ｌに沿ってシフトさせることができる。即ち、電動ステージユニット１３０は、後述する撮像制御部２２の制御の下でステージ１３１を移動させることにより焦点面及び視野の位置をシフトさせるシフト手段である。
　なお、図２においては、焦点面及び視野の位置をシフトさせる際、鏡筒１０２～対物レンズ１４０を含む観察光学系１０４の位置を固定し、ステージ１３１側を移動させる構成としているが、ステージ１３１の位置を固定し、観察光学系１０４側を移動させても良い。或いは、ステージ１３１と観察光学系１０４との双方を互いに反対方向に移動させても良い。つまり、観察光学系１０４と被写体Ｓとが相対的に移動可能な構成であれば、どのような構成であっても構わない。また、焦点面のシフトは観察光学系１０４のＺ方向における移動により行い、視野Ｖの位置のシフトはステージ１３１のＸＹ平面における移動により行うこととしても良い。
　位置検出部１３３は、例えばモータからなるステージ駆動部１３２の回転量を検出するエンコーダによって構成され、ステージ１３１の位置を検出して検出信号を出力する。なお、ステージ駆動部１３２及び位置検出部１３３の代わりに、後述する撮像制御部２２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。
　対物レンズ１４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４０、１４１）を保持可能なレボルバ１４２に取り付けられている。レボルバ１４２を回転させ、ステージ１３１と対向する対物レンズ１４０、１４１を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４０がステージ１３１と対向している状態を示している。
　再び図１を参照すると、撮像装置２０は、顕微鏡装置１０の観察光学系１０４により生成された被写体像を撮像することにより画像を取得する画像取得部２１と、該画像取得部２１の撮像動作を制御する撮像制御部２２と、当該撮像装置２０における各種動作を制御すると共に、画像取得部２１が取得した画像を処理する制御部２３と、画像取得部２１が取得した画像の画像データや制御プログラム等の各種情報を記憶する記憶部２４と、当該撮像装置２０に対する指示や情報を入力するための入力部２５と、記憶部２４に記憶された画像データに基づく画像やその他各種情報を外部機器に出力する出力部２６とを備える。
　画像取得部２１は、撮像部２１１及びメモリ２１２を備える。撮像部２１１は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子（イメージャ）２１１ａを備え、撮像素子２１１ａが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル（画素値）として輝度値Ｙを出力するモノクロ画像を撮像可能なカメラを用いて撮像部２１１を構成しても良い。
　図２に示すように、撮像部２１１は、光軸Ｌが撮像素子２１１ａの受光面の中心を通るように、鏡筒１０２の一端に設けられ、対物レンズ１４０～鏡筒１０２を含む観察光学系１０４を介して受光面に入射した観察光を光電変換することにより、対物レンズ１４０の視野に入った被写体像の画像データを生成する。
　メモリ２１２は、例えば更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置からなり、撮像部２１１が生成した画像データを一時的に記憶する。
　撮像制御部２２は、撮像部２１１の１露光期間中に、顕微鏡装置１０に制御信号を出力してステージ１３１を移動させることにより、対物レンズ１４０の焦点面や視野の位置をシフトさせ、それにより観察光学系１０４の光軸Ｌ方向の複数の面における画像情報を含む多重焦点重畳画像を取得させる制御を行う。
　制御部２３は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２４に記憶されたプログラムを読み込むことにより、記憶部２４に記憶された各種パラメータや入力部２５から入力される情報等に基づき、撮像装置２０及び顕微鏡観察システム１全体の動作を統括的に制御する。また、制御部２３は、画像取得部２１から入力された画像データに所定の画像処理を施すことにより全焦点画像を生成する処理を実行する。
　詳細には、制御部２３は、多重焦点重畳画像を取得する際に観察光学系１０４の視野の位置をシフトさせるシフト量を取得するシフト量取得処理部２３１と、画像のボケを表す点拡がり関数（Point　Spread　Function）を用いて多重焦点重畳画像を復元することにより全焦点画像を生成する全焦点画像生成部２３２とを備える。
　記憶部２４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体と該記録媒体に対して情報を書き込むと共に該記録媒体に記録された情報を読み取る書込読取装置とによって構成される。記憶部２４は、制御部２３における演算に使用されるパラメータを記憶するパラメータ記憶部２４１と、各種プログラムを記憶するプログラム記憶部２４２とを備える。このうち、パラメータ記憶部２４１は、多重焦点重畳画像を取得する際に視野の位置をシフトさせるシフト量等のパラメータを記憶する。また、プログラム記憶部２４２は、当該撮像装置２０に所定の動作を実行させるための制御プログラムや、画像処理プログラム等を記憶する。
　入力部２５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対してなされる操作に応じた信号を制御部２３に入力する。
　出力部２６は、画像取得部２１により取得された画像データに基づく画像や、制御部２３において生成された全焦点画像や、その他各種情報を表示装置３０等の外部機器に出力し、所定の形式で表示させる外部インタフェースである。
　このような撮像装置２０は、例えば、パーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェースを介して汎用のデジタルカメラを組み合わせることにより構成することができる。
　表示装置３０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する。なお、実施の形態１においては、表示装置３０を撮像装置２０の外部に設けているが、撮像装置２０の内部に設けても良い。
　次に、顕微鏡観察システム１の動作について説明する。図３は、顕微鏡観察システム１の動作を示すフローチャートである。
　まず、ステップＳ１０において、画像取得部２１は、複数の多重焦点重畳画像を取得する。図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。以下においては、図４に示すように、被写体Ｓ内の厚さＤ（μｍ）の範囲を重畳撮像する場合を説明する。この厚さＤの範囲を重畳撮像範囲と呼ぶ。図４においては、重畳撮像範囲を複数のスライスＦj=0～Nに分割して示している。実施の形態１において、各スライスＦjの厚さΔｚは、観察光学系１０４の被写界深度に相当する。また、各スライスＦjにおいて太線で囲む領域が、撮像対象となる観察光学系１０４の視野Ｖであり、視野Ｖに重ねて示す矢印は、焦点面及び視野の位置をシフトさせる方向を示している。
　ステップＳ１０の処理開始時においては、図４の（ａ）に示すように、観察光学系１０４の焦点面がユーザ所望のＺ位置であるスライスＦj=0に合わせられ、視野Ｖがユーザ所望のＸＹ位置に合わせられているものとする。この位置合わせは、ユーザが手動で行っても良いし、自動制御で行われるものとしても良い。
　図５は、複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。まず、ステップＳ１０１において、画像取得部２１は、シフト量ゼロの多重焦点重畳画像を取得する。詳細には、図４の（ａ）に示すように、撮像制御部２２の制御の下で撮像部２１１における露光を開始し、１露光期間中に観察光学系１０４の焦点面を＋Ｚ方向に厚さＤの分だけ移動させる。それにより、スライスＦj=0～Ｆj=NにおいてＸ位置が同じ視野Ｖの像が重畳された多重焦点重畳画像ＳＩ0が取得される。
　続くステップＳ１０２において、シフト量取得処理部２３１は、多重焦点重畳画像を取得する際に視野Ｖの位置をシフトさせるシフト量を取得する。このシフト量は、予め設定された量であっても良く、ユーザ操作に応じて入力部２５から入力された情報に基づいて取得しても良い。
　図４の（ｂ）に示すように、隣り合うスライスＦj、Ｆj+1間における視野Ｖの位置のシフト量をσとする場合、最上面のスライスＦj=0における視野Ｖの位置に対する各スライスＦjにおける視野Ｖの位置のシフト量ｓjは、次式（１）によって与えられる。
　　　ｓj＝σ×ｊ　…（１）
　また、ユーザ操作に応じてシフト量σを決定する場合には、図４の（ｂ）に示すように、被写体Ｓの真上の方向に対してユーザの目線を傾けたときの角度θを入力させると良い。この場合、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）とすると、シフト量σ（ピクセル）は、次式（２）によって与えられる。
　　　σ＝（Ｚ／ｔａｎθ）／ｐ　…（２）
式（２）において距離Ｚは、対物レンズ１４０から被写体Ｓ内の各深度までの距離によって近似することができる。
　続くステップＳ１０３において、撮像制御部２２は、ステップＳ１０２において取得されたシフト量σに基づいて撮像パラメータを設定する。具体的には、撮像制御部２２はまず、次の撮像開始位置まで視野を移動させる移動距離ｔ＝σ×Ｎを算出する。この移動距離は、顕微鏡装置１０においては、撮像部２１１の画素ピッチｐ、観察倍率Ｍ倍を用いて、距離σ×Ｎ×ｐ／Ｍだけステージ１３１をＸ方向に沿って移動させることに相当する。
　また、撮像制御部２２は、撮像パラメータとして、１露光期間中に視野ＶをＸ方向に沿ってシフトさせるシフト速度ｖ1を算出する。シフト速度ｖ1は、１回の露光期間Ｔ1、撮像部２１１の画素ピッチｐ、重畳撮像範囲の厚さＤに含まれる被写界深度Δｚの数Ｎ、及び観察倍率Ｍ倍を用いて、次式（３）によって与えられる。
　　　ｖ1＝（ｐ×σ／Ｍ）／（Ｔ1／Ｎ）　…（３）
　続くステップＳ１０４において、画像取得部２１は、ステップＳ１０３において設定された撮像パラメータに基づく撮像制御部２２の制御の下で、撮像部２１１の１露光期間中に観察光学系１０４の焦点面及び視野Ｖの位置をシフトさせながら被写体Ｓを撮像することにより、シフト量σの多重焦点重畳画像を取得する。
　詳細には、図４の（ｂ）に示すように、まず、視野ＶをＸ方向に距離ｔだけシフトさせる。この位置が次の多重焦点重畳画像の撮像開始位置である。そして、撮像部２１１において露光を開始し、１露光期間中に視野Ｖを－Ｘ方向に速度ｖ1でシフトさせると共に、焦点面を－Ｚ方向に速度Ｄ／Ｔ1でシフトさせる。それにより、各スライスＦj=0～Ｆj=Nにおける視野Ｖの像が重畳された多重焦点重畳画像ＳＩ1が取得される。その後、顕微鏡観察システム１の動作はメインルーチンに戻る。
　ここで、焦点面及び視野Ｖの位置をシフトさせる方向は、図４に示す矢印の方向に限定されない。例えば、図４の（ａ）に示す多重焦点重畳画像ＳＩ0を取得する際、焦点面を－Ｚ方向（スライスＦj=N→Ｆj=０）にシフトさせても良いし、図４の（ｂ）に示す多重焦点重畳画像ＳＩ1を取得する際、焦点面を＋Ｚ方向にシフトさせつつ視野Ｖを＋Ｘ方向にシフトさせても良い。好ましくは、ステージ１３１の移動回数や移動量ができるだけ少なくなるように、複数の多重焦点重畳画像ＳＩ0、ＳＩ1を取得する順序や焦点面及び視野Ｖの位置のシフト方向を設定すると良い。
　ステップＳ１０に続くステップＳ１１において、全焦点画像生成部２３２は、ステップＳ１０において取得された複数の多重焦点重畳画像をもとに、全焦点画像を生成する。
　図６は、全焦点画像の生成処理の詳細を示すフローチャートである。ステップＳ１１１において、全焦点画像生成部２３２は、各スライスＦjの像における画像ボケを表す点拡がり関数（Point　Spread　Function：ＰＳＦ）情報を取得し、このＰＳＦ情報に基づくＰＳＦ画像を生成する。点拡がり関数は、顕微鏡装置１０における対物レンズ１４０の倍率等の撮像条件やスライスＦjと関連づけられて、予めパラメータ記憶部２４１に記憶されている。全焦点画像生成部２３２は、対物レンズ１４０の倍率等の撮像条件に基づき、スライスＦjに応じた点拡がり関数をパラメータ記憶部２４１から読み出し、点拡がり関数をもとに視野Ｖの画像内の各画素位置に対応する画素値を算出することで、スライスＦjごとのＰＳＦ画像を生成する。
　続くステップＳ１１２において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ0に対応するシフト量ゼロの多重焦点重畳ＰＳＦ画像ＰＩ0を生成する。詳細には、ステップＳ１１１において生成したスライスＦj=0～Nにそれぞれ対応する複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ0の各画素の画素値を算出する。
　続くステップＳ１１３において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ1を生成する際に使用されたシフト量σを取得し、このシフト量σに基づいて各スライスＦjに対応するＰＳＦ画像をシフトさせる。即ち、多重焦点重畳画像ＳＩ1を生成する際と同様に、最上面のスライスＦj=0に対応するＰＳＦ画像に対し、他のスライスＦjに対応するＰＳＦ画像をシフト量ｓj＝σ×ｊだけシフトさせる。
　続くステップＳ１１４において、全焦点画像生成部２３２は、ステップＳ１１３におけるシフト処理後の複数のＰＳＦ画像を用いて、シフト量σの多重焦点重畳ＰＳＦ画像ＰＩ1を生成する。詳細には、シフト処理後の複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ1の各画素の画素値を算出する。
　ステップＳ１１５において、全焦点画像生成部２３２は、多重焦点重畳ＰＳＦ画像ＰＩ0、ＰＩ1を用いて、ステップＳ１０において生成した複数の多重焦点重畳画像ＳＩ0、ＳＩ1をそれぞれ復元する。それにより、多重焦点重畳画像ＳＩ0から全焦点画像ＡＩ0が生成ｓれ、多重焦点重畳画像ＳＩ1から全焦点画像ＡＩ1が生成される。その後、制御部２３の動作はメインルーチンに戻る。
　ステップＳ１１に続くステップＳ１２において、撮像装置２０は、ステップＳ１１において生成した複数の全焦点画像ＡＩ0、ＡＩ1の画像データを表示装置３０に出力し、これらの全焦点画像ＡＩ0、ＡＩ1を表示させる。全焦点画像ＡＩ0、ＡＩ1の表示方法は特に限定されない。例えば、全焦点画像ＡＩ0、ＡＩ1を並べて表示しても良いし、同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示しても良い。同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示する場合には、所定の周期で全焦点画像ＡＩ0、ＡＩ1を自動で切り替えても良いし、入力部２５を用いてユーザに手動で切り替えさせることとしても良い。
　図７は、表示装置３０における全焦点画像の表示例を示す模式図である。図７に示す画面ｍ１には、２つの全焦点画像ＡＩ0、ＡＩ1が並べて表示されている。その後、顕微鏡観察システム１の動作は終了する。
　以上説明したように、本発明の実施の形態１においては、１露光期間中に焦点面及び視野の位置をシフトさせて撮像を行うことにより多重焦点重畳画像を取得し、この多重焦点重畳画像を復元することにより全焦点画像を生成する。この際、視野の位置のシフト量が異なる複数の条件の下で全焦点画像を生成して表示することにより、仮想的に複数の視点から被写体Ｓを見た状態を再現することができる。例えば図４の場合、シフト量をゼロとすることにより被写体Ｓを真上から見た状態を再現することができ、シフト量をσとすることにより被写体Ｓを左上から見た状態を再現することができる。従って、ユーザは、これらの全焦点画像を参照することにより、被写体Ｓ内の構造のＺ方向における位置や構造同士の前後関係、構造の重なり具合等を、視覚的且つ直感的に把握することが可能となる。
　また、上記実施の形態１によれば、１露光期間中に焦点面を移動させて撮像を行うことにより多重焦点重畳画像を取得するので、複数回の撮像によりＺスタック画像を取得し、このＺスタック画像を加算平均して多重焦点重畳画像を取得する場合と比較して、撮像を短時間で行うことができると共に、データ量や画像処理における演算量を大幅に抑制することが可能となる。
　なお、上記実施の形態１においては、理解を促進するため、観察光学系１０４の視野ＶをＸ方向においてのみシフトさせる場合を説明したが、Ｙ方向についても同様の処理を行うことができる。この場合、被写体Ｓに対する仮想的な視点をＹ方向に沿って移動させた場合に相当する全焦点画像を生成することができる。また、観察光学系１０４の視野ＶをＸ方向及びＹ方向の２方向にシフトさせることにより、被写体Ｓに対する仮想的な視点を水平面内において移動させた場合に相当する全焦点画像を生成することも可能である。
（変形例１）
　次に、本発明の実施の形態１の変形例１について説明する。図８及び図９は、変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。
　上記実施の形態１においては、ステージ１３１に対して観察光学系１０４の光軸を直交させ、シフト量σの多重焦点重畳画像ＳＩ1を取得する際には、ステージ１３１をＺ方向及びＸ方向に移動させながら撮像を行った。しかしながら、ステージ１３１に対して観察光学系１０４の光軸を予め傾斜させて撮像を行っても良い。
　例えば図８に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置し、この被写体載置面１３１ａの法線に対して観察光学系１０４の光軸Ｌを角度αだけ傾斜させる。それにより、撮像部２１１の焦点面Ｐｆは、被写体載置面１３１ａに対して角度αで傾斜することになる。この場合、観察光学系１０４を光軸Ｌに沿って被写体載置面１３１ａに近づく方向に移動させることにより、被写体Ｓに対して焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。即ち、観察光学系１０４を２次元的に移動させる制御が不要となり、観察光学系１０４に対する駆動制御を簡素化させることができる。
　或いは、図９に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置すると共に、この被写体載置面１３１ａに対して観察光学系１０４の光軸Ｌを直交させて設置する。そして、底面に対して角度αの斜面を有する台座１０６をステージ１３１に設置する。この台座１０６の斜面１６１ａ上に被写体Ｓを載置させることにより、撮像部２１１の焦点面Ｐｆは、斜面１６１ａに対して角度αで傾斜することになる。この場合、ステージ１３１を－Ｚ方向に移動させる、又は観察光学系１０４を＋Ｚ方向に移動させることにより、被写体Ｓに対する焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。この場合には、ステージ１３１又は観察光学系１０４を２次元的に移動させる制御が不要となり、ステージ１３１又は観察光学系１０４に対する駆動制御を簡素化させることができる。
　このように、被写体Ｓに対して焦点面Ｐｆを傾斜させる場合、各種撮像パラメータの設定は次のようにして行う。多重焦点重畳画像ＳＩ1における隣り合うスライス間のシフト量をσ（ピクセル）、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）、厚さＤの重畳撮像範囲に含まれる被写界深度Δｚの数をＮ（Ｎ＝Ｄ／Δｚ）、観察倍率をＭ倍とすると、角度αは次式（４）によって与えられる。
　α＝ｔａｎ-1｛（ｐ×σ×Ｎ/Ｍ）/Ｄ｝　…（４）
　シフト量取得処理部２３１は、シフト量σに基づいて角度αを算出して出力する。撮像制御部２２は、この角度αに基づき、図８に示すように、被写体載置面１３１ａに対する観察光学系１０４の焦点面Ｐｆを角度αだけ傾斜させる制御を行う。
　或いは、図９に示すように台座１６１を設置する場合には、ユーザが入力部２５を用いて、被写体載置面１３１ａに対する斜面１６１ａの角度αを入力する。この場合、シフト量取得処理部２３１は、式（４）から角度αに対応するシフト量σを算出し、撮像制御部２２は、このシフト量σに基づいて各種制御パラメータを算出する。
（変形例２）
　次に、本発明の実施の形態１の変形例２について説明する。上記実施の形態１においては、撮像部２１１の１露光期間中にシャッタを開放させたまま焦点面及び視野Ｖの位置を連続的にシフトさせることにより、多重焦点重畳画像を取得した。しかし、１露光期間中に、撮像部２１１への光の入射を遮るシャッタを所定の周期で開閉し、シャッタが閉じている間に焦点面や視野Ｖの位置を段階的にシフトさせることとしても良い。
　１露光期間中にシャッタを開閉する回数、即ち、撮像部２１１に対して被写体Ｓを露出する回数、或いは焦点面及び視野の位置をシフトさせる回数や、１回当たりの焦点面及び視野Ｖの位置シフト量は、撮像部２１１における１回の露光期間及びシャッタ速度等に応じて適宜設定される。
　例えば、図４の（ａ）に示すシフト量ゼロの多重焦点重畳画像ＳＩ0を取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ、ｋは自然数）移動させる。また、図４の（ｂ）に示すシフト量σの多重焦点重畳画像ＳＩ1を取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ）移動させながら、視野Ｖの位置をシフト量σの複数倍（ｋ×σ）シフトさせる。
　この場合、図６のステップＳ１１１においては、シャッタが開いてから閉じるまでの複数スライスに対応するＰＳＦ画像を生成する。また、図６のステップＳ１１３においては、シャッタの開閉周期に応じた視野Ｖの位置のシフト量に合わせて、ＰＳＦ画像をシフトさせる。Ｓ１１２、Ｓ１１４、Ｓ１１５における処理は、上記実施の形態１と同様である。
（変形例３）
　次に、本発明の実施の形態１の変形例３について説明する。上記実施の形態１においては、シフト量がゼロ及びσの２つの多重焦点重畳画像を取得したが、シフト量が異なる多重焦点重畳画像をさらに取得しても良い。
　図１０は、本変形例３における複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。また、図１１は、本変形例３における複数の多重焦点重畳画像の取得処理を説明するための模式図である。本変形例３においては、シフト量の符号が正である場合、焦点面を＋Ｚ方向にシフトさせるときに、視野Ｖを＋Ｘ方向にシフトさせるものとする。
　まず、ステップＳ１２１において、シフト量取得処理部２３１は、複数の多重焦点重畳画像を取得する際に用いるシフト量σi（ｉ＝１１、１２、…、ｎ）を取得する。ここで、添え字ｉは、多重焦点重畳画像の取得順序を示す変数である。図１１の（ａ）～（ｃ）は、σ11＝＋ｋ、σ12＝０、σ13＝－ｋの３つのシフト量σiを取得する場合を示している。
　これらのシフト量σiは、予め設定された量であっても良く、ユーザ操作に応じて入力部２５から入力された情報に基づいて取得しても良い。後者の場合、被写体Ｓの真上の方向に対してユーザの目線を傾けたときの角度θiをユーザに入力させると良い。これらの角度θiとシフト量σiとの関係は、撮像部２１１の画素ピッチｐ、対物レンズ１４０から被写体Ｓ内の各深度までの距離Ｚ（近似値）を用いて、次式（５）によって与えられる。
　σi＝（Ｚ／ｔａｎθi）／ｐ　…（５）
　続くステップＳ１２２において、撮像制御部２２は、シフト量σiに基づいて撮像パラメータを設定する。具体的には、まず、撮像制御部２２は、撮像パラメータとして、撮像開始位置及びその撮像開始位置まで視野Ｖを移動させる移動距離を算出する。なお、初回の撮像時（ｉ＝１１）には、視野Ｖの移動距離を算出する必要はなく、観察光学系１０４の現在の視野Ｖの位置から撮像を開始すれば良い。
　また、撮像制御部２２は、撮像パラメータとして、撮像部２１１の１露光期間中に視野ＶをＸ方向に沿ってシフトさせるシフト速度を算出する。シフト速度の算出方法は、実施の形態１と同様である（図５のステップＳ１０３参照）。
　続くステップＳ１２３において、画像取得部２１は、ステップＳ１２２において設定された撮像パラメータに基づく撮像制御部２２の制御の下で、撮像部２１１の１露光期間中に観察光学系１０４の焦点面及び視野Ｖの位置をシフトさせながら被写体Ｓを撮像することにより、シフト量σiの多重焦点重畳画像ＳＩiを取得する。多重焦点重畳画像ＳＩiの取得方法は、実施の形態１と同様である（図５のステップＳ１０４参照）。或いは、変形例２と同様に、段階的に撮像を行っても良い。それにより、各スライスＦj=0～Ｆj=Nにおける視野Ｖの像が重畳された多重焦点重畳画像ＳＩiが取得される。
　続くステップＳ１２４において、制御部２３は、変数ｉが最大値ｎに至ったか否かを判定する。変数ｉが最大値ｎに至っていない場合（ステップＳ１２４：Ｎｏ）、制御部２３は、変数ｉをインクリメントする（ステップＳ１２５）。その後、制御部２３の動作はステップＳ１２１に戻る。このようにステップＳ１２１～Ｓ１２３を繰り返すことにより、シフト量σiが異なる複数の多重焦点重畳画像ＳＩiが取得される。
　ここで、多重焦点重畳画像ＳＩiの取得順序や、撮像開始位置や、焦点面及び視野Ｖの位置のシフト方向を制御する撮像パラメータを適切に設定することにより、ステージ１３１の移動量を抑制し、トータルの撮像時間を短縮して多重焦点重畳画像ＳＩiを効率的に取得することができる。
　具体的には、まず、図１１の（ａ）に示すように、１露光期間中に焦点面を＋Ｚ方向にシフトさせながら視野Ｖの位置をシフト量ｋのペースでＸ方向にシフトさせることにより、シフト量σ11の多重焦点重畳画像ＳＩ11を取得する。続いて、図１１の（ｂ）に示すように、撮像開始位置を－Ｘ方向に距離ｔ12＝σ11×Ｎだけ移動させた上で露光を開始し、焦点面を－Ｚ方向にシフトさせることにより、視野Ｖの位置のシフト量σ12＝０の多重焦点重畳画像ＳＩ12を取得する。続いて、図１１の（ｃ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を＋Ｚ方向にシフトさせながら視野Ｖの位置をシフト量ｋのペースで－Ｘ方向にシフトさせることにより、シフト量σ13の多重焦点重畳画像ＳＩ13を取得する。
　一方、ステップＳ１２４において、変数ｉが最大値ｎに至った場合（ステップＳ１２４：Ｙｅｓ）、顕微鏡観察システム１の動作はメインルーチンに戻る。
　このように生成された複数の多重焦点重畳画像ＳＩiに基づく全焦点画像の生成処理（図３のステップＳ１１及び図６参照）は、全体として実施の形態１と同様である。このうち、図６に示すステップＳ１１２～Ｓ１１５においては、多重焦点重畳画像ＳＩiを生成した際に用いられたシフト量σiを用いて、多重焦点重畳画像ＳＩiごとに多重焦点重畳ＰＳＦ画像を生成し、これらの多重焦点重畳ＰＳＦ画像をそれぞれ用いて、多重焦点重畳画像ＳＩiを復元する。それにより、シフト量σiが異なる複数の全焦点画像が生成される。
　また、複数の全焦点画像を表示する際には（図３のステップＳ１２参照）、複数の全焦点画像を並べて表示しても良いし、これらの全焦点画像を同じ領域に順次切り替えて表示しても良い。例えば、図１１の（ａ）～（ｃ）に示す複数の多重焦点重畳画像ＳＩiからそれぞれ取得された複数の全焦点画像を、シフト量σ11＝＋ｋ→シフト量σ12＝０→シフト量σ13＝－ｋ→シフト量σ12＝０→シフト量σ11＝＋ｋ→シフト量σ12＝０→…の順に繰り返し切り替えても良い。
　以上説明したように、本発明の実施の形態１の変形例３によれば、視野Ｖの位置をシフトさせる方向が異なる複数の全焦点画像を生成して表示するので、仮想的に、被写体Ｓを真上（θ12）、左上（θ11）、右上（θ12）の各方向から見た状態を再現することができる。従って、このような全焦点画像を参照することにより、ユーザは、被写体Ｓ内の構造同士のＺ方向における重なり具合や前後関係をさらに詳細に把握することが可能となる。
（変形例４）
　次に、本発明の実施の形態１の変形例４について説明する。上記変形例３においては、２つの多重焦点重畳画像ＳＩ11、ＳＩ13の間で視野Ｖの位置のシフト量σiの大きさを同一にしたが、複数の多重焦点重畳画像ＳＩiの間で、シフト量σiの大きさを変化させても良い。
　図１２は、変形例４における多重焦点重畳画像の取得処理を説明するための模式図である。図１２の（ａ）～（ｅ）に示す多重焦点重畳画像ＳＩ21～ＳＩ25においては、シフト量σ21～σ25の大きさを、σ21＜σ22＜σ23＜σ24＜σ25の順に大きくしている。このようにシフト量σiの大きさを変化させることにより、仮想的に被写体Ｓを様々な角度から観察した状態を再現することができる。これらの多重焦点重畳画像ＳＩiの取得処理は上記変形例３と同様である（図１０参照）。
　また、この場合においても、多重焦点重畳画像ＳＩiの取得順序や、各多重焦点重畳画像ＳＩiの撮像開始位置や、焦点面及び視野Ｖの位置のシフト方向等の制御パラメータを適切に設定することにより、ステージ１３１の移動量を抑制し、トータルの撮像時間を短縮して多重焦点重畳画像ＳＩiを効率的に取得することができる。
　具体的には、まず、図１２の（ａ）に示すように、１露光期間中に焦点面を＋Ｚ方向にシフトさせることにより、シフト量σ21＝０の多重焦点重畳画像ＳＩ21を取得する。続いて、図１２の（ｂ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ22（ｔ22＝σ22×Ｎ）だけ移動させた上で露光を開始し、焦点面を－Ｚ方向にシフトさせながら視野Ｖを－Ｘ方向にシフト量σ22のペースでシフトさせることにより、多重焦点重畳画像ＳＩ22を取得する。続いて、図１２の（ｃ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を－Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ23のペースでシフトさせることにより、多重焦点重畳画像ＳＩ23を取得する。続いて、図１２の（ｄ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ24（ｔ24＝σ24×Ｎ－σ23×Ｎ）だけ移動させた上で露光を開始し、焦点面を－Ｚ方向にシフトさせながら視野Ｖを－Ｘ方向にシフト量σ24のペースでシフトさせることにより、多重焦点重畳画像ＳＩ24を取得する。さらに、図１２の（ｅ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を＋Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ25のペースでシフトさせることにより、多重焦点重畳画像ＳＩ25を取得する。
　これらの多重焦点重畳画像ＳＩiに基づく複数の全焦点画像の生成処理及び複数の画像の表示処理は、変形例３と同様である。
　以上説明したように、本発明の実施の形態１の変形例４によれば、複数の多重焦点重畳画像ＳＩiの間でシフト量σiの大きさを変化させるので、仮想的に、より広い範囲の複数の方向から被写体Ｓを観察した状態を再現することができる。従って、ユーザは、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を直感的かつよりリアルに把握することが可能となる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図１３は、本発明の実施の形態２に係る顕微鏡観察システムの構成を示すブロック図である。図１３に示すように、実施の形態２に係る顕微鏡観察システム２は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置４０と、撮像装置４０が処理した画像等を表示する表示装置５０とを備える。このうち、顕微鏡装置１０の構成及び動作は実施の形態１と同様である（図２参照）。
　撮像装置４０は、図１に示す制御部２３の代わりに制御部４１を備える。制御部４１は、制御部２３に対して、注目スライス取得部４１１をさらに備える。なお、シフト量取得処理部２３１及び全焦点画像生成部２３２の動作は、実施の形態１と同様である。
　注目スライス取得部４１１は、後述する表示装置５０から入力部２５を介して入力される観察領域に対応する被写体Ｓ内の構造が含まれるスライスのＺ方向における位置を取得し、このスライスを注目スライスとして決定する。
　表示装置５０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する画像表示部５１と、外部からなされる操作に応じて、画像表示部５１に表示される全焦点画像内の領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する観察領域決定部５２とを備える。
　次に、顕微鏡観察システム２の動作を説明する。図１４は、顕微鏡観察システム２の動作を示すフローチャートである。なお、ステップＳ１０～Ｓ１２における動作は実施の形態１と同様である。また、図１５は、ステップＳ１０において生成される複数の多重焦点重畳画像ＳＩi（ｉ＝３１～３４）を示す模式図である。実施の形態２においては、これらの多重焦点重畳画像ＳＩiを復元することにより複数の全焦点画像ＡＩiがそれぞれ生成され、画像表示部５１に順次切り替えて表示されるものとする。
　ステップＳ１２に続くステップＳ２１において、観察領域決定部５２は、画像表示部５１に表示された全焦点画像ＡＩ31、ＡＩ32、ＡＩ33、ＡＩ34のいずれかに対して任意の領域を選択するユーザ操作がなされたか否かを判定する。
　ユーザ操作がなされない場合（ステップＳ２１：Ｎｏ）、顕微鏡観察システム２の動作はステップＳ１２に戻る。
　一方、ユーザ操作がなされた場合（ステップＳ２１：Ｙｅｓ）、観察領域決定部５２は、ユーザ操作により選択された領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する（ステップＳ２２）。図１６は、観察領域の選択方法の一例を示す模式図である。観察領域の選択は、例えば図１６に示すように、マウス等を用いたポインタ操作により画像表示部５１に表示された全焦点画像内の所望の領域を囲むことによって行われる。
　続くステップＳ２３において、制御部４１は、観察領域決定部５２から入力された観察領域を表す情報に基づいて、観察領域のＺ位置情報を取得する。図１７は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。以下においては、一例として、図１５に示す全焦点画像ＡＩ34内の領域Ｒ34が観察領域として決定されたものとして説明する。
　ステップＳ２３１において、注目スライス取得部４１１は、全焦点画像Ａ34における観察領域Ｒ34のＸＹ位置情報を取得する。
　続くステップＳ２３２において、注目スライス取得部４１１は、全焦点画像Ａ34以外の各全焦点画像ＡＩ31、ＡＩ32、ＡＩ33から、観察領域Ｒ34に対応する領域Ｒ’31、Ｒ’32、Ｒ’33を抽出し、各領域のＸＹ位置情報を取得する。領域Ｒ’31、Ｒ’32、Ｒ’33は、パターンマッチング等の公知の画像認識技術を用いて抽出することができる。以下、これらの領域Ｒ’31、Ｒ’32、Ｒ’33を観察領域ともいう。
　続くステップＳ２３３において、注目スライス取得部４１１は、全焦点画像ＡＩ31、ＡＩ32、ＡＩ33、ＡＩ34間における観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34のＸＹ位置のシフト量を取得する。図１５の（ａ）～（ｄ）の場合、全焦点画像ＡＩ31における観察領域Ｒ’31のＸ位置と全焦点画像ＡＩ32における観察領域Ｒ’32の位置との間のシフト量、全焦点画像ＡＩ32における観察領域Ｒ’32のＸ位置と全焦点画像ＡＩ33における観察領域Ｒ’33の位置との間のシフト量、及び、全焦点画像ＡＩ33における観察領域Ｒ’33のＸ位置と全焦点画像ＡＩ34における観察領域Ｒ34の位置との間のシフト量が取得される。
　続くステップＳ２３４において、注目スライス取得部４１１は、観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34のシフト量に基づいて、これらの観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34が含まれるスライスＦjを取得する。
　ここで、全焦点画像ＡＩiにおけるシフト量がσiであった場合、最上面のスライスＦj=0における視野Ｖの位置に対する各スライスＦjにおける視野Ｖの位置のシフト量ｓi,jは、次式（６）によって与えられる。
　　　ｓi,j＝σi×ｊ　…（６）
　従って、観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34間のシフト量｜ｓ(i+1),j－ｓi,j｜が与えられれば、次式（７）により、当該観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34が含まれるスライスＦjを特定することができる。
　｜ｓ(i+1)　,j－ｓi,j｜＝σi+1×ｊ－σi×ｊ
　ｊ＝｜ｓ(i+1),j－ｓi,j｜／（σi+1－σi）　…（７）
　例えば図１５の（ｃ）、（ｄ）に示すように、全焦点画像ＡＩ33におけるシフト量σ33が２ピクセル、全焦点画像ＡＩ34におけるシフト量σ34が３ピクセル、観察領域Ｒ’33、Ｒ34間のシフト量が２ピクセルであるとき、式（７）より、ｊ＝２となる。即ち、観察領域Ｒ34はスライスＦj=2に含まれることがわかる。
　注目スライス取得部４１１は、このようにして取得したスライスＦjを観察領域のＺ位置情報として出力する。その後、制御部４１の動作はメインルーチンに戻る。
　ステップＳ２３に続くステップＳ２４において、制御部４１は、注目スライス取得部４１１が出力したＺ位置情報に基づき、このＺ位置に焦点を合わせて撮像を行うことにより、観察領域を含むスライスの画像を取得して表示装置５０に表示させる。この際、制御部４１は、観察領域を含むスライスの画像と共に、このスライスに対して隣り合う他の（即ち、前後の）スライスの画像も取得して表示させることとしても良い。その後、顕微鏡観察システム２の動作は終了する。
　以上説明した本発明の実施の形態２によれば、ユーザは、平面上では重なって見える構造のＺ方向における位置や、構造同士の前後関係を直感的に容易に把握することが可能となる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図１８は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。図１８に示すように、実施の形態３に係る顕微鏡観察システム３は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置６０と、撮像装置６０が処理した画像等を表示する表示装置５０とを備える。このうち、顕微鏡装置１０の構成及び動作は、実施の形態１と同様である（図２参照）。また、表示装置５０の構成及び動作は、実施の形態２と同様である（図１３参照）。
　撮像装置６０は、図１３に示す制御部４１の代わりに制御部６１を備える。制御部６１は、制御部４１に対して、全焦点画像生成部２３２の代わりに全焦点画像生成部６１１を備える。制御部６１以外の撮像装置６０の各部の構成及び動作、並びに、全焦点画像生成部６１１以外の制御部６１の各部の構成及び動作は、実施の形態３と同様である。
　全焦点画像生成部６１１は、注目スライス決定部４１１が決定した注目スライスの位置に基づいて、多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部６１２を有する。
　次に、顕微鏡観察システム３の動作について説明する。図１９は、顕微鏡観察システム３の動作を示すフローチャートである。なお、ステップＳ１０～Ｓ２４は、実施の形態２と同様である（図１４参照）。また、図２０は、顕微鏡観察システム３の動作を説明するための模式図である。以下の説明においては、ステップＳ２２において観察領域Ｒが決定され、ステップＳ２３においてこの観察領域ＲがスライスＦj=2に含まれることが判明したものとする。
　ステップＳ２４に続くステップＳ３１において、撮像位置決定処理部６１２は、複数の全焦点画像の間で、ステップＳ２２において決定された観察領域の位置が変化しないように、多重焦点重畳画像を取得する際の撮像位置を決定する。例えば図２０の場合、撮像位置決定処理部６１２は、全焦点画像ＡＩ41、ＡＩ42、ＡＩ43、ＡＩ44の間で観察領域Ｒの位置が変化しないように、観察領域Ｒが含まれるスライスＦj=2における視野Ｖの位置を確定する。図２０の（ａ）～（ｄ）においては、観察領域Ｒが視野Ｖの中心となるように、視野Ｖの位置を確定している。そして、確定した視野Ｖの位置を基準として、多重焦点重畳画像ＳＩ41、ＳＩ42、ＳＩ43、ＳＩ44についてそれぞれ設定されているシフト量σ41、σ42、σ43、σ44に基づいて、各多重焦点重畳画像ＳＩ41、ＳＩ42、ＳＩ43、ＳＩ44の撮像開始位置を算出する。この撮像開始位置とシフト量σ41、σ42、σ43、σ44とにより、各多重焦点重畳画像ＳＩ41、ＳＩ42、ＳＩ43、ＳＩ44を取得する際の各スライスＦjに対する撮像位置が決まる。
　続くステップＳ３２において、撮像制御部２２は、撮像位置決定処理部６１２が決定した撮像位置に基づいてステージ１３１の位置及び撮像部２１１を制御することにより、複数の多重焦点重畳画像を再取得する。複数の多重焦点重畳画像の再取得処理は、撮像パラメータが異なること以外は、ステップＳ１１と同様である。
　続くステップＳ３３において、全焦点画像生成部６１１は、ステップＳ３２において取得された多重焦点重畳画像をＰＳＦ関数を用いて復元することにより、複数の全焦点画像を生成する。この全焦点画像の生成処理は、ステップＳ１２と同様である。
　続くステップＳ３４において、撮像装置６０は、ステップＳ３３において生成した複数の全焦点画像を表示装置５０に表示させる。その後、顕微鏡観察システム３の動作は終了する。
　以上説明したように、本発明の実施の形態３によれば、ユーザが選択した観察領域の全焦点画像における位置を変化させることなく、仮想的な視点の異なる複数の全焦点画像を表示することができる。従って、ユーザは、自身が選択した観察領域に対する視線を変化させることなく、観察領域のＺ方向における位置や他の構造との前後関係等を直感的に把握することが可能となる。
（変形例）
　次に、本発明の実施の形態３の変形例について説明する。上記実施の形態３では、各多重焦点重畳画像内において隣り合うスライス間でのシフト量を同一としたが、１つの多重焦点重畳画像内においても、隣り合うスライス間でのシフト量を変化させても良い。
　図２１は、実施の形態３の変形例における視野の位置のシフト方法を示す模式図である。図２１においては、スライスＦj=1に含まれる観察領域Ｒ１の位置が複数の全焦点画像の間で変化しないように多重焦点重畳画像ＳＩ51、ＳＩ52を取得している。
　図２１の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ51、ＳＩ52の間において、基準とするスライスＦj=0における視野Ｖの位置に対する各スライスＦjにおける視野Ｖの位置のシフト量、例えばシフト量ｓ51,N、ｓ52,Nは、多重焦点重畳画像ＳＩ52の方で大きくなっている。また、各多重焦点重畳画像ＳＩ51、ＳＩ52において、隣り合うスライス間における視野Ｖの位置のシフト量σは、基準とするスライスＦj=0に近いほど大きくなっている。
　このように、ユーザが注目した観察領域を含むスライスに近いほど、隣り合うスライス間における視野Ｖの位置のシフト量を多くすることにより、注目するスライスの構造を把握し易くすることができる。
　また、上記実施の形態３においては、各スライスＦj=0～Ｆj=Nにおける視野Ｖの位置が一方向に並ぶように、最上面のスライスＦj=0又は最下面のスライスＦj=Nにおける視野Ｖに対するシフト量を順次増加又は順次減少させた。しかしながら、スライスに応じて視野の位置のシフト量の増減を変化させても良い。
　図２２は、実施の形態３の変形例における視野の別のシフト方法を示す模式図である。図２２においては、スライスＦj=3に含まれる観察領域Ｒ２の位置が複数の全焦点画像の間で変化しないように多重焦点重畳画像ＳＩ61、ＳＩ62を取得している。
　図２２の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ61、ＳＩ62においては、観察領域を含むスライスＦj=3を境に、隣り合うスライス間のシフト量の増減を転換させている。それにより、全焦点画像を生成した場合においても、ユーザが選択した観察領域を含むスライスをより際立たせて表示することが可能となる。
　以上説明した実施の形態１～３及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１、２、３　顕微鏡観察システム
　１０　顕微鏡装置
　２０、４０、６０　撮像装置
　２１　画像取得部
　２２　撮像制御部
　２３、４１、６１　制御部
　２４　記憶部
　２５　入力部
　２６　出力部
　３０、５０　表示装置
　５１　画像表示部
　５２　観察領域決定部
　１００　アーム
　１０１　三眼鏡筒ユニット
　１０２　鏡筒
　１０３　接眼レンズユニット
　１０４　観察光学系
　１１０　落射照明ユニット
　１１１　落射照明用光源
　１１２　落射照明光学系
　１２０　透過照明ユニット
　１２１　透過照明用光源
　１２２　透過照明光学系
　１３０　電動ステージユニット
　１３１　ステージ
　１３２　ステージ駆動部
　１３３　位置検出部
　１４０、１４１　対物レンズ
　１４２　レボルバ
　１６１　台座
　１６１ａ　斜面
　２１１　撮像部
　２１２　メモリ
　２３１　シフト量取得処理部
　２３２、６１１　全焦点画像生成部
　２４１　パラメータ記憶部
　２４２　プログラム記憶部
　４１１　注目スライス取得部
　６１２　撮像位置決定処理部
 
 

Claims (7)

  1. 　顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、
    　前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、
    　前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、
    　前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、
    　前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、
    　前記複数の全焦点画像を表示する表示部と、
    を備えることを特徴とする顕微鏡観察システム。
  2. 　前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする請求項１に記載の顕微鏡観察システム。
  3. 　外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、
    　前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、
    をさらに備えることを特徴とする請求項１に記載の顕微鏡観察システム。
  4. 　前記全焦点画像生成部は、前記観察領域を選択された全焦点画像における前記観察領域の位置に基づき、前記撮像部の１露光期間中に前記観察光学系の視野の位置をシフトさせて多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部を有する、ことを特徴とする請求項３に記載の顕微鏡観察システム。
  5. 　前記撮像位置決定処理部は、前記複数の全焦点画像の間で各全焦点画像における前記観察領域の位置が変化しないように、前記撮像位置を決定する、ことを特徴とする請求項４に記載の顕微鏡観察システム。
  6. 　顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、
    　前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、
    　前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、
    　前記複数の全焦点画像を表示部に表示させる表示ステップと、
    を含むことを特徴とする顕微鏡観察方法。
  7. 　顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、
    　前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する制御を行う撮像制御ステップと、
    　前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、
    　前記複数の全焦点画像を表示部に表示させる表示ステップと、
    をコンピュータに実行させることを特徴とする顕微鏡観察プログラム。
     
PCT/JP2015/061742 2015-04-16 2015-04-16 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム WO2016166871A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017512154A JP6563486B2 (ja) 2015-04-16 2015-04-16 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
DE112015006271.8T DE112015006271T5 (de) 2015-04-16 2015-04-16 Mikroskopiesystem, Mikroskopieverfahren und Mikroskopieprogramm
PCT/JP2015/061742 WO2016166871A1 (ja) 2015-04-16 2015-04-16 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US15/782,920 US10613313B2 (en) 2015-04-16 2017-10-13 Microscopy system, microscopy method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/061742 WO2016166871A1 (ja) 2015-04-16 2015-04-16 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/782,920 Continuation US10613313B2 (en) 2015-04-16 2017-10-13 Microscopy system, microscopy method, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2016166871A1 true WO2016166871A1 (ja) 2016-10-20

Family

ID=57125922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061742 WO2016166871A1 (ja) 2015-04-16 2015-04-16 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Country Status (4)

Country Link
US (1) US10613313B2 (ja)
JP (1) JP6563486B2 (ja)
DE (1) DE112015006271T5 (ja)
WO (1) WO2016166871A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107367515A (zh) * 2017-07-14 2017-11-21 华南理工大学 一种超薄柔性ic基板油墨异物检测系统及方法
CN109241812A (zh) * 2017-07-10 2019-01-18 上海爱观视觉科技有限公司 一种原物识别装置及识别方法
JP2020134228A (ja) * 2019-02-15 2020-08-31 日本分光株式会社 自動サンプル検出機能を有する顕微分光装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018066845A (ja) * 2016-10-19 2018-04-26 オリンパス株式会社 顕微鏡システム
JP7034636B2 (ja) * 2017-09-07 2022-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01309478A (ja) * 1988-02-23 1989-12-13 Olympus Optical Co Ltd 画像入出力装置
JP2005017557A (ja) * 2003-06-25 2005-01-20 National Institute Of Advanced Industrial & Technology 三次元顕微鏡システムおよび画像表示方法
JP2011107669A (ja) * 2009-06-23 2011-06-02 Sony Corp 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
JP2014021490A (ja) * 2012-07-19 2014-02-03 Sony Corp スタックされた顕微鏡画像をナビゲートするための方法及び装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
DE3931934C2 (de) 1988-10-03 1994-11-10 Olympus Optical Co Bild-Ein/Ausgabevorrichtung
WO2003023482A1 (de) * 2001-09-11 2003-03-20 Leica Microsystems Wetzlar Gmbh Verfahren und vorrichtung zur optischen untersuchung eines objektes
JP2008067915A (ja) * 2006-09-14 2008-03-27 Canon Inc 医用画像表示装置
JP5868183B2 (ja) 2010-06-15 2016-02-24 パナソニック株式会社 撮像装置及び撮像方法
WO2014149554A1 (en) * 2013-03-15 2014-09-25 Hologic, Inc. System and method for navigating a tomosynthesis stack including automatic focusing
WO2016166858A1 (ja) * 2015-04-15 2016-10-20 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
CN108700733A (zh) * 2016-02-22 2018-10-23 皇家飞利浦有限公司 用于生成生物样本的具有增强景深的合成2d图像的系统
US20180192030A1 (en) * 2016-06-07 2018-07-05 Gary Greenberg 4-D Video Of An Object Using A Microscope
US10838190B2 (en) * 2016-06-21 2020-11-17 Sri International Hyperspectral imaging methods and apparatuses

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01309478A (ja) * 1988-02-23 1989-12-13 Olympus Optical Co Ltd 画像入出力装置
JP2005017557A (ja) * 2003-06-25 2005-01-20 National Institute Of Advanced Industrial & Technology 三次元顕微鏡システムおよび画像表示方法
JP2011107669A (ja) * 2009-06-23 2011-06-02 Sony Corp 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
JP2014021490A (ja) * 2012-07-19 2014-02-03 Sony Corp スタックされた顕微鏡画像をナビゲートするための方法及び装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241812A (zh) * 2017-07-10 2019-01-18 上海爱观视觉科技有限公司 一种原物识别装置及识别方法
CN107367515A (zh) * 2017-07-14 2017-11-21 华南理工大学 一种超薄柔性ic基板油墨异物检测系统及方法
CN107367515B (zh) * 2017-07-14 2019-11-15 华南理工大学 一种超薄柔性ic基板油墨异物检测方法
JP2020134228A (ja) * 2019-02-15 2020-08-31 日本分光株式会社 自動サンプル検出機能を有する顕微分光装置
JP7265248B2 (ja) 2019-02-15 2023-04-26 日本分光株式会社 自動サンプル検出機能を有する顕微分光装置

Also Published As

Publication number Publication date
US20180081162A1 (en) 2018-03-22
JPWO2016166871A1 (ja) 2018-02-08
DE112015006271T5 (de) 2018-01-18
US10613313B2 (en) 2020-04-07
JP6563486B2 (ja) 2019-08-21

Similar Documents

Publication Publication Date Title
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP5555014B2 (ja) バーチャルスライド作成装置
JP5090188B2 (ja) 顕微鏡装置
EP3035104B1 (en) Microscope system and setting value calculation method
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
EP2804145B1 (en) Microscope system and stitched area decision method
US10089768B2 (en) Image processing device, image processing method, image processing program, and imaging system
JP2018181333A (ja) 医学−光学式表示システムを作動させるための方法
JP2015197623A (ja) 顕微鏡システム
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
JP2007017930A (ja) 顕微鏡装置
JPWO2016092674A1 (ja) 観察システム、光学部品、及び観察方法
JP2018194780A (ja) 顕微鏡システム、制御方法、及び、プログラム
JP6312410B2 (ja) アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
JP7030986B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP6422761B2 (ja) 顕微鏡システム、及び、ｚ位置と補正装置の設定値との関係算出方法
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP2016206228A (ja) 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム
JP2012150142A (ja) 顕微鏡制御装置、顕微鏡システム及び該制御方法
US11119303B2 (en) Whole slide image creation device
JP2013255100A (ja) 顕微鏡システム
JP2013250400A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2018033059A (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP2017003874A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15889209

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017512154

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006271

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15889209

Country of ref document: EP

Kind code of ref document: A1