WO2021117328A1 - 制御装置、制御装置の作動方法、制御装置の作動プログラム - Google Patents
制御装置、制御装置の作動方法、制御装置の作動プログラム Download PDFInfo
- Publication number
- WO2021117328A1 WO2021117328A1 PCT/JP2020/038538 JP2020038538W WO2021117328A1 WO 2021117328 A1 WO2021117328 A1 WO 2021117328A1 JP 2020038538 W JP2020038538 W JP 2020038538W WO 2021117328 A1 WO2021117328 A1 WO 2021117328A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- interference fringe
- image
- light
- light source
- fringe image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000005286 illumination Methods 0.000 claims abstract description 63
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 230000001427 coherent effect Effects 0.000 claims description 43
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 67
- 230000010365 information processing Effects 0.000 description 34
- 238000003860 storage Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000001093 holography Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 206010027146 Melanoderma Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
- C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02001—Interferometers characterised by controlling or generating intrinsic radiation properties
- G01B9/02007—Two or more frequencies or sources used for interferometric measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02041—Interferometers characterised by particular imaging or detection techniques
- G01B9/02047—Interferometers characterised by particular imaging or detection techniques using digital holographic imaging, e.g. lensless phase imaging without hologram in the reference path
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/0209—Low-coherence interferometers
- G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/021—Interferometers using holographic techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1425—Optical investigation techniques, e.g. flow cytometry using an analyser being characterised by its control arrangement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
- G03H1/265—Angle multiplexing; Multichannel holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/144—Imaging characterised by its optical setup
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1493—Particle size
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
- G03H2001/0208—Individual components other than the hologram
- G03H2001/0212—Light sources or light beam properties
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/0447—In-line recording arrangement
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/046—Synthetic aperture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/30—3D object
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2222/00—Light sources or light beam properties
- G03H2222/34—Multiple light sources
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
- G03H2227/03—Means for moving one component
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2240/00—Hologram nature or properties
- G03H2240/50—Parameters or numerical values associated with holography, e.g. peel strength
- G03H2240/56—Resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Definitions
- the technology of the present disclosure relates to a control device, a control device operation method, and a control device operation program.
- the light source irradiates the object to be observed with illumination light. Then, by capturing the interference fringes between the diffracted light, which is the illumination light diffracted by the observation target object, and the reference light, which is the illumination light that does not pass through the observation target object, the interference fringe image is output from the imaging element. Let me.
- the interference fringe image contains information in the thickness direction of the observation target object along the irradiation direction of the illumination light. Therefore, by performing appropriate arithmetic processing on the interference fringe image, it is possible to obtain a reconstructed image representing an arbitrary tomographic surface of the observation target object.
- Japanese Patent Application Laid-Open No. 2014-507645 describes a technique for generating a super-resolution interference fringe image exceeding the resolution of an image sensor and generating a reconstructed image from the super-resolution interference fringe image. Specifically, in Japanese Patent Application Laid-Open No. 2014-507645, illumination light is irradiated from a plurality of irradiation positions having different irradiation angles, and an interference fringe image is output for each of the plurality of irradiation positions. Then, a super-resolution interference fringe image is generated based on a plurality of interference fringe images at each irradiation position.
- the technique of the present disclosure provides a control device, an operation method of the control device, and an operation program of the control device capable of obtaining a super-resolution interference fringe image exceeding the resolution of the image sensor without wasteful effort. With the goal.
- the control device of the present disclosure is a control device of an image pickup device having a light source and an image pickup element, and the light source is used for an object to be observed from a plurality of irradiation positions having different irradiation angles. It is possible to irradiate the illumination light, and the imaging element captures the interference fringes between the diffracted light, which is the illumination light diffracted by the observation target object, and the reference light, which is the illumination light that does not pass through the observation target object.
- the interference fringe image is output, and the acquisition unit that acquires the position information indicating the position of the observation target object and the irradiation position corresponding to the position of the observation target object indicated by the position information are the resolutions of the imaging element.
- the setting unit that sets the required irradiation position, which is the irradiation position required to obtain a plurality of interference fringe images that are the source of the super-resolution interference fringe image exceeding the above, from among the multiple irradiation positions, and the operation of the light source. It includes a light source control unit that irradiates illumination light from a required irradiation position by control, and an imaging control unit that outputs an interference fringe image from an imaging element for each required irradiation position.
- the light source has a configuration in which light emitting units of a plurality of illumination lights are arranged at a plurality of irradiation positions, and the light source control unit irradiates the illumination light from the light emitting unit corresponding to the required irradiation position.
- the light source has at least one light emitting unit of illumination light and a moving mechanism of the light emitting unit, and the light source control unit irradiates the illumination light from the light emitting unit while moving the light emitting unit to a required irradiation position by the moving mechanism. Is preferable.
- the acquisition unit captures a reference interference fringe image, which is an interference fringe image obtained by irradiating illumination light from one preset reference irradiation position among a plurality of irradiation positions, or an arbitrary fault plane of an object to be observed. It is preferable to acquire the position information by detecting the position of the object to be observed from the reference reconstructed image which is the reconstructed image to be represented and is the reconstructed image generated based on the reference interference fringe image.
- the acquisition unit acquires size information indicating the size of the object to be observed in addition to the position information, and the setting unit changes the number of required irradiation positions according to the size information.
- the light source control unit irradiates the illumination light only once from the overlapping required irradiation positions.
- the object to be observed is preferably cells in culture.
- the illumination light is preferably coherent light.
- the method of operating the control device of the present disclosure is a method of operating the control device of an image pickup device having a light source and an image pickup element, and the light source is an illumination light for an object to be observed from a plurality of irradiation positions having different irradiation angles.
- the image pickup element captures interference fringes between the diffracted light, which is the illumination light diffracted by the observation target object, and the reference light, which is the illumination light that does not pass through the observation target object. It outputs an interference fringe image, and is an acquisition step for acquiring position information indicating the position of the observation target object and an irradiation position corresponding to the position of the observation target object indicated by the position information, which exceeds the resolution of the image pickup element.
- the operation program of the control device of the present disclosure is an operation program of the control device of an image pickup device having a light source and an image pickup element, and the light source is an illumination light for an object to be observed from a plurality of irradiation positions having different irradiation angles.
- the imaging element captures interference fringes between the diffracted light, which is the illumination light diffracted by the object to be observed, and the reference light, which is the illumination light that does not pass through the object to be observed. It outputs an interference fringe image, and is an acquisition unit that acquires position information indicating the position of the observation target object and an irradiation position corresponding to the position of the observation target object indicated by the position information, which exceeds the resolution of the imaging element.
- the computer functions as a light source control unit that irradiates the illumination light from the required irradiation position and an imaging control unit that outputs an interference fringe image from the imaging element for each required irradiation position.
- a control device an operation method of the control device, and an operation program of the control device, which can obtain a super-resolution interference fringe image exceeding the resolution of the image sensor without wasteful effort. can do.
- FIG. 5A shows the formation of the bright part of the interference fringe
- FIG. 5B shows the formation of the dark part of the interference fringe.
- FIG. 5A shows the formation of the bright part of the interference fringe
- FIG. 5B shows the formation of the dark part of the interference fringe.
- FIG. 5A shows the formation of the bright part of the interference fringe
- FIG. 5B shows the formation of the dark part of the interference fringe.
- FIG. 5A shows the formation of the bright part of the interference fringe
- FIG. 5B shows the formation of the dark part of the interference fringe.
- FIG. 5B shows the installation position and the irradiation position of a light emitting part.
- FIG. 5B shows the generation principle of a super-resolution interference fringe image
- FIG. 8A shows a light emitting part which is adjacent to the light emitting part of FIG. 8A in the X direction when coherent light is emitted from a certain light emitting part.
- the cases where coherent light is irradiated from the above are shown respectively.
- FIG. 37A is a diagram showing a specific example of the required irradiation position of the third embodiment, FIG. 37A shows the case where the cell size is large, FIG. 37B shows the case where the cell size is medium, and FIG. 37C shows the cell size. The cases where it was small are shown respectively.
- the digital holography system 2 is composed of an image pickup device 10 and an information processing device 11.
- the image pickup apparatus 10 and the information processing apparatus 11 are electrically connected to each other, and data can be exchanged with each other.
- a culture container 13 for cells 12 is introduced into the imaging device 10.
- the cell 12 is an example of an "observable object" according to the technique of the present disclosure.
- the information processing device 11 is, for example, a desktop personal computer.
- the image pickup device 10 includes a light source 20, a stage 21, and an image pickup device 22.
- the light source 20 emits coherent light 23 toward the culture vessel 13 placed on the stage 21.
- the coherent light 23 enters the cells 12 and the culture vessel 13. More specifically, as shown in FIG. 3, the coherent light 23 irradiates the entire area of the observation region 25, which is a partial region near the center of the culture vessel 13.
- the observation area 25 has a size of, for example, 1 mm ⁇ 1 mm.
- the coherent light 23 is an example of "illumination light" according to the technique of the present disclosure.
- the Z direction is the irradiation direction of the coherent light 23.
- the X and Y directions are orthogonal to the Z direction and parallel to the image pickup surface 32 (see FIG. 4) of the image pickup device 22. Further, the X direction and the Y direction are orthogonal to each other and are directions along the arrangement direction of the pixels 45 (see FIG. 8) of the image pickup device 22.
- the coherent light 23 incident on the cells 12 and the culture vessel 13 includes the diffracted light 30 diffracted by the cells 12 and the culture vessel 13 and the transmitted light transmitted through the cells 12 and the culture vessel 13. It is divided into 31.
- the diffracted light 30 and the transmitted light 31 interfere with each other on the image pickup surface 32 of the image pickup device 22 to generate interference fringes 33.
- the image sensor 22 images the interference fringes 33 and outputs an interference fringe image 34.
- the transmitted light 31 is an example of the “reference light” according to the technique of the present disclosure.
- the solid line indicates the wave plane having the maximum amplitude of the diffracted light 30 and the transmitted light 31.
- the broken line indicates the wave surface having the minimum amplitude of the diffracted light 30 and the transmitted light 31.
- the white spot 35 shown on the imaging surface 32 is a portion where the wave surfaces of the diffracted light 30 and the transmitted light 31 are aligned and strengthened (see FIG. 5A). The portion of the white spot 35 appears as a bright portion 36 in the interference fringe 33.
- the black spot 37 shown on the imaging surface 32 is a portion where the wave surfaces of the diffracted light 30 and the transmitted light 31 are deviated by half a wavelength and weakened (see FIG. 5B). The portion of the black spot 37 appears as a dark portion 38 in the interference fringe 33.
- VCSEL Vertical Cavity Surface Emitting Laser
- the installation positions of the light emitting units 41 such as IP11, IP12, ..., IP54, and IP55 are the irradiation positions of a plurality of coherent lights 23 having different irradiation angles.
- a super-resolution interference fringe image 104 (see FIG. 22 and the like) exceeding the resolution of the image pickup device 22 is generated. can do.
- the irradiation angle is different means that the incident angle of the coherent light 23 on the image pickup surface 32 of the image pickup element 22 is different.
- FIG. 7 is a view of the light source 20 viewed from the side of the image sensor 22.
- FIG. 8A shows a case where the coherent light 23 is irradiated from a certain light emitting unit 41A
- FIG. 8B shows a case where the coherent light 23 is irradiated from a light emitting unit 41B adjacent to the light emitting unit 41A in the X direction. Shown.
- the angle of incidence of the coherent light 23 from the light emitting unit 41A on the cell 12 is different from the angle of incidence of the coherent light 23 from the light emitting unit 41B on the cell 12. Therefore, the information of the interference fringes 33 by the cells 12 obtained by the pixels 45 of the image sensor 22 is also different.
- the interference fringe images 34A and 34B having different pixel values can be obtained in the case of FIG. 8A and the case of FIG. 8B, respectively.
- the ⁇ mark represents the pixel value of the interference fringe image 34A
- the ⁇ mark represents the pixel value of the interference fringe image 34B.
- the pixel 45 of the image sensor 22 has a size of, for example, 2 ⁇ m ⁇ 2 ⁇ m.
- the sampling point of the cell 12 is deviated by half of the pixel 45, that is, by half a pixel between the case of FIG. 8A and the case of FIG.
- the interference fringe image 34B obtained in the case of FIG. 8B is shifted by half a pixel with the interference fringe image 34A obtained in the case of FIG. 8A as a reference.
- the interference fringe image 34A obtained in the case of FIG. 8A and the interference fringe image 34BB are integrated into an interference fringe image 34ABB.
- the interference fringe image 34ABB is an image having twice the number of pixels as the interference fringe images 34A and 34B.
- the interference fringe image 34ABB is nothing but a super-resolution interference fringe image 104 that exceeds the resolution of the image sensor 22.
- the process of shifting the interference fringe image 34B by half a pixel to obtain the interference fringe image 34BB is called an alignment process.
- the process of integrating the interference fringe image 34A and the interference fringe image 34BB is called a reconstruction process.
- the image pickup apparatus 10 includes a storage device 50, a memory 51, and a CPU (Central Processing Unit) 52.
- the storage device 50 and the memory 51 are connected to the CPU 52.
- the storage device 50, the memory 51, and the CPU 52 are examples of the “computer” according to the technology of the present disclosure.
- the storage device 50 is a hard disk drive or a solid state drive.
- the memory 51 is a work memory for the CPU 52 to execute a process.
- the CPU 52 comprehensively controls each part of the computer by loading the program stored in the storage device 50 into the memory 51 and executing processing according to the program.
- the operation program 55 is stored in the storage device 50.
- the operation program 55 is an application program for making a computer including a storage device 50, a memory 51, and a CPU 52 function as a control device. That is, the operation program 55 is an example of the “control device operation program” according to the technique of the present disclosure.
- the storage device 50 also stores the required irradiation position table 56.
- the CPU 52 When the operation program 55 is activated, the CPU 52 functions as a light source control unit 60, an image pickup control unit 61, an acquisition unit 62, a setting unit 63, and a transmission control unit 64 in cooperation with the memory 51 and the like.
- the light source control unit 60, the image pickup control unit 61, the acquisition unit 62, and the setting unit 63 realize the control device 68 of the present disclosure.
- the light source control unit 60 controls the operation of the light source 20 and irradiates the coherent light 23 from the light emitting unit 41.
- the image pickup control unit 61 controls the operation of the image pickup element 22 and outputs the interference fringe image 34 from the image pickup element 22.
- the light source control unit 60 and the image pickup control unit 61 synchronize the irradiation timing of the coherent light 23 from the light emitting unit 41 with the image pickup timing of the interference fringe image 34 by the image pickup element 22.
- the acquisition unit 62 receives the reference interference fringe image 34R from the image sensor 22.
- the acquisition unit 62 detects the position of the cell 12 from the reference interference fringe image 34R.
- the acquisition unit 62 acquires the position information 70 indicating the position of the cell 12.
- the acquisition unit 62 outputs the position information 70 to the setting unit 63.
- the setting unit 63 sets the required irradiation position, which is the irradiation position IP corresponding to the position of the cell 12 indicated by the position information 70, from among the plurality of irradiation positions IP11 to IP55, with reference to the required irradiation position table 56. ..
- the required irradiation position is an irradiation position IP required to obtain a plurality of interference fringe images 34 that are the basis of the super-resolution interference fringe image 104.
- the setting unit 63 outputs the setting information 71 indicating the required irradiation position to the light source control unit 60.
- the light source control unit 60 irradiates the coherent light 23 from the light emitting unit 41 at the required irradiation position indicated by the setting information 71.
- the image pickup control unit 61 outputs an interference fringe image 34 from the image pickup device 22 for each required irradiation position.
- the transmission control unit 64 receives the interference fringe image 34 from the image sensor 22.
- the transmission control unit 64 controls to transmit the interference fringe image 34 to the information processing device 11.
- the interference fringe image 34 may be temporarily stored in the storage device 50 and then transmitted to the information processing device 11 by the transmission control unit 64.
- the reference interference fringe image 34R is obtained by irradiating the coherent light 23 from the light emitting portion 41 of one irradiation position IP33 located at the center indicated by hatching among the plurality of irradiation positions IP11 to IP55. It is the interference fringe image 34. That is, the irradiation position IP33 is an example of the "reference irradiation position" according to the technique of the present disclosure.
- the acquisition unit 62 analyzes the reference interference fringe image 34R and detects, for example, the position of the center point C1 of the interference fringe 33 reflected in the reference interference fringe image 34R as the position of the cell 12.
- the acquisition unit 62 outputs the position coordinates (X_C1, Y_C1) of the center point C1 of the interference fringe 33 to the setting unit 63 as position information 70.
- the region R11 in the upper left corner corresponds to the irradiation position IP15
- the region R15 in the upper right corner corresponds to the irradiation position IP11.
- the region R51 in the lower left corner corresponds to the irradiation position IP55
- the region R55 in the lower right corner corresponds to the irradiation position IP51.
- the required irradiation position table 56 corresponding required irradiation positions are registered for each of the regions R11 to R55 of the reference interference fringe image 34R.
- the required irradiation position is the irradiation position corresponding to the region R11 (hereinafter referred to as the center point corresponding irradiation position) IP15.
- Irradiation positions IP14, IP24, and IP25 adjacent to the center point corresponding irradiation position IP15 for a total of four locations.
- the required irradiation positions are adjacent to the center point corresponding irradiation position IP14 corresponding to the region R12 and the center point corresponding irradiation position IP14.
- the region of the reference interference fringe image 34R where the center point C1 of the interference fringe 33 is located is R42
- the required irradiation positions are adjacent to the center point corresponding irradiation position IP44 corresponding to the region R42 and the center point corresponding irradiation position IP44.
- Irradiation positions are IP33, IP34, IP35, IP43, IP45, IP53, IP54, and IP55, for a total of nine locations.
- the required irradiation position always includes the irradiation position corresponding to the center point corresponding to the region R of the reference interference fringe image 34R in which the center point C1 of the interference fringe 33 is located. Then, it is composed of the irradiation position corresponding to the center point and the irradiation position IP adjacent to the irradiation position corresponding to the center point.
- the number of required irradiation positions is 4 at the minimum and 9 at the maximum.
- FIGS. 15 and 16 show a case where the region of the reference interference fringe image 34R where the center point C1 of the interference fringe 33 is located is R14.
- the required irradiation positions are the irradiation positions IP11, IP12, IP13, IP21, IP22, and IP23.
- the light source control unit 60 irradiates the coherent light 23 from the light emitting unit 41 in the order of irradiation positions IP11, IP12, IP13, IP23, IP22, and IP21, for example.
- the required irradiation positions are the irradiation positions IP33, IP34, IP35, IP43, IP44, IP45, IP53, IP54, and IP55.
- the light source control unit 60 irradiates the coherent light 23 from the light emitting unit 41 in the order of irradiation positions IP33, IP34, IP35, IP45, IP44, IP43, IP53, IP54, and IP55, for example.
- FIGS. 19 and 20 show the case where the reference interference fringe image 34R has two interference fringes 33. That is, FIGS. 19 and 20 show the case where the regions of the reference interference fringe image 34R where the center point C1 of the interference fringe 33 is located are R21 and R42.
- the required irradiation positions corresponding to the region R21 are the irradiation positions IP14, IP15, IP24, IP25, IP34, and IP35.
- the required irradiation positions corresponding to the region R42 are irradiation positions IP33, IP34, IP35, IP43, IP44, IP45, IP53, IP54, and IP55. That is, the irradiation positions IP34 and IP35 overlap as the required irradiation positions.
- the light source control unit 60 irradiates the coherent light 23 from the light emitting unit 41 in the order of, for example, the irradiation positions IP33, IP43, IP53, IP54, IP44, IP34, IP24, IP14, IP15, IP25, IP35, IP45, and IP55. That is, the light source control unit 60 irradiates the coherent light 23 only once from the irradiation positions IP34 and IP35, which are the overlapping required irradiation positions.
- the computer constituting the information processing device 11 includes a storage device 80, a memory 81, a CPU (Central Processing Unit) 82, a communication unit 83, a display 84, and an input device 85. These are interconnected via a bus line 86.
- a storage device 80 a memory 81, a CPU (Central Processing Unit) 82, a communication unit 83, a display 84, and an input device 85.
- a CPU Central Processing Unit
- the storage device 80 is a hard disk drive built in the computer constituting the information processing device 11 or connected via a cable or a network.
- the storage device 80 is a disk array in which a plurality of hard disk drives are connected in series.
- the storage device 80 stores control programs such as an operating system, various application programs, and various data associated with these programs.
- a solid state drive may be used instead of the hard disk drive.
- the memory 81 is a work memory for the CPU 82 to execute processing.
- the CPU 82 comprehensively controls each part of the computer by loading the program stored in the storage device 80 into the memory 81 and executing the processing according to the program.
- the communication unit 83 is a network interface that controls the transmission of various information via a network such as a LAN (Local Area Network).
- the display 84 displays various screens.
- the computer constituting the information processing device 11 receives input of operation instructions from the input device 85 through various screens.
- the input device 85 is a keyboard, a mouse, a touch panel, or the like.
- the operation program 90 is stored in the storage device 80 of the information processing device 11.
- the storage device 80 also stores the interference fringe image group 91 and the reconstructed image 92.
- the interference fringe image group 91 is a collection of a plurality of interference fringe images 34 that are the sources of the super-resolution interference fringe image 104 transmitted from the image pickup apparatus 10.
- the CPU 82 of the computer constituting the information processing device 11 cooperates with the memory 81 and the like to read / write (hereinafter abbreviated as RW (Read Write)) control unit 100 and super-resolution. It functions as a processing unit 101, a reconstruction processing unit 102, and a display control unit 103.
- RW Read Write
- the RW control unit 100 controls the storage of various data in the storage device 80 and the reading of various data in the storage device 80.
- the RW control unit 100 receives the interference fringe image 34 from the image pickup apparatus 10 and stores it in the storage device 80 as the interference fringe image group 91. Further, the RW control unit 100 reads out the interference fringe image group 91 from the storage device 80 and outputs the interference fringe image group 91 to the super-resolution processing unit 101.
- the super-resolution processing unit 101 generates a super-resolution interference fringe image 104 from the interference fringe image group 91.
- the super-resolution processing unit 101 outputs the super-resolution interference fringe image 104 to the reconstruction processing unit 102.
- the reconstruction processing unit 102 generates the reconstruction image 92 from the super-resolution interference fringe image 104.
- the reconstruction processing unit 102 outputs the reconstruction image 92 to the RW control unit 100.
- the RW control unit 100 stores the reconstructed image 92 in the storage device 80. Further, the RW control unit 100 reads the reconstructed image 92 from the storage device 80 and outputs the reconstructed image 92 to the display control unit 103.
- the display control unit 103 controls the display of various screens on the display 84.
- the various screens include a reconstructed image display screen 150 (see FIG. 27), which is a screen for displaying the reconstructed image 92.
- the super-resolution processing unit 101 has an alignment processing unit 110 and a generation unit 111.
- the alignment processing unit 110 performs the alignment processing outlined in FIG. 9 on the plurality of interference fringe images 34 constituting the interference fringe image group 91.
- the alignment processing unit 110 outputs the alignment information 112, which is the result of the alignment processing, to the generation unit 111.
- the generation unit 111 performs the reconstruction process outlined in FIG. 9 on the plurality of interference fringe images 34 constituting the interference fringe image group 91 while referring to the alignment information 112. As a result, the super-resolution interference fringe image 104 is generated.
- FIG. 24 is a diagram showing details of the alignment process by the alignment process unit 110.
- the alignment processing unit 110 performs alignment processing by, for example, area-based matching.
- the alignment processing unit 110 applies various deformation parameters such as translation, rotation, and enlargement / reduction to the alignment target image 120, deforms the alignment target image 120, and transforms the alignment target image 120 into a deformation alignment target image 120D.
- Step ST1 the deformation alignment target image 120D and the alignment reference image 121 are compared, and the degree of similarity between them is calculated (step ST2).
- the deformation parameters are updated so that the similarity is high (step ST3).
- the alignment processing unit 110 repeats the processes of steps ST1 to ST3 until the similarity between the deformation alignment target image 120D and the alignment reference image 121 becomes equal to or higher than a preset threshold value.
- the alignment processing unit 110 outputs the deformation parameter when the similarity between the deformation alignment target image 120D and the alignment reference image 121 becomes equal to or higher than the threshold value to the generation unit 111 as the alignment information 112.
- the alignment reference image 121 is one of a plurality of interference fringe images 34 constituting the interference fringe image group 91, and the alignment target image 120 is an interference fringe image 34 other than the alignment reference image 121. ..
- the alignment reference image 121 is, for example, an interference fringe image 34 obtained when the coherent light 23 is irradiated from the light emitting unit 41 at the irradiation position corresponding to the center point.
- the region of the reference interference fringe image 34R where the center point C1 of the interference fringe 33 is located is R14
- the irradiation position corresponding to the center point corresponding to the region R14 is IP12.
- the interference fringe image 34 obtained when the coherent light 23 is irradiated from the light emitting unit 41 of the irradiation position IP12 corresponding to the center point becomes the alignment reference image 121.
- the alignment reference image 121 is irradiated with the center point corresponding to the region R of the reference interference fringe image 34R in which the center point C1 of the interference fringes 33 is located.
- the coherent light 23 is irradiated from the light emitting portion 41 of the irradiation position corresponding to the center point (irradiation position IP44 corresponding to the region R42 in the case of FIGS. 19 and 20) which is the position and is closer to the irradiation position IP33 corresponding to the central region R33. It is the interference fringe image 34 obtained in the case of.
- FIG. 25 is a diagram showing details of the reconstruction process by the generation unit 111.
- the generation unit 111 performs reconstruction processing by estimating the maximum posteriori probability (MAP; Maximum A Posteriori), for example.
- MAP maximum posteriori probability
- the generation unit 111 generates an appropriate assumed super-resolution interference fringe image 104AS, and from the assumed super-resolution interference fringe image 104AS, the point spread function (PSF; Point Spread Function) of the image sensor 22 and the alignment information 112.
- the estimated interference fringe image group 91ES is generated based on the above (step ST5).
- the estimated interference fringe image group 91ES and the actual interference fringe image group 91 are compared (step ST6).
- the hypothetical super-resolution interference fringe image 104AS is updated so that the difference between the estimated interference fringe image group 91ES and the actual interference fringe image group 91 becomes small (step ST7).
- the generation unit 111 repeats the processes of steps ST5 to ST7 until the difference between the estimated interference fringe image group 91ES and the actual interference fringe image group 91 becomes less than a preset threshold value.
- the generation unit 111 converts the assumed super-resolution interference fringe image 104AS when the difference between the estimated interference fringe image group 91ES and the actual interference fringe image group 91 is less than the threshold value into the final super-resolution interference fringe image 104. Output as.
- FIG. 26 is a diagram showing an outline of arithmetic processing by the reconstruction processing unit 102.
- the reconstruction processing unit 102 first reconstructs the super-resolution interference fringe image 104 to generate the reconstructed image 92.
- the reconstructed image group 130 is a collection of a plurality of reconstructed images 92.
- Each of the plurality of reconstructed images 92 is an image showing the tomographic planes 131 arranged at equal intervals in the thickness direction of the cells 12 and the culture vessel 13 along the Z direction.
- the reconstruction processing unit 102 selects one reconstructed image 92 that is most in focus from the plurality of reconstructed images 92 of the reconstructed image group 130.
- the reconstruction processing unit 102 outputs the selected reconstruction image 92 to the RW control unit 100.
- As a method of selecting the reconstructed image 92 that is most in focus the contrast value of each of the plurality of reconstructed images 92 is calculated, and the reconstructed image 92 having the highest contrast value is most in focus.
- a method of selecting the reconstructed image 92 or the like can be adopted.
- the reconstructed image 92 is displayed together with the type information 151 on the reconstructed image display screen 150.
- the type information 151 includes the type of the cell 12, the number of days for culturing the cell 12, the type of the culture vessel 13, the type of the culture solution, and the amount used.
- the display of the reconstructed image display screen 150 disappears when the confirmation button 152 is selected.
- the CPU 52 of the image pickup apparatus 10 includes a light source control unit 60, an image pickup control unit 61, an acquisition unit 62, a setting unit 63, and a transmission control unit. Functions as 64.
- the coherent light 23 is irradiated from the light emitting unit 41 of the irradiation position IP33, which is the reference irradiation position, as shown in FIG. 11 (step ST100).
- the interference fringe 33 generated by this is imaged by the image pickup device 22 under the control of the image pickup control unit 61, and the reference interference fringe image 34R is output from the image pickup element 22 (step ST110).
- the reference interference fringe image 34R is input to the acquisition unit 62.
- step ST120 is an example of an "acquisition step” according to the technique of the present disclosure.
- step ST130 the required irradiation position is set from the plurality of irradiation positions IP11 to IP55 based on the required irradiation position table 56 and the position information 70 (step ST130). .. Then, the setting information 71 indicating the required irradiation position is generated. The setting information 71 is output from the setting unit 63 to the light source control unit 60.
- step ST130 is an example of a "setting step" according to the technique of the present disclosure.
- step ST140 Under the control of the light source control unit 60, the coherent light 23 is irradiated from the light emitting unit 41 at the required irradiation position indicated by the setting information 71 (step ST140). Then, the interference fringe 33 generated by this is imaged by the image pickup device 22 under the control of the image pickup control unit 61, and the interference fringe image 34 is output from the image pickup element 22 (step ST150).
- step ST140 is an example of a "light source control step” according to the technique of the present disclosure.
- step ST150 is an example of an "imaging control step” according to the technique of the present disclosure.
- the interference fringe image 34 is input to the transmission control unit 64 and transmitted to the information processing device 11 by the transmission control unit 64 (step ST160). These steps ST140 to ST160 are repeated while the imaging of the interference fringe image 34 at all the required irradiation positions is not completed (NO in step ST170). When the imaging of the interference fringe image 34 at all the required irradiation positions is completed (YES in step ST170), the repetitive processing of steps ST140 to ST160 is completed.
- the CPU 82 of the information processing device 11 includes the RW control unit 100, the super-resolution processing unit 101, the reconstruction processing unit 102, and the display. It functions as a control unit 103.
- the information processing device 11 receives the interference fringe image 34 from the image pickup device 10.
- the interference fringe image 34 is stored in the storage device 80 by the RW control unit 100.
- the interference fringe image group 91 is stored in the storage device 80.
- the RW control unit 100 reads out the interference fringe image group 91 from the storage device 80 (step ST200).
- the interference fringe image group 91 is output from the RW control unit 100 to the super-resolution processing unit 101.
- the super-resolution processing unit 101 performs the alignment process and the reconstruction process, and the super-resolution interference fringe image 104 is generated from the interference fringe image group 91 (step ST210). ..
- the super-resolution interference fringe image 104 is output from the super-resolution processing unit 101 to the reconstruction processing unit 102.
- the reconstruction processing unit 102 generates the reconstruction image 92 from the super-resolution interference fringe image 104 (step ST220).
- the reconstructed image 92 is output from the reconstructed processing unit 102 to the RW control unit 100, and is stored in the storage device 80 by the RW control unit 100 (step ST230).
- the RW control unit 100 reads out the reconstructed image 92 from the storage device 80.
- the reconstructed image 92 is output from the RW control unit 100 to the display control unit 103.
- the display control unit 103 displays the reconstructed image display screen 150 on the display 84, and the reconstructed image 92 is provided for viewing by the user (step ST240).
- the control device 68 of the image pickup device 10 includes an acquisition unit 62, a setting unit 63, a light source control unit 60, and an image pickup control unit 61.
- the acquisition unit 62 acquires the position information 70 indicating the position of the cell 12 which is the observation target object.
- the setting unit 63 sets the required irradiation position from the plurality of irradiation positions IP11 to IP55.
- the required irradiation position is an irradiation position corresponding to the position of the cell 12 indicated by the position information 70, and a plurality of interference fringe images 34 that are the source of the super-resolution interference fringe image 104 exceeding the resolution of the image sensor 22 are obtained. This is the irradiation position required for this.
- the light source control unit 60 controls the operation of the light source 20 to irradiate the coherent light 23 from the required irradiation position.
- the image pickup control unit 61 outputs an interference fringe image 34 from the image pickup device 22 for each required irradiation position. Therefore, the interference fringe image 34, which has almost no contribution to super-resolution, is not imaged. Therefore, it is possible to obtain the super-resolution interference fringe image 104 without wasting time and effort.
- the acquisition unit 62 receives cells from the reference interference fringe image 34R, which is the interference fringe image 34 obtained by irradiating the coherent light 23 from one preset reference irradiation position IP33 among the plurality of irradiation positions IP11 to IP55. By detecting the position of 12, the position information 70 is acquired. Therefore, the position information 70 can be acquired without bothering the user.
- the light source control unit 60 irradiates the coherent light 23 only once from the overlapping required irradiation positions. Therefore, it is possible to irradiate the coherent light 23 many times from the overlapping required irradiation positions and save the trouble of capturing many substantially the same interference fringe images 34, and the super-resolution interference fringe image 104 can be obtained in a shorter time. Obtainable.
- the field of cell culture has recently been in the limelight with the advent of iPS (Induced Pluripotent Stem) cells and the like. Therefore, there is a demand for a technique for analyzing cells 12 in culture in detail without wasting time.
- the object to be observed is a cell 12 in culture. Therefore, it can be said that the technology of the present disclosure is a technology that can meet recent demands.
- the acquisition unit 62 acquires the position information 70 by detecting the position of the cell 12 from the reference interference fringe image 34R, but the present invention is not limited to this. As shown in FIG. 30, instead of the reference interference fringe image 34R, the position of the cell 12 is detected by detecting the position of the cell 12 from the reference reconstruction image 92R which is the reconstruction image 92 generated based on the reference interference fringe image 34R. Information 70 may be acquired.
- the CPU 52 of the image pickup apparatus 10 also functions as a generation unit 160 in addition to the units 60 to 64 shown in FIG. 10 (only the acquisition unit 62 is shown in FIG. 30).
- the generation unit 160 has the same function as the reconstruction processing unit 102 of the information processing device 11.
- the generation unit 160 generates the reference reconstruction image 92R from the reference interference fringe image 34R in the same way that the reconstruction processing unit 102 generates the reconstruction image 92 from the super-resolution interference fringe image 104.
- the generation unit 160 outputs the reference reconstruction image 92R to the acquisition unit 62.
- the acquisition unit 62 analyzes the reference reconstructed image 92R and detects, for example, the position of the center point C2 of the cell 12 reflected in the reference reconstructed image 92R as the position of the cell 12.
- the acquisition unit 62 outputs the position coordinates (X_C2, Y_C2) of the center point C2 of the cell 12 to the setting unit 63 as position information 70.
- the interference fringes 33 are generated not only by the cells 12 but also by dust and the like in the culture solution. Therefore, when the position of the center point C1 of the interference fringe 33 reflected in the reference interference fringe image 34R is detected as the position of the cell 12, there is a considerable possibility that dust or the like is erroneously recognized as the cell 12. Therefore, as shown in FIG. 30, it is preferable to detect the position of the cell 12 from the reference reconstruction image 92R generated based on the reference interference fringe image 34R instead of the reference interference fringe image 34R. However, it takes time and effort to generate the reference reconstruction image 92R from the reference interference fringe image 34R. Therefore, when the reduction of such labor is considered first, it is better to adopt the method of detecting the position of the cell 12 from the reference interference fringe image 34R.
- the mode shown in FIG. 31 may be used. That is, the reference interference fringe image 34R is transmitted from the imaging device 10 to the information processing device 11, and the reconstruction processing unit 102 of the information processing device 11 generates the reference reconstruction image 92R from the reference interference fringe image 34R. Then, the reference reconstructed image 92R is transmitted from the information processing device 11 to the image pickup device 10. In this way, it is not necessary to provide the generation unit 160 in the image pickup apparatus 10.
- the mode of acquiring the position information 70 is not limited to the mode of detecting the position of the cell 12 from the reference interference fringe image 34R or the reference reconstructed image 92R exemplified in the first embodiment.
- the second embodiment shown in FIGS. 32 to 35 may be adopted.
- the image pickup apparatus 10 transmits the reference interference fringe image 34R to the information processing apparatus 11.
- the display control unit 103 of the information processing device 11 controls the display of the reference interference fringe image display screen 170 (see also FIG. 33), which is the display screen of the reference interference fringe image 34R, on the display 84. Then, on the reference interference fringe image display screen 170, the user is made to specify the position of the cell 12 via the input device 85.
- the information processing device 11 generates position information 70 based on the designation of the position of the cell 12 on the reference interference fringe image display screen 170, and transmits the generated position information 70 to the image pickup device 10.
- the acquisition unit 62 acquires the position information 70 from the information processing device 11.
- the reference interference fringe image 34R is displayed on the reference interference fringe image display screen 170, and a designation release button 171 and a designation button 172 are provided below the reference interference fringe image 34R.
- the center point C1 of the interference fringe 33 which is the position of the cell 12, can be input by, for example, moving the mouse cursor of the input device 85 to a desired position on the reference interference fringe image 34R and double-clicking the mouse. Is.
- the designation release button 171 is selected, the designation of the center point C1 of the most recently specified interference fringe 33 is canceled.
- the designation button 172 is selected, the position coordinates (X_C1, Y_C1) of the center point C1 of the interference fringe 33 designated at that time are acquired by the acquisition unit 62 as the position information 70.
- FIG. 34 is an example in which the reference reconstruction image 92R is used instead of the reference interference fringe image 34R.
- the reconstruction processing unit 102 of the information processing device 11 generates the reference reconstruction image 92R from the reference interference fringe image 34R.
- the reconstruction processing unit 102 outputs the reference reconstruction image 92R to the display control unit 103.
- the display control unit 103 controls the display of the reference reconstruction image display screen 180 (see also FIG. 35), which is the display screen of the reference reconstruction image 92R, on the display 84. Then, on the reference reconstruction image display screen 180, the user is made to specify the position of the cell 12 via the input device 85.
- the information processing device 11 generates position information 70 based on the designation of the position of the cell 12 on the reference reconstructed image display screen 180, and transmits the generated position information 70 to the image pickup device 10.
- the acquisition unit 62 acquires the position information 70 from the information processing device 11.
- the reference reconstruction image 92R is displayed on the reference reconstruction image display screen 180, and a designation release button 181 and a designation button 182 are provided below the reference reconstruction image 92R.
- the mouse cursor of the input device 85 is placed at a desired position on the reference reconstruction image 92R, as in the case of the reference interference fringe image display screen 170, and the mouse is moved. You can enter it by double-clicking.
- the designation release button 181 is selected, the designation of the center point C2 of the most recently designated cell 12 is canceled as in the case of the designation release button 171.
- the position coordinates (X_C2, Y_C2) of the center point C2 of the cell 12 designated at that time are acquired by the acquisition unit 62 as the position information 70, as in the case of the designation button 172.
- the display control unit 103 of the information processing apparatus 11 has the reference interference fringe image display screen 170 shown in FIGS. 32 and 33, or the reference reconstructed image shown in FIGS. 34 and 35. Controls the display of the display screen 180.
- the acquisition unit 62 acquires the position information 70 by accepting the designation of the position of the cell 12 on the reference interference fringe image display screen 170 or the reference reconstruction image display screen 180. Therefore, it is possible to acquire the more probable position information 70 specified by the user himself / herself.
- control device of the present disclosure is realized by the light source control unit 60, the image pickup control unit 61, the acquisition unit 62, the setting unit 63, and the display control unit 103 of the information processing device 11.
- the processing unit constituting the control device may be not only the image pickup device 10 but also the information processing device 11.
- the number of required irradiation positions is changed according to the size information 190 indicating the size of the cells 12.
- the acquisition unit 62 analyzes, for example, the reference reconstructed image 92R and counts the number of pixels of the cells 12 reflected in the reference reconstructed image 92R. Then, the cells 12 are assigned three sizes, large, medium, and small, according to the number of counted pixels. When a plurality of cells 12 are present, the number of pixels of each of the plurality of cells 12 is counted, and the size is assigned with the cell 12 having the smallest number of counted pixels as a representative. As a result, the acquisition unit 62 acquires size information 190 indicating the size of the cell 12. The acquisition unit 62 outputs the size information 190 to the setting unit 63.
- the setting unit 63 changes the number of required irradiation positions according to the size information 190. Specifically, as shown in the required irradiation position number table 191, when the size of the cell 12 is large, the required irradiation position is maximized at 5 points, and when the cell 12 size is medium, the required irradiation position is maximized. If the size of 9 cells and 12 cells is small, the maximum number of irradiation positions required is 17. In this way, as the size of the cell 12 decreases, the number of required irradiation positions is set to increase.
- the reason for increasing the number of required irradiation positions as the size of the cell 12 decreases is that the smaller the size of the cell 12, the closer to the limit of the resolution of the image sensor 22, and the more difficult it is to obtain a clear interference fringe image 34. Is.
- FIG. 37 shows the required irradiation position when the region of the reference interference fringe image 34R where the center point C1 of the interference fringe 33 is located is R33.
- FIG. 37A shows the case where the size of the cell 12 was large
- FIG. 37B shows the case where the size of the cell 12 was medium
- FIG. 37C shows the case where the size of the cell 12 was small.
- the required irradiation positions are a total of five irradiation positions IP22, IP24, IP33, IP42, and IP44.
- the required irradiation positions are the irradiation positions IP22, IP23, IP24, IP32, IP33, IP34, IP42, IP43, and IP44, for a total of nine locations.
- the required irradiation positions are the irradiation positions IP11, IP13, IP15, IP22, IP23, IP24, IP31, IP32, IP33, IP34, IP35, IP42, IP43, IP44, There are a total of 17 locations, IP51, IP53, and IP55.
- the acquisition unit 62 acquires the size information 190 indicating the size of the cell 12 in addition to the position information 70.
- the setting unit 63 changes the number of required irradiation positions according to the size information 190. Therefore, the number of interference fringe images 34 adapted to the size of the cell 12 can be obtained, and the super-resolution interference fringe image 104 adapted to the size of the cell 12 can be generated.
- the size of the cell 12 is not limited to three stages: large, medium, and small. There may be two stages, small size and other. Alternatively, it may be subdivided into three stages. Further, the number of required irradiation positions to be changed is not limited to the illustrated 5, 9, and 17 locations. In the case of a large size, the required irradiation position may be set to only one place so that the super-resolution interference fringe image 104 itself is not generated.
- the light source 200 has one light emitting unit 201, a moving stage 202, and a moving mechanism 203.
- the light emitting unit 201 moves on the moving stage 202 by the moving mechanism 203.
- the moving mechanism 203 includes, for example, a motor and a rack and pinion gear that converts the rotation of the motor into translational motion along the X and Y directions.
- the light source 200 having such a configuration, it is possible to irradiate the coherent light 23 from a plurality of irradiation positions IP11 to IP55 having different irradiation angles.
- the configuration becomes complicated due to the movement stage 202 and the movement mechanism 203.
- the imaging interval of the plurality of interference fringe images 34 becomes longer than that of the light source 20 of each of the above embodiments. If the imaging interval is long, the cells 12 may move between imaging. Therefore, the light source 20 of each of the above embodiments is more preferable.
- the light emitting units 41, 201, and 211 are arranged in parallel with the imaging surface 32, but the present invention is not limited to this.
- the light source 220 shown in FIG. 40 may be used.
- the light emitting unit 221B other than the central light emitting unit 221A is arranged so as to be inclined with respect to the imaging surface 32.
- the inclination angle of the light emitting portion 221B increases toward the end. Further, the inclination angle of the light emitting unit 221B at a symmetrical position with respect to the light emitting unit 221A is the same.
- the light emitting unit 221B may be movable, and the inclination angle of the light emitting unit 221B may be changed.
- the reference interference fringe image 34R may be diverted to generate the super-resolution interference fringe image 104.
- the light emitting unit may be, for example, the tip of an optical fiber that is connected to a laser diode that emits coherent light 23 and guides the coherent light 23. Further, the irradiation angle of the coherent light 23 may be different by swinging the light emitting portion around an axis along the X direction or the Y direction. In this case, the swing position of the light emitting portion corresponds to the irradiation position.
- the object to be observed is not limited to the illustrated cell 12. Bacteria, viruses and the like may be objects to be observed.
- the diffracted light is not limited to the diffracted light 30 transmitted through the object to be observed, and may be diffracted light reflected from the object to be observed.
- the coherent light 23 from the light source 20 may be separated into a diffracted light and a reference light and irradiated to the observation target object, respectively.
- the illumination light does not have to be the coherent light 23, as long as it produces interference fringes 33 that can withstand observation.
- the hardware configuration of the computer that makes up the control device can be modified in various ways.
- the control device can be composed of a plurality of computers separated as hardware for the purpose of improving processing power and reliability.
- the functions of the light source control unit 60 and the image pickup control unit 61 and the functions of the acquisition unit 62 and the setting unit 63 are distributed to two computers.
- the control device is composed of two computers.
- the two computers may be an imaging device 10 and an information processing device 11.
- the functions of the light source control unit 60 and the image pickup control unit 61 are assigned to the image pickup device 10
- the functions of the acquisition unit 62 and the setting unit 63 are assigned to the information processing device 11.
- the information processing device 11 may be responsible for all the functions of the light source control unit 60, the image pickup control unit 61, the acquisition unit 62, and the setting unit 63.
- the hardware configuration of the computer of the control device can be appropriately changed according to the required performance such as processing capacity, safety, and reliability.
- application programs such as operation programs 55 and 90 can be duplicated or distributed and stored in a plurality of storage devices for the purpose of ensuring safety and reliability. It is possible.
- the light source control unit 60, the image pickup control unit 61, the acquisition unit 62, the setting unit 63, the transmission control unit 64, the RW control unit 100, and the super-resolution processing unit 101 (alignment processing unit 110 and generation).
- the processing unit Processesing Unit
- the reconstruction processing units 102 and 160, and the display control unit 103 the following various processors are used. be able to.
- various processors include FPGAs (Field Programmable Gate Arrays) in addition to CPUs 52 and 82, which are general-purpose processors that execute software (operation programs 55 and 90) and function as various processing units.
- PLD programmable logic device
- ASIC Application Specific Integrated Circuit
- One processor may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU and a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
- one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
- the processor functions as a plurality of processing units.
- SoC System On Chip
- a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. is there.
- the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
- an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
- a control device for an image pickup device having a light source and an image pickup device.
- the light source can irradiate the observation target object with illumination light from a plurality of irradiation positions having different irradiation angles.
- the image pickup element captures an interference fringe image of the diffracted light, which is the illumination light diffracted by the observation target object, and the reference light, which is the illumination light that does not pass through the observation target object, to obtain an interference fringe image.
- An acquisition processor that acquires position information indicating the position of the object to be observed, and It is an irradiation position corresponding to the position of the observation target object indicated by the position information, and is necessary for obtaining a plurality of the interference fringe images that are the source of the super-resolution interference fringe image exceeding the resolution of the image sensor.
- a setting processor that sets the required irradiation position, which is the irradiation position, from among the plurality of irradiation positions.
- a light source control processor that irradiates the illumination light from the required irradiation position by controlling the operation of the light source.
- An image pickup control processor that outputs the interference fringe image from the image sensor for each required irradiation position.
- a control device comprising.
- the technique of the present disclosure can be appropriately combined with the various embodiments described above and various modifications.
- various configurations can be adopted as long as the gist is not deviated.
- the technique of the present disclosure extends to a storage medium for storing the program non-temporarily in addition to the program.
- a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be A alone, B alone, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Dispersion Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Organic Chemistry (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- Algebra (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Biomedical Technology (AREA)
- Biotechnology (AREA)
- Microbiology (AREA)
- Sustainable Development (AREA)
- Cell Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Genetics & Genomics (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
光源と撮像素子とを有する撮像装置の制御装置であって、光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、撮像素子は、観察対象物体によって回折された照明光である回折光と、観察対象物体を経ない照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、観察対象物体の位置を示す位置情報を取得する取得部と、位置情報で示される観察対象物体の位置に対応する照射位置であり、撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の照射位置の中から設定する設定部と、光源の動作を制御することにより、必要照射位置から照明光を照射させる光源制御部と、必要照射位置毎に、撮像素子から干渉縞画像を出力させる撮像制御部と、を備える制御装置。
Description
本開示の技術は、制御装置、制御装置の作動方法、制御装置の作動プログラムに関する。
デジタルホログラフィでは、光源から観察対象物体に照明光を照射する。そして、観察対象物体によって回折された照明光である回折光と、観察対象物体を経ない照明光である参照光との干渉縞を撮像素子で撮像することで、撮像素子から干渉縞画像を出力させる。干渉縞画像は、照明光の照射方向に沿う観察対象物体の厚み方向の情報を含んでいる。このため、干渉縞画像に対して適当な演算処理を施すことで、観察対象物体の任意の断層面を表す再構成画像を得ることができる。
特表2014-507645号公報には、撮像素子の解像度を超える超解像干渉縞画像を生成し、超解像干渉縞画像から再構成画像を生成する技術が記載されている。具体的には、特表2014-507645号公報では、照射角度が異なる複数の照射位置から照明光を照射させ、複数の照射位置毎に干渉縞画像を出力させている。そして、各照射位置における複数枚の干渉縞画像に基づいて、超解像干渉縞画像を生成している。
特表2014-507645号公報では、複数の照射位置の全てから照明光を照射させ、その都度干渉縞画像を出力させている。しかしながら、観察対象物体の位置によっては、複数の照射位置に対応する複数枚の干渉縞画像の中に、超解像化への寄与度がほとんどなく、省略しても問題ない干渉縞画像が存在する場合がある。この場合、超解像化への寄与度がほとんどない干渉縞画像を撮像する処理が無駄になる。
本開示の技術は、撮像素子の解像度を超える超解像干渉縞画像を、無駄な手間を掛けることなく得ることが可能な制御装置、制御装置の作動方法、制御装置の作動プログラムを提供することを目的とする。
上記目的を達成するために、本開示の制御装置は、光源と撮像素子とを有する撮像装置の制御装置であって、光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、撮像素子は、観察対象物体によって回折された照明光である回折光と、観察対象物体を経ない照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、観察対象物体の位置を示す位置情報を取得する取得部と、位置情報で示される観察対象物体の位置に対応する照射位置であり、撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の照射位置の中から設定する設定部と、光源の動作を制御することにより、必要照射位置から照明光を照射させる光源制御部と、必要照射位置毎に、撮像素子から干渉縞画像を出力させる撮像制御部と、を備える。
光源は、複数の照明光の発光部が複数の照射位置に並べられた構成を有し、光源制御部は、必要照射位置に対応する発光部から照明光を照射させることが好ましい。
光源は、照明光の発光部を少なくとも1つと、発光部の移動機構とを有し、光源制御部は、移動機構によって発光部を必要照射位置に移動させつつ、発光部から照明光を照射させることが好ましい。
取得部は、複数の照射位置のうちの予め設定された1つの基準照射位置から照明光を照射して得られた干渉縞画像である基準干渉縞画像、または観察対象物体の任意の断層面を表す再構成画像であり、基準干渉縞画像を元に生成された再構成画像である基準再構成画像から、観察対象物体の位置を検出することで、位置情報を取得することが好ましい。
複数の照射位置のうちの予め設定された1つの基準照射位置から照明光を照射して得られた干渉縞画像である基準干渉縞画像の表示画面、または観察対象物体の任意の断層面を表す再構成画像であり、基準干渉縞画像を元に生成された再構成画像である基準再構成画像の表示画面を表示する制御を行う表示制御部を備え、取得部は、表示画面上での観察対象物体の位置の指定を受け付けることで、位置情報を取得することが好ましい。
取得部は、位置情報に加えて、観察対象物体のサイズを示すサイズ情報を取得し、設定部は、サイズ情報に応じて、必要照射位置の数を変更することが好ましい。
観察対象物体が複数存在し、かつ必要照射位置が複数の観察対象物体の間で重複する場合、光源制御部は、重複する必要照射位置から一度だけ照明光を照射させることが好ましい。
観察対象物体は培養中の細胞であることが好ましい。
照明光はコヒーレント光であることが好ましい。
本開示の制御装置の作動方法は、光源と撮像素子とを有する撮像装置の制御装置の作動方法であって、光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、撮像素子は、観察対象物体によって回折された照明光である回折光と、観察対象物体を経ない照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、観察対象物体の位置を示す位置情報を取得する取得ステップと、位置情報で示される観察対象物体の位置に対応する照射位置であり、撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の照射位置の中から設定する設定ステップと、光源の動作を制御することにより、必要照射位置から照明光を照射させる光源制御ステップと、必要照射位置毎に、撮像素子から干渉縞画像を出力させる撮像制御ステップと、を備える。
本開示の制御装置の作動プログラムは、光源と撮像素子とを有する撮像装置の制御装置の作動プログラムであって、光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、撮像素子は、観察対象物体によって回折された照明光である回折光と、観察対象物体を経ない照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、観察対象物体の位置を示す位置情報を取得する取得部と、位置情報で示される観察対象物体の位置に対応する照射位置であり、撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の照射位置の中から設定する設定部と、光源の動作を制御することにより、必要照射位置から照明光を照射させる光源制御部と、必要照射位置毎に、撮像素子から干渉縞画像を出力させる撮像制御部として、コンピュータを機能させる。
本開示の技術によれば、撮像素子の解像度を超える超解像干渉縞画像を、無駄な手間を掛けることなく得ることが可能な制御装置、制御装置の作動方法、制御装置の作動プログラムを提供することができる。
[第1実施形態]
図1において、デジタルホログラフィシステム2は、撮像装置10と情報処理装置11とで構成される。撮像装置10と情報処理装置11とは電気的に接続されており、相互にデータの遣り取りが可能である。撮像装置10には細胞12の培養容器13が導入される。細胞12は、本開示の技術に係る「観察対象物体」の一例である。情報処理装置11は、例えばデスクトップ型のパーソナルコンピュータである。
図1において、デジタルホログラフィシステム2は、撮像装置10と情報処理装置11とで構成される。撮像装置10と情報処理装置11とは電気的に接続されており、相互にデータの遣り取りが可能である。撮像装置10には細胞12の培養容器13が導入される。細胞12は、本開示の技術に係る「観察対象物体」の一例である。情報処理装置11は、例えばデスクトップ型のパーソナルコンピュータである。
図2において、撮像装置10は、光源20、ステージ21、および撮像素子22を備えている。光源20は、ステージ21上に載置された培養容器13に向けてコヒーレント光23を出射する。コヒーレント光23は、細胞12および培養容器13に入射する。より詳しくは図3に示すように、コヒーレント光23は、培養容器13の中央付近の一部領域である観察領域25の全域に照射される。観察領域25は、例えば、1mm×1mmのサイズを有する。コヒーレント光23は、本開示の技術に係る「照明光」の一例である。なお、Z方向は、コヒーレント光23の照射方向である。X方向およびY方向は、Z方向に直交し、撮像素子22の撮像面32(図4参照)と平行な方向である。また、X方向およびY方向は、互いに直交し、撮像素子22の画素45(図8参照)の配列方向に沿う方向である。
図4に示すように、細胞12および培養容器13に入射したコヒーレント光23は、細胞12および培養容器13によって回折された回折光30と、細胞12および培養容器13を経ずに透過した透過光31とに分かれる。回折光30と透過光31とは、撮像素子22の撮像面32上で干渉し、干渉縞33を生じる。撮像素子22は、この干渉縞33を撮像し、干渉縞画像34を出力する。透過光31は、本開示の技術に係る「参照光」の一例である。
図5にも示すように、回折光30および透過光31を表す線のうち、実線は回折光30および透過光31の最大振幅の波面を示す。対して破線は回折光30および透過光31の最小振幅の波面を示す。撮像面32上に示す白点35は、回折光30および透過光31の波面が揃って強め合う部分である(図5A参照)。この白点35の部分は、干渉縞33においては明部36として現れる。対して、撮像面32上に示す黒点37は、回折光30および透過光31の波面が半波長分ずれて弱め合う部分である(図5B参照)。この黒点37の部分は、干渉縞33においては暗部38として現れる。
図6に示すように、光源20は直方体状の筐体40を有する。筐体40のステージ21と対向する面には、5×5=25個の発光部41が、X方向およびY方向に等間隔で配列されている。発光部41は、それぞれ個別にコヒーレント光23を発する。こうした複数の発光部41が並べられた構成の光源20としては、例えば、垂直共振器面発光型半導体レーザーアレイ素子(VCSEL;Vertical Cavity Surface Emitting Laser)が挙げられる。なお、発光部41は、数μmオーダーのサイズを有する。
図7に示すように、IP11、IP12、・・・、IP54、およびIP55といった、各発光部41の設置位置は、照射角度が異なる複数のコヒーレント光23の照射位置である。こうした複数の発光部41が複数の照射位置IP11~IP55に並べられた構成を有する光源20を用いることで、撮像素子22の解像度を超える超解像干渉縞画像104(図22等参照)を生成することができる。なお、「照射角度が異なる」とは、撮像素子22の撮像面32への、コヒーレント光23の入射角度が異なるという意である。また、図7は、撮像素子22の側から光源20を見た図である。
図8および図9は、超解像干渉縞画像104の生成原理を概念的に示す図である。まず図8において、図8Aは、ある発光部41Aからコヒーレント光23が照射された場合、図8Bは、発光部41AとX方向で隣接する発光部41Bからコヒーレント光23が照射された場合をそれぞれ示す。発光部41Aからのコヒーレント光23の細胞12への入射角度と、発光部41Bからのコヒーレント光23の細胞12への入射角度とは異なる。このため、撮像素子22の画素45で得られる、細胞12による干渉縞33の情報も異なる。したがって、図8Aの場合と図8Bの場合とで、それぞれ異なる画素値の干渉縞画像34Aおよび34Bが得られる。○印は干渉縞画像34Aの画素値を表し、□印は干渉縞画像34Bの画素値を表している。なお、撮像素子22の画素45は、例えば、2μm×2μmのサイズを有する。
図8Aの場合と図8Bの場合とで、細胞12のサンプリング点が画素45の半分、すなわち半画素分ずれていたと仮定する。この場合、図9に示すように、例えば、図8Aの場合に得られた干渉縞画像34Aを基準として、図8Bの場合に得られた干渉縞画像34Bを半画素ずらし、干渉縞画像34BBとする。そのうえで、図8Aの場合に得られた干渉縞画像34Aと、干渉縞画像34BBとを統合し、干渉縞画像34ABBとする。干渉縞画像34ABBは、干渉縞画像34Aおよび34Bの2倍の画素数の画像である。つまり、干渉縞画像34ABBは、撮像素子22の解像度を超える超解像干渉縞画像104に他ならない。なお、干渉縞画像34Bを半画素ずらし、干渉縞画像34BBとする処理は、位置合わせ処理と呼ばれる。また、干渉縞画像34Aと干渉縞画像34BBを統合する処理は、再構成処理と呼ばれる。
図8および図9では、X方向のみの一次元で説明しているが、これにY方向が加わった二次元であっても、超解像干渉縞画像104の生成原理の基本的な考え方は同じである。例えばX方向およびY方向で隣接する2×2=4個の発光部41から各々コヒーレント光23が照射され、その都度撮像素子22から干渉縞画像34を出力された場合を考える。この場合、上記同様に細胞12のサンプリング点が半画素分ずれていたと仮定すると、撮像素子22から出力された干渉縞画像34の、2×2=4倍の画素数の超解像干渉縞画像104が得られることになる。
図10において、撮像装置10は、ストレージデバイス50、メモリ51、およびCPU(Central Processing Unit)52を備えている。ストレージデバイス50およびメモリ51は、CPU52と接続されている。これらストレージデバイス50、メモリ51、およびCPU52は、本開示の技術に係る「コンピュータ」の一例である。
ストレージデバイス50は、ハードディスクドライブ、あるいはソリッドステートドライブである。メモリ51は、CPU52が処理を実行するためのワークメモリである。CPU52は、ストレージデバイス50に記憶されたプログラムをメモリ51へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
ストレージデバイス50には、作動プログラム55が記憶されている。作動プログラム55は、ストレージデバイス50、メモリ51、およびCPU52で構成されるコンピュータを制御装置として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム55は、本開示の技術に係る「制御装置の作動プログラム」の一例である。ストレージデバイス50には、必要照射位置テーブル56も記憶されている。
作動プログラム55が起動されると、CPU52は、メモリ51等と協働して、光源制御部60、撮像制御部61、取得部62、設定部63、および送信制御部64として機能する。これら各部のうち、光源制御部60、撮像制御部61、取得部62、および設定部63によって、本開示の制御装置68が実現される。
光源制御部60は、光源20の動作を制御し、発光部41からコヒーレント光23を照射させる。撮像制御部61は、撮像素子22の動作を制御し、撮像素子22から干渉縞画像34を出力させる。光源制御部60および撮像制御部61は、発光部41からのコヒーレント光23の照射タイミングと、撮像素子22による干渉縞画像34の撮像タイミングとを同期させる。
取得部62は、撮像素子22から基準干渉縞画像34Rを受け取る。取得部62は、基準干渉縞画像34Rから、細胞12の位置を検出する。これにより、取得部62は、細胞12の位置を示す位置情報70を取得する。取得部62は、位置情報70を設定部63に出力する。
設定部63は、必要照射位置テーブル56を参照しつつ、位置情報70で示される細胞12の位置に対応する照射位置IPである必要照射位置を、複数の照射位置IP11~IP55の中から設定する。必要照射位置は、超解像干渉縞画像104の元となる複数枚の干渉縞画像34を得るために必要な照射位置IPである。設定部63は、必要照射位置を示す設定情報71を光源制御部60に出力する。
光源制御部60は、設定情報71で示される必要照射位置の発光部41からコヒーレント光23を照射させる。撮像制御部61は、必要照射位置毎に、撮像素子22から干渉縞画像34を出力させる。
送信制御部64は、撮像素子22から干渉縞画像34を受け取る。送信制御部64は、干渉縞画像34を情報処理装置11に送信する制御を行う。なお、干渉縞画像34を一旦ストレージデバイス50に記憶してから、送信制御部64により情報処理装置11に送信してもよい。
図11に示すように、基準干渉縞画像34Rは、複数の照射位置IP11~IP55のうち、ハッチングで示す中心に位置する1つの照射位置IP33の発光部41からコヒーレント光23を照射して得られた干渉縞画像34である。すなわち、照射位置IP33は、本開示の技術に係る「基準照射位置」の一例である。
図12に示すように、取得部62は、基準干渉縞画像34Rを画像解析し、細胞12の位置として、例えば、基準干渉縞画像34Rに映る干渉縞33の中心点C1の位置を検出する。取得部62は、干渉縞33の中心点C1の位置座標(X_C1、Y_C1)を、位置情報70として設定部63に出力する。
図13は、干渉縞画像34を5×5=25分割した各領域R11、R12、・・・、R54、およびR55と、各照射位置IP11~IP55との対応関係を示す図である。例えば左上隅の領域R11は照射位置IP15と対応し、右上隅の領域R15は照射位置IP11と対応している。また、左下隅の領域R51は照射位置IP55と対応し、右下隅の領域R55は照射位置IP51と対応している。
図14において、必要照射位置テーブル56には、基準干渉縞画像34Rの領域R11~R55毎に、対応する必要照射位置が登録されている。例えば、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域がR11であった場合、必要照射位置は、領域R11に対応する照射位置(以下、中心点対応照射位置という)IP15と、中心点対応照射位置IP15に隣接する照射位置IP14、IP24、およびIP25の、計4箇所である。干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域がR12であった場合、必要照射位置は、領域R12に対応する中心点対応照射位置IP14と、中心点対応照射位置IP14に隣接する照射位置IP13、IP15、IP23、IP24、およびIP25の、計6箇所である。干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域がR42であった場合、必要照射位置は、領域R42に対応する中心点対応照射位置IP44と、中心点対応照射位置IP44に隣接する照射位置IP33、IP34、IP35、IP43、IP45、IP53、IP54、およびIP55の、計9箇所である。このように、必要照射位置は、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域Rに対応する中心点対応照射位置を必ず含んでいる。そして、この中心点対応照射位置と、中心点対応照射位置に隣接する照射位置IPとで構成される。また、必要照射位置の数は、最小4箇所、最大9箇所である。
図15~図20は、必要照射位置の具体例を示す図である。まず図15および図16は、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域がR14であった場合を示す。この場合、必要照射位置テーブル56によれば、必要照射位置は、照射位置IP11、IP12、IP13、IP21、IP22、およびIP23である。光源制御部60は、例えば、照射位置IP11、IP12、IP13、IP23、IP22、IP21の順に、発光部41からコヒーレント光23を照射させる。
図17および図18は、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域がR42であった場合を示す。この場合、必要照射位置テーブル56によれば、必要照射位置は、照射位置IP33、IP34、IP35、IP43、IP44、IP45、IP53、IP54、およびIP55である。光源制御部60は、例えば、照射位置IP33、IP34、IP35、IP45、IP44、IP43、IP53、IP54、IP55の順に、発光部41からコヒーレント光23を照射させる。
図15~図18は、基準干渉縞画像34Rに映る干渉縞33が1つの場合を示したが、図19および図20は、基準干渉縞画像34Rに映る干渉縞33が2つの場合を示す。すなわち、図19および図20は、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域がR21およびR42であった場合を示す。この場合、必要照射位置テーブル56によれば、領域R21に対応する必要照射位置は、照射位置IP14、IP15、IP24、IP25、IP34、およびIP35である。また、領域R42に対応する必要照射位置は、照射位置IP33、IP34、IP35、IP43、IP44、IP45、IP53、IP54、およびIP55である。つまり、照射位置IP34およびIP35が必要照射位置として重複している。光源制御部60は、例えば、照射位置IP33、IP43、IP53、IP54、IP44、IP34、IP24、IP14、IP15、IP25、IP35、IP45、IP55の順に、発光部41からコヒーレント光23を照射させる。すなわち、光源制御部60は、重複する必要照射位置である照射位置IP34およびIP35から一度だけコヒーレント光23を照射させる。
図21において、情報処理装置11を構成するコンピュータは、ストレージデバイス80、メモリ81、CPU(Central Processing Unit)82、通信部83、ディスプレイ84、および入力デバイス85を備えている。これらはバスライン86を介して相互接続されている。
ストレージデバイス80は、情報処理装置11を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス80は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス80には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
メモリ81は、CPU82が処理を実行するためのワークメモリである。CPU82は、ストレージデバイス80に記憶されたプログラムをメモリ81へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
通信部83は、LAN(Local Area Network)等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ84は各種画面を表示する。情報処理装置11を構成するコンピュータは、各種画面を通じて、入力デバイス85からの操作指示の入力を受け付ける。入力デバイス85は、キーボード、マウス、タッチパネル等である。
図22において、情報処理装置11のストレージデバイス80には、作動プログラム90が記憶されている。ストレージデバイス80には、干渉縞画像群91および再構成画像92も記憶される。干渉縞画像群91は、撮像装置10から送信された、超解像干渉縞画像104の元となる複数枚の干渉縞画像34の集まりである。
作動プログラム90が起動されると、情報処理装置11を構成するコンピュータのCPU82は、メモリ81等と協働して、リードライト(以下、RW(Read Write)と略す)制御部100、超解像処理部101、再構成処理部102、および表示制御部103として機能する。
RW制御部100は、ストレージデバイス80への各種データの記憶、およびストレージデバイス80内の各種データの読み出しを制御する。例えば、RW制御部100は、撮像装置10からの干渉縞画像34を受け取り、ストレージデバイス80に干渉縞画像群91として記憶する。また、RW制御部100は、干渉縞画像群91をストレージデバイス80から読み出し、干渉縞画像群91を超解像処理部101に出力する。
超解像処理部101は、干渉縞画像群91から超解像干渉縞画像104を生成する。超解像処理部101は、超解像干渉縞画像104を再構成処理部102に出力する。
再構成処理部102は、超解像干渉縞画像104から再構成画像92を生成する。再構成処理部102は、再構成画像92をRW制御部100に出力する。RW制御部100は、再構成画像92をストレージデバイス80に記憶する。また、RW制御部100は、再構成画像92をストレージデバイス80から読み出し、再構成画像92を表示制御部103に出力する。
表示制御部103は、ディスプレイ84への各種画面の表示を制御する。各種画面には、再構成画像92を表示する画面である再構成画像表示画面150(図27参照)等が含まれる。
図23において、超解像処理部101は、位置合わせ処理部110および生成部111を有している。位置合わせ処理部110は、干渉縞画像群91を構成する複数枚の干渉縞画像34に対して、図9で概要を示した位置合わせ処理を行う。位置合わせ処理部110は、位置合わせ処理の結果である位置合わせ情報112を生成部111に出力する。
生成部111は、位置合わせ情報112を参照しつつ、干渉縞画像群91を構成する複数枚の干渉縞画像34に対して、図9で概要を示した再構成処理を行う。これにより、超解像干渉縞画像104が生成される。
図24は、位置合わせ処理部110による位置合わせ処理の詳細を示す図である。位置合わせ処理部110は、例えば、領域ベースマッチングによる位置合わせ処理を行う。まず、位置合わせ処理部110は、位置合わせ対象画像120に対して、平行移動、回転、拡大縮小といった種々の変形パラメータを適用し、位置合わせ対象画像120を変形して変形位置合わせ対象画像120Dとする(ステップST1)。次いで、変形位置合わせ対象画像120Dと位置合わせ基準画像121とを比較し、これらの類似度を算出する(ステップST2)。そして、類似度が高くなるように変形パラメータを更新する(ステップST3)。位置合わせ処理部110は、変形位置合わせ対象画像120Dと位置合わせ基準画像121との類似度が予め設定された閾値以上となるまで、これらステップST1~ST3の処理を繰り返す。位置合わせ処理部110は、変形位置合わせ対象画像120Dと位置合わせ基準画像121との類似度が閾値以上となったときの変形パラメータを、位置合わせ情報112として生成部111に出力する。
位置合わせ基準画像121は、干渉縞画像群91を構成する複数枚の干渉縞画像34のうちの1枚であり、位置合わせ対象画像120は、位置合わせ基準画像121以外の干渉縞画像34である。位置合わせ基準画像121は、例えば、中心点対応照射位置の発光部41からコヒーレント光23を照射した場合に得られた干渉縞画像34である。図15および図16の例でいえば、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域はR14で、領域R14に対応する中心点対応照射位置はIP12である。このため、中心点対応照射位置IP12の発光部41からコヒーレント光23を照射した場合に得られた干渉縞画像34が、位置合わせ基準画像121となる。図19および図20の例のように干渉縞33が複数ある場合、位置合わせ基準画像121は、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域Rに対応する中心点対応照射位置であって、中央の領域R33に対応する照射位置IP33により近い中心点対応照射位置(図19および図20の場合は領域R42に対応する照射位置IP44)の発光部41からコヒーレント光23を照射した場合に得られた干渉縞画像34である。
図25は、生成部111による再構成処理の詳細を示す図である。生成部111は、例えば、最大事後確率(MAP;Maximum A Posteriori)推定による再構成処理を行う。まず、生成部111は、適当な仮定超解像干渉縞画像104ASを生成し、仮定超解像干渉縞画像104ASから、撮像素子22の点拡がり関数(PSF;Point Spread Function)、位置合わせ情報112等に基づいて、推定干渉縞画像群91ESを生成する(ステップST5)。次いで、推定干渉縞画像群91ESと実際の干渉縞画像群91とを比較する(ステップST6)。そして、推定干渉縞画像群91ESと実際の干渉縞画像群91との差が小さくなるように、仮定超解像干渉縞画像104ASを更新する(ステップST7)。生成部111は、推定干渉縞画像群91ESと実際の干渉縞画像群91との差が予め設定された閾値未満となるまで、これらステップST5~ST7の処理を繰り返す。生成部111は、推定干渉縞画像群91ESと実際の干渉縞画像群91との差が閾値未満となった場合の仮定超解像干渉縞画像104ASを、最終的な超解像干渉縞画像104として出力する。
図26は、再構成処理部102による演算処理の概要を示す図である。再構成処理部102は、まず、超解像干渉縞画像104を再構成し、再構成画像92を生成する。再構成画像群130は、複数枚の再構成画像92の集まりである。これら複数枚の再構成画像92はそれぞれ、Z方向に沿う細胞12および培養容器13の厚み方向に、等間隔で並んだ各断層面131を表す画像である。
再構成処理部102は、再構成画像群130の複数枚の再構成画像92の中から、最もピントが合った1枚の再構成画像92を選択する。再構成処理部102は、選択した再構成画像92をRW制御部100に出力する。なお、最もピントが合った再構成画像92を選択する方法としては、複数枚の再構成画像92のそれぞれのコントラスト値を算出し、コントラスト値が最も高い再構成画像92を、最もピントが合った再構成画像92として選択する方法等を採用することができる。
図27に示すように、再構成画像表示画面150には、種類情報151とともに再構成画像92が表示される。種類情報151は、細胞12の種類、細胞12の培養日数、培養容器13の種類、培養液の種類および使用量を含む。再構成画像表示画面150は、確認ボタン152が選択された場合に表示が消える。
次に、上記構成による作用について、図28および図29のフローチャートを参照して説明する。撮像装置10において作動プログラム55が起動されると、図10で示したように、撮像装置10のCPU52は、光源制御部60、撮像制御部61、取得部62、設定部63、および送信制御部64として機能される。
図28において、まず、光源制御部60の制御の下、図11で示したように、基準照射位置である照射位置IP33の発光部41からコヒーレント光23が照射される(ステップST100)。そして、これにより生じた干渉縞33が、撮像制御部61の制御の下で撮像素子22により撮像され、撮像素子22から基準干渉縞画像34Rが出力される(ステップST110)。基準干渉縞画像34Rは取得部62に入力される。
取得部62では、図12で示したように、細胞12の位置として、基準干渉縞画像34Rから干渉縞33の中心点C1の位置が検出される。これにより、取得部62において位置情報70が取得される(ステップST120)。位置情報70は、取得部62から設定部63に出力される。なお、ステップST120は、本開示の技術に係る「取得ステップ」の一例である。
設定部63では、図15~図20で示したように、必要照射位置テーブル56および位置情報70に基づいて、必要照射位置が複数の照射位置IP11~IP55の中から設定される(ステップST130)。そして、必要照射位置を示す設定情報71が生成される。設定情報71は、設定部63から光源制御部60に出力される。なお、ステップST130は、本開示の技術に係る「設定ステップ」の一例である。
光源制御部60の制御の下、設定情報71で示される必要照射位置の発光部41からコヒーレント光23が照射される(ステップST140)。そして、これにより生じた干渉縞33が、撮像制御部61の制御の下で撮像素子22により撮像され、撮像素子22から干渉縞画像34が出力される(ステップST150)。この際、図19および図20で示したように、細胞12が複数存在し、かつ必要照射位置が複数の細胞12の間で重複する場合、重複する必要照射位置から一度だけコヒーレント光23が照射される。なお、ステップST140は、本開示の技術に係る「光源制御ステップ」の一例である。また、ステップST150は、本開示の技術に係る「撮像制御ステップ」の一例である。
干渉縞画像34は送信制御部64に入力され、送信制御部64により情報処理装置11に送信される(ステップST160)。これらステップST140~ST160は、全ての必要照射位置における干渉縞画像34の撮像が終了しない間(ステップST170でNO)は繰り返される。全ての必要照射位置における干渉縞画像34の撮像が終了した場合(ステップST170でYES)、ステップST140~ST160の繰り返し処理が終了される。
情報処理装置11において作動プログラム90が起動されると、図22で示したように、情報処理装置11のCPU82は、RW制御部100、超解像処理部101、再構成処理部102、および表示制御部103として機能される。
情報処理装置11では、撮像装置10からの干渉縞画像34が受信される。干渉縞画像34は、RW制御部100によってストレージデバイス80に記憶される。これにより、ストレージデバイス80には、干渉縞画像群91が記憶される。
図29において、RW制御部100により、ストレージデバイス80から干渉縞画像群91が読み出される(ステップST200)。干渉縞画像群91は、RW制御部100から超解像処理部101に出力される。
図23~図25で示したように、超解像処理部101において位置合わせ処理および再構成処理が行われ、干渉縞画像群91から超解像干渉縞画像104が生成される(ステップST210)。超解像干渉縞画像104は、超解像処理部101から再構成処理部102に出力される。
図26で示したように、再構成処理部102において、超解像干渉縞画像104から再構成画像92が生成される(ステップST220)。再構成画像92は、再構成処理部102からRW制御部100に出力され、RW制御部100によりストレージデバイス80に記憶される(ステップST230)。
RW制御部100により、ストレージデバイス80から再構成画像92が読み出される。再構成画像92は、RW制御部100から表示制御部103に出力される。そして、図27で示したように、表示制御部103により、再構成画像表示画面150がディスプレイ84に表示され、再構成画像92がユーザの閲覧に供される(ステップST240)。
以上説明したように、撮像装置10の制御装置68は、取得部62、設定部63、光源制御部60、および撮像制御部61を備える。取得部62は、観察対象物体である細胞12の位置を示す位置情報70を取得する。設定部63は、必要照射位置を複数の照射位置IP11~IP55の中から設定する。必要照射位置は、位置情報70で示される細胞12の位置に対応する照射位置であり、撮像素子22の解像度を超える超解像干渉縞画像104の元となる複数枚の干渉縞画像34を得るために必要な照射位置である。光源制御部60は、光源20の動作を制御することにより、必要照射位置からコヒーレント光23を照射させる。撮像制御部61は、必要照射位置毎に、撮像素子22から干渉縞画像34を出力させる。このため、超解像化への寄与度がほとんどない干渉縞画像34を撮像することがない。したがって、超解像干渉縞画像104を、無駄な手間を掛けることなく得ることが可能となる。
取得部62は、複数の照射位置IP11~IP55のうちの予め設定された1つの基準照射位置IP33からコヒーレント光23を照射して得られた干渉縞画像34である基準干渉縞画像34Rから、細胞12の位置を検出することで、位置情報70を取得する。このため、ユーザの手を煩わせることなく、位置情報70を取得することができる。
細胞12が複数存在し、かつ必要照射位置が複数の細胞12の間で重複する場合、光源制御部60は、重複する必要照射位置から一度だけコヒーレント光23を照射させる。このため、重複する必要照射位置から何度もコヒーレント光23を照射させ、略同じ干渉縞画像34を何枚も撮像する手間を省くことができ、より短時間で超解像干渉縞画像104を得ることができる。
細胞培養の分野は、iPS(Induced Pluripotent Stem)細胞等の出現により、最近脚光を浴びている。このため、無駄な時間を掛けることなく、培養中の細胞12を詳細に解析する技術が要望されている。本開示の技術では、観察対象物体を培養中の細胞12としている。したがって、本開示の技術は、最近の要望に応えることができる技術であるといえる。
なお、取得部62は、基準干渉縞画像34Rから細胞12の位置を検出することで、位置情報70を取得しているが、これに限らない。図30に示すように、基準干渉縞画像34Rに代えて、基準干渉縞画像34Rを元に生成された再構成画像92である基準再構成画像92Rから細胞12の位置を検出することで、位置情報70を取得してもよい。
この場合、撮像装置10のCPU52は、図10で示した各部60~64(図30では取得部62のみ図示)に加えて、生成部160としても機能する。生成部160は、情報処理装置11の再構成処理部102と同じ機能を有する。生成部160は、再構成処理部102が超解像干渉縞画像104から再構成画像92を生成するのと同じく、基準干渉縞画像34Rから基準再構成画像92Rを生成する。生成部160は、基準再構成画像92Rを取得部62に出力する。
取得部62は、基準再構成画像92Rを画像解析し、細胞12の位置として、例えば、基準再構成画像92Rに映る細胞12の中心点C2の位置を検出する。取得部62は、細胞12の中心点C2の位置座標(X_C2、Y_C2)を、位置情報70として設定部63に出力する。
干渉縞33は、細胞12だけでなく培養液中のゴミ等によっても生じる。このため、基準干渉縞画像34Rに映る干渉縞33の中心点C1の位置を、細胞12の位置として検出した場合、ゴミ等を細胞12として誤認識する可能性が少なからずある。したがって、図30で示したように、基準干渉縞画像34Rに代えて、基準干渉縞画像34Rを元に生成された基準再構成画像92Rから細胞12の位置を検出することが好ましい。ただし、基準干渉縞画像34Rから基準再構成画像92Rを生成する手間が掛かる。このため、そうした手間の削減を第1に考えた場合は、基準干渉縞画像34Rから細胞12の位置を検出する方法を採用したほうがよい。
なお、図31に示す態様としてもよい。すなわち、基準干渉縞画像34Rを撮像装置10から情報処理装置11に送信し、情報処理装置11の再構成処理部102において基準干渉縞画像34Rから基準再構成画像92Rを生成する。そして、基準再構成画像92Rを情報処理装置11から撮像装置10に送信する。こうすれば、撮像装置10に生成部160を設けなくとも済む。
[第2実施形態]
位置情報70を取得する態様は、上記第1実施形態で例示した、基準干渉縞画像34R、または基準再構成画像92Rから細胞12の位置を検出する態様に限らない。図32~図35に示す第2実施形態を採用してもよい。
位置情報70を取得する態様は、上記第1実施形態で例示した、基準干渉縞画像34R、または基準再構成画像92Rから細胞12の位置を検出する態様に限らない。図32~図35に示す第2実施形態を採用してもよい。
図32において、撮像装置10は、基準干渉縞画像34Rを情報処理装置11に送信する。情報処理装置11の表示制御部103は、基準干渉縞画像34Rの表示画面である基準干渉縞画像表示画面170(図33も参照)をディスプレイ84に表示する制御を行う。そして、基準干渉縞画像表示画面170上において、入力デバイス85を介して、ユーザに細胞12の位置を指定させる。情報処理装置11は、この基準干渉縞画像表示画面170上での細胞12の位置の指定を元に位置情報70を生成し、生成した位置情報70を撮像装置10に送信する。取得部62は、情報処理装置11からの位置情報70を取得する。
図33に示すように、基準干渉縞画像表示画面170には、基準干渉縞画像34Rが表示され、その下部には指定解除ボタン171および指定ボタン172が設けられている。細胞12の位置である干渉縞33の中心点C1は、例えば、基準干渉縞画像34R上の所望の位置に入力デバイス85のマウスのカーソルを合わせ、マウスをダブルクリックすることで入力することが可能である。指定解除ボタン171が選択された場合、直近で指定した干渉縞33の中心点C1の指定が解除される。指定ボタン172が選択された場合、そのとき指定されていた干渉縞33の中心点C1の位置座標(X_C1、Y_C1)が、位置情報70として取得部62に取得される。
図34は、基準干渉縞画像34Rに代えて基準再構成画像92Rを用いる例である。この場合、情報処理装置11の再構成処理部102は、基準干渉縞画像34Rから基準再構成画像92Rを生成する。再構成処理部102は、基準再構成画像92Rを表示制御部103に出力する。表示制御部103は、基準再構成画像92Rの表示画面である基準再構成画像表示画面180(図35も参照)をディスプレイ84に表示する制御を行う。そして、基準再構成画像表示画面180上において、入力デバイス85を介して、ユーザに細胞12の位置を指定させる。情報処理装置11は、この基準再構成画像表示画面180上での細胞12の位置の指定を元に位置情報70を生成し、生成した位置情報70を撮像装置10に送信する。取得部62は、情報処理装置11からの位置情報70を取得する。
図35に示すように、基準再構成画像表示画面180には、基準再構成画像92Rが表示され、その下部には指定解除ボタン181および指定ボタン182が設けられている。細胞12の位置である細胞12の中心点C2は、基準干渉縞画像表示画面170の場合と同様に、基準再構成画像92R上の所望の位置に入力デバイス85のマウスのカーソルを合わせ、マウスをダブルクリックすることで入力することが可能である。指定解除ボタン181が選択された場合、指定解除ボタン171の場合と同様に、直近で指定した細胞12の中心点C2の指定が解除される。指定ボタン182が選択された場合、指定ボタン172の場合と同様に、そのとき指定されていた細胞12の中心点C2の位置座標(X_C2、Y_C2)が、位置情報70として取得部62に取得される。
このように、第2実施形態では、情報処理装置11の表示制御部103は、図32および図33で示した基準干渉縞画像表示画面170、または図34および図35で示した基準再構成画像表示画面180を表示する制御を行う。取得部62は、基準干渉縞画像表示画面170、または基準再構成画像表示画面180上での細胞12の位置の指定を受け付けることで、位置情報70を取得する。このため、ユーザ自らが指定した、より確からしい位置情報70を取得することができる。
なお、第2実施形態においては、光源制御部60、撮像制御部61、取得部62、設定部63、さらには情報処理装置11の表示制御部103によって、本開示の制御装置が実現される。このように、制御装置を構成する処理部は、撮像装置10だけでなく情報処理装置11にあってもよい。
[第3実施形態]
図36および図37に示す第3実施形態では、細胞12のサイズを示すサイズ情報190に応じて、必要照射位置の数を変更する。
図36および図37に示す第3実施形態では、細胞12のサイズを示すサイズ情報190に応じて、必要照射位置の数を変更する。
図36に示すように、取得部62は、例えば、基準再構成画像92Rを画像解析し、基準再構成画像92Rに映る細胞12の画素数をカウントする。そして、カウントした画素数に応じた、大、中、小の三段階のサイズを、細胞12に宛がう。細胞12が複数存在する場合は、複数の細胞12の各々の画素数をカウントし、カウントした画素数が最小の細胞12を代表としてサイズを宛がう。これにより、取得部62は、細胞12のサイズを示すサイズ情報190を取得する。取得部62は、サイズ情報190を設定部63に出力する。
設定部63は、サイズ情報190に応じて、必要照射位置の数を変更する。具体的には必要照射位置数テーブル191に示すように、細胞12のサイズが大であった場合は必要照射位置を最大5箇所、細胞12のサイズが中であった場合は必要照射位置を最大9箇所、細胞12のサイズが小であった場合は必要照射位置を最大17箇所とする。このように、細胞12のサイズが小さくなるにつれて、必要照射位置の数を増やす設定とする。細胞12のサイズが小さくなるにつれて、必要照射位置の数を増やす理由としては、細胞12のサイズが小さい程、撮像素子22の解像度の限界に近付き、鮮明な干渉縞画像34が得られにくくなるためである。
図37は、干渉縞33の中心点C1が位置する基準干渉縞画像34Rの領域がR33であった場合の必要照射位置を示す。図37Aは細胞12のサイズが大であった場合を示し、図37Bは細胞12のサイズが中であった場合を示し、図37Cは細胞12のサイズが小であった場合を示す。図37Aの細胞12のサイズが大であった場合は、必要照射位置は、照射位置IP22、IP24、IP33、IP42、およびIP44の計5箇所である。図37Bの細胞12のサイズが中であった場合は、必要照射位置は、照射位置IP22、IP23、IP24、IP32、IP33、IP34、IP42、IP43、およびIP44の計9箇所である。図37Cの細胞12のサイズが小であった場合は、必要照射位置は、照射位置IP11、IP13、IP15、IP22、IP23、IP24、IP31、IP32、IP33、IP34、IP35、IP42、IP43、IP44、IP51、IP53、およびIP55の計17箇所である。
このように、第3実施形態では、取得部62は、位置情報70に加えて、細胞12のサイズを示すサイズ情報190を取得する。設定部63は、サイズ情報190に応じて、必要照射位置の数を変更する。このため、細胞12のサイズに適応した枚数の干渉縞画像34を得ることができ、かつ、細胞12のサイズに適応した超解像干渉縞画像104を生成することができる。
なお、細胞12のサイズは、大、中、小の三段階に限らない。サイズ小とそれ以外の二段階でもよい。あるいは、三段階より細かく分けてもよい。また、変更する必要照射位置の数も、例示した5箇所、9箇所、17箇所に限らない。サイズ大の場合は必要照射位置を1箇所だけにして、超解像干渉縞画像104自体を生成しないようにしてもよい。
[第4実施形態]
上記各実施形態では、複数の発光部41が複数の照射位置IP11~IP55に並べられた構成の光源20を例示したが、これに限らない。図38および図39に示す第4実施形態を採用してもよい。
上記各実施形態では、複数の発光部41が複数の照射位置IP11~IP55に並べられた構成の光源20を例示したが、これに限らない。図38および図39に示す第4実施形態を採用してもよい。
図38において、光源200は、1個の発光部201と、移動ステージ202と、移動機構203とを有する。発光部201は、移動機構203により、移動ステージ202上を移動する。移動機構203は、例えば、モータと、モータの回転をX方向およびY方向に沿った並進運動に変換するラックアンドピニオンギヤとを含む。移動機構203は、光源制御部60の制御の下、発光部201をX方向およびY方向に移動させ、5×5=25箇所の照射位置IP11~IP55に発光部201をガイドする。
こうした構成の光源200によっても、照射角度が異なる複数の照射位置IP11~IP55からコヒーレント光23を照射することが可能である。ただし、移動ステージ202および移動機構203の分、構成が複雑になる。また、発光部201を各必要照射位置に移動させなければならないので、上記各実施形態の光源20と比べて、複数枚の干渉縞画像34の撮像間隔が長くなる。撮像間隔が長くなると、撮像の合間に細胞12が動いてしまうおそれがある。このため、上記各実施形態の光源20のほうがより好ましい。
なお、移動ステージ202を移動させる発光部201は1個に限らず、複数個でもよい。また、例えば図39に示すように、2×2=4個の発光部211が並べられた構成の光源210を、移動機構212によりX方向およびY方向に移動させてもよい。
上記各実施形態で示した光源20、200、210は、発光部41、201、211が撮像面32と平行に配置されているが、これに限らない。例えば図40に示す光源220を用いてもよい。
図40において、光源220は、中央の発光部221A以外の発光部221Bが撮像面32に対して傾斜して配置されている。発光部221Bの傾斜角度は、端にいくにつれて大きくなっている。また、発光部221Aを基準にして対称な位置の発光部221Bの傾斜角度は同じである。なお、発光部221Bを可動とし、発光部221Bの傾斜角度を変更可能に構成してもよい。
基準干渉縞画像34Rを、超解像干渉縞画像104の生成に流用してもよい。
発光部は、例えば、コヒーレント光23を発するレーザーダイオードに接続され、コヒーレント光23を導光する光ファイバの先端部でもよい。また、X方向またはY方向に沿う軸を中心に発光部を首振りさせることで、コヒーレント光23の照射角度を異ならせてもよい。この場合は、発光部の首振り位置が照射位置に相当する。
照射位置は、上記で例示した5×5=25箇所に限らない。撮像素子22の画素45のサイズ、細胞12のサイズ等に応じて適宜変更することが可能である。
観察対象物体は例示の細胞12に限らない。細菌、ウイルス等を観察対象物体としてもよい。また、回折光は、観察対象物体を透過した回折光30に限らず、観察対象物体を反射した回折光でもよい。さらに、光源20からのコヒーレント光23を、回折光用と参照光用とに分光して、それぞれ観察対象物体に照射してもよい。また、照明光はコヒーレント光23でなくてもよく、観察に耐え得る干渉縞33が生じるものであればよい。
制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、制御装置を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、光源制御部60および撮像制御部61の機能と、取得部62および設定部63の機能とを、2台のコンピュータに分散して担わせる。この場合は2台のコンピュータで制御装置を構成する。なお、2台のコンピュータは、撮像装置10と情報処理装置11であってもよい。例えば、光源制御部60および撮像制御部61の機能を撮像装置10、取得部62および設定部63の機能を情報処理装置11にそれぞれ担わせる。光源制御部60、撮像制御部61、取得部62、および設定部63の機能を、全て情報処理装置11に担わせてもよい。
このように、制御装置のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム55および90等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
上記各実施形態において、例えば、光源制御部60、撮像制御部61、取得部62、設定部63、送信制御部64、RW制御部100、超解像処理部101(位置合わせ処理部110および生成部111)、再構成処理部102および160、並びに表示制御部103といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム55および90)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU52および82に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
以上の記載から、以下の付記項1に記載の発明を把握することができる。
[付記項1]
光源と撮像素子とを有する撮像装置の制御装置であって、
前記光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、
前記撮像素子は、前記観察対象物体によって回折された前記照明光である回折光と、前記観察対象物体を経ない前記照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、
前記観察対象物体の位置を示す位置情報を取得する取得プロセッサと、
前記位置情報で示される前記観察対象物体の位置に対応する照射位置であり、前記撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の前記干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の前記照射位置の中から設定する設定プロセッサと、
前記光源の動作を制御することにより、前記必要照射位置から前記照明光を照射させる光源制御プロセッサと、
前記必要照射位置毎に、前記撮像素子から前記干渉縞画像を出力させる撮像制御プロセッサと、
を備える制御装置。
光源と撮像素子とを有する撮像装置の制御装置であって、
前記光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、
前記撮像素子は、前記観察対象物体によって回折された前記照明光である回折光と、前記観察対象物体を経ない前記照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、
前記観察対象物体の位置を示す位置情報を取得する取得プロセッサと、
前記位置情報で示される前記観察対象物体の位置に対応する照射位置であり、前記撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の前記干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の前記照射位置の中から設定する設定プロセッサと、
前記光源の動作を制御することにより、前記必要照射位置から前記照明光を照射させる光源制御プロセッサと、
前記必要照射位置毎に、前記撮像素子から前記干渉縞画像を出力させる撮像制御プロセッサと、
を備える制御装置。
本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (11)
- 光源と撮像素子とを有する撮像装置の制御装置であって、
前記光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、
前記撮像素子は、前記観察対象物体によって回折された前記照明光である回折光と、前記観察対象物体を経ない前記照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、
前記観察対象物体の位置を示す位置情報を取得する取得部と、
前記位置情報で示される前記観察対象物体の位置に対応する照射位置であり、前記撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の前記干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の前記照射位置の中から設定する設定部と、
前記光源の動作を制御することにより、前記必要照射位置から前記照明光を照射させる光源制御部と、
前記必要照射位置毎に、前記撮像素子から前記干渉縞画像を出力させる撮像制御部と、
を備える制御装置。 - 前記光源は、複数の前記照明光の発光部が複数の前記照射位置に並べられた構成を有し、
前記光源制御部は、前記必要照射位置に対応する前記発光部から前記照明光を照射させる請求項1に記載の制御装置。 - 前記光源は、前記照明光の発光部を少なくとも1つと、前記発光部の移動機構とを有し、
前記光源制御部は、前記移動機構によって前記発光部を前記必要照射位置に移動させつつ、前記発光部から前記照明光を照射させる請求項1に記載の制御装置。 - 前記取得部は、複数の前記照射位置のうちの予め設定された1つの基準照射位置から前記照明光を照射して得られた前記干渉縞画像である基準干渉縞画像、または前記観察対象物体の任意の断層面を表す再構成画像であり、前記基準干渉縞画像を元に生成された再構成画像である基準再構成画像から、前記観察対象物体の位置を検出することで、前記位置情報を取得する請求項1から請求項3のいずれか1項に記載の制御装置。
- 複数の前記照射位置のうちの予め設定された1つの基準照射位置から前記照明光を照射して得られた前記干渉縞画像である基準干渉縞画像の表示画面、または前記観察対象物体の任意の断層面を表す再構成画像であり、前記基準干渉縞画像を元に生成された再構成画像である基準再構成画像の表示画面を表示する制御を行う表示制御部を備え、
前記取得部は、前記表示画面上での前記観察対象物体の位置の指定を受け付けることで、前記位置情報を取得する請求項1から請求項4のいずれか1項に記載の制御装置。 - 前記取得部は、前記位置情報に加えて、前記観察対象物体のサイズを示すサイズ情報を取得し、
前記設定部は、前記サイズ情報に応じて、前記必要照射位置の数を変更する請求項1から請求項5のいずれか1項に記載の制御装置。 - 前記観察対象物体が複数存在し、かつ前記必要照射位置が複数の前記観察対象物体の間で重複する場合、前記光源制御部は、重複する前記必要照射位置から一度だけ前記照明光を照射させる請求項1から請求項6のいずれか1項に記載の制御装置。
- 前記観察対象物体は培養中の細胞である請求項1から請求項7のいずれか1項に記載の制御装置。
- 前記照明光はコヒーレント光である請求項1から請求項8のいずれか1項に記載の制御装置。
- 光源と撮像素子とを有する撮像装置の制御装置の作動方法であって、
前記光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、
前記撮像素子は、前記観察対象物体によって回折された前記照明光である回折光と、前記観察対象物体を経ない前記照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、
前記観察対象物体の位置を示す位置情報を取得する取得ステップと、
前記位置情報で示される前記観察対象物体の位置に対応する照射位置であり、前記撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の前記干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の前記照射位置の中から設定する設定ステップと、
前記光源の動作を制御することにより、前記必要照射位置から前記照明光を照射させる光源制御ステップと、
前記必要照射位置毎に、前記撮像素子から前記干渉縞画像を出力させる撮像制御ステップと、
を備える制御装置の作動方法。 - 光源と撮像素子とを有する撮像装置の制御装置の作動プログラムであって、
前記光源は、照射角度が異なる複数の照射位置から、観察対象物体に対して照明光を照射することが可能であり、
前記撮像素子は、前記観察対象物体によって回折された前記照明光である回折光と、前記観察対象物体を経ない前記照明光である参照光との干渉縞を撮像することで、干渉縞画像を出力するものであり、
前記観察対象物体の位置を示す位置情報を取得する取得部と、
前記位置情報で示される前記観察対象物体の位置に対応する照射位置であり、前記撮像素子の解像度を超える超解像干渉縞画像の元となる複数枚の前記干渉縞画像を得るために必要な照射位置である必要照射位置を、複数の前記照射位置の中から設定する設定部と、
前記光源の動作を制御することにより、前記必要照射位置から前記照明光を照射させる光源制御部と、
前記必要照射位置毎に、前記撮像素子から前記干渉縞画像を出力させる撮像制御部として、
コンピュータを機能させる制御装置の作動プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021563760A JP7237202B2 (ja) | 2019-12-11 | 2020-10-12 | 制御装置、制御装置の作動方法、制御装置の作動プログラム |
EP20898699.2A EP4075092A4 (en) | 2019-12-11 | 2020-10-12 | CONTROL DEVICE, CONTROL DEVICE OPERATING METHOD AND CONTROL DEVICE OPERATING PROGRAM |
US17/829,856 US20220292740A1 (en) | 2019-12-11 | 2022-06-01 | Control device, operation method of control device, and operation program of control device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223581 | 2019-12-11 | ||
JP2019-223581 | 2019-12-11 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/829,856 Continuation US20220292740A1 (en) | 2019-12-11 | 2022-06-01 | Control device, operation method of control device, and operation program of control device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021117328A1 true WO2021117328A1 (ja) | 2021-06-17 |
Family
ID=76328871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/038538 WO2021117328A1 (ja) | 2019-12-11 | 2020-10-12 | 制御装置、制御装置の作動方法、制御装置の作動プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220292740A1 (ja) |
EP (1) | EP4075092A4 (ja) |
JP (1) | JP7237202B2 (ja) |
WO (1) | WO2021117328A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023021795A1 (ja) | 2021-08-17 | 2023-02-23 | 富士フイルム株式会社 | 光源制御装置、光源制御装置の作動方法、光源制御装置の作動プログラム、およびデジタルホログラフィシステム |
WO2023067971A1 (ja) * | 2021-10-20 | 2023-04-27 | 富士フイルム株式会社 | 撮像装置及び情報処理装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005537518A (ja) * | 2002-09-03 | 2005-12-08 | ユーティー−バッテル,エルエルシー | 複数の照明源によって軸外照明される対象物の高速直接デジタルホログラフィー取得 |
WO2008123408A1 (ja) * | 2007-04-04 | 2008-10-16 | Nikon Corporation | 3次元顕微鏡および3次元画像取得方法 |
WO2013046875A1 (ja) * | 2011-09-29 | 2013-04-04 | 富士フイルム株式会社 | 放射線撮影システム及び放射線撮影方法 |
JP2014507645A (ja) | 2011-01-06 | 2014-03-27 | ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア | 無レンズ断層撮影装置及び方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5900515B2 (ja) * | 2012-01-18 | 2016-04-06 | 株式会社ニコン | 構造化照明装置、構造化照明顕微鏡装置、構造化照明方法 |
DE102012023024B4 (de) * | 2012-11-07 | 2023-05-04 | Carl Zeiss Microscopy Gmbh | Lichtmikroskop und Mikroskopieverfahren |
JP6292238B2 (ja) * | 2013-09-27 | 2018-03-14 | 株式会社ニコン | 装置、システム、方法、及びプログラム |
US20180052425A1 (en) * | 2015-01-22 | 2018-02-22 | The Regents Of The University Of California | Device and method for nanoparticle sizing based on time-resolved on-chip microscopy |
WO2016151665A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社ニコン | 構造化照明顕微鏡、観察方法、及び画像処理プログラム |
-
2020
- 2020-10-12 WO PCT/JP2020/038538 patent/WO2021117328A1/ja unknown
- 2020-10-12 EP EP20898699.2A patent/EP4075092A4/en active Pending
- 2020-10-12 JP JP2021563760A patent/JP7237202B2/ja active Active
-
2022
- 2022-06-01 US US17/829,856 patent/US20220292740A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005537518A (ja) * | 2002-09-03 | 2005-12-08 | ユーティー−バッテル,エルエルシー | 複数の照明源によって軸外照明される対象物の高速直接デジタルホログラフィー取得 |
WO2008123408A1 (ja) * | 2007-04-04 | 2008-10-16 | Nikon Corporation | 3次元顕微鏡および3次元画像取得方法 |
JP2014507645A (ja) | 2011-01-06 | 2014-03-27 | ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア | 無レンズ断層撮影装置及び方法 |
WO2013046875A1 (ja) * | 2011-09-29 | 2013-04-04 | 富士フイルム株式会社 | 放射線撮影システム及び放射線撮影方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4075092A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023021795A1 (ja) | 2021-08-17 | 2023-02-23 | 富士フイルム株式会社 | 光源制御装置、光源制御装置の作動方法、光源制御装置の作動プログラム、およびデジタルホログラフィシステム |
WO2023067971A1 (ja) * | 2021-10-20 | 2023-04-27 | 富士フイルム株式会社 | 撮像装置及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021117328A1 (ja) | 2021-06-17 |
JP7237202B2 (ja) | 2023-03-10 |
EP4075092A4 (en) | 2023-01-25 |
EP4075092A1 (en) | 2022-10-19 |
US20220292740A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220292740A1 (en) | Control device, operation method of control device, and operation program of control device | |
US9373016B2 (en) | Image capturing device | |
US7232071B2 (en) | Scanned beam imager | |
EP1838206B1 (en) | Fibre bundle confocal endomicroscope | |
JP2015535348A (ja) | フーリエ・タイコグラフィー撮像システム、装置、及び方法 | |
JP6860064B2 (ja) | 細胞観察装置 | |
JP2020531856A (ja) | 低解像度ピクセル画像化による飛行時間深度カメラ | |
JP2014197027A (ja) | ボリュメトリック・フィルタリング法を使用して光コヒーレンス・トモグラフィ画像形成の機能を向上させる装置及び方法 | |
US20140088438A1 (en) | Apparatus and method for fluorescence imaging and tomography using spatially structured illumination | |
JP5564421B2 (ja) | バーチャル顕微鏡スライド/デジタル画像をナビゲートするための操作デバイス及びそれに関連する方法。 | |
CN111406218B (zh) | 用于载片装载和卸载的固定的基准边缘系统 | |
US20230269361A1 (en) | System and method for 3d pose measurement with high precision and real-time object tracking | |
CN104104861A (zh) | 图像处理装置和图像处理方法 | |
JP2010113312A (ja) | 内視鏡装置および内視鏡プロセッサ | |
WO2018101097A1 (ja) | 投射装置、投射方法およびプログラム記録媒体 | |
KR102539649B1 (ko) | 핸드헬드 스캐너를 갖는 3d 스캐너 시스템 | |
JP2011104239A (ja) | 走査型医療用プローブ、及び医療用観察システム | |
JP6314688B2 (ja) | 入力装置 | |
CN105008975B (zh) | 图像取得装置以及图像取得装置的聚焦方法 | |
EP4390372A1 (en) | Light source control device, operation method for light source control device, operation program for light source control device, and digital holography system | |
JP6624287B2 (ja) | 走査型プローブ顕微鏡用データ処理装置 | |
US20110085215A1 (en) | Image-capturing system | |
CN110114656B (zh) | 摄像装置以及摄像方法 | |
JP2021132371A (ja) | レーザスペックルの効果を低減させるためのイメージセンサ回路 | |
JP7131861B1 (ja) | Oct装置の制御装置およびoct装置制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20898699 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021563760 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020898699 Country of ref document: EP Effective date: 20220711 |