WO2020012825A1 - 画像生成装置、画像生成方法および画像生成プログラム - Google Patents

画像生成装置、画像生成方法および画像生成プログラム Download PDF

Info

Publication number
WO2020012825A1
WO2020012825A1 PCT/JP2019/021969 JP2019021969W WO2020012825A1 WO 2020012825 A1 WO2020012825 A1 WO 2020012825A1 JP 2019021969 W JP2019021969 W JP 2019021969W WO 2020012825 A1 WO2020012825 A1 WO 2020012825A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
area
images
degree
Prior art date
Application number
PCT/JP2019/021969
Other languages
English (en)
French (fr)
Inventor
兼太 松原
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020530032A priority Critical patent/JP7030986B2/ja
Priority to EP19833296.7A priority patent/EP3823266A4/en
Publication of WO2020012825A1 publication Critical patent/WO2020012825A1/ja
Priority to US17/116,023 priority patent/US11574384B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor

Definitions

  • the disclosed technology relates to an image generation device, an image generation method, and an image generation program that generate a synthesized image by synthesizing a plurality of different focused images.
  • a technique in which a plurality of single-focus images (in-focus images) are combined to generate an all-focus image.
  • an image of a cell is detected by soft matching from a single-focus image, an area image of a region in which the cell is in focus is extracted from the single-focus image, and a combined image of the in-focus region is combined with the all-focus composite image.
  • a plurality of corresponding region images may include a plurality of region images in which some cells in the image are focused but some cells are out of focus. is there.
  • a region where a cell is focused and a region where a cell is not focused exist in a certain ratio
  • another region image the area where the cell is in focus and the area where the cell is not in focus may be present at a different ratio from the above ratio. That is, in each of the corresponding plurality of region images, when the ratio of the region where the cell is in focus to the region where the region is not in focus is different, in other words, the region images in which the focus is different are different. May be mixed.
  • an omnifocal composite image is generated by combining area images in which cells are in focus, so that an omnifocal composite image is generated from a plurality of area images.
  • the region image to be used cannot be selected.
  • the disclosed technology has been made in view of the above circumstances, and even when a plurality of in-focus images are mixed with differently focused area images, an image generating apparatus, an image generating method, and an image generating method capable of generating a composite image It is an object to provide an image generation program.
  • the image generation device includes a detection unit that performs a process of detecting a specific feature from a plurality of focused images in different focus states, including an observation target, and a specific feature detected by the detection unit.
  • a parameter representing a degree of application of the region image to the combined region image when the combined region image is generated from the region image is determined for each set of region images in the plurality of corresponding regions corresponding to each of the plurality of focused images based on
  • a generation unit that synthesizes the area image for each of the plurality of corresponding areas based on the parameters determined by the determination unit to generate a synthesized area image.
  • the application degree is set as a ratio of 100: 0, 70:30, 50:50, or the like.
  • the determining unit may determine the detected specific feature in any of the area images based on a parameter determined for a set of area images including the detected specific feature in any of the area images. It is possible to determine a parameter for a set of region images that are not included in the region.
  • the determining unit may determine, from a corresponding region of a set of region images including a specific feature in any of the region images, a corresponding region of a set of region images not including the specific feature in any of the region images Based on the distance to, parameters for a set of area images that do not include a particular feature in any of the area images may be determined.
  • the determining unit may determine a parameter for a set of area images that do not include a specific feature in any of the area images, according to a preset application degree.
  • the generation unit may generate the composite image by arranging and combining the composite area images according to the position of the corresponding area.
  • the specific feature may be at least one of a feature of an image of a target included in the observation target and a feature of an image of a non-target.
  • the determining unit determines a degree of application of the region image including the feature of the image of the target to the combined region image
  • the parameter is determined by increasing the degree of application of the region image that does not include the feature to the composite image, and when the region image includes the feature of the non-target image, the region image including the feature of the non-target image is determined.
  • the parameter can be determined by setting the degree of application to the combined area image to be lower than the degree of application of the area image that does not include the features of the non-target object image to the combined area image.
  • the determining unit occupies the feature of the target object in each region image.
  • a parameter for each region image can be determined based on the area ratio.
  • the target may be a living cell
  • the non-target may be a foreign substance other than the living cell included in the observation target.
  • Foreign bodies include dead cells and debris.
  • the determination unit determines a degree of application of the area image including the characteristics of the image of the living cell to the synthesized area image, and a degree of application of the area image not including the characteristics of the image of the living cell to the synthesized area image. Higher than the parameter may be determined.
  • the determination unit sets the degree of application of the area image including the feature of the foreign substance image to the combined area image to be greater than the degree of application of the area image not including the feature of the foreign substance image to the combined area image. Lowering the parameter can be determined.
  • the object in addition to the living cells, includes a pattern appearing on the bottom surface of the storage unit, and the determining unit determines the degree of application of the region image including the feature of the pattern image to the combined region image,
  • the parameter can be determined with a higher degree of application of the region image that does not include both the characteristics of the image of the living cells and the characteristics of the image of the foreign substance to the composite region image.
  • the image generation device described above may further include a warning unit that generates a warning for a corresponding region in which a specific feature is not detected in any of the region images.
  • the image generation method includes a detection step of performing a process of detecting a specific feature from each of a plurality of focused images in different focus states, including an observation target, and a specific process detected by the detection process.
  • An image generation program includes a detection step of performing a process of detecting a specific feature from each of a plurality of focused images in different focused states, including an observation target, and a specific process detected by the detection process.
  • the image generation device of the present disclosure detects a specific feature from each of a plurality of focused images in different focus states, including an observation target, and based on the detected specific feature, a plurality of focused images.
  • a parameter representing the degree of application of the region image to the composite region image when generating the composite region image from the region image is determined for each set of region images in a plurality of corresponding regions of the image, and based on the determined parameter
  • a parameter indicating a degree of application of a region image to a combined region image is determined for each corresponding region, and a region image is combined based on the parameter. Accordingly, in the disclosed technique, a composite image can be generated even when a region image in which cells are focused on the entire image cannot be obtained from the plurality of region images.
  • FIG. 1 is a diagram illustrating a schematic configuration of an observation device according to an embodiment of the disclosed technology. It is a figure showing an example of a mounting table.
  • FIG. 4 is a diagram illustrating an example of a phase difference image captured by an imaging unit. It is a block diagram showing composition of a control part concerning an embodiment of art of an indication.
  • FIG. 3 is a diagram showing a scanning path in a culture container by a solid line. It is a figure which shows the positional relationship of a 1st displacement sensor and a 2nd displacement sensor, and a culture container, when a visual field exists in the arbitrary positions in a culture container.
  • FIG. 9 is a flowchart illustrating a flow of generating a combined area image.
  • FIG. 6 is a diagram illustrating a state of detecting a specific feature. It is a flowchart which shows the flow of parameter determination processing (1).
  • FIG. 7 is a diagram illustrating an example of a plurality of region images different in focus.
  • FIG. 9 is a diagram for explaining determination of a parameter when a set of area images appearing in a corresponding area does not include a specific feature. It is a flowchart which shows the flow of parameter determination processing (2).
  • FIG. 1 is a diagram illustrating a schematic configuration of an observation device according to an embodiment of the disclosed technology.
  • FIG. 2 is a diagram illustrating an example of the mounting table.
  • FIG. 3 is a diagram illustrating an example of a phase difference image captured by the imaging unit.
  • the observation device is a device for observing the culture container 20 placed on the mounting table 10 and the culture solution contained in the culture container 20 with the microscope device 30 as an observation target.
  • the mounting table 10 and the microscope device 30 are controlled by the control unit 40. Each configuration will be described in order.
  • the mounting table 10 is a stage on which the culture container 20 can be mounted. As shown in FIG. 2, a rectangular opening 11 is formed in the center of the mounting table 10.
  • the culture vessel 20 is installed on the member forming the opening 11, and is configured so that light for observation by the microscope device 30 passes.
  • the moving unit 12 is attached to the mounting table 10.
  • the moving unit 12 can freely move the mounting table 10 in the X direction and the Y direction orthogonal to each other.
  • the X direction and the Y direction are directions orthogonal to the Z direction, and directions orthogonal to each other in a horizontal plane.
  • the X direction is the main scanning direction
  • the Y direction is the sub scanning direction.
  • the moving unit 12 is configured by an actuator having a piezoelectric element or the like.
  • the movement of the mounting table 10 in the XY plane is controlled by the control unit 40. When the mounting table 10 moves on the XY plane, the culture container 20 on the mounting table 10 moves with respect to the microscope apparatus 30.
  • the mounting table 10 is moved with respect to the microscope apparatus 30 to change the position at which the observation target is observed by the microscope apparatus 30
  • the microscope apparatus 30 may be moved with respect to the mounting table 10, or both the mounting table 10 and the microscope apparatus 30 may be moved.
  • any mode can be adopted.
  • the trajectory accompanying the relative movement is expressed as “scanning trajectory” regardless of which of the microscope apparatus 30 and the culture vessel 20 is actually moving.
  • the gripper is used to hold at least one position of the culture container 20, and the culture container 20 is moved in the XY plane by moving the gripper. You may move it.
  • the culture container 20 has a plurality of storage portions 22 formed on a flat plate 21.
  • the culture container 20 for example, a petri dish, a dish, a well plate, or the like can be used.
  • the accommodating portion 22 is, for example, a circular concave portion in plan view, and is also called a well.
  • the storage unit 22 stores objects such as various cells immersed in a culture solution to be observed.
  • the object is mainly a living cell.
  • the cells accommodated in the accommodation unit 22 include pluripotent stem cells such as iPS cells and ES cells, nerves, skin, myocardium and liver cells differentiated and derived from the stem cells, and skin, retina, myocardium, There are blood cells, nerves and organ cells.
  • the culture may also contain unintentional debris or dead cells.
  • the bottom surface of the storage section 22 is processed. As an example of the processing of the bottom surface of the housing portion 22, there is formation of a regular fine pattern.
  • the pattern includes a regular repetition of a plurality of straight lines or curves, a plurality of concentric rings, a regular repetition of irregularities, and the like.
  • the pattern is formed on the bottom surface of the housing portion 22 by, for example, patterning by blast or the like. Since the bottom surface of the housing portion 22 is processed, the cells can easily settle on the bottom surface.
  • the microscope device 30 captures a phase difference image of an observation target.
  • the microscope device 30 captures a partial image of the observation target and the culture container 20 with a field of view smaller than each of the housing portions 22 of the culture container 20 in order to obtain a high-magnification image.
  • the microscope device 30 scans the culture container 20, and a series of partial images is obtained.
  • the microscope device 30 includes a light source 31, a slit 32, a condenser lens 33, an objective lens 34, a focus adjustment mechanism 35, an imaging lens 36, a half mirror 37, an imaging unit 38, and a measurement unit 39. Have.
  • the light source 31 emits white light.
  • the slit 32 is formed by providing a ring-shaped slit that transmits white light with respect to a light-shielding plate that blocks white light emitted from the light source 31.
  • the ring-shaped illumination light L is formed by the white light passing through the slit.
  • the condenser lens 33 focuses the ring-shaped illumination light L on the observation target.
  • the objective lens 34 is arranged to face the condenser lens 33 via the culture vessel 20.
  • the objective lens 34 forms an image of the observation target in the culture container 20.
  • the focus adjustment mechanism 35 includes a phase difference lens movable in the optical axis direction (Z direction), and performs auto focus control by moving the phase difference lens in the optical axis direction.
  • the contrast of the phase difference image captured by the imaging unit 38 via the half mirror 37 is adjusted by the auto focus control.
  • the imaging unit 38 In order to extend the depth of field, the imaging unit 38 generates a plurality of in-focus images having different in-focus states at a plurality of different positions in the Z direction at the same position on the XY plane in the housing unit 22.
  • the focus adjustment mechanism 35 performs autofocus control at an imaging position where the imaging unit 38 acquires a focused image.
  • the same X-axis image is obtained so that focused images can be obtained at two positions in the Z direction (at the bottom surface of the storage unit 22 and between the bottom surface and the liquid surface of the culture solution) at the same position on the XY plane.
  • -Auto focus control is performed twice at a position on the -Y plane. Details of the imaging unit 38 will be described later.
  • the movement of the phase difference lens in the optical axis direction can be realized by driving an actuator such as a piezoelectric element based on a signal from the control unit 40, for example.
  • the drive of the phase difference lens is not limited to the piezoelectric element, but may be any as long as the phase difference lens can be moved in the Z direction, and other known configurations can be used.
  • the magnification of the phase difference lens may be changed. Specifically, the phase difference lens or the focus adjustment mechanism 35 having different magnifications may be configured to be replaceable. The exchange may be performed automatically, or may be manually performed by the user.
  • the imaging lens 36 receives the phase difference image that has passed through the focus adjustment mechanism 35 and forms an image on the imaging unit 38.
  • the imaging unit 38 is fixedly attached to the measurement unit 39, forms an image by the imaging lens 36, and captures a phase difference image transmitted through the half mirror 37 or reflected by the half mirror 37.
  • the imaging unit 38 includes two imaging units 38a and 38b.
  • the imaging unit 38a and the imaging unit 38b are spaced apart from the imaging lens 36 by a distance necessary to capture a phase difference image at different positions in the Z direction at the same position on the XY plane.
  • the imaging units 38a and 38b are imaging devices such as a charge-coupled device (CCD) image sensor or a complementary metal-oxide semiconductor (CMOS) image sensor, for example.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide semiconductor
  • an image sensor provided with a RGB (Red Green Blue) color filter may be used, or a monochrome image sensor may be used.
  • the phase difference image is also simply referred to as an image.
  • the imaging unit 38 includes two imaging units 38a and 38b will be described. However, the present invention is not limited to this, and the imaging unit 38 may include three or more imaging units.
  • the imaging unit 38a and the imaging unit 38b capture images of the culture vessel 20 at different imaging positions in the Z direction at the same position on the XY plane, and for example, generate partial images 50 and 51 as illustrated in FIG. Take an image.
  • the partial images 50 and 51 include an image of the living cells 60 to 63, an image of the dead cells 64, an image of the dust 65, an image of the pattern 66 on the bottom surface of the storage unit, and the like.
  • the living cells 60 are focused, and the live cells 61 and 63 and the dead cells 64 are not focused.
  • the living cells 61 and 62, the dead cells 64, and the dust 65 are focused, and the live cells 60 and 63 are not focused.
  • the images of the living cells 60 to 63 and the pattern 66 as the object and the non-object are different in appearance.
  • an imaging optical system C the objective lens 34, the focus adjustment mechanism 35, the imaging lens 36, and the imaging unit 38 are collectively referred to as an imaging optical system C.
  • the measurement unit 39 continuously detects the position in the Z direction of the culture container 20 installed on the mounting table 10 along the scanning trajectory accompanying the relative movement of at least one of the culture container 20 and the imaging unit 38.
  • the measurement unit 39 specifically includes a first displacement sensor 39a and a second displacement sensor 39b.
  • the first displacement sensor 39a and the second displacement sensor 39b are provided side by side in the X direction shown in FIG.
  • the first displacement sensor 39a and the second displacement sensor 39b in the present embodiment are laser displacement meters, and irradiate the culture vessel 20 with a laser beam and detect the reflected light, so that the accommodation section 22 of the culture vessel 20 is detected.
  • the position of the bottom surface in the Z direction is detected, and the distance from the imaging unit 38 to the bottom surface of the housing unit 22 is measured.
  • the bottom surface of the storage unit 22 is a boundary surface between the bottom surface of the storage unit 22 and the culture solution stored in the storage unit 22, that is, an observation target installation surface.
  • the distance from the imaging unit 38 detected by the measurement unit 39 to the bottom surface of the storage unit 22 is output to the control unit 40.
  • the control unit 40 controls the focus adjustment mechanism 35 based on the input distance, and performs autofocus control (focus control).
  • focus control focus control
  • the detection of the position of the culture vessel 20 by the first displacement sensor 39a and the second displacement sensor 39b and the autofocus control will be described later in detail.
  • FIG. 4 is a block diagram illustrating a configuration of a control unit according to the embodiment of the disclosed technology.
  • the control unit 40 controls the entire microscope apparatus 30 as described above, and executes various processes.
  • the control unit 40 includes a microscope device control unit 41, a scan control unit 42, a storage unit 43, a detection unit 44, a determination unit 45, a generation unit 46, an input unit 47, and a display unit 48.
  • the control unit 40 includes a CPU (Central Processing Unit), a computer including a semiconductor memory, a storage, and the like.
  • One embodiment of the observation program of the present invention is installed in the storage. When the observation program is executed by the CPU, the microscope device controller 41, the scanning controller 42, the detector 44, the determiner 45, and the generator 46 shown in FIG. 4 function.
  • the microscope device control unit 41 controls the focus adjustment mechanism 35 based on the position information in the Z direction of the culture container 20 detected by the measurement unit 39 as described above. Then, by driving the focus adjustment mechanism 35, the phase difference lens moves in the optical axis direction, and auto focus control is performed. In order to extend the depth of field, the autofocus control is performed in the Z direction at the same position on the XY plane so as to obtain a plurality of in-focus images having different in-focus states at the same position on the XY plane. Is performed several times. In the present embodiment, the microscope device control unit 41 controls the focus adjustment mechanism 35 so that two focused images having different in-focus states are captured at each imaging position on the XY plane.
  • the “focused image” is an image in which at least a part of the image is in focus.
  • the microscope device control unit 41 controls imaging by the imaging unit 38a and the imaging unit 38b. Basically, the imaging timing during scanning is stored in the storage unit 43 in advance, and the microscope device control unit 41 performs imaging based on the stored timing.
  • the scanning control unit 42 controls the driving of the moving unit 12 to move the mounting table 10 in the X direction and the Y direction.
  • the storage unit 43 stores various data such as imaging timings of the imaging unit 38a and the imaging unit 38b, and an observation program for realizing each functional unit.
  • the detection unit 44 detects a specific feature from a plurality of in-focus images captured at a plurality of different Z-direction imaging positions obtained by imaging the culture solution stored in the storage unit 22 by the imaging units 38a and 38b. Is performed.
  • the specific feature is at least one of the feature of the image of the target and the feature of the image of the non-target included in the culture solution to be observed.
  • the target is a living cell, and the non-target is a foreign substance contained in a culture solution other than the living cell. Foreign bodies include dead cells and debris.
  • the target object may include a pattern provided on the bottom surface of the storage unit 22. When the target object includes a pattern, the detection unit 44 detects the pattern from the plurality of focused images.
  • a plurality of focused images captured at a plurality of different imaging positions in the Z direction may include a focused image focused on living cells.
  • live cells cannot be directly detected by computer soft matching.
  • the user may be able to visually check the living cells by using the region image in which the pattern is detected as a composite image. Therefore, an image of a region where the bottom surface of the storage section is focused is useful.
  • the deciding unit 45 combines the area images in the respective images when generating the combined area images from the partial images 50 and 51 at the different imaging positions in the Z direction based on the specific features detected by the detecting unit 44.
  • a parameter indicating an application degree (weight) applied to the region image is determined.
  • the determination unit 45 determines parameters for each set of region images in a plurality of corresponding regions corresponding to each of the partial images 50 and 51 at different imaging positions in the Z direction.
  • the corresponding area is an area corresponding to the same position among a plurality of partial images. For example, when the partial images 50 and 51 shown in FIG. 3 are each divided into a lattice shape, the lattice at the same position becomes the corresponding region 55.
  • FIG. 3 shows only the upper left corresponding area 55.
  • the region image is an image appearing in the corresponding region 55 of each of the partial images 50 and 51, and is a set for each corresponding region 55 at the same position.
  • the parameter is a degree of application when the area image included in the set is applied to the combined area image, and is set as, for example, a ratio of 100 to 0, 70 to 30, 50 to 50, or the like. In the present embodiment, the value of the ratio is determined so that the sum becomes 100 so as to be easily understood as a percentage. In the case of 100 to 0, it means that one region image included in the set is used for a 100% combined region image, and the other region image is not used for the combined region image at all.
  • the combined area image is an image formed by combining a plurality of area images included in the corresponding area according to the overlay parameter.
  • an example in which two partial images 50 and 51 are combined will be described.
  • the image generating apparatus according to the present embodiment can be applied to a case where three or more images are combined.
  • the generation unit 46 generates a synthesized area image by synthesizing the area images of the plurality of partial images for each of the plurality of corresponding areas based on the parameters determined by the determination unit 45. For example, it is assumed that an application degree of 70 to 30 is set as a parameter in a set of area images representing a certain corresponding area. In this case, the generation unit 46, for example, multiplies the brightness of the pixels constituting one region image by 0.7 and the brightness of the pixels constituting the other region image by 0.3, and for each corresponding pixel The addition is performed to obtain the pixel value of the combined area image. As a result, a combined area image to which the brightness is added in proportion to the parameter is generated.
  • the generation unit 46 combines the area images in all the corresponding areas, and arranges and combines the obtained combined area images at the positions of the corresponding areas to generate a target combined image (partial image).
  • the generation unit 46 generates a composite image by a similar process for all of the series of partial images captured by the microscope device 30, and generates one whole composite image by combining the series of composite images.
  • the input unit 47 includes a mouse, a keyboard, and the like, and receives various necessary data and various setting inputs by the user.
  • the input unit 47 of the present embodiment receives, for example, the input of the shape information of the above-described culture container 20 and data on the imaging position.
  • the display unit 48 includes, for example, a liquid crystal display, and displays the entire composite image generated by the generation unit 46 as described above. Further, the display unit 48 may be configured by a touch panel, and may also be used as the input unit 47.
  • FIG. 5 is a diagram showing a scanning path in the culture vessel by a solid line M.
  • FIG. 6 and FIG. 7 are diagrams showing the positional relationship between the first displacement sensor and the second displacement sensor and the culture container when there is a visual field at an arbitrary position in the culture container.
  • the mounting table 10 is moved in the X direction and the Y direction under the control of the scanning control unit 42, and the microscope device 30 is two-dimensionally scanned in the culture vessel 20. During the scanning process, a partial image of the observation target is captured in each field of view of the microscope device 30.
  • a well plate having six storage portions 22 is used as the culture container 20.
  • the field of view of the microscope device 30 moves along the solid line M from the scanning start point S to the scanning end point E. That is, the field of view is scanned in the positive X direction (right direction in FIG. 5), then moves in the Y direction (downward in FIG. 5), and is scanned in the opposite negative direction (left direction in FIG. 5). You. Then, the field of view moves again in the Y direction and is again scanned in the forward direction.
  • the visual field is two-dimensionally scanned in the culture container 20 by repeatedly performing the reciprocating movement in the X direction and the movement in the Y direction.
  • a first displacement sensor 39a and a second displacement sensor 39b are provided side by side in the X direction with the imaging optical system C interposed therebetween. Then, the visual field R of the imaging optical system C is two-dimensionally scanned in the culture vessel 20 as described above. At this time, the position of the culture container 20 in the Z direction is detected at a position on the front side in the movement direction of the visual field R with respect to the position of the visual field R of the imaging optical system C with respect to the culture container 20. Specifically, when the visual field R is moving in the direction of the arrow shown in FIG. 6 (to the right in FIG.
  • the position of the culture container 20 in the Z direction is detected by the first displacement sensor 39a on the front side in the moving direction. Then, when the visual field R moves from the position shown in FIG. 6 to the position of the first displacement sensor 39a, the autofocus control is performed using the position information of the culture container 20 detected in advance in the Z direction, Imaging of a partial image (a plurality of images) is performed.
  • the detection of the culture vessel 20 using the first displacement sensor 39a and the detection of the culture vessel 20 using the second displacement sensor 39b are switched according to the moving direction of the visual field R.
  • the position information of the culture container 20 in the Z direction at the position of the visual field R can be always obtained prior to the imaging of the partial image of the visual field R.
  • the microscope device control unit 41 performs autofocus control by driving and controlling the focus adjustment mechanism 35 based on the position information in the Z direction of the culture vessel 20 detected earlier as described above. Specifically, the relationship between the position information of the culture container 20 in the Z direction and the movement amount of the imaging optical system C in the optical axis direction is set in the microscope device control unit 41 in advance. Here, two movement amounts in the optical axis direction of the imaging optical system C are associated with one position in the Z direction of the culture vessel 20. Thus, imaging can be performed by the imaging unit 38a and the imaging unit 38b at two different imaging positions in the Z direction.
  • the microscope device controller 41 obtains the amount of movement of the imaging optical system C in the optical axis direction based on the input position information of the culture vessel 20 in the Z direction, and sends a control signal according to the amount of movement to a focus adjustment mechanism. 35.
  • the focus adjusting mechanism 35 is driven based on the input control signal, whereby the phase difference lens moves in the optical axis direction, and focus adjustment is performed according to the position of the culture vessel 20 in the Z direction.
  • FIG. 8 is a flowchart showing the flow of generating a composite image.
  • FIG. 9 is a diagram showing how a specific feature is detected.
  • the plurality of vertical lines 56 and the plurality of horizontal lines 57 in the partial images 50 and 51 are not lines depicted as images, but divide the partial images 50 and 51 into a plurality of grid-like corresponding regions. It is a line for.
  • the process illustrated in FIG. 8 is realized by the control unit 40 (CPU) reading a synthesis program from a storage and developing the synthesis program in the RAM.
  • the control unit 40 acquires images at a plurality of imaging positions different in the Z direction from the imaging units 38a and 38b (step S101).
  • the control unit 40 detects a specific feature from the plurality of images as the detection unit 44 (Step S102).
  • the particular features are both features of the object and non-object images, as described above.
  • a living cell and a pattern on the bottom surface of the storage unit 22 are detected as objects, and dead cells and foreign substances such as dust are detected as non-objects.
  • the control unit 40 detects living cells, patterns on the bottom surface of the housing unit 22, and foreign substances such as dead cells and dust by image processing such as pattern matching.
  • pattern matching the characteristic amounts of the living cells, the bottom pattern, the dead cells, and the dust are stored in the storage of the control unit 40 in advance. For example, as shown in FIG. 9, the control unit 40 detects a living cell (group) 60 in the partial image 50 and detects a living cell (group) 61 in the partial image 51.
  • the control unit 40 divides each image into region images for each corresponding region (step S103). Specifically, the control unit 40 divides the partial images 50 and 51 by a plurality of vertical lines 56 and a plurality of horizontal lines 57 as shown in FIG. The grid at the same position in the partial images 50 and 51 up to the grid is recognized as the first to n-th corresponding areas. Then, the partial images 50 and 51 are divided into n region images by n corresponding regions.
  • the control unit 40 substitutes 1 for i as an initial value (step S104).
  • the control unit 40 determines whether a set of area images including the area image of the partial image 50 and the area image of the partial image 51 appearing in the i-th corresponding area includes at least one area image including a specific feature. (Step S105).
  • the specific feature detected in step S102 is included in the region image shown in gray in FIG.
  • Step S105: YES When a set of area images appearing in the i-th corresponding area includes an area image including a specific feature (Step S105: YES), the control unit 40 determines a parameter indicating the degree of applying each area image to the composite image (step S106). This processing is hereinafter referred to as parameter determination processing (1). Details of the parameter determination processing (1) will be described later.
  • step S105: NO the control unit 40 proceeds to the processing of step S107.
  • the control unit 40 combines the area images for each set of the corresponding areas according to the parameters, and generates a combined area image (step S110).
  • the control unit 40 first superimposes the region images on the basis of the degree of application set as a parameter for each set of n corresponding regions. Therefore, n synthesized area images reflecting the parameters are generated. Then, the control unit 40 generates a target composite image (partial image) by arranging and combining the n composite region images according to the position of the corresponding region. It should be noted that by combining and combining the combined images in accordance with the imaging position on the XY plane by the imaging unit 38, an overall combined image is generated.
  • parameter determination processing (1) and parameter determination processing (2) will be specifically described.
  • the parameter determination processing (1) in the case where a set of area images appearing in the corresponding area includes an area image including a specific feature will be described.
  • FIG. 10 is a flowchart showing the flow of the parameter determination process (1).
  • FIG. 11 is a diagram illustrating an example of a plurality of region images having different focusing methods.
  • the control unit 40 determines whether or not a plurality of region images among the grouped region images include the features of the image of the target object (step S201). When the plurality of region images do not include the characteristics of the image of the target object (step S201: NO), the control unit 40 proceeds to the process of step S203.
  • the control unit 40 determines whether or not each of the region images is focused on the target image in each of the region images. The degree of application to the composite image is determined (step S202).
  • the corresponding region images 55A and 55B include images of living cells 67 and living cells 68, which are objects.
  • the living cells 67 are in focus, and the living cells 68 are out of focus.
  • the living cells 68 are in focus, and the living cells 67 are out of focus.
  • the control unit 40 calculates the ratio of the area occupied by the focused living cells 67 in the region image 55A.
  • the control unit 40 calculates, for example, the ratio of the area where 60% is in focus. Further, the control unit 40 obtains the ratio of the area occupied by the focused living cells 68 in the region image 55B.
  • the control unit 40 calculates, for example, the ratio of the area where 40% is in focus. From this calculation result, the control unit 40 determines the parameter with the ratio of the degree of application of the area image 55A to the composite image and the degree of application of the area image 55B being 60:40. As described above, the control unit 40 can determine the application degree of each region image 55 using the ratio of the area occupied by the focused object.
  • the ratio of the area occupied by the target object is 60% in the region image 55A and 40% in the region image 55B, which is exactly 100%.
  • the ratio of the area occupied by the object in each of the region images 55 does not sum to 100%.
  • the ratio of the application degree is only 70:50 (7: 5). .
  • FIG. 11 illustrates the case where the target object is a living cell
  • the case where the pattern of the bottom surface of the housing unit 22 which is another target object is included in the region image is the same as the case where the target object is a living cell.
  • the degree of application of each region image can be determined by using the ratio of the area occupied by the pattern on the bottom surface of the housing portion 22 that is the target object.
  • the control unit 40 determines whether or not there is a region image that includes a feature of a living cell image as a specific feature in the set of region images (step S203). When there is no region image including the feature of the image of the living cell (step S203: NO), the control unit 40 proceeds to the process of step S205. When there is an area image including the features of the image of the living cell (step S203: YES), the control unit 40 sets the application degree of the area image including the image of the living cell to be higher than other grouped area images. (Step S204).
  • control unit 40 determines the parameter by setting the ratio of the application degree of the area image including the feature of the image of the living cell to the application degree of the other area images in the set to 100: 0.
  • the ratio of the application degree is not limited to 100: 0, and any ratio may be set as long as the application degree of the area image including the image of the living cell is higher.
  • control unit 40 determines whether or not there is an area image that includes the characteristic of the image of the foreign substance as a specific characteristic in the group of area images (step S205). When there is no region image including the feature of the image of the foreign object (step S205: NO), the control unit 40 proceeds to the process of step S207. If there is an area image including the feature of the image of the foreign substance (step S205: YES), the control unit 40 sets the application degree of the area image including the characteristic of the foreign substance image to be lower than that of other grouped area images. (Step S206).
  • control unit 40 sets the ratio of the application degree of the area image including the feature of the image of the foreign substance to the application degree of the other area images in the set to 0: 100, and determines the parameter.
  • the ratio of the application degree is not limited to 0: 100, and any ratio may be set as long as the application degree of the area image including the feature of the image of the foreign matter is lower.
  • the characteristic of the image of the living cell is prioritized, and the characteristic of the image of the foreign substance is included.
  • the degree of application need not be set low.
  • control unit 40 determines whether or not there is an area image including a feature of the image of the pattern on the bottom surface of the storage unit 22 as a specific feature in the set of area images (step S207).
  • step S207: NO the control unit 40 proceeds to the process of step S107 in FIG. If there is an area image including the feature of the pattern image (step S207: YES), the control unit 40 sets the degree of application of the area image including the feature of the pattern image to be higher than that of the other area images in the set. It is set (step S208).
  • the control unit 40 determines the parameter by setting the ratio of the application degree of the area image including the feature of the pattern image to the application degree of the other area images in the set to 100: 0, and determines the parameter in FIG. It proceeds to the process of step S107.
  • the ratio of the application degree is not limited to 100: 0, and any ratio may be set as long as the application degree of the area image including the feature of the pattern image is higher.
  • the application degree of the area image including the pattern is set to a high degree. You do not have to do it.
  • living cells have a property of easily adhering to irregularities along a pattern.
  • the live cells attached to the bottom surface of the housing unit 22 may also be focused. . Therefore, it is important to increase the degree of application of the area image including the features of the pattern image.
  • the parameters are determined according to the type of the specific feature.
  • FIG. 12 is a diagram for explaining determination of a parameter when a set of area images appearing in the corresponding area does not include a specific feature.
  • FIG. 13 is a flowchart showing the flow of the parameter determination process (2).
  • the upper two partial images 70 and 71 are partial images captured at different imaging positions in the Z direction, and the lower partial image 90 is obtained by overlapping the partial images 70 and 71 with each other.
  • 3 shows a partial image.
  • living cells 80 and 81 are detected, and in the partial image 71, the features of the image of the living cells 82 are detected as specific features.
  • the region images including the features of the images of the living cells 80 to 82 are as shown by the hatching in the figure.
  • the parameters are determined as shown in FIG.
  • the parameters are determined for the remaining corresponding areas as shown in FIG.
  • an area image including only an area image in which a specific feature is not detected is considered.
  • Determine the set of parameters For example, for a corresponding region in which a specific feature is not detected in any of the region images, the control unit 40 determines a parameter of another corresponding region in which any of the specific features is detected and a distance to the corresponding region.
  • the parameters are determined based on the parameters. The reason is as follows. For example, live cells often collect on the bottom surface of the storage unit 22, and dead cells often collect (float) on the surface of the culture solution.
  • the target object and the non-target object detected as a specific feature often gather together with the same type. Therefore, a region image closer to the region image including the detected specific feature has a higher probability that the same specific feature exists even if the specific feature is not detected. For this reason, by applying a weight inversely proportional to the distance to the parameter, the target object can easily appear in the combined area image, and the non-object can hardly appear.
  • the control unit 40 specifies a corresponding area for which a parameter has not been determined (step S301).
  • a corresponding area 75 shown in FIG. 12 is specified in step S301 will be described.
  • the control unit 40 calculates a distance from the corresponding area 75 to the corresponding area for which the parameter has been determined.
  • the corresponding area for which the parameter has been determined refers to the corresponding area for which the parameter has been determined by the parameter determination processing (1) shown in FIG.
  • the shaded corresponding area is the corresponding area for which the parameters have been determined.
  • step S302 distances L1, L2, and L3 from the corresponding area 75 to the corresponding areas 76 to 78 are calculated.
  • the distances L1, L2, L3 are obtained, for example, as distances from the center of the corresponding area 75 to the centers of the corresponding areas 76 to 78.
  • the control unit 40 determines weights using the corresponding regions 76 to 78 for which the parameters have been determined (step S303).
  • the weight is determined to be inversely proportional to the distance. That is, a higher weight is determined for an area closer to the corresponding area 75. For example, for the corresponding area 76 that is separated from the corresponding area 75 by the distance L1, the weight W 76 is determined by the following equation (1).
  • the control unit 40 calculates the parameters of the corresponding area 75 using the above-mentioned weights (Step S304).
  • the parameters to be calculated are represented by P 75 and the parameters of the corresponding regions 76 to 78 are represented by P 76 to P 78 , the following equation (2) is obtained.
  • the control unit 40 determines whether or not parameters have been determined for all the corresponding areas (step S305). If the parameters have not been determined for all the corresponding areas (step S305: NO), the control unit 40 returns to the processing of step S301. When the parameters have been determined for all the corresponding regions (step S305: YES), the control unit 40 returns to the process of step S110 in FIG.
  • one corresponding area 76 (77, 78) is picked up from a group of consecutive corresponding areas where a specific feature is detected, and the parameters of the corresponding area not including the specific feature are determined. Used. However, in determining the parameters of the corresponding region that does not include the specific feature, all the corresponding regions in the group of the corresponding region in which the specific feature is detected may be used.
  • the parameter indicating the degree of application to the combined area image is set for each set of area images appearing for each corresponding area of a plurality of images captured at different imaging positions in the Z direction. Is determined, and a combined area image is combined based on the parameters.
  • the control unit 40 determines the degree of application based on the ratio of the area of the region in each region image where the object is in focus. Determine the parameters. Therefore, in a case where a plurality of objects are focused at different focal points in the Z direction, while the degree of application of a region image that is in focus in a larger area is increased, focus is achieved in a smaller area.
  • the region image that exists is also applied to the composite image. Therefore, the image of the target object appearing in any of the region images is applied to the composite image. As a result, when the user refers to the composite image, all the objects existing at different positions in the Z direction can be recognized.
  • the specific feature is applied to the combined area image based on the degree of application of the parameter of the area image close to the area image to the set of area images including only the area image in which the control unit 40 cannot detect the specific feature. sell. Then, a combined image is generated by arranging and combining the combined area images according to the position of the corresponding area. As described above, when the user views and confirms the composite image as a result of generating the composite image, a specific feature may be confirmed in some cases. Furthermore, since the combined image is generated by arranging and combining the combined images in accordance with the imaging position, a specific feature may be able to be confirmed when the user views and checks the combined image.
  • the observation device determines the degree of application of the region image including the features of the living cell image to the combined region image to the combined region image of the region image not including the features of the living cell image.
  • the parameter is determined with a higher degree of application. Therefore, an image of a living cell can easily appear in the combined area image, and thus an image of a living cell can be easily seen in the combined image.
  • the observation device sets the degree of application of the region image including the feature of the foreign matter image to the combined region image lower than the degree of application of the region image not including the feature of the foreign matter image to the combined region image, and To determine. Therefore, it is possible to make it difficult for the image of the foreign substance to appear in the combined area image, and it is possible to make it difficult for the image of the foreign substance to appear in the combined image.
  • the observation device determines the degree of application of the region image including the feature of the pattern image to the combined region image to the combined region image of the region image that does not include both the feature of the living cell image and the feature of the foreign matter image.
  • the parameter is determined with a higher degree of application. Therefore, the image of the pattern can easily appear in the combined area image.
  • the observation device determines, for each corresponding region, whether or not a specific feature is detected in any one of the region images.
  • the parameters are determined based on the parameters of another corresponding area where the specific feature is detected and the distance to the other corresponding area.
  • the present invention is not limited to the above embodiment. Various modifications are possible.
  • the parameters of another corresponding region in which any of the specific features are detected and the parameters of the other corresponding region up to the other corresponding region are detected.
  • the parameters are determined based on the distance.
  • the parameter may be determined based on a preset application degree.
  • the preset degree of application can be made equal, for example, for an area image appearing in the corresponding area.
  • the application degree can be set to 50 to 50.
  • the observation device may further include a warning unit that generates a warning to the user in addition to or instead of determining the parameter.
  • the warning unit can be realized as one function of the control unit 40, and, for example, causes the display unit 48 to display a warning message for notifying the user that there is a corresponding region in which no specific feature is detected in any region image. Accordingly, the user is alerted to whether or not the specific feature is overlooked in the corresponding region in which the specific feature is not detected in any of the region images. In some cases, the user can check the partial image before the combination to determine whether a specific feature has been overlooked.
  • the microscope apparatus 30 captures a partial image of the observation target and the culture container 20
  • the microscope device 30 has a field of view that accommodates the entire observation target and the culture vessel 20 when imaging at a magnification lower than the magnification at which the partial image is captured, and captures the entire image instead of the partial image.
  • the entire image can be divided into region images, and parameters can be given to each region image to be synthesized.
  • the resultant composite image is not a partial image but an entire image.
  • processors other than the CPU may execute the observation process that the CPU reads and executes the software (program) in the above embodiment.
  • the processor in this case includes a PLD (Programmable Logic Device) whose circuit configuration can be changed after the manufacture of an FPGA (Field-Programmable Gate Array) or the like, and an ASIC (Application Specific Integrated Circuit for executing an Integrated Circuit for performing an Integrated Circuit).
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit for executing an Integrated Circuit for performing an Integrated Circuit
  • An example is a dedicated electric circuit which is a processor having a circuit configuration designed exclusively.
  • observation process may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or the like).
  • the hardware structure of these various processors is more specifically an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the microscope apparatus 30 includes the two imaging units 38a and 38b has been described.
  • the present invention is not limited thereto. May be taken.
  • the program may be provided in a form recorded on a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. Further, the program may be downloaded from an external device via a network.
  • a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory.
  • the program may be downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Organic Chemistry (AREA)
  • Biotechnology (AREA)
  • Optics & Photonics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sustainable Development (AREA)
  • Genetics & Genomics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Microbiology (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Studio Devices (AREA)

Abstract

複数の合焦画像から生細胞に焦点の合った領域を優先的に抽出して合成画像に適用しうる画像生成装置、画像生成方法および画像生成プログラムを提供する。画像生成装置は、観察対象を含む、異なる合焦状態の複数の合焦画像から、 特定の特徴を検出する処理を行なう検出部４３と、検出部４３により検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定する決定部４４と、決定部４４により決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成する生成部４５と、を有する。

Description

画像生成装置、画像生成方法および画像生成プログラム

　開示の技術は、異なる複数の合焦画像を合成して合成画像を生成する画像生成装置、画像生成方法および画像生成プログラムに関する。

　複数の単焦点画像（合焦画像）を合成して全焦点画像を生成する技術が知られている。

当該技術では、単焦点画像からソフトマッチングにより細胞の画像を検出し、細胞に焦点が合った領域の領域画像を単焦点画像から抽出し、焦点が合った領域画像を組み合わせて全焦点の合成画像を生成する。

特開２０１３－２３６５６４号公報

　しかし、複数の単焦点画像内の対応する領域の領域画像を見比べた場合に、細胞に焦点が合った領域画像が１つだけ存在する場合であれば、特許文献１に記載の発明のように、細胞に焦点が合った領域画像だけを組みあわせて合成することにより、全焦点の合成画像が得られる。しかし、焦点の合い方によっては、対応する複数の領域画像において、画像内の一部の細胞に焦点が合っているが一部の細胞には焦点が合っていない領域画像が複数含まれる場合もある。

　例えば、対応する複数の領域画像のうち、ある領域画像の中には、細胞に焦点が合っている領域と、細胞に焦点が合っていない領域とがある割合で存在し、別の領域画像の中にも、細胞に焦点が合っている領域と、細胞に焦点が合っていない領域とが上述の割合とは異なる割合で存在する場合がある。すなわち、対応する複数の領域画像の各々の画像において、細胞に焦点が合っている領域と焦点に領域が合っていない領域との割合が異なる場合、換言すると、焦点の合い方が異なる領域画像が混在する場合がある。このような場合、特許文献１記載の発明では、細胞に焦点が合った領域画像を組みあわせて全焦点の合成画像を生成するので、複数の領域画像の中から全焦点の合成画像の生成に用いる領域画像を選択できない。

　開示の技術は、上記事情に鑑みてなされたものであり、複数の合焦画像において焦点の合い方が異なる領域画像が混在する場合でも、合成画像を生成しうる画像生成装置、画像生成方法および画像生成プログラムを提供することを目的とする。

　開示の技術に係る画像生成装置は、観察対象を含む、異なる合焦状態の複数の合焦画像から、特定の特徴を検出する処理を行なう検出部と、検出部により検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定する決定部と、決定部により決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成する生成部と、を有する。

　ここで、適用度合いは、例えば、複数の画像が二つの画像である場合、１００対０、７０対３０、５０対５０等の比として設定される。

　上記の画像生成装置において、決定部は、検出された特定の特徴を何れかの領域画像に含む領域画像の組に対して決定したパラメータに基づいて、検出された特定の特徴を何れの領域画像にも含まない領域画像の組に対するパラメータを決定しうる。

　上記の画像生成装置において、決定部は、特定の特徴を何れかの領域画像に含む領域画像の組の対応領域から、特定の特徴を何れの領域画像にも含まない領域画像の組の対応領域までの距離に基づいて、特定の特徴を何れの領域画像にも含まない領域画像の組に対するパラメータを決定しうる。

　上記の画像生成装置において、決定部は、特定の特徴を何れの領域画像に含まない領域画像の組について、予め設定された適用度合いにより、パラメータを決定しうる。

　上記の画像生成装置において、生成部は、合成領域画像を対応領域の位置に従って並べて結合することにより、合成画像を生成しうる。

　上記の画像生成装置において、特定の特徴は、観察対象に含まれる対象物の画像の特徴および非対象物の画像の特徴の少なくとも一方でありうる。

　上記の画像生成装置において、決定部は、領域画像に対象物の画像の特徴が含まれる場合、対象物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、対象物の画像の特徴を含まない領域画像の合成画像への適用度合いより高くして、パラメータを決定し、領域画像に非対象物の画像の特徴が含まれる場合、非対象物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、非対象物の画像の特徴を含まない領域画像の合成領域画像への適用度合いより低くして、パラメータを決定しうる。

　上記の画像生成装置において、一の対応領域における前記領域画像の組の中に、対象物の特徴を含む複数の領域画像が存在する場合、決定部は、各領域画像における対象物の特徴が占める面積の割合に基づいて、各領域画像に対するパラメータを決定しうる。

　上記の画像生成装置において、対象物は、生細胞であり、非対象物は、観察対象に含まれる生細胞以外の異物でありうる。異物としては、死細胞およびゴミが含まれる。

　上記の画像生成装置において、決定部は、生細胞の画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定しうる。

　上記の画像生成装置において、決定部は、異物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、異物の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも低くして、パラメータを決定しうる。

　上記の画像生成装置において、対象物は、前記生細胞に加え、収容部の底面に表れるパターンを含み、決定部は、パターンの画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴および異物の画像の特徴の両方を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定しうる。

　上記の画像生成装置は、何れの領域画像にも特定の特徴が検出されない対応領域について、警告を発生する警告部をさらに有しうる。

　開示の技術に係る画像生成方法は、観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、検出工程により検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定する決定工程と、決定工程により決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成する生成工程と、を有する。

　開示の技術に係る画像生成プログラムは、観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、検出工程により検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定する決定工程と、決定工程により決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成する生成工程と、をコンピュータに実行させる。

　また、本開示の画像生成装置は、観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出し、検出された特定の特徴に基づいて、複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に領域画像から合成領域画像を生成する際の領域画像の合成領域画像への適用度合いを表すパラメータを決定し、決定されたパラメータに基づいて、領域画像を複数の対応領域毎に合成して合成領域画像を生成するプロセッサ、を有する。

　開示の技術によれば、対応領域毎に、領域画像の合成領域画像への適用度合いを表すパラメータを決定し、パラメータに基づいて領域画像を合成する。これにより、開示の技術では、複数の領域画像から画像全域で細胞に焦点が合った領域画像が得られない場合でも、合成画像を生成しうる。

開示の技術の実施形態に係る観察装置の概略構成を示す図である。 載置台の一例を示す図である。 撮像部により撮像される位相差画像の一例を示す図である。 開示の技術の実施形態に係る制御部の構成を示すブロック図である。 培養容器内における走査経路を実線で示した図である。 培養容器内の任意の位置に視野がある場合における、第１の変位センサおよび第２の変位センサと、培養容器との位置関係を示す図である。 培養容器内の任意の位置に視野がある場合における、第１の変位センサおよび第２の変位センサと、培養容器との位置関係を示す図である。 合成領域画像の生成の流れを示すフローチャートである。 特定の特徴を検出する様子を示す図である。 パラメータ決定処理（１）の流れを示すフローチャートである。 焦点の合い方が異なる複数の領域画像の一例を示す図である。 対応領域に表れる領域画像の組に特定の特徴を含まない場合のパラメータの決定を説明するための図である。 パラメータ決定処理（２）の流れを示すフローチャートである。

　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

　図１は、開示の技術の実施形態に係る観察装置の概略構成を示す図である。図２は、載置台の一例を示す図である。図３は、撮像部により撮像される位相差画像の一例を示す図である。

　観察装置は、載置台１０に載置された培養容器２０と培養容器２０に収容される培養液とを観察対象として、顕微鏡装置３０により観察するための装置である。載置台１０および顕微鏡装置３０は、制御部４０により制御される。各構成について、順に説明する。

　載置台１０は、培養容器２０を載置可能なステージである。図２に示すように、載置台１０の中央には、矩形の開口１１が形成されている。この開口１１を形成する部材の上に培養容器２０が設置され、顕微鏡装置３０により観察するための光が通過するように構成されている。

　載置台１０には、移動部１２が取り付けられている。移動部１２は、載置台１０を互いに直交するＸ方向およびＹ方向に自由に移動可能である。Ｘ方向およびＹ方向は、Ｚ方向に直交する方向であり、水平面内において互いに直交する方向である。本実施形態においては、Ｘ方向を主走査方向とし、Ｙ方向を副走査方向とする。移動部１２は、圧電素子などを有するアクチュエータから構成される。載置台１０のＸ－Ｙ平面における移動は、制御部４０によって制御される。載置台１０がＸ－Ｙ平面を移動することによって、載置台１０上の培養容器２０が顕微鏡装置３０に対して移動する。

　なお、本実施形態では、載置台１０を顕微鏡装置３０に対して移動することにより、顕微鏡装置３０により観察対象を観察する位置を変更する例を示すが、これに限定されない。顕微鏡装置３０を載置台１０に対して移動してもよいし、載置台１０および顕微鏡装置３０の両方を移動してもよい。載置台１０に載置された培養容器２０および顕微鏡装置３０の少なくとも一方が他方に対して相対的に移動すれば、いかなる態様を採用することもできる。なお、本開示において、例えば、顕微鏡装置３０の位置が固定されており、培養容器２０だけが移動している場合でも、「顕微鏡装置３０が培養容器２０に対して相対的に移動している」と表現する。また、本開示では、顕微鏡装置３０および培養容器２０のいずれが実際に移動している場合でも、相対的な移動に伴う軌道を、「走査軌道」と表現する。

　また、培養容器２０を載置台１０に載置して移動するのではなく、培養容器２０の少なくとも一ヶ所を把持する把持部を用い、把持部を動かして、培養容器２０をＸ－Ｙ平面において移動させてもよい。

　培養容器２０は、平板状のプレート２１に複数の収容部２２が形成されてなる。培養容器２０は、例えば、シャーレ、ディッシュまたはウェルプレートなどを用いることができる。収容部２２は、例えば、平面視すると円形の凹部であり、ウェルとも呼ばれる。収容部２２には、観察対象である培養液に漬かった各種の細胞等の対象物が収容される。対象物は主に、生細胞である。収容部２２に収容される細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞などがある。培養液には、意図しないゴミまたは死細胞も含まれうる。収容部２２の底面は加工処理されている。収容部２２の底面の加工処理の一例として、規則的な微細なパターンの形成がある。パターンとしては、複数の直線または曲線の規則的な繰り返し、同心の複数の環、規則的な凹凸の繰り返し等がある。パターンは、たとえば、ブラストなどによるパターニングにより、収容部２２の底面に形成されている。収容部２２の底面が加工処理されていることにより、細胞が底面に定着しやすくなる。

　顕微鏡装置３０は、観察対象の位相差画像を撮像するものである。顕微鏡装置３０は、高倍率の画像を得るために、培養容器２０の各収容部２２よりも小さい視野により、観察対象および培養容器２０の部分画像を撮像する。上述のように、培養容器２０が顕微鏡装置３０に対して移動することによって、顕微鏡装置３０が培養容器２０を走査し、一連の部分画像が得られる。

　顕微鏡装置３０は、光源３１と、スリット３２と、コンデンサレンズ３３と、対物レンズ３４と、フォーカス調整機構３５と、結像レンズ３６と、ハーフミラー３７と、撮像部３８と、測定部３９とを備えている。

　光源３１は、白色光を射出する。スリット３２は、光源３１から射出された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられて形成されている。白色光がスリットを通過することによってリング状の照明光Ｌが形成される。コンデンサレンズ３３は、リング状の照明光Ｌを、観察対象に集光させる。

　対物レンズ３４は、培養容器２０を介して、コンデンサレンズ３３に対向して配置される。対物レンズ３４は、培養容器２０内の観察対象の像を結像させる。フォーカス調整機構３５は、光軸方向（Ｚ方向）に移動可能な位相差レンズを含み、位相差レンズが光軸方向に移動することによって、オートフォーカス制御を行なう。オートフォーカス制御により、ハーフミラー３７を介して撮像部３８によって撮像される位相差画像のコントラストが調整される。被写界深度を拡張するために、撮像部３８は、収容部２２内の同じＸ－Ｙ平面上の位置において、Ｚ方向の異なる複数の位置で合焦状態がそれぞれ異なる複数の合焦画像を取得し、フォーカス調整機構３５は、撮像部３８が合焦画像を取得する撮像位置においてオートフォーカス制御を行なう。本実施形態では、同じＸ－Ｙ平面上の位置においてＺ方向の二ヶ所（収容部２２の底面、および底面と培養液の液面の間）での合焦画像が得られるように、同じＸ－Ｙ平面上の位置で二回のオートフォーカス制御が行なわれる。撮像部３８の詳細については後述する。

　なお、位相差レンズの光軸方向の移動は、例えば、制御部４０からの信号に基づく圧電素子のようなアクチュエータの駆動により実現できる。ただし、位相差レンズの駆動は、圧電素子に限らず、位相差レンズをＺ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。また、位相差レンズの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズまたはフォーカス調整機構３５を交換可能に構成するようにしてもよい。当該交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。

　結像レンズ３６は、フォーカス調整機構３５を通過した位相差画像が入射され、これを撮像部３８に結像する。

　撮像部３８は、測定部３９に固定的に取り付けられ、結像レンズ３６によって結像され、ハーフミラー３７を透過またはハーフミラー３７を反射した位相差画像を撮像する。本実施形態では、撮像部３８は、二つの撮像部３８ａおよび撮像部３８ｂを含む。撮像部３８ａおよび撮像部３８ｂは、同じＸ－Ｙ平面上の位置においてＺ方向にそれぞれ異なる位置で位相差画像を撮像するのに必要な距離だけ、結像レンズ３６から離間して配置される。撮像部３８ａ、３８ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子である。撮像素子としては、ＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いてもよい。以下では、位相差画像を、単に画像とも呼ぶ。本実施形態では、撮像部３８が二つの撮像部３８ａおよび撮像部３８ｂを備える場合について説明する。しかし、これに限定されず、撮像部３８は、三つ以上の撮像部を備えてもよい。

　撮像部３８ａおよび撮像部３８ｂは、同じＸ－Ｙ平面上の位置において、それぞれＺ方向に異なる撮像位置で培養容器２０の画像を撮像し、例えば、図３に示すような部分画像５０、５１を撮像する。部分画像５０、５１には、生細胞６０～６３の画像、死細胞６４の画像、ゴミ６５の画像、収容部の底面のパターン６６の画像などが含まれる。図３に示す例では、部分画像５０においては、生細胞６０に焦点が合っており、生細胞６１、６３および死細胞６４には焦点が合っていない。部分画像５１においては、生細胞６１、６２、死細胞６４およびゴミ６５に焦点が合っており、生細胞６０、６３には焦点が合っていない。このように、同じＸ－Ｙ平面上の位置において、それぞれ異なるＺ方向の撮像位置で撮像された部分画像５０、５１では、対象物である生細胞６０～６３およびパターン６６の画像と、非対象物である死細胞６４およびゴミ６５の画像は見え方が異なる。

　以下では、上記の対物レンズ３４、フォーカス調整機構３５、結像レンズ３６および撮像部３８を合わせて、結像光学系Ｃとも呼ぶ。

　測定部３９は、培養容器２０および撮像部３８の少なくとも一方の相対的な移動に伴う走査軌道に沿って、載置台１０に設置された培養容器２０のＺ方向の位置を連続的に検出する。

　測定部３９は、具体的には、第１の変位センサ３９ａおよび第２の変位センサ３９ｂを備える。第１の変位センサ３９ａおよび第２の変位センサ３９ｂは、結像光学系Ｃを挟んで、図１に示すＸ方向に並べて設けられている。本実施形態における第１の変位センサ３９ａおよび第２の変位センサ３９ｂはレーザー変位計であり、培養容器２０にレーザー光を照射し、その反射光を検出することによって、培養容器２０の収容部２２の底面のＺ方向の位置を検出し、撮像部３８から収容部２２の底面までの距離を測定するものである。

なお、収容部２２の底面とは、収容部２２の底面と収容部２２に収容される培養液との境界面であり、すなわち観察対象設置面である。

　測定部３９によって検出された撮像部３８から収容部２２の底面までの距離は、制御部４０に出力される。制御部４０は、入力された距離に基づいて、フォーカス調整機構３５を制御し、オートフォーカス制御（焦点の制御）を行う。なお、第１の変位センサ３９ａおよび第２の変位センサ３９ｂによる培養容器２０の位置の検出およびオートフォーカス制御については、後で詳述する。

　次に、顕微鏡装置３０を制御する制御部４０の構成について説明する。図４は、開示の技術の実施形態に係る制御部の構成を示すブロック図である。

　制御部４０は、上述のように顕微鏡装置３０の全体を制御し、かつ各種の処理を実行する。制御部４０は、顕微鏡装置制御部４１、走査制御部４２、記憶部４３、検出部４４、決定部４５、生成部４６、入力部４７および表示部４８を有する。制御部４０は、ＣＰＵ

（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、半導体メモリおよびストレージ等を備えたコンピュータから構成される。ストレージに本発明の観察プログラムの一実施形態がインストールされている。そして、この観察プログラムがＣＰＵに実行されることによって、図４に示す顕微鏡装置制御部４１、走査制御部４２、検出部４４、決定部４５および生成部４６が機能する。

　顕微鏡装置制御部４１は、上述したように測定部３９によって検出された培養容器２０のＺ方向の位置情報に基づいて、フォーカス調整機構３５を制御する。そして、フォーカス調整機構３５の駆動によって位相差レンズが光軸方向に移動し、オートフォーカス制御が行われる。被写界深度を拡張するために、オートフォーカス制御は、同じＸ－Ｙ平面の位置において、合焦状態の異なる複数の合焦画像が得られるように、同じＸ－Ｙ平面の位置においてＺ方向に複数回行なわれる。本実施形態では、顕微鏡装置制御部４１は、Ｘ－Ｙ平面の各撮像位置においてそれぞれ合焦状態の異なる二つの合焦画像が撮像されるように、フォーカス調整機構３５を制御する。なお、フォーカス調整機構３５により結像レンズ３６を移動させる（Ｚ方向の異なる撮像位置において撮像する）代わりに、Ｚ方向の一ヶ所の撮像位置においてフォーカスの合わせ方を変えることにより複数の合焦画像を撮像してもよい。なお、本明細書において、「合焦画像」とは、画像の少なくとも一部においてフォーカスが合っている画像である。

　また、顕微鏡装置制御部４１は、培養容器２０を走査する際に、撮像部３８ａおよび撮像部３８ｂによる撮像を制御する。基本的には、予め記憶部４３に走査中の撮像タイミングが記憶されており、顕微鏡装置制御部４１は、記憶されたタイミングに基づいて撮像を行う。

　走査制御部４２は、移動部１２を駆動制御し、載置台１０をＸ方向およびＹ方向に移動させる。記憶部４３は、撮像部３８ａおよび撮像部３８ｂによる撮像タイミング等の各種データおよび各機能部を実現させる観察プログラムを記憶している。

　検出部４４は、収容部２２に収容された培養液を撮像部３８ａ、３８ｂにより撮像して得られた、異なる複数のＺ方向の撮像位置において撮像された複数の合焦画像から、特定の特徴を検出する処理を行なう。特定の特徴は、観察対象である培養液に含まれる対象物の画像の特徴および非対象物の画像の特徴の少なくとも一方である。対象物は、生細胞であり、非対象物は、生細胞以外の培養液に含まれる異物である。異物としては、死細胞およびゴミが含まれる。また、対象物には、収容部２２の底面に施されたパターンが含まれてもよい。対象物にパターンが含まれる場合、検出部４４は、複数の合焦画像からパターンを検出する。上述のように、収容部２２の底面のパターンには、生細胞が付着しやすい。従って、パターンを検出すれば、間接的に、生細胞を検出できている可能性がある。このため、焦点の合い方（合焦の程度）によっては、異なる複数のＺ方向の撮像位置で撮像された複数の合焦画像中に生細胞に焦点が合った合焦画像が含まれておらず、コンピュータによるソフトマッチングにより直接的に生細胞を検出できない場合がある。このような場合でも、収容部の底面のパターンが検出されれば、当該パターンが検出された領域画像を合成画像に用いることにより、ユーザが肉眼で確認して生細胞を判別できる場合がある。したがって、収容部の底面に焦点があった領域の画像は有用である。

　決定部４５は、検出部４４により検出された特定の特徴に基づいて、異なるＺ方向の撮像位置での部分画像５０、５１から合成領域画像を生成する際に、各画像中の領域画像を合成領域画像に適用する適用度合い（重み）を表すパラメータを決定する。決定部４５は、異なるＺ方向の撮像位置での部分画像５０、５１の各々に対応する複数の対応領域における領域画像の組毎に、パラメータを決定する。対応領域は、複数の部分画像間において同じ位置に対応する領域のことである。例えば、図３に示す部分画像５０、５１がそれぞれ格子状に区分されたときに、同じ位置の格子が対応領域５５となる。図３では、左上の対応領域５５のみ示している。しかし、左上の格子に限らず、部分画像５０、５１間で同じ位置の格子は、全て対応領域５５となる。領域画像は、部分画像５０、５１のそれぞれの対応領域５５に表れる画像のことであり、同じ位置の対応領域５５毎に組となる。パラメータは、組に含まれる領域画像を合成領域画像に適用する際の適用度合いであり、例えば、１００対０、７０対３０、５０対５０等の比として設定される。本実施形態においては、百分率としても分かりやすいように、合計が１００となるように、比の値を決定する。１００対０の場合、組に含まれる一方の領域画像が、１００％合成領域画像に用いられ、他方の領域画像が全く合成領域画像に用いられないことを意味する。また、７０対３０の場合、組に含まれる一方の領域画像が、７０％合成領域画像に用いられ、他方の領域画像が、３０％合成領域画像に用いられる。パラメータの決定の仕方について、詳細は後述する。合成領域画像は、対応領域に含まれる複数の領域画像を、重ね合わせパラメータに従って合成してできる画像である。なお、本実施形態では、二つの部分画像５０、５１を合成する例について説明するが、三つ以上の画像を合成する場合にも、本実施形態の画像生成装置を適用できることは言うまでもない。

　生成部４６は、決定部４５により決定されたパラメータに基づいて、複数の部分画像の領域画像を複数の対応領域毎に合成して合成領域画像を生成する。例えば、ある対応領域を表す領域画像の組に、パラメータとして７０対３０の適用度合いが設定されているとする。この場合、生成部４６は、例えば、一方の領域画像を構成する画素の明度を０．７倍し、他方の領域画像を構成する画素の明度を０．３倍して、対応する画素毎に合算して、合成領域画像の画素値とする。これにより、パラメータに比例して明度が足された合成領域画像が生成される。生成部４６は、すべての対応領域で領域画像同士を組み合せ、得られた合成領域画像をさらに対応領域の位置で並べて合成し、目的とする合成画像（部分画像）を生成する。生成部４６は、顕微鏡装置３０によって撮像された一連の部分画像の全てについて、同様の処理により合成画像を生成し、一連の合成画像を結合することによって、１枚の全体合成画像を生成する。

　入力部４７は、マウスおよびキーボードなどを備えたものであり、各種の必要なデータおよびユーザによる種々の設定入力を受け付ける。本実施形態の入力部４７は、例えば、上述の培養容器２０の形状情報、撮像位置に関するデータの入力を受け付ける。

　表示部４８は、例えば液晶ディスプレイなどを備え、上述したように生成部４６によって生成された全体合成画像を表示する。また、表示部４８をタッチパネルによって構成し、入力部４７と兼用するようにしてもよい。

　次に、走査制御部４２による載置台１０の移動制御および顕微鏡装置制御部４１による顕微鏡装置３０の制御について、詳細に説明する。

　図５は、培養容器内における走査経路を実線Ｍで示した図である。図６および図７は、培養容器内の任意の位置に視野がある場合における、第１の変位センサおよび第２の変位センサと、培養容器との位置関係を示す図である。

　本実施形態においては、走査制御部４２による制御によって載置台１０をＸ方向およびＹ方向に移動させ、顕微鏡装置３０を培養容器２０内において２次元状に走査する。走査の過程で、顕微鏡装置３０の各視野内において、観察対象の部分画像を撮像する。なお、本実施形態においては、培養容器２０として６つの収容部２２を有するウェルプレートを用いる。

　図５に示すように、顕微鏡装置３０の視野は、走査開始点Ｓから走査終了点Ｅまで実線Ｍに沿って移動する。すなわち、視野は、Ｘ方向の正方向（図５の右方向）に走査された後、Ｙ方向（図５の下方向）に移動し、逆の負方向（図５の左方向）に走査される。次いで、視野は、再びＹ方向に移動し、再び正方向に走査される。このように、視野は、Ｘ方向についての往復移動とＹ方向への移動を繰り返し行うことによって、培養容器２０内を２次元状に走査される。

　本実施形態においては、図６および図７に示すように、第１の変位センサ３９ａと第２の変位センサ３９ｂが結像光学系Ｃを挟んでＸ方向に並べて設けられている。そして、結像光学系Ｃの視野Ｒは、上述したように培養容器２０内を２次元状に走査される。この際、培養容器２０に対する結像光学系Ｃの視野Ｒの位置よりも視野Ｒの移動方向前側の位置において培養容器２０のＺ方向の位置が検出される。具体的には、視野Ｒが、図６に示す矢印方向（図６の右方向）に移動している場合には、第１の変位センサ３９ａおよび第２の変位センサ３９ｂのうち、視野Ｒの移動方向前側の第１の変位センサ３９ａによって培養容器２０のＺ方向の位置が検出される。そして、視野Ｒが、図６に示す位置から第１の変位センサ３９ａの位置まで移動した場合に、前もって検出された培養容器２０のＺ方向の位置情報が用いられてオートフォーカス制御が行われ、部分画像（複数の画像）の撮像が行われる。

　一方、視野Ｒが、図７の矢印方向（図７の左方向）に移動している場合には、第１の変位センサ３９ａおよび第２の変位センサ３９ｂのうち、視野Ｒの移動方向前側の第２の変位センサ３９ｂによって培養容器２０のＺ方向の位置が検出される。そして、視野Ｒが、図７に示す位置から第２の変位センサ３９ｂの位置まで移動した場合に、前もって検出された培養容器２０のＺ方向の位置情報が用いられてオートフォーカス制御が行われ、部分画像の撮像が行われる。

　このように第１の変位センサ３９ａを用いた培養容器２０の検出と第２の変位センサ３９ｂを用いた培養容器２０の検出とを視野Ｒの移動方向に応じて切り替える。これによって、常に、視野Ｒの部分画像の撮像に先行して、その視野Ｒの位置における培養容器２０のＺ方向の位置情報を取得できる。

　そして、顕微鏡装置制御部４１は、上述したように先行して検出された培養容器２０のＺ方向の位置情報に基づいて、フォーカス調整機構３５を駆動制御することによって、オートフォーカス制御を行う。具体的には、顕微鏡装置制御部４１には、培養容器２０のＺ方向の位置情報と結像光学系Ｃの光軸方向の移動量との関係が予め設定されている。ここで、培養容器２０のＺ方向の一つの位置に対して、結像光学系Ｃの光軸方向の移動量が二つ対応付けられている。これにより、Ｚ方向の異なる二つの撮像位置において撮像部３８ａおよび撮像部３８ｂによる撮像が可能となる。顕微鏡装置制御部４１は、入力された培養容器２０のＺ方向の位置情報に基づいて、結像光学系Ｃの光軸方向の移動量を求め、その移動量に応じた制御信号をフォーカス調整機構３５に出力する。フォーカス調整機構３５は、入力された制御信号に基づいて駆動し、これにより位相差レンズが光軸方向に移動し、培養容器２０のＺ方向の位置に応じたフォーカス調整が行われる。

　次に、生成部４６による合成画像の生成について、詳細に説明する。

　図８は、合成画像の生成の流れを示すフローチャートである。図９は、特定の特徴を検出する様子を示す図である。なお、図９において、部分画像５０、５１中の複数の縦線５６および複数の横線５７は、画像として写っている線ではなく、部分画像５０、５１を格子状の複数の対応領域に区分するための線である。

　図８に示す処理は、制御部４０（ＣＰＵ）がストレージから合成プログラムを読み込み、ＲＡＭに展開することによって実現される。

　制御部４０は、撮像部３８ａおよび撮像部３８ｂから、Ｚ方向の異なる複数の撮像位置の画像を取得する（ステップＳ１０１）。

　制御部４０は、検出部４４として、複数の画像から特定の特徴を検出する（ステップＳ１０２）。特定の特徴は、上述の通り、対象物および非対象物の画像の特徴の両方である。本フローチャートの説明では、対象物として、生細胞および収容部２２の底面のパターンを検出し、非対象物として、死細胞およびゴミ等の異物を検出する。制御部４０は、生細胞、収容部２２の底面のパターン、並びに死細胞およびゴミ等の異物を、パターンマッチング等の画像処理により検出する。パターンマッチングのために、生細胞、底面のパターン、死細胞およびゴミの特徴量が予め制御部４０のストレージに記憶されている。制御部４０は、例えば、図９に示すように、部分画像５０においては生細胞（群）６０を検出し、部分画像５１においては生細胞（群）６１を検出する。

　制御部４０は、各画像を対応領域毎の領域画像に区分する（ステップＳ１０３）。具体的には、制御部４０は、図９に示すように、複数の縦線５６および複数の横線５７により部分画像５０、５１を区分し、部分画像５０、５１の左上の格子から右下の格子まで、部分画像５０、５１において同じ位置の格子を１番目～ｎ番目の対応領域として認識する。

そして、部分画像５０、５１は、ｎ個の対応領域により、ｎ個の領域画像に区分される。

　制御部４０は、初期値としてｉに１を代入する（ステップＳ１０４）。

　制御部４０は、ｉ番目の対応領域に表れる部分画像５０の領域画像と部分画像５１の領域画像とを含む領域画像の組に、特定の特徴を含む領域画像が少なくとも一つ含まれる否か判断する（ステップＳ１０５）。ステップＳ１０２において検出した特定の特徴は、図９においてグレーに網かけして示される領域画像に含まれる。

　ｉ番目の対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれる場合

（ステップＳ１０５：ＹＥＳ）、制御部４０は、各領域画像を合成画像に適用する度合いを表すパラメータを決定する（ステップＳ１０６）。この処理を、以下では、パラメータ決定処理（１）と呼ぶ。パラメータ決定処理（１）の詳細については、後述する。ｉ番目の対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれない場合（ステップＳ１０５：ＮＯ）、制御部４０は、ステップＳ１０７の処理に進む。

　制御部４０は、ｉ＝ｎか否か判断する（ステップＳ１０７）。すなわち、制御部４０は、全ての対応領域について、ステップＳ１０５の判断が完了したか否か判断する。ｉ＝ｎではない場合（ステップＳ１０７：ＮＯ）、制御部４０は、ｉの値を１だけインクリメントして（ステップＳ１０８）、ステップＳ１０５の処理に戻る。ｉ＝ｎである場合（ステップＳ１０７：ＹＥＳ）、制御部４０は、パラメータが未決定の対応領域について、既にパラメータが決まっている別の対応領域のパラメータを参照して、パラメータを決定する

（ステップＳ１０９）。この処理を、以下では、パラメータ決定処理（２）と呼ぶ。パラメータ決定処理（２）の詳細については、後述する。

　制御部４０は、パラメータに従い対応領域の組毎に領域画像を合成し、合成領域画像を生成する（ステップＳ１１０）。ここで、制御部４０は、まず、ｎ個の対応領域の組毎に、パラメータとして設定された適用度合いに基づき、領域画像同士を重ね合わせる。したがって、パラメータを反映したｎ個の合成領域画像が生成される。そして、制御部４０は、ｎ個の合成領域画像を、対応領域の位置に従って並べて結合することによって、目的とする合成画像（部分画像）を生成する。なお、合成画像をさらに撮像部３８によるＸ－Ｙ平面の撮像位置に従って並べて結合することによって、全体合成画像が生成される。

　上記のパラメータ決定処理（１）およびパラメータ決定処理（２）について、具体的に説明する。まず、対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれる場合のパラメータ決定処理（１）について説明する。なお、パラメータ決定処理（１）

においては、対応領域に表れる領域画像の組に含まれる複数の領域画像に特定の特徴が含まれる場合もある。

　図１０は、パラメータ決定処理（１）の流れを示すフローチャートである。図１１は、焦点の合い方が異なる複数の領域画像の一例を示す図である。

　制御部４０は、組になっている領域画像の中で、複数の領域画像が対象物の画像の特徴を含むか否か判断する（ステップＳ２０１）。複数の領域画像が対象物の画像の特徴を含まない場合（ステップＳ２０１：ＮＯ）、制御部４０は、ステップＳ２０３の処理に進む。

　複数の領域画像が対象物の画像の特徴を含む場合（ステップＳ２０１：ＹＥＳ）、制御部４０は、各領域画像中の対象物に焦点が合っている領域の割合に基づいて、各領域画像の合成画像への適用度合いを決定する（ステップＳ２０２）。

　例えば、図１１に示すように、対応する領域画像５５Ａおよび領域画像５５Ｂにおいて、対象物である生細胞６７および生細胞６８の画像が含まれるとする。ここで、領域画像５５Ａにおいては、生細胞６７には焦点が合っており、生細胞６８には焦点が合っていない。一方、領域画像５５Ｂにおいては、生細胞６８には焦点が合っており、生細胞６７には焦点が合っていない。制御部４０は、領域画像５５Ａにおいて、焦点が合っている生細胞６７が占める面積の割合を求める。制御部４０は、例えば、６０％が焦点が合っている面積の割合と算出する。さらに、制御部４０は、領域画像５５Ｂにおいて、焦点が合っている生細胞６８が占める面積の割合を求める。制御部４０は、例えば、４０％が焦点が合っている面積の割合と算出する。この算出結果から、制御部４０は、合成画像に対する領域画像５５Ａの適用度合いと、領域画像５５Ｂの適用度合いとの比を、６０：４０としてパラメータを決定する。このように、制御部４０は、焦点が合っている対象物が占める面積の割合を利用して、各領域画像５５の適用度合いを決定できる。

　なお、図１１では、対象物が占める面積の割合が、領域画像５５Ａにおいては６０％、領域画像５５Ｂにおいては４０％と、合わせてちょうど１００％であった。しかし、それぞれの領域画像５５において対象物が占める面積の割合が合わせて１００％とならない場合でも、特に問題はない。例えば、対象物が占める面積の割合が、領域画像５５Ａにおいては７０％、領域画像５５Ｂにおいては５０％であっても、適用度合いの比は、７０：５０（７：５）となるだけである。

　なお、図１１では、対象物が生細胞である場合について説明したが、もう一つの対象物である収容部２２の底面のパターンが領域画像に含まれる場合も対象物が生細胞である場合と同様に、各領域画像において、対象物である収容部２２の底面のパターンが占める面積の割合を利用して、各領域画像の適用度合いを決定できる。

　図１０の説明に戻る。制御部４０は、組になっている領域画像の中に、特定の特徴として生細胞の画像の特徴を含む領域画像があるか否か判断する（ステップＳ２０３）。生細胞の画像の特徴を含む領域画像がない場合（ステップＳ２０３：ＮＯ）、制御部４０は、ステップＳ２０５の処理に進む。生細胞の画像の特徴を含む領域画像がある場合（ステップＳ２０３：ＹＥＳ）、制御部４０は、生細胞の画像を含む領域画像の適用度合いを組になっている他の領域画像よりも高く設定する（ステップＳ２０４）。例えば、制御部４０は、生細胞の画像の特徴を含む領域画像の適用度合いと組になっている他の領域画像の適用度合いとの比を、１００：０として、パラメータを決定する。なお、適用度合いの比は、１００：０に限定されず、生細胞の画像を含む領域画像の適用度合いの方が高ければ、どのような比が設定されてもよい。

　続けて、制御部４０は、組になっている領域画像の中に、特定の特徴として異物の画像の特徴を含む領域画像があるか否か判断する（ステップＳ２０５）。異物の画像の特徴を含む領域画像がない場合（ステップＳ２０５：ＮＯ）、制御部４０は、ステップＳ２０７の処理に進む。異物の画像の特徴を含む領域画像がある場合（ステップＳ２０５：ＹＥＳ）、制御部４０は、異物の画像の特徴を含む領域画像の適用度合いを組になっている他の領域画像よりも低く設定する（ステップＳ２０６）。例えば、制御部４０は、異物の画像の特徴を含む領域画像の適用度合いと組になっている他の領域画像の適用度合いとの比を、０：１００として、パラメータを決定する。なお、適用度合いの比は、０：１００に限定されず、異物の画像の特徴を含む領域画像の適用度合いの方が低ければ、どのような比が設定されてもよい。また、一つの領域画像に特定の特徴として、生細胞の画像の特徴と異物の画像の特徴の両方が含まれる場合、生細胞の画像の特徴が優先され、異物の画像の特徴が含まれていても、適用度合いは低く設定されなくてもよい。

　続けて、制御部４０は、組になっている領域画像の中に、特定の特徴として収容部２２の底面のパターンの画像の特徴を含む領域画像があるか否か判断する（ステップＳ２０７）。パターンの画像の特徴を含む領域画像がない場合（ステップＳ２０７：ＮＯ）、制御部４０は、図８のステップＳ１０７の処理に進む。パターンの画像の特徴を含む領域画像がある場合（ステップＳ２０７：ＹＥＳ）、制御部４０は、パターンの画像の特徴を含む領域画像の適用度合いを、組になっている他の領域画像よりも高く設定する（ステップＳ２０８）。例えば、制御部４０は、パターンの画像の特徴を含む領域画像の適用度合いと組になっている他の領域画像の適用度合いとの比を、１００：０として、パラメータを決定し、図８のステップＳ１０７の処理に進む。なお、適用度合いの比は、１００：０に限定されず、パターンの画像の特徴を含む領域画像の適用度合いの方が高ければ、どのような比が設定されてもよい。また、特定の特徴としてパターンの画像の特徴を含む領域画像がある場合であっても、他の領域画像に他の特定の特徴が含まれる場合は、パターンを含む領域画像の適用度合いを高く設定はしなくてもよい。なお、上述の通り、生細胞は、パターンに沿った凹凸に粘着しやすい性質を有する。そのため、収容部２２の底面に焦点があっており、パターンの画像の特徴が検出される場合には、収容部２２の底面に付着している生細胞にも焦点があっている可能性がある。このため、パターンの画像の特徴を含む領域画像の適用度合いを高めることが重要である。

　以上のように、対応領域に表れる領域画像の組に含まれる領域画像に、特定の特徴が含まれる場合については、特定の特徴の種類に応じて、パラメータが決定される。

　次に、対応領域に表れる領域画像の組に、特定の特徴を含む領域画像が含まれない場合のパラメータ決定処理（２）について説明する。

　図１２は、対応領域に表れる領域画像の組に特定の特徴を含まない場合のパラメータの決定を説明するための図である。図１３は、パラメータ決定処理（２）の流れを示すフローチャートである。

　図１２において、上段の二つの部分画像７０、７１は、Ｚ方向の異なる撮像位置において撮像された部分画像であり、下段の部分画像９０は、部分画像７０および部分画像７１を重ね合わせて合成した部分画像を示す。部分画像７０においては、生細胞８０、８１が検出され、部分画像７１においては、生細胞８２の画像の特徴が特定の特徴として検出されている。生細胞８０～８２の画像の特徴が含まれる領域画像は、図中の網かけにより示される通りである。網かけの領域画像を含む対応領域については、上述の図１０の通り、パラメータが決定され、部分画像９０に反映される。残りの対応領域については、図１３に示すように、パラメータが決定される。

　図１３に示す処理では、制御部４０により特定の特徴が検出された領域画像を含む領域画像の組に設定されたパラメータを考慮して、特定の特徴が検出されない領域画像のみを含む領域画像の組のパラメータを決定する。たとえば、制御部４０は、何れの領域画像にも特定の特徴が検出されない対応領域については、何れかの特定の特徴が検出された別の対応領域のパラメータと当該別の対応領域までの距離に基づいて、パラメータを決定する。理由は次の通りである。例えば、生細胞は、収容部２２の底面に集まることが多く、また、死細胞は培養液の液面に集まる（浮遊する）ことが多い。このように、特定の特徴として検出される対象物および非対象物は、同じ種類同士で集まることが多い。したがって、検出された特定の特徴を含む領域画像に近い領域画像ほど、特定の特徴が検出されていなくても、同じ特定の特徴が存在する確率が高い。このため、距離に反比例した重みをパラメータに適用することにより、合成領域画像に対象物は表れやすく、非対象物は表れにくくできる。

　制御部４０は、パラメータが未決定の対応領域を特定する（ステップＳ３０１）。以下では、図１２に示す対応領域７５がステップＳ３０１で特定される場合について説明する。

　制御部４０は、対応領域７５から、パラメータが決定済の対応領域との距離を算出する

（ステップＳ３０２）。ここで、パラメータが決定済の対応領域とは、図１０に示すパラメータ決定処理（１）によりパラメータが決定されている対応領域を示す。二つの部分画像を重ね合わせた図１２の部分画像９０において見ると、網かけの対応領域がパラメータが決定済の対応領域である。同じ特定の特徴に基づいてパラメータが決定されている連続する対応領域を一群とみなすと、一群のうちの対応領域７５に最も近い対応領域を一つだけピックアップすることができる。生細胞８０が検出されている対応領域の一群のうち、対応領域７５に最も近いのは対応領域７６である。同様に、生細胞８１および生細胞８２がそれぞれ検出されている対応領域の一群のうち、対応領域７７、７８が、対応領域７５に最も近い。ステップＳ３０２では、対応領域７５から、対応領域７６～７８までの距離Ｌ１、Ｌ２、Ｌ３が算出される。距離Ｌ１、Ｌ２、Ｌ３は、例えば、対応領域７５の中心から、対応領域７６～７８の中心までの距離として得られる。

　制御部４０は、算出した距離Ｌ１、Ｌ２、Ｌ３を用いて、パラメータが決定済の対応領域７６～７８を用いる重みを決定する（ステップＳ３０３）。重みは、距離と反比例した大きさに決定される。すなわち、対応領域７５から近い領域ほど高い重みが決定される。

例えば、対応領域７５から距離Ｌ１だけ離れた対応領域７６については、次の式（１）により重みＷ７６が決定される。

Figure JPOXMLDOC01-appb-M000001

　同様に、対応領域７５から距離Ｌ２だけ離れた対応領域７７についての重みＷ７７、対応領域７５から距離Ｌ３だけ離れた対応領域７８についての重みＷ７８も、式（１）の分子を１／Ｌ１から１／Ｌ２、１／Ｌ３に代えて決定される。なお、Ｗ７６＋Ｗ７７＋Ｗ７８＝１となる。

　制御部４０は、上記の重みを用いて、対応領域７５のパラメータを算出する（ステップＳ３０４）。算出するパラメータをＰ７５、対応領域７６～７８のパラメータをＰ７６～Ｐ７８と表す場合、次の式（２）となる。

　Ｐ７５＝Ｗ７６×Ｐ７６＋Ｗ７７×Ｐ７７＋Ｗ７８×Ｐ７８　…　式（２）

　より詳細に、具体的な数値を例示して説明する。以下の例では、簡単に、重みＷ７６、Ｗ７７、Ｗ７８が、それぞれ、１／２、１／４、１／４であったとする。また、決定済のパラメータＰ７６、Ｐ７７、Ｐ７８が、それぞれ、（１００，０）、（０，１００）、（１００，０）だったとする。ここで、（１００，０）は、部分画像９０を形成する際の、部分画像７０の領域画像と部分画像７１の領域画像との適用度合いが１００：０であることを示す。

　式（２）にこれらの具体的な数値を代入すると、Ｐ７５＝１／２×（１００，０）＋１／４×（０，１００）＋１／４×（１００，０）＝（５０，０）＋（０，２５）＋（２５，０）＝（７５，２５）となる。すなわち、対応領域７５において部分画像９０を形成する際には、部分画像７０の適用度合いが７５％、部分画像７１の適用度合いが２５％となる。

　制御部４０は、全ての対応領域についてパラメータが決定されたか否かを判断する（ステップＳ３０５）。全ての対応領域についてパラメータが決定されていない場合（ステップＳ３０５：ＮＯ）、制御部４０は、ステップＳ３０１の処理に戻る。全ての対応領域についてパラメータが決定されている場合（ステップＳ３０５：ＹＥＳ）、制御部４０は、図８のステップＳ１１０の処理に戻る。

　なお、上記説明では、特定の特徴が検出されている連続する対応領域の一群のうち一つの対応領域７６（７７、７８）をピックアップして、特定の特徴を含まない対応領域のパラメータの決定に用いている。しかし、特定の特徴を含まない対応領域のパラメータの決定には、特定の特徴が検出されている対応領域の一群の全ての対応領域を用いてもよい。

　以上のように、本実施形態の観察装置によれば、Ｚ方向の異なる撮像位置において撮像した複数の画像の対応領域毎に表れる領域画像の組毎に、合成領域画像への適用度合いを表すパラメータを決定し、パラメータに基づいて合成領域画像を合成する。なお、制御部４０は、領域画像の組において、複数の領域画像が対象物の画像を含む場合、各領域画像中の対象物に焦点が合っている領域の面積の割合に基づいて適用度合いのパラメータを決定する。従って、Ｚ方向の異なる焦点において、複数の対象物に焦点が合っている場合、より大きな面積の範囲において焦点が合っている領域画像の適用度合いを高めつつ、小さい面積の範囲において焦点が合っている領域画像も合成画像に適用する。従って、いずれの領域画像に表れる対象物の画像も、合成画像に適用されることになる。結果として、ユーザが合成画像を参照したときに、Ｚ方向に異なる位置に存在する全ての対象物を認識しうる。

　また、制御部４０が特定の特徴を検出できなかった領域画像しか含まない領域画像の組にも当該領域画像に近い領域画像のパラメータの適用度合いに基づいて特定の特徴が合成領域画像に適用されうる。そして、合成領域画像を対応領域の位置に従って並べて結合することにより合成画像が生成される。このように、合成画像を生成することにより結果として、ユーザが合成画像を見て確認した場合に、特定の特徴を確認できる場合がある。さらに、合成画像を撮像位置に従って並べて結合することにより全体合成画像が生成されるので、ユーザが全体合成画像を見て確認した場合に、特定の特徴を確認できる場合がある。

　また、図１０に示すように、観察装置は、生細胞の画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定する。したがって、合成領域画像に生細胞の画像が表れやすくでき、ひいては合成画像にも生細胞の画像を表れやすくできる。

　また、観察装置は、異物の画像の特徴を含む領域画像の合成領域画像への適用度合いを、異物の画像の特徴を含まない領域画像の合成領域画像への適用度合いよりも低くして、パラメータを決定する。したがって、合成領域画像に異物の画像が表れにくくでき、ひいては合成画像にも異物の画像を表れにくくできる。

　また、観察装置は、パターンの画像の特徴を含む領域画像の合成領域画像への適用度合いを、生細胞の画像の特徴および異物の画像の特徴の両方を含まない領域画像の合成領域画像への適用度合いよりも高くして、パラメータを決定する。したがって、合成領域画像にパターンの画像が表れやすくできる。

　また、観察装置は、対応領域毎に、何れかの領域画像に特定の特徴が検出されるか否かを判断し、何れの領域画像にも特定の特徴が検出されない対応領域については、何れかの特定の特徴が検出された別の対応領域のパラメータと当該別の対応領域までの距離に基づいて、パラメータを決定する。これにより、特定の特徴が検出されない領域画像のみを含む領域画像の組を合成する際に、合成領域画像に対象物（生細胞）は表れやすく、非対象物は表れにくくできる。

　本発明は、上記実施形態に限定されない。種々の改変が可能である。

　たとえば、図１３に示す処理では、何れの領域画像にも特定の特徴が検出されない対応領域については、何れかの特定の特徴が検出された別の対応領域のパラメータと当該別の対応領域までの距離に基づいて、パラメータを決定している。しかし、何れの領域画像にも特定の特徴が検出されない対応領域に関してパラメータを決定する際に、別の対応領域のパラメータを考慮しなくてもよい。たとえば、何れの領域画像にも特定の特徴が検出されない対応領域については、予め設定された適用度合いによりパラメータを決定してもよい。ここで、予め設定された適用度合いは、たとえば、対応領域に表れる領域画像で等しくできる。具体的には、たとえば対応領域に表れる領域画像が二つの場合、適用度合いは、５０対５０にできる。

　また、図１３に示す処理では、何れの領域画像にも特定の特徴が検出されない対応領域についてパラメータを決定している。観察装置は、このパラメータの決定に加えて、あるいは、パラメータの決定の代わりに、ユーザに対して警告を発生する警告部をさらに有してもよい。警告部は、制御部４０の一機能として実現でき、たとえば、表示部４８に、何れの領域画像にも特定の特徴が検出されない対応領域がある旨をユーザに伝えるための警告メッセージを表示させる。これにより、ユーザは、何れの領域画像にも特定の特徴が検出されない対応領域において特定の特徴に見落としがないか注意が喚起される。ユーザは、場合によっては、合成前の部分画像を確認して、特定の特徴に見落としがないかを判断できる。

　また、上記実施形態では、顕微鏡装置３０が観察対象および培養容器２０の部分画像を撮像する形態を例に説明した。しかし、顕微鏡装置３０は、部分画像を撮像する際の倍率よりも低い倍率で撮像する場合など、観察対象および培養容器２０の全体を収める視野を有し、部分画像ではなく、全体の画像を撮像してもよい。この場合においても、全体の画像を領域画像に分けて、各領域画像にパラメータを与えて合成できる。この場合、できた合成画像は、部分画像ではなく、全体の画像となる。

　また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した観察処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、観察処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

　また、上記実施形態では、顕微鏡装置３０が二つの撮像部３８ａ、３８ｂを備える形態を例に説明したが、これに限定されず、一つの撮像部がＺ方向の異なる複数の撮像位置で観察対象を撮像する形態でもよい。

　また、上記実施形態では、観察処理のプログラムが記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１０   載置台

１１   開口

１２   移動部

２０   培養容器

２１   プレート

２２   収容部

３０   顕微鏡装置

３１   光源

３２   スリット

３３   コンデンサレンズ

３４   対物レンズ

３５   フォーカス調整機構

３６   結像レンズ

３７   ハーフミラー

３８、３８ａ、３８ｂ 撮像部

３９   測定部

３９ａ 第１の変位センサ

３９ｂ 第２の変位センサ

４０   制御部

４１   顕微鏡装置制御部

４２   走査制御部

４３   記憶部

４４   検出部

４５   決定部

４６   生成部

４７   入力部

４８   表示部

５０、５１、７０、７１、９０       画像

５５、７５～７８     対応領域

５６   縦線

５７   横線

６０～６３、８０～８２      生細胞

６４   死細胞

６５   ゴミ

６６   パターン

Ｃ     結像光学系

Ｅ     走査終了点

Ｌ１、Ｌ２、Ｌ３     距離

Ｌ     照明光

Ｍ     走査経路

Ｒ     視野

Claims (15)


  1. 　観察対象を含む、異なる合焦状態の複数の合焦画像から、特定の特徴を検出する処理を行なう検出部と、

    　前記検出部により検出された前記特定の特徴に基づいて、前記複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、前記領域画像から合成領域画像を生成する際の前記領域画像の前記合成領域画像への適用度合いを表すパラメータを決定する決定部と、

    　前記決定部により決定された前記パラメータに基づいて、前記領域画像を前記複数の対応領域毎に合成して前記合成領域画像を生成する生成部と、

    　を有する画像生成装置。

  2. 　前記決定部は、検出された前記特定の特徴を何れかの領域画像に含む前記領域画像の組に対して決定したパラメータに基づいて、検出された前記特定の特徴を何れの領域画像にも含まない前記領域画像の組に対するパラメータを決定する請求項１に記載の画像生成装置。

  3. 　前記決定部は、前記特定の特徴を何れかの領域画像に含む前記領域画像の組の前記対応領域から、前記特定の特徴を何れの領域画像にも含まない前記領域画像の組の前記対応領域までの距離に基づいて、前記特定の特徴を何れの領域画像にも含まない前記領域画像の組に対するパラメータを決定する請求項２に記載の画像生成装置。

  4. 　前記決定部は、前記特定の特徴を何れの領域画像に含まない前記領域画像の組について、予め設定された適用度合いにより、前記パラメータを決定する請求項１に記載の画像生成装置。

  5. 　前記生成部は、前記合成領域画像を前記対応領域の位置に従って並べて結合することにより、合成画像を生成する請求項１～４のいずれか一項に記載の画像生成装置。

  6. 　前記特定の特徴は、前記観察対象に含まれる対象物の画像の特徴および非対象物の画像の特徴の少なくとも一方である請求項１～５のいずれか一項に記載の画像生成装置。

  7. 　前記決定部は、領域画像に前記対象物の画像の特徴が含まれる場合、前記対象物の画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記対象物の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いより高くして、前記パラメータを決定し、領域画像に前記非対象物の画像の特徴が含まれる場合、前記非対象物の画像の特徴

    を含む領域画像の前記合成領域画像への適用度合いを、前記非対象物の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いより低くして、前記パラメータを決定する請求項６に記載の画像生成装置。

  8. 　一の対応領域における前記領域画像の組の中に、前記対象物の特徴を含む複数の領域画像が存在する場合、前記決定部は、各領域画像における前記対象物の特徴が占める面積の割合に基づいて、各領域画像に対するパラメータを決定する請求項６または請求項７に記載の画像生成装置。

  9. 　前記対象物は、生細胞であり、前記非対象物は、前記観察対象に含まれる前記生細胞以外の異物である請求項６～８のいずれか一項に記載の画像生成装置。

  10. 　前記決定部は、前記生細胞の画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記生細胞の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いよりも高くして、前記パラメータを決定する請求項９記載の画像生成装置。

  11. 　前記決定部は、前記異物の画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記異物の画像の特徴を含まない領域画像の前記合成領域画像への適用度合いよりも低くして、前記パラメータを決定する請求項９または請求項１０に記載の画像生成装置。

  12. 　前記対象物は、前記生細胞に加え、収容部の底面に表れるパターンを含み、

    　前記決定部は、前記パターンの画像の特徴を含む領域画像の前記合成領域画像への適用度合いを、前記生細胞の画像の特徴および前記異物の画像の特徴の両方を含まない領域画像の前記合成領域画像への適用度合いよりも高くして、前記パラメータを決定する請求項

    ９～１１いずれか一項に記載の画像生成装置。

  13. 　何れの領域画像にも前記特定の特徴が検出されない対応領域について、警告を発生する警告部をさらに有する請求項１～１２のいずれか一項に記載の画像生成装置。

  14. 　観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、

    　前記検出工程により検出された前記特定の特徴に基づいて、前記複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、前記領域画像から合成領域画像を生成する際の前記領域画像の前記合成領域画像への適用度合いを表すパラメータを決定する決定工程と、

    　前記決定工程により決定された前記パラメータに基づいて、前記領域画像を前記複数の対応領域毎に合成して前記合成領域画像を生成する生成工程と、

    　を有する画像生成方法。

  15. 　観察対象を含む、異なる合焦状態の複数の合焦画像の各々から、特定の特徴を検出する処理を行なう検出工程と、

    　前記検出工程により検出された前記特定の特徴に基づいて、前記複数の合焦画像の各々対応する複数の対応領域における領域画像の組毎に、前記領域画像から合成領域画像を生成する際の前記領域画像の前記合成領域画像への適用度合いを表すパラメータを決定する決定工程と、

    　前記決定工程により決定された前記パラメータに基づいて、前記領域画像を前記複数の対応領域毎に合成して前記合成領域画像を生成する生成工程と、

    　をコンピュータに実行させる画像生成プログラム。
PCT/JP2019/021969 2018-07-13 2019-06-03 画像生成装置、画像生成方法および画像生成プログラム WO2020012825A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020530032A JP7030986B2 (ja) 2018-07-13 2019-06-03 画像生成装置、画像生成方法および画像生成プログラム
EP19833296.7A EP3823266A4 (en) 2018-07-13 2019-06-03 IMAGE GENERATION DEVICE, IMAGE GENERATION PROCESS AND IMAGE GENERATION PROGRAM
US17/116,023 US11574384B2 (en) 2018-07-13 2020-12-09 Image generation device, image generation method, and image generation program to generate a combination region image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018132892 2018-07-13
JP2018-132892 2018-07-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/116,023 Continuation US11574384B2 (en) 2018-07-13 2020-12-09 Image generation device, image generation method, and image generation program to generate a combination region image

Publications (1)

Publication Number Publication Date
WO2020012825A1 true WO2020012825A1 (ja) 2020-01-16

Family

ID=69141400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021969 WO2020012825A1 (ja) 2018-07-13 2019-06-03 画像生成装置、画像生成方法および画像生成プログラム

Country Status (4)

Country Link
US (1) US11574384B2 (ja)
EP (1) EP3823266A4 (ja)
JP (1) JP7030986B2 (ja)
WO (1) WO2020012825A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230143408A (ko) * 2022-04-05 2023-10-12 주식회사 뷰웍스 영상 획득 장치 및 영상 획득 방법
CN116055866B (zh) * 2022-05-30 2023-09-12 荣耀终端有限公司 一种拍摄方法及相关电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000357229A (ja) * 1999-06-14 2000-12-26 Sony Corp 表示装置、表示方法及び表示機能を有するプログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2001344599A (ja) * 2000-06-02 2001-12-14 Hitachi Ltd 全焦点画像合成方法及び装置
JP2013236564A (ja) 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
JP2014029380A (ja) * 2012-07-31 2014-02-13 Sony Corp 情報処理装置、情報処理方法、プログラム及び画像表示装置
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2015108837A (ja) * 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1324323A (en) * 1971-02-05 1973-07-25 Image Analysing Computers Ltd Automatic focusing of an optical image
JP6147347B2 (ja) * 2013-08-07 2017-06-14 シャープ株式会社 撮像装置
JP6325885B2 (ja) * 2014-05-12 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000357229A (ja) * 1999-06-14 2000-12-26 Sony Corp 表示装置、表示方法及び表示機能を有するプログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2001344599A (ja) * 2000-06-02 2001-12-14 Hitachi Ltd 全焦点画像合成方法及び装置
JP2013236564A (ja) 2012-05-11 2013-11-28 Nikon Corp 細胞評価装置、細胞評価方法およびプログラム
JP2014029380A (ja) * 2012-07-31 2014-02-13 Sony Corp 情報処理装置、情報処理方法、プログラム及び画像表示装置
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
JP2015108837A (ja) * 2015-01-07 2015-06-11 キヤノン株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3823266A4

Also Published As

Publication number Publication date
JP7030986B2 (ja) 2022-03-07
US11574384B2 (en) 2023-02-07
EP3823266A1 (en) 2021-05-19
JPWO2020012825A1 (ja) 2021-07-15
EP3823266A4 (en) 2021-12-15
US20210090216A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US20190268573A1 (en) Digital microscope apparatus for reimaging blurry portion based on edge detection
EP2916160B1 (en) Image acquisition device and method for focusing image acquisition device
JP7064796B2 (ja) 画像再構成方法、装置及び顕微結像装置
WO2020012825A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP2017143759A (ja) 細胞観察装置および細胞観察方法
JP2014134632A (ja) 撮像装置、顕微鏡システム及び撮像方法
JP6716383B2 (ja) 顕微鏡システム、情報提示方法、プログラム
JP2006293219A (ja) 走査型共焦点顕微鏡および試料情報測定方法
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP6824388B2 (ja) 観察装置および観察制御方法並びに観察制御プログラム
US20200192059A1 (en) Imaging control apparatus, method, and program
JP2016051167A (ja) 画像取得装置およびその制御方法
WO2019202979A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
JP6802636B2 (ja) 顕微鏡システムおよび標本観察方法
JP6563517B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2010117229A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP2018054817A (ja) 観察装置および方法並びに観察装置制御プログラム
JP4197898B2 (ja) 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体
WO2017199537A1 (ja) 観察装置および方法並びに観察装置制御プログラム
US11480777B2 (en) Observation device, observation method, and observation device control program storage medium
JP7162842B2 (ja) フォーカス調整方法、画像取得方法、および画像取得装置
JP6707207B2 (ja) 観察装置、観察方法および観察プログラム
JPWO2019102723A1 (ja) 観察装置、観察装置の作動方法、及び観察制御プログラム
JP6177000B2 (ja) レーザ走査型顕微鏡
KR20180104041A (ko) 세포 관찰 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833296

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530032

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019833296

Country of ref document: EP

Effective date: 20210215