WO2010117052A1 - 生体試料観察装置 - Google Patents

生体試料観察装置 Download PDF

Info

Publication number
WO2010117052A1
WO2010117052A1 PCT/JP2010/056421 JP2010056421W WO2010117052A1 WO 2010117052 A1 WO2010117052 A1 WO 2010117052A1 JP 2010056421 W JP2010056421 W JP 2010056421W WO 2010117052 A1 WO2010117052 A1 WO 2010117052A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
micro
image
macro
biological sample
Prior art date
Application number
PCT/JP2010/056421
Other languages
English (en)
French (fr)
Inventor
英生 黒田
博忠 渡邉
和田　陽一
泰次郎 清田
魚住　孝之
隆治 越馬
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP10761751.6A priority Critical patent/EP2418473B1/en
Priority to JP2011508394A priority patent/JP5365691B2/ja
Publication of WO2010117052A1 publication Critical patent/WO2010117052A1/ja
Priority to US13/251,673 priority patent/US9442282B2/en
Priority to US15/220,725 priority patent/US10133054B2/en
Priority to US16/163,125 priority patent/US10466465B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes

Definitions

  • the present invention relates to a biological sample observation apparatus.
  • Patent Document 1 when it is detected that a change has occurred in the biological sample to be observed, the operation start of the automatic time-lapse observation is permitted, and then it is detected that the change in the biological sample has stopped. A technique for terminating the operation of automatic time lapse observation is described.
  • the present invention has been made in view of such a situation, so that an observation image with an appropriate magnification according to the detection situation of the biological sample can be obtained, so that the biological sample can be accurately observed. To do.
  • a first biological sample observation device is a biological sample observation device that observes a change in a biological sample over time, time-lapse observation is performed, and a macro area of the biological sample is photographed to obtain a macro image.
  • a macro image acquisition means a biological change area extraction means for extracting a biological change area, which is a change area of the biological sample, from the acquired macro image, and a micro observation point corresponding to the extracted biological change area
  • a micro-observation point setting means for registering, a time-lapse observation is performed, a micro-image acquisition means for capturing a micro-image by photographing a micro region of a change in the biological sample specified at the micro-observation point, and Determination means for determining whether or not the biological change of the biological change region at the micro observation point continues from the micro image.
  • the micro observation point setting means based on a determination result of said determination means, and updates the micro observation point is registered.
  • a second biological sample observation device is a biological sample observation device for observing changes in a biological sample over time, performing time-lapse observation, photographing a macro region of the biological sample, and acquiring a macro image. Based on the time-series macro images obtained by the macro image acquisition means, image acquisition means, and micro observation point setting means for specifying a micro observation point to be micro-observed in the macro area of the biological sample; And a micro image acquisition unit that executes time-lapse observation at the micro observation point specified by the micro observation point setting unit and acquires a micro image of the biological sample.
  • the third biological sample observation device of the present invention is a biological sample observation device for observing changes in a biological sample over time, time-lapse observation is performed, and a macro area of the biological sample is photographed to obtain a macro image.
  • Macro image acquisition means, and time-lapse observation is performed, and a micro area in the macro area of the biological sample is imaged and micro image acquisition means for acquiring a micro image is provided, the macro image acquisition means and the micro image A change with time of the biological sample is analyzed from the acquired macro image and the micro image by the acquiring means.
  • FIG. 1 is a front view showing an overall configuration of a biological sample observation apparatus to which the present invention is applied.
  • the solid line indicates the structure of the part that appears in the appearance
  • the broken line indicates the structure of the internal part that does not appear in the appearance.
  • the biological sample observation device 1 includes a first housing 11 for culturing a biological sample and a second housing 12 constituting a control device.
  • the first housing 11 is used in a state where it is placed on the second housing 12.
  • a constant temperature chamber 21 covered with a heat insulating material is formed inside the first housing 11.
  • the temperature-controlled room 21 communicates with the outside through a front opening 23 (front door 22) formed on the front surface of the first housing 11 and a carry-in / out port 24 formed on the left side when viewed from the front surface of the first housing 11. is doing.
  • the temperature-controlled room 21 includes, for example, a temperature control mechanism including a temperature control device using a Peltier element, a humidity control mechanism including a spray device that ejects fog, a gas introduction unit connected to an external carbon dioxide cylinder, and the like.
  • a gas control mechanism, an environment sensor for detecting the culture environment of the biological sample in the internal space, and the like are provided.
  • the inside of the temperature-controlled room 21 is sealed in order to maintain the culture environment of the biological sample during the cultivation of the biological sample, and is maintained at a constant temperature by circulating air, for example, at a temperature of 37 ° C.,
  • the humidity is maintained at 90%, carbon dioxide concentration at 5%, and the like.
  • a stocker 25, a container transport mechanism 26, and an observation unit 27 are housed in the temperature-controlled room 21 of the first housing 11.
  • the stocker 25 is partitioned vertically by a plurality of shelves and can store the culture vessel 15 (FIG. 2) horizontally.
  • the container transport mechanism 26 is provided with a transport arm portion that supports the holder and various mechanisms (not shown) for transporting the culture container 15.
  • the container transport mechanism 26 can move the holder supported by the transport arm unit in the vertical direction (Z direction) or the horizontal direction (X and Y directions), or rotate the holder 180 degrees about the Z axis.
  • a front view of the observation unit 27 is shown on the right side of FIG. 2, and a side view of the observation unit 27 is shown on the left side of FIG.
  • the observation unit 27 includes a transmitted light illumination unit 41, a fluorescent epi-illumination unit 42, a sample stage 43, and an observation unit 44.
  • the transmitted light illumination unit 41 is formed in an arm shape that extends upward from the side of the sample stage 43 and then extends to the upper part of the culture vessel 15 placed on the sample stage 43.
  • a transmitted light LED (LightLEDEmitting Diode) 51 and a transmitted light optical system 52 are housed inside the transmitted light illumination unit 41.
  • the transmitted light LED 51 emits light in a predetermined wavelength range. Light from the transmitted light LED 51 is irradiated from above on the culture vessel 15 placed on the sample stage 43 via the transmitted light optical system 52.
  • the fluorescent epi-illumination unit 42 includes fluorescent LEDs 53 a to 53 c and a fluorescent optical system 54.
  • the fluorescent LEDs 53a to 53c (hereinafter simply referred to as the fluorescent LED 53) emit light having different wavelengths, that is, light having a predetermined wavelength (excitation light) corresponding to the fluorescent material of the biological sample in the culture vessel 15. .
  • Excitation light from the fluorescent LED 53 is applied to the culture vessel 15 placed on the sample stage 43 from below via the fluorescent optical system 54 and the objective lens 55.
  • the sample stage 43 is made of a translucent material, and the light from the transmitted light illumination unit 41 and the light from the fluorescent material contained in the biological sample excited by the light from the fluorescent epi-illumination unit 42 are observed. Part 44 is introduced.
  • the sample stage 43 also includes an objective lens 55 that collects light introduced into the observation unit 44, a stage 56 that moves the culture vessel 15 in the vertical direction or the horizontal direction in order to photograph a predetermined portion of the biological sample, and the like. Is provided.
  • the objective lens 55 is composed of a plurality of objective lenses having different magnifications (for example, 2 ⁇ , 4 ⁇ , 10 ⁇ , 20 ⁇ , 40 ⁇ ,...), And is appropriately observed according to the observation situation. It is possible to switch the magnification.
  • the observation unit 44 includes a photographing unit 57 and an image processing unit 58.
  • the imaging unit 57 includes an image sensor such as a CCD (Charge Coupled Device). On the image pickup surface of the CCD, an image by light from the transmitted light illumination unit 41 and an image by light from a fluorescent substance contained in a biological sample excited by light from the fluorescent epi-illumination unit 42 are formed by an imaging optical system. Imaged.
  • CCD Charge Coupled Device
  • the image processing unit 58 applies analog signal processing such as amplification to the analog image signal from the imaging unit 57, and then performs A / D (Analog / Digital) conversion to obtain image data indicated by the digital signal.
  • analog signal processing such as amplification
  • a / D Analog / Digital
  • control unit 31 is housed in the second housing 12 on which the first housing 11 is placed, in addition to a part of the observation unit 27 described above.
  • the control unit 31 controls the operation of each part of the biological sample observation device 1. Specifically, the control unit 31 adjusts the environmental conditions in the temperature-controlled room 21 according to the observation schedule or a direct instruction by the user's operation, takes the culture container 15 in and out of the temperature-controlled room 21, The biological sample is observed, and the culture vessel 15 is transported in the temperature-controlled room 21.
  • the observation schedule can be set by, for example, a setting screen displayed on the display panel 32 that displays various types of information processed by the control unit 31, and is input by an input means such as a keyboard connected to the control unit 31. The Thereby, an observation position, an observation magnification, an imaging schedule, etc. for each sample are set.
  • an observation information storage unit 33 is provided in the control unit 31, and this observation information storage unit 33 is supplied from the image processing unit 58 and is image data corresponding to an observation image obtained by time-lapse observation. Store and accumulate.
  • the image data stored in the observation information storage unit 33 is recorded in association with index information including the identification information of the culture vessel 15 and the photographing date and time.
  • the observation information storage unit 33 can also record various information related to observation of a biological sample, change history of environmental conditions (temperature, humidity, carbon dioxide concentration, etc.) in the temperature-controlled room 21 and the like.
  • the image analysis unit 34 performs a predetermined image analysis process on the image data stored in the observation information storage unit 33 to perform image analysis.
  • the image analysis unit 34 supplies the image analysis result to the observation control unit 35.
  • the observation control unit 35 controls the operation of the observation unit 27 according to an observation schedule or a direct instruction by a user operation.
  • the observation control unit 35 controls the operation of the observation unit 27 that observes the biological sample in the culture vessel 15 based on the image analysis result from the image analysis unit 34.
  • the control unit 31 includes communication means (not shown) compliant with a predetermined wireless or wired communication standard, and can transmit and receive data to and from an external personal computer or other device via a network. It is. Thereby, using a network, it is possible to observe a biological sample, change the setting of imaging conditions, and confirm the environment in the temperature-controlled room 21 and the observation image even from a personal computer at a remote location.
  • the macro observation is observation using a low-magnification (for example, 2 ⁇ , 4 ⁇ ) objective lens capable of acquiring an observation image corresponding to a wide area of the biological sample as the objective lens 55.
  • a macro image an observation image obtained by macro observation is referred to as a macro image.
  • Micro observation is observation using an objective lens having a higher magnification (for example, 4 ⁇ , 10 ⁇ , 20 ⁇ , 40 ⁇ ) than macro observation.
  • an image obtained by micro observation is referred to as a micro image.
  • the observation unit 27 when observing a wide area of the biological sample, the low-magnification objective lens among the plurality of objective lenses 55 is arranged on the optical path of the light of the biological sample in the culture vessel 15. Macro observation is performed. On the other hand, when observing a region of a specific range of a biological sample, a high-magnification objective lens among the plurality of objective lenses 55 is arranged on the optical path of the light of the biological sample in the culture vessel 15 and is microscopic. Observations are made. Then, by performing macro observation and micro observation, the observation information storage unit 33 accumulates macro images and micro images having different observation magnifications as observation images.
  • the biological sample observation apparatus 1 observes changes over time of the cultured biological sample according to the observation schedule, and this observation schedule is set by a user operation. Therefore, firstly, with reference to the flowchart of FIG. 3, processing for setting observation schedules for macro observation and micro observation will be described.
  • this setting process is executed by the control unit 31 in accordance with a user input operation on a setting screen for setting various observation schedules displayed on the display panel 32, for example.
  • step S11 when information regarding the observation magnification in the macro observation and the setting of the fluorescence observation is input, the setting of the macro observation condition is executed based on those parameters.
  • the observation magnification for example, 2 times or 4 times is set.
  • the case of performing fluorescence observation will be described as an example. However, when fluorescence observation is not performed, it is not necessary to set information regarding the setting, and only the observation magnification is set.
  • macro observation time T the time required for one macro observation
  • step S12 when information regarding the setting of the observation magnification, the fluorescence observation, the number of frames, and the maximum number of observation points in the micro observation is input, the setting of the micro observation conditions is executed based on those parameters.
  • the observation magnification for example, 10 times or 20 times is set. That is, as described above, the observation magnification for micro observation is set to be higher than the observation magnification for macro observation.
  • the number of frames set as the micro observation condition is the number of micro images acquired within a predetermined time. If the number of frames is set large, the amount of micro image data to be acquired increases. However, since the number of micro image acquisitions per unit time increases, more detailed micro observation can be performed.
  • the maximum number of observation points is the maximum number that can be set as a position (hereinafter referred to as a micro observation point) for observing a region where a biological sample has changed in a micro image. By setting this maximum number large, it becomes possible to observe changes in the biological sample at more points.
  • the micro observation time t described later cannot be determined unless the number of observation points is specified, but the number of observation points is determined here because it is determined based on the biological change region extracted from the macro image. I can't. Therefore, the micro observation time t is determined using the maximum number of observation points. Thus, these two parameters are parameters unique to micro observation, and therefore do not need to be set under macro observation conditions.
  • micro observation time t The time required for one micro observation (hereinafter referred to as micro observation time t) is obtained from these parameters.
  • step S13 when information indicating whether to give priority to macro observation or micro observation is input, the priority mode is selected.
  • the subsequent processing differs depending on which observation is prioritized, and details thereof will be described later.
  • step S14 information on the interval between the n-th macro observation and the (n + 1) -th macro observation (hereinafter referred to as an interval period ⁇ T), and the number of macro images (observation number) that can be acquired within the macro observation period.
  • ⁇ T is set to be longer than the macro observation time T. That is, ⁇ T is set so as to satisfy the relationship of the following formula (1).
  • step S15 when information regarding the interval between the m-th micro observation and the m + 1-th micro observation (hereinafter referred to as interval period ⁇ t) is input, the observation schedule conditions for the micro observation are set based on the parameters. Executed. However, ⁇ t is set to be longer than the micro-observation required time t, and is set to satisfy the relationship of the following equation (2), similarly to the above equation (1) of ⁇ T.
  • step S16 satisfying the relationship of ⁇ T> t + T is a condition for performing the micro observation after the macro observation, so it is determined whether or not this condition is satisfied. Therefore, when it is determined in step S16 that the relationship ⁇ T> t + T is not satisfied, the process returns to step S14, and the above-described resetting of ⁇ T, T, and t is performed. On the other hand, if it is determined that the relationship ⁇ T> t + T is satisfied, the process proceeds to step S17.
  • step S17 it is determined whether or not the priority mode selected in the process of step S13 is the micro observation mode. If it is determined in step S17 that the macro observation is prioritized, it is determined that the conditions for performing the micro observation after the macro observation are satisfied (“Yes” in step S16), so the process is set in step S20. Proceed to processing. On the other hand, if it is determined that the micro observation is prioritized, the process proceeds to step S18.
  • step S18 satisfying the relationship of ⁇ t> t + T is a condition for performing macro observation after micro observation, and therefore it is determined whether this condition is satisfied. Therefore, if it is determined in step S18 that the relationship ⁇ t> t + T is satisfied, it is determined that the micro observation is prioritized (“Yes” in step S17), and the process proceeds to the setting process in step S20. . On the other hand, if it is determined that the relationship of ⁇ t> t + T is not satisfied, the process proceeds to step S19.
  • step S19 it is determined whether or not to change the priority mode according to the user's input operation. If it is determined in step S19 that the priority mode is to be changed, the process returns to step S13, and the priority mode is changed. The reselection process is performed. On the other hand, if it is determined in step S19 that the priority mode is not changed, the process returns to step S15, the observation schedule condition setting for micro observation is performed again, and the above-described resetting of T, ⁇ t, and t is performed. .
  • step S17 Thereafter, if it is determined as “No” in step S17 or “Yes” in step S18, the process proceeds to step S20.
  • step S20 when information related to the time lapse observation start time is input, the observation start time is set, and the observation schedule is set.
  • the process performed differs when the micro observation is selected as the priority mode and when the macro observation is selected, here, referring to FIG. 4 and FIG. The processing executed in each observation for each priority mode will be described individually.
  • the upper row shows the observation schedule for macro observation registered in the setting process in step S20, and the observation times for T 1 , T 2 , T 3 ,..., T n are shown. Macro observation is performed at intervals of ⁇ T. Further, the lower, similarly, it shows a microscopic observation of the observing schedule registered in the setting process of step S20, t 1, t 2, t 3, ⁇ , micro observation requiring observation time t m Are executed at intervals of ⁇ t.
  • the macro observation start time is delayed by shifting the upper macro observation time T 2 to the macro observation time T 2 ′.
  • the micro observation at the micro observation time t 3 is preferentially executed, and the macro observation at the macro observation time T 2 ′ is executed immediately after the micro observation is completed.
  • the micro observation time t 3 in the lower stage is shifted to the micro observation time t 3 ′, and the start time of the micro observation is delayed, so that the macro observation time T 2 Immediately after the completion of the macro observation, the micro observation at the micro observation time t 3 ′ may be executed.
  • the observation schedule setting process in each priority mode is performed in step S20, and the process ends.
  • step S31 the observation unit 27 performs macro observation of the biological sample according to the control of the observation control unit 35 based on the observation schedule. Macro images obtained by macro observation are accumulated in the observation information storage unit 33.
  • step S ⁇ b> 32 the image analysis unit 34 performs a predetermined image analysis process on the macro image stored in the observation information storage unit 33, thereby extracting a region of change of the biological sample (hereinafter referred to as a biological change region).
  • a biological change region a region of change of the biological sample.
  • the observation unit 27 a macro image as a fluorescence image is obtained by performing fluorescence observation, and this macro image includes a light emitting point derived from a fluorescent dye contained in a biological sample. The light emission point is extracted with an appropriate threshold value by image analysis processing.
  • changes in the biological sample such as colony formation, cell deformation, or fluorescence expression can be obtained by changing the emission point of the macro image obtained over time by time-lapse observation (for example, the (n ⁇ 1) th (macro observation time).
  • T n ⁇ 1 ) and the n th (macro observation time T n ) macro image appear as the value of the pixel (target pixel) at the same position (change in RGB value). It is extracted as a biological change region and supplied to the observation control unit 35.
  • step S33 if the observation control unit 35 is a newly extracted biological change region among the biological change regions extracted from the macro image, the micro observation point (for example, specifying the center coordinates of the biological change region (for example, The XYZ coordinates of the stage 56 or the objective lens 55 are newly registered, and if the biochange region has already been registered, the micro observation point that specifies the biochange region is updated and the micro observation point is set. Information about the micro observation point (XYZ coordinates) is stored and set in the observation information storage unit 33, for example.
  • step S34 the observation control unit 35 determines whether or not there is a micro observation point based on the coordinates of the set micro observation point.
  • step S35 the observation control unit 35 determines whether the observation end time is based on the observation schedule. Determine whether or not. If it is determined in step S35 that the observation end time is reached, the time lapse observation process ends. On the other hand, when it is determined in step S35 that it is not the observation end time, in step S36, the observation control unit 35 causes the observation unit 27 to wait until the next macro observation start time. At this time, registration or change input of the coordinates of the micro observation point according to the user's operation is accepted, and for example, an arbitrary region that is not extracted in the above image analysis processing may be set as the micro observation point. Good.
  • step S36 Thereafter, when the macro observation start time is reached in step S36, the process returns to step S31, and the above-described step S31 is performed until it is determined that there is a micro observation point or the observation end time is reached. The macro observation process from S36 to S36 is repeated.
  • the observation control unit 35 refers to the information regarding the micro observation points stored in the observation information storage unit 33, and determines the number of micro observation points. It is determined whether there is an increase or decrease.
  • step S38 the observation control unit 35 updates the observation schedule of the micro observation, and information on the micro observation point corresponding to the increase or decrease is obtained. Reflected in the observation information storage unit 33. Thereby, micro observation of the newly found micro observation point is performed.
  • step S37 determines that there is no increase / decrease in the micro observation point, it is not necessary to update the observation schedule of the micro observation, so step S38 is skipped and the process proceeds to step S39.
  • step S39 the observation control unit 35 causes the observation unit 27 to wait until the micro observation start time.
  • the observation unit 27 for example, an operation for switching from a low-magnification objective lens for macro observation to a high-magnification objective lens for micro observation, or a culture vessel 15 for time-lapse observation of a micro observation point is used.
  • a preparatory operation for micro observation of the micro observation point such as an operation by the stage 56 moving in the vertical direction or the horizontal direction, is performed.
  • registration or change input of the micro observation point according to the user's operation may be accepted, and a new micro observation point may be set.
  • step S40 the observation unit 27 performs micro observation of the micro observation point according to the control of the observation control unit 35 based on the observation schedule.
  • the micro image obtained by the micro observation is accumulated in the observation information storage unit 33.
  • This micro image is a microscopic observation of a part of a macro image that allows a wide range of a biological sample to be observed over a wide area, and is an image corresponding to a small area of a biological change region extracted by macro observation. It is. That is, since the micro image can observe a finer change state of a part of a micro area of the biological sample than the macro image, the biological sample can be accurately observed.
  • step S41 the image analysis unit 34 performs a predetermined image analysis process on the micro image stored in the observation information storage unit 33, and the change of the biological sample continues at the micro observation point designated by the process of step S33. Whether it is happening or has not changed.
  • step S42 the observation control unit 35 updates the registered micro observation point according to the change state of the biological change region of the micro observation point.
  • the coordinates of the micro observation point registered (updated) by the macro observation are continuously updated also in the micro observation. That is, in the micro observation, the details of the state after the change of the biological sample are traced by the high-definition micro image specified by the micro observation point detected by the macro observation.
  • the observation control unit 35 cancels the micro observation point that does not need to be tracked and stops acquiring the micro image at the micro observation point. For example, if a colony registered as a micro observation point does not satisfy a predetermined reference value by a predetermined image analysis process and has never been determined to be an iPS colony, the point is deleted from the micro observation point. . By canceling the observation at such a point, waste of time-lapse observation processing can be eliminated.
  • step S43 the observation control unit 35 determines whether it is the observation end time based on the observation schedule. If it is determined in step S43 that the observation end time is reached, the time lapse observation process ends. On the other hand, when it is determined in step S43 that it is not the observation end time, in step S44, the observation control unit 35 determines which of the next macro observation start time and the next micro observation start time based on the observation schedule. Determine if the start time is approaching.
  • step S44 when the next micro observation start time is first, the process returns to step S39 until the next macro observation start time is determined to be first or the observation end time is determined.
  • the micro observation process in steps S39 to S44 described above is repeated. At this time, when a plurality of micro observation points are set and registered, the same micro observation is performed for other micro observation points.
  • step S44 if it is determined in step S44 that the next macro observation start time is first, the process returns to step S36.
  • the process returns to step S31, and as a macro observation process, the biochange area is detected over a wide range, and the above-described micro observation point registration and update setting processes are executed again. Is done.
  • the biological sample observation apparatus 1 it is possible to perform time-lapse observation in the priority mode according to the purpose of sample observation.
  • a macro image taken by time-lapse observation in macro observation is not taken at a time, but an image generated by combining a plurality of taken images using a so-called tiling technique (hereinafter, a tiling image). May be used).
  • steps S71 to S74 in FIG. 7 correspond to the macro observation processing executed in steps S31 and S32 in FIG. 6, and the processing after step S74 is the same as the processing after step S33 in FIG. It is.
  • step S71 when a region (observation area) to be observed by macro observation is designated by a user operation, the observation control unit 35 determines the number of images to be acquired from the designated observation area.
  • step S ⁇ b> 72 the observation unit 27 performs macro observation of the biological sample according to the control of the observation control unit 35.
  • this macro observation if the acquired image is taken image I i, j (i: number of scans in the vertical direction, j: number of scans in the horizontal direction), as shown in FIG. by scanning, 8 photographed images I 11 to I 18 are obtained. After that, an operation of shifting in the vertical direction is performed so that the captured images do not overlap with each other (or a marginal area for pasting with other vertically or horizontally adjacent captured images may be taken).
  • the captured images I 21 to I 28 , the captured images I 31 to I 38 ,..., The captured images I 81 to I 88 are sequentially acquired and correspond to the designated observation area. 8 ⁇ 8 photographed images I i, j in FIG. 8 are obtained.
  • step S73 the image processing unit 58 pastes the captured images I i, j obtained by scanning by tiling, for example, from one 8 ⁇ 8 captured image I i, j in FIG. Generate a ring image.
  • This tiling image corresponds to the macro image described in FIG.
  • step S74 as in step S32 in FIG. 6, the image analysis unit 34 extracts the biochange region from the tiling image as a macro image, and thereafter, the same processing as in step S33 in FIG. 6 is executed. .
  • a wide range of images can be obtained by tiling a plurality of images having a predetermined size, and can be used as a macro image.
  • an image of the biological change area extracted by the macro observation is acquired.
  • the entire image of the biological change region cannot be acquired, there is a possibility that the biological sample cannot be observed accurately. Therefore, in the present embodiment, when the entire region of the biotransformation region cannot be accommodated by a single micro image, the entire region is combined with an image obtained from the periphery of the micro observation point (hereinafter referred to as a peripheral image). So that the image can be obtained.
  • FIG. 9 is a flowchart for explaining the observation process around the micro observation point.
  • steps S91 to S95 in FIG. 9 correspond to the micro observation process executed in step S40 in FIG. 6, and the processes after step S95 are the same as the processes after step S41 in FIG. .
  • step S91 the observation unit 27 performs micro observation of the micro observation point as in step S40 of FIG.
  • the micro image I 22 of FIG. 10 is obtained by micro observation of the micro observation point.
  • step S92 the image analysis unit 34 performs predetermined image analysis processing on the acquired micro image, for example, and determines whether or not an image of the entire biological change region has been acquired from the analysis result. If it is determined in step S92 that the entire biological change region is within the micro image, the micro image need not be processed, and the process proceeds to step S41 in FIG.
  • the processing in this case is the same as the processing described with reference to FIG.
  • step S93 the observation unit 27 performs micro observation on the peripheral portion of the micro observation point.
  • a peripheral image including a biological change region can be obtained from a region around the micro observation point.
  • FIG. 10 when the micro image I 22 is obtained by micro observation at the micro observation point, by further micro-observing the peripheral portion, eight peripheral images I 11 to I 13 , I 21 are obtained. , I 23 , I 31 to I 33 are obtained. That is, if one micro image I 22 and eight peripheral images I 11 to I 13 , I 21 , I 23 , I 31 to I 33 at the periphery of the micro image I 22 are viewed as one image, the entire biological change region The image contains
  • step S94 it is determined whether or not tiling is performed. If tiling is not performed, the process proceeds to step S41 in FIG. 6, and if tiling is performed, the process proceeds to step S95.
  • step S95 the image processing unit 58 obtains the micro image I 22 obtained by micro observation of the micro observation point and the micro observation of the peripheral portion of the micro observation point, similarly to the tiling process of step S73 of FIG.
  • the peripheral images I 11 to I 13 , I 21 , I 23 , and I 31 to I 33 are tiled to generate one tiling image. Then, by regarding this tiling image as one micro image, a micro image including the entire bio-change region is generated. Thereafter, the process proceeds to step S41 in FIG. 6 to perform a biological change determination process.
  • an image of the entire biotransformation region can be obtained by acquiring and tiling the peripheral image. Thereby, since the whole biological sample used as observation object can be checked, exact observation can be performed.
  • the microscopic observation allows microscopic observation of a biological change region identified by macro observation. Therefore, observation can be performed accurately.
  • the region where the observation object has changed can be time-lapse observed at a higher magnification by micro observation, detailed observation can be performed.
  • the observation magnification is fixed at a high magnification in advance, it is possible to observe only within a limited narrow range, and it may not be possible to detect changes in the observation target desired by the user.
  • the change of the observation object can be detected in a wide range by the macro observation, the observation object can be observed reliably.
  • the biological sample observation apparatus for culturing and observing a biological sample has been described as an example.
  • the present invention is also applicable to an observation apparatus such as a microscope that only observes a biological sample. Can do.
  • an observation apparatus such as a microscope that only observes a biological sample. Can do.
  • a stem cell colony of the liver can be found by macro image analysis. Thereafter, only good stem cell colonies can be extracted by micro-image analysis of the stem cell colonies of the liver. As a result, it is useful for hepatocyte management.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • This recording medium is not only composed of a computer but also a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like that is distributed to provide a program to the user, and is also a computer. It is also configured with ROM (Read Only Memory), HDD (Hard Disk Drive), etc. provided by the user in a state of being pre-installed in the disk.
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • the program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
  • a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
  • the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

　本発明は、生体試料の観察を正確に行うことができるようにする生体試料観察装置に関する。　マクロ観察においては、マクロ画像から生体変化領域が抽出され（Ｓ３２）、抽出された生体変化領域に対応するミクロ観察地点が登録され（Ｓ３３）、追跡する対象が特定される。ミクロ観察においては、ミクロ画像からミクロ観察地点における生体変化領域の生体変化が継続しているか否かが判定され（Ｓ４１）、その判定結果に基づいて、登録されているミクロ観察地点が更新される（Ｓ４２）。これにより、生体変化領域を検出するためのマクロ観察と、生体変化が見られた一部微小領域の成長過程を観察するためのミクロ観察との両方の観察が可能となるので、生体試料の観察を正確に行うことができる。本発明は、例えば、生体試料の観察を行う生体試料観察装置に適用できる。

Description

生体試料観察装置
　本発明は、生体試料観察装置に関する。
　従来より、生体試料を培養しながら、培養している生体試料の成長過程の観察を行う生体試料観察装置が知られている。
　この種の装置において、生体試料の観察画像を取得する方法としては、タイムラプス観察を用いる方法が一般的であるが、例えば、次の技術が従来から提案されている。
　特許文献１には、観察対象である生体試料に変化が生じたことが検出された場合、自動タイムラプス観察の動作開始を許可し、その後、生体試料の変化が止んだことが検出された場合、自動タイムラプス観察の動作を終了させる技術が記載されている。
特開２００４－３０９７１９号公報
　しかしながら、特許文献１に開示されている技術であると、生体試料の変化の検出用の画像と、検出後に開始されるタイムラプス観察により得られる画像とが常に同じ倍率となっているため、生体試料の変化した領域を高倍率で観察することができず、生体試料を正確に観察することができないという問題があった。
　本発明はこのような状況に鑑みてなされたものであり、生体試料の検出状況に応じた適切な倍率の観察画像を得られるようにして、生体試料の観察を正確に行うことができるようにするものである。
　本発明の第１の生体試料観察装置は、生体試料の経時的な変化を観察する生体試料観察装置において、タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、取得された前記マクロ画像から、前記生体試料の変化の領域である生体変化領域を抽出する生体変化領域抽出手段と、抽出された前記生体変化領域に対応するミクロ観察地点を登録するミクロ観察地点設定手段と、タイムラプス観察が実行され、前記ミクロ観察地点で特定される前記生体試料の変化のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段と、取得された前記ミクロ画像から、前記ミクロ観察地点における前記生体変化領域の生体変化が継続しているか否かを判定する判定手段とを備え、前記ミクロ観察地点設定手段は、前記判定手段の判定結果に基づいて、登録されている前記ミクロ観察地点を更新することを特徴とする。
　本発明の第２の生体試料観察装置は、生体試料の経時的な変化を観察する生体試料観察装置において、タイムラプス観察を実行し、前記生体試料のマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、前記マクロ画像取得手段で得られた時系列の前記マクロ画像に基づいて、前記生体試料の前記マクロ領域中においてミクロ観察すべきミクロ観察地点を特定するミクロ観察地点設定手段と、前記ミクロ観察地点設定手段により特定された前記ミクロ観察地点において、タイムラプス観察を実行し、前記生体試料のミクロ画像を取得するミクロ画像取得手段とを備えることを特徴とする。
　本発明の第３の生体試料観察装置は、生体試料の経時的な変化を観察する生体試料観察装置において、タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、タイムラプス観察が実行され、前記生体試料の前記マクロ領域中のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段とを備え、前記マクロ画像取得手段及び前記ミクロ画像取得手段によって、取得された前記マクロ画像及び前記ミクロ画像から前記生体試料の経時的な変化を分析することを特徴とする。
　本発明によれば、生体試料の観察を正確に行うことができる。
本発明を適用した生体試料観察装置の全体構成を示す正面図である。 観察ユニットの詳細な構成例を示す図である。 観察スケジュールの設定処理について説明するフローチャートである。 優先モードをミクロ観察とした場合のスケジュール設定処理について説明する図である。 優先モードをマクロ観察とした場合のスケジュール設定処理について説明する図である。 タイムラプス観察処理について説明するフローチャートである。 タイリング画像からの生体変化領域の抽出処理を説明するフローチャートである。 タイリング画像の生成手段について説明する図である。 ミクロ観察におけるミクロ観察地点周辺部の観察処理を説明するフローチャートである。 ミクロ観察地点周辺部において取得される周辺画像の例を示す図である。
　以下、図面を参照しながら本発明の実施の形態について説明する。
　図１は、本発明を適用した生体試料観察装置の全体構成を示す正面図である。
　なお、図１において、実線は外観に表れる部位の構造を示し、破線は外観に表れない内部の部位の構造を示している。
　図１に示すように、生体試料観察装置１は、生体試料の培養を行う第１筐体１１と、制御装置を構成する第２筐体１２とを有する。第１筐体１１は、第２筐体１２の上に載せられた状態で使用される。
　第１筐体１１の内部には、断熱材で覆われた恒温室２１が形成されている。この恒温室２１は、第１筐体１１の正面に形成された正面開口２３（正面扉２２）と、第１筐体１１の正面からみて左側面に形成された搬出入口２４とによって外部と連絡している。
　恒温室２１には、例えば、ペルチェ素子が用いられる温度調節装置等からなる温度制御機構、霧を噴出する噴霧装置等からなる湿度制御機構、外部の二酸化炭素ボンベに接続されるガス導入部等からなるガス制御機構、内部空間における生体試料の培養環境を検出する環境センサ等（いずれも不図示）が設けられている。これにより、恒温室２１の中は、生体試料の培養中、生体試料の培養環境を維持するために密封され、例えば空気を循環させることにより一定の温度に保たれることで、温度３７℃、湿度９０％、二酸化炭素濃度５％等に維持される。
　また、第１筐体１１の恒温室２１内には、ストッカ２５、容器搬送機構２６、及び観察ユニット２７が収納されている。
　ストッカ２５は、複数の棚で上下に区画されており、培養容器１５（図２）を水平に収納できる。
　容器搬送機構２６には、ホルダを支持する搬送アーム部や、培養容器１５を搬送するための各種の機構（不図示）が設けられている。容器搬送機構２６は、搬送アーム部に支持されたホルダを、垂直方向（Ｚ方向）又は水平方向（Ｘ及びＹ方向）に移動させたり、Ｚ軸を中心として180度回転させることができる。
　次に、図２を参照して、観察ユニット２７について説明する。
　図２の右側には観察ユニット２７の正面図が示されており、図２の左側には観察ユニット２７の側面図が示されている。
　図２に示すように、観察ユニット２７は、透過光照明部４１、蛍光落射照明部４２、試料台４３、及び観察部４４から構成される。
　透過光照明部４１は、試料台４３の側部から上方向に延びた後に、試料台４３に載置される培養容器１５の上部に延びるようなアーム状に形成される。透過光照明部４１の内部には、透過光用LED（Light Emitting Diode）５１と透過光用光学系５２が収納される。透過光用LED５１は、所定の波長域の光を発光する。透過光用LED５１からの光は、透過光用光学系５２を介して、試料台４３に載置される培養容器１５に上側から照射される。
　蛍光落射照明部４２は、蛍光用LED５３ａ乃至５３ｃ、及び、蛍光用光学系５４から構成される。蛍光用LED５３ａ乃至５３ｃ（以下、単に、蛍光用LED５３という）は、それぞれ異なる波長の光、すなわち、培養容器１５内の生体試料の蛍光物質に応じた所定の波長の光（励起光）を発光する。蛍光用LED５３からの励起光は、蛍光用光学系５４及び対物レンズ５５を介して、試料台４３に載置される培養容器１５に下側から照射される。
　試料台４３は、透光性の材質により構成されており、透過光照明部４１からの光や、蛍光落射照明部４２からの光により励起した生体試料に含まれる蛍光物質からの光が、観察部４４に導入される。試料台４３にはまた、観察部４４に導入される光を集光する対物レンズ５５や、生体試料の所定の箇所を撮影するために培養容器１５を垂直方向又は水平方向に移動させるステージ５６などが設けられる。なお、対物レンズ５５は、倍率（例えば、２×，４×，１０×，２０×，４０×，・・・等）の異なる複数の対物レンズから構成されており、観察状況に応じて適宜観察倍率を切り替えることが可能である。
　観察部４４は、撮影部５７及び画像処理部５８から構成される。撮影部５７は、CCD（Charge Coupled Device）等の撮像素子を有している。このCCDの撮像面には、透過光照明部４１からの光による像や、蛍光落射照明部４２からの光により励起した生体試料に含まれる蛍光物質からの光による像が、結像光学系により結像される。
　画像処理部５８は、撮影部５７からのアナログ画像信号に増幅等するアナログ信号処理を適用した後、A/D（Analog/Digital）変換し、デジタル信号で示される画像データを得る。
　図１に戻り、第１筐体１１が載せられた第２筐体１２の内部には、上述した観察ユニット２７の一部の他に、制御ユニット３１も収納される。
　制御ユニット３１は、生体試料観察装置１の各部の動作を制御する。具体的には、制御ユニット３１は、観察スケジュール又はユーザの操作による直接の指示にしたがって、恒温室２１内の環境条件の調整、恒温室２１内外への培養容器１５の搬出入、培養容器１５内の生体試料の観察、恒温室２１内での培養容器１５の搬送などを実行する。
　観察スケジュールは、例えば、制御ユニット３１で処理された各種の情報を表示する表示パネル３２に表示される設定画面により設定が可能であり、制御ユニット３１に接続されたキーボード等の入力手段により入力される。これにより、サンプルごとの観察位置や観察倍率、撮影スケジュール等が設定される。
　また、制御ユニット３１内には、観察情報記憶部３３が設けられており、この観察情報記憶部３３は、画像処理部５８から供給される、タイムラプス観察により得られた観察画像に対応する画像データを格納し、蓄積する。観察情報記憶部３３に格納される画像データは、培養容器１５の識別情報と撮影日時とを含むインデックス情報が対応付けて記録される。また、観察情報記憶部３３には、生体試料の観察に関する各種の情報や、恒温室２１内での環境条件（温度、湿度、二酸化炭素濃度等）の変化履歴等も記録できる。
　画像解析部３４は、観察情報記憶部３３に蓄積されている画像データに対し、所定の画像解析処理を施して画像解析を行う。画像解析部３４は、画像解析結果を観察制御部３５に供給する。
　観察制御部３５は、観察スケジュール又はユーザの操作による直接の指示にしたがって、観察ユニット２７の動作を制御する。また、観察制御部３５は、画像解析部３４からの画像解析結果に基づいて、培養容器１５内の生体試料の観察を行っている観察ユニット２７の動作を制御する。
　なお、制御ユニット３１は、所定の無線又は有線の通信規格に準拠した通信手段（図不示）を備えており、ネットワークを介して外部のパーソナルコンピュータ等の機器とのデータ送受信を行うことが可能である。これにより、ネットワークを利用して、離れた場所にあるパーソナルコンピュータからでも、生体試料の観察、撮影条件の設定変更、恒温室２１内の環境や観察画像の確認が可能となる。
　また、生体試料観察装置１においては、タイムラプス観察による観察として、マクロ観察とミクロ観察の２パターンの観察が行われる。
　ここで、マクロ観察とは、対物レンズ５５として、生体試料の広範囲な領域に対応する観察画像を取得可能な低倍率（例えば、２×，４×）の対物レンズを用いた観察である。以下、マクロ観察で得られた観察画像を、マクロ画像と称する。また、ミクロ観察とは、マクロ観察よりも高倍率（例えば、４×，１０×，２０×，４０×）の対物レンズを用いた観察である。以下、ミクロ観察で得られた画像をミクロ画像と称する。
　すなわち、観察ユニット２７では、生体試料の広範囲な領域の観察を行う場合には、複数の対物レンズ５５のうち、低倍率の対物レンズが、培養容器１５内の生体試料の光の光路上に配置され、マクロ観察が行われる。一方、生体試料の特定の範囲の領域の観察を行う場合には、複数の対物レンズ５５のうち、高倍率の対物レンズが、培養容器１５内の生体試料の光の光路上に配置され、ミクロ観察が行われる。そして、マクロ観察とミクロ観察が行われることで、観察情報記憶部３３には、観察画像として、観察倍率の異なるマクロ画像とミクロ画像が蓄積されることになる。
　次に、マクロ観察とミクロ観察を行う生体試料観察装置１の動作について説明する。
　上記の通り、生体試料観察装置１では、観察スケジュールにしたがって、培養している生体試料の経時的な変化の観察が行われるが、この観察スケジュールは、ユーザの操作により設定されるものである。そこで、まず、図３のフローチャートを参照して、マクロ観察とミクロ観察の観察スケジュールの設定処理について説明する。
　なお、この設定処理は、例えば、表示パネル３２に表示される各種の観察スケジュールの設定を行うための設定画面に対するユーザの入力操作に応じて、制御ユニット３１によって実行される。
　ステップＳ１１において、マクロ観察における観察倍率及び蛍光観察の設定に関する情報が入力された場合、それらのパラメータに基づいて、マクロ観察条件の設定が実行される。観察倍率としては、例えば、２倍や４倍などが設定される。また、本実施の形態においては、蛍光観察を行う場合を例にして説明するが、蛍光観察を行わない場合には、その設定に関する情報は設定する必要がなく、観察倍率のみが設定される。
　これらのパラメータにより、１回のマクロ観察に要する時間（以下、マクロ観察所要時間Ｔという）が求められる。
　ステップＳ１２において、ミクロ観察における観察倍率、蛍光観察、フレーム数、及び最大観察地点数の設定に関する情報が入力された場合、それらのパラメータに基づいて、ミクロ観察条件の設定が実行される。観察倍率としては、例えば、１０倍や２０倍などが設定される。すなわち、上記の通り、ミクロ観察の観察倍率は、マクロ観察の観察倍率よりも高倍率となるように設定される。
　また、ミクロ観察条件として設定されるフレーム数とは、所定の時間内に取得するミクロ画像の数である。フレーム数を大きく設定すると、取得するミクロ画像のデータ量が増えることになるが、単位時間当たりのミクロ画像の取得数が増加するので、より詳細なミクロ観察を行うことができる。また、最大観察地点数とは、ミクロ画像において、生体試料が変化した領域として観察する位置（以下、ミクロ観察地点という）として設定可能な数の最大数である。この最大数を大きく設定することで、より多くの地点における生体試料の変化を観察可能となる。また、後述するミクロ観察所要時間ｔは観察地点数を指定しなければ決定することができないが、観察地点数はマクロ画像から抽出された生体変化領域に基づいて決定するため、ここでは決定することはできない。そこで、この最大観察地点数を用いてミクロ観察所要時間ｔを決定している。このように、この２つのパラメータは、ミクロ観察における特有のパラメータであるため、マクロ観察条件では設定する必要がない。
　これらのパラメータにより、１回のミクロ観察に要する時間（以下、ミクロ観察所要時間ｔという）が求められる。
　ステップＳ１３において、マクロ観察とミクロ観察のどちらを優先するかを示す情報が入力された場合、優先モードの選択が実行される。なお、どちらの観察を優先するかにより、後段の処理が異なるが、その詳細については後述する。
　ステップＳ１４において、ｎ回目のマクロ観察と、ｎ＋１回目のマクロ観察との間隔（以下、インターバル期間ΔＴという）、及び、マクロ観察の観察期間内に取得可能なマクロ画像の枚数（観察枚数）に関する情報が入力された場合、それらのパラメータに基づいて、マクロ観察の観察スケジュール条件設定が実行される。ただし、ΔＴは、マクロ観察所要時間Ｔよりも長い間隔となるように設定される。すなわち、ΔＴは、下記の式（１）の関係を満たすように設定される。
　ΔＴ＞Ｔ　　　・・・（１）
　ステップＳ１５において、ｍ回目のミクロ観察と、ｍ＋１回目のミクロ観察との間隔（以下、インターバル期間Δｔという）に関する情報が入力された場合、そのパラメータに基づいて、ミクロ観察の観察スケジュール条件の設定が実行される。ただし、Δｔは、上記のΔＴの式（１）と同様に、ミクロ観察所要時間ｔよりも長い間隔となるように設定され、下記の式（２）の関係を満たすように設定される。
　Δｔ＞ｔ　　　・・・（２）
　ステップＳ１６において、ΔＴ＞ｔ＋Ｔの関係を満たすことが、マクロ観察後にミクロ観察を行う条件となるので、この条件を満たすか否かが判定される。従って、ステップＳ１６において、ΔＴ＞ｔ＋Ｔの関係を満たさないと判定された場合、ステップＳ１４に戻り、上述した、ΔＴ，Ｔ，ｔの再設定が行われる。一方、ΔＴ＞ｔ＋Ｔの関係を満たすと判定された場合、処理は、ステップＳ１７に進む。
　ステップＳ１７において、ステップＳ１３の処理で選択された優先モードが、ミクロ観察モードであるか否かが判定される。ステップＳ１７において、マクロ観察が優先であると判定された場合、マクロ観察後にミクロ観察を行う条件を満たしていると判定されているので（ステップＳ１６の「Ｙｅｓ」）、処理は、ステップＳ２０の設定処理に進む。一方、ミクロ観察が優先であると判定された場合、処理はステップＳ１８に進む。
　ステップＳ１８において、Δｔ＞ｔ＋Ｔの関係を満たすことがミクロ観察後にマクロ観察を行う条件となるので、この条件を満たすかが判定される。従って、ステップＳ１８において、Δｔ＞ｔ＋Ｔの関係を満たすと判定された場合、ミクロ観察が優先であると判定されているので（ステップＳ１７の「Ｙｅｓ」）、処理は、ステップＳ２０の設定処理に進む。一方、Δｔ＞ｔ＋Ｔの関係の関係を満たさないと判定された場合、処理は、ステップＳ１９に進む。
　そして、ステップＳ１９において、ユーザの入力操作に応じて、優先モードを変更するか否かが判定され、ステップＳ１９において、優先モードを変更すると判定された場合、処理は、ステップＳ１３に戻り、優先モードの再選択処理が行われる。一方、ステップＳ１９において、優先モードを変更しないと判定された場合、処理は、ステップＳ１５に戻り、ミクロ観察の観察スケジュール条件設定が再度実行され、上述したＴ，Δｔ，ｔの再設定が行われる。
　その後、ステップＳ１７の「Ｎｏ」又はステップＳ１８の「Ｙｅｓ」と判定されると、処理は、ステップＳ２０に進む。
　ステップＳ２０において、タイムラプス観察の開始時刻に関する情報が入力されると、観察の開始時刻が設定され、観察スケジュールが設定される。この観察スケジュールであるが、優先モードとして、ミクロ観察が選択された場合とマクロ観察が選択された場合とでは、実行される処理が異なるので、ここでは、図４及び図５を参照しながら、優先モードごとの各観察で実行される処理を個別に説明する。
　まず、図４を参照して、優先モードとしてミクロ観察が選択された場合の処理について説明する。なお、図４及び図５においては、上段が、ステップＳ２０の設定処理で登録されるマクロ観察の観察スケジュールを示しており、Ｔ１，Ｔ２，Ｔ３，・・・，Ｔｎの観察時間を要するマクロ観察が、ΔＴの間隔ごとに実行される。また、下段は、同様にして、ステップＳ２０の設定処理で登録されるミクロ観察の観察スケジュールを示しており、ｔ１，ｔ２，ｔ３，・・・，ｔｍの観察時間を要するミクロ観察が、Δｔの間隔ごとに実行される。
　図４のAの観察スケジュールでは、ミクロ観察を優先しているので、Δｔ＞ｔ＋Ｔの関係を満たしているが、上段のマクロ観察時間Ｔ２と下段のミクロ観察時間ｔ３との観察時間が重複しているため、このままでは両方の観察を行うことができない。この場合には、図４のBの観察スケジュールに示すように、上段のマクロ観察時間Ｔ２を、マクロ観察時間Ｔ２’にずらして、マクロ観察の開始時刻を遅らせる。これにより、ミクロ観察時間ｔ３でのミクロ観察が優先的に実行され、そのミクロ観察が終了した後、直ちにマクロ観察時間Ｔ２’でのマクロ観察が実行される。
　すなわち、ミクロ観察を優先させる場合、Δｔは一定であるため、ΔＴを変更して、図４のBに示したように、ミクロ観察終了後に、マクロ観察が実行されるように観察スケジュールを変更する。
　次に、図５を参照して、優先モードとしてマクロ観察が選択された場合の処理について説明する。
　図５のAの観察スケジュールでは、マクロ観察を優先しているので、ΔＴ＞ｔ＋Ｔの関係を満たしているが、図４のAと同様に、上段のマクロ観察時間Ｔ２と、下段のミクロ観察時間ｔ３とが重複している。この場合、図５のBの点線で示すように、上段のマクロ観察時間Ｔ２と重複している下段のミクロ観察時間ｔ３を削除して、ミクロ観察時間ｔ３でのミクロ観察を実行せずに、マクロ観察時間Ｔ２でのマクロ観察を優先的に実行させる。また、観察時間の重複するマクロ観察を実行しない代わりに、下段のミクロ観察時間ｔ３を、ミクロ観察時間ｔ３’にずらして、ミクロ観察の開始時刻を遅らせることで、マクロ観察時間Ｔ２でのマクロ観察が終了した後、直ちにミクロ観察時間ｔ３’でのミクロ観察が実行されるようにしてもよい。
　すなわち、マクロ観察を優先させる場合、ΔＴは一定であるため、Δｔを変更して、図５のBに示したように、マクロ観察終了後に、ミクロ観察が実行されるように観察スケジュールを変更する。
　以上のようにして、ステップＳ２０において、各優先モードによる観察スケジュールの設定処理が行われ、処理は終了する。
　次に、図６のフローチャートを参照して、上述した観察スケジュールにしたがって行われる、タイムラプス観察によるマクロ観察とミクロ観察の処理について説明する。
　ステップＳ３１において、観察ユニット２７は、観察スケジュールに基づいた観察制御部３５の制御にしたがって、生体試料のマクロ観察を行う。マクロ観察により得られたマクロ画像は、観察情報記憶部３３に蓄積される。
　ステップＳ３２において、画像解析部３４は、観察情報記憶部３３に蓄積されたマクロ画像に対し、所定の画像解析処理を施すことにより、生体試料の変化の領域（以下、生体変化領域という）を抽出する。例えば、観察ユニット２７においては、蛍光観察を行うことで、蛍光画像としてのマクロ画像が得られるが、このマクロ画像には、生体試料に含有される蛍光色素に由来する発光点が含まれており、この発光点は、画像解析処理によって適切な閾値により抽出される。そして、例えば、コロニーの形成、細胞の変形、又は蛍光発現等の生体試料の変化は、タイムラプス観察により経時的に得られる、マクロ画像の発光点の変化（例えば、ｎ－１番目（マクロ観察時間Ｔｎ－１）のマクロ画像とｎ番目（マクロ観察時間Ｔｎ）のマクロ画像の各々における同一位置の画素（注目画素）の値（RGB値）の変化）として現われるので、その変化した領域が生体変化領域として抽出され、観察制御部３５に供給される。
　ステップＳ３３において、観察制御部３５は、マクロ画像から抽出された生体変化領域のうち、新たに抽出された生体変化領域であれば、その生体変化領域の中心座標を特定するミクロ観察地点（例えば、ステージ５６あるいは対物レンズ５５のＸＹＺ座標）を新規で登録し、既に登録済みの生体変化領域であれば、その生体変化領域を特定するミクロ観察地点を更新して、ミクロ観察地点の設定を行う。このミクロ観察地点に関する情報（ＸＹＺ座標）は、例えば、観察情報記憶部３３に格納され、設定される。
　ステップＳ３４において、観察制御部３５は、設定されたミクロ観察地点の座標に基づいて、ミクロ観察地点が存在するか否かを判定する。
　ステップＳ３４において、生体変化領域が抽出されずに、ミクロ観察地点が１地点も存在しないと判定された場合、ステップＳ３５において、観察制御部３５は、観察スケジュールに基づいて、観察終了時刻であるか否かを判定する。ステップＳ３５において、観察終了時刻であると判定された場合、タイムラプス観察処理は終了する。一方、ステップＳ３５において、観察終了時刻ではないと判定された場合、ステップＳ３６において、観察制御部３５は、観察ユニット２７を、次のマクロ観察開始時刻まで待機させる。なお、このとき、ユーザの操作に応じたミクロ観察地点の座標の登録や変更入力を受け付けて、例えば、上記の画像解析処理では抽出されなかった任意の領域を、ミクロ観察地点として設定してもよい。
　その後、ステップＳ３６において、マクロ観察開始時刻となった場合、処理はステップＳ３１に戻り、ミクロ観察地点が存在すると判定されるか、あるいは、観察終了時刻であると判定されるまで、上述したステップＳ３１乃至Ｓ３６のマクロ観察の処理が繰り返される。
　ステップＳ３４において、ミクロ観察地点が存在すると判定された場合、ステップＳ３７において、観察制御部３５は、観察情報記憶部３３に格納されたミクロ観察地点に関する情報を参照して、ミクロ観察地点の数の増減があるか否かを判定する。
　ステップＳ３７において、ミクロ観察地点の増減があると判定された場合、ステップＳ３８において、観察制御部３５は、ミクロ観察の観察スケジュールの更新を行って、その増減した分のミクロ観察地点に関する情報を、観察情報記憶部３３に反映させる。これにより、新たに見つかったミクロ観察地点のミクロ観察が行われることになる。
　一方、ステップＳ３７において、ミクロ観察地点の増減がないと判定された場合、ミクロ観察の観察スケジュールを更新する必要はないので、ステップＳ３８をスキップし、処理はステップＳ３９に進む。
　ステップＳ３９において、観察制御部３５は、観察ユニット２７を、ミクロ観察開始時刻まで待機させる。なお、このとき、観察ユニット２７においては、例えば、マクロ観察用の低倍率の対物レンズからミクロ観察用の高倍率の対物レンズへ切り替える動作や、ミクロ観察地点をタイムラプス観察するために培養容器１５を垂直方向又は水平方向に移動させるステージ５６による動作などの、ミクロ観察地点をミクロ観察するための準備動作が行われる。また、このとき、ユーザの操作に応じたミクロ観察地点の登録や変更入力を受け付け、新たなミクロ観察地点を設定してもよい。
　その後、ステップＳ３９において、ミクロ観察開始時刻となった場合、ステップＳ４０において、観察ユニット２７は、観察スケジュールに基づいた観察制御部３５の制御にしたがって、ミクロ観察地点のミクロ観察を行う。ミクロ観察により得られたミクロ画像は、観察情報記憶部３３に蓄積される。
　このミクロ画像は、生体試料の全体を広範囲にわたり観察可能なマクロ画像の一部を微視的に観察したものであって、マクロ観察により抽出された生体変化領域の一部微小領域に対応する画像である。すなわち、ミクロ画像は、マクロ画像よりも、生体試料の一部微小領域のより細かな変化の様子が観察できるので、生体試料の観察を正確に行うことが可能となる。
　ステップＳ４１において、画像解析部３４は、観察情報記憶部３３に蓄積されたミクロ画像に所定の画像解析処理を施して、ステップＳ３３の処理により指定されたミクロ観察地点において生体試料の変化が継続して起こっているか、あるいは変化がない状態にあるかを判定する。
　ステップＳ４２において、観察制御部３５は、ミクロ観察地点の生体変化領域の変化の状況に応じて、登録されているミクロ観察地点を更新する。
　すなわち、生体変化があると判定されると、マクロ観察により登録（更新）されたミクロ観察地点の座標が、ミクロ観察においても引き続き更新されることになる。つまり、ミクロ観察においては、マクロ観察で検出されたミクロ観察地点により特定される高精細なミクロ画像によって、生体試料の変化後の様子の詳細が追跡されることになる。
　また、逆に、観察制御部３５は、生体変化がないと判定されると、追跡を継続する必要のないミクロ観察地点を取り消して、そのミクロ観察地点におけるミクロ画像の取得を中止する。例えば、ミクロ観察地点として登録されているコロニーが、所定の画像解析処理により所定の基準値を満たさずに、一度もiPSコロニーであると判定されなかった場合、その地点をミクロ観察地点から削除する。そのような地点での観察を中止することにより、タイムラプス観察処理の無駄を省くことができる。
　ステップＳ４３において、観察制御部３５は、観察スケジュールに基づいて、観察終了時刻であるか否かを判定する。ステップＳ４３において、観察終了時刻であると判定された場合、タイムラプス観察処理は終了する。一方、ステップＳ４３において、観察終了時刻ではないと判定された場合、ステップＳ４４において、観察制御部３５は、観察スケジュールに基づいて、次のマクロ観察開始時刻と、次のミクロ観察開始時刻のどちらの開始時刻が迫っているかを判定する。
　ステップＳ４４において、次のミクロ観察開始時刻が先である場合、ステップＳ３９に戻り、次のマクロ観察開始時刻が先であると判定されるか、あるいは、観察終了時刻であると判定されるまで、上述したステップＳ３９乃至Ｓ４４のミクロ観察の処理が繰り返される。また、このとき、複数のミクロ観察地点が設定登録されている場合には、他のミクロ観察地点についても、同様のミクロ観察が行われる。
　一方、ステップＳ４４において、次のマクロ観察開始時刻が先であると判定された場合、ステップＳ３６に戻る。そして、マクロ観察開始時刻となった場合、処理はステップＳ３１に戻り、マクロ観察の処理として、生体変化領域の検出が広範囲に行われ、上述したミクロ観察地点の登録や更新の設定処理が再度実行される。
　以上のように、生体変化領域を検出するためのマクロ観察と、生体変化が見られた一部微小領域の成長過程を観察するためのミクロ観察との両方の観察が可能となるので、広範囲での生体変化の検出ができるとともに、変化した微小領域の詳細な観察ができる。
　このように、生体試料観察装置１においては、サンプルの観察の目的に合わせた優先モードにより、タイムラプス観察を行うことが可能である。
　ところで、マクロ観察におけるタイムラプス観察で撮影されるマクロ画像は、一度に撮影されたものではなく、いわゆるタイリングの技術を用いて、複数の撮影画像を貼り合わせて生成した画像（以下、タイリング画像という）であってもよい。
　次に、図７のフローチャートを参照して、タイリング画像からの生体変化領域の抽出処理について説明する。
　すなわち、図７のステップＳ７１乃至Ｓ７４は、図６のステップＳ３１及びＳ３２において実行されるマクロ観察の処理に相当するものであり、ステップＳ７４以降の処理は、図６のステップＳ３３以降の処理と同様である。
　ステップＳ７１において、観察制御部３５は、ユーザの操作によりマクロ観察で観察する領域（観察エリア）が指定された場合、指定された観察エリアから取得すべき画像の枚数を決定する。
　ステップＳ７２において、観察ユニット２７は、観察制御部３５の制御にしたがって、生体試料のマクロ観察を行う。このマクロ観察においては、取得される画像を撮影画像Ｉi,j（ｉ：垂直方向の走査回数、ｊ：水平方向の走査回数）とすると、図８に示すように、１回目の水平方向の走査により、８枚の撮影画像Ｉ１１乃至Ｉ１８が取得される。その後、それらの撮影画像と重ならないように（あるいは、縦又は横に隣接する他の撮影画像との貼り合せのためののりしろの領域をとるようにしてもよい）、垂直方向にずれる動作を８回繰り返す走査が行われることにより、撮影画像Ｉ２１乃至Ｉ２８、撮影画像Ｉ３１乃至Ｉ３８、・・・、撮影画像Ｉ８１乃至Ｉ８８が順次取得され、指定された観察エリアに対応する、図８の８×８枚の撮影画像Ｉi,jが得られる。
　ステップＳ７３において、画像処理部５８は、走査により得られた撮影画像Ｉi,jをタイリングにより貼り合わせて、例えば、図８の８×８の撮影画像Ｉi,jから、１枚のタイリング画像を生成する。このタイリング画像は、図６で説明したマクロ画像に相当するものである。
　ステップＳ７４において、図６のステップＳ３２と同様に、画像解析部３４によって、マクロ画像としてのタイリング画像から、生体変化領域が抽出され、以降、図６のステップＳ３３と同様の処理が実行される。
　このように、一度に広範囲の画像を取得できない場合でも、所定のサイズとなる複数の画像をタイリングすることにより、広範囲の画像を得ることができ、マクロ画像として用いることが可能となる。
　ところで、ミクロ観察においては、マクロ観察によって抽出された生体変化領域の画像を取得するが、登録されたミクロ観察地点から得られる１枚のミクロ画像では生体変化領域の一部しか含まれない場合もある。このような場合のミクロ観察では、生体変化領域の全域の画像が取得できていないので、生体試料を正確に観察できない可能性がある。そこで、本実施の形態においては、生体変化領域の全域が１枚のミクロ画像では収まりきらない場合、ミクロ観察地点の周辺部から得られる画像（以下、周辺画像という）と合わせることで、その全域の画像が得られるようにする。
　図９は、ミクロ観察地点周辺部の観察処理を説明するフローチャートである。
　すなわち、図９のステップＳ９１乃至Ｓ９５は、図６のステップＳ４０において実行されるミクロ観察の処理に相当するものであり、ステップＳ９５以降の処理は、図６のステップＳ４１以降の処理と同様である。
　なお、この例では、説明を分かり易くするため、図１０に示すように、生体変化領域の全域（図中の黒の領域）の画像を取得するためには、９枚の画像Ｉ１１乃至Ｉ３３が必要であって、上述したミクロ観察により得られるミクロ画像は、その中央部のミクロ画像Ｉ２２であるとして説明する。
　ステップＳ９１において、観察ユニット２７は、図６のステップＳ４０と同様に、ミクロ観察地点のミクロ観察を行う。この例では、ミクロ観察地点のミクロ観察によって、図１０のミクロ画像Ｉ２２が得られる。
　ステップＳ９２において、画像解析部３４は、例えば取得したミクロ画像に対し所定の画像解析処理を施して、その解析結果から、生体変化領域全域の画像が取得できたか否かを判定する。ステップＳ９２において、生体変化領域全域がミクロ画像に収まっていると判定された場合、そのミクロ画像を加工する必要はないので、処理は、図６のステップＳ４１に進む。この場合の処理は、上述した図６で説明した処理と同様である。
　一方、ステップＳ９２において、生体変化領域全域がミクロ画像に収まっていないと判定された場合、ステップＳ９３において、観察ユニット２７は、ミクロ観察地点の周辺部についてもミクロ観察を行う。このミクロ観察により、ミクロ観察地点の周辺部の領域から、生体変化領域を含んだ周辺画像が得られる。例えば、図１０に示すように、ミクロ観察地点のミクロ観察によりミクロ画像Ｉ２２が得られた場合、その周辺部をさらにミクロ観察することで、８枚の周辺画像Ｉ１１乃至Ｉ１３，Ｉ２１，Ｉ２３，Ｉ３１乃至Ｉ３３が得られる。すなわち、１枚のミクロ画像Ｉ２２と、その周辺部の８枚の周辺画像Ｉ１１乃至Ｉ１３，Ｉ２１，Ｉ２３，Ｉ３１乃至Ｉ３３を１枚の画像として見れば、生体変化領域全域を含んだ画像となる。
　そして、ステップＳ９４において、タイリングを行うか否かが判定され、タイリングを行わない場合、処理は、図６のステップＳ４１に進み、タイリングを行う場合、処理はステップＳ９５に進む。
　ステップＳ９５において、画像処理部５８は、図７のステップＳ７３のタイリング処理と同様に、ミクロ観察地点のミクロ観察により得られるミクロ画像Ｉ２２と、そのミクロ観察地点の周辺部のミクロ観察により得られる周辺画像Ｉ１１乃至Ｉ１３，Ｉ２１，Ｉ２３，Ｉ３１乃至Ｉ３３をタイリングして、１枚のタイリング画像を生成する。そして、このタイリング画像を１枚のミクロ画像とみなすことで、生体変化領域全域を含んだミクロ画像が生成されたことになる。その後、処理は、図６のステップＳ４１に進み、生体変化の判定処理が行われる。
　このように、１枚のミクロ画像では生体変化領域全域を収めることができない場合には、周辺画像を取得してタイリングすることで、生体変化領域全域の画像を取得できる。これにより、観察対象となる生体試料の全体を確認できるので、正確な観察を行うことができる。
　以上のように、本実施の形態によれば、マクロ観察によって、追跡する対象としての生体試料の変化を広範囲に抽出した後、ミクロ観察によって、マクロ観察により特定された生体変化領域を微視的に観察できるので、観察を正確に行うことができる。
　すなわち、本実施の形態では、ミクロ観察によって、観察対象の変化した領域をより高倍率でタイムラプス観察することができるため、詳細な観察を行うことができる。また、観察倍率を事前に高倍率で固定してしまうと、限られた狭い範囲内でしか観察することができず、ユーザの欲している観察対象の変化を検出できない可能性があるが、本発明では、マクロ観察によって、観察対象の変化を広範囲に検出できるので、観察対象を確実に観察できる。
　なお、本実施の形態においては、生体試料の培養と観察を行う生体試料観察装置を例にして説明したが、本発明は、生体試料の観察のみを行う顕微鏡等の観察装置にも適用することができる。また、本実施の形態の画像解析ソフトを導入することで、マクロ画像分析によって、例えば、肝臓の幹細胞コロニーを見つけだすことができる。その後、その肝臓の幹細胞コロニーをミクロ画像分析することで、良い幹細胞コロニーだけを抽出できる。その結果、肝細胞管理をするのに有用である。
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
　この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等より構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザにより提供されるROM（Read Only Memory）やHDD（Hard Disk Drive）等でも構成される。
　また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
　なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１　生体試料観察装置，　１１　第１筐体，　１２　第２筐体，　１５　培養容器，　２１　恒温室，　２２　正面扉，　２３　正面開口，　２４　搬出入口，　２５　ストッカ，　２６　容器搬送機構，　２７　観察ユニット，　３１　制御ユニット，　３２　表示パネル，　３３　観察情報記憶部，　３４　画像解析部，　３５　観察制御部，　４１　透過光照明部，　４２　蛍光落射照明部，　４３　試料台，　４４　観察部，　５１　透過光用LED，　５２　透過光用光学系，　５３ａ乃至５３ｃ　蛍光用LED，　５４　蛍光用光学系，　５５　対物レンズ，　５６　ステージ，　５７　撮影部，　５８　画像処理部

Claims (8)

  1. 　生体試料の経時的な変化を観察する生体試料観察装置において、
    　タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、
    　取得された前記マクロ画像から、前記生体試料の変化の領域である生体変化領域を抽出する生体変化領域抽出手段と、
    　抽出された前記生体変化領域に対応するミクロ観察地点を登録するミクロ観察地点設定手段と、
    　タイムラプス観察が実行され、前記ミクロ観察地点で特定される前記生体試料の変化のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段と、
    　取得された前記ミクロ画像から、前記ミクロ観察地点における前記生体変化領域の生体変化が継続しているか否かを判定する判定手段と
    　を備え、
    　前記ミクロ観察地点設定手段は、前記判定手段の判定結果に基づいて、登録されている前記ミクロ観察地点を更新する
    　ことを特徴とする生体試料観察装置。
  2. 　前記ミクロ観察地点設定手段は、前記判定手段により生体変化がないと判定された場合、登録されている前記ミクロ観察地点を取り消す
    　ことを特徴とする請求項１に記載の生体試料観察装置。
  3. 　ユーザの操作に応じて、前記ミクロ観察地点の登録又は変更を受け付ける受け付け手段をさらに備える
    　ことを特徴とする請求項１又は２に記載の生体試料観察装置。
  4. 　前記生体試料を撮影して得られる複数の撮影画像を貼り合わせて、タイリング画像を生成する第１のタイリング画像生成手段をさらに備え、
    　前記生体変化領域抽出手段は、生成された前記タイリング画像から、前記生体変化領域を抽出する
    　ことを特徴とする請求項１から３の何れか一項に記載の生体試料観察装置。
  5. 　取得された前記ミクロ画像が前記生体変化領域の全域を含んでいない場合、前記ミクロ観察地点の周辺部を撮影して得られる周辺画像を取得し、取得した前記周辺画像と前記ミクロ画像と貼り合わせて、タイリング画像を生成する第２のタイリング画像生成手段をさらに備える
    　ことを特徴とする請求項１から４の何れか一項に記載の生体試料観察装置。
  6. 　生体試料の経時的な変化を観察する生体試料観察装置において、
    　タイムラプス観察を実行し、前記生体試料のマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、
    　前記マクロ画像取得手段で得られた時系列の前記マクロ画像に基づいて、前記生体試料の前記マクロ領域中においてミクロ観察すべきミクロ観察地点を特定するミクロ観察地点設定手段と、
    　前記ミクロ観察地点設定手段により特定された前記ミクロ観察地点において、タイムラプス観察を実行し、前記生体試料のミクロ画像を取得するミクロ画像取得手段と
    　を備えることを特徴とする生体試料観察装置。
  7. 　前記マクロ画像取得手段によるマクロ観察を優先させるマクロ観察優先モードと、前記ミクロ画像取得手段によるミクロ観察を優先させるミクロ観察優先モードとを切換える優先モード切換手段と、
    　前記マクロ観察と前記ミクロ観察の観察スケジュールに重複がある場合において、前記マクロ観察優先モードが選択されているとき、先に、前記マクロ画像の取得を行ってから、その取得の終了直後に、前記ミクロ画像の取得を行うように制御し、前記ミクロ観察優先モードが選択されているとき、先に、前記ミクロ画像の取得を行ってから、その取得の終了直後に、前記マクロ画像の取得が行われるように制御する制御手段と
    　をさらに備えることを特徴とする請求項６に記載の生体試料観察装置。
  8. 　生体試料の経時的な変化を観察する生体試料観察装置において、
    　タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、
    　タイムラプス観察が実行され、前記生体試料の前記マクロ領域中のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段と
    　を備え、
    　前記マクロ画像取得手段及び前記ミクロ画像取得手段によって、取得された前記マクロ画像及び前記ミクロ画像から前記生体試料の経時的な変化を分析する
    　ことを特徴とする生体試料観察装置。
PCT/JP2010/056421 2009-04-10 2010-04-09 生体試料観察装置 WO2010117052A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP10761751.6A EP2418473B1 (en) 2009-04-10 2010-04-09 Organism sample observation device
JP2011508394A JP5365691B2 (ja) 2009-04-10 2010-04-09 生体試料観察装置
US13/251,673 US9442282B2 (en) 2009-04-10 2011-10-03 Organism sample observation device
US15/220,725 US10133054B2 (en) 2009-04-10 2016-07-27 Organism sample observation device
US16/163,125 US10466465B2 (en) 2009-04-10 2018-10-17 Organism sample observation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-095505 2009-04-10
JP2009095505 2009-04-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/251,673 Continuation US9442282B2 (en) 2009-04-10 2011-10-03 Organism sample observation device

Publications (1)

Publication Number Publication Date
WO2010117052A1 true WO2010117052A1 (ja) 2010-10-14

Family

ID=42936333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/056421 WO2010117052A1 (ja) 2009-04-10 2010-04-09 生体試料観察装置

Country Status (4)

Country Link
US (3) US9442282B2 (ja)
EP (1) EP2418473B1 (ja)
JP (1) JP5365691B2 (ja)
WO (1) WO2010117052A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5677441B2 (ja) * 2010-08-30 2015-02-25 パナソニックＩｐマネジメント株式会社 観察装置、観察プログラム及び観察システム
JP2015127738A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 顕微鏡システムおよびその制御方法
US9353877B2 (en) * 2014-10-01 2016-05-31 Emerson Process Management Regulator Technologies, Inc. Slam shut safety device
US10563164B1 (en) 2015-10-08 2020-02-18 Charm Sciences, Inc. Plate reader
JP6684643B2 (ja) * 2016-04-28 2020-04-22 富士フイルム株式会社 生体試料評価システムおよび生体試料評価方法並びに生体試料評価制御プログラム
US10495563B1 (en) 2016-04-28 2019-12-03 Charm Sciences, Inc. Plate reader observation methods and operation
WO2024167455A1 (en) * 2023-02-10 2024-08-15 Cytely Ab A computer implemented method of selecting a subset of images from a database comprising a plurality of initial images from a microscopy sample

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309719A (ja) 2003-04-04 2004-11-04 Olympus Corp 顕微鏡システム、顕微鏡システムの制御方法、及び制御プログラム
JP2008052227A (ja) * 2005-09-15 2008-03-06 Olympus Corp 観察装置
JP2008058249A (ja) * 2006-09-01 2008-03-13 Olympus Corp 観察測光装置および観察測光方法
JP2008139488A (ja) * 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
JP2008139487A (ja) * 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
WO2009031476A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 顕微鏡装置、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2510771B2 (ja) * 1990-07-25 1996-06-26 株式会社日立製作所 培養生体の活性診断方法及びシステム
US6404906B2 (en) * 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
WO2001078005A2 (en) * 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
US20040143401A1 (en) * 2002-04-02 2004-07-22 Elling John W. Methods and apparatus for discovering, identifying and comparing biological activity mechanisms
CN100393283C (zh) * 2002-09-12 2008-06-11 株式会社日立医药 生物体组织动状态跟踪方法、使用该方法的图像诊断装置
AU2003234038B2 (en) * 2003-05-28 2008-02-21 Ge Healthcare Uk Limited Differential analysis of cell surface proteins on closed membrane structures by labelling with dyes in the presence of an internal standard
US7106502B1 (en) * 2003-08-21 2006-09-12 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Operation of a Cartesian robotic system in a compact microscope imaging system with intelligent controls
JP4765340B2 (ja) * 2005-03-07 2011-09-07 株式会社ニコン 顕微鏡システム
JP4973162B2 (ja) * 2006-12-01 2012-07-11 株式会社ニコン 画像処理装置、画像処理プログラム及び観察システム
US7630628B2 (en) * 2007-07-27 2009-12-08 Nikon Corporation Microscope system and microscope observation method
JP5230988B2 (ja) * 2007-09-28 2013-07-10 オリンパス株式会社 顕微鏡用カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309719A (ja) 2003-04-04 2004-11-04 Olympus Corp 顕微鏡システム、顕微鏡システムの制御方法、及び制御プログラム
JP2008052227A (ja) * 2005-09-15 2008-03-06 Olympus Corp 観察装置
JP2008058249A (ja) * 2006-09-01 2008-03-13 Olympus Corp 観察測光装置および観察測光方法
JP2008139488A (ja) * 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
JP2008139487A (ja) * 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
WO2009031476A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 顕微鏡装置、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2418473A4

Also Published As

Publication number Publication date
US9442282B2 (en) 2016-09-13
US20120133755A1 (en) 2012-05-31
EP2418473A1 (en) 2012-02-15
US10466465B2 (en) 2019-11-05
US20190049713A1 (en) 2019-02-14
EP2418473A4 (en) 2013-03-13
US20160334615A1 (en) 2016-11-17
US10133054B2 (en) 2018-11-20
JPWO2010117052A1 (ja) 2012-10-18
EP2418473B1 (en) 2022-01-26
JP5365691B2 (ja) 2013-12-11

Similar Documents

Publication Publication Date Title
JP5365691B2 (ja) 生体試料観察装置
EP1762878B1 (en) Observation apparatus and observation method
JP5510463B2 (ja) 細胞観察装置及び細胞培養方法
JP5516108B2 (ja) 観察装置、観察方法、及びプログラム
WO2009081832A1 (ja) タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
JP5259207B2 (ja) 細胞画像解析装置及びその方法並びにそのソフトウェア
JP5633753B2 (ja) フォーカス制御方法および培養観察装置
JP6102166B2 (ja) 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
JP2008139488A (ja) 顕微鏡装置
JP4663602B2 (ja) 自動合焦装置、顕微鏡および自動合焦方法
WO2007074923A1 (ja) 発光測定装置並びに発光測定方法
CN101351736A (zh) 发光测量装置及发光测量方法
JP2008139487A (ja) 顕微鏡装置
JP2008092882A (ja) 自動培養装置
JP5397484B2 (ja) 観察装置及び観察方法
JP2013109077A (ja) 画像取得装置、画像取得方法及び画像取得プログラム
JP5466976B2 (ja) 顕微鏡システム、観察画像の表示方法、プログラム
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2012039930A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
US8913819B2 (en) Observation apparatus and observation method
JP2011010621A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2012194517A (ja) 画像表示装置、観察装置、表示プログラム、画像表示方法、および観察制御方法
JP2012039931A (ja) 観察装置、観察方法、及び培養物の製造方法
JP2017099405A (ja) 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10761751

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011508394

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010761751

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE