WO2009119329A1 - 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置 - Google Patents

細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置 Download PDF

Info

Publication number
WO2009119329A1
WO2009119329A1 PCT/JP2009/054757 JP2009054757W WO2009119329A1 WO 2009119329 A1 WO2009119329 A1 WO 2009119329A1 JP 2009054757 W JP2009054757 W JP 2009054757W WO 2009119329 A1 WO2009119329 A1 WO 2009119329A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
observation
image
contour
image processing
Prior art date
Application number
PCT/JP2009/054757
Other languages
English (en)
French (fr)
Inventor
三村　正文
啓 伊藤
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN200980101071A priority Critical patent/CN101868553A/zh
Priority to EP09724786.0A priority patent/EP2272971B1/en
Publication of WO2009119329A1 publication Critical patent/WO2009119329A1/ja
Priority to US12/923,513 priority patent/US20110019923A1/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/12—Means for regulation, monitoring, measurement or control, e.g. flow regulation of temperature
    • C12M41/14—Incubators; Climatic chambers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell observation image processing means for deriving a predicted movement direction of a cell.
  • a movement prediction means for a moving object As a movement prediction means for a moving object (moving body), an image processing technique for predicting how the moving body will move in the future by processing and analyzing an image obtained by capturing the moving body has been widely used. ing. For such movement prediction, time series prediction based on past movement amounts such as linear prediction and Kalman filter is used (see, for example, Patent Document 1). JP 2007-303886 A
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide means capable of realizing cell migration prediction with a simple configuration.
  • an observation image in which observation cells are photographed by an imaging device is acquired, the contour of the observation cell is extracted from the acquired observation image, and the observation is extracted from the contour
  • an observation image obtained by photographing an observation cell is acquired by an imaging device, the outline of the observation cell is extracted from the acquired observation image, and the observation is extracted from the outline
  • a method for analyzing an image of a cell observation image comprising: calculating a deviation of an internal structure with respect to a contour shape of a cell, and deriving a movement direction in which the observation cell is predicted to move based on the calculated deviation of the internal structure Is provided.
  • the step of acquiring an observation image obtained by photographing an observation cell by an imaging device the step of extracting the outline of the observation cell from the acquired observation image, Adapting a cell model obtained by modeling an outer shape of a cell to the extracted observation cell; deriving a movement direction in which the observation cell is predicted to move using the adapted cell model; And a step of outputting the derived moving direction of the observation cell to the outside.
  • An image processing program for a cell observation image is provided.
  • a step of acquiring an observation image obtained by photographing an observation cell by an imaging device a step of extracting an outline of the observation cell from the acquired observation image, and an outline extraction Calculating a bias of the internal structure with respect to the contour shape of the observed cell, deriving a movement direction in which the observation cell is predicted to move based on the calculated bias of the internal structure, and the derived
  • an image processing program for a cell observation image comprising a step of outputting the moving direction of the observation cell to the outside.
  • an imaging device that images a cell and an observation image obtained by imaging the observation cell by the imaging device are acquired to derive a movement direction in which the observation cell is predicted to move.
  • an output unit that outputs the moving direction of the observation cell derived by the image analysis unit to the outside, and the image analysis unit extracts the outline of the observation cell from the observation image
  • a cell model obtained by modeling the outer shape of a cell is adapted to the observation cell from which a contour has been extracted, and a moving direction in which the observation cell is predicted to move is derived using the adapted cell model.
  • An image processing apparatus for observing cells is provided.
  • an imaging device that images a cell, and an observation image obtained by imaging the observation cell by the imaging device is acquired, and a movement direction that is predicted to move the observation cell is derived.
  • an output unit that outputs the moving direction of the observation cell derived by the image analysis unit to the outside, and the image analysis unit extracts the outline of the observation cell from the observation image, It is configured to calculate a bias of the internal structure with respect to the contour shape of the observation cell from which the contour is extracted, and to derive a movement direction in which the observation cell is predicted to move based on the calculated bias of the internal structure.
  • An image processing apparatus for cell observation is provided.
  • the moving direction of the cells can be predicted from one image taken by the imaging apparatus. Therefore, it is possible to provide a means capable of realizing cell movement prediction with a simple configuration.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus. It is a flowchart which shows the main flow in an image processing program. It is a flowchart corresponding to the prediction algorithm A selected in the main flow. It is a flowchart corresponding to the prediction algorithm B selected in the main flow. It is a flowchart corresponding to the prediction algorithm C selected in the main flow. It is a structural example of the display image of the cell movement tracking interface displayed on a display panel when an image processing program is executed.
  • FIGS. 2 and 3 As an example of a system to which the cell observation image processing apparatus of the present invention is applied, a schematic configuration diagram and a block diagram of a culture observation system are shown in FIGS. 2 and 3, respectively.
  • This culture observation system BS is broadly divided into a culture chamber 2 provided at the top of the housing 1, a shelf-like stocker 3 that accommodates and holds a plurality of culture containers 10, and a sample in the culture container 10. From an observation unit 5 for observation, a transport unit 4 for transporting the culture vessel 10 between the stocker 3 and the observation unit 5, a control unit 6 for controlling the operation of the system, an operation panel 7 equipped with an image display device, etc. Composed.
  • the culture room 2 is a room for forming and maintaining a culture environment according to the type and purpose of the cells to be cultured, and is kept sealed after the sample is charged in order to prevent environmental changes and contamination.
  • a temperature adjustment device 21 for raising and lowering the temperature in the culture chamber
  • a humidifier 22 for adjusting the humidity
  • a gas supply device 23 for supplying a gas such as CO 2 gas and N 2 gas
  • the culture A circulation fan 24 for making the environment of the entire chamber 2 uniform, an environmental sensor 25 for detecting the temperature, humidity and the like of the culture chamber 2 are provided.
  • the operation of each device is controlled by the control unit 6, and the culture environment defined by the temperature, humidity, carbon dioxide concentration, etc. of the culture chamber 2 is maintained in a state that matches the culture conditions set on the operation panel 7.
  • the stocker 3 is formed in a shelf shape that is partitioned into a plurality of parts in the front-rear direction and the up-down direction in FIG. Each shelf has its own unique address. For example, when the longitudinal direction is A to C rows and the vertical direction is 1 to 7 rows, the A row 5 shelves are set as A-5.
  • the culture vessel 10 has a type such as a flask, a dish, and a well plate, a form such as a round shape and a square shape, and a size, and an appropriate one can be selected and used according to the type and purpose of the cell to be cultured. .
  • a configuration using a dish is illustrated.
  • Samples such as cells are injected into the culture vessel 10 together with a liquid medium containing a pH indicator such as phenol red.
  • the culture container 10 is assigned a code number and is stored in association with the designated address of the stocker 3.
  • the culture container 10 is housed and held on each shelf in a state where a container holder for transportation formed according to the type and form of the container is mounted.
  • the transfer unit 4 is provided inside the culture chamber 2 so as to be movable in the vertical direction and is moved up and down by the Z-axis drive mechanism.
  • the transfer unit 4 is attached to the Z stage 41 so as to be movable in the front-rear direction.
  • the Y stage 42 that is moved back and forth, the X stage 43 that is attached to the Y stage 42 so as to be movable in the left-right direction and is moved left and right by the X-axis drive mechanism, etc.
  • a support arm 45 for lifting and supporting the culture vessel 10 is provided on the distal end side.
  • the transport unit 4 has a moving range in which the support arm 45 can move between the entire shelf of the stocker 3 and the sample table 15 of the observation unit 5.
  • the X-axis drive mechanism, the Y-axis drive mechanism, and the Z-axis drive mechanism are configured by, for example, a servo motor with a ball screw and an encoder, and the operation thereof is controlled by the control unit 6.
  • the observation unit 5 includes a first illumination unit 51, a second illumination unit 52, and a third illumination unit 53, a macro observation system 54 that performs macro observation of the sample, a micro observation system 55 that performs micro observation of the sample, and an image processing apparatus. 100 or the like.
  • the sample stage 15 is made of a material having translucency, and a transparent window portion 16 is provided in the observation region of the microscopic observation system 55.
  • the first illumination unit 51 is composed of a surface-emitting light source provided on the lower frame 1b side, and backlight-illuminates the entire culture vessel 10 from the lower side of the sample stage 15.
  • the second illumination unit 52 includes a light source such as an LED and an illumination optical system including a phase ring, a condenser lens, and the like.
  • the second illumination unit 52 is provided in the culture chamber 2 and receives light from the microscope observation system 5 from above the sample stage 15. Illuminate the sample in the culture vessel along the axis.
  • the third illumination unit 53 includes a plurality of light sources such as LEDs and mercury lamps that emit light having a wavelength suitable for epi-illumination observation and fluorescence observation, and the light emitted from each light source as an optical axis of the microscopic observation system 55. And an illumination optical system composed of a beam splitter, a fluorescent filter, and the like to be superposed, disposed in the lower frame 1b located on the lower side of the culture chamber 2, and from the lower side of the sample stage 15 to the microscopic observation system 5. Illuminate the sample in the culture vessel along the optical axis.
  • light sources such as LEDs and mercury lamps that emit light having a wavelength suitable for epi-illumination observation and fluorescence observation, and the light emitted from each light source as an optical axis of the microscopic observation system 55.
  • an illumination optical system composed of a beam splitter, a fluorescent filter, and the like to be superposed, disposed in the lower frame 1b located on the lower side of the culture chamber 2, and from the lower side of the
  • the macro observation system 54 includes an observation optical system 54a and an imaging device 54c such as a CCD camera that takes an image of the sample imaged by the observation optical system.
  • the macro observation system 54 is located above the first illumination unit 51 and is a culture chamber. 2 is provided.
  • the macro observation system 54 captures a whole observation image (macro image) from above the culture vessel 10 that is backlit by the first illumination unit 51.
  • the microscopic observation system 55 includes an observation optical system 55a composed of an objective lens, an intermediate zoom lens, a fluorescent filter, and the like, and an imaging device 55c such as a cooled CCD camera that takes an image of a sample imaged by the observation optical system 55a. And disposed inside the lower frame 1b.
  • a plurality of objective lenses and intermediate zoom lenses are provided, and are configured to be set to a plurality of magnifications using a displacement mechanism such as a revolver or a slider (not shown in detail). For example, zooming is possible in the range of 2 to 80 times.
  • the microscopic observation system 55 is transmitted light that has been illuminated by the second illumination unit 52 and transmitted through the cell, reflected light that has been illuminated by the third illumination unit 53 and reflected by the cell, or illuminated by the third illumination unit 53.
  • a microscopic image (micro image) obtained by microscopic observation of fluorescence emitted by the cells is taken.
  • the image processing apparatus 100 performs A / D conversion on signals input from the macro observation system imaging device 54c and the micro observation system imaging device 55c, and performs various image processing to generate an image of the entire observation image or the micro observation image. Generate data. Further, the image processing apparatus 100 performs image analysis on the image data of these observation images, and performs generation of a time-lapse image, calculation of the amount of cell movement, analysis of the movement state of the cell, and the like. Specifically, the image processing device 100 is constructed by executing an image processing program stored in the ROM of the control device 6 described below. The image processing apparatus 100 will be described in detail later.
  • the control unit 6 includes a CPU 61, a ROM 62 in which data for controlling the operation of the culture observation system BS and data for controlling each unit are set and stored, a RAM 63 in which image data and the like are temporarily stored, and the like. They are connected by a data bus.
  • the input / output port of the control unit 6 includes a temperature adjustment device 21 in the culture chamber 2, a humidifier 22, a gas supply device 23, a circulation fan 24 and an environmental sensor 25, and X, Y, Z stages 43, 42 in the transfer device 4.
  • the operation panel 7 includes an operation panel 71 provided with input / output devices such as a read / write device for reading and writing information from a keyboard, a sheet switch, a magnetic recording medium, an optical disk, and the like, various operation screens, image data, and the like. And a display panel 72 for displaying the information, and setting the observation program (operating conditions), selecting conditions, operating commands, and the like on the operation panel 71 while referring to the display panel 72, thereby culturing through the CPU 61. Each part of the observation system BS is operated.
  • the CPU 61 adjusts the environment of the culture chamber 2 according to the input from the operation panel 71, transports the culture vessel 10 in the culture chamber 2, observes the sample by the observation unit 5, analyzes the acquired image data, and displays the display panel. Display to 72 is executed. On the display panel 72, in addition to input screens for operation commands, condition selection, and the like, numerical values of environmental conditions of the culture chamber 2, analyzed image data, a warning when an abnormality occurs, and the like are displayed.
  • the CPU 61 can transmit and receive data to and from an externally connected computer or the like via a communication unit 65 configured in accordance with a wired or wireless communication standard.
  • the RAM 63 operating conditions of the observation program set on the operation panel 71, for example, environmental conditions such as temperature and humidity of the culture chamber 2, observation schedule for each culture vessel 10, observation type and observation position in the observation unit 5, observation Observation conditions such as magnification are recorded.
  • the management data of the culture container 10 such as the code number of each culture container 10 accommodated in the culture chamber 2, the storage address of the stocker 3 in which the culture container 10 of each code number is accommodated, and various data used for image analysis are stored.
  • the RAM 63 is provided with an image data storage area for recording image data photographed by the observation unit 5, and each image data is recorded in association with a code number of the culture vessel 10 and index data including the photographing date and time. Is done.
  • the CPU 61 controls the operation of each part based on the control program stored in the ROM 62 according to the setting conditions of the observation program set on the operation panel 7, and the culture vessel 10
  • the sample inside is automatically captured. That is, when the observation program is started by a panel operation on the operation panel 71 (or a remote operation via the communication unit 65), the CPU 61 reads each condition value of the environmental conditions stored in the RAM 63, and from the environment sensor 25.
  • the environmental state of the culture chamber 2 to be input is detected, and the temperature adjustment device 21, the humidifier 22, the gas supply device 23, the circulation fan 24, etc. are operated according to the difference between the condition value and the actual measurement value. Feedback control is performed on the culture environment such as temperature, humidity, and carbon dioxide concentration.
  • the CPU 61 reads the observation conditions stored in the RAM 63, operates the driving mechanism of each axis of the X, Y, and Z stages 43, 42, and 41 of the transport unit 4 based on the observation schedule, and the observation target from the stocker 3.
  • the culture container 10 is transported to the sample stage 15 of the observation unit 5 and observation by the observation unit 5 is started.
  • the observation set in the observation program is macro observation
  • the culture vessel 10 transported from the stocker 3 by the transport unit 4 is positioned on the optical axis of the macro observation system 54 and placed on the sample stage 15.
  • the light source of the first illumination unit 51 is turned on, and the entire observation image is taken by the imaging device 54c from above the culture vessel 10 that is backlit.
  • the signal input from the imaging device 54c to the control device 6 is processed by the image processing device 100 to generate a whole observation image, and the image data is recorded in the RAM 63 together with index data such as the shooting date and time.
  • the specific position of the culture container 10 that has been transported by the transport unit 4 is set to the optical axis of the microscopic observation system 55.
  • the light source of the second illumination unit 52 or the third illumination unit 53 is turned on, and the microscopic observation image by transmitted illumination, epi-illumination, and fluorescence is photographed by the imaging device 55c.
  • a signal photographed by the imaging device 55c and inputted to the control device 6 is processed by the image processing device 100 to generate a microscopic observation image, and the image data is recorded in the RAM 63 together with index data such as photographing date and time. .
  • the CPU 61 performs the observation as described above on the plurality of culture container samples accommodated in the stocker 3 according to the observation program at an interval of about 30 minutes to 2 hours based on the observation program.
  • the photographing time interval may be constant or different.
  • the image data of the photographed whole observation image and microscopic observation image are recorded in the image data storage area of the RAM 63 together with the code number of the culture vessel 10.
  • the image data recorded in the RAM 63 is read from the RAM 63 in response to an image display command input from the operation panel 71, and an entire observation image or a microscopic observation image (single image) at a specified time or an entire observation in a specified time region.
  • An image or a time-lapse image of a microscopic observation image is displayed on the display panel 72 of the operation panel 7.
  • the image processing apparatus 100 has a function of predicting the moving direction of cells in addition to functions such as time-lapse image generation and cell tracking.
  • a method for predicting cell movement a method for predicting movement by extracting a shape feature of an observation cell from an image of a cell to be observed (observation cell), and We present a method of movement prediction that extracts the characteristics of the internal structure of the observation cell and performs movement prediction.
  • I movement prediction based on shape features
  • II movement prediction based on features of internal structure will be described from the basic concept.
  • FIG. 4 is a schematic view illustrating the situation of the outermost contour extraction processing.
  • the image (a) acquired by the imaging device 55c (54c) is subjected to image processing, and the outermost cell is shown in FIG. 4 (b). Extract the outline of.
  • contour extraction processing for example, binarization using luminance values, binarization using variance values, and dynamic contour methods such as Snakes and Level Set methods can be used.
  • a cell to be observed for movement prediction is referred to as an “observed cell”.
  • a cell model that models the outer shape of the cell is applied to the observation cell from which the outermost contour has been extracted by preprocessing, and the observation cell moves using the adapted cell model Then, the predicted moving direction is derived.
  • the direction of movement is derived based on (1) a prediction method based on the shape characteristics of the cell model adapted to the observed cell, and (2) a cell model adapted to the observed cell. Prediction method based on the deviation of the center of gravity position of the observation cell from which the center of gravity position and contour were extracted, (3) Prediction method based on the deviation of the contour shape of the cell model adapted to the observation cell and the outline shape of the observation cell suggest.
  • the adaptation of the cell model to the observation cell is performed by, for example, the outermost of the observation cell C extracted by the preprocessing as shown in FIGS. 5, 6 and 1 in which the elliptical cell model Mc is applied. Approximate the contour to an elliptic model. Examples of the elliptic approximation here include a least square method and a method by moment calculation. Or you may estimate the ellipse model with the highest correlation with what filled the inside of the outline of the observation cell C. FIG. A predicted direction of cell movement is estimated using this cell model Mc.
  • the major axis direction (arrow direction in FIG. 5) of the ellipse of the cell model Mc is used as the predicted movement direction (predicted movement direction) of the observation cell C.
  • the probability that the moving direction of the cell is generally the longitudinal direction, that is, the major axis direction of the approximated ellipse is high.
  • the movement direction is estimated using the relationship between the shape feature of the cell and the movement direction.
  • the prediction method performed based on the shift between the center of gravity position of the cell model and the center of gravity of the observation cell applies the cell model Mc to the observation cell C as shown in FIG.
  • the center-of-gravity position G is obtained from the shape by graphic processing, and the moving direction of the observation cell is derived from the deviation between the elliptical center O of the cell model Mc and the gravity center position G of the observation cell C.
  • the moving direction is estimated using the feature that the center of gravity of the cell is biased in the moving direction (or the reverse direction). For example, as shown in FIG. 6, when the center of gravity G of the observed cell is biased to the right from the center O of the cell model Mc approximated by an ellipse, the biased direction of the center of gravity G can be derived as the predicted movement direction.
  • the prediction method performed based on the deviation between the contour shape of the cell model and the contour shape of the observation cell is a more complicated case.
  • the cell contour is complicated with respect to the elliptical cell model Mc.
  • the direction in which the portion with the largest protrusion exists is the direction in which the observation cell C moves, or the opposite direction across the ellipse center O is observed.
  • the direction in which the cell C moves is predicted.
  • the cell utilizes a feature that stretches a part of the body (leg) when the cell moves, or a feature that an adhesive surface remains when the cell moves. Note that the direction of travel is determined by the cell type.
  • the elliptical shape was illustrated as an example of the configuration of the cell model Mc, an appropriate shape can be used according to the morphological characteristics of the cell to be observed, for example, a triangle, a rectangle, a star, an arc, etc. Illustrated.
  • the movement prediction based on the characteristics of the internal structure of the cell calculates the bias of the internal structure with respect to the contour shape of the observed cell from which the outermost contour was extracted by preprocessing, and the observed cell moves based on the calculated bias of the internal structure Then, the predicted moving direction is derived.
  • Measures based on the density inside the cells can be cited as a way to capture the bias in the internal structure of the observed cells.
  • the cell density can be expressed by the dispersion of luminance values inside the cell outline in the microscopic observation image. Therefore, the cell density in the cell contour is obtained from the variance of the luminance values, and the direction from the low cell density region to the high region is calculated as shown in FIG. And
  • This movement prediction method estimates the predicted direction of cell movement by utilizing the tendency to move the internal tissue in the moving direction or vice versa when the cell moves. The relationship between the density change direction and the cell movement direction is determined by the cell type.
  • a technique for capturing the bias of the internal structure of the observation cell a technique based on the texture characteristics of the observation cell can be mentioned. Textures such as nuclei and internal fibers exist inside the cell, and these internal structures move or change during movement. Therefore, in this movement prediction method, the texture inside the cell outline is obtained by a dispersion filter or the like, and the movement direction is predicted from, for example, the position of the nucleus in the cell outline or the direction in which the internal fibers extend.
  • FIG. 8 is a block diagram showing a schematic configuration of the image processing apparatus 100 that executes image processing for movement prediction
  • FIG. 9 is a flowchart showing a main flow in the image processing program GP for movement prediction
  • FIGS. It is a flowchart corresponding to the prediction algorithms A, B, and C selected in the flow.
  • the image processing apparatus 100 includes an image analysis unit 120 that obtains an observation image obtained by capturing the observation cell C by the imaging device 55c (54c) and derives a movement direction in which the observation cell is predicted to move, and an image analysis unit 120.
  • An output unit 130 that outputs the derived movement direction of the observed cell C to the outside, and is configured to output and display the predicted movement direction derived by the image analysis unit 120 on the display panel 72, for example.
  • the image processing apparatus 100 is configured such that an image processing program GP preset and stored in the ROM 62 is read by the CPU 61 and processing based on the image processing program GP is sequentially executed by the CPU 61.
  • the image analysis unit 120 extracts the outline of the observation cell C from the acquired observation image, and the observation cell C from which the outline is extracted.
  • the cell model Mc in which the outer shape of the cell is modeled is adapted to be used, and the predicted movement direction of the observation cell C is derived using the adapted cell model Mc (see also FIGS. 4 to 6 and FIG. 1). .
  • the image analysis unit 120 extracts the outline of the observation cell C from the acquired observation image, and the observation cell C from which the outline is extracted is extracted.
  • the deviation of the internal structure with respect to the contour shape is calculated, and the movement direction in which the observation cell C is predicted to move is derived based on the calculated deviation of the internal structure (see also FIGS. 4 and 7).
  • the image analysis processing by the image analysis unit 120 as described above can be executed by reading out image data in which an observation image including the observation cell C is already stored in the RAM 63, and an image of a cell to be observed from now on is imaged. It is also possible to obtain and execute by Therefore, in this embodiment, a case where the current image is acquired and the movement prediction is performed will be described with reference to a display image configuration example of the movement prediction interface on the display panel 72 shown in FIG.
  • FIG. 13 shows a state in which the cultured cell dish (culture vessel) having the code number Cell-0002 is selected by the cursor provided on the operation panel 71.
  • the CPU 61 operates the driving mechanism of each axis of the transport unit 4 to transport the culture container 10 to be observed from the stocker 3 to the observation unit 5. Then, a microscopic observation image by the microscopic observation system 55 is photographed by the imaging device 55 c, and the image is displayed in the “observation position” frame 722.
  • FIG. 13 shows a state in which the observer designates a shaded area from the center right using a mouse attached to the operation panel 71.
  • an image of the region designated by the observer is acquired as an observation image by the image analysis unit 120 (step S1).
  • the acquired observation image is instantaneously subjected to cell outermost contour extraction processing (segmentation) by the image analysis unit 120 (step S2), and the outermost contour is extracted in the “observation image” frame 723 of the display panel 72.
  • a cell image is displayed. Therefore, as shown in FIG. 13, in the observation image, the observation cell (cell of interest) for which the movement direction is predicted is specified using a mouse or the like (step S3). Note that the observation cell may be designated as a cell that has already been detected by tracking or the like.
  • a “movement prediction option” frame 724 is formed below the observation image frame 723, and a “movement prediction method” frame 725 is formed in the frame, and which prediction algorithm is applied to perform movement prediction, Selection buttons 725a, 725b, and 725c for the movement prediction method are displayed.
  • A Prediction by outermost contour eccentricity direction, that is, I: center of gravity position O of cell model Mc and center of gravity G of observation cell C explained in FIG. 6 in (2) of movement prediction based on shape feature A method of predicting the direction of movement based on the deviation.
  • B Prediction based on the protruding direction of the ellipse, that is, I: Based on the deviation between the contour shape of the cell model Mc and the contour shape of the observation cell C described in FIG. To predict the direction of movement.
  • C Prediction based on cell tissue density direction. That is, II: A method of predicting the movement direction based on the characteristics of the internal structure of the observation cell C described in FIG.
  • B A prediction method selection button 725b based on the protruding direction of the ellipse
  • C cell tissue
  • a selection button 725c for a prediction method based on the density direction is configured to be displayed on the main screen.
  • step S4 the observer selects one of the selection buttons 725a, 725b, and 725c to select the prediction algorithms A, B, and C.
  • step S5A outermost contour is selected.
  • the flow branches to either the flow of the prediction algorithm based on the eccentric direction, S5B: the flow of the prediction algorithm based on the protruding direction of the ellipse, or the flow of the prediction algorithm based on the cell tissue density direction.
  • step S11 the cell model Mc is approximated with respect to the outermost contour of the observation cell.
  • the prediction algorithm is indicated by a dotted line in FIG.
  • step S12 the centroid position (center position in the case of an ellipse) O of the cell model Mc and the centroid position G in the contour shape of the observation cell C are calculated, and the process proceeds to step S13.
  • a “cell model selection” frame 726 is formed in the “movement prediction option” frame 724, and a selection button for selecting the movement characteristic of the observation cell C is displayed in this frame.
  • the “cell internal movement type” selection button 726a for moving the center of gravity position or the “cell outline (foot) movement type” selection button 726b for extending a part of the body is selected.
  • a database in which cell names (types, identification numbers, etc.) and movement characteristics are registered in advance is constructed, and the database search button 726c is selected and the observation cell name is input.
  • an item for automatically determining the cell movement characteristics by searching the database is also provided.
  • the input burden on the observer can be reduced, and erroneous selection can be prevented and the prediction accuracy of movement prediction can be improved.
  • step S14 the detection of the moving direction is executed according to the moving characteristics of the cell selected in step S13.
  • the positional relationship between the center O of the cell model Mc calculated in step S12 and the center of gravity G of the observation cell C is as shown in FIG. 6, and the center of gravity G of the observation cell is on the right side of the center O of the cell model Mc.
  • the movement characteristic of the cell calculated to be located and selected in step S13 is a characteristic that biases the center of gravity G in the movement direction
  • step S14 the direction from the elliptical center O of the cell model toward the center of gravity G of the observation cell. Is calculated.
  • step S13 the movement characteristics of the cells selected in step S13 indicate that the center of gravity G is the moving direction. If the characteristic is biased in the reverse direction, in step S14, the direction from the center of gravity G of the observed cell toward the elliptical center O of the cell model is calculated. Then, the direction calculated in step S14 is determined as the movement prediction direction of the observation cell C in step S15, and the process returns to the main flow of movement prediction and proceeds to step S6.
  • a “tracking target cell” frame 727 is formed on the display screen.
  • a close-up display of the observation cell C designated in step S3 and the predicted movement direction of the observation cell C are represented by a vector. Displayed by display.
  • the “all cell movement prediction vector display” selection button formed below the “observation image” frame 723 is set to ON. As shown in the figure, the movement vector is superimposed on each cell in the observation image and displayed.
  • step S5B Flow of prediction algorithm based on oval protrusion direction
  • the approximation process of the cell model Mc is performed on the outermost contour of the observation cell in step S21.
  • An elliptical cell model Mc is applied to the cell C.
  • step S22 the position and size of the observation cell C protruding from the cell model Mc are calculated, the azimuth having the maximum protrusion amount is calculated, and the process proceeds to step S23.
  • a “cell model selection” frame 726 is formed in the “movement prediction option” frame 724 of the display screen, and a selection button for selecting the movement characteristic of the observation cell C is displayed.
  • the observer selects one of the “cell internal movement type” selection button 726a and the “cell outline (foot) movement type” selection button 726b in accordance with the observation cell.
  • the sub-screen (not shown) displayed corresponding to each selection button it is the type that biases the center of gravity in the cell movement direction or the reverse type (726a), the type that extends the leg or the type that the adhesive surface remains ( 726b) and the like are selected, whereby the movement characteristics of the observation cell C are designated.
  • an item for automatically determining the cell migration characteristics is provided by constructing a database for the cell migration characteristics, selecting the database search button 726c, and inputting the name of the observation cell. deep.
  • the input burden on the observer can be reduced, and erroneous selection can be prevented and the prediction accuracy of movement prediction can be improved.
  • step S24 the movement direction is detected according to the movement characteristics of the cell selected in step S23.
  • the maximum protruding portion of the observed cell C with respect to the cell model Mc calculated in step S22 is calculated to be at the lower left of the cell model Mc as shown in FIG. 1, and the movement of the cell selected in step S23 is performed.
  • the characteristic is a characteristic in which the adhesive surface remains during movement
  • a direction from the protruding position toward the center of the ellipse is calculated in step S24.
  • the movement characteristic of the cell selected in step S23 is a characteristic of extending a leg in the movement direction during movement.
  • step S24 the direction from the center of the ellipse toward the protruding position is calculated. Then, the direction calculated in step S24 is determined as the movement prediction direction of the observation cell C in step S25, and the process returns to the main flow of movement prediction and proceeds to step S6.
  • step S6 a “tracking target cell” frame 727 is formed on the display screen, and the close-up display of the observation cell C designated in step S3 and the predicted movement direction of the observation cell are illustrated in this frame. It is displayed by such a vector display.
  • the “all cell movement prediction vector display” selection button formed below the “observation image” frame 723 is set to ON. As shown in the figure, the movement vector is superimposed on each cell in the observation image and displayed.
  • step S32 the distribution of luminance values in the observed cell contour is calculated to calculate the density distribution inside the cell.
  • step S33 the distribution of the low to high cell density is calculated based on the structural features inside the cell, and the process proceeds to step S33.
  • a “cell model selection” frame 726 is formed in the “movement prediction option” frame 724 of the display screen, and a selection button for selecting the movement characteristic of the observation cell C is displayed.
  • a selection button for selecting the movement characteristic of the observation cell C is displayed.
  • the “High Density Direction Movement Type” selection button that increases the density in the movement direction during movement or the “Low Density Direction Movement Type” selection button (both not shown) that decreases the density in the movement direction.
  • Select As described above, a database for cell movement characteristics is constructed, and an item for automatically determining cell movement characteristics is provided by selecting the database search button 726c and inputting the name of the observation cell. Thus, the input burden on the observer can be reduced and erroneous selection can be prevented to improve the prediction accuracy of the movement prediction.
  • step S34 detection of the moving direction is executed in accordance with the moving characteristics of the cell selected in step S33.
  • the density distribution inside the cell calculated in step S32 is calculated such that the density is high in the upper right of the observation cell C and the density in the lower left is low, and the cell selected in step S33.
  • a high-density direction moving type that moves in a high-density direction
  • a direction from a low-density area to a high-density area is calculated in step S34.
  • the cell movement characteristics selected in step S33 are the same density distribution but the low density direction moving type moves in the direction of lower density
  • the density is increased from the high density region in step S34.
  • a direction toward the low region is calculated.
  • the direction calculated in step S34 is determined as the movement prediction direction of the observation cell C in step S35, and the process returns to the main flow of movement prediction and proceeds to step S6.
  • a “tracking target cell” frame 727 is formed on the display screen.
  • a close-up display of the observation cell C designated in step S3 and the predicted movement direction of the observation cell C are represented by a vector. Displayed by display.
  • the “all cell movement prediction vector display” selection button formed below the “observation image” frame 723 is set to ON. As shown in the figure, the movement vector is superimposed on each cell in the observation image and displayed.
  • a suitable prediction algorithm can be selected and applied according to the characteristics of the observation target, and when any prediction algorithm is applied, the observer sees the “tracking target cell” frame 727,
  • the movement direction of the cell to be observed can be grasped in detail, and the movement state of the cell in the entire observation area is grasped by displaying the movement vector superimposed on each cell in the observation image in the “observation image” frame 723. be able to.
  • the image analysis method and the image processing apparatus 100 configured by executing the image processing program, the image is captured and stored by the imaging apparatus.
  • the cell moving direction can be predicted from the current or already recorded one image without reading and processing a large number of images. Accordingly, it is possible to provide means capable of performing prediction processing at high speed with a very simple configuration for predicting cell movement.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Biotechnology (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Cell Biology (AREA)
  • Molecular Biology (AREA)
  • Thermal Sciences (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

　細胞の移動予測を簡明な構成で実現可能な手段を提供する。撮像装置により取得された細胞の観察画像から観察細胞（Ｃ）の輪郭を抽出し、細胞の外形形状をモデル化した細胞モデルＭｃを適応させて、適応した前記細胞モデルＭｃを利用して前記観察細胞が移動すると予測される移動方向を導出する。

Description

細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
　本発明は、細胞の予測移動方向を導出する細胞観察の画像処理手段に関するものである。
　移動する物体（移動体）の移動予測手段として、移動体を撮影した画像を処理し解析することにより、その移動体が今後どのように移動するかを予測する画像処理技術が従来から広く用いられている。このような移動予測には、線形予測やカルマンフィルタなど過去の移動量に基づく時系列予測が利用されている（例えば特許文献１を参照）。
特開２００７－３０３８８６号公報
　しかしながら、観察対象が細胞の場合、細胞の運動は急激な動きや静止などが頻繁におこり、線形な予測は困難な場合が多い。また、この線形予測が困難である場合の予測手法として非線形予測が可能なパーティクルフィルタなども考案されているが、ランダムに近い動きを予測するには未だその精度が十分であるとはいえない、という課題がある。
　また、従来の移動予測は多数の時系列画像を画像処理して将来の移動方向を予測するため、画像処理装置の処理負担が重く、迅速な予測処理を行うためには画像処理装置が大型化、高額化するという課題があった。
　本発明は、上記のような課題に鑑みてなされたものであり、細胞の移動予測を簡明な構成で実現可能な手段を提供することを目的とする。
　本発明を例示する第１の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させて、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法が提供される。
　本発明を例示する第２の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法が提供される。
　本発明を例示する第３の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得された前記観察画像から前記観察細胞の輪郭を抽出するステップと、輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させるステップと、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するステップと、導出された前記観察細胞の移動方向を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
　本発明を例示する第４の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出するステップと、算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するステップと、導出された前記観察細胞の移動方向を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
　本発明を例示する第５の態様に従えば、細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞に細胞の外形形状をモデル化した細胞モデルを適応させて、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
　本発明を例示する第６の態様に従えば、細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、算出された前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
　上記のような細胞観察画像の画像解析方法、画像処理プログラム、画像処理装置によれば、撮像装置により撮影された１枚の画像から細胞の移動方向を予測することができる。従って、細胞の移動予測を簡明な構成で実現可能な手段を提供することができる。
細胞モデルからはみ出した観察細胞の位置から移動方向を導出する移動予測手法の概念図である。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。 観察細胞に適応した細胞モデルから移動方向を導出する移動予測手法の概念図である。 細胞モデルの重心と観察細胞の重心のずれから移動方向を導出する移動予測手法の概念図である。 観察細胞の密度分布から移動方向を導出する移動予測手法の概念図である。 画像処理装置の概要構成を示すブロック図である。 画像処理プログラムにおけるメインフローを示すフローチャートである。 メインフローにおいて選択される予測アルゴリズムＡに対応したフローチャートである。 メインフローにおいて選択される予測アルゴリズムＢに対応したフローチャートである。 メインフローにおいて選択される予測アルゴリズムＣに対応したフローチャートである。 画像処理プログラムを実行した場合に表示パネルに表示される細胞移動トラッキング・インターフェースの表示画像の構成例である。
符号の説明
ＢＳ　培養観察システム
ＧＰ　画像処理プログラム
Ｃ　観察細胞
５４　マクロ観察系
５４ｃ　撮像装置
５５　顕微観察系
５５ｃ　撮像装置
１００　画像処理装置
１２０　画像解析部
１３０　出力部
　以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
　この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
　培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
　ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ～Ｃ列、上下方向を１～７段とした場合に、Ａ列５段の棚がＡ－５のように設定される。
　培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。
　搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
　観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
　第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。
　マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
　顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍～８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
　画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。
　制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
　操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
　ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
　このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
　また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
　また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
　ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分～２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。
（細胞移動予測の手法）
　以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、タイムラプス画像の生成や細胞トラッキングなどの機能に加えて、細胞の移動方向を予測する機能を備えている。本明細書においては、細胞の移動予測を行う手法として、観察対象となる細胞（観察細胞）が撮影された画像から、観察細胞の形状特徴を抽出して移動予測を行う移動予測の手法と、観察細胞の内部構造の特徴を抽出して移動予測を行う移動予測の手法を提示する。以下、Ｉ：形状特徴に基づく移動予測、II：内部構造の特徴に基づく移動予測について、基本的な概念から説明する。
（前処理）
　移動予測処理に先立って、細胞の最も外側の輪郭抽出を行う。図４は、この最外輪郭抽出処理の状況を例示する模式図であり、撮像装置５５ｃ（５４ｃ）によって取得された画像(ａ)を画像処理し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。この輪郭抽出処理には、たとえば輝度値による２値化、分散値による２値化、SnakesやLevel Set法などの動的輪郭法などを利用することができる。なお、本明細書においては、移動予測を行う観察対象の細胞を「観察細胞」と表記する。
（Ｉ：形状特徴に基づく移動予測）
　細胞の形状特徴に基づく移動予測は、前処理により最外輪郭が抽出された観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させ、適応した細胞モデルを利用して観察細胞が移動すると予測される移動方向を導出する。この移動予測に含まれる具体的な予測手法として、移動方向の導出を、(１)観察細胞に適応した細胞モデルの形状特徴に基づいて行う予測手法、(２)観察細胞に適応した細胞モデルの重心位置と輪郭が抽出された観察細胞の重心位置のずれに基づいて行う予測手法、(３)観察細胞に適応した細胞モデルの輪郭形状と観察細胞の輪郭形状のずれに基づいて行う予測手法を提案する。
　まず、観察細胞への細胞モデルの適応は、例えば、図５，図６及び図１に楕円形状の細胞モデルＭｃを適応した事例を示すように、前処理で抽出された観察細胞Ｃの最外輪郭に対して楕円モデルへの近似を行う。ここでいう楕円近似は、最小二乗法やモーメント計算による方法が例として挙げられる。または観察細胞Ｃの輪郭内部を埋めたものと最も相関の高い楕円モデルを推定してもよい。この細胞モデルＭｃを利用して細胞移動の予測方向を推定する。
　(１)の細胞モデルの形状特徴に基づいて行う予測手法は、細胞モデルＭｃの楕円の長軸方向（図５における矢印方向）を、観察細胞Ｃの予測される移動方向（予測移動方向）として導出する。すなわち、縦横比が一定以上の楕円形状に近似されるような細胞の場合、その細胞の移動方向は、一般的に長手方向、つまり近似した楕円の長軸方向である確率が高い。この予測手法は、このような細胞の形状特徴と移動方向との関係を利用して移動方向を推定する。この場合には、観察細胞Ｃが楕円の長軸に沿った左右のどちら側に移動するかを直接的には導出できないが、細胞トラッキングの計算を行う際の角度範囲を大幅に低減でき、予備的な予測としても十分な情報であるといえる。
　(２)細胞モデルの重心位置と観察細胞の重心位置のずれに基づいて行う予測手法は、図６に示すように、観察細胞Ｃに対して細胞モデルＭｃを適用するとともに、観察細胞Ｃの輪郭形状からその重心位置Ｇを図形処理して求め、細胞モデルＭｃの楕円中心Ｏと観察細胞Ｃの重心位置Ｇのずれから観察細胞の移動方向を導出する。これは、自身の形状を変化させて移動する細胞の場合、細胞の重心位置が移動方向（または逆方向）に偏る特徴を利用して移動方向を推定するものである。例えば、図６に示すように、観察細胞の重心Ｇが、楕円近似した細胞モデルＭｃの中心Ｏから右側に偏っている場合、この重心Ｇの偏り方向を予測移動方向として導出することができる。
　(３)細胞モデルの輪郭形状と観察細胞の輪郭形状のずれに基づいて行う予測手法は、さらに複雑な場合として、図１に示すように、楕円形状の細胞モデルＭｃに対して細胞輪郭が複雑な場合を考える。この場合、細胞モデルＭｃからはみ出した細胞輪郭の位置及び大きさから、突出量が最も大きい箇所の存在する方位が観察細胞Ｃの移動する方向、または楕円中心Ｏを挟んだ反対側の方位が観察細胞Ｃの移動する方向であると予測する。いずれの場合も細胞が移動する際に体の一部（足）を伸ばす特徴や、細胞によっては移動の際に接着面が残る特徴を利用したものである。なお、どちらの方向に進むかは細胞の種類によって決まっている。
　なお、細胞モデルＭｃの構成例として楕円形状を例示したが、観察対象となる細胞の形態的な特徴に応じて適宜な形状を用いることができ、例えば、三角形や矩形、星形、弓形などが例示される。
（II：内部構造の特徴に基づく移動予測）
　細胞の内部構造の特徴に基づく移動予測は、前処理により最外輪郭が抽出された観察細胞の輪郭形状に対する内部構造の偏りを算出し、算出された内部構造の偏りに基づいて観察細胞が移動すると予測される移動方向を導出する。内部構造の偏りを検出する具体的な手法として、観察細胞の細胞密度に基づく手法、観察細胞のテクスチャ特徴に基づく手法を提案する。
　観察細胞の内部構造の偏りを捉える手法として、まず、細胞内部の密度に基づく手法があげられる。細胞密度は顕微観察画像における細胞輪郭内側の輝度値の分散で表現することができる。そこで、細胞輪郭内における細胞密度を輝度値の分散から求め、図７に示すように、細胞密度の低い領域から高い領域への向きを算出して、その方向またはこれと逆方向を移動予測方向とする。この移動予測手法は、細胞が移動する際に、内部組織を移動する方向へと移動させ、またはその逆に移動させる傾向があることを利用して細胞移動の予測方向を推定する。なお、密度の変化方向と細胞の移動方向との関係は細胞の種類により定まる。
　また、観察細胞の内部構造の偏りを捉える手法として、観察細胞のテクスチャ特徴に基づく手法があげられる。細胞内部には核や内部繊維などのテクスチャが存在し、移動に際してこれらの内部構造も移動し若しくは変化する。そこで、この移動予測手法では、細胞輪郭内部におけるテクスチャを分散フィルタなどにより求め、例えば細胞輪郭内における核の位置や内部繊維の延びる方向等から移動方向を予測する。
（実施例）
　次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図８～図１２の各図を併せて参照しながら説明する。ここで、図８は移動予測の画像処理を実行する画像処理装置１００の概要構成を示すブロック図、図９は移動予測の画像処理プログラムＧＰにおけるメインフローを示すフローチャート、図１０～図１２はメインフローにおいて選択される予測アルゴリズムＡ，Ｂ，Ｃに対応したフローチャートである。
　画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により観察細胞Ｃが撮影された観察画像を取得して観察細胞が移動すると予測される移動方向を導出する画像解析部１２０と、画像解析部１２０により導出された観察細胞Ｃの移動方向を外部に出力する出力部１３０とを備え、画像解析部１２０により導出された予測移動方向を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
　そこで、画像解析部１２０は、画像解析プログラムＧＰのメインフローにおいてＡまたはＢのアルゴリズムが選択された場合に、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃに細胞の外形形状をモデル化した細胞モデルＭｃを適応させて、適応した細胞モデルＭｃを利用して観察細胞Ｃの予測移動方向を導出する（図４～図６及び図１を併せて参照）。一方、画像解析プログラムＧＰのメインフローにおいてＣのアルゴリズムが選択された場合には、画像解析部１２０は、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの輪郭形状に対する内部構造の偏りを算出して、算出された内部構造の偏りに基づいて観察細胞Ｃが移動すると予測される移動方向を導出する（図４，図７を併せて参照）。
　上記のような画像解析部１２０による画像解析処理は、既に観察細胞Ｃを含む観察画像がＲＡＭ６３に保存されている画像データを読み出して実行可能であるほか、これから観察を始める細胞の画像を画像装置により取得して実行することも可能である。そこで、本実施例では、現時点の画像を取得して移動予測を行う場合について、図１３に示す表示パネル７２への移動予測インターフェースの表示画像構成例を参照しながら説明する。
　このインターフェースでは、操作パネル７１において「細胞の移動予測」が選択され、実行されると、まず、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器１０のコード番号一覧表が表示されて、観察対象の培養容器１０の選択が行われる。図１３では、操作パネル７１に設けられたカーソルによってコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
　培養容器が選択されると、ＣＰＵ６１は、搬送ユニット４の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、顕微観察系５５による顕微観察像を撮像装置５５ｃにより撮影させ、その画像を「観察位置」枠７２２に表示させる。
　次に、観察対象とする細胞（観察細胞）が含まれる観察画像を取得するため、観察画像の領域設定が行われる。図１３では、観察者が操作パネル７１に付帯して設けられたマウスを利用して中央右よりの網掛け領域を指定した状態を示す。これにより、観察者が指定した領域の画像が観察画像として画像解析部１２０に取得される（ステップＳ１）。
　取得された観察画像は、画像解析部１２０により瞬時に細胞の最外輪郭抽出処理（セグメンテーション）が施され（ステップＳ２）、表示パネル７２の「観察画像」枠７２３に、最外輪郭が抽出された細胞の画像が表示される。そこで、図１３に示すように、観察画像において、移動方向予測を行う観察細胞（注目細胞）をマウス等を用いて指定する（ステップＳ３）。なお、観察細胞の指定は、既にトラッキングなどで検出されている細胞としても良い。このとき、観察画像枠７２３の下側に「移動予測オプション」枠７２４が形成され、その枠内に「移動予測手法」枠７２５が形成されてどの予測アルゴリズムを適用して移動予測を行うか、移動予測手法の選択ボタン７２５ａ，７２５ｂ，７２５ｃが表示される。
　図示する実施例では、予測アルゴリズムとして、
　Ａ：最外輪郭偏心方向による予測・・・すなわち、Ｉ：形状特徴に基づく移動予測の(2)で図６を用いて説明した、細胞モデルＭｃの重心位置Ｏと観察細胞Ｃの重心位置Ｇのずれに基づいて移動方向を予測する手法。
　Ｂ：楕円はみ出し方向による予測・・・すなわち、Ｉ：形状特徴に基づく移動予測の(３)で図１を用いて説明した、細胞モデルＭｃの輪郭形状と観察細胞Ｃの輪郭形状のずれに基づいて移動方向を予測する手法。
　Ｃ：細胞組織密度方向による予測・・・すなわち、II：内部構造の特徴に基づく移動予測で図７を用いて説明した、観察細胞Ｃの内部構造の特徴に基づいて移動方向を予測する手法。
の３種類の中から予測手法を選択設定可能に構成しており、Ａ：最外輪郭偏心方向による予測手法の選択ボタン７２５ａ、Ｂ：楕円はみ出し方向による予測手法の選択ボタン７２５ｂ、Ｃ：細胞組織密度方向による予測手法の選択ボタン７２５ｃがメイン画面に表示されるように構成している。
　ステップＳ４では、観察者が選択ボタン７２５ａ，７２５ｂ，７２５ｃのいずれかを選択することにより予測アルゴリズムＡ，Ｂ，Ｃの選択が行われ、この選択に応じて、ステップＳ５で、Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー、Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー、Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフローのいずれかに分岐する。
（Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー）
　最外輪郭偏心方向による予測アルゴリズムは、図１０に示すように、まず、ステップＳ１１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図６に点線で示したように、観察細胞Ｃに楕円形状の細胞モデルＭｃが適応される。次いで、ステップＳ１２において、細胞モデルＭｃの重心位置（楕円の場合には中心位置）Ｏと、観察細胞Ｃの輪郭形状における重心位置Ｇとがそれぞれ算出され、ステップＳ１３に進む。
　ステップＳ１３では、「移動予測オプション」枠７２４に「細胞モデルの選択」枠７２６が形成され、この枠内に観察細胞Ｃの移動特性を選択する選択ボタンが表示される。ここでは、移動に際して重心位置を移動させる「細胞内部移動型」の選択ボタン７２６ａと、体の一部を伸長させる「細胞輪郭（足）移動型」の選択ボタン７２６ｂのどちらかを選択する。これらの選択ボタンに対応して、細胞の移動方向に重心を偏らせるタイプか逆のタイプか（７２６ａ）、足を伸ばすタイプか接着面が残るタイプか（７２６ｂ）、などを選択するサブ画面が表示され（不図示）、観察細胞Ｃの移動特性が指定される。
　なお、細胞の移動特性について、あらかじめ細胞の名称（種別や識別番号等）と移動特性とを対応づけて登録したデータベースを構築しておき、データベース検索ボタン７２６ｃを選択して観察細胞の名称を入力することにより、データベースを検索して細胞の移動特性を自動的に決定する項目も設けておく。これにより、観察者の入力負担を軽減できるとともに、誤選択を防止して移動予測の予測精度を向上させることができる。
　次いで、ステップＳ１４では、ステップＳ１３において選択された細胞の移動特性に応じて、移動方向の検出が実行される。例えば、ステップＳ１２において算出された細胞モデルＭｃの中心Ｏと観察細胞Ｃの重心Ｇとの位置関係が、図６に示したように、細胞モデルＭｃの中心Ｏの右側に観察細胞の重心Ｇが位置すると算出され、ステップＳ１３において選択された細胞の移動特性が、重心Ｇを移動方向に偏らせる特性である場合に、ステップＳ１４において、細胞モデルの楕円中心Ｏから観察細胞の重心Ｇに向かう方向が算出される。一方、ステップＳ１２において算出された細胞モデルＭｃの中心Ｏと観察細胞Ｃの重心Ｇとの位置関係が同様であっても、ステップＳ１３において選択された細胞の移動特性が、重心Ｇを移動方向と逆方向に偏らせる特性である場合には、ステップＳ１４において、観察細胞の重心Ｇから細胞モデルの楕円中心Ｏに向かう方向が算出される。そして、ステップＳ１４で算出された方向が、ステップＳ１５において観察細胞Ｃの移動予測方向と決定され、移動予測のメインフローに戻ってステップＳ６に進む。
　ステップＳ６では、表示画面に「注目細胞のトラッキング」枠７２７が形成され、この枠内に、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、その観察細胞Ｃの予測移動方向が、ベクトル表示により表示される。また、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
（Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー）
　楕円はみ出し方向による予測アルゴリズムは、図１１に示すように、ステップＳ２１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図１に点線で示したように、観察細胞Ｃに楕円形状の細胞モデルＭｃが適応される。次いで、ステップＳ２２において、細胞モデルＭｃからはみ出した観察細胞Ｃの位置と大きさが算出され、突出量が最大の方位が算出されて、ステップＳ２３に進む。
　ステップＳ２３では、表示画面の「移動予測オプション」枠７２４に「細胞モデルの選択」枠７２６が形成され、観察細胞Ｃの移動特性を選択する選択ボタンが表示される。観察者は前述同様に「細胞内部移動型」の選択ボタン７２６ａと、「細胞輪郭（足）移動型」の選択ボタン７２６ｂから、観察細胞に応じてどちらかを選択する。また各選択ボタンに対応して表示されるサブ画面（不図示）から、細胞の移動方向に重心を偏らせるタイプか逆のタイプか（７２６ａ）、足を伸ばすタイプか接着面が残るタイプか（７２６ｂ）などを選択し、これにより観察細胞Ｃの移動特性が指定される。なお、前述同様に、細胞の移動特性についてデータベースを構築しておき、データベース検索ボタン７２６ｃを選択して観察細胞の名称を入力することにより、細胞の移動特性を自動的に決定する項目も設けておく。これにより、観察者の入力負担を軽減できるとともに、誤選択を防止して移動予測の予測精度を向上させることができる。
　ステップＳ２４では、ステップＳ２３において選択された細胞の移動特性に応じて、移動方向の検出が実行される。例えば、ステップＳ２２において算出された細胞モデルＭｃに対する観察細胞Ｃのはみ出し最大部分が、図１に示したように、細胞モデルＭｃの左下方にあると算出され、ステップＳ２３において選択された細胞の移動特性が、移動に際して接着面が残る特性である場合に、ステップＳ２４において、はみ出し位置から楕円中心に向かう方向が算出される。一方、ステップＳ２２において算出された細胞モデルＭｃに対する観察細胞Ｃのはみ出し最大部分が同様の場合において、ステップＳ２３において選択された細胞の移動特性が、移動に際して移動方向に足を伸ばす特性である場合には、ステップＳ２４において、楕円中心からはみ出し位置に向かう方向が算出される。そして、ステップＳ２４で算出された方向が、ステップＳ２５において観察細胞Ｃの移動予測方向と決定され、移動予測のメインフローに戻ってステップＳ６に進む。
　ステップＳ６では、表示画面に「注目細胞のトラッキング」枠７２７が形成され、この枠内に、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、その観察細胞の予測移動方向が、図示するようなベクトル表示により表示される。また、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
（Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフロー）
　細胞組織密度方向による予測アルゴリズムは、図１２に示すように、まず、ステップＳ３２において、観察細胞輪郭内の輝度値の分散を算出することにより細胞内部の密度分布を算出する。これにより図７に示したように、輪郭形状が複雑な細胞であっても、細胞内部の構造特徴により細胞密度の低い領域～高い領域の分布が算出され、ステップＳ３３に進む。
　ステップＳ３３では、表示画面の「移動予測オプション」枠７２４に「細胞モデルの選択」枠７２６が形成され、観察細胞Ｃの移動特性を選択する選択ボタンが表示される。ここでは、移動に際して移動方向の密度が高くなる「高密度方向移動型」の選択ボタンと、移動方向の密度が低くなる「低密度方向移動型」の選択ボタン（いずれも不図示）のどちらかを選択する。なお、前述同様に、細胞の移動特性についてデータベースを構築しておき、データベース検索ボタン７２６ｃを選択して観察細胞の名称を入力することにより、細胞の移動特性を自動的に決定する項目を設けておくことにより、観察者の入力負担を軽減するとともに誤選択を防止して移動予測の予測精度を向上させることができる。
　ステップＳ３４では、ステップＳ３３において選択された細胞の移動特性に応じて、移動方向の検出が実行される。例えば、ステップＳ３２において算出された細胞内部の密度分布が、図７に示したように、観察細胞Ｃの右上方について密度が高く左下方の密度が低いと算出され、ステップＳ３３において選択された細胞の移動特性が、密度の高い方向に移動する高密度方向移動型である場合に、ステップＳ３４において密度の低い領域から密度の高い領域に向かう方向が算出される。一方、同様の密度分布であるが、ステップＳ３３において選択された細胞の移動特性が、密度の低い方向に移動する低密度方向移動型である場合には、ステップＳ３４において密度の高い領域から密度の低い領域に向かう方向が算出される。そして、ステップＳ３４で算出された方向が、ステップＳ３５において観察細胞Ｃの移動予測方向と決定され、移動予測のメインフローに戻ってステップＳ６に進む。
　ステップＳ６では、表示画面に「注目細胞のトラッキング」枠７２７が形成され、この枠内に、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、その観察細胞Ｃの予測移動方向が、ベクトル表示により表示される。また、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
　従って、観察対象の特徴に応じて好適な予測アルゴリズムを選択して適用することができ、いずれの予測アルゴリズムを適用した場合にも、観察者が「注目細胞のトラッキング」枠７２７を見ることにより、観察対象の細胞の移動方向を詳細に把握することができ、「観察画像」枠７２３に観察画像中の各細胞に移動ベクトルを重ねて表示させることにより観察領域全体の細胞の移動状態を把握することができる。
　そして、以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される画像解析方法及び画像処理装置１００によれば、撮像装置により撮影され、記憶された多数の画像を読み出して画像処理することなく、現時点または既に記録されたわずか１枚の画像から細胞の移動方向を予測することができる。従って、細胞の移動予測を極めて簡明な構成で、高速に予測処理が可能な手段を提供することができる。

Claims (21)

  1. 　撮像装置により観察細胞が撮影された観察画像を取得し、
    　取得した前記観察画像から前記観察細胞の輪郭を抽出し、
    　輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させて、
    　適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法。
  2. 　前記移動方向の導出は、前記適応した前記細胞モデルの形状特徴に基づいて行われることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
  3. 　前記移動方向の導出は、前記適応した前記細胞モデルの重心位置と輪郭が抽出された前記観察細胞の重心位置のずれに基づいて行われることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
  4. 　前記移動方向の導出は、前記適応した前記細胞モデルの輪郭形状と前記観察細胞の輪郭形状のずれに基づいて行われることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
  5. 　撮像装置により観察細胞が撮影された観察画像を取得し、
    　取得した前記観察画像から前記観察細胞の輪郭を抽出し、
    　輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、
    　算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法。
  6. 　前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項５に記載の細胞観察画像の画像解析方法。
  7. 　前記内部構造の偏りが、前記観察細胞のテクスチャ特徴であることを特徴とする請求項５に記載の細胞観察画像の画像解析方法。
  8. 　撮像装置により観察細胞が撮影された観察画像を取得するステップと、
    　取得された前記観察画像から前記観察細胞の輪郭を抽出するステップと、
    　輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させるステップと、
    　適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するステップと、
    　導出された前記観察細胞の移動方向を外部に出力するステップと
    を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
  9. 　前記移動方向の導出は、前記適応した前記細胞モデルの形状特徴に基づいて行われることを特徴とする請求項８に記載の細胞観察画像の画像処理プログラム。
  10. 　前記移動方向の導出は、前記適応した前記細胞モデルの重心位置と輪郭が抽出された前記観察細胞の重心位置のずれに基づいて行われることを特徴とする請求項８に記載の細胞観察画像の画像処理プログラム。
  11. 　前記移動方向の導出は、前記適応した前記細胞モデルの輪郭形状と前記観察細胞の輪郭形状のずれに基づいて行われることを特徴とする請求項８に記載の細胞観察画像の画像処理プログラム。
  12. 　撮像装置により観察細胞が撮影された観察画像を取得するステップと、
    　取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、
    　輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出するステップと、
    　算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するステップと、
    　導出された前記観察細胞の移動方向を外部に出力するステップと
    を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
  13. 　前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１２に記載の細胞観察画像の画像処理プログラム。
  14. 　前記内部構造の偏りが、前記観察細胞のテクスチャ特徴であることを特徴とする請求項１２に記載の細胞観察画像の画像処理プログラム。
  15. 　細胞を撮影する撮像装置と、
    　前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、
    　前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、
    　前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞に細胞の外形形状をモデル化した細胞モデルを適応させて、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置。
  16. 　前記移動方向の導出は、前記適応した前記細胞モデルの形状特徴に基づいて行われることを特徴とする請求項１５に記載の細胞観察画像の画像処理装置。
  17. 　前記移動方向の導出は、前記適応した前記細胞モデルの重心位置と輪郭が抽出された前記観察細胞の重心位置のずれに基づいて行われることを特徴とする請求項１５に記載の細胞観察画像の画像処理装置。
  18. 　前記移動方向の導出は、前記適応した前記細胞モデルの輪郭形状と前記観察細胞の輪郭形状のずれに基づいて行われることを特徴とする請求項１５に記載の細胞観察画像の画像処理装置。
  19. 　細胞を撮影する撮像装置と、
    　前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、
    　前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、
    　前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、算出された前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置。
  20. 　前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１９に記載の細胞観察画像の画像処理装置。
  21. 　前記内部構造の偏りが、前記観察細胞のテクスチャ特徴であることを特徴とする請求項１９に記載の細胞観察画像の画像処理装置。
PCT/JP2009/054757 2008-03-24 2009-03-12 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置 WO2009119329A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200980101071A CN101868553A (zh) 2008-03-24 2009-03-12 细胞观察图像的图像解析方法、图像处理程序和图像处理装置
EP09724786.0A EP2272971B1 (en) 2008-03-24 2009-03-12 Method for analyzing image for cell observation, image processing program, and image processing device
US12/923,513 US20110019923A1 (en) 2008-03-24 2010-09-24 Method for analyzing image for cell observation, image processing program, and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008075669A JP2009229275A (ja) 2008-03-24 2008-03-24 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
JP2008-075669 2008-03-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/923,513 Continuation US20110019923A1 (en) 2008-03-24 2010-09-24 Method for analyzing image for cell observation, image processing program, and image processing device

Publications (1)

Publication Number Publication Date
WO2009119329A1 true WO2009119329A1 (ja) 2009-10-01

Family

ID=41113527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/054757 WO2009119329A1 (ja) 2008-03-24 2009-03-12 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置

Country Status (5)

Country Link
US (1) US20110019923A1 (ja)
EP (2) EP3260550A1 (ja)
JP (1) JP2009229275A (ja)
CN (1) CN101868553A (ja)
WO (1) WO2009119329A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102712890A (zh) * 2010-01-20 2012-10-03 株式会社尼康 细胞观察装置和细胞培养方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010169823A (ja) * 2009-01-21 2010-08-05 Nikon Corp 細胞観察画像の画像処理方法、画像処理プログラム及び画像処理装置
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
CH705700B1 (it) * 2011-10-28 2015-06-15 Infergen Sa C O Bgtrust Company Sa Dispositivo per coltivare, controllare e proteggere lo sviluppo di un embrione in vitro.
JP2017090576A (ja) * 2015-11-05 2017-05-25 オリンパス株式会社 観察装置、及び、観察方法
CN107270828B (zh) * 2017-07-05 2019-06-11 浙江科技学院 基于显微定量角度图像的细胞质心机械形变测量方法
JP7210355B2 (ja) * 2019-03-27 2023-01-23 株式会社エビデント 細胞観察システム、コロニー生成位置推定方法、推論モデル生成方法、およびプログラム
DE102020107260A1 (de) * 2020-03-17 2021-09-23 Heinz Schade Gmbh Inkubator
EP4036212A1 (de) * 2021-01-27 2022-08-03 Eppendorf AG Inkubator und verfahren
EP4317410A1 (de) * 2022-08-02 2024-02-07 Eppendorf SE Inkubator und verfahren

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142800A (ja) * 2000-11-13 2002-05-21 Olympus Optical Co Ltd 細胞の形態解析方法および記憶媒体
JP2003107081A (ja) * 2001-09-28 2003-04-09 Olympus Optical Co Ltd 画像解析方法、装置、及び記録媒体
JP2006017489A (ja) * 2004-06-30 2006-01-19 Nikon Corp 細胞識別装置、細胞識別用プログラム、細胞解析装置、および細胞解析用プログラム
WO2006104201A1 (ja) * 2005-03-29 2006-10-05 Olympus Corporation 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置
JP2007140557A (ja) * 2007-02-16 2007-06-07 Olympus Corp マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法
JP2007222073A (ja) * 2006-02-23 2007-09-06 Yamaguchi Univ 画像処理により細胞運動特性を評価する方法、そのための画像処理装置及び画像処理プログラム
JP2007303886A (ja) 2006-05-09 2007-11-22 Sony Corp 位置推定装置、位置推定方法及びプログラム記録媒体
WO2008029635A1 (fr) * 2006-09-06 2008-03-13 Olympus Corporation Processeur d'images de cellules et procédé de traitement d'images de cellules
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142800A (ja) * 2000-11-13 2002-05-21 Olympus Optical Co Ltd 細胞の形態解析方法および記憶媒体
JP2003107081A (ja) * 2001-09-28 2003-04-09 Olympus Optical Co Ltd 画像解析方法、装置、及び記録媒体
JP2006017489A (ja) * 2004-06-30 2006-01-19 Nikon Corp 細胞識別装置、細胞識別用プログラム、細胞解析装置、および細胞解析用プログラム
WO2006104201A1 (ja) * 2005-03-29 2006-10-05 Olympus Corporation 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置
JP2007222073A (ja) * 2006-02-23 2007-09-06 Yamaguchi Univ 画像処理により細胞運動特性を評価する方法、そのための画像処理装置及び画像処理プログラム
JP2007303886A (ja) 2006-05-09 2007-11-22 Sony Corp 位置推定装置、位置推定方法及びプログラム記録媒体
WO2008029635A1 (fr) * 2006-09-06 2008-03-13 Olympus Corporation Processeur d'images de cellules et procédé de traitement d'images de cellules
JP2007140557A (ja) * 2007-02-16 2007-06-07 Olympus Corp マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GRUNWALD J. ET AL.: "Time-Lapse Video Microscopic Analysis of Cell Proliferation", MOTILITY AND MORPHOLOGY: APPLICATIONS FOR CYTOPATHOLOGY AND PHARMACOLOGY, BIOTECHNIQUES, vol. 5, no. 7, 1987, pages 680-682, - 684-687, XP008143719 *
See also references of EP2272971A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102712890A (zh) * 2010-01-20 2012-10-03 株式会社尼康 细胞观察装置和细胞培养方法
US8947518B2 (en) 2010-01-20 2015-02-03 Nikon Corporation Cell observing apparatus and cell incubation method

Also Published As

Publication number Publication date
JP2009229275A (ja) 2009-10-08
US20110019923A1 (en) 2011-01-27
EP2272971B1 (en) 2017-08-09
CN101868553A (zh) 2010-10-20
EP2272971A1 (en) 2011-01-12
EP3260550A1 (en) 2017-12-27
EP2272971A4 (en) 2011-09-14

Similar Documents

Publication Publication Date Title
WO2009119329A1 (ja) 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
WO2009081832A1 (ja) タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
JP4953092B2 (ja) 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
JP4968595B2 (ja) 細胞の状態判別手法及び細胞観察の画像処理装置
WO2009119330A1 (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
US8588504B2 (en) Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
JP4970869B2 (ja) 観察装置および観察方法
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2011004568A1 (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP2007334141A (ja) 培養物観察システム
JP2009229274A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2010026392A (ja) 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
JP2012039929A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2012039930A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
JP2011010621A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2010169823A (ja) 細胞観察画像の画像処理方法、画像処理プログラム及び画像処理装置
JP2010022319A (ja) 細胞移動方向予測の評価手法、細胞観察画像の画像処理プログラム及び画像処理装置
JP6567244B2 (ja) 細胞の運動観察方法、画像処理プログラム及び画像処理装置
JP2012039931A (ja) 観察装置、観察方法、及び培養物の製造方法
JP2012042327A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980101071.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09724786

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 6745/DELNP/2010

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2009724786

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2009724786

Country of ref document: EP