WO2021045214A1 - 画像解析装置、細胞培養観察装置、画像解析方法、プログラム、及び情報処理システム - Google Patents

画像解析装置、細胞培養観察装置、画像解析方法、プログラム、及び情報処理システム Download PDF

Info

Publication number
WO2021045214A1
WO2021045214A1 PCT/JP2020/033666 JP2020033666W WO2021045214A1 WO 2021045214 A1 WO2021045214 A1 WO 2021045214A1 JP 2020033666 W JP2020033666 W JP 2020033666W WO 2021045214 A1 WO2021045214 A1 WO 2021045214A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
area
image
unit
scratch
Prior art date
Application number
PCT/JP2020/033666
Other languages
English (en)
French (fr)
Inventor
徹 市橋
洋一 山嵜
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP20860461.1A priority Critical patent/EP4026891A4/en
Priority to CN202080071863.1A priority patent/CN114585722A/zh
Priority to US17/639,855 priority patent/US20220327694A1/en
Publication of WO2021045214A1 publication Critical patent/WO2021045214A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image analysis device, a cell culture observation device, an image analysis method, a program, and an information processing system.
  • the present application claims priority based on Japanese Patent Application No. 2019-161011 filed in Japan on September 4, 2019, the contents of which are incorporated herein by reference.
  • a scratch assay is known as an analysis method for evaluating the migration ability of cells. Further, for example, there is known an apparatus for determining a disease associated with a migration disorder by evaluating the migration ability of nerve cells in the brain based on image analysis (Patent Document 1).
  • a scratch region which is a region without cells, is extracted from a reference image selected from a plurality of images obtained by capturing cells in time series, and a reference region corresponding to the scratch region is used in the plurality of images.
  • a region setting unit to be set a calculation unit that calculates the area of the cell region in the reference region and / or the ratio of the area of the cell region to the reference region from the plurality of images, and the calculated cell region.
  • An image analysis device including a control unit for displaying a time-series change in the area of the cell and / or the ratio of the area of the cell region on the display device.
  • One aspect of the present invention is a cell culture observation device including the above image analysis device, a culture device for culturing the cells stored in a culture container, and a microscope for capturing the plurality of images.
  • a scratch region which is a region without cells, is extracted from a reference image selected from a plurality of images obtained by capturing cells in time series, and a reference region corresponding to the scratch region is used in the plurality of images.
  • This is an image analysis method having a control process for displaying a time-series change in the area of the cell region and / or the ratio of the area of the cell region on the display device.
  • a scratch region which is a region without cells, is extracted from a reference image selected from a plurality of images of cells taken in time series by a computer, and the scratch region corresponds to the plurality of images.
  • a region setting step for setting a reference region a calculation step for calculating the area of the cell region in the reference region and / or the ratio of the area of the cell region to the reference region from the plurality of images, and the calculation.
  • This is a program for executing a control step of displaying a time-series change in the area of the cell region and / or the ratio of the area of the cell region on the display device.
  • One aspect of the present invention is an information processing system that outputs analysis information to a user's terminal by cloud computing, comprising a server, and the server captures a plurality of images of cells taken in time series via a network.
  • a scratch region which is a region without cells, is extracted from the acquisition unit to be acquired and a reference image selected from a plurality of images obtained by capturing cells in time series, and a reference region corresponding to the scratch region is set in the plurality of images.
  • An information information system including a control unit that outputs a time-series change in the area and / or the ratio of the area of the cell region to the user's terminal as the analysis information.
  • One aspect of the present invention is an image analysis device, wherein the image analysis device operates a storage unit that stores a program executed by the image analysis device and an operation of the image analysis device by executing the program.
  • the control unit includes a control unit for controlling the above, selects a reference image from a plurality of images obtained by capturing cells in time series, extracts a region without cells in the reference image as a scratch region, and obtains the plurality of images.
  • a reference region corresponding to the scratch region is set in each of the images, a predetermined color is set in the cell region located in the reference region of each of the plurality of images, and a time-series change of the cell region is displayed.
  • FIG. 1 It is a block diagram which shows the outline of the incubator including the image analysis apparatus which concerns on 1st Embodiment. It is a figure which shows an example of the front view of the incubator which concerns on 1st Embodiment. It is a figure which shows an example of the plan view of the incubator which concerns on 1st Embodiment. It is a figure which shows an example of the scratch region which concerns on 1st Embodiment. It is a figure which shows an example of the observation operation in the incubator which concerns on 1st Embodiment. It is a figure which shows an example of the functional structure of the arithmetic unit which concerns on 1st Embodiment. It is a figure which shows an example of the image analysis processing which concerns on 1st Embodiment.
  • FIG. 1 is a block diagram showing an outline of the incubator 11 including the image analysis device of the embodiment.
  • 2 and 3 are views showing an example of a front view and a plan view of the incubator 11 of the present embodiment.
  • the incubator 11 is an example of a cell culture observation device.
  • the incubator 11 of the embodiment has an upper casing 12 and a lower casing 13. In the assembled state of the incubator 11, the upper casing 12 is placed on the lower casing 13. The internal space between the upper casing 12 and the lower casing 13 is vertically partitioned by the base plate 14.
  • the constant temperature room 15 has a temperature control device 15a and a humidity control device 15b, and the inside of the constant temperature room 15 is maintained in an environment suitable for cell culture (for example, an atmosphere having a temperature of 37 ° C. and a humidity of 90%) (for example, an atmosphere having a temperature of 37 ° C. and a humidity of 90%).
  • the temperature adjusting device 15a and the humidity adjusting device 15b in FIGS. 2 and 3 are not shown). That is, the constant temperature room 15 can maintain the inside under a predetermined environmental condition.
  • a large door 16, a middle door 17, and a small door 18 are arranged in front of the homeothermic chamber 15.
  • the large door 16 covers the front surfaces of the upper casing 12 and the lower casing 13.
  • the middle door 17 covers the front surface of the upper casing 12 and isolates the environment between the constant temperature room 15 and the outside when the large door 16 is opened.
  • the small door 18 is a door for carrying in and out the culture container 19 for culturing cells, and is attached to the middle door 17. By carrying in and out the culture container 19 from the small door 18, it is possible to suppress environmental changes in the homeothermic chamber 15.
  • the large door 16, the middle door 17, and the small door 18 are maintained in airtightness by packing SL1, packing SL2, and packing SL3, respectively.
  • the culture vessel 19 is, for example, a well plate (eg, a plate having 6 wells, etc.).
  • a stocker 21 an observation unit 22, a container transport device 23, and a transport stand 24 are arranged.
  • the transport table 24 is arranged in front of the small door 18, and the culture container 19 is carried in and out from the small door 18.
  • the stocker 21 is arranged on the left side of the homeothermic chamber 15 when viewed from the front surface of the upper casing 12 (lower side of FIG. 3, door side such as large door 16).
  • the stocker 21 has a plurality of shelves, and each shelf of the stocker 21 can store a plurality of culture containers 19.
  • cells to be cultured are housed together with a medium.
  • the homeothermic chamber 15 houses the culture vessel 19 for culturing cells.
  • the homeothermic chamber 15 is an example of a culture apparatus for culturing cells stored in a culture vessel 19.
  • the observation unit 22 is arranged on the right side of the homeothermic chamber 15 when viewed from the front surface of the upper casing 12 (lower side of FIG. 3, door side such as large door 16).
  • the observation unit 22 can perform time-lapse observation of cells in the culture vessel 19.
  • the time-lapse observation is a sample based on a plurality of images (time-lapse images) captured by imaging a sample (eg, cells) at predetermined time intervals based on a preset imaging schedule. It is a method of observing changes in the time series of.
  • the images of the sample may be taken at regular time intervals or at different time intervals.
  • the observation unit 22 is fitted and arranged in the opening of the base plate 14 of the upper casing 12.
  • the observation unit 22 includes a sample table 31, a stand arm 32 projecting above the sample table 31, and a main body portion 33 incorporating a microscopic optical system for phase difference observation and an image pickup device 34.
  • the sample base 31 and the stand arm 32 are arranged in the constant temperature room 15, while the main body portion 33 is housed in the lower casing 13.
  • the sample table 31 is made of a translucent material, on which the culture vessel 19 can be placed.
  • the sample table 31 is configured to be movable in the horizontal direction, and the position of the culture vessel 19 placed on the upper surface can be adjusted.
  • the stand arm 32 has a built-in LED light source 35.
  • the imaging device 34 can acquire a microscopic image of the cells by imaging the cells of the culture vessel 19 transmitted and illuminated from above the sample table 31 by the stand arm 32 via the microscopic optical system.
  • the imaging device 34 images the cells housed in the culture vessel in the homeothermic chamber 15 at predetermined time intervals.
  • time-series image data (plurality of images) obtained by performing time-lapse observation of cells is referred to as time-lapse image TP.
  • the time-lapse image TP includes a plurality of images in which cells are imaged.
  • the observation unit 22 is an example of a microscope that captures a time-lapse image TP.
  • the microscopic optical system of the observation unit 22 observes the cells of the culture vessel 19 by phase-contrast observation as an example. That is, the microscope optical system of the observation unit 22 is a phase-contrast microscope. Therefore, the time-lapse image TP obtained by the time-lapse observation of the present embodiment is a phase-difference image.
  • the time-lapse image TP is not limited to the phase difference image.
  • the time-lapse image TP may be, for example, a differential interference contrast image when the microscopic optical system of the observation unit 22 is a differential interference microscope, or a fluorescence image when the microscopic optical system of the observation unit 22 is a fluorescence microscope. You may.
  • the container transport device 23 is arranged in the center of the homeothermic chamber 15 when viewed from the front surface of the upper casing 12.
  • the container transfer device 23 transfers the culture container 19 between the stocker 21, the sample table 31 of the observation unit 22, and the transfer table 24.
  • the container transport device 23 includes a vertical robot 38 having an articulated arm, a rotary stage 39, a mini stage 36, and an arm portion 37.
  • the rotation stage 39 is attached to the tip of the vertical robot 38 so as to be rotatable 180 ° in the horizontal direction via the rotation shaft 35a. Therefore, in the rotary stage 39, the arm portion 37 can face the stocker 21, the sample table 31, and the transport table 24, respectively.
  • mini stage 36 is attached so as to be slidable in the horizontal direction with respect to the rotating stage 39.
  • An arm portion 37 for gripping the culture vessel 19 is attached to the mini stage 36.
  • control device 41 is connected to the temperature control device 15a, the humidity control device 15b, the observation unit 22, and the container transfer device 23, respectively.
  • the control device 41 includes a calculation unit (processor) 42 and a storage unit 43, and controls each unit of the incubator 11 in an integrated manner according to a predetermined program.
  • control device 41 controls the temperature control device 15a and the humidity control device 15b, respectively, to maintain the inside of the constant temperature room 15 under predetermined environmental conditions. Further, the control device 41 controls the observation unit 22 and the container transfer device 23 based on a predetermined observation schedule, and automatically executes the observation sequence of the culture container 19.
  • control device 41 causes the calculation unit 42 to perform image analysis of the time-lapse image TP imaged by the image pickup device 34.
  • image analysis performed by the calculation unit 42 for example, a scratch region formed in the cell culture region from the reference image PS of the time-lapse image TP is set as the reference region RS, and the cells of the cells in the set reference region are set. A process of calculating the area of the region from the time-lapse image TP is included.
  • the calculation unit 42 is an example of an image analysis device.
  • FIG. 4 is a diagram showing an example of a scratch region according to the present embodiment.
  • the image P1 is shown as an example of the image P included in the time-lapse image TP.
  • Image P1 shows the culture region R11 as the cell culture region.
  • the culture region R11 is composed of a culture region R11-1 and a culture region R11-2, and a scratch region R12 is formed between the culture region R11-1 and the culture region R11-2.
  • the scratch region is, for example, a cell-free region formed by scratching the cell culture region in the culture vessel 19 with a rod-shaped member or the like in a 100% confluent state.
  • the scratch region is the gap formed in the culture region.
  • the scratch region can also be said to be a wound pattern formed by scratching the culture region of cells.
  • the scratch region is formed by scratching the culture region of the cell by an observer (eg, a user) using, for example, a pipette tip.
  • the shape of the scratch region is not particularly limited, but in the present embodiment, as an example, the shape of the scratch region is a strip shape like the scratch region R12 shown in FIG.
  • the scratch area is gradually filled with cells over time as the cells migrate and proliferate. The fact that the scratch area is filled with cells is also called infiltration by cells.
  • the image pickup apparatus 34 takes an image so that the position of the scratch region becomes a common position in the time-lapse image TP.
  • the image pickup apparatus 34 aligns with, for example, a marker (alignment mark) of a well plate which is a culture container.
  • the image pickup apparatus 34 moves the sample table 31 in the horizontal direction by the control device 41 to correct the position.
  • the display unit 44 displays information including various images.
  • the display unit 44 displays the result of the image analysis process by the calculation unit 42.
  • the display unit 44 includes a display.
  • the operation unit 45 includes a touch panel, a mouse, a keyboard, and the like.
  • the operation unit 45 and the display unit 44 may be integrally configured.
  • the operation unit 45 and the display unit 44 may be configured as a touch panel provided on the upper casing 12 or the lower casing 13.
  • the observer sets the environmental conditions of the homeothermic chamber 15 by operating the operation unit 45.
  • FIG. 5 is a diagram showing an example of an observation operation in the incubator 11 of the present embodiment.
  • the figure shows an operation example of time-lapse observation of the culture vessel 19 carried into the homeothermic chamber 15 according to the registered observation schedule.
  • a scratch region is previously formed by the observer in the culture region of the cells of the well.
  • the method of observing and analyzing cells in the culture vessel 19 in which the scratch region is formed is also referred to as a scratch assay.
  • Step S101 The calculation unit 42 compares the observation schedule of the management data of the storage unit 43 with the current date and time, and determines whether or not the observation start time of the culture container 19 to be observed has arrived. When the observation start time is reached (step S101: YES), the calculation unit 42 shifts the process to S102. On the other hand, when it is not the observation time of the culture vessel 19 (step S101: NO), the calculation unit 42 waits until the time of the next observation schedule.
  • Step S102 The calculation unit 42 instructs the container transfer device 23 to transfer the culture container 19 to be observed corresponding to the observation schedule. Then, the container transfer device 23 carries out the instructed culture container 19 from the stocker 21 and places it on the sample table 31 of the observation unit 22. When the culture vessel 19 is placed on the sample table 31, a bird view camera (not shown) built in the stand arm 32 captures an overall observation image of the culture vessel 19.
  • Step S103 The calculation unit 42 instructs the observation unit 22 to take a microscopic image (eg, a phase difference image) of the cell.
  • the observation unit 22 lights the culture vessel 19 by turning on the LED light source 35, and drives the imaging device 34 to capture a microscope image of the cells in the culture vessel 19.
  • the imaging device 34 captures a microscope image based on the management data stored in the storage unit 43 and based on the imaging conditions (magnification of the objective lens, observation point in the container) specified by the observer. For example, when observing a plurality of points in the culture vessel 19, the observation unit 22 sequentially adjusts the position of the culture vessel 19 by driving the sample table 31, and images a microscope image at each point.
  • the microscope image data acquired in S103 is read into the control device 41 and recorded in the storage unit 43 under the control of the calculation unit 42.
  • Step S104 The calculation unit 42 instructs the container transfer device 23 to transfer the culture container 19 after the observation schedule is completed. Then, the container transport device 23 transports the instructed culture container 19 from the sample table 31 of the observation unit 22 to a predetermined storage position of the stocker 21. After that, the calculation unit 42 ends the observation sequence and returns the process to S101.
  • the time-series image data observed by the incubator 11 is stored in the storage unit 43 as a time-lapse image TP.
  • obtaining a time-lapse image TP is also referred to as time-lapse imaging.
  • FIG. 6 is a diagram showing an example of the functional configuration of the calculation unit 42 of the present embodiment.
  • the calculation unit 42 includes an image acquisition unit (acquisition unit) 420, an image processing unit 421, a reference image selection unit 422, a cell region determination unit 423, a scratch region extraction unit 424, an area setting unit 425, and a calculation unit. It includes a 426 and a display control unit (control unit) 427.
  • the calculation unit 42 is realized by a CPU (Central Processing Unit), and includes an image acquisition unit 420, an image processing unit 421, a reference image selection unit 422, a cell region determination unit 423, and a scratch region extraction unit 424.
  • the area setting unit 425, the calculation unit 426, and the display control unit 427 are realized by the CPU reading a program from a ROM (Read Only Memory) and executing processing.
  • the image acquisition unit 420 acquires the time-lapse image TP imaged by the image pickup apparatus 34.
  • the image acquisition unit 420 acquires the time-lapse image TP from the storage unit 43.
  • the image processing unit 421 executes various image processing (eg, noise removal processing, etc.) on the time-lapse image TP.
  • the reference image selection unit 422 selects a predetermined reference image PS from the time-lapse image TP, and stores the reference image PS in the storage unit 43.
  • the reference image PS is an image used for setting a scratch region among the images P included in the time-lapse image TP.
  • the selection of the reference image PS may be automatically selected by the reference image selection unit 422 or may be selected by the observer, as will be described later.
  • the cell region determination unit 423 determines the cell region of the cell in the image P included in the time-lapse image TP.
  • the cell region is a region in which cells are imaged in the image P included in the time-lapse image TP.
  • the cell region includes an image of a cell group consisting of a plurality of cells or an image of a single cell.
  • the scratch region extraction unit 424 extracts the scratch region from the reference image PS.
  • the area setting unit 425 sets the scratch area as the reference area RS from the reference image PS, and stores the reference area RS in the storage unit 43.
  • the reference region RS is a region that serves as a reference for calculating the area of the cell region in the scratch region.
  • the calculation unit 426 calculates the area of the cell region of the cell in the reference region RS from the time-lapse image TP, respectively. Then, the calculation unit 426 stores the area (analysis information) of the cell region of the cell in the calculated reference region RS in the storage unit 43 in association with each image of the time-lapse image TP used for the calculation.
  • the display control unit 427 controls the screen display of the display unit 44.
  • the display control unit 427 outputs the time-series change in the area of the cell region calculated by the calculation unit 426 to the display unit 44 as analysis information (analysis data) and displays it.
  • FIG. 7 is a diagram showing an example of image analysis processing according to the present embodiment.
  • the image analysis process shown in FIG. 7 is executed after the observation operation is executed by the incubator 11 according to the observation schedule as described in FIG. 5 (eg, after the observation operation is completed, during the observation operation, etc.).
  • the observation operation is executed by the incubator 11 according to the observation schedule as described in FIG. 5 (eg, after the observation operation is completed, during the observation operation, etc.).
  • Step S200 The image acquisition unit 420 acquires a time-lapse image TP of the culture vessel 19 including the scratch region imaged by the image pickup device 34.
  • the image acquisition unit 420 acquires the time-lapse image TP from the storage unit 43.
  • the image acquisition unit 420 supplies the acquired time-lapse image TP to the reference image selection unit 422.
  • the time-lapse image TP acquired by the image acquisition unit 420 is, for example, a plurality of images captured for each observation time indicated by the observation schedule.
  • the image acquisition unit 420 acquires the time-lapse image TP all at once after the observation is completed.
  • the image acquisition unit 420 may acquire the captured image as a time-lapse image TP each time the cell image is captured during the observation time indicated by the observation schedule. Further, the image acquisition unit 420 may directly acquire the time-lapse image TP from the image pickup device 34 instead of the storage unit 43.
  • Step S202 The image processing unit 421 executes a filtering process on the time-lapse image TP acquired by the image acquisition unit 420.
  • the image processing unit 421 blurs the time-lapse image TP by filtering processing to reduce the amount of local luminance change included in the time-lapse image TP.
  • the image processing unit 421 executes the filtering process using the average value filter as an example.
  • the average value filter the average value of the brightness value of the pixel to be processed and the brightness value of the pixels in the vicinity thereof is set as the brightness value of the pixel to be processed.
  • the pixels to be processed are all the pixels included in the image.
  • Step S204 The image processing unit 421 generates a difference image.
  • the image processing unit 421 determines the absolute value of the difference between the pixel values of the image P included in the time-lapse image TP acquired by the image acquisition unit 420 and the image obtained by executing the filtering process on this image for each pixel. Calculated as the pixel value of the difference image.
  • Step S206 The image processing unit 421 executes the threshold processing.
  • the image processing unit 421 executes the threshold value processing by the binarization process as an example of the threshold value. For each pixel of the generated difference image, the image processing unit 421 associates one of the two values with a pixel having a pixel value equal to or higher than a predetermined threshold, and has a binary value with respect to a pixel having a pixel value equal to or lower than a predetermined threshold. An image corresponding to the other value is generated.
  • the image subjected to the image processing described in step S202, step S204, and step 206 is referred to as a time-lapse image TP again.
  • Step S208 The cell region determination unit 423 determines the cell region in the image P included in the time-lapse image TP.
  • the cell region determination unit 423 determines the cell region using morphology treatment as an example.
  • the cell region determination unit 423 determines the cell region by smoothing the boundary of pixels having a predetermined threshold value or more on which the threshold value processing of step S207 is executed. Determining the cell region in the image P is also referred to as extracting the cell region in the image P.
  • the method of determining the cell region by the image processing unit 421 and the cell region determination unit 423 is not limited to the example shown.
  • the image processing unit 421 and the cell region determination unit 423 may determine the cell region by using machine learning, pattern matching, or the like.
  • the cell region determination unit 423 supplies the cell region information indicating the determined cell region to the scratch region extraction unit 424 and the calculation unit 426.
  • Step S210 The scratch region extraction unit 424 executes an inversion process on the cell region in the reference image PS obtained by the cell region determination unit 423. In the inversion process, the scratch region extraction unit 424 inverts the binarized luminance value for each pixel of the reference image PS.
  • the reference image PS is automatically selected from the time-lapse image TP by the reference image selection unit 422.
  • the reference image selection unit 422 selects the image having the earliest imaging time from the time-lapse image TP.
  • the scratch region is formed from the image P after the scratch region is formed from the time-lapse image TP, or from the time-lapse image TP, and cells migrate to the scratch region. Select the image P in the unfinished state.
  • the reference image selection unit 422 supplies the reference image information, which is information indicating the selected reference image PS, to the scratch region extraction unit 424.
  • the scratch region extraction unit 424 uses the image P indicated by the reference image information supplied from the reference image selection unit 422 among the images P included in the time-lapse image TP as the reference image PS.
  • Step S212 The scratch area extraction unit 424 sets the result of step S210 as the scratch area.
  • the scratch region extraction unit 424 is a cell region supplied from the cell region determination unit 423 of the entire region included in the reference image PS based on the brightness value obtained by reversing the image from which the cell region is extracted by the inversion process. Regions other than the cell region indicated by the information are extracted as scratch regions. That is, the scratch region extraction unit 424 recognizes the scratch region by inverting the cell region extracted based on the brightness value of the reference image PS.
  • the scratch area extraction unit 424 supplies scratch area information, which is information indicating the extracted scratch area, to the area setting unit 425.
  • Step S214 The area setting unit 425 sets the scratch area obtained by the scratch area extraction unit 424 as the reference area RS extracted from the reference image PS.
  • Setting the reference region RS means that in an image having a cell region and a scratch region as respective pixels (eg, time-lapse image TP), the region of the pixel value of the scratch region in the reference image PS is set as the reference region RS.
  • the area setting unit 425 since the reference image PS is the image having the earliest imaging time among the images P included in the time-lapse image TP, the area setting unit 425 has the earliest imaging time among the images P included in the time-lapse image TP.
  • the scratch region extracted from the early image is designated as the reference region RS.
  • the region setting unit 425 supplies the cell region obtained from the reference region RS and the time-lapse image TP to the calculation unit 426.
  • the region setting unit 425 sets the scratch region formed in the cell culture region from the reference image PS of the time-lapse image TP as the reference region RS.
  • the area setting unit 425 sets the scratch area extracted by the scratch area extraction unit 424 as the reference area RS.
  • Step S216 The calculation unit 426 determines the cell region included in the reference region RS for each cell region in the image P included in the time-lapse image TP.
  • the calculation unit 426 makes a determination based on the reference region RS supplied from the region setting unit 425 and the cell region indicated by the cell region information supplied from the cell region determination unit 423.
  • the calculation unit 426 determines the reference region RS and the region common to the cell region as the cell region included in the reference region RS.
  • the cell region determined to be included in the reference region RS corresponds to the cells infiltrating the scratch region by cell migration.
  • FIG. 8 is a diagram showing an example of a scratch region infiltrated by cells according to the present embodiment.
  • Images P1-1 to P1-5 are images extracted from time-lapse images of mesenchymal stem cells (MSCs) taken every hour for two days. Images P1-1 to P1-5 are arranged in the order of imaging time from left to right.
  • MSCs mesenchymal stem cells
  • Image P1-1 is an image taken immediately after the scratch region is formed (eg, within a few minutes from the start of culture) at the earliest imaging time, and the scratch region is not infiltrated by cells. As time elapses from image P1-2 to image P1-5, cells migrate to the scratch region, and the area infiltrated by the scratch region (in this case, the area of the cell region in the scratch region) is increasing. I understand.
  • the calculation unit 426 may determine the cell region included in the reference region RS, including the cell region that is the "exilave” in the scratch region.
  • the cell region that is the "exilave” is a cell region included in the scratch region and is not in contact with the cell region that is not included in the scratch region.
  • the cell region that is the "exilave” is a region that is included in the scratch region and is not connected to the cell region that is not included in the scratch region. That is, the calculation unit 426 determines the cell region included in the reference region RS, including the cell region included in the scratch region and not connected to the cell region not included in the scratch region. Good.
  • Step S218 The calculation unit 426 calculates the area of the cell region in the reference region RS from the time-lapse image TP.
  • the calculation unit 426 calculates the area of the cell region in the reference region RS by measuring the number of pixels of the cell region included in the reference region RS determined in step S216.
  • the calculation unit 426 supplies the area of the cell region in the calculated reference region RS to the display control unit 427.
  • the cell region in the reference region RS is determined by the calculation unit 426 as a region commonly included in the reference region RS and the cell region indicated by the cell region information in the reference region RS. That is, the cell region in the reference region RS is determined based on the predetermined cell region in the image P. Therefore, the calculation unit 426 calculates the area of the cell region in the reference region RS based on the cell region in the image P included in the time-lapse image TP.
  • Step S220 The display control unit 427 outputs the time-series change of the area of the cell region in the reference region RS calculated by the calculation unit 426 to the display unit 44 as analysis information and displays it. With the above, the calculation unit 42 ends the image analysis process.
  • FIG. 9 is a diagram showing an example of time-series changes in the area of the cell region within the reference region RS according to the present embodiment.
  • the area of the cell region in the reference region RS is plotted with respect to the imaging time. From the graph shown in FIG. 9, it can be seen that the area of the cell region in the reference region RS tends to increase with the passage of the imaging time.
  • Time-series changes in the area of the cell region within the reference region RS are used, for example, in the quantitative evaluation of cell migration.
  • the display control unit 427 has pixels corresponding to the cell region in the reference region RS in the image P as shown in FIG.
  • the image P included in the time-lapse image TP may be displayed on the display unit 44 by setting a predetermined color to.
  • the predetermined color is preferably a color that is easily visually distinguishable from pixels in which a predetermined color is not set, such as green or yellowish green.
  • the calculation unit 426 describes the time-lapse image TP and the image P included in the time-lapse image TP.
  • Information indicating the cell region in the reference region RS is supplied to the display control unit 427.
  • the present invention is not limited to this.
  • the cell region may be directly determined in the reference region RS without determining the cell region in advance in the image P.
  • the cell region determination unit 423 determines the cell region in the reference region RS. That is, the cell region determination unit may determine the cell region based on the scratch region extracted by the scratch region extraction unit 424.
  • the present invention is not limited to this.
  • the area of the cell region within the reference region RS may be calculated based on the scratch region.
  • the scratch region extraction unit 424 extracts the scratch region for each image P included in the time-lapse image TP.
  • the scratch region is extracted by, for example, image recognition by machine learning.
  • the calculation unit 426 is an image captured at a certain imaging time based on the difference between the area of the scratch region extracted from the image P captured at a certain imaging time and the area of the scratch region extracted from the reference image PS. For P, the area of the cell region in the reference region RS is calculated.
  • the scratch area extraction unit 424 extracts the scratch area from the reference image PS, and the area setting unit 425 sets the scratch area extracted by the scratch area extraction unit 424 as the reference area RS. I explained, but it is not limited to this.
  • the scratch area may be specified by the observer.
  • the calculation unit 42 includes, for example, an operation information acquisition unit.
  • This operation information acquisition unit acquires operation information indicating a scratch area designated by the observer in the reference image PS.
  • the observer designates the scratch area via the operation unit 45.
  • the observer designates a scratch area by drawing a line on the reference image PS displayed on the display unit 44 using a mouse, a touch pen, or the like.
  • the observer may specify the scratch area by inputting a plurality of coordinates for designating a shape such as a polygon from the operation unit 45 in the reference image PS displayed on the display unit 44.
  • the area setting unit 425 sets the scratch area indicated by the operation information received by the operation information acquisition unit as the reference area RS.
  • the present invention is not limited to this.
  • an image other than the image having the earliest imaging time may be selected as long as it is an image captured at a time when cells are not migrating in the scratch region after the scratch region is formed.
  • the reference image selection unit 422 may select, as the reference image PS, an image having the second or third imaging time as long as the cells are not migrating in the scratch region.
  • the image analysis device includes an area setting unit 425 and a calculation unit 426.
  • the region setting unit 425 sets the scratch region formed in the cell culture region from the reference image PS of the time-lapse image TP as the reference region RS.
  • the calculation unit 426 calculates the area of the cell region of the cell in the reference region RS from the time-lapse image TP, respectively.
  • the image analyzer can calculate the time-series change (eg, increase / decrease) in the area of the cell region in the scratch region infiltrated by the cells, so that the migration ability of the cells is quantitatively evaluated. it can.
  • the image analysis device includes a control unit (display control unit 427 in the present embodiment).
  • the control unit displays the time-series change in the area of the cell region of the cell in the reference region RS calculated by the calculation unit 426 to the display device (display unit 44 in the present embodiment). Display it.
  • the image analysis apparatus can display the time-series changes in the area of the cell region in the scratch region, so that the migration ability of the cells can be visualized.
  • the calculation unit 426 calculates the area of the cell region occupied in the reference region RS based on the cell region in the image P included in the time-lapse image TP.
  • the area of the cell region in the scratch region can be calculated based on the cell region, so that the area of the cell region in the scratch region is calculated based on the scratch region, as compared with the case where the area of the cell region in the scratch region is calculated.
  • the migration ability of cells can be quantitatively evaluated by a simple analysis.
  • the scratch region is determined, for example, based on machine learning.
  • the analysis is simpler than the case where the scratch region is extracted by using machine learning.
  • the image analysis apparatus includes a cell region determination unit 423.
  • the cell region determination unit 423 determines the cell region of the cell in the image P included in the time-lapse image TP.
  • the image analysis apparatus can determine the cell region of the cell in the image P included in the time-lapse image TP. Therefore, in addition to the analysis for quantitatively evaluating the migration ability of the cell, various types of cells are used. Can perform analysis.
  • various analyzes of cells include, for example, cell tracking, analysis of the degree of cell maturation based on cell density, and analysis based on features extracted from cell images.
  • the image analysis apparatus includes a scratch region extraction unit 424.
  • the scratch region extraction unit 424 extracts a scratch region from the reference image PS based on the brightness value of the reference image PS.
  • the area setting unit 425 sets the scratch area extracted by the scratch area extraction unit 424 as the reference area RS.
  • the scratch region extracted from the reference image is set as the reference region RS, so that the user can save the trouble of designating the reference region.
  • the image analysis device may include an operation information acquisition unit.
  • the operation information acquisition unit acquires operation information indicating a scratch area designated by the user (observer in the present embodiment) in the reference image PS.
  • the area setting unit 425 sets the scratch area indicated by the operation information received by the operation information acquisition unit as the reference area RS.
  • the image analysis apparatus includes a reference image selection unit 422.
  • the reference image selection unit 422 selects the reference image PS from the time-lapse image TP.
  • the reference image PS can be selected from the time-lapse image TP, so that the user can save the trouble of selecting the reference image PS.
  • the cell culture observation device incubator 11 in the present embodiment, the above-mentioned image analysis device, the culture device (constant greenhouse 15 in the present embodiment), and the microscope (observation unit 22 in the present embodiment) ) And.
  • the culture device in constant chamber 15 in this embodiment cultivates the cells stored in the culture container.
  • the microscope observation unit 22 in this embodiment captures a time-lapse image TP.
  • the cell culture observation device incubator 11 in the present embodiment) according to the present embodiment can calculate the time-series change in the area of the scratch region infiltrated by the cells, so that the migration ability of the cells can be quantitatively measured. Can be evaluated.
  • the second embodiment will be described in detail with reference to the drawings.
  • the first embodiment the case where the image analysis apparatus calculates the area of the cell region in the scratch region in the time-lapse image has been described.
  • the image analysis apparatus calculates the ratio of the area of the cell region to the scratch region in the time-lapse image.
  • the ratio of the area of the cell region in the scratch region is also referred to as the scratch region closure rate.
  • the calculation unit according to this embodiment is referred to as a calculation unit 42a.
  • the image analysis device in this embodiment is a device including a calculation unit 42a.
  • FIG. 10 is a diagram showing an example of the functional configuration of the calculation unit 42a of the present embodiment.
  • the calculation unit 42a displays an image acquisition unit 420, an image processing unit 421, a reference image selection unit 422, a cell area determination unit 423, a scratch area extraction unit 424, an area setting unit 425, and a calculation unit 426. It includes a control unit 427, a reference area area calculation unit 428a, and an area ratio calculation unit 429a. Comparing the calculation unit 42a (FIG. 10) according to the present embodiment and the calculation unit 42 (FIG. 6) according to the first embodiment, the reference area area calculation unit 428a and the area ratio calculation unit 429a are different.
  • image acquisition unit 420 image processing unit 421, reference image selection unit 422, cell region determination unit 423, scratch region extraction unit 424, region setting unit 425, calculation unit 426, and display control unit 427.
  • image acquisition unit 420 image processing unit 421, reference image selection unit 422, cell region determination unit 423, scratch region extraction unit 424, region setting unit 425, calculation unit 426, and display control unit 427.
  • image acquisition unit 420 image processing unit 421, reference image selection unit 422, cell region determination unit 423, scratch region extraction unit 424, region setting unit 425, calculation unit 426, and display control unit 427.
  • image acquisition unit 420 image processing unit 421, reference image selection unit 422, cell region determination unit 423, scratch region extraction unit 424, region setting unit 425, calculation unit 426, and display control unit 427.
  • the reference area area calculation unit 428a calculates the area of the reference area RS.
  • the area ratio calculation unit 429a calculates the ratio of the area of the cell region to the reference region RS based on the area of the reference region RS and the area of the cell region in the reference region RS. That is, the area ratio calculation unit 429a calculates the scratch region closure rate.
  • FIG. 11 is a diagram showing an example of image analysis processing according to the present embodiment.
  • the processes of step S300, step S302, step S304, step S306, step S308, step S310, step S312, step S314, step S316, and step S318 are the steps S200, step S202, step S204, and step in FIG. Since it is the same as each process of S206, step S208, step S210, step S212, step S214, step S216, and step S218, the description thereof will be omitted.
  • Step S320 The reference area area calculation unit 428a calculates the area of the reference area RS based on the reference image PS. Since the reference image PS is, for example, the image P having the earliest imaging time among the time-lapse image TPs, in other words, the reference region area calculation unit 428a has a scratch region in the image P having the earliest imaging time among the time-lapse images TPs. Calculate the area of.
  • the reference area area calculation unit 428a calculates the area of the reference area RS by measuring the number of pixels of the reference area RS in the reference image PS. As an example, the reference area area calculation unit 428a calculates the area of the scratch area in the reference image PS based on the scratch area extracted by the scratch area extraction unit 424. The reference region area calculation unit 428a may calculate the area of the reference region RS with a region other than the determined cell region as a scratch region based on the cell region determined by the cell region determination unit 423. The reference area area calculation unit 428a supplies the calculated area of the reference area RS to the area ratio calculation unit 429a.
  • FIG. 12 is a diagram showing an example of the area of the scratch region according to the present embodiment.
  • the image P2 is shown as an example of the image P included in the time-lapse image TP.
  • the image P2 is an image taken after a predetermined time has elapsed since the scratch region was formed.
  • Image P2 shows the culture region R21 as the cell culture region.
  • the culture region R21 is composed of a culture region R21-1 and a culture region R21-2, and a scratch region R22 is formed between the culture region R21-1 and the culture region R21-2.
  • the shape of the scratch region R22 is deformed from the band-shaped shape by infiltrating the scratch region by the cells of the left and right cell regions.
  • Step S322 The area ratio calculation unit 429a occupies the reference region RS based on the area of the reference region RS calculated by the reference region area calculation unit 428a and the area of the cell region in the reference region RS calculated by the calculation unit 426. Calculate the percentage of the area of the cell region.
  • the area ratio calculation unit 429a calculates the ratio of the area of the cell region to the reference region RS for each image P included in the time-lapse image TP.
  • the area of the cell region is supplied from the calculation unit 426 to the area ratio calculation unit 429a for each image P included in the time-lapse image TP.
  • the area ratio calculation unit 429a supplies the calculated area ratio to the display control unit 427 as analysis information.
  • Step S324 The display control unit 427 outputs and displays the time-series change of the ratio of the area of the cell region to the reference region RS calculated by the area ratio calculation unit 429a to the display unit 44 as analysis information.
  • the calculation unit 42 ends the image analysis process.
  • FIG. 13 is a diagram showing an example of a time-series change in the ratio of the area of the cell region in the reference region RS according to the present embodiment.
  • the ratio of the area of the cell region in the reference region RS is plotted with respect to the imaging time. From the graph shown in FIG. 13, it can be seen that the proportion of the area of the cell region in the reference region RS tends to increase with the passage of the imaging time. Time-series changes in the proportion of the area of the cell region within the reference region RS are used, for example, in the quantitative evaluation of cell migration.
  • the image analysis device includes a reference area area calculation unit 428a and an area ratio calculation unit 429a.
  • the reference area area calculation unit 428a calculates the area of the reference area RS.
  • the area ratio calculation unit 429a calculates the ratio of the area of the cell region to the reference region RS based on the area of the reference region RS calculated by the reference region area calculation unit 428a and the area of the cell region calculated by the calculation unit 426. calculate.
  • the image analysis apparatus can calculate the scratch region closure rate, so that the migration ability of cells can be quantitatively evaluated based on the scratch region closure rate.
  • the third embodiment will be described in detail with reference to the drawings.
  • the calculation unit according to this embodiment is referred to as a calculation unit 42b.
  • the image analysis device in this embodiment is a device including a calculation unit 42b.
  • FIG. 14 is a diagram showing an example of the functional configuration of the calculation unit 42b of the present embodiment.
  • the calculation unit 42b displays an image acquisition unit 420, an image processing unit 421, a reference image selection unit 422, a cell region determination unit 423, a scratch area extraction unit 424, an area setting unit 425, and a calculation unit 426. It includes a control unit 427, a reference area area calculation unit 428a, an area ratio calculation unit 429a, and a migratory ability evaluation unit 430b. Comparing the calculation unit 42b (FIG. 14) according to the present embodiment and the calculation unit 42a (FIG. 10) according to the second embodiment, the migration ability evaluation unit 430b is different.
  • image acquisition unit 420 image processing unit 421, reference image selection unit 422, cell area determination unit 423, scratch area extraction unit 424, area setting unit 425, calculation unit 426, display control unit 427,
  • the functions of the reference area area calculation unit 428a and the area ratio calculation unit 429a are the same as those of the first embodiment and the second embodiment.
  • the description of the same functions as those of the first embodiment and the second embodiment will be omitted, and in the third embodiment, the parts different from those of the first embodiment and the second embodiment will be mainly described.
  • the migration ability evaluation unit 430b evaluates the migration ability of cells based on the time-series change of the area of the cell region in the reference region RS and / or the time-series change of the area ratio.
  • FIG. 15 is a diagram showing an example of the migration ability evaluation process according to the present embodiment.
  • the processes of step S400, step S402, step S404, step S406, step S408, step S410, step S412, step S414, step S416, step S418, step S420, and step S422 are the processes of step S300 and step S302 in FIG. , Step S304, Step S306, Step S308, Step S310, Step S312, Step S314, Step S316, Step S318, Step S320, and Step S322.
  • Step S424 The migration ability evaluation unit 430b is a time-series change in the area of the cell region in the reference region RS calculated by the calculation unit 426 and / or a time-series of the area ratio calculated by the area ratio calculation unit 429a. Evaluate cell migration based on changes.
  • the migratory ability evaluation unit 430b supplies the evaluation result of the migratory ability to the display control unit 427 as analysis information.
  • the migration ability evaluation unit 430b is, for example, based on a time-series change in the area of the cell region in the reference region RS, from the start of imaging of the time-lapse image TP to a predetermined time, the area of the cell region in the reference region RS.
  • the migratory ability is determined based on whether or not is equal to or greater than a predetermined threshold value.
  • the migration ability evaluation unit 430b determines that the area of the cell region in the reference region RS is equal to or larger than a predetermined threshold value by a predetermined time, it determines that the migration ability is high.
  • it is determined that the area of the cell region in the reference region RS is less than the predetermined threshold value by a predetermined time it is determined that the migration ability is low.
  • the migration ability evaluation unit 430b is based on the time-series change of the ratio of the area of the cell region in the reference region RS, and the area of the cell region in the reference region RS from the start of imaging of the time-lapse image TP to a predetermined time.
  • the migratory ability may be determined based on whether or not the ratio of
  • the migration ability evaluation unit 430b determines that the ratio of the area of the cell region in the reference region RS is equal to or greater than the predetermined threshold value by a predetermined time, it determines that the migration ability is high.
  • it is determined that the ratio of the area of the cell region in the reference region RS is less than the predetermined threshold value by a predetermined time it is determined that the migration ability is low.
  • the migration ability evaluation unit 430b when different types of cells are cultured under the same conditions and the area of the cell region in the reference region RS and / or the ratio of the area is based on the time-lapse image TP imaged by time-lapse imaging.
  • the migration ability of different types of cells may be evaluated by comparing changes in the lineage between different types of cells.
  • different types of cells are cultured in different wells, for example, in a well plate which is a culture vessel.
  • the same condition is, for example, to make the width of the band-shaped scratch region formed in the culture region the same.
  • the migration ability evaluation unit 430b determines, for example, that cells showing a scratch region closure rate of a predetermined ratio or more after a predetermined time have high migration ability.
  • the predetermined time is, for example, 24 hours.
  • the type of cell is, for example, a type due to a difference in origin or a difference in the number of passages.
  • Examples of cell types depending on the origin include adipose-derived MSCs and bone marrow-derived MSCs.
  • the types of cells due to differences in origin include, for example, types due to lot differences depending on the donor. The better the culture state of the cells, the higher the migration ability, so that the scratch region is infiltrated at a higher rate. That is, it is considered that the larger the time-series change in the scratch region closure rate, the better the culture state.
  • the migration ability evaluation unit 430b determines whether or not the culture state is good, whether or not the cells are young cells, etc., based on the evaluation results of the migration ability, and adds those determination results to the evaluation results of the migration ability. It may be supplied to the display control unit 427 including the display control unit 427.
  • Step S426 The display control unit 427 outputs the evaluation result of the migration ability evaluated by the migration ability evaluation unit 430b to the display unit 44 as analysis information and displays it.
  • the display control unit 427 causes the display unit 44 to display, for example, the evaluation result of the migratory ability as text.
  • This text may be, for example, "migratory ability: high" when the evaluation result indicates that the migratory ability is high.
  • the calculation unit 42 ends the migration ability evaluation process.
  • the image analysis device includes the evaluation unit (the migration ability evaluation unit 430b in the present embodiment).
  • the evaluation unit evaluates the migration ability of the cell based on the time-series change in the area of the cell region calculated by the calculation unit 426.
  • the migration ability of cells can be evaluated based on the time-series change in the area of the cell region in the scratch region, so that the migration ability of cells is quantitatively evaluated. Can be done.
  • the calculation unit according to this embodiment is referred to as a calculation unit 42c.
  • the image analysis device in this embodiment is a device including a calculation unit 42c.
  • the functions of the display control unit 427 are different from those of the above.
  • image acquisition unit 420 image processing unit 421, reference image selection unit 422, cell area determination unit 423, scratch area extraction unit 424, area setting unit 425, calculation unit 426, display control unit 427, reference
  • the functions of the area area calculation unit 428a, the area ratio calculation unit 429a, and the migratory ability evaluation unit 430b) are the same as those of the first embodiment, the second embodiment, and the third embodiment.
  • the description of the functional configuration of the calculation unit 42c is omitted, and in the fourth embodiment, the GUI screen displayed on the display unit 44 by the display control unit 427 will be mainly described.
  • FIG. 16 is a diagram showing an example of the screen D1 of the GUI according to the present embodiment.
  • the display control unit 427 displays the screen D1 based on the area of the cell region in the reference region RS.
  • the screen D1 includes a screen D11, a screen D12, a text D13, a text D14, a display window D15, and a text D16 as a plurality of display fields.
  • the reference image PS is displayed on the screen D11.
  • the reference image PS is the image having the earliest imaging time among the images P included in the time-lapse image TP, and the scratch region is not infiltrated by the cells.
  • the text D13 indicates time information of the elapsed time or the imaging time of the reference image PS displayed on the screen D11.
  • the display control unit 427 causes the screen D12 to immediately display the image captured by the time-lapse imaging.
  • the display control unit 427 indicates the cell region in the reference region RS in the image P and displays the image P. For example, the display control unit 427 sets a predetermined color to the pixels corresponding to the cell region in the reference region RS in the image P to indicate the cell region.
  • the display control unit 427 updates the image P displayed on the screen D12 every time a time-lapse image is taken and a new image P is taken.
  • the text D14 indicates time information of the elapsed time or the imaging time of the image P displayed on the screen D12.
  • the display window D15 shows the value of the area of the cell region in the reference region RS in the image P displayed on the screen D12.
  • the text D16 indicates the title of the screen D1.
  • the screen D1 is displayed based on the area of the cell region in the reference region RS, the text D16 is displayed as "image of area”.
  • the display control unit 427 may display the screen D1 based on the ratio of the area of the cell region in the reference region RS.
  • the display control unit 427 displays the image P by indicating a region other than the cell region in the reference region RS in the image P.
  • the display control unit 427 sets a predetermined color for the pixels corresponding to the region other than the cell region in the reference region RS in the image P and displays the image P.
  • the display window D15 indicates the ratio of the area of the cell region in the reference region RS in the image P displayed on the screen D12 (that is, the scratch region closure rate).
  • the display control unit 427 may display the screen D1 based on both the area of the cell region in the reference region RS and the ratio of the area of the cell region in the reference region RS. In this case, the display control unit 427 displays on the screen D12 both an image in which the cell region in the reference region RS is shown in the image P and an image in which the region other than the cell region in the reference region RS is shown in the image P. Display side by side.
  • the types of images displayed on the screen D12 by the display control unit 427 are from an image in which the cell region in the reference region RS is shown in the image P and an image in which the region other than the cell region in the reference region RS is shown in the image P. It may be selected by the user.
  • FIG. 17 is a diagram showing an example of the GUI screen D2 according to the present embodiment.
  • the display control unit 427 displays the screen D2 based on the area of the cell region in the reference region RS.
  • the screen D2 includes a screen D21, a screen D22, a screen D23, a bar D24, a bar D25, and a button D26 as a plurality of display fields.
  • a graph showing the time-series change of the area of the cell region in the reference region RS is displayed.
  • the graph displayed on the screen D21 is, for example, a graph as shown in FIG.
  • the time-lapse image TP is displayed as a moving image on the screen D22.
  • the image P included in the time-lapse image TP is displayed as an image showing the cell region in the reference region RS.
  • the display control unit 427 selects an image to be displayed on the screen D22 from the image P included in the time-lapse image TP based on the time parameter.
  • the time parameter is associated with the imaging time of the time-lapse image TP.
  • the value of the time parameter increases with time according to the playback speed when the playback of the moving image is started.
  • the bar D24 is superimposed on the graph displayed on the screen D21.
  • the bar D24 is displayed on the graph at a position corresponding to the imaging time indicated by the time parameter.
  • the bar D24 is a line segment parallel to the vertical axis of the graph displayed on the screen D21, and the midpoint of the line segment is displayed so as to be on the graph.
  • the images P included in the time-lapse image TP are displayed side by side in the order of the imaging time from left to right.
  • the image P included in the time-lapse image TP displayed on the screen D23 is displayed as an image showing the cell region in the reference region RS.
  • Bars D25 are superimposed on the screen D23.
  • the bar D25 is superimposed and displayed on the image P corresponding to the imaging time indicated by the time parameter.
  • the value of the time parameter is changed to the imaging time according to the selected part. Further, when the user selects the images P displayed side by side on the screen D23, the value of the time parameter is changed to the imaging time of the selected image P.
  • the user may move the bar D24 on the graph displayed on the screen D21 by the mouse or the touch panel.
  • the user may also move the bar D25 on the time-lapse image TP displayed on the screen D23.
  • the image displayed on the screen D22 among the images P included in the time-lapse image TP is changed immediately.
  • the position on the graph displayed on the screen D21 of the bar D24 and the position on the time-lapse image TP displayed on the screen D23 of the bar D25 are immediately changed.
  • Button D26 is a button for performing operations of playback and reverse playback of the moving image of the time-lapse image TP displayed on the screen D22.
  • the display control unit 427 may display the screen D2 based on the ratio of the area of the cell region in the reference region RS instead of the area of the cell region in the reference region RS.
  • the screen D21 displays a graph showing the time-series change of the ratio of the area of the cell region in the reference region RS.
  • the graph displayed on the screen D21 is, for example, a graph as shown in FIG.
  • the image P included in the time-lapse image TP is displayed as a moving image on the screen D22 by showing a region other than the cell region in the reference region RS.
  • the images P included in the time-lapse image TP are displayed side by side showing the regions other than the cell region in the reference region RS.
  • FIG. 18 is a diagram showing an example of the GUI screen D3 according to the present embodiment.
  • the display control unit 427 displays the screen D3 based on the area of the cell region in the reference region RS and the ratio of the area.
  • the screen D3 includes a screen D31, a screen D32, a bar D33, a bar D34, and a button D35 as a plurality of display fields.
  • a graph showing the time-series change of the area of the cell region in the reference region RS is displayed.
  • the graph displayed on the screen D31 is, for example, a graph as shown in FIG.
  • a graph showing the time-series change of the ratio of the area of the cell region in the reference region RS is displayed.
  • the graph displayed on the screen D32 is, for example, a graph as shown in FIG.
  • the screen D32 may display a graph showing the time-series change of the scratch region closure rate instead of the time-series change of the ratio of the area of the cell region in the reference region RS.
  • the image analysis device (calculation unit 42c in the present embodiment) includes a control unit (display control unit 427 in the present embodiment).
  • the control unit changes the time series of the area of the cell region in the reference region RS in the image P calculated by the calculation unit 426, or the image P calculated by the area ratio calculation unit 429a.
  • the time-series change in the ratio of the area of the cell region in the reference region RS is displayed on the display device (display unit 44 in the present embodiment).
  • the image analysis apparatus according to the present embodiment can display the time-series changes in the area of the cell region in the scratch region, so that the migration ability of the cells can be visualized.
  • the image analysis device is realized as a calculation unit 42, a calculation unit 42a, a calculation unit 42b, or a calculation unit 42c of the control device 41 provided in the incubator 11 .
  • the image analysis device may be separate from the incubator 11.
  • the image analysis device acquires the time-lapse image TP from the external device and analyzes it.
  • the image analysis device When the image analysis device acquires the time-lapse image TP from an external device and analyzes it, the image analysis device is, for example, a cloud computing server that analyzes the time-lapse image TP.
  • the external device is, for example, a terminal device.
  • an information processing system including an image analysis device and an external device is provided.
  • the user activates a web browser on the terminal device (user's terminal) and operates the GUI on the web browser to obtain the time-lapse image TP via the Internet and the identification information (identification number of the user or the terminal, etc.).
  • the image analysis device which is a server.
  • the image analysis apparatus executes the image analysis processing and the migration ability evaluation processing of each of the above-described embodiments based on the uploaded time-lapse image TP.
  • the image analysis device outputs the analysis results (the above-mentioned analysis information) of the image analysis processing and the migration ability evaluation processing to the terminal device together with the identification information (identification number of the user or the terminal, etc.).
  • the terminal device displays the analysis result (above analysis information) output and received from the image analysis device, which is a server, on a display (eg, display unit 44).
  • the terminal device may display the analysis result under the control of the display control unit 427 of the image analysis device, or the terminal device includes a display control unit having the same function as the display control unit 427, and the display control unit is provided.
  • the analysis result may be displayed by.
  • the terminal device displays the analysis result using the screen D1, screen D2, or screen D3 of the fourth embodiment described above.
  • an information processing system that outputs analysis information to a user's terminal by cloud computing is provided with the above-mentioned image analysis device as a server, and the server is an acquisition unit (image) that acquires a time-lapse image TP of cells via a network.
  • the acquisition unit 420), the area setting unit 425 that sets the scratch region formed in the cell culture region from the reference image PS of the time-lapse image TP as the reference region RS, and the area of the cell region of the cell in the reference region RS.
  • a calculation unit 426 that calculates from the time-lapse image TP and generates the above analysis information displayed on the web browser on the user's terminal based on the calculated area, and a control unit that outputs the analysis information to the user's terminal (eg). , Display control unit 427).
  • the server eg, the image analysis device
  • the image analysis apparatus extracts a scratch region, which is a region without cells, from a reference image selected from a plurality of images obtained by capturing cells in time series, and a reference region corresponding to the scratch region in the plurality of images.
  • a region setting unit for setting, a calculation unit for calculating the ratio of the area of the cell region in the reference region and / or the area of the cell region to the reference region from a plurality of images, and the calculated area of the cell region and / or It includes a control unit that displays a time-series change in the ratio of the area of the cell region on the display device.
  • the image analysis device includes a storage unit that stores a program executed by the image analysis device, and a control unit that controls the operation of the image analysis device by executing the program.
  • the control unit selects a reference image from a plurality of images of cells captured in time series, extracts a region without cells in the reference image as a scratch region, and sets a reference region corresponding to the scratch region in each of the plurality of images. Then, a predetermined color is set for the cell region located in the reference region of each of the plurality of images, and the operation of outputting the time-series change of the cell region to the display device is controlled.
  • a part of the image analysis apparatus for example, the calculation unit 42, the calculation unit 42a, the calculation unit 42b, or the calculation unit 42c) in the above-described embodiment, for example, the image acquisition unit 420, the image processing unit 421, and the reference image selection unit. 422, cell area determination unit 423, scratch area extraction unit 424, area setting unit 425, calculation unit 426, display control unit 427, reference area area calculation unit 428a, area ratio calculation unit 429a, and migration ability evaluation unit 430b with a computer. It may be realized.
  • the program for realizing this control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.
  • the "computer system” referred to here is a computer system built into an image analysis device (for example, an arithmetic unit 42, an arithmetic unit 42a, an arithmetic unit 42b, or an arithmetic unit 42c), such as an OS and peripheral devices. Hardware shall be included.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a medium that dynamically holds a program for a short period of time, such as a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
  • a program may be held for a certain period of time, such as a volatile memory inside a computer system serving as a server or a client.
  • the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • a part or all of the image analysis apparatus (for example, the calculation unit 42, the calculation unit 42a, the calculation unit 42b, or the calculation unit 42c) in the above-described embodiment is realized as an integrated circuit such as an LSI (Large Scale Integration). You may.
  • Each functional block of the image analysis device (for example, the arithmetic unit 42, the arithmetic unit 42a, the arithmetic unit 42b, or the arithmetic unit 42c) may be individually made into a processor, or a part or all of them may be integrated into a processor. Good.
  • the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, when an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)
  • Organic Chemistry (AREA)
  • Biophysics (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Theoretical Computer Science (AREA)
  • Hematology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biotechnology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Geometry (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

画像解析装置は、細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、複数の画像においてスクラッチ領域に対応する基準領域を設定する領域設定部と、基準領域内における細胞領域の面積及び/又は基準領域に対する細胞領域の面積の割合を複数の画像からそれぞれ算出する算出部と、算出された細胞領域の面積及び/又は細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御部と、を備える。

Description

画像解析装置、細胞培養観察装置、画像解析方法、プログラム、及び情報処理システム
 本発明は、画像解析装置、細胞培養観察装置、画像解析方法、プログラム、及び情報処理システムに関する。
 本願は、2019年9月4日に、日本に出願された特願2019-161011号に基づき優先権を主張し、その内容をここに援用する。
 細胞の遊走能は、各種の疾患と深く関連している。そのため、細胞の遊走能を定量的に評価することが求められている。細胞の遊走能を評価する解析方法として、スクラッチアッセイが知られている。また例えば、画像解析に基づいて脳の神経細胞の遊走能を評価することによって、遊走障害を伴う疾患を判定する装置が知られている(特許文献1)。
特開2014-150734号公報
 本発明の一態様は、細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定部と、前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出部と、前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御部と、を備える画像解析装置である。
 本発明の一態様は、上記の画像解析装置と、培養容器に収納された前記細胞を培養する培養装置と、前記複数の画像を撮像する顕微鏡と、を備える細胞培養観察装置である。
 本発明の一態様は、細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定過程と、前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出過程と、前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御過程と、を有する画像解析方法である。
 本発明の一態様は、コンピュータに、細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定ステップと、前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出ステップと、前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御ステップと、を実行させるためのプログラムである。
 本発明の一態様は、クラウドコンピューティングによりユーザの端末に解析情報を出力する情報処理システムであって、サーバを備え、サーバは、ネットワークを介して、細胞を時系列で撮像した複数の画像を取得する取得部と、細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定部と、前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出部と、前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を前記解析情報として前記ユーザの端末に出力する制御部と、を備える情報処理システムである。
 本発明の一態様は、画像解析装置であって、前記画像解析装置は、前記画像解析装置によって実行されるプログラムを記憶する記憶部と、前記プログラムを実行することにより、前記画像解析装置の動作を制御する制御部と、を備え、前記制御部は、細胞を時系列で撮像した複数の画像から基準画像を選択し、前記基準画像において細胞の無い領域をスクラッチ領域として抽出し、前記複数の画像のそれぞれにおいて前記スクラッチ領域に対応する基準領域を設定し、前記複数の画像それぞれの前記基準領域内に位置する細胞領域に所定の色を設定し、前記細胞領域の時系列の変化を表示装置に出力する動作を制御する、画像解析装置である。
第1の実施形態に係る画像解析装置を含むインキュベータの概要を示すブロック図である。 第1の実施形態に係るインキュベータの正面図の一例を示す図である。 第1の実施形態に係るインキュベータの平面図の一例を示す図である。 第1の実施形態に係るスクラッチ領域の一例を示す図である。 第1の実施形態に係るインキュベータでの観察動作の一例を示す図である。 第1の実施形態に係る演算部の機能構成の一例を示す図である。 第1の実施形態に係る画像解析処理の一例を示す図である。 第1の実施形態に係る細胞に浸潤されたスクラッチ領域の一例を示す図である。 第1の実施形態に係る基準領域内における細胞領域の面積の時系列の変化の一例を示す図である。 第2の実施形態に係る演算部の機能構成の一例を示す図である。 第2の実施形態に係る画像解析処理の一例を示す図である。 第2の実施形態に係るスクラッチ領域の面積の一例を示す図である。 第2の実施形態に係る基準領域内における細胞領域の面積の割合の時系列の変化の一例を示す図である。 第3の実施形態に係る演算部の機能構成の一例を示す図である。 第3の実施形態に係る遊走能評価処理の一例を示す図である。 第4の実施形態に係るGUIの画面の一例を示す図である。 第4の実施形態に係るGUIの画面の一例を示す図である。 第4の実施形態に係るGUIの画面の一例を示す図である。
(第1の実施形態)
 以下、図面を参照して、第1の実施形態について説明する。図1は、実施形態の画像解析装置を含むインキュベータ11の概要を示すブロック図である。また、図2及び図3は、本実施形態のインキュベータ11の正面図および平面図の一例を示す図である。
 このインキュベータ11とは、細胞培養観察装置の一例である。
 実施形態のインキュベータ11は、上部ケーシング12と下部ケーシング13とを有している。インキュベータ11の組立状態において、上部ケーシング12は下部ケーシング13の上に載置される。なお、上部ケーシング12と下部ケーシング13との内部空間は、ベースプレート14によって上下に仕切られている。
 まず、上部ケーシング12の構成の概要を説明する。上部ケーシング12の内部には、細胞の培養を行う恒温室15が形成されている。この恒温室15は温度調整装置15aおよび湿度調整装置15bを有しており、恒温室15内は細胞の培養に適した環境(例えば温度37℃、湿度90%の雰囲気)に維持されている(なお、図2、図3での温度調整装置15a、湿度調整装置15bの図示は省略する)。つまり、恒温室15は、内部を所定の環境条件に維持可能である。
 恒温室15の前面には、大扉16、中扉17、小扉18が配置されている。大扉16は、上部ケーシング12および下部ケーシング13の前面を覆っている。中扉17は、上部ケーシング12の前面を覆っており、大扉16の開放時に恒温室15と外部との環境を隔離する。小扉18は、細胞を培養する培養容器19を搬出入するための扉であって、中扉17に取り付けられている。この小扉18から培養容器19を搬出入することで、恒温室15の環境変化を抑制することが可能となる。なお、大扉16、中扉17、小扉18は、パッキンSL1、パッキンSL2、パッキンSL3によりそれぞれ気密性が維持されている。培養容器19は、例えば、ウェルプレート(例、6ウェルを有するプレートなど)である。
 また、恒温室15には、ストッカー21、観察ユニット22、容器搬送装置23、搬送台24が配置されている。ここで、搬送台24は、小扉18の手前に配置されており、培養容器19を小扉18から搬出入する。
 ストッカー21は、上部ケーシング12の前面(図3の下側、大扉16などの扉側)からみて恒温室15の左側に配置される。ストッカー21は複数の棚を有しており、ストッカー21の各々の棚には複数の培養容器19を収納することができる。なお、各々の培養容器19には、培養の対象となる細胞が培地とともに収容されている。このように恒温室15は、細胞を培養する培養容器19を収納する。恒温室15は、培養容器19に収納された細胞を培養する培養装置の一例である。
 観察ユニット22は、上部ケーシング12の前面(図3の下側、大扉16などの扉側)からみて恒温室15の右側に配置される。この観察ユニット22は、培養容器19内の細胞のタイムラプス観察を実行することができる。ここで、タイムラプス観察とは、予め設定されている撮像スケジュールに基づいて、所定の時間毎にサンプル(例、細胞)を撮像することにより、撮像した複数の画像(タイムラプス画像)をもとにサンプルの時系列の変化を観察する手法のことである。サンプルの撮像は一定の時間間隔で行われてよいし、異なる時間間隔で行われてもよい。
 ここで、観察ユニット22は、上部ケーシング12のベースプレート14の開口部に嵌め込まれて配置される。観察ユニット22は、試料台31と、試料台31の上方に張り出したスタンドアーム32と、位相差観察用の顕微光学系および撮像装置34を内蔵した本体部分33とを有している。そして、試料台31およびスタンドアーム32は恒温室15に配置される一方で、本体部分33は下部ケーシング13内に収納される。
 試料台31は透光性の材質で構成されており、その上に培養容器19を載置することができる。この試料台31は水平方向に移動可能に構成されており、上面に載置した培養容器19の位置を調整できる。また、スタンドアーム32にはLED光源35が内蔵されている。そして、撮像装置34は、スタンドアーム32によって試料台31の上側から透過照明された培養容器19の細胞を、顕微光学系を介して撮像することで細胞の顕微鏡画像を取得できる。撮像装置34は、恒温室15内で培養容器に収容されている細胞を所定時間毎に撮像する。
 以下の説明では、細胞のタイムラプス観察が実行されて得られる時系列の画像データ(複数の画像)をタイムラプス画像TPという。タイムラプス画像TPには、細胞が撮像された複数の画像が含まれる。観察ユニット22は、タイムラプス画像TPを撮像する顕微鏡の一例である。
 上述したように本実施形態では、観察ユニット22の顕微光学系は、一例として位相差観察によって培養容器19の細胞を観察する。つまり、観察ユニット22の顕微光学系は、位相差顕微鏡である。したがって、本実施形態のタイムラプス観察によって得られるタイムラプス画像TPは位相差画像である。
 なお、タイムラプス画像TPは位相差画像に限らない。タイムラプス画像TPは、例えば、観察ユニット22の顕微光学系が微分干渉顕微鏡である場合、微分干渉画像であってもよいし、観察ユニット22の顕微光学系が蛍光顕微鏡である場合、蛍光画像であってもよい。
 容器搬送装置23は、上部ケーシング12の前面からみて恒温室15の中央に配置される。この容器搬送装置23は、ストッカー21、観察ユニット22の試料台31および搬送台24との間で培養容器19の受け渡しを行う。
 図3に示すように、容器搬送装置23は、多関節アームを有する垂直ロボット38と、回転ステージ39と、ミニステージ36と、アーム部37とを有している。回転ステージ39は、垂直ロボット38の先端部に回転軸35aを介して水平方向に180°回転可能に取り付けられている。そのため、回転ステージ39は、ストッカー21、試料台31および搬送台24に対して、アーム部37をそれぞれ対向させることができる。
 また、ミニステージ36は、回転ステージ39に対して水平方向に摺動可能に取り付けられている。ミニステージ36には培養容器19を把持するアーム部37が取り付けられている。
 次に、図2に示す下部ケーシング13の構成の概要を説明する。下部ケーシング13の内部には、観察ユニット22の本体部分33や、インキュベータ11の制御装置41が収納されている。
 制御装置41は、図1に示す通り、温度調整装置15a、湿度調整装置15b、観察ユニット22および容器搬送装置23とそれぞれ接続されている。この制御装置41は、演算部(プロセッサ)42と、記憶部43とを備えており、所定のプログラムに従ってインキュベータ11の各部を統括的に制御する。
 一例として、制御装置41は、温度調整装置15aおよび湿度調整装置15bをそれぞれ制御して恒温室15内を所定の環境条件に維持する。また、制御装置41は、所定の観察スケジュールに基づいて、観察ユニット22および容器搬送装置23を制御して、培養容器19の観察シーケンスを自動的に実行する。
 また、制御装置41は、演算部42に、撮像装置34が撮像したタイムラプス画像TPの画像解析を実行させる。この演算部42によって実行される画像解析には、例えば、タイムラプス画像TPの基準画像PSから細胞の培養領域に形成されたスクラッチ領域を基準領域RSとして設定し、設定した基準領域内における細胞の細胞領域の面積を、タイムラプス画像TPからそれぞれ算出する処理が含まれる。演算部42は、画像解析装置の一例である。
 ここで図4を参照し、スクラッチ領域について説明する。図4は、本実施形態に係るスクラッチ領域の一例を示す図である。図4では、タイムラプス画像TPに含まれる画像Pの一例として画像P1が示されている。画像P1には、細胞の培養領域として、培養領域R11が示されている。培養領域R11は、培養領域R11-1と培養領域R11-2とからなり、培養領域R11-1と培養領域R11-2との間にはスクラッチ領域R12が形成されている。
 スクラッチ領域は、例えば、100パーセントコンフルエントの状態において、培養容器19において細胞の培養領域が棒状の部材などを用いて引っ掻かれることによって形成される細胞の無い領域である。換言すれば、スクラッチ領域は、培養領域に形成される間隙である。スクラッチ領域は、細胞の培養領域が引っ掻かれることによって形成される創傷パターンともいえる。
 ここでスクラッチ領域は、観察者(例、ユーザ)によって例えばピペットチップなどを用いて細胞の培養領域が引っ掻かれて形成される。スクラッチ領域の形状は特に限定されないが、本実施形態では、一例として、スクラッチ領域の形状は、図4に示すスクラッチ領域R12のように帯状の形状である。
 スクラッチ領域は、細胞が遊走や増殖に伴い、時間が経過するにつれて細胞によって徐々に埋められてゆく。スクラッチ領域が細胞によって埋められることを、細胞によって浸潤されるともいう。
 次に、図1に戻ってインキュベータ11の説明を続ける。
 タイムラプス観察において、撮像装置34は、上記スクラッチ領域の位置がタイムラプス画像TPにおいて共通の位置となるように撮像する。撮像装置34は、例えば、培養容器であるウェルプレートのマーカー(アライメントマーク)で位置合わせを行う。撮像装置34は、スクラッチ領域の位置が最初の位置からずれた場合、制御装置41によって試料台31を水平方向に移動させて位置の補正を行う。
 表示部44は、各種の画像を含む情報を表示する。例えば、表示部44は、演算部42による画像解析処理の結果を表示する。表示部44は、ディスプレイを備えている。
 操作部45は、タッチパネル、マウス、又はキーボードなどを備えている。なお、操作部45がタッチパネルである場合、操作部45と表示部44とは一体となって構成されてよい。また、操作部45と表示部44とは、上部ケーシング12または下部ケーシング13に備えられたタッチパネルとして構成してもよい。
 また、観察者は、この操作部45を操作することにより、恒温室15の環境条件を設定する。
 [観察動作の例]
 次に、図5のフローチャート図を参照しつつ、インキュベータ11での観察動作の一例を説明する。
 図5は、本実施形態のインキュベータ11での観察動作の一例を示す図である。同図は、恒温室15内に搬入された培養容器19を、登録された観察スケジュールに従ってタイムラプス観察する動作例を示している。ここで培養容器19における各ウェル内には、該ウェルの細胞の培養領域にスクラッチ領域が観察者によってそれぞれ予め形成されている。以下の説明においては、スクラッチ領域が形成された培養容器19において細胞を観察し分析する手法をスクラッチアッセイともいう。
 ステップS101:演算部42は、記憶部43の管理データの観察スケジュールと現在日時とを比較して、観察対象の培養容器19の観察開始時間が到来したか否かを判定する。観察開始時間となった場合(ステップS101:YES)、演算部42はS102に処理を移行させる。一方、培養容器19の観察時間ではない場合(ステップS101:NO)、演算部42は次の観察スケジュールの時刻まで待機する。
 ステップS102:演算部42は、観察スケジュールに対応する観察対象の培養容器19の搬送を容器搬送装置23に指示する。そして、容器搬送装置23は、指示された培養容器19をストッカー21から搬出して観察ユニット22の試料台31に載置する。なお、培養容器19が試料台31に載置された段階で、スタンドアーム32に内蔵されたバードビューカメラ(不図示)によって培養容器19の全体観察画像が撮像される。
 ステップS103:演算部42は、観察ユニット22に対して細胞の顕微鏡画像(例、位相差画像)の撮像を指示する。観察ユニット22は、LED光源35を点灯させて培養容器19を照明するとともに、撮像装置34を駆動させて培養容器19内の細胞の顕微鏡画像を撮像する。
 このとき、撮像装置34は、記憶部43に記憶されている管理データに基づいて、観察者の指定した撮像条件(対物レンズの倍率、容器内の観察地点)に基づいて顕微鏡画像を撮像する。例えば、培養容器19内の複数のポイントを観察する場合、観察ユニット22は、試料台31の駆動によって培養容器19の位置を逐次調整し、各々のポイントでそれぞれ顕微鏡画像を撮像する。なお、S103で取得された顕微鏡画像のデータは、制御装置41に読み込まれるとともに、演算部42の制御によって記憶部43に記録される。
 ステップS104:演算部42は、観察スケジュールの終了後に培養容器19の搬送を容器搬送装置23に指示する。そして、容器搬送装置23は、指示された培養容器19を観察ユニット22の試料台31からストッカー21の所定の収納位置に搬送する。その後、演算部42は、観察シーケンスを終了してS101に処理を戻す。
 上述した手順により、インキュベータ11によって観察された時系列の画像データが、タイムラプス画像TPとして記憶部43に記憶される。以下の説明において、タイムラプス画像TPを得ることをタイムラプス撮像ともいう。
[画像解析処理]
 次に図6から図9を参照して、演算部42の構成、及び演算部42による画像解析処理について説明する。
 図6は、本実施形態の演算部42の機能構成の一例を示す図である。演算部42は、画像取得部(取得部)420と、画像処理部421と、基準画像選択部422と、細胞領域判定部423と、スクラッチ領域抽出部424と、領域設定部425と、算出部426と、表示制御部(制御部)427とを備える。
 演算部42は、一例として、CPU(Central Processing Unit)により実現され、画像取得部420と、画像処理部421と、基準画像選択部422と、細胞領域判定部423と、スクラッチ領域抽出部424と、領域設定部425と、算出部426と、表示制御部427とはそれぞれ、CPUがROM(Read Only Memory)からプログラムを読み込んで処理を実行することにより実現される。
 画像取得部420は、撮像装置34が撮像したタイムラプス画像TPを取得する。ここで画像取得部420は、記憶部43からタイムラプス画像TPを取得する。
 画像処理部421は、タイムラプス画像TPに対して各種の画像処理(例、ノイズ除去処理など)を実行する。
 基準画像選択部422は、タイムラプス画像TPのなかから所定の基準画像PSを選択し、記憶部43に基準画像PSを記憶する。ここで基準画像PSとは、タイムラプス画像TPに含まれる画像Pのうち、スクラッチ領域を設定するために用いられる画像である。
 なお、基準画像PSの選択は、後述するが、基準画像選択部422による自動選択でもよいし、観察者による選択でもよい。
 細胞領域判定部423は、タイムラプス画像TPに含まれる画像Pにおける細胞の細胞領域を判定する。細胞領域とは、タイムラプス画像TPに含まれる画像Pにおいて細胞が撮像されている領域である。細胞領域には、複数の細胞からなる細胞群の画像、または1個の細胞の画像が含まれる。
 スクラッチ領域抽出部424は、基準画像PSからスクラッチ領域を抽出する。
 領域設定部425は、基準画像PSからスクラッチ領域を基準領域RSとして設定し、記憶部43に基準領域RSを記憶する。基準領域RSとは、スクラッチ領域内における細胞領域の面積を算出するための基準となる領域である。
 算出部426は、基準領域RS内における細胞の細胞領域の面積を、タイムラプス画像TPからそれぞれ算出する。そして、算出部426は、算出した基準領域RS内における細胞の細胞領域の面積(解析情報)を、算出に用いたタイムラプス画像TPの各画像と関連付けて記憶部43に記憶する。
 表示制御部427は、表示部44の画面表示を制御する。ここで例えば、表示制御部427は、算出部426によって算出された細胞領域の面積の時系列の変化を解析情報(解析データ)として表示部44に出力して表示させる。
 次に図7を参照し、演算部42の画像解析処理について説明する。図7は、本実施形態に係る画像解析処理の一例を示す図である。図7に示す画像解析処理は、一例として、図5において説明したような観察スケジュールにしたがってインキュベータ11によって観察動作が実行された後(例、観察動作の終了後、観察動作中など)に実行される。
ステップS200:画像取得部420は、撮像装置34が撮像したスクラッチ領域を含む培養容器19のタイムラプス画像TPを取得する。ここで画像取得部420は、記憶部43からタイムラプス画像TPを取得する。画像取得部420は、取得したタイムラプス画像TPを基準画像選択部422に供給する。
 本実施形態では、画像取得部420が取得するタイムラプス画像TPは、一例として、観察スケジュールが示す観察時間毎に撮像された複数の画像である。例えば、画像取得部420は、タイムラプス画像TPを観察が終了した後に一度に取得する。なお、画像取得部420は、観察スケジュールが示す観察時間に細胞の画像が撮像される度に、撮像された画像をタイムラプス画像TPとして取得してもよい。
 また、画像取得部420は、記憶部43の代わりに撮像装置34からタイムラプス画像TPを直接取得してもよい。
ステップS202:画像処理部421は、画像取得部420が取得したタイムラプス画像TPに対してフィルタリング処理を実行する。画像処理部421は、フィルタリング処理によってタイムラプス画像TPをぼかしてタイムラプス画像TPに含まれる局所の輝度変化量を減少させる。
 画像処理部421は、一例として平均値フィルターを用いてフィルタリング処理を実行する。平均値フィルターでは、処理対象の画素の輝度値とその近傍の画素の輝度値との平均値が、処理対象の画素の輝度値とされる。ここで処理対象の画素は、画像に含まれる全ての画素である。
ステップS204:画像処理部421は、差分画像を生成する。ここで画像処理部421は、画像取得部420が取得したタイムラプス画像TPに含まれる画像Pと、この画像にフィルタリング処理を実行して得られる画像との画素値の画素毎の差の絶対値を差分画像の画素値として算出する。
ステップS206:画像処理部421は、閾値処理を実行する。画像処理部421は、閾一例として、二値化処理によって閾値処理を実行する。画像処理部421は、生成した差分画像の各画素について、画素値が所定の閾値以上の画素に二値のうち一方の値を対応させ、画素値が所定の閾値以下である画素に二値のうち他方の値を対応させた画像を生成する。
 図7の画像解析処理の以下のステップの説明においては、ステップS202、ステップS204、及びステップ206において説明した画像処理が施された画像を、改めてタイムラプス画像TPという。
ステップS208:細胞領域判定部423は、タイムラプス画像TPに含まれる画像Pにおける細胞領域を判定する。ここで細胞領域判定部423は、一例としてモルフォロジー処理を用いて細胞領域を判定する。細胞領域判定部423は、上述のステップS207の閾値処理が実行された所定の閾値以上の画素について、境界を滑らかにすることによって細胞領域を判定する。なお、画像Pにおける細胞領域を判定することは、画像Pにおける細胞領域を抽出するともいう。
 なお、画像処理部421と細胞領域判定部423によって細胞領域を判定する手法は例に示したに限らない。画像処理部421と細胞領域判定部423は、機械学習やパターンマッチングなどを用いて細胞領域を判定してもよい。
 細胞領域判定部423は、判定した細胞領域を示す細胞領域情報をスクラッチ領域抽出部424と、算出部426とに供給する。
ステップS210:スクラッチ領域抽出部424は、細胞領域判定部423によって得られえた基準画像PSにおける細胞領域に対して反転処理を実行する。反転処理において、スクラッチ領域抽出部424は、基準画像PSの各画素について二値化された輝度値を反転させる。
 ここで基準画像PSは、基準画像選択部422によってタイムラプス画像TPのなかから自動的に選択される。基準画像選択部422は、一例として、タイムラプス画像TPのなかから撮像時刻が最も早い画像を選択する。また、例えば、基準画像選択部422は、タイムラプス画像TPのなかから上記スクラッチ領域が形成された後の画像P、又はタイムラプス画像TPのなかから上記スクラッチ領域が形成され、該スクラッチ領域に細胞が遊走されていない状態の画像Pを選択する。基準画像選択部422は、選択された基準画像PSを示す情報である基準画像情報をスクラッチ領域抽出部424に供給する。スクラッチ領域抽出部424は、タイムラプス画像TPに含まれる画像Pのうち、基準画像選択部422から供給される基準画像情報が示す画像Pを基準画像PSとして用いる。
ステップS212:スクラッチ領域抽出部424は、ステップS210の結果をスクラッチ領域とする。スクラッチ領域抽出部424は、細胞領域が抽出された画像を反転処理によって反転された輝度値に基づいて、基準画像PSに含まれる全体の領域のうち、細胞領域判定部423から供給される細胞領域情報が示す細胞領域以外の領域をスクラッチ領域として抽出する。つまり、スクラッチ領域抽出部424は、基準画像PSの輝度値に基づいて抽出された細胞領域を反転することによってスクラッチ領域と認識する。
 スクラッチ領域抽出部424は、抽出したスクラッチ領域を示す情報であるスクラッチ領域情報を領域設定部425に供給する。
ステップS214:領域設定部425は、スクラッチ領域抽出部424によって得られたスクラッチ領域を基準画像PSから抽出された基準領域RSとして設定する。基準領域RSを設定するとは、細胞領域とスクラッチ領域をそれぞれの画素として持つ画像(例、タイムラプス画像TP)において、基準画像PSにおけるスクラッチ領域の画素値の領域を基準領域RSとすることである。
 本実施形態では、基準画像PSは、タイムラプス画像TPに含まれる画像Pのうち撮像時刻が最も早い画像であるから、領域設定部425は、タイムラプス画像TPに含まれる画像Pのうち撮像時刻が最も早い画像から抽出したスクラッチ領域を、基準領域RSとする。
 領域設定部425は、基準領域RSとタイムラプス画像TPから得られた細胞領域を算出部426に供給する。
 上述したように、領域設定部425は、タイムラプス画像TPの基準画像PSから細胞の培養領域に形成されたスクラッチ領域を基準領域RSとして設定する。ここで領域設定部425は、スクラッチ領域抽出部424が抽出したスクラッチ領域を基準領域RSとして設定する。
ステップS216:算出部426は、タイムラプス画像TPに含まれる画像Pそれぞれにおける細胞領域について、基準領域RSに含まれる細胞領域を判定する。ここで算出部426は、領域設定部425から供給される基準領域RSと、細胞領域判定部423から供給される細胞領域情報が示す細胞領域とに基づいて判定を行う。算出部426は、基準領域RSと、細胞領域に共通する領域を、基準領域RSに含まれる細胞領域として判定する。
 基準領域RSに含まれると判定された細胞領域は、細胞の遊走によってスクラッチ領域を浸潤した細胞に対応する。
 ここで図8を参照し、細胞に浸潤されたスクラッチ領域(基準領域RS)をについて説明する。図8は、本実施形態に係る細胞に浸潤されたスクラッチ領域の一例を示す図である。画像P1-1から画像P1-5は、間葉系幹細胞(Mesenchymal stem cell:MSC)が1時間毎に2日間撮影されたタイムラプス画像から抜粋された画像である。画像P1-1から画像P1-5は、左から右へ撮像時刻の順に並べられている。
 画像P1-1は、撮像時刻が最も早く、スクラッチ領域が形成された直後(例、培養開始から数分以内など)に撮像された画像であり、スクラッチ領域は細胞によって浸潤されていない。画像P1-2から画像P1-5へと時間が経過するにつれてスクラッチ領域に細胞が遊走し、スクラッチ領域が浸潤されている面積(この場合、スクラッチ領域における細胞領域の面積)が増加している様子がわかる。
 なお、算出部426は、スクラッチ領域において「飛び地」となっている細胞領域を含めて、基準領域RSに含まれる細胞領域を判定してよい。ここで「飛び地」となっている細胞領域とは、スクラッチ領域に含まれる細胞領域であって、スクラッチ領域に含まれていない細胞領域と接していない領域である。換言すれば、「飛び地」となっている細胞領域とは、スクラッチ領域に含まれる細胞領域であって、スクラッチ領域に含まれていない細胞領域とは連結していない領域である。つまり、算出部426は、スクラッチ領域に含まれる細胞領域であって、スクラッチ領域に含まれていない細胞領域とは連結していない領域を含めて、基準領域RSに含まれる細胞領域を判定してよい。
 図7に戻って画像解析処理の説明を続ける。
ステップS218:算出部426は、基準領域RS内における細胞領域の面積を、タイムラプス画像TPからそれぞれ算出する。ここで算出部426は、ステップS216において判定した基準領域RSに含まれる細胞領域の画素の数を計測することによって基準領域RS内における細胞領域の面積を算出する。算出部426は、算出した基準領域RS内における細胞領域の面積を表示制御部427に供給する。
 ここで上述したように基準領域RS内における細胞領域は、算出部426によって、基準領域RSにおいて、基準領域RSと、細胞領域情報が示す細胞領域とに共通して含まれる領域として判定される。つまり、基準領域RS内における細胞領域は、画像Pにおける予め判定された細胞領域に基づいて判定される。したがって、算出部426は、基準領域RS内における細胞領域の面積を、タイムラプス画像TPに含まれる画像Pにおける細胞領域に基づいて算出する。
ステップS220:表示制御部427は、算出部426によって算出された基準領域RS内における細胞領域の面積の時系列の変化を解析情報として表示部44に出力して表示させる。
 以上で、演算部42は、画像解析処理を終了する。
 ここで図9を参照し、基準領域RS内における細胞領域の面積の時系列の変化について説明する。図9は、本実施形態に係る基準領域RS内における細胞領域の面積の時系列の変化の一例を示す図である。図9に示すグラフでは、タイムラプス画像TPに含まれる画像Pについて、基準領域RS内における細胞領域の面積が撮像時刻に対してプロットされている。図9に示すグラフから撮像時刻の経過とともに基準領域RS内における細胞領域の面積は増加する傾向にあることがわかる。基準領域RS内における細胞領域の面積の時系列の変化は、例えば、細胞の遊走能の定量的な評価に用いられる。
 なお、表示制御部427は、基準領域RS内における細胞領域の面積の時系列の変化に加えて、上述の図8に示したように、画像Pにおいて基準領域RS内における細胞領域に対応する画素に所定の色を設定して、タイムラプス画像TPに含まれる画像Pを表示部44に表示させてもよい。ここで所定の色とは、例えば、緑色や黄緑色など、所定の色が設定されていない画素と視覚的に区別がつきやすい色であることが好ましい。表示制御部427が、細胞領域に対応する画素に所定の色を設定して画像Pを表示部44に表示させる場合、算出部426は、タイムラプス画像TPと、タイムラプス画像TPに含まれる画像Pについて基準領域RS内における細胞領域を示す情報とを表示制御部427に供給する。
 なお、本実施形態では、基準領域RS内における細胞領域は、基準領域RSと、細胞領域情報が示す細胞領域とに共通して含まれる領域として判定される場合の一例について説明した、つまり、基準領域RS内における細胞領域は、画像Pにおける予め判定された細胞領域に基づいて判定される場合の一例について説明したが、これに限らない。画像Pにおいて細胞領域が予め判定されずに、基準領域RS内において細胞領域が直接に判定されてもよい。
 基準領域RS内において細胞領域が直接に判定される場合、例えば、細胞領域判定部423は、基準領域RS内において細胞領域を判定する。つまり、細胞領域判定部は、スクラッチ領域抽出部424が抽出したスクラッチ領域に基づいて細胞領域を判定してもよい。
 なお、本実施形態では、基準領域RS内における細胞領域の面積は、細胞領域に基づいて算出される場合の一例について説明したが、これに限らない。基準領域RS内における細胞領域の面積は、スクラッチ領域に基づいて算出されてもよい。
 基準領域RS内における細胞領域の面積がスクラッチ領域に基づいて算出される場合、例えば、スクラッチ領域抽出部424は、タイムラプス画像TPに含まれる画像Pそれぞれについてスクラッチ領域を抽出する。ここでスクラッチ領域は、例えば、機械学習による画像認識によって抽出される。算出部426は、ある撮像時刻に撮像された画像Pから抽出されるスクラッチ領域の面積と、基準画像PSから抽出されるスクラッチ領域の面積との差に基づいて、ある撮像時刻に撮像された画像Pについて基準領域RS内における細胞領域の面積を算出する。
 なお、本実施形態では、スクラッチ領域抽出部424が基準画像PSからスクラッチ領域を抽出し、領域設定部425は、スクラッチ領域抽出部424が抽出したスクラッチ領域を基準領域RSとして設定する場合の一例について説明したが、これに限らない。スクラッチ領域は、観察者によって指定されてもよい。
 スクラッチ領域が観察者によって指定される場合、演算部42は、例えば、操作情報取得部を備える。この操作情報取得部は、基準画像PSにおいて観察者によって指定されたスクラッチ領域を示す操作情報を取得する。ここで観察者は、操作部45を介してスクラッチ領域を指定する。観察者は、例えば、表示部44に表示される基準画像PSにマウスやタッチペンなどを用いて線を描くことによってスクラッチ領域を指定する。観察者は、表示部44に表示される基準画像PSにおいて、多角形などの形状を指定するための複数の座標を操作部45から入力することによってスクラッチ領域を指定してもよい。領域設定部425は、操作情報取得部が受け付けた操作情報が示すスクラッチ領域を基準領域RSとして設定する。
 なお、本実施形態では、基準画像PSとして、タイムラプス画像TPのなかから撮像時刻が最も早い画像が選択される場合の一例について説明したが、これに限らない。基準画像PSは、スクラッチ領域が形成された後、スクラッチ領域に細胞が遊走していない時期に撮像された画像であれば、撮像時刻が最も早い画像以外の画像が選択されてもよい。例えば、基準画像選択部422は、基準画像PSとして、スクラッチ領域に細胞が遊走していなければ撮像時刻が2番目又は3番目などに早い画像を選択してもよい。
 以上に説明したように、本実施形態に係る画像解析装置(本実施形態において演算部42を備える装置)は、領域設定部425と、算出部426とを備える。領域設定部425は、タイムラプス画像TPの基準画像PSから細胞の培養領域に形成されたスクラッチ領域を基準領域RSとして設定する。算出部426は、基準領域RS内における細胞の細胞領域の面積を、タイムラプス画像TPからそれぞれ算出する。
 この構成により、本実施形態に係る画像解析装置では、細胞によって浸潤されるスクラッチ領域における細胞領域の面積の時系列の変化(例、増減)を算出できるため、細胞の遊走能を定量的に評価できる。
 また、本実施形態に係る画像解析装置は、制御部(本実施形態において表示制御部427)を備える。制御部(本実施形態において表示制御部427)は、算出部426によって算出された基準領域RS内における細胞の細胞領域の面積の時系列の変化を表示装置(本実施形態において表示部44)に表示させる。
 この構成により、本実施形態に係る画像解析装置では、スクラッチ領域内における細胞領域の面積の時系列の変化を表示できるため、細胞の遊走能を可視化できる。
 また、本実施形態に係る画像解析装置では、算出部426は、基準領域RS内に占める細胞領域の面積をタイムラプス画像TPに含まれる画像Pにおける細胞領域に基づいて算出する。
 この構成により、本実施形態に係る画像解析装置では、スクラッチ領域における細胞領域の面積を細胞領域に基づいて算出できるため、スクラッチ領域に基づいてスクラッチ領域における細胞領域の面積が算出される場合に比べて簡易な解析によって細胞の遊走能を定量的に評価できる。クラッチ領域に基づいてスクラッチ領域における細胞領域の面積が算出される場合、スクラッチ領域は、例えば、機械学習に基づいて判定される。上述したように本実施形態に係る画像解析装置では、細胞領域はエッジ検出によって判定されるため、機械学習を用いてスクラッチ領域を抽出する場合に比べて解析が簡易である。
 また、本実施形態に係る画像解析装置では、細胞領域判定部423を備える。細胞領域判定部423は、タイムラプス画像TPに含まれる画像Pにおける細胞の細胞領域を判定する。
 この構成により、本実施形態に係る画像解析装置では、タイムラプス画像TPに含まれる画像Pにおける細胞の細胞領域を判定できるため、細胞の遊走能を定量的に評価する解析に加えて細胞について各種の解析を実行できる。ここで細胞についての各種の解析には、例えば、細胞のトラッキングや、細胞の密度に基づく細胞の成熟度合いの解析や、細胞の画像から抽出される特徴量に基づく解析などが含まれる。
 また、本実施形態に係る画像解析装置では、スクラッチ領域抽出部424を備える。スクラッチ領域抽出部424は、基準画像PSの輝度値に基づいて基準画像PSからスクラッチ領域を抽出する。領域設定部425は、スクラッチ領域抽出部424が抽出したスクラッチ領域を基準領域RSとして設定する。
 この構成により、本実施形態に係る画像解析装置では、基準画像から抽出されたスクラッチ領域が基準領域RSとして設定されるため、ユーザが基準領域を指定する手間を省くことができる。
 また、本実施形態に係る画像解析装置では、操作情報取得部を備えてよい。操作情報取得部は、基準画像PSにおいてユーザ(本実施形態において観察者)によって指定されたスクラッチ領域を示す操作情報を取得する。領域設定部425は、操作情報取得部が受け付けた操作情報が示すスクラッチ領域を基準領域RSとして設定する。
 この構成により、本実施形態に係る画像解析装置では、ユーザが基準領域を設定できるため、タイムラプス画像TPに含まれる画像Pの画像解析処理においてスクラッチ領域を抽出する精度が十分に高くない場合であっても、ユーザが設定した基準領域に基づいて細胞の遊走能を定量的に評価できる。
 また、本実施形態に係る画像解析装置では、基準画像選択部422を備える。基準画像選択部422は、タイムラプス画像TPのなかから基準画像PSを選択する。
 この構成により、本実施形態に係る画像解析装置では、タイムラプス画像TPのなかから基準画像PSが選択できるため、ユーザが基準画像PSを選択する手間を省くことができる。
 また、本実施形態に係る細胞培養観察装置(本実施形態においてインキュベータ11)では、上述した画像解析装置と、培養装置(本実施形態において恒温室15)と、顕微鏡(本実施形態において観察ユニット22)とを備える。培養装置(本実施形態において恒温室15)は、培養容器に収納された細胞を培養する。顕微鏡(本実施形態において観察ユニット22)は、タイムラプス画像TPを撮像する。
 この構成により、本実施形態に係る細胞培養観察装置(本実施形態においてインキュベータ11)では、細胞によって浸潤されるスクラッチ領域の面積の時系列の変化を算出できるため、細胞の遊走能を定量的に評価できる。
(第2の実施形態)
 以下、図面を参照しながら第2の実施形態について詳しく説明する。
 上記第1の実施形態では、画像解析装置は、タイムラプス画像においてスクラッチ領域における細胞領域の面積を算出する場合について説明をした。本実施形態では、画像解析装置が、タイムラプス画像においてスクラッチ領域における細胞領域の面積の割合を算出する場合について説明をする。以下では、スクラッチ領域における細胞領域の面積の割合をスクラッチ領域閉鎖率ともいう。
 本実施形態に係る演算部を演算部42aという。本実施形態における画像解析装置は、演算部42aを備える装置である。
 図10は、本実施形態の演算部42aの機能構成の一例を示す図である。演算部42aは、画像取得部420と、画像処理部421と、基準画像選択部422と、細胞領域判定部423と、スクラッチ領域抽出部424と、領域設定部425と、算出部426と、表示制御部427と、基準領域面積算出部428aと、面積割合算出部429aとを備える。
 本実施形態に係る演算部42a(図10)と第1の実施形態に係る演算部42(図6)とを比較すると、基準領域面積算出部428aと、面積割合算出部429aとが異なる。ここで、他の構成要素(画像取得部420、画像処理部421、基準画像選択部422、細胞領域判定部423、スクラッチ領域抽出部424、領域設定部425、算出部426、及び表示制御部427)が持つ機能は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略し、第2の実施形態では、第1の実施形態と異なる部分を中心に説明する。
 基準領域面積算出部428aは、基準領域RSの面積を算出する。
 面積割合算出部429aは、基準領域RSの面積と、基準領域RSにおける細胞領域の面積とに基づいて基準領域RS内に占める細胞領域の面積の割合を算出する。つまり、面積割合算出部429aは、スクラッチ領域閉鎖率を算出する。
 次に図11を参照し、演算部42aの画像解析処理について説明する。図11は、本実施形態に係る画像解析処理の一例を示す図である。
 なお、ステップS300、ステップS302、ステップS304、ステップS306、ステップS308、ステップS310、ステップS312、ステップS314、ステップS316、及びステップS318の各処理は、図7におけるステップS200、ステップS202、ステップS204、ステップS206、ステップS208、ステップS210、ステップS212、ステップS214、ステップS216、及びステップS218の各処理と同様であるため、説明を省略する。
ステップS320:基準領域面積算出部428aは、基準画像PSに基づいて基準領域RSの面積を算出する。基準画像PSは、例えば、タイムラプス画像TPのうち撮像時刻が最も早い画像Pであるため、換言すれば、基準領域面積算出部428aは、タイムラプス画像TPのうち撮像時刻が最も早い画像Pにおけるスクラッチ領域の面積を算出する。
 ここで基準領域面積算出部428aは、基準画像PSにおける基準領域RSの画素の数を計測することによって基準領域RSの面積を算出する。基準領域面積算出部428aは、一例として、スクラッチ領域抽出部424が抽出したスクラッチ領域に基づいて基準画像PSにおけるスクラッチ領域の面積を算出する。なお、基準領域面積算出部428aは、細胞領域判定部423が判定した細胞領域に基づいて、判定された細胞領域以外の領域をスクラッチ領域として基準領域RSの面積を算出してもよい。
 基準領域面積算出部428aは、算出した基準領域RSの面積を面積割合算出部429aに供給する。
 ここで図12を参照し、スクラッチ領域の面積について説明する。図12は、本実施形態に係るスクラッチ領域の面積の一例を示す図である。図12では、タイムラプス画像TPに含まれる画像Pの一例として画像P2が示されている。画像P2は、スクラッチ領域が形成されてから所定の時間が経過して撮像された画像である。
 画像P2には、細胞の培養領域として、培養領域R21が示されている。培養領域R21は、培養領域R21-1と培養領域R21-2とからなり、培養領域R21-1と培養領域R21-2との間にはスクラッチ領域R22が形成されている。図12に示す通り、スクラッチ領域R22の形状は、スクラッチ領域が左右の細胞領域の細胞によって浸潤されて帯状の形状から変形を受けている。
 図11に戻って画像解析処理の説明を続ける。
ステップS322:面積割合算出部429aは、基準領域面積算出部428aが算出した基準領域RSの面積と、算出部426が算出した基準領域RSにおける細胞領域の面積とに基づいて基準領域RS内に占める細胞領域の面積の割合を算出する。ここで面積割合算出部429aは、タイムラプス画像TPに含まれる画像Pそれぞれについて基準領域RS内に占める細胞領域の面積の割合を算出する。なお、細胞領域の面積は、タイムラプス画像TPに含まれる画像Pそれぞれについて算出部426から面積割合算出部429aに供給される。
 面積割合算出部429aは、算出した面積の割合を解析情報として表示制御部427に供給する。
ステップS324:表示制御部427は、面積割合算出部429aによって算出された基準領域RS内に占める細胞領域の面積の割合の時系列の変化を解析情報として表示部44に出力して表示させる。
 以上で、演算部42は、画像解析処理を終了する。
 ここで図13を参照し、基準領域RS内における細胞領域の面積の割合の時系列の変化について説明する。図13は、本実施形態に係る基準領域RS内における細胞領域の面積の割合の時系列の変化の一例を示す図である。図13に示すグラフでは、タイムラプス画像TPに含まれる画像Pについて、基準領域RS内における細胞領域の面積の割合が撮像時刻に対してプロットされている。図13に示すグラフから撮像時刻の経過とともに基準領域RS内における細胞領域の面積の割合は増加する傾向にあることがわかる。基準領域RS内における細胞領域の面積の割合の時系列の変化は、例えば、細胞の遊走能の定量的な評価に用いられる。
 以上に説明したように、本実施形態に係る画像解析装置(本実施形態において演算部42aを備える装置)は、基準領域面積算出部428aと、面積割合算出部429aとを備える。基準領域面積算出部428aは、基準領域RSの面積を算出する。面積割合算出部429aは、基準領域面積算出部428aが算出した基準領域RSの面積と、算出部426が算出した細胞領域の面積とに基づいて基準領域RS内に占める細胞領域の面積の割合を算出する。
 この構成により、本実施形態に係る画像解析装置では、スクラッチ領域閉鎖率を算出できるため、スクラッチ領域閉鎖率に基づいて細胞の遊走能の定量的な評価ができる。
(第3の実施形態)
 以下、図面を参照しながら第3の実施形態について詳しく説明する。
 上記第1の実施形態や第2の実施形態では、画像解析装置が、タイムラプス画像においてスクラッチ領域における細胞領域の面積や面積の割合を算出する場合について説明をした。本実施形態では、画像解析装置が、スクラッチ領域における細胞領域の面積や面積の割合に基づいて細胞の遊走能を評価する場合について説明をする。
 本実施形態に係る演算部を演算部42bという。本実施形態における画像解析装置は、演算部42bを備える装置である。
 図14は、本実施形態の演算部42bの機能構成の一例を示す図である。演算部42bは、画像取得部420と、画像処理部421と、基準画像選択部422と、細胞領域判定部423と、スクラッチ領域抽出部424と、領域設定部425と、算出部426と、表示制御部427と、基準領域面積算出部428aと、面積割合算出部429aと、遊走能評価部430bとを備える。
 本実施形態に係る演算部42b(図14)と第2の実施形態に係る演算部42a(図10)とを比較すると、遊走能評価部430bが異なる。ここで、他の構成要素(画像取得部420、画像処理部421、基準画像選択部422、細胞領域判定部423、スクラッチ領域抽出部424、領域設定部425、算出部426、表示制御部427、基準領域面積算出部428a、及び面積割合算出部429a)が持つ機能は第1の実施形態及び第2の実施形態と同じである。第1の実施形態及び第2の実施形態と同じ機能の説明は省略し、第3の実施形態では、第1の実施形態及び第2の実施形態と異なる部分を中心に説明する。
 遊走能評価部430bは、基準領域RSにおける細胞領域の面積の時系列の変化、及びまたは面積の割合の時系列の変化に基づいて細胞の遊走能を評価する。
 次に図15を参照し、演算部42bの遊走能評価処理について説明する。図15は、本実施形態に係る遊走能評価処理の一例を示す図である。
 なお、ステップS400、ステップS402、ステップS404、ステップS406、ステップS408、ステップS410、ステップS412、ステップS414、ステップS416、ステップS418、ステップS420、ステップS422の各処理は、図11におけるステップS300、ステップS302、ステップS304、ステップS306、ステップS308、ステップS310、ステップS312、ステップS314、ステップS316、ステップS318、ステップS320、及びステップS322の各処理と同様であるため、説明を省略する。
ステップS424:遊走能評価部430bは、算出部426によって算出された基準領域RSにおける細胞領域の面積の時系列の変化、及び/または面積割合算出部429aによって算出された面積の割合の時系列の変化に基づいて細胞の遊走能を評価する。遊走能評価部430bは、遊走能の評価結果を解析情報として表示制御部427に供給する。
 遊走能評価部430bは、例えば、基準領域RSにおける細胞領域の面積の時系列の変化に基づいて、タイムラプス画像TPの撮像が開始されてから所定の時間までに、基準領域RSにおける細胞領域の面積が所定の閾値以上となるか否かに基づいて遊走能を判定する。遊走能評価部430bは、所定の時間までに基準領域RSにおける細胞領域の面積が所定の閾値以上となると判定する場合、遊走能が高いと判定する。一方、所定の時間までに基準領域RSにおける細胞領域の面積が所定の閾値未満であると判定する場合、遊走能が低いと判定する。
 遊走能評価部430bは、基準領域RSにおける細胞領域の面積の割合の時系列の変化に基づいて、タイムラプス画像TPの撮像が開始されてから所定の時間までに、基準領域RSにおける細胞領域の面積の割合が所定の閾値以上となるか否かに基づいて、遊走能を判定してもよい。遊走能評価部430bは、所定の時間までに基準領域RSにおける細胞領域の面積の割合が所定の閾値以上となると判定する場合、遊走能が高いと判定する。一方、所定の時間までに基準領域RSにおける細胞領域の面積の割合が所定の閾値未満であると判定する場合、遊走能が低いと判定する。
 なお、遊走能評価部430bは、異なる種類の細胞が同一の条件において培養されてタイムラプス撮像によって撮像されたタイムラプス画像TPに基づいて、基準領域RSにおける細胞領域の面積、及びまたは面積の割合の時系列の変化を異なる種類の細胞間において比較することによって異なる種類の細胞について遊走能を評価してもよい。ここで異なる種類の細胞は、例えば、培養容器であるウェルプレートにおいて異なるウェルにおいてそれぞれ培養される。同一の条件とは、例えば、培養領域に形成される帯状のスクラッチ領域の幅を同じにすることである。
 遊走能評価部430bは、例えば、所定の時間後に所定の割合以上のスクラッチ領域閉鎖率を示す細胞を遊走能が高いと判定する。ここで所定の時間とは、例えば、24時間である。
 ここで細胞の種類は、例えば、由来の違いや継代数の違いによる種類である。
 由来の違いによる細胞の種類には、例えば、脂肪由来のMSCや骨髄由来のMSCがある。また、由来の違いによる細胞の種類には、例えば、ドナーによるロット差による種類がある。細胞は培養状態が良好であるほど遊走能が高くなるため、スクラッチ領域が浸潤される速度は速くなる。つまり、スクラッチ領域閉鎖率の時系列の変化が大きいほど、培養状態が良好であると考えられる。
 継代数の違いによる細胞の種類には、継代数が少ない若い細胞と、継代数が多い老化した細胞とがある。若い細胞の方が老化した細胞に比べて遊走能が高くなるため、スクラッチ領域が浸潤される速度は速くなる。つまり、スクラッチ領域閉鎖率の時系列の増加の割合が大きいほど、継代数が少ない若い細胞であると考えられる。
 遊走能評価部430bは、遊走能の評価結果に基づいて、培養状態が良好であるか否か、若い細胞であるか否かなどを判定して、遊走能の評価結果にそれらの判定結果を含めて表示制御部427に供給してもよい。
ステップS426:表示制御部427は、遊走能評価部430bによって評価された遊走能の評価結果を解析情報として表示部44に出力して表示させる。ここで表示制御部427は、例えば、遊走能の評価結果をテキストとして表示部44に表示させる。このテキストは、遊走能が高いことを評価結果が示す場合、例えば「遊走能:高」などである。
 以上で、演算部42は、遊走能評価処理を終了する。
 以上に説明したように、本実施形態に係る画像解析装置(本実施形態において演算部42bを備える装置)は、評価部(本実施形態において遊走能評価部430b)を備える。評価部(本実施形態において遊走能評価部430b)は、算出部426によって算出された細胞領域の面積の時系列の変化に基づいて細胞の遊走能を評価する。
 この構成により、本実施形態に係る画像解析装置では、スクラッチ領域における細胞領域の面積の時系列の変化に基づいて細胞の遊走能を評価できるため、細胞の遊走能の定量的な評価を行うことができる。
(第4の実施形態)
 以下、図面を参照しながら第4の実施形態について詳しく説明する。
 本実施形態では、画像解析装置が、上記スクラッチ領域における細胞領域の面積や面積の割合に基づいてグラフィカルユーザインタフェース(Graphical User Interface:GUI)を用いて細胞の遊走能を可視化する場合について説明をする。
 本実施形態に係る演算部を演算部42cという。本実施形態における画像解析装置は、演算部42cを備える装置である。なお、演算部42cと、上記第1の実施形態の演算部42(図6)、第2の実施形態の演算部42a(図10)、及び第3の実施形態の演算部42b(図14)とでは、表示制御部427の機能が異なる。ここで他の構成要素(画像取得部420、画像処理部421、基準画像選択部422、細胞領域判定部423、スクラッチ領域抽出部424、領域設定部425、算出部426、表示制御部427、基準領域面積算出部428a、面積割合算出部429a、及び遊走能評価部430b)が持つ機能は第1の実施形態、第2の実施形態、及び第3の実施形態と同じである。演算部42cの機能構成の説明は省略し、第4の実施形態では、表示制御部427が表示部44に表示させるGUIの画面を中心に説明する。
 以下では、図16から図18を参照し、表示制御部427が表示部44に表示させるGUIの画面D1、画面D2、及び画面D3について説明する。なお、GUIの画面D1、画面D2、及び画面D3は、専用のアプリケーションを用いて表示部44に表示される、又はウェブブラウザを用いて表示部44に表示される。
 図16は、本実施形態に係るGUIの画面D1の一例を示す図である。表示制御部427は、基準領域RSにおける細胞領域の面積に基づいて画面D1を表示させる。画面D1は、複数の表示欄として、画面D11と、画面D12と、テキストD13と、テキストD14と、表示窓D15と、テキストD16とを含んで構成される。
 画面D11には、基準画像PSが表示される。基準画像PSは、上述したとおりタイムラプス画像TPに含まれる画像Pのうち撮像時刻が最も早い画像であり、スクラッチ領域は細胞によって浸潤されていない。テキストD13は、画面D11に表示される基準画像PSの経過時間又は撮像時刻の時間情報を示す。
 画面D12には、例えば、タイムラプス画像TPに含まれる画像Pのうち最新の撮像時刻において撮像された画像が表示される。つまり、表示制御部427は、画面D12にタイムラプス撮像によって撮像された画像を即時に表示させる。
 ここで表示制御部427は、画像Pにおいて基準領域RSにおける細胞領域を示して画像Pを表示する。例えば、表示制御部427は、画像Pにおいて基準領域RSにおける細胞領域に対応する画素に所定の色を設定して細胞領域を示す。表示制御部427は、タイムラプス撮像が行われ新たに画像Pが撮像される度に画面D12に表示する画像Pを更新する。
 テキストD14は、画面D12に表示される画像Pの経過時間又は撮像時刻の時間情報を示す。表示窓D15は、画面D12に表示される画像Pにおける基準領域RSにおける細胞領域の面積の値を示す。
 テキストD16は、画面D1のタイトルを示す。図16に示す例では、画面D1は基準領域RSにおける細胞領域の面積に基づいて表示されるため、テキストD16は「面積の画像」と表示されている。
 なお、表示制御部427は、基準領域RSにおける細胞領域の面積の割合に基づいて画面D1を表示してもよい。この場合、表示制御部427は、画像Pにおいて基準領域RSにおける細胞領域以外の領域を示して画像Pを表示する。例えば、表示制御部427は、画像Pにおいて基準領域RSにおける細胞領域以外の領域に対応する画素に所定の色を設定して表示する。この場合、表示窓D15は、画面D12に表示される画像Pにおける基準領域RSにおける細胞領域の面積の割合(つまり、スクラッチ領域閉鎖率)を示す。
 なお、表示制御部427は、基準領域RSにおける細胞領域の面積と、基準領域RSにおける細胞領域の面積の割合との両方に基づいて画面D1を表示してもよい。この場合、表示制御部427は、画面D12に、画像Pにおいて基準領域RSにおける細胞領域が示された画像と、画像Pにおいて基準領域RSにおける細胞領域以外の領域が示された画像との両方を並べて表示する。
 表示制御部427が画面D12に表示する画像の種類は、画像Pにおいて基準領域RSにおける細胞領域が示された画像と、画像Pにおいて基準領域RSにおける細胞領域以外の領域が示された画像とからユーザによって選択されてよい。
 図17は、本実施形態に係るGUIの画面D2の一例を示す図である。表示制御部427は、基準領域RSにおける細胞領域の面積に基づいて画面D2を表示させる。画面D2は、複数の表示欄として、画面D21と、画面D22と、画面D23と、バーD24と、バーD25と、ボタンD26とを含んで構成される。
 画面D21には、基準領域RS内における細胞領域の面積の時系列の変化を示すグラフが表示される。この画面D21に表示されるグラフは、例えば図9に示したようなグラフである。
 画面D22には、タイムラプス画像TPが動画として表示される。ここでタイムラプス画像TPに含まれる画像Pは、基準領域RSにおける細胞領域が示された画像として表示される。表示制御部427は、タイムラプス画像TPに含まれる画像Pのうち画面D22に表示する画像を、時刻パラメータに基づいて選択する。時刻パラメータは、タイムラプス画像TPの撮像時刻と対応づけられている。時刻パラメータは、動画の再生が開始されると、再生速度に応じて時間とともに値が増加する。
 ここで画面D21に表示されるグラフには、バーD24が重ねて表示される。バーD24は、時刻パラメータが示す撮像時刻に応じた位置にグラフ上において表示される。一例として、バーD24は、画面D21に表示されるグラフの縦軸に平行な線分であって、線分の中点がグラフ上に乗るように表示される。
 画面D23には、タイムラプス画像TPに含まれる画像Pが撮像時刻の順に左から右へと横に並べられて表示される。ここで画面D23に表示されるタイムラプス画像TPに含まれる画像Pは、基準領域RSにおける細胞領域が示された画像として表示される。画面D23には、バーD25が重ねて表示される。バーD25は、時刻パラメータが示す撮像時刻に応じた画像P上に重ねて表示される。
 観察者などのユーザが画面D21に表示されるグラフの部分を選択すると、時刻パラメータの値は、選択された部分に応じた撮像時刻に変更される。また、ユーザが画面D23に並べて表示される画像Pを選択すると、時刻パラメータの値は、選択された画像Pの撮像時刻に変更される。ユーザは、バーD24をマウスやタッチパネルによって画面D21に表示されるグラフ上で動かしてもよい。また、ユーザは、バーD25を画面D23に表示されるタイムラプス画像TP上において動かしてもよい。ユーザによるこれらの選択の操作は、操作部45のマウスやタッチパネルを介して実行される。
 時刻パラメータの値が変更されると、タイムラプス画像TPに含まれる画像Pのうち画面D22に表示される画像は即時に変更される。また、時刻パラメータの値が変更されると、バーD24の画面D21に表示されるグラフ上の位置や、バーD25の画面D23に表示されるタイムラプス画像TP上の位置は即時に変更される。
 ボタンD26は、画面D22に表示されるタイムラプス画像TPの動画の再生及び逆再生の操作を行うためのボタンである。
 なお、表示制御部427は、基準領域RSにおける細胞領域の面積の代わりに、基準領域RSにおける細胞領域の面積の割合に基づいて画面D2を表示してもよい。この場合、画面D21には、基準領域RS内における細胞領域の面積の割合の時系列の変化を示すグラフが表示される。この画面D21に表示されるグラフは、例えば図13に示したようなグラフである。またこの場合、画面D22には、タイムラプス画像TPに含まれる画像Pは、基準領域RSにおける細胞領域以外の領域が示されて動画として表示される。画面D23には、タイムラプス画像TPに含まれる画像Pが、基準領域RSにおける細胞領域以外の領域が示されて並べられて表示される。
 図18は、本実施形態に係るGUIの画面D3の一例を示す図である。表示制御部427は、基準領域RSにおける細胞領域の面積、及び面積の割合に基づいて画面D3を表示させる。画面D3は、複数の表示欄として、画面D31と、画面D32と、バーD33と、バーD34と、ボタンD35とを含んで構成される。
 画面D31には、基準領域RS内における細胞領域の面積の時系列の変化を示すグラフが表示される。この画面D31に表示されるグラフは、例えば図9に示したようなグラフである。
 画面D32には、基準領域RS内における細胞領域の面積の割合の時系列の変化を示すグラフが表示される。この画面D32に表示されるグラフは、例えば図13に示したようなグラフである。
 バーD33、バーD34、及びボタンD35の機能は、図17のバーD24、及びボタンD26の機能と同様であるため説明を省略する。
 なお、画面D32には、基準領域RS内における細胞領域の面積の割合の時系列の変化の代わりに、スクラッチ領域閉鎖率の時系列の変化を示すグラフが表示されてもよい。
 以上に説明したように、本実施形態に係る画像解析装置(本実施形態において演算部42c)は、制御部(本実施形態において表示制御部427)を備える。制御部(本実施形態において表示制御部427)は、算出部426が算出した画像Pにおいて基準領域RSにおける細胞領域の面積の時系列の変化、及びまたは、面積割合算出部429aが算出した画像Pにおいて基準領域RSにおける細胞領域の面積の割合の時系列の変化を表示装置(本実施形態において表示部44)に表示させる。
 この構成により、本実施形態に係る画像解析装置では、スクラッチ領域内における細胞領域の面積の時系列の変化を表示できるため、細胞の遊走能を可視化できる。
 なお、上述した各実施形態においては、画像解析装置がインキュベータ11に備えられる制御装置41の演算部42、演算部42a、演算部42b、または演算部42cとしてそれぞれ実現される場合の一例について説明したが、これに限らない。画像解析装置は、インキュベータ11とは別体であってもよい。画像解析装置がインキュベータ11と別体である場合、画像解析装置はタイムラプス画像TPを外部装置から取得して解析する。
 画像解析装置がタイムラプス画像TPを外部装置から取得して解析する場合、画像解析装置は、例えば、タイムラプス画像TPを解析するクラウドコンピューティングのサーバである。また、外部装置は、例えば、端末装置である。この場合、画像解析装置と外部装置とを備える情報処理システムが提供される。
 そして、ユーザは、端末装置(ユーザの端末)においてウェブブラウザを起動し、該ウェブブラウザ上のGUIを操作することによってインターネットを介してタイムラプス画像TPを、識別情報(ユーザ又は端末の識別番号など)とともに、サーバである画像解析装置にアップロードする。画像解析装置は、アップロードされたタイムラプス画像TPに基づいて、上述した各実施形態の画像解析処理や、遊走能評価処理を実行する。画像解析装置は、それらの画像解析処理や、遊走能評価処理の解析結果(上記の解析情報)を、識別情報(ユーザ又は端末の識別番号など)とともに、端末装置に出力する。
 端末装置は、サーバである画像解析装置から出力されて受信した解析結果(上記の解析情報)をディスプレイ(例、表示部44)に表示する。端末装置は、画像解析装置の表示制御部427に制御されて解析結果を表示してもよいし、端末装置が表示制御部427と同様の機能を有する表示制御部を備えて、この表示制御部によって解析結果を表示させてもよい。例えば、端末装置は、上述の第4の実施形態の画面D1、画面D2、または画面D3を用いて解析結果を表示する。例えば、クラウドコンピューティングによりユーザの端末に解析情報を出力する情報処理システムは、サーバとして上記の画像解析装置を備え、サーバは、ネットワークを介して、細胞のタイムラプス画像TPを取得する取得部(画像取得部420)と、タイムラプス画像TPの基準画像PSから細胞の培養領域に形成されたスクラッチ領域を基準領域RSとして設定する領域設定部425と、基準領域RS内における細胞の細胞領域の面積を、タイムラプス画像TPからそれぞれ算出し、算出した面積をもとにユーザの端末におけるウェブブラウザに表示される上記解析情報を生成する算出部426と、該解析情報をユーザの端末に出力する制御部(例、表示制御部427)と、を備える。なお、サーバ(例、画像解析装置)は、上記の操作部45のようにユーザが情報を入力できる操作部(入力部)を備えていてもよい。
 上述したように、画像解析装置は、細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、複数の画像においてスクラッチ領域に対応する基準領域を設定する領域設定部と、基準領域内における細胞領域の面積及び/又は基準領域に対する細胞領域の面積の割合を複数の画像からそれぞれ算出する算出部と、算出された細胞領域の面積及び/又は細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御部と、を備える。
 上述したように、画像解析装置は、画像解析装置によって実行されるプログラムを記憶する記憶部と、プログラムを実行することにより、画像解析装置の動作を制御する制御部と、を備える。制御部は、細胞を時系列で撮像した複数の画像から基準画像を選択し、基準画像において細胞の無い領域をスクラッチ領域として抽出し、複数の画像のそれぞれにおいてスクラッチ領域に対応する基準領域を設定し、複数の画像それぞれの基準領域内に位置する細胞領域に所定の色を設定し、細胞領域の時系列の変化を表示装置に出力する動作を制御する。
 なお、上述した実施形態における画像解析装置(一例として演算部42、演算部42a、演算部42b、または演算部42c)の一部、例えば、画像取得部420、画像処理部421、基準画像選択部422、細胞領域判定部423、スクラッチ領域抽出部424、領域設定部425、算出部426、表示制御部427、基準領域面積算出部428a、面積割合算出部429a、及び遊走能評価部430bをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像解析装置(一例として演算部42、演算部42a、演算部42b、または演算部42c)に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
 また、上述した実施形態における画像解析装置(一例として演算部42、演算部42a、演算部42b、または演算部42c)の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。画像解析装置(一例として演算部42、演算部42a、演算部42b、または演算部42c)の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
 以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
11…インキュベータ、42、42a、42b、42c…演算部、422…基準画像選択部、423…細胞領域判定部、424…スクラッチ領域抽出部、426…算出部、427…表示制御部、428a…基準領域面積算出部、429a…面積割合算出部、430b…遊走能評価部、TP…タイムラプス画像、P…画像、PS…基準画像、RS…基準領域

Claims (15)

  1.  細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定部と、
     前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出部と、
     前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御部と、
     を備える画像解析装置。
  2.  前記算出部は、前記基準領域内に占める前記細胞領域の面積を時系列で撮像された前記複数の画像に含まれる画像における前記細胞領域に基づいて算出する
     請求項1に記載の画像解析装置。
  3.  前記基準領域の面積を算出する基準領域面積算出部と、
     前記基準領域面積算出部が算出した前記基準領域の前記面積と、前記算出部が算出した前記細胞領域の前記面積とに基づいて前記基準領域内に占める前記細胞領域の面積の割合を算出する面積割合算出部と
     をさらに備える請求項1または請求項2のいずれか一項に記載の画像解析装置。
  4.  時系列で撮像された前記複数の画像に含まれる画像における前記細胞の細胞領域を判定する細胞領域判定部
     をさらに備える請求項1から請求項3のいずれか一項に記載の画像解析装置。
  5.  前記基準画像の輝度値に基づいて前記基準画像から前記スクラッチ領域を抽出するスクラッチ領域抽出部をさらに備え、
     前記領域設定部は、前記スクラッチ領域抽出部が抽出した前記スクラッチ領域を前記基準領域として設定する
     請求項1から請求項4のいずれか一項に記載の画像解析装置。
  6.  前記基準画像においてユーザによって指定された前記スクラッチ領域を示す操作情報を取得する操作情報取得部をさらに備え、
     前記領域設定部は、前記操作情報取得部が受け付けた前記操作情報が示す前記スクラッチ領域を前記基準領域として設定する
     請求項1から請求項4のいずれか一項に記載の画像解析装置。
  7.  前記ユーザが前記操作情報を入力する操作部を備える請求項6に記載の画像解析装置。
  8.  前記算出された前記細胞領域の面積の時系列の変化に基づいて前記細胞の遊走能を評価する評価部
     をさらに備える請求項1から請求項7のいずれか一項に記載の画像解析装置。
  9.  時系列で撮像された前記複数の画像のなかから前記基準画像を選択する基準画像選択部
     をさらに備える請求項1から請求項8のいずれか一項に記載の画像解析装置。
  10.  前記細胞領域は、前記複数の画像において所定の閾値処理が実行された画像に対して境界を滑らかにする画像処理が行われることで抽出される、請求項1~9のいずれか一項に記載の画像解析装置。
  11.  請求項1から請求項9のいずれか一項に記載の画像解析装置と、
     培養容器に収納された前記細胞を培養する培養装置と、
     前記複数の画像を撮像する顕微鏡と、
     を備える細胞培養観察装置。
  12.  細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定過程と、
     前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出過程と、
     前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御過程と、
     を有する画像解析方法。
  13.  コンピュータに、
     細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定ステップと、
     前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出ステップと、
     前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を表示装置に表示させる制御ステップと、
     を実行させるためのプログラム。
  14.  クラウドコンピューティングによりユーザの端末に解析情報を出力する情報処理システムであって、
     サーバを備え、
     前記サーバは、
      ネットワークを介して、細胞を時系列で撮像した複数の画像を取得する取得部と、
      細胞を時系列で撮像した複数の画像より選択される基準画像から細胞の無い領域であるスクラッチ領域を抽出し、前記複数の画像において前記スクラッチ領域に対応する基準領域を設定する領域設定部と、
      前記基準領域内における細胞領域の面積及び/又は前記基準領域に対する前記細胞領域の面積の割合を前記複数の画像からそれぞれ算出する算出部と、
      前記算出された前記細胞領域の面積及び/又は前記細胞領域の面積の割合の時系列の変化を前記解析情報として前記ユーザの端末に出力する制御部と、
    を備える
     情報処理システム。
  15.  画像解析装置であって、
     前記画像解析装置は、
      前記画像解析装置によって実行されるプログラムを記憶する記憶部と、
      前記プログラムを実行することにより、前記画像解析装置の動作を制御する制御部と、
     を備え、
     前記制御部は、
      細胞を時系列で撮像した複数の画像から基準画像を選択し、
      前記基準画像において細胞の無い領域をスクラッチ領域として抽出し、
      前記複数の画像のそれぞれにおいて前記スクラッチ領域に対応する基準領域を設定し、
      前記複数の画像それぞれの前記基準領域内に位置する細胞領域に所定の色を設定し、前記細胞領域の時系列の変化を表示装置に出力する動作を制御する、
     画像解析装置。
PCT/JP2020/033666 2019-09-04 2020-09-04 画像解析装置、細胞培養観察装置、画像解析方法、プログラム、及び情報処理システム WO2021045214A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20860461.1A EP4026891A4 (en) 2019-09-04 2020-09-04 IMAGE ANALYZER, CELL CULTURE OBSERVATION DEVICE, IMAGE ANALYSIS METHOD, PROGRAM AND DATA PROCESSING SYSTEM
CN202080071863.1A CN114585722A (zh) 2019-09-04 2020-09-04 图像解析装置、细胞培养观察装置、图像解析方法、程序及信息处理系统
US17/639,855 US20220327694A1 (en) 2019-09-04 2020-09-04 Image analyzer, cell culture observation device, image analysis method, program, and data processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-161011 2019-09-04
JP2019161011A JP7532754B2 (ja) 2019-09-04 2019-09-04 画像解析装置、細胞培養観察装置、画像解析方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021045214A1 true WO2021045214A1 (ja) 2021-03-11

Family

ID=74846839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033666 WO2021045214A1 (ja) 2019-09-04 2020-09-04 画像解析装置、細胞培養観察装置、画像解析方法、プログラム、及び情報処理システム

Country Status (5)

Country Link
US (1) US20220327694A1 (ja)
EP (1) EP4026891A4 (ja)
JP (1) JP7532754B2 (ja)
CN (1) CN114585722A (ja)
WO (1) WO2021045214A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113416644A (zh) * 2021-06-17 2021-09-21 上海睿钰生物科技有限公司 一种确定细胞的迁移能力的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150734A (ja) 2013-02-05 2014-08-25 Osaka City Univ 神経細胞の遊走障害を伴う疾患の判定方法及びその利用
JP2015519347A (ja) * 2012-05-25 2015-07-09 アメリカ合衆国 カンナビノイド受容体活性関連障害及び疾患を調節する方法
JP2016169172A (ja) * 2015-03-11 2016-09-23 日本メナード化粧品株式会社 幹細胞の未分化状態維持剤及び増殖促進剤
US20170335404A1 (en) * 2016-05-14 2017-11-23 Amy P. Skubitz Inhibitors of cell adhesion
JP2019161011A (ja) 2018-03-13 2019-09-19 株式会社村田製作所 巻線型コイル部品、巻線型コイル部品の製造方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4982381B2 (ja) 2005-12-07 2012-07-25 M&Tプロジェクトパートナーズ株式会社 病理検査方法
JP4953092B2 (ja) 2008-03-04 2012-06-13 株式会社ニコン 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
JP2009229276A (ja) 2008-03-24 2009-10-08 Nikon Corp 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
US8515143B2 (en) 2009-01-09 2013-08-20 Dai Nippon Printing Co., Ltd. Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method
JP5816416B2 (ja) 2010-04-23 2015-11-18 国立大学法人名古屋大学 細胞評価装置、インキュベータ、プログラム、および、培養方法
JP5740101B2 (ja) 2010-04-23 2015-06-24 国立大学法人名古屋大学 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
EP2567340A1 (en) 2010-05-07 2013-03-13 Purdue Research Foundation Quantitative image analysis for wound healing assay
JP5821444B2 (ja) 2011-09-09 2015-11-24 大日本印刷株式会社 細胞画像解析装置、細胞画像解析方法、及び細胞画像解析プログラム
JP6102166B2 (ja) 2012-10-10 2017-03-29 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
JP6494903B2 (ja) 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
JP6097951B2 (ja) * 2013-08-22 2017-03-22 富士フイルム株式会社 幹細胞分化判定装置および方法並びにプログラム
JP2018014991A (ja) 2016-07-13 2018-02-01 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP6864313B2 (ja) 2016-12-20 2021-04-28 株式会社Screenホールディングス 化学物質の評価方法
JP6424911B2 (ja) 2017-02-28 2018-11-21 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
JP6939170B2 (ja) 2017-07-19 2021-09-22 大日本印刷株式会社 画像表示装置、プログラム及び制御方法
JP7463512B2 (ja) * 2020-07-02 2024-04-08 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015519347A (ja) * 2012-05-25 2015-07-09 アメリカ合衆国 カンナビノイド受容体活性関連障害及び疾患を調節する方法
JP2014150734A (ja) 2013-02-05 2014-08-25 Osaka City Univ 神経細胞の遊走障害を伴う疾患の判定方法及びその利用
JP2016169172A (ja) * 2015-03-11 2016-09-23 日本メナード化粧品株式会社 幹細胞の未分化状態維持剤及び増殖促進剤
US20170335404A1 (en) * 2016-05-14 2017-11-23 Amy P. Skubitz Inhibitors of cell adhesion
JP2019161011A (ja) 2018-03-13 2019-09-19 株式会社村田製作所 巻線型コイル部品、巻線型コイル部品の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4026891A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113416644A (zh) * 2021-06-17 2021-09-21 上海睿钰生物科技有限公司 一种确定细胞的迁移能力的方法和系统
WO2022262717A1 (zh) * 2021-06-17 2022-12-22 上海睿钰生物科技有限公司 一种确定细胞的迁移能力的方法和系统

Also Published As

Publication number Publication date
EP4026891A4 (en) 2023-10-11
EP4026891A1 (en) 2022-07-13
US20220327694A1 (en) 2022-10-13
JP7532754B2 (ja) 2024-08-14
CN114585722A (zh) 2022-06-03
JP2021036830A (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
JP6595156B2 (ja) 細胞画像取得装置および方法並びにプログラム
JP5659158B2 (ja) 画像処理装置、培養観察装置、及び画像処理方法
US8478008B2 (en) Culture apparatus, culture information management method, and computer readable medium storing program of same
EP2213722B1 (en) Program, computer, and culture state analyzing method
JP6291388B2 (ja) 細胞培養評価システムおよび方法
WO2015025506A1 (ja) 幹細胞分化判定装置および方法並びにプログラム
JP6130801B2 (ja) 細胞領域表示制御装置および方法並びにプログラム
JP6143365B2 (ja) 細胞画像評価装置および方法並びにプログラム
JP2006209698A (ja) 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
US20170199171A1 (en) Observation apparatus, observation method, observation system, program, and cell manufacturing method
JP6015112B2 (ja) 細胞評価装置、細胞評価方法およびプログラム
JP2013236564A (ja) 細胞評価装置、細胞評価方法およびプログラム
JP6145890B2 (ja) 細胞認識装置および方法並びにプログラム
WO2019181072A1 (ja) 画像処理方法、コンピュータプログラムおよび記録媒体
EP3604495B1 (en) Device, method and program for evaluating cell image
WO2021045214A1 (ja) 画像解析装置、細胞培養観察装置、画像解析方法、プログラム、及び情報処理システム
JP2020123044A (ja) 情報処理装置
JP6343874B2 (ja) 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP6376196B2 (ja) 細胞評価装置、細胞評価方法およびプログラム
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
French et al. High-throughput quantification of root growth
JP2019180264A (ja) 細菌検査装置および細菌検査方法
JP2018082712A (ja) 細胞撮像制御装置および方法並びにプログラム
JP6642751B2 (ja) 細胞の成熟度を判定する方法、観察装置、プログラム、制御装置、および細胞の製造方法
JP6951853B2 (ja) 解析結果閲覧装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20860461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020860461

Country of ref document: EP

Effective date: 20220404