WO2016162973A1 - 細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体 - Google Patents

細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体 Download PDF

Info

Publication number
WO2016162973A1
WO2016162973A1 PCT/JP2015/060985 JP2015060985W WO2016162973A1 WO 2016162973 A1 WO2016162973 A1 WO 2016162973A1 JP 2015060985 W JP2015060985 W JP 2015060985W WO 2016162973 A1 WO2016162973 A1 WO 2016162973A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
image
tracking
correction
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/060985
Other languages
English (en)
French (fr)
Inventor
新垣　英哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to DE112015006268.8T priority Critical patent/DE112015006268T5/de
Priority to PCT/JP2015/060985 priority patent/WO2016162973A1/ja
Priority to JP2017511395A priority patent/JP6496814B2/ja
Publication of WO2016162973A1 publication Critical patent/WO2016162973A1/ja
Priority to US15/721,408 priority patent/US20180025211A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention measures a time-series change in the cell position of at least one cell to be tracked in each image of a time-lapse cell image group obtained by time-lapse (time-lapse) imaging of cells observed using a microscope.
  • the present invention relates to a cell tracking correction method, a cell tracking correction device, and a computer-readable recording medium that temporarily stores a computer-readable cell tracking correction program for correcting the measurement error.
  • a reporter assay replaces a gene of a cell to be examined for biological activity with, for example, a reporter gene (such as a green fluorescent protein GFP or luciferase gene) that accompanies fluorescence expression and / or luminescence, and exhibits fluorescence and / or biological activity. By observing the emission intensity, biological activity can be visualized.
  • a biological sample and a biological substance to be examined can be imaged, and changes in expression level and / or shape characteristics inside and outside the biological sample can be observed over time.
  • time-lapse photography is performed specifically to capture the dynamic functional expression of protein molecules in a sample.
  • time-lapse imaging a plurality of cell images are acquired by repeating imaging after a predetermined period, and these cell images are arranged in time series to form a time-lapse cell image group.
  • the position of the cell of interest is identified from each image in the time-lapse cell image group, and the average luminance in the vicinity area of a predetermined size centered on the cell in the image is determined as the amount of fluorescence and / or luminescence of the cell.
  • the shape of the cell in a cell image is represented as feature-values, such as circularity, for example. Thereby, the change in the expression level and / or shape of the cells over time is measured.
  • Patent Document 1 discloses cell tracking software that applies automatic cell tracking processing such as a particle filter algorithm to a plurality of image frames (time-series image group) and analyzes cell characteristics based on the tracking result.
  • automatic cell tracking processing such as a particle filter algorithm to a plurality of image frames (time-series image group) and analyzes cell characteristics based on the tracking result.
  • Patent Document 1 does not correct an error in tracking a cell when the cell is tracked incorrectly due to various factors such as image capturing conditions.
  • the present invention has been made in view of the above circumstances, and it is possible to easily correct measurement errors when measuring time-series changes in cell positions in each cell image of a time-lapse cell image group. It is an object of the present invention to provide a cell tracking correction method, a cell tracking correction device, and a recording medium that temporarily stores a computer-readable cell tracking correction program.
  • the cell tracking correction method estimates the position of at least one cell in a plurality of images acquired by time-lapse imaging, tracks the position of the cell, and each imaging time point of the time-lapse imaging Generating a plurality of neighboring region images of the neighboring region including the cells from the image at the time of photographing, displaying the plurality of neighboring region images on a display unit, and An input of a correction amount for correcting the position of the cell with respect to one of the plurality of neighboring region images displayed on the display unit is received via a user interface, and the corresponding neighboring region image is handled according to the correction amount. Correct the location of the tracked cell.
  • a cell tracking correction apparatus includes a cell tracking processing unit that estimates a position of at least one cell in a plurality of images acquired by time-lapse imaging and tracks the position of the cell, and the time lapse Based on the position of the tracked cell at each photographing time point of photographing, a neighboring region image generating unit that generates a plurality of neighboring region images of a neighboring region including the cell from the image at the photographing time point; A display unit for displaying a neighborhood region image; and a user interface for receiving an input of a correction amount for correcting the position of the cell with respect to one of the plurality of neighborhood region images displayed on the display unit; And a misalignment correction unit that corrects the position of the tracked cell corresponding to the neighboring area image according to the correction amount.
  • a recording medium for temporarily storing a computer-readable cell tracking correction program estimates the position of at least one cell in a plurality of images acquired by time-lapse photography. Based on the cell tracking processing function for tracking the position of the cell and the position of the tracked cell at each photographing time point of the time-lapse photographing, a plurality of neighboring regions including the cell are obtained from the image at the photographing time point. For one of a neighborhood area image generation function for generating a neighborhood area image, a display function for displaying the plurality of neighborhood area images on a display section, and the plurality of neighborhood area images displayed on the display section A user interface function for accepting an input of a correction amount for correcting the position of the cell, and the proximity according to the correction amount. Realizing the positional deviation correction function to correct the position of the cell in which the tracked corresponding to the region image.
  • a cell tracking correction method when measuring a time-series change of a cell position in each cell image of a time-lapse cell image group, a cell tracking correction method, a cell tracking correction device, and a A recording medium that temporarily stores a computer-readable cell tracking correction program can be provided.
  • FIG. 1 is a configuration diagram showing a first embodiment of a microscope system provided with a cell tracking correction apparatus according to the present invention.
  • FIG. 2 is a diagram illustrating an example of a GUI screen that is a window for GUI operation displayed on the display device by the cell tracking correction device.
  • FIG. 3 is an enlarged view showing a plurality of crop region images arranged in time series displayed in the crop region image column on the GUI screen.
  • FIG. 4 is a functional block diagram showing the cell tracking correction device.
  • FIG. 5 is a flowchart of the cell tracking correction process in the apparatus.
  • FIG. 6 is a diagram showing a display of a plurality of crop region images arranged in time series for cells in the ROI set at the initial position on the GUI screen.
  • FIG. 7 is a diagram illustrating a crop region image group in which cells on the GUI screen start to deviate from the center of the crop region image, and correction of positional deviation of the cells.
  • FIG. 8 is a diagram showing a general method for correcting the cell position on the GUI screen.
  • FIG. 9 is a diagram showing a crop area image displayed on the GUI screen after the positional deviation correction by the same device and pressing of the automatic tracking processing button.
  • FIG. 10 is a diagram illustrating pressing of a feature amount calculation processing button on the GUI screen.
  • FIG. 11 is a diagram illustrating a display example of a crop region image group for a plurality of cells on the GUI screen.
  • FIG. 12 is a diagram illustrating another display example of the crop region image group for a plurality of cells on the GUI screen.
  • FIG. 1 shows a configuration diagram of a microscope system 1 including a cell tracking correction device 100.
  • the microscope system 1 includes a microscope 10, an imaging unit 20, a cell tracking correction device 100, an input device 40, and a display device 50.
  • the microscope 10 obtains an enlarged image of cells, for example.
  • the microscope 10 is, for example, a fluorescence microscope, a bright field microscope, a phase contrast microscope, a differential interference microscope, or the like.
  • the microscope 10 is provided with an imaging unit 20.
  • the imaging unit 20 is, for example, a CCD camera or the like, and includes an imaging element such as a CCD and an A / D converter.
  • the imaging device outputs an analog electric signal corresponding to the amount of light of the enlarged image of the cell for each of RGB.
  • the A / D converter outputs an electrical signal output from the image sensor as a digital image signal.
  • the imaging unit 20 captures an enlarged image of the cell obtained by the microscope 10 and outputs an image signal of the enlarged image.
  • the enlarged image of the cell is referred to as a cell image.
  • the imaging unit 20 converts a cell image acquired by photographing using a fluorescence microscope into a digital image signal, and outputs it as, for example, an 8-bit (256 gradation) RGB image signal.
  • the imaging unit 20 may be a camera that outputs a multi-channel color image.
  • the imaging unit 20 only needs to obtain a cell image through the microscope 10.
  • a microscope 10 is not limited to a fluorescence microscope, and may be a confocal laser scanning microscope using, for example, a photomultiplier.
  • the imaging unit 20 captures cells at a plurality of time points determined by a predetermined imaging cycle, for example, by performing time-lapse imaging. Therefore, a time-lapse cell image group I including a plurality of cell images taken in time series is obtained by this time-lapse imaging. This time-lapse cell image group I is recorded in the cell tracking correction apparatus 100. In this time-lapse cell image group I, the cell image at the start of imaging is set to I (1), and the cell image at the n-th shooting is set to I (n).
  • the cell tracking correction apparatus 100 shows a time-series change in the cell position of at least one tracking target cell in each cell image I (1) to I (n) of the time-lapse cell image group I collected using the microscope 10. Measure and correct measurement errors when measuring time-series changes in cell position.
  • the cell tracking correction apparatus 100 is connected to a microscope 10, an imaging unit 20, an input device 40 as a user interface, and a display device 50.
  • the cell tracking correction device 100 controls each operation of the imaging unit 20 and the microscope 10.
  • the cell tracking correction apparatus 100 performs various calculations including image processing of each cell image I (1) to I (n) obtained by the imaging unit 20.
  • the cell tracking / correcting device 100 is composed of, for example, a personal computer (PC).
  • the PC that is the cell tracking correction apparatus 100 includes a CPU 32, a memory 34, an HDD 36, an interface (I / F) 38, and a bus B.
  • the CPU 32, the memory 34, the HDD 36, and the I / F 38 are connected to the bus B.
  • an external recording medium or an external network is connected to the I / F 38.
  • the I / F 38 can also be connected to an external recording medium or an external server via an external network.
  • the cell tracking / correcting device 100 is not limited to performing processing on the time-lapse cell image group I obtained by the imaging unit 20, but each of the cell images I (1) to I (1) to I (F) recorded on the recording medium connected to the I / F 38. Processing may be performed on each cell image I (1) to I (n) acquired from I (n) or the I / F 38 through an external network.
  • a cell tracking correction program for operating the PC as the cell tracking correction device 100 when executed by the CPU 32 is recorded.
  • This cell tracking correction program shows a time-series change in the cell position of at least one tracking target cell in each cell image I (1) to I (n) of the time-lapse cell image group I collected using the microscope 10.
  • the cell tracking correction program includes a cell tracking processing function, a crop area image generation function, a display function, a user interface function, and a positional deviation correction function.
  • each position of at least one tracking target cell 230T among the cells 230 (see FIG. 2) in the plurality of cell images I (1) to I (n) acquired by time-lapse imaging is displayed on the PC.
  • the position of the tracking target cell 230T is tracked by estimation.
  • the crop region image generation function is based on the position of the tracking target cell 230T tracked at each imaging point of time-lapse shooting based on the position of the tracking target cell 230T tracked by the cell tracking processing function. From the cell images I (1) to I (n) at the time point, a neighboring region image of the neighboring region including the tracking target cell 230T, that is, a plurality of crop region images 281 as shown in FIG.
  • the display function causes the display device 50 to display the generated crop area image 281 at each time point on the PC.
  • the user interface function allows an input of a correction amount for correcting the position of the tracking target cell 230T to one of the plurality of crop region images 281 displayed on the display device 50.
  • the misalignment correction function is input to the PC from the user interface when there is a crop region image 281 including the tracking target cell 230T that is misaligned among the plurality of crop region images 281 displayed on the display device 50.
  • the positional deviation of the tracking target cell 230T is corrected according to the corrected amount.
  • the positional deviation means that the position of the tracking target cell 230T in the crop area image 281 is shifted from the center of the crop area image 281. That is, it means that the cell tracking result is incorrect.
  • the cell tracking correction program may be recorded on a recording medium connected via the I / F 38 or a server connected via the network from the I / F 38.
  • the cell tracking correction device 100 executes the cell tracking correction program recorded in the HDD 36 or the like by the CPU 32, thereby performing the cell tracking I (1) to I (n) output from the imaging unit 20. Correct cell tracking results. That is, measurement when measuring a time-series change of the cell position of at least one tracking target cell in each cell image I (1) to I (n) of the time-lapse cell image group I collected using the microscope 10. Correct the error.
  • the cell tracking result corrected by the cell tracking correction device 100 is recorded in the HDD 36.
  • the corrected cell tracking result may be recorded on an external recording medium via the I / F 38, or may be recorded on an external server via the network from the I / F 38.
  • an output device such as a printer may be connected to the cell tracking correction device 100.
  • the memory 34 for example, information necessary for cell tracking and cell tracking correction is recorded. In addition, the calculation result of the CPU 32 is temporarily recorded in the memory 34.
  • the input device 40 functions as a user interface as described above, and includes, for example, a mouse or a pointing device such as a touch panel configured on the display screen of the display device 50 in addition to a keyboard.
  • the user designates an area indicating a cell to be tracked from each of the cell images I (1) to I (n), and gives an instruction to correct the positional deviation of the cell 230 whose tracking result is incorrect. It is used to do.
  • the display device 50 includes, for example, a liquid crystal display or an organic EL display.
  • the display device 50 and the input device 40 constitute a graphical user interface (hereinafter abbreviated as GUI).
  • GUI graphical user interface
  • the display device 50 displays a window for GUI operation.
  • FIG. 2 shows an example of a GUI screen 200 that is a window for GUI operation displayed on the display device 50.
  • a cell image I (n) corresponding to the image number 210, here, a cell image 220 of I (5) is displayed.
  • this cell image 220 for example, three cells 230 are shown.
  • the tracking processing result of the cell 230 can be displayed. By viewing the GUI screen 200, the user can check the tracking processing status of the cell and the correction progress information of the tracking result.
  • the GUI screen 200 includes the following GUI component elements: an image number 210, a region of interest (ROI) 240, a region number 250, a mouse cursor 260, a crop region image column 280, an image number 270, and a time axis display. 285, a slider 290, an automatic tracking processing button 300, and a feature amount calculation processing button 310.
  • the ROI 240 is an area having an arbitrary size including the tracking target cell 230T.
  • the area number 250 is for identifying each ROI 240.
  • the mouse cursor 260 is for the user to perform a GUI operation.
  • the crop area image column 280 represents the tracking result of the tracking target cell 230T in each cell image 220.
  • the image number 270 indicates the number of the crop area image 281 displayed in the crop area image field 280.
  • the time axis display 285 is displayed below the crop area image field 280 and indicates when the crop area image 281 displayed in the crop area image field 280 is.
  • the slider 290 is for changing the cell image 220 displayed on the GUI screen 200.
  • FIG. 3 shows an enlarged view of the crop area image field 280. That is, in this crop area image column 280, for example, a plurality of crop area images 281 are displayed in time series as time t from the left end toward the right end elapses. These crop region images 281 are adjacent region images of the tracking target cell 230T obtained by cutting out images of a predetermined size from the cell images I (1) to I (n) of the time-lapse cell image group I with the tracking target cell 230T as the center. .
  • the crop area image field 280 may display a plurality of crop area images 281 by increasing the size of the crop area image field 280.
  • the cell image 220 on the GUI screen 200 is interlocked with the slider 290, and the cell image corresponding to the cell image number set with the slider 290 is displayed as the cell image 220 on the GUI screen 200.
  • the automatic tracking processing button 300 automatically estimates each position of at least one tracking target cell 230T in the plurality of cell images I (1) to I (n) acquired by time-lapse imaging, and the tracking target cell 230T. It is a button for instructing to track the position of the.
  • the feature amount calculation processing button 310 is a feature amount of the tracking target cell 230T at each time point based on the position of the tracking target cell 230T estimated by automatic tracking of the tracking target cell 230T, for example, brightness, shape, texture, etc. It is a button for instructing to calculate.
  • FIG. 4 shows a functional block diagram of the cell tracking correction apparatus 100.
  • the cell tracking correction device 100 is configured by the CPU 32 executing a cell tracking correction program recorded in the HDD 36, that is, functions of the following units, that is, an image recording unit 110, a tracking target cell position setting unit 120, A cell tracking processing unit 130, a cell position information recording unit 140, a crop image group creation unit 150, a position shift correction unit 160, a cell position information correction unit 170, and a cell feature amount calculation unit 180 are included.
  • an output unit 190 is connected to the cell feature amount calculation unit 180.
  • the image recording unit 110 sequentially receives image signals output from the imaging unit 20, for example, image signals of the respective cell images I (1) to I (n) captured using the microscope 10, and these image signals are input to the image recording unit 110, for example.
  • a time-lapse cell image group I is generated by recording on any of the recording medium connected to the I / F 38, the memory 34, or the HDD 36.
  • the tracking target cell position setting unit 120 receives the setting of the ROI 240 for any at least one tracking target cell 230T in the arbitrary cell image I (i) on the GUI screen 200 by operating the input device 40 as shown in FIG. Then, the ROI 240 is set as the position (initial position) at the start of tracking, and the information is sent to the cell tracking processing unit 130.
  • the cell tracking processing unit 130 estimates the position of the tracking target cell 230T in each of the cell images I (i + 1) to I (n) at a time point after the arbitrary cell image I (i), that is, The position of the tracking target cell 230T is tracked.
  • a predetermined image recognition technique is used to recognize the tracking target cell 230T.
  • the cell tracking processing unit 130 uses an automatic tracking process to track the position of the tracking target cell 230T. Any method may be used for this automatic tracking process, but here, a block matching process is applied as a known tracking method.
  • a block matching process when there are a plurality of frame images, a region that is most similar to the ROI 240 set for the tracking target cell 230T in the frame image before the current time is searched from the current frame image. Then, the searched area is estimated as the movement destination position of the tracking target cell 230T.
  • a square error of a luminance value called SSD (Sum of Squared Difference) or the like is used as a similarity for measuring the similarity between regions searched between frame images.
  • the cell position information recording unit 140 includes the position of the tracking target cell 230T in the arbitrary cell image I (i) set by the tracking target cell position setting unit 120 and each cell image I estimated by the cell tracking processing unit 130.
  • the positions of the tracking target cells 230T in (i + 1) to I (n) are recorded. These cell positions are recorded in, for example, a recording medium connected to the I / F 38, the memory 34, or the HDD 36.
  • the crop image group creation unit 150 includes a predetermined tracking target cell 230T in each cell image I (i) to I (n) based on each position of the tracking target cell 230T recorded by the cell position recording unit 140.
  • a crop image is generated from a neighborhood image of a neighborhood region of size. That is, on the GUI screen 200, as shown in FIG. 2, the ROI 240 is set for the tracking target cell 230T, and the crop image group creation unit 150 displays each cell image I recorded on the recording medium or the like by the image recording unit 110. From (i) to I (n), a neighboring region image of the neighboring region including the tracking target cell 230T in which the ROI 240 is set, that is, the crop region image 281 is cut out.
  • the crop image group creation unit 150 can obtain a plurality of crop region images (crop image group) 281 arranged in time series by cutting the crop region image 281 at each time point of time-lapse shooting.
  • the GUI screen is set such that the crop region image 281 in which the position of the tracking target cell 230T among the plurality of crop region images 281 is displaced with respect to the center of the crop region image 281, for example, is the center.
  • the position of the tracking target cell 230T on the crop region image 281 on 200 is corrected by operating the input device 40 as a pointing device.
  • the misalignment correction unit 160 Upon receiving the operation of the input device 40, the misalignment correction unit 160 sends the correction direction and correction amount according to the operation direction and operation amount of the input device 40 to the crop image group creation unit 150.
  • the crop image group creation unit 150 updates the crop region image 281 to be displayed by correcting the cropping position of the crop region image from the corresponding cell image according to the correction direction and the correction amount.
  • misalignment correction unit 160 sends the correction direction and correction amount according to the operation direction and operation amount of the input device 40 to the cell position information correction unit 170 as well.
  • the cell position information correction unit 170 is estimated by the cell position information recording unit 140 on the recording medium (not shown), the memory 34 or the HDD 36, that is, the cell tracking processing unit 130, based on the correction direction and the correction amount.
  • the position of the tracked target cell 230T is corrected.
  • the cell position information correction unit 170 sends the corrected position of the tracking target cell 230T to the cell tracking processing unit 130.
  • the cell tracking processing unit 130 includes the corrected crop region image 281 from the cell image corresponding to the corrected crop region image 281.
  • Cell tracking is performed based on the ROI 240 centering on the tracking target cell 230T.
  • the ROI 240 is automatically set according to the relationship between the tracking target cell 230T and the ROI 240 set by the tracking target cell position setting unit 120.
  • the cell feature amount calculation unit 180 calculates the feature amount of the tracking target cell 230T at each time point of time-lapse imaging based on the position of the tracking cell 230T recorded in the recording medium (not shown), the memory 34 or the HDD 36 by the cell position information recording unit 140. It is calculated from each cell image I (i) to I (n).
  • the feature amount of the tracking target cell 230T is, for example, a brightness feature, a shape feature, a texture feature, or the like.
  • the output unit 190 records the feature amount of the tracking target cell 230T calculated by the cell feature amount calculation unit 180, for example, on an external recording medium (not shown) connected via the I / F 38 or the HDD 36.
  • the imaging unit 20 captures an enlarged image of the cell obtained by the microscope 10 at each time point for each predetermined imaging cycle by time-lapse imaging, and outputs an image signal of the enlarged image.
  • the image signal for each time lapse photography is sent to the cell tracking correction apparatus 100, and is recorded in the HDD 36 or an external recording medium (not shown) by the image recording unit 110 as cell images I (1) to I (n) for each time lapse photography. .
  • a time-lapse cell image group I composed of a plurality of cell images I (1) to I (n) taken in time series by time-lapse imaging is recorded.
  • the CPU 32 of the cell tracking correction apparatus 100 reads an arbitrary cell image I (i) from each cell image I (1) to I (n) recorded by the image recording unit 110, and displays this cell image I (i). Display on the device 50.
  • a GUI screen 200 is displayed on the display device 50 as shown in FIG. 2, and a cell image I (i) is displayed as the cell image 220 in the GUI screen 200.
  • this cell image I (i) is the first cell image I (1), and is displayed as a cell image 220 in the GUI screen 200 by sliding the slider 290 by operating the input device 40.
  • Cell images can be updated.
  • the cell image I (5) with the image number (5) is designated and displayed.
  • the tracking target cell position setting unit 120 sets an initial position of the tracking target cell 230T in response to a GUI operation by the user in step S1. That is, the user operates the mouse cursor 260 on an arbitrary cell image I (i) on the GUI screen 200 to set the tracking start time position of the tracking target cell 230T, that is, the initial position. Specifically, the user drags and drops an arbitrary cell image I (i) using the mouse cursor 260 of the input device 40, which is a pointing device, so as to surround the desired tracking target cell 230T. specify.
  • the tracking target cell position setting unit 120 sets the center point of the ROI 240 as the position (initial position) of tracking start time of the tracking target cell 230T.
  • the tracking target cell position setting unit 120 sets a unique region number for identifying the region to the ROI 240. Here, “1” is set.
  • the tracking target cell position setting unit 120 sends initial position information including these initial position and area number to the cell tracking processing unit 130.
  • the cell tracking processing unit 130 automatically executes in step S2. Perform tracking processing.
  • the cell tracking processing unit 130 includes information on the initial position of the tracking target cell 230T set by the tracking target cell position setting unit 120 and each cell image I (i + of the time-lapse cell image group I recorded by the image recording unit 110. 1) to I (n) are automatically tracked by a predetermined image recognition technique to estimate the cell position of the tracking target cell 230T in each cell image I (i + 1) to I (n) (cell tracking) To do.
  • the cell position of the tracking target cell 230T estimated by the cell tracking processing unit 130 is transferred to the cell position information recording unit 140 together with the initial position of the tracking target cell 230T, and is recorded in a recording medium (not shown), the memory 34 or the HDD 36.
  • the crop image group creation unit 150 reads the cell position of the tracking target cell 230T in each cell image I (i) to I (n) recorded by the cell position information recording unit 140.
  • the crop image group creation unit 150 is centered on the position of the tracking target cell 230T indicated by each cell position from each cell image I (i) to I (n) of the time-lapse cell image group I recorded by the image recording unit 110.
  • a plurality of crop region images 281 are created by cropping (cutting out) the rectangular region having a predetermined size. These crop region images 281 are sent to the display device 50. Note that the rectangular area of the predetermined size may be determined in advance, may be arbitrarily designated by the user, or may correspond to the ROI 240.
  • a plurality of crop region images 281 started from the above are displayed in time series.
  • these crop region images 281 are created by cutting (trimming) the cell images I (5) to I (14) of the time-lapse cell image group I, for example.
  • the cell image displayed as the cell image 220 in the GUI screen 200 can be updated by sliding the slider 290 by operating the input device 40.
  • the plurality of crop region images 281 displayed in the crop region image column 280 are also updated.
  • the crop area image 281 corresponding to the cell image 220 is updated so as to be displayed at the left end of the crop area image column 280. Therefore, the user can easily find the tracking result error simply by observing the crop area image 281 displayed in the crop area image field 280 while sliding the slider 290.
  • the position of the tracking target cell 230T cannot always be accurately estimated, and often deviates from the actual position of the tracking target cell 230T due to accumulation of errors in the estimated position of the tracking target cell 230T.
  • An incorrect area may be cropped and displayed as a cell image I (n).
  • FIG. 6 shows a display of the GUI screen 200 including the crop region image 281 in which the tracking target cell 230T is starting to deviate from the center of the crop region image 281.
  • a plurality of crop area images 281 cut out from the respective cell images I (5) to I (14) acquired at the time of the fifth to 14th time-lapse shooting are time-series. Are displayed side by side.
  • the crop region images 281 are assigned image numbers (5) to (14).
  • the position of the tracking target cell 230T in the crop region image 281 cut out from the cell image I (11) starts to deviate from the center of the crop region image 281. Further, in the crop region image 281 cut out from the cell image I (13) at the time lapse photography after two cycles, the position of the tracking target cell 230T is completely shifted from the center of the crop region image 281 and the crop region image 281 is concerned. Exist outside the area. In this way, the cell tracking processing unit 130 has completely mistakenly estimated the position of the tracking target cell 230T.
  • the position of the tracking target cell 230T is set to the center of the crop area image 281 on the GUI screen 200. Correct it. That is, as shown in FIG. 7, the user moves the mouse cursor 260 to the position of the tracking target cell 230T in the crop area image 281 on the GUI screen 200, here the crop area image 281 cut out from the cell image I (11). Is moved and the tracking target cell 230T in the crop region image 281 is dragged.
  • the display of the cell image 220 on the GUI screen 200 is updated to the corresponding one, in this case, the cell image 220 of I (11). Then, the position of the tracking target cell 230T that is displaced from the center of the crop region image 281 is moved so as to be positioned at the center of the crop region image 281 and dropped.
  • the correction of the displacement is performed by moving the ROI 240 by dragging and dropping the ROI 240 set on the tracking target cell 230T that is displaced as shown in FIG.
  • the tracking target cell 230T is positioned inside.
  • a drag-and-drop operation is performed so that the tracking target cell 230T in the crop region image 281 is moved to the center of the crop region image. Then, the movement operation of the tracking target cell 230T in the crop region image 281 is reflected in the ROI 240 in the corresponding cell image 220.
  • the misalignment correction unit 160 determines the distance and direction between the position where the mouse button was pressed on the crop area image 281 at the start of the drag and drop operation and the position where the drag and drop operation ended (dropped). The correction amount of the positional deviation due to the drag and drop operation of the mouse cursor 260 is calculated.
  • the position shift correction unit 160 sends the correction amount of the position of the tracking target cell 230T by the GUI operation to the cell position information correction unit 170.
  • the cell position information correction unit 170 corrects the estimation result of the cell position recorded by the cell position information recording unit 140 based on the correction amount of the position of the tracking target cell 230T.
  • the positional deviation correction unit 160 also sends the correction amount of the position of the tracking target cell 230T by the GUI operation to the crop image group creation unit 150.
  • the crop image group creation unit 150 is based on the crop region image 281 in which the drag-and-drop operation is performed on the tracking target cell 230T based on the correction amount of the position of the tracking target cell 230T. It is created again from the cell image I (11). Further, the crop image group creation unit 150 creates again a plurality of crop region images 281 from the subsequent cell images I (12) to I (n) based on the correction amount.
  • the crop image group creation unit 150 sends the plurality of crop area images 281 created again to the display device 50. As a result, the plurality of crop area images 281 displayed on the GUI screen 200 are updated to the plurality of crop area images 281 created again.
  • step S4 the user moves the mouse cursor 260 onto the automatic tracking processing button 300 again on the GUI screen 200 as shown in FIG. 9, and presses the automatic tracking processing button 300.
  • the cell tracking correction device 100 returns to the operation of step S2 and executes the automatic tracking processing by the cell tracking processing unit 130 again.
  • the cell tracking processing unit 130 performs the retracking process only for the cell image acquired at a time point later than the cell image (I (11)) corresponding to the crop region image 281 for which the positional deviation correction operation has been performed. May be performed.
  • the cell position of the tracking target cell 230T estimated by the cell tracking processing unit 130 is transferred to the cell position information recording unit 140 and recorded.
  • the crop image group creation unit 150 again creates a plurality of crop region images 281 that are cropped from the cell images I (5) to I (n) recorded by the image recording unit 110, as described above. Also in this case, the crop region image 281 is created again only from the cell image (I (12)) next to the cell image corresponding to the crop region image 281 subjected to the positional deviation correction, and the previous crop region image 281 You may make it use what was created previously as it is. These crop region images 281 are sent to the display device 50 and displayed in time series in the crop region image column 280 on the GUI screen 200 of the display device 50.
  • the user slides the slider 290 on the GUI screen 200, and the crop region images 281 arranged in time series for the tracking target cell 230T having the region number “1” displayed in the crop region image column 280.
  • the position of the tracking target image 230T is shifted from the center of the crop area image 281, the position of the tracking target cell 230T is corrected to the center of the crop area image 281 on the GUI screen 200. Repeat the operation.
  • the user when the correction of the positional deviation has been completed for the tracking target cell 230T of the region number “1”, the user additionally designates another cell 230 as the tracking target cell 230 and repeats the above processing. Can do.
  • step S5 the user instructs the cell tracking correction apparatus 100 to repeat the operation from step S1.
  • the ROI 240 is designated so as to surround another desired tracking target cell 230T.
  • the region number “2” is set for this ROI 240.
  • the crop region image column 280 on the GUI screen 200 includes a plurality of crop region images 281 for each tracking target cell 230T.
  • the crop region image column 280 on the GUI screen 200 includes a plurality of crop region images 281 for each tracking target cell 230T.
  • tracking target cells 230T are specified.
  • a larger number of tracking target cells 230T can be specified.
  • the feature amount calculation processing button 310 on the GUI screen 200 is pressed by the user as shown in FIG. 10, for example.
  • the cell feature amount calculation unit 180 records each cell image I (i) to I (n) of the time-lapse cell image group I recorded by the cell position information recording unit 140 and the image recording unit 110 in step S6. Based on the existing cell images I (i) to I (n), the feature amount of the tracking target cell 230T is calculated for each of the cell images I (i) to I (n).
  • the feature amount of the cell 230 is, for example, brightness, shape, texture, or the like.
  • brightness is calculated. Specifically, the brightness is calculated by an average value of pixel values of a pixel group included in a rectangular area having a predetermined size centered on the position of the tracking target cell 230T in each of the cell images I (i) to I (n). Is done.
  • the feature amount of the tracking target cell 230T is transferred to the output unit 190 and recorded on a predetermined medium in step S7.
  • the feature quantity is calculated by pressing the feature quantity calculation processing button 310, but the feature quantity calculation process is automatically executed immediately after the tracking process without pressing the button. It does not matter.
  • the position of the tracking target cell 230T among the plurality of crop region images 281 displayed on the GUI screen 200 is displaced with respect to the central portion of the crop region image 281. If there is a crop area image 281 that is being operated, the position of the tracking target cell 230T is corrected to the center of the crop area image 281 by a GUI operation on the GUI screen 200 with respect to the tracking target cell 230T of the crop area image 281.
  • the time-series changes of the cell positions in the cell images I (i) to I (n) of the time-lapse cell image group I based on the correction amount of the positional deviation when the position of the tracking target cell 230T is corrected.
  • the amount of light emitted from the cell 230 decreases with the lapse of time by continuing to irradiate with excitation light, so that a stable image that can be used for quantitative evaluation can be obtained. It is difficult to shoot over time. For this reason, even if the cell 230 which is a fluorescent sample is tracked by the cell tracking process using a computer, the position of the cell 230 is often erroneously estimated. In contrast, the present microscope system 1 can correct an erroneous estimation result of the cell position.
  • the position of the tracking target cell 230T When the position of the tracking target cell 230T is corrected, the position of the tracking target cell 230T in the plurality of crop region images 281 generated after the time point than the generation time of the crop region image 281 in which the cell position is corrected. Therefore, it is possible to automatically correct the position of the tracking target cell 230T in each crop region image 281 generated temporally after the crop region image 281 where the positional shift instructed by the user has started to occur. As a result, the position of the tracking target cell 230T need not be individually corrected for each crop region image 281.
  • the generation time point of the crop area image 281 in which the position is corrected may be corrected. It is also possible to automatically correct the position of the cell 230 in each crop region image 281 that is temporally earlier than the crop region image 281 where the positional shift instructed by the user has started to occur.
  • the tracking target cell 230T in each crop region image 281 in which misalignment has occurred can be automatically corrected.
  • the processing for another observation target cell 230T is performed after the correction of the positional deviation for one observation target cell 230T is completed, but at the time of setting the initial cell position in step S1, A plurality of observation target cells 230T may be designated.
  • a plurality of crop region images 281 corresponding to a plurality of tracking target cells 230T are displayed simultaneously and in parallel with each other. While checking the positional deviation of each tracking target cell 230T in the plurality of crop region images 281 corresponding to each tracking target cell 230T of “1” and “2” in parallel, if there is a positional deviation, the positional deviation is corrected. can do.
  • Microscope system 10: Microscope, 20: Imaging unit, 32: CPU, 34: Memory, 36: HDD, 38: Interface (I / F), 40: Input device, 50: Display device, 100: Cell tracking correction Device: 110: Image recording unit, 120: Tracking target cell position setting unit, 130: Cell tracking processing unit, 140: Cell position information recording unit, 150: Crop image group creation unit, 160: Misalignment correction unit, 170: Cell Position information correction unit, 180: cell feature amount calculation unit, 190: output unit, 281: crop region image, 200: GUI screen, 210: image number, 220: cell image, 230: cell, 230T: cell to be tracked, 240 : Region of interest (ROI), 250: Region number, 260: Mouse cursor, 270 Image number, 280: crop region image column, 290: Slider, 300: automatic tracking process button 310: feature quantity calculation processing button B: bus.
  • ROI Region of interest

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Biotechnology (AREA)
  • Biochemistry (AREA)
  • Zoology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medicinal Chemistry (AREA)
  • Pathology (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

　細胞追跡修正装置（100）は、細胞追跡処理部（130）と、近傍領域画像生成部（150）と、表示部（50）と、ユーザインタフェース（40）と、位置ずれ修正部（160）とを含む。前記細胞追跡処理部（130）は、タイムラプス撮影により取得された複数の画像中の少なくとも１つの細胞の各位置を追跡する。前記近傍領域画像生成部（150）は、前追跡された前記細胞の位置を基に、当該時点の前記画像から当該細胞を含む近傍領域画像を複数生成する。前記表示部（50）には、前記複数の近傍領域画像が表示される。前記ユーザインタフェース（40）は、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付ける。前記位置ずれ修正部（160）は、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する。

Description

細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体
　本発明は、顕微鏡を用いて観察される細胞をタイムラプス（微速度）撮影することで取得されるタイムラプス細胞画像群の各画像中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測する際に、当該計測の誤りを修正する細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体に関する。
　生物学分野及び医学分野の研究では、例えば細胞等の生体試料の生物学的活性をレポータアッセイにより検出する技術が広く利用されている。レポータアッセイは、生物学的活性について調べたい細胞の遺伝子を、例えば蛍光発現及び／又は発光を伴うレポーター遺伝子（緑色蛍光タンパク質ＧＦＰ又はルシフェラーゼ遺伝子等）に置き換え、生物学的活性を表す蛍光及び／又は発光強度を観測することにより、生物学的活性を可視化することができる。これにより、レポータアッセイでは、例えば生体試料と調べたい生体関連物質とを画像化し、生体試料内外における発現量及び／又は形状特徴の変化を経時的に観察することができる。
　レポーター物質による蛍光及び／又は発光を用いる観察を利用する研究分野では、具体的に試料内のタンパク質分子の動的な機能発現を捉えるためにタイムラプス撮影等が行われている。タイムラプス撮影では、所定期間を空けて撮影を繰り返すことにより複数の細胞画像を取得し、これら細胞画像を時系列に並べてタイムラプス細胞画像群とする。タイムラプス細胞画像群の一枚一枚の画像から注目する細胞の位置を特定し、当該画像中の細胞を中心とした所定サイズの近傍領域内の平均輝度等を細胞の蛍光量及び／又は発光量として記録する。又は細胞画像中の細胞の形状を例えば円形度等の特徴量として表す。これにより、時間経過に沿った細胞の発現量及び／又は形状の変化を計測する。
　ここで、生きた細胞は、一般に、常にランダムな移動を繰り返している。そのため、細胞の微妙な動きに追随し、細胞の位置を正確に特定する必要がある。しかしながら、ヒト（研究者等）が目視でタイムラプス細胞画像群の各細胞画像中から細胞の位置を確認し特定することは極めて煩雑な作業である。このため、近年、コンピュータを用いた画像認識技術等を応用し、タイムラプス細胞画像群の各細胞画像中の細胞の位置を自動的に推定し、細胞の正確な位置を追い続けることのできる細胞追跡処理を構築している。このように、細胞追跡での作業の手間を軽減する試みが盛んに行われている。
　しかしながら、タイムラプス撮像の条件によっては、必ずしも安定して鮮明な細胞画像を撮影することができるとは限らない。例えば蛍光試料の撮像の場合、励起光を照射し続けることで蛍光試料から発せられる光量が時間経過と共に減少するという性質がある。このため、定量的な評価に利用できる安定した画像を経時的に撮ることが困難である。この場合、コンピュータを用いた細胞追跡処理では、細胞位置を誤って推定してしまうことがしばしば起きている。このため、細胞位置の誤った追跡結果に対して何らかの手段を用いて修正することが必要である。
　特許文献１は、複数の画像フレーム（時系列画像群）に対し粒子フィルタ・アルゴリズム等の細胞自動追跡処理を適用し、追跡結果に基づき細胞特性を分析する細胞追跡ソフトウェアについて開示する。
特開２０１４－０８９１９１号公報
　特許文献１は、画像の撮像条件等の様々な要因によって細胞の追跡を誤ったときに、当該細胞の追跡の誤りを修正するものではない。
　本発明は、上記事情に鑑みて為されたものであり、タイムラプス細胞画像群の各細胞画像中の細胞位置の時系列的変化を計測する際に、計測の誤りを簡便に修正することができる細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体を提供することを目的とする。
　本発明の主要な局面に係る細胞追跡修正方法は、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡し、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成し、前記複数の近傍領域画像を表示部に表示し、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力をユーザインタフェースを介して受け付け、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する。
　本発明の主要な局面に係る細胞追跡修正装置は、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡する細胞追跡処理部と、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成する近傍領域画像生成部と、前記複数の近傍領域画像を表示するための表示部と、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けるユーザインタフェースと、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する位置ずれ修正部とを具備する。
　本発明の主要な局面に係るコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体は、コンピュータに、タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡させる細胞追跡処理機能と、前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成させる近傍領域画像生成機能と、前記複数の近傍領域画像を表示部に表示させる表示機能と、当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けさせるユーザインタフェース機能と、前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正させる位置ずれ修正機能と実現させる。
　本発明によれば、タイムラプス細胞画像群の各細胞画像中の細胞位置の時系列的変化を計測する際に、計測の誤りを簡便に修正することができる細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体を提供できる。
図１は、本発明に係る細胞追跡修正装置を備えた顕微鏡システムの第１の実施の形態を示す構成図である。 図２は、細胞追跡修正装置によって表示装置に表示されるＧＵＩ操作のためのウィンドウであるＧＵＩ画面の一例を示す図である。 図３は、ＧＵＩ画面上におけるクロップ領域画像欄に表示される時系列に並べられた複数のクロップ領域画像を示す拡大図である。 図４は、細胞追跡修正装置を示す機能ブロック図である。 図５は、同装置における細胞追跡修正処理フローチャートである。 図６は、ＧＵＩ画面上における初期位置に設定されたＲＯＩ内の細胞に対する時系列に並んだ複数のクロップ領域画像の表示を示す図である。 図７は、ＧＵＩ画面上における細胞がクロップ領域画像の中心からずれ始めているクロップ領域画像群と当該細胞の位置ずれ修正とを示す図である。 図８は、ＧＵＩ画面上における一般的な細胞位置の修正方法を示す図である。 図９は、同装置により位置ずれ修正後にＧＵＩ画面上に表示されるクロップ領域画像及び自動追跡処理ボタンの押下を示す図である。 図１０は、ＧＵＩ画面上の特徴量計算処理ボタンの押下を示す図である。 図１１は、ＧＵＩ画面上の複数の細胞に対するクロップ領域画像群の表示例を示す図である。 図１２は、ＧＵＩ画面上の複数の細胞に対するクロップ領域画像群の他の表示例を示す図である。
　以下、本発明の一実施の形態について図面を参照して説明する。　
　図１は細胞追跡修正装置１００を含む顕微鏡システム１の構成図を示す。顕微鏡システム１は、顕微鏡１０と、撮像部２０と、細胞追跡修正装置１００と、入力装置４０と、表示装置５０とを含む。
　顕微鏡１０は、例えば細胞の拡大像を得る。この顕微鏡１０は、例えば蛍光顕微鏡、明視野顕微鏡、位相差顕微鏡又は微分干渉顕微鏡等である。この顕微鏡１０には、撮像部２０が設けられている。
　撮像部２０は、例えばＣＣＤカメラ等であり、ＣＣＤ等の撮像素子と、Ａ／Ｄ変換器とを含む。撮像素子は、細胞の拡大像の光量に応じたアナログの電気信号をＲＧＢ別に出力する。Ａ／Ｄ変換器は、撮像素子から出力される電気信号をデジタルの画像信号として出力する。この撮像部２０は、顕微鏡１０の接眼部に取り付けられると、当該顕微鏡１０により得られる細胞の拡大像を撮像し、当該拡大画像の画像信号を出力する。以降、細胞の拡大画像を細胞画像と称する。
　撮像部２０は、蛍光顕微鏡を利用した撮影で取得した細胞画像をデジタルの画像信号に変換し、例えば８ビット（２５６階調）のＲＧＢの画像信号として出力する。この撮像部２０は、多チャンネルカラー画像を出力するカメラ等でもよい。
　撮像部２０としては、顕微鏡１０を通して細胞画像を得るものであればよい。このような顕微鏡１０としては、蛍光顕微鏡に限らず、例えばフォトマル等を利用する共焦点レーザ走査型顕微鏡でもよい。
　この撮像部２０は、タイムラプス撮影を行うことによって、例えば所定の撮影周期によって決められた複数の時点において細胞を撮像する。従って、このタイムラプス撮影によって、時系列に沿って撮像された複数の細胞画像を含むタイムラプス細胞画像群Ｉが得られる。このタイムラプス細胞画像群Ｉは、細胞追跡修正装置１００に記録される。このタイムラプス細胞画像群Iは、撮像開始時点の細胞画像をＩ(1)とし、ｎ回目の撮影時の細胞画像をＩ(n)とする。
　細胞追跡修正装置１００は、顕微鏡１０を用いて収集されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)～Ｉ(n)中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測し、かつ細胞位置の時系列的変化を計測するときの計測の誤りを修正する。この細胞追跡修正装置１００には、顕微鏡１０と、撮像部２０と、ユーザインタフェースとしての入力装置４０及び表示装置５０とが接続されている。
　細胞追跡修正装置１００は、撮像部２０と顕微鏡１０との各動作を制御する。この細胞追跡修正装置１００は、撮像部２０により得られた各細胞画像Ｉ(1)～Ｉ(n)の画像処理を含む各種演算を行う。
　この細胞追跡修正装置１００は、例えばパーソナルコンピュータ（ＰＣ）から成る。具体的には、細胞追跡修正装置１００であるＰＣは、ＣＰＵ３２と、メモリ３４と、ＨＤＤ３６と、インターフェース（Ｉ／Ｆ）３８と、バスＢとを含む。ＣＰＵ３２とメモリ３４とＨＤＤ３６とＩ／Ｆ３８とは、バスＢに接続されている。Ｉ／Ｆ３８には、例えば外部の記録媒体が接続されたり、又は外部のネットワークが接続される。Ｉ／Ｆ３８は、外部のネットワークを介して外部の記録媒体又は外部のサーバに接続されることもできる。
　細胞追跡修正装置１００は、撮像部２０により得られたタイムラプス細胞画像群Ｉに対する処理を行うのに限らず、Ｉ／Ｆ３８に接続された記録媒体に記録されている各細胞画像Ｉ(1)～Ｉ(n)、又はＩ／Ｆ３８から外部のネットワークを通して取得された各細胞画像Ｉ(1)～Ｉ(n)に対する処理を行ってもよい。
　ＨＤＤ３６には、ＣＰＵ３２によって実行されたときにＰＣを細胞追跡修正装置１００として動作させるための細胞追跡修正プログラムが記録されている。この細胞追跡修正プログラムは、顕微鏡１０を用いて収集されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)～Ｉ(n)中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測するときの計測の誤りを修正する機能を含む。すなわち、この細胞追跡修正プログラムは、細胞追跡処理機能と、クロップ領域画像生成機能と、表示機能と、ユーザインタフェース機能と、位置ずれ修正機能とを含む。
　細胞追跡処理機能は、ＰＣに、タイムラプス撮影により取得された複数の細胞画像Ｉ(1)～Ｉ(n)中における細胞２３０（図２参照）のうち少なくとも１つの追跡対象細胞２３０Ｔの各位置を推定させて、当該追跡対象細胞２３０Ｔの位置を追跡させる。クロップ領域画像生成機能は、ＰＣに、この細胞追跡処理機能により追跡された追跡対象細胞２３０Ｔの位置に基づいて、タイムラプス撮影した各撮影時点において追跡された追跡対象細胞２３０Ｔの位置を基に、当該時点の各細胞画像Ｉ(1)～Ｉ(n)から追跡対象細胞２３０Ｔを含む近傍領域の近傍領域画像、すなわち図２に示すように複数のクロップ領域画像２８１を生成させる。表示機能は、ＰＣに、生成された各時点のクロップ領域画像２８１を表示装置５０に表示させる。ユーザインタフェース機能は、表示装置５０に表示されている複数のクロップ領域画像２８１のうちの１つに対して追跡対象細胞２３０Ｔの位置を修正する修正量の入力を受け付けさせる。位置ずれ修正機能は、表示装置５０に表示されている複数のクロップ領域画像２８１のうち位置ずれしている追跡対象細胞２３０Ｔを含むクロップ領域画像２８１が存在する場合、ＰＣに、ユーザインタフェースから入力された修正量に従って追跡対象細胞２３０Ｔの位置ずれを修正させる。なお、本明細書において、位置ずれとは、クロップ領域画像２８１の中央部に対して当該クロップ領域画像２８１中の追跡対象細胞２３０Ｔの位置がずれていることを指す。つまり、細胞追跡結果が誤っていることを意味する。
　この細胞追跡修正プログラムは、Ｉ／Ｆ３８を介して接続された記録媒体、又はＩ／Ｆ３８からネットワークを介して接続されたサーバに記録されていてもよい。
　従って、細胞追跡修正装置１００は、ＣＰＵ３２によってＨＤＤ３６等に記録されている細胞追跡修正プログラムを実行することにより、撮像部２０から出力された各細胞画像Ｉ(1)～Ｉ(n)に対して細胞追跡結果の修正を行う。すなわち、顕微鏡１０を用いて収集されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)～Ｉ(n)中の少なくとも１つの追跡対象細胞の細胞位置の時系列的変化を計測するときの計測の誤りの修正を行う。
　細胞追跡修正装置１００により修正された細胞追跡結果は、ＨＤＤ３６に記録される。修正された細胞追跡結果は、Ｉ／Ｆ３８を介して外部の記録媒体に記録されたり、又はＩ／Ｆ３８からネットワークを通して外部のサーバに記録されるようにしてもよい。
　なお、細胞追跡修正装置１００には、プリンタ等の出力装置が接続されてもよい。
　メモリ３４には、例えば細胞の追跡及び細胞追跡の修正に必要な情報が記録されている。又、メモリ３４には、ＣＰＵ３２の演算結果等が一時的に記録される。
　入力装置４０は、上記のようにユーザインタフェースとして機能するもので、例えばキーボードに加えて、マウス又は表示装置５０の表示画面上に構成されたタッチパネル等のポインティングデバイスを含む。この入力装置４０は、ユーザが各細胞画像Ｉ(1)～Ｉ(n)中から追跡対象とする細胞を示す領域を指定したり、追跡結果が誤った細胞２３０の位置ずれを修正する指示をしたりするために用いられる。
　表示装置５０は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等を含む。この表示装置５０は、入力装置４０と共にグラフィカルユーザインターフェース（以下、ＧＵＩと省略する）を構成する。この表示装置５０には、ＧＵＩ操作のためのウィンドウ等が表示される。
　図２は、表示装置５０に表示されるＧＵＩ操作のためのウィンドウであるＧＵＩ画面２００の一例を示す。このＧＵＩ画面２００上には、画像番号２１０に対応する細胞画像Ｉ(n)、ここではＩ(5)の細胞画像２２０が表示されている。この細胞画像２２０中には、例えば３つの細胞２３０が写っている。このＧＵＩ画面２００上には、細胞２３０の追跡処理結果等が表示可能である。ユーザは、ＧＵＩ画面２００を見ることによって細胞の追跡処理状況及び追跡結果の修正経過情報の確認等を行うことができる。
　ＧＵＩ画面２００は、以下のＧＵＩ部品要素、すなわち画像番号２１０と、関心領域（ＲＯＩ）２４０と、領域番号２５０と、マウスカーソル２６０と、クロップ領域画像欄２８０と、画像番号２７０と、時間軸表示２８５と、スライダ２９０と、自動追跡処理ボタン３００と、特徴量計算処理ボタン３１０とを含む。ＲＯＩ２４０は、追跡対象細胞２３０Ｔを含む任意の大きさの領域である。領域番号２５０は、ＲＯＩ２４０の個々を識別するためのものである。マウスカーソル２６０は、ユーザがＧＵＩ操作を行うためのものである。クロップ領域画像欄２８０は、各細胞画像２２０における追跡対象細胞２３０Ｔの追跡結果を表す。画像番号２７０は、クロップ領域画像欄２８０に表示されているクロップ領域画像２８１の番号を示す。時間軸表示２８５は、クロップ領域画像欄２８０の下方に表示され、クロップ領域画像欄２８０中に表示されているクロップ領域画像２８１がどの時点かを示す。スライダ２９０は、ＧＵＩ画面２００上に表示する細胞画像２２０を変更するためのものである。
　クロップ領域画像欄２８０には、クロップ領域画像２８１が時系列に従って複数並べて表示される。図３はクロップ領域画像欄２８０の拡大図を示す。すなわち、このクロップ領域画像欄２８０には、例えば左端から右端に向う時間ｔの経過に従って複数のクロップ領域画像２８１が時系列に表示される。これらクロップ領域画像２８１は、タイムラプス細胞画像群Ｉの各細胞画像Ｉ(1)～Ｉ(n)から追跡対象細胞２３０Ｔを中心として所定サイズの画像を切り取った追跡対象細胞２３０Ｔの近傍領域画像である。クロップ領域画像欄２８０は、当該クロップ領域画像欄２８０のサイズを大きくして複数のクロップ領域画像２８１を表示してもよい。
　ＧＵＩ画面２００上の細胞画像２２０はスライダ２９０と連動しており、スライダ２９０で設定した細胞画像番号に対応した細胞画像が、このＧＵＩ画面２００上の細胞画像２２０として表示される。
　自動追跡処理ボタン３００は、タイムラプス撮影により取得された複数の細胞画像Ｉ(1)～Ｉ(n)中の少なくとも１つの追跡対象細胞２３０Ｔの各位置を自動的に推定して当該追跡対象細胞２３０Ｔの位置を追跡することを指示するためのボタンである。　
　特徴量計算処理ボタン３１０は、例えば追跡対象細胞２３０Ｔの自動追跡により推定された当該追跡対象細胞２３０Ｔの位置に基づいて各時点における当該追跡対象細胞２３０Ｔの特徴量、例えば明るさ、形状又はテクスチャ等を算出することを指示するためのボタンである。
　図４は、細胞追跡修正装置１００の機能ブロック図を示す。この細胞追跡修正装置１００は、ＣＰＵ３２がＨＤＤ３６に記録されている細胞追跡修正プログラムを実行することにより構成される以下の各部の機能、すなわち画像記録部１１０と、追跡対象細胞位置設定部１２０と、細胞追跡処理部１３０と、細胞位置情報記録部１４０と、クロップ画像群作成部１５０と、位置ずれ修正部１６０と、細胞位置情報補正部１７０と、細胞特徴量算出部１８０とを含む。なお、細胞特徴量算出部１８０には、出力部１９０が接続されている。
　画像記録部１１０は、撮像部２０から出力される画像信号、例えば顕微鏡１０を用いて撮像された各細胞画像Ｉ(1)～Ｉ(n)の画像信号が順次入力され、これら画像信号を例えばＩ／Ｆ３８に接続された記録媒体、メモリ３４又はＨＤＤ３６のいずれかに記録していくことで、タイムラプス細胞画像群Ｉを生成する。
　追跡対象細胞位置設定部１２０は、図２に示すように入力装置４０の操作によりＧＵＩ画面２００で任意の細胞画像Ｉ(i)中の任意の少なくとも１つの追跡対象細胞２３０Ｔに対するＲＯＩ２４０の設定を受け付け、このＲＯＩ２４０を追跡開始時点の位置（初期位置）としてその情報を細胞追跡処理部１３０に送る。
　細胞追跡処理部１３０は、任意の細胞画像Ｉ(i)よりも後の時点の各細胞画像Ｉ(i+1)～Ｉ(n)中の追跡対象細胞２３０Ｔの位置をそれぞれ推定する、つまり、追跡対象細胞２３０Ｔの位置を追跡する。この細胞追跡処理部１３０では、追跡対象細胞２３０Ｔを認識するために所定の画像認識技術が用いられる。
　この細胞追跡処理部１３０は、追跡対象細胞２３０Ｔの位置を追跡するために自動追跡処理を用いる。この自動追跡処理は、如何なる手法を用いても良いが、ここでは公知の追跡手法としてブロックマッチング処理を適用する。このブロックマッチング処理は、複数のフレーム画像が存在したとき、現時点よりも前の時点のフレーム画像中において追跡対象細胞２３０Ｔに対して設定されたＲＯＩ２４０と最も類似する領域を現フレーム画像中から探索し、当該探索した領域を追跡対象細胞２３０Ｔの移動先の位置として推定する。このブロックマッチング処理では、フレーム画像間において検索された領域間の類似度合いを計るための類似度として例えばＳＳＤ（Sum of Squared Difference）と呼ばれる輝度値の２乗誤差等が用いられる。
　細胞位置情報記録部１４０は、追跡対象細胞位置設定部１２０により設定された任意の細胞画像Ｉ(i)中の追跡対象細胞２３０Ｔの位置と、細胞追跡処理部１３０により推定された各細胞画像Ｉ(i+1)～Ｉ(n)中の追跡対象細胞２３０Ｔの各位置とを記録する。これらの細胞位置は、例えばＩ／Ｆ３８に接続された記録媒体、メモリ３４又はＨＤＤ３６のいずれかに記録される。
　クロップ画像群作成部１５０は、細胞位置記録部１４０により記録された追跡対象細胞２３０Ｔの各位置に基づいて各細胞画像Ｉ(i)～Ｉ(n)中の当該追跡対象細胞２３０Ｔを含む所定の大きさの近傍領域の近傍領域画像からクロップ画像を生成する。すなわち、ＧＵＩ画面２００上では、図２に示すように追跡対象細胞２３０Ｔに対してＲＯＩ２４０が設定され、クロップ画像群作成部１５０は、画像記録部１１０によって記録媒体等に記録された各細胞画像Ｉ(i)～Ｉ(n)からＲＯＩ２４０が設定された追跡対象細胞２３０Ｔを含む近傍領域の近傍領域画像、すなわちクロップ領域画像２８１を切り取る。クロップ画像群作成部１５０は、タイムラプス撮影の各時点におけるクロップ領域画像２８１を切り取ることにより時系列に従って並んだ複数のクロップ領域画像（クロップ画像群）２８１を得ることができる。
　表示装置５０のＧＵＩ画面２００上に表示されている複数のクロップ領域画像２８１のうち追跡対象細胞２３０Ｔが位置ずれしているクロップ領域画像２８１が存在する場合、ユーザは、当該クロップ領域画像２８１上において位置ずれしている追跡対象細胞２３０Ｔの位置を修正する。
　具体的には、複数のクロップ領域画像２８１のうち追跡対象細胞２３０Ｔの位置が例えばクロップ領域画像２８１の中央部に対して位置ずれしているクロップ領域画像２８１が中央部になるように、ＧＵＩ画面２００上の当該クロップ領域画像２８１の追跡対象細胞２３０Ｔに対してポインティングデバイスとしての入力装置４０を操作して位置の修正を行う。
　この入力装置４０の操作を受けて、位置ずれ修正部１６０は、その入力装置４０の操作方向及び操作量に応じた修正方向及び修正量をクロップ画像群作成部１５０に送る。クロップ画像群作成部１５０は、この修正方向及び修正量に従って、対応する細胞画像からのクロップ領域画像の切り取り位置を修正することで表示するクロップ領域画像２８１を更新する。
　また、位置ずれ修正部１６０は、入力装置４０の操作方向及び操作量に応じた修正方向及び修正量を細胞位置情報補正部１７０にも送る。
　細胞位置情報補正部１７０は、この修正方向及び修正量に基づいて、細胞位置情報記録部１４０によって不図示記録媒体、メモリ３４又はＨＤＤ３６に記録されている細胞位置、すなわち細胞追跡処理部１３０により推定された追跡対象細胞２３０Ｔの位置を補正する。
　また、細胞位置情報補正部１７０は、補正した追跡対象細胞２３０Ｔの位置を細胞追跡処理部１３０に送る。これにより、細胞追跡処理部１３０は、入力装置４０の操作により再追跡指示があった場合に、当該補正したクロップ領域画像２８１に対応する細胞画像からは、この補正したクロップ領域画像２８１に含まれる追跡対象細胞２３０Ｔを中心としたＲＯＩ２４０に基づき細胞追跡を実施する。なお、このときＲＯＩ２４０は、追跡対象細胞位置設定部１２０により設定された追跡対象細胞２３０ＴとＲＯＩ２４０との関係に従って、自動的に設定される。
　細胞特徴量算出部１８０は、細胞位置情報記録部１４０によって不図示記録媒体、メモリ３４又はＨＤＤ３６に記録された追跡細胞２３０Ｔの位置に基づいてタイムラプス撮影の各時点における追跡対象細胞２３０Ｔの特徴量を各細胞画像Ｉ(i)～Ｉ(n)から算出する。追跡対象細胞２３０Ｔの特徴量は、例えば明るさ特徴、形状特徴、又はテクスチャ特徴等である。
　出力部１９０は、例えばＩ／Ｆ３８を介して接続された不図示の外部の記録媒体、あるいはＨＤＤ３６に、細胞特徴量算出部１８０により算出された追跡対象細胞２３０Ｔの特徴量を記録する。
　次に、上記の通り構成された装置の動作について図５に示す細胞追跡修正処理フローチャートに従って説明する。
　（１）タイムラプス細胞画像群の取得　
　撮像部２０は、タイムラプス撮影により所定の撮影周期毎の各時点において、顕微鏡１０により得られる細胞の拡大像を撮像し、当該拡大画像の画像信号を出力する。タイムラプス撮影毎の画像信号は、細胞追跡修正装置１００に送られ、タイムラプス撮影毎の細胞画像Ｉ(1)～Ｉ(n)として画像記録部１１０によってＨＤＤ３６、又は図示しない外部記録媒体に記録される。これにより、タイムラプス撮影によって時系列に沿って撮像された複数の細胞画像Ｉ(1)～Ｉ(n)でなるタイムラプス細胞画像群Ｉが記録される。
　（２）初期の画像番号及び追跡対象の細胞位置の設定　
　細胞追跡修正装置１００のＣＰＵ３２は、画像記録部１１０によって記録された各細胞画像Ｉ(1)～Ｉ(n)から任意の細胞画像Ｉ(i)を読み出し、この細胞画像Ｉ(i)を表示装置５０に表示する。この表示装置５０には、例えば図２に示すようにＧＵＩ画面２００が表示され、当該ＧＵＩ画面２００内に細胞画像２２０として細胞画像Ｉ(i)が表示される。初期表示としては、この細胞画像Ｉ(i)は、最初の細胞画像Ｉ(1)であり、入力装置４０の操作によりスライダ２９０をスライド操作することで、ＧＵＩ画面２００内に細胞画像２２０として表示される細胞画像を更新することができる。図２の例では、例えば画像番号（５）の細胞画像Ｉ(5)が指定されて表示されている。
　このとき、未だ、細胞追跡は行われていないので、ＧＵＩ画面２００のクロップ領域画像欄２８０には、何も表示されていない。
　このような状態で、追跡対象細胞位置設定部１２０は、ステップＳ１において、ユーザによるＧＵＩ操作を受けて追跡対象細胞２３０Ｔの初期位置の設定を行う。すなわち、ユーザは、ＧＵＩ画面２００上の任意の細胞画像Ｉ(i)において、マウスカーソル２６０を操作して追跡対象細胞２３０Ｔの追跡開始時点の位置、すなわち初期位置を設定する。具体的にユーザは、ポインティングデバイスである入力装置４０のマウスカーソル２６０を用いて任意の細胞画像Ｉ(i)上で、ドラッグアンドドロップ操作することで所望の追跡対象細胞２３０Ｔを囲むようにＲＯＩ２４０を指定する。追跡対象細胞位置設定部１２０は、ＲＯＩ２４０の中心点を追跡対象細胞２３０Ｔの追跡開始時点の位置（初期位置）として設定する。
　これと共に、追跡対象細胞位置設定部１２０は、ＲＯＩ２４０に対して領域を識別するためのユニークな領域番号を設定する。ここでは「１」を設定する。追跡対象細胞位置設定部１２０は、これら初期位置及び領域番号を含む初期位置情報を細胞追跡処理部１３０に送る。
　ユーザが入力操作４０を操作してＧＵＩ画面２００上においてマウスカーソル２６０を自動追跡処理ボタン３００上に移動させ、この自動追跡処理ボタン３００を押下すると、細胞追跡処理部１３０は、ステップＳ２において、自動追跡処理を実行する。
　（３）自動追跡処理　
　細胞追跡処理部１３０は、追跡対象細胞位置設定部１２０により設定された追跡対象細胞２３０Ｔの初期位置の情報と、画像記録部１１０によって記録されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i+1)～Ｉ(n)に対して所定の画像認識技術による自動追跡処理を行い、各細胞画像Ｉ(i+1)～Ｉ(n)における追跡対象細胞２３０Ｔの細胞位置を推定（細胞追跡）する。
　細胞追跡処理部１３０によって推定された追跡対象細胞２３０Ｔの細胞位置は、追跡対象細胞２３０Ｔの初期位置と共に細胞位置情報記録部１４０に転送されて、不図示の記録媒体、メモリ３４又はＨＤＤ３６に記録される。
　クロップ画像群作成部１５０は、細胞位置情報記録部１４０によって記録された各細胞画像Ｉ(i)～Ｉ(n)における追跡対象細胞２３０Ｔの細胞位置を読み出す。クロップ画像群作成部１５０は、画像記録部１１０によって記録されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i)～Ｉ(n)から各細胞位置により示される追跡対象細胞２３０Ｔの位置を中心とした所定サイズの矩形領域をクロップ（切り取り）した複数のクロップ領域画像２８１を作成する。これらクロップ領域画像２８１は、表示装置５０に送られる。なお、この所定サイズの矩形領域は、予め決められたものであっても良いし、ユーザが任意に指定できるようにしても良く、さらには、ＲＯＩ２４０に相当するものであっても良い。
　これにより、表示装置５０のＧＵＩ画面２００上のクロップ領域画像欄２８０には、図６に示すように初期位置に設定されたＲＯＩ２４０の領域番号２５０、ここでは領域番号「１」の追跡対象細胞２３０Ｔから始められた複数のクロップ領域画像２８１が時系列に並んで表示されている。この例では、これらクロップ領域画像２８１は、例えばタイムラプス細胞画像群Ｉの各細胞画像Ｉ(5)～Ｉ(14)から切り取って(トリミングして)作成されたものとなっている。
　前述したように、入力装置４０の操作によりスライダ２９０をスライド操作することで、ＧＵＩ画面２００内に細胞画像２２０として表示される細胞画像を更新することができる。この細胞画像２２０の更新に伴って、クロップ領域画像欄２８０に表示される複数のクロップ領域画像２８１も更新される。具体的には、クロップ領域画像欄２８０の左端に、細胞画像２２０に対応するクロップ領域画像２８１が表示されるように更新される。従って、ユーザは、スライダ２９０をスライド操作しながらクロップ領域画像欄２８０に表示されたクロップ領域画像２８１を観察するだけで、追跡結果の誤りを容易に発見できる。
　すなわち、この自動追跡処理では、必ずしも正確に追跡対象細胞２３０Ｔの位置を推定できるものでなく、しばしば追跡対象細胞２３０Ｔの推定位置の誤差の蓄積などにより、追跡対象細胞２３０Ｔの実際の位置からずれた誤った領域をクロップし、細胞画像Ｉ(n)として表示してしまうことがある。
　図６は、追跡対象細胞２３０Ｔがクロップ領域画像２８１の中心からずれ始めているクロップ領域画像２８１を含むＧＵＩ画面２００の表示を示す。このＧＵＩ画面２００のクロップ領域画像欄２８０には、例えば５～１４回目のタイムラプス撮影時に取得された各細胞画像Ｉ(5)～Ｉ(14)から切り取られた複数のクロップ領域画像２８１が時系列に従って複数並べて表示されている。なお、これらクロップ領域画像２８１には、各画像番号（５）～（１４）が付与されている。
　このクロップ領域画像群Ｉでは、細胞画像Ｉ(11)から切り取ったクロップ領域画像２８１において追跡対象細胞２３０Ｔの位置が当該クロップ領域画像２８１の中心からずれ始めている。さらに、２周期後のタイムラプス撮影時の細胞画像Ｉ(13)から切り取ったクロップ領域画像２８１では、追跡対象細胞２３０Ｔの位置が完全にクロップ領域画像２８１の中心からずれてしまい、当該クロップ領域画像２８１の領域外に存在してしまっている。このように、細胞追跡処理部１３０は、追跡対象細胞２３０Ｔの位置の推定を完全に誤ってしまっている。
　（４）誤り修正　
　ユーザは、ＧＵＩ画面２００上において、追跡対象細胞２３０Ｔの位置がクロップ領域画像２８１の中心からずれたことを確認すると、同ＧＵＩ画面２００上において追跡対象細胞２３０Ｔの位置をクロップ領域画像２８１の中心に修正する。すなわち、ユーザは、図７に示すようにＧＵＩ画面２００上において、クロップ領域画像２８１の追跡対象細胞２３０Ｔの位置、ここでは細胞画像I（11）から切り取ったクロップ領域画像２８１に対してマウスカーソル２６０を移動させて当該クロップ領域画像２８１中の追跡対象細胞２３０Ｔをドラッグする。この操作に連動して、ＧＵＩ画面２００上の細胞画像２２０を、対応するもの、この場合はI（11）の細胞画像２２０に表示を更新する。そして、当該クロップ領域画像２８１の中心から位置ずれしている追跡対象細胞２３０Ｔの位置を当該クロップ領域画像２８１の中心に位置するように移動させて、ドロップする。
　一般的には、位置ずれの修正は、図８に示すように位置ずれしている追跡対象細胞２３０Ｔに設定されているＲＯＩ２４０をドラッグアンドドロップ操作することで当該ＲＯＩ２４０を移動させ、当該ＲＯＩ２４０の領域内に追跡対象細胞２３０Ｔを位置させる。これに対して、本実施形態では、クロップ領域画像２８１中の追跡対象細胞２３０Ｔを、クロップ領域画像の中心に移動させるようにドラッグアンドドロップ操作するものである。そして、このクロップ領域画像２８１中の追跡対象細胞２３０Ｔの移動操作を、対応する細胞画像２２０におけるＲＯＩ２４０に反映させる。
　なお、位置ずれ修正部１６０は、クロップ領域画像２８１上でドラッグアンドドロップ操作の開始時にマウスボタンを押下した位置と、ドラッグアンドドロップ操作を終了した（ドロップした）位置との間の距離及び方向からマウスカーソル２６０のドラッグアンドドロップ操作による位置ずれの修正量を算出する。
　この位置ずれ修正部１６０は、このＧＵＩ操作による追跡対象細胞２３０Ｔの位置の修正量を細胞位置情報補正部１７０に送る。この細胞位置情報補正部１７０は、追跡対象細胞２３０Ｔの位置の修正量に基づいて細胞位置情報記録部１４０によって記録されている細胞位置の推定結果を補正する。
　さらに、位置ずれ修正部１６０は、ＧＵＩ操作による追跡対象細胞２３０Ｔの位置の修正量をクロップ画像群作成部１５０にも送る。クロップ画像群作成部１５０は、追跡対象細胞２３０Ｔの位置の修正量に基づいて、当該追跡対象細胞２３０Ｔに対するドラッグアンドドロップ操作がされたクロップ領域画像２８１を、画像記録部１１０に記録されている基の細胞画像Ｉ(11)から再度作成する。さらに、クロップ画像群作成部１５０は、上記修正量に基づいて、以降の細胞画像Ｉ(12)～Ｉ(n)から複数のクロップ領域画像２８１を再度作成する。このクロップ画像群作成部１５０は、当該再度作成した複数のクロップ領域画像２８１を表示装置５０に送る。これによりＧＵＩ画面２００上に表示される複数のクロップ領域画像２８１は、再度作成された複数のクロップ領域画像２８１に更新される。
　（５）自動追跡処理の再実行　
　このようにしてクロップ領域画像２８１上で追跡対象細胞２３０Ｔの位置が修正されたとしても、追跡結果については、位置ずれの修正操作を行ったクロップ領域画像２８１に対応するものしか更新されていない。そこで、ステップＳ４において、ユーザは、図９に示すようにＧＵＩ画面２００上において、再度、マウスカーソル２６０を自動追跡処理ボタン３００上に移動し、この自動追跡処理ボタン３００を押下する。この自動追跡処理ボタン３００が押下されると、細胞追跡修正装置１００は、ステップＳ２の動作に戻り、細胞追跡処理部１３０による自動追跡処理を再度実行する。この場合、細胞追跡処理部１３０は、位置ずれの修正操作を行ったクロップ領域画像２８１に対応する細胞画像（Ｉ(11)）よりも後の時点に取得された細胞画像についてのみ、再追跡処理を行うようにしても良い。この細胞追跡処理部１３０によって推定された追跡対象細胞２３０Ｔの細胞位置は、細胞位置情報記録部１４０に転送されて記録される。
　クロップ画像群作成部１５０は、上記同様に、再度、画像記録部１１０によって記録された各細胞画像Ｉ(5)～Ｉ(n)からクロップした複数のクロップ領域画像２８１を作成する。この場合も、位置ずれの修正を行ったクロップ領域画像２８１に対応する細胞画像の次の細胞画像（Ｉ(12)）からのみクロップ領域画像２８１を再度作成し、それ以前のクロップ領域画像２８１は先に作成したものをそのまま使用するようにしても良い。これらクロップ領域画像２８１は、表示装置５０に送られることにより当該表示装置５０のＧＵＩ画面２００上のクロップ領域画像欄２８０に時系列に並んで表示される。
　以降、ユーザは、ＧＵＩ画面２００上において、スライダ２９０をスライド操作しながら、クロップ領域画像欄２８０に表示された領域番号「１」の追跡対象細胞２３０Ｔについての時系列に並べられたクロップ領域画像２８１を見ていき、追跡対象画像２３０Ｔの位置がクロップ領域画像２８１の中心からずれたことを発見する度に、同ＧＵＩ画面２００上において追跡対象細胞２３０Ｔの位置を当該クロップ領域画像２８１の中心に修正する操作を繰り返す。
　このようにして領域番号「１」の追跡対象細胞２３０Ｔについて位置ずれの修正が全て終了すると、例えば図１０に示すように追跡対象細胞２３０Ｔの位置ずれが存在していた１１枚目以降のクロップ領域画像２８１において追跡対象細胞２３０Ｔの位置ずれが修正され、全てのクロップ領域画像２８１において画像の中心に追跡対象細胞２３０Ｔが位置するようになる。
　このようにして領域番号「１」の追跡対象細胞２３０Ｔについて位置ずれの修正がすべて終了したならば、ユーザは、別の細胞２３０を追跡対象細胞２３０として追加指定して、上記の処理を繰り返すことができる。
　そのように別の細胞２３０に対する追跡処理を望む場合には、ステップＳ５において、ユーザは、細胞追跡修正装置１００に、上記ステップＳ１からの動作を繰り返すよう指示する。具体的には、図１１に示すように、ＧＵＩ画面２００上の任意の細胞画像Ｉ(i)において、所望の別の追跡対象細胞２３０Ｔを囲むようにＲＯＩ２４０を指定する。これにより、このＲＯＩ２４０に対して領域番号「２」が設定されることになる。
　そして、上記のステップＳ２～ステップＳ４の動作が領域番号「２」の追跡対象細胞２３０Ｔに関して実行される。なお、この場合は、複数の追跡対象細胞２３０Ｔが存在するため、図１２に示すように、ＧＵＩ画面２００上のクロップ領域画像欄２８０には、追跡対象細胞２３０Ｔ毎に、複数のクロップ領域画像２８１が時系列に並べられる。すなわち、領域番号「１」の追跡対象細胞２３０Ｔの複数のクロップ領域画像２８１と、領域番号「２」の追跡対象細胞２３０Ｔの複数のクロップ領域画像２８１－１とが同時に、かつ互いに並列に表示される。
　なお、ここでは、２つの追跡対象細胞２３０Ｔが指定された場合を示したが、それ以上の数の追跡対象細胞２３０Ｔの指定が可能なことは言うまでもない。
　（６）特徴量の計算処理　
　こうして、全ての追跡対象細胞２３０Ｔに対して全ての位置ずれを修正し終えたならば、例えば図１０に示すように、ＧＵＩ画面２００上の特徴量計算処理ボタン３１０がユーザによって押下される。細胞特徴量算出部１８０は、ステップＳ６において、細胞位置情報記録部１４０によって記録されたタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i)～Ｉ(n)と、画像記録部１１０によって記録されている細胞画像Ｉ(i)～Ｉ(n)とに基づいて細胞画像Ｉ(i)～Ｉ(n)毎に追跡対象細胞２３０Ｔの特徴量を算出する。
　細胞２３０の特徴量は、例えば明るさ、形状、又はテクスチャ等であり、ここでは例えば明るさを算出している。具体的に明るさは、細胞画像Ｉ(i)～Ｉ(n)のそれぞれにおける追跡対象細胞２３０Ｔの位置を中心とした所定サイズの矩形領域内に含まれる画素群の画素値の平均値により算出される。この追跡対象細胞２３０Ｔの特徴量は、ステップＳ７において、出力部１９０に転送され、所定の媒体に記録される。
　なお、ここでは追跡処理後、特徴量計算処理ボタン３１０を押下することにより特徴量を計算する構成としているが、ボタン押下を行わずに追跡処理直後に自動的に特徴量計算処理を実行する構成としても構わない。
　このように上記一実施の形態によれば、ＧＵＩ画面２００上に表示されている複数のクロップ領域画像２８１のうち追跡対象細胞２３０Ｔの位置がクロップ領域画像２８１の中央部の位置に対して位置ずれしているクロップ領域画像２８１が在ると、当該クロップ領域画像２８１の追跡対象細胞２３０Ｔに対してＧＵＩ画面２００上のＧＵＩ操作により追跡対象細胞２３０Ｔの位置をクロップ領域画像２８１の中央部に修正することで、追跡対象細胞２３０Ｔの位置を修正したときの位置ずれの修正量に基づいてタイムラプス細胞画像群Ｉの各細胞画像Ｉ(i)～Ｉ(n)中の細胞位置の時系列的変化を計測する際に、細胞位置の計測の誤りを簡便に修正することができる。
　例えば、蛍光試料である細胞２３０を撮像する場合、励起光を照射し続けることで細胞２３０から発せられる光量が時間経過と共に減少するという性質があるので、定量的な評価に利用できる安定した画像を経時的に撮ることが困難である。このため、コンピュータを用いた細胞追跡処理によって蛍光試料である細胞２３０の追跡を行っても、細胞２３０の位置を誤って推定してしまうことがしばしば起きる。これに対して本顕微鏡システム１であれば、細胞位置の誤った推定結果を修正することができる。
　タイムラプス撮影により取得された複数のクロップ領域画像２８１に対する位置ずれの修正を繰り返すことで、当該全てのクロップ領域画像２８１における位置ずれ、つまり追跡の誤りを無くすことができる。
　追跡対象細胞２３０Ｔの位置を修正すると、当該細胞位置の修正が行われたクロップ領域画像２８１の生成時点よりも時間的に以降に生成された複数のクロップ領域画像２８１中における追跡対象細胞２３０Ｔの位置が修正されるので、ユーザによって指示された位置ずれが生じ始めたクロップ領域画像２８１から時間的に以降に生成された各クロップ領域画像２８１における追跡対象細胞２３０Ｔの位置を自動的に修正できる。これにより、各クロップ領域画像２８１について個別に追跡対象細胞２３０Ｔの位置の修正を行わなくてよい。
　なお、本発明は、上記一実施の形態に限定されるものでなく、次のように変形してもよい。
　追跡対象細胞２３０Ｔの位置の修正では、位置ずれが生じ始めた以降の各クロップ領域画像２８１における追跡対象細胞２３０Ｔの位置修正に加えて、当該位置の修正が行われたクロップ領域画像２８１の生成時点よりも時間的に以前に生成された複数のクロップ領域画像２８１中における細胞２３０の位置を修正するようにしてもよい。ユーザによって指示された位置ずれが生じ始めたクロップ領域画像２８１よりも時間的に以前の各クロップ領域画像２８１における細胞２３０の位置をも自動的に修正できる。これにより、位置ずれが生じ始めたとして指示するクロップ領域画像２８１が正確に位置ずれを生じ始めたクロップ領域画像２８１でなくても、位置ずれが生じている各クロップ領域画像２８１における追跡対象細胞２３０Ｔの位置を自動的に修正できる。
　また、上記実施形態では、１つの観察対象細胞２３０Ｔについての位置ずれの修正が終了してから別の観察対象細胞２３０Ｔについての処理を行うようにしているが、ステップＳ１の初期細胞位置設定時に、複数の観察対象細胞２３０Ｔを指定するようにしても良い。
　このようにすれば、複数の追跡対象細胞２３０Ｔ、例えば領域番号「１」「２」の各追跡対象細胞２３０Ｔに対応する複数のクロップ領域画像２８１を同時にかつ互いに並列に表示して、これら領域番号「１」「２」の各追跡対象細胞２３０Ｔに対応する複数のクロップ領域画像２８１中における各追跡対象細胞２３０Ｔの位置ずれを並行して確認しながら、位置ずれがあれば、その位置ずれを修正することができる。
　また、ＧＵＩ画面２００に細胞画像２２０を１つのみ表示するものとしたが、複数表示しても良いことは勿論である。
　　１：顕微鏡システム、　１０：顕微鏡、　２０：撮像部、　３２：ＣＰＵ、　３４：メモリ、　３６：ＨＤＤ、　３８：インターフェース（Ｉ／Ｆ）、　４０：入力装置、　５０：表示装置、　１００：細胞追跡修正装置、　１１０：画像記録部、　１２０：追跡対象細胞位置設定部、　１３０：細胞追跡処理部、　１４０：細胞位置情報記録部、　１５０：クロップ画像群作成部、　１６０：位置ずれ修正部、　１７０：細胞位置情報補正部、　１８０：細胞特徴量算出部、　１９０：出力部、　２８１：クロップ領域画像、　２００：ＧＵＩ画面、　２１０：画像番号、　２２０：細胞画像、　２３０：細胞、　２３０Ｔ：追跡対象細胞、　２４０：関心領域（ＲＯＩ）、　２５０：領域番号、　２６０：マウスカーソル、　２７０：画像番号、　２８０：クロップ領域画像欄、　２９０：スライダ、　３００：自動追跡処理ボタン、　３１０：特徴量計算処理ボタン、　Ｂ：バス。

Claims (19)

  1. 　タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡し、
    　前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成し、
    　前記複数の近傍領域画像を表示部に表示し、
    　当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力をユーザインタフェースを介して受け付け、
    　前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する、
    ことを特徴とする細胞追跡修正方法。
  2. 　前記表示部には、前記複数の近傍領域画像が時系列に従って並べて表示されることを特徴とする請求項１に記載の細胞追跡修正方法。
  3. 　前記表示部には、前記タイムラプス撮影により取得された前記複数の画像のうち少なくとも１つの前記画像と、前記複数の近傍領域画像とが表示され、
    　前記複数の近傍領域画像と前記画像とがリンクされている、
    ことを特徴とする請求項２に記載の細胞追跡修正方法。
  4. 　前記修正量の入力は、前記近傍領域画像における前記細胞の位置が当該近傍領域画像の中央部の位置に対して位置ずれしている前記細胞に対して、前記細胞が前記近傍領域画像の中央部になるように移動させる移動量であることを特徴とする請求項１に記載の細胞追跡修正方法。
  5. 　前記移動量の入力は、前記近傍領域画像中の前記細胞をドラッグし前記近傍領域画像の中央部に移動させてドロップするドラッグアンドドロップ操作によって行われることを特徴とする請求項４に記載の細胞追跡修正方法。
  6. 　前記細胞の位置の修正に応じて当該近傍領域画像の基となった画像が取得された時点以降に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置の修正を、前記入力された移動量に基づいて行うことを特徴とする請求項４に記載の細胞追跡修正方法。
  7. 　前記細胞の位置の修正に応じて、当該近傍領域画像の基となった画像が取得された時点以前に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置の修正を、前記入力された移動量に基づいて行うことを特徴とする請求項４に記載の細胞追跡修正方法。
  8. 　さらに、前記修正された前記細胞の位置に基づいて前記細胞の位置を再度追跡することを特徴とする請求項１に記載の細胞追跡修正方法。
  9. 　前記細胞の位置に基づいて各時点における前記細胞の特徴量を前記画像から算出することを特徴とする請求項１に記載の細胞追跡修正方法。
  10. 　タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡する細胞追跡処理部と、
    　前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成する近傍領域画像生成部と、
    　前記複数の近傍領域画像を表示するための表示部と、
    　当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けるユーザインタフェースと、
    　前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正する位置ずれ修正部と、
    を具備することを特徴とする細胞追跡修正装置。
  11. 　前記表示部には、前記複数の近傍領域画像が時系列に従って並べて表示されることを特徴とする請求項１０に記載の細胞追跡修正装置。
  12. 　前記表示部には、前記タイムラプス撮影により取得された前記複数の画像のうち少なくとも１つの前記画像と、前記複数の近傍領域画像とが表示され、
    　前記複数の近傍領域画像と前記画像とがリンクされている、
    ことを特徴とする請求項１１に記載の細胞追跡修正装置。
  13. 　前記位置ずれ修正部は、前記近傍領域画像における前記細胞の位置が当該近傍領域画像の中央部の位置に対して位置ずれしている前記細胞に対して、前記細胞が前記近傍領域画像の中央部になるように修正することを特徴とする請求項１０に記載の細胞追跡修正装置。
  14. 　前記位置ずれ修正部は、前記近傍領域画像中の前記細胞をドラッグし前記近傍領域画像の中央部に移動させてドロップするドラッグアンドドロップ操作によって前記細胞の位置を修正することを特徴とする請求項１３に記載の細胞追跡修正装置。
  15. 　前記位置ずれ修正部は、前記細胞の位置の修正に応じて当該近傍領域画像の基となった画像が取得された時点以降に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置を、前記入力された移動量に基づいて修正することを特徴とする請求項１３に記載の細胞追跡修正装置。
  16. 　前記位置ずれ修正部は、前記細胞の位置の修正に応じて、当該近傍領域画像の基となった画像が取得された時点以前に取得された画像から生成された前記複数の近傍領域画像中における前記細胞の位置を、前記入力された移動量に基づいて修正することを特徴とする請求項１５に記載の細胞追跡修正装置。
  17. 　前記細胞追跡処理部は、前記修正された前記細胞の位置に基づいて前記細胞の位置を再度追跡することを特徴とする請求項１０に記載の細胞追跡修正装置。
  18. 　前記細胞の位置に基づいて各時点における前記細胞の特徴量を前記画像から算出する細胞特徴量算出部を具備することを特徴とする請求項１０に記載の細胞追跡修正装置。
  19. 　コンピュータに、
    　タイムラプス撮影により取得された複数の画像中における少なくとも１つの細胞の位置を推定して当該細胞の位置を追跡させる細胞追跡処理機能と、
    　前記タイムラプス撮影の各撮影時点において前記追跡された前記細胞の位置を基に、当該撮影時点の前記画像から当該細胞を含む近傍領域の複数の近傍領域画像を生成させる近傍領域画像生成機能と、
    　前記複数の近傍領域画像を表示部に表示させる表示機能と、
    　当該表示部に表示されている前記複数の近傍領域画像のうちの１つに対して前記細胞の位置を修正する修正量の入力を受け付けさせるユーザインタフェース機能と、
    　前記修正量に従って当該近傍領域画像に対応する前記追跡された前記細胞の位置を修正させる位置ずれ修正機能と、
    を実現させるコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体。
PCT/JP2015/060985 2015-04-08 2015-04-08 細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体 Ceased WO2016162973A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112015006268.8T DE112015006268T5 (de) 2015-04-08 2015-04-08 Zellverfolgungs-Korrekturverfahren, Zellverfolgungs-Korrekturgerät und Speichermedium zur temporären Speicherung eines computerlesbaren Zellverfolgungs-Korrekturprogramms
PCT/JP2015/060985 WO2016162973A1 (ja) 2015-04-08 2015-04-08 細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体
JP2017511395A JP6496814B2 (ja) 2015-04-08 2015-04-08 細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラム
US15/721,408 US20180025211A1 (en) 2015-04-08 2017-09-29 Cell tracking correction method, cell tracking correction device, and storage medium which stores non-transitory computer-readable cell tracking correction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060985 WO2016162973A1 (ja) 2015-04-08 2015-04-08 細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/721,408 Continuation US20180025211A1 (en) 2015-04-08 2017-09-29 Cell tracking correction method, cell tracking correction device, and storage medium which stores non-transitory computer-readable cell tracking correction program

Publications (1)

Publication Number Publication Date
WO2016162973A1 true WO2016162973A1 (ja) 2016-10-13

Family

ID=57072277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060985 Ceased WO2016162973A1 (ja) 2015-04-08 2015-04-08 細胞追跡修正方法、細胞追跡修正装置及びコンピュータにより読み取り可能な細胞追跡修正プログラムを一時的に記憶する記録媒体

Country Status (4)

Country Link
US (1) US20180025211A1 (ja)
JP (1) JP6496814B2 (ja)
DE (1) DE112015006268T5 (ja)
WO (1) WO2016162973A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710283A (zh) * 2016-12-02 2018-02-16 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3500964B1 (en) * 2016-08-22 2025-07-09 Iris International, Inc. System and method of classification of biological particles
US20250335999A1 (en) * 2024-04-24 2025-10-30 Ccc Intelligent Solutions, Inc. Improved interface for insurance claims

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209698A (ja) * 2005-01-31 2006-08-10 Olympus Corp 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
JP2014085949A (ja) * 2012-10-25 2014-05-12 Dainippon Printing Co Ltd 細胞挙動解析装置、細胞挙動解析方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009162708A (ja) * 2008-01-10 2009-07-23 Nikon Corp 画像処理装置
JP2013109119A (ja) * 2011-11-21 2013-06-06 Nikon Corp 顕微鏡制御装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209698A (ja) * 2005-01-31 2006-08-10 Olympus Corp 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
JP2014085949A (ja) * 2012-10-25 2014-05-12 Dainippon Printing Co Ltd 細胞挙動解析装置、細胞挙動解析方法、及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710283A (zh) * 2016-12-02 2018-02-16 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
WO2018098824A1 (zh) * 2016-12-02 2018-06-07 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
US10897569B2 (en) 2016-12-02 2021-01-19 SZ DJI Technology Co., Ltd. Photographing control method, apparatus, and control device
CN107710283B (zh) * 2016-12-02 2022-01-28 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
US11575824B2 (en) 2016-12-02 2023-02-07 SZ DJI Technology Co., Ltd. Photographing control method, apparatus, and control device
US11863857B2 (en) 2016-12-02 2024-01-02 SZ DJI Technology Co., Ltd. Photographing control method, apparatus, and control device
US12238403B2 (en) 2016-12-02 2025-02-25 Sz Dii Technology Co., Ltd. Photographing control method, apparatus, and control device

Also Published As

Publication number Publication date
JPWO2016162973A1 (ja) 2018-03-01
JP6496814B2 (ja) 2019-04-10
DE112015006268T5 (de) 2018-01-25
US20180025211A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
US20210372939A1 (en) Information processing apparatus, information processing method and program
US8830313B2 (en) Information processing apparatus, stage-undulation correcting method, program therefor
JP6102749B2 (ja) 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
JP2014188222A (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP6743871B2 (ja) 医療用システム及び医療用画像処理方法
JP6276158B2 (ja) 細胞撮像装置および方法
JPWO2009088053A1 (ja) 測定装置および方法、並びに、プログラム
JP2011158549A (ja) 内視鏡装置およびプログラム
JP6496814B2 (ja) 細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラム
US20180338079A1 (en) Microscope system, control method, and computer readable medium
CN103620390B (zh) 光测定装置、光测定方法以及光测定程序
US20080226126A1 (en) Object-Tracking Apparatus, Microscope System, and Object-Tracking Program
US11756190B2 (en) Cell image evaluation device, method, and program
JP6614954B2 (ja) ひび割れ幅計測装置
WO2015016129A1 (ja) 細胞追跡装置及び方法、コンピュータにより読み取り可能な細胞追跡プログラムを記憶する記憶媒体
JP2006209698A (ja) 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
CN114026597B (zh) 断口分析装置和断口分析方法
JP2020202748A (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP5967197B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
US12140545B2 (en) Information processing device for analyzing a specimen
JP6422761B2 (ja) 顕微鏡システム、及び、ｚ位置と補正装置の設定値との関係算出方法
CN116074646B (zh) 参数调整辅助装置以及参数调整辅助方法
JP6284428B2 (ja) 顕微鏡システム
JP4915726B2 (ja) 血流速度の測定方法及び装置
EP4528643A1 (en) Apparatus for an optical imaging system, optical imaging system, method and computer program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15888466

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017511395

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006268

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15888466

Country of ref document: EP

Kind code of ref document: A1