WO2009081832A1 - タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置 - Google Patents

タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置 Download PDF

Info

Publication number
WO2009081832A1
WO2009081832A1 PCT/JP2008/073039 JP2008073039W WO2009081832A1 WO 2009081832 A1 WO2009081832 A1 WO 2009081832A1 JP 2008073039 W JP2008073039 W JP 2008073039W WO 2009081832 A1 WO2009081832 A1 WO 2009081832A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature amount
position correction
time
image processing
Prior art date
Application number
PCT/JP2008/073039
Other languages
English (en)
French (fr)
Inventor
Kei Ito
Masafumi Mimura
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to EP08863856.4A priority Critical patent/EP2234061B1/en
Priority to CN2008801172972A priority patent/CN101868808B/zh
Publication of WO2009081832A1 publication Critical patent/WO2009081832A1/ja
Priority to US12/801,666 priority patent/US8503790B2/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/12—Means for regulation, monitoring, measurement or control, e.g. flow regulation of temperature
    • C12M41/14—Incubators; Climatic chambers
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46—Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a time-lapse image processing means for capturing a plurality of images by intermittently capturing an observation target with an imaging device at predetermined time intervals, and generating a time-lapse image by arranging the acquired images in time series.
  • an apparatus for observing a change in an observation target using a time-lapse image as described above for example, there are a culture microscope for observing a state change while culturing a living cell, and an observation apparatus for observing a traffic situation in a road or a sea area.
  • a culture microscope in order to observe the movement state of individual cells or between cells and perform an appropriate evaluation, the spatial position of each cell in the visual field is guaranteed by hardware or software, and a time-lapse image is obtained. Must be generated.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a time-lapse image processing means in which the accuracy of position correction between intermittently captured images is improved.
  • a first image obtained by photographing a plurality of objects for example, the cells C1 and C2 in the embodiment
  • a second image obtained by photographing a plurality of objects located at the imaging device, and using the correlation function weighted according to the image feature amount of each object included in the first image and the second image.
  • a position correction value is calculated for a relative displacement between the photographing positions of the first image and the second image, and a position-correction is performed between the first image and the second image based on the position correction value to generate a time-lapse image.
  • a first image obtained by photographing a plurality of objects positioned in the field of view by the imaging device and a plurality of objects positioned in the field of view after a predetermined time (for example, in the embodiment)
  • a predetermined time for example, in the embodiment
  • the correlation function weighted according to the image feature amount of each object included in the first image and the second image and acquiring a second image obtained by photographing the cells C1, C2) with the imaging device
  • Calculating a position correction value with respect to a relative displacement of the shooting position of the second image Calculating a position correction value with respect to a relative displacement of the shooting position of the second image, and performing a position correction between the first image and the second image based on the calculated position correction value.
  • an image processing program for a time-lapse image characterized in that a time-lapse image is generated using a first image and a second image whose positions are corrected between the images.
  • each image included in each image from an imaging device that captures a plurality of objects, and a first image and a second image that are captured at a predetermined time interval by the imaging device.
  • the first image and the second image are analyzed using an image analysis unit that analyzes an image feature amount of an object (for example, the cells C1 and C2 in the embodiment), and a correlation function that is weighted according to the image feature amount of each analyzed object.
  • a position correction value calculation unit that calculates a position correction value with respect to a relative positional shift of the image capturing position, and between the first image and the second image based on the position correction value calculated by the position correction value calculation unit.
  • an inter-image position correction unit that performs position correction, and is configured to generate a time-lapse image using the first image and the second image that have been position-corrected between images by the inter-image position correction unit.
  • Time-lapse image The image processing apparatus is provided for.
  • the position correction between a plurality of images is a weighted correlation function according to the image feature amounts of a plurality of objects included in the field of view. Therefore, it is possible to provide a time-lapse image processing means that improves the accuracy of position correction between intermittently captured images.
  • Mode selection switch mode selection means
  • FIGS. 2 and 3 As an example of a system to which the image processing apparatus for time-lapse images of the present invention is applied, a schematic configuration diagram and a block diagram of a culture observation system are shown in FIGS. 2 and 3, respectively.
  • This culture observation system BS is broadly divided into a culture chamber 2 provided at the top of the housing 1, a shelf-like stocker 3 that accommodates and holds a plurality of culture containers 10, and a sample in the culture container 10. From an observation unit 5 for observation, a transport unit 4 for transporting the culture vessel 10 between the stocker 3 and the observation unit 5, a control unit 6 for controlling the operation of the system, an operation panel 7 equipped with an image display device, etc. Composed.
  • the culture room 2 is a room for forming and maintaining a culture environment according to the type and purpose of the cells to be cultured, and is kept sealed after the sample is charged in order to prevent environmental changes and contamination.
  • a temperature adjustment device 21 for raising and lowering the temperature in the culture chamber
  • a humidifier 22 for adjusting the humidity
  • a gas supply device 23 for supplying a gas such as CO 2 gas and N 2 gas
  • the culture A circulation fan 24 for making the environment of the entire chamber 2 uniform, an environmental sensor 25 for detecting the temperature, humidity and the like of the culture chamber 2 are provided.
  • the operation of each device is controlled by the control unit 6, and the culture environment defined by the temperature, humidity, carbon dioxide concentration, etc. of the culture chamber 2 is maintained in a state that matches the culture conditions set on the operation panel 7.
  • the stocker 3 is formed in a shelf shape that is partitioned into a plurality of parts in the front-rear direction and the up-down direction in FIG. Each shelf has its own unique address. For example, when the longitudinal direction is A to C rows and the vertical direction is 1 to 7 rows, the A row 5 shelves are set as A-5.
  • the culture vessel 10 has a type such as a flask, a dish, and a well plate, a form such as a round shape and a square shape, and a size, and an appropriate one can be selected and used according to the type and purpose of the cell to be cultured. .
  • a configuration using a dish is illustrated.
  • Samples such as cells are injected into the culture vessel 10 together with a liquid medium containing a pH indicator such as phenol red.
  • the culture container 10 is assigned a code number and is stored in association with the designated address of the stocker 3.
  • the culture container 10 is housed and held on each shelf in a state where a container holder for transportation formed according to the type and form of the container is mounted.
  • the transfer unit 4 is provided inside the culture chamber 2 so as to be movable in the vertical direction and is moved up and down by the Z-axis drive mechanism.
  • the transfer unit 4 is attached to the Z stage 41 so as to be movable in the front-rear direction.
  • the Y stage 42 that is moved back and forth, the X stage 43 that is attached to the Y stage 42 so as to be movable in the left-right direction and is moved left and right by the X-axis drive mechanism, etc.
  • a support arm 45 for lifting and supporting the culture vessel 10 is provided on the distal end side.
  • the transport unit 4 has a moving range in which the support arm 45 can move between the entire shelf of the stocker 3 and the sample table 15 of the observation unit 5.
  • the X-axis drive mechanism, the Y-axis drive mechanism, and the Z-axis drive mechanism are configured by, for example, a servo motor with a ball screw and an encoder, and the operation thereof is controlled by the control unit 6.
  • the observation unit 5 includes a first illumination unit 51, a second illumination unit 52, and a third illumination unit 53, a macro observation system 54 that performs macro observation of the sample, a micro observation system 55 that performs micro observation of the sample, and an image processing apparatus. 100 or the like.
  • the sample stage 15 is made of a material having translucency, and a transparent window portion 16 is provided in the observation region of the microscopic observation system 55.
  • the first illumination unit 51 is composed of a surface-emitting light source provided on the lower frame 1b side, and backlight-illuminates the entire culture vessel 10 from the lower side of the sample stage 15.
  • the second illumination unit 52 includes a light source such as an LED and an illumination optical system including a phase ring, a condenser lens, and the like.
  • the second illumination unit 52 is provided in the culture chamber 2 and receives light from the microscope observation system 5 from above the sample stage 15. Illuminate the sample in the culture vessel along the axis.
  • the third illumination unit 53 includes a plurality of light sources such as LEDs and mercury lamps that emit light having a wavelength suitable for epi-illumination observation and fluorescence observation, and the light emitted from each light source as an optical axis of the microscopic observation system 55. And an illumination optical system composed of a beam splitter, a fluorescent filter, and the like to be superposed, disposed in the lower frame 1b located on the lower side of the culture chamber 2, and from the lower side of the sample stage 15 to the microscopic observation system 5. Illuminate the sample in the culture vessel along the optical axis.
  • light sources such as LEDs and mercury lamps that emit light having a wavelength suitable for epi-illumination observation and fluorescence observation, and the light emitted from each light source as an optical axis of the microscopic observation system 55.
  • an illumination optical system composed of a beam splitter, a fluorescent filter, and the like to be superposed, disposed in the lower frame 1b located on the lower side of the culture chamber 2, and from the lower side of the
  • the macro observation system 54 includes an observation optical system 54a and an imaging device 54c such as a CCD camera that takes an image of the sample imaged by the observation optical system.
  • the macro observation system 54 is located above the first illumination unit 51 and is a culture chamber. 2 is provided.
  • the macro observation system 54 captures a whole observation image (macro image) from above the culture vessel 10 that is backlit by the first illumination unit 51.
  • the microscopic observation system 55 includes an observation optical system 55a composed of an objective lens, an intermediate zoom lens, a fluorescent filter, and the like, and an imaging device 55c such as a cooled CCD camera that takes an image of a sample imaged by the observation optical system 55a. And disposed inside the lower frame 1b.
  • a plurality of objective lenses and intermediate zoom lenses are provided, and are configured to be set to a plurality of magnifications using a displacement mechanism such as a revolver or a slider (not shown in detail). For example, zooming is possible in the range of 2 to 80 times.
  • the microscopic observation system 55 is transmitted light that has been illuminated by the second illumination unit 52 and transmitted through the cell, reflected light that has been illuminated by the third illumination unit 53 and reflected by the cell, or illuminated by the third illumination unit 53.
  • a microscopic image (micro image) obtained by microscopic observation of fluorescence emitted by the cells is taken.
  • the image processing apparatus 100 performs A / D conversion on signals input from the macro observation system imaging device 54c and the micro observation system imaging device 55c, and performs various image processing to generate an image of the entire observation image or the micro observation image. Generate data. Further, the image processing apparatus 100 performs image analysis on the image data of these observation images, and performs generation of a time-lapse image, calculation of the amount of cell movement, and the like. Specifically, the image processing device 100 is constructed by executing an image processing program stored in the ROM of the control device 6 described below. The image processing apparatus 100 will be described in detail later.
  • the control unit 6 includes a CPU 61, a ROM 62 in which data for controlling the operation of the culture observation system BS and data for controlling each unit are set and stored, a RAM 63 in which image data and the like are temporarily stored, and the like. They are connected by a data bus.
  • the input / output port of the control unit 6 includes a temperature adjustment device 21 in the culture chamber 2, a humidifier 22, a gas supply device 23, a circulation fan 24 and an environmental sensor 25, and X, Y, Z stages 43, 42 in the transfer device 4.
  • the operation panel 7 includes an operation panel 71 provided with input / output devices such as a read / write device for reading and writing information from a keyboard, a sheet switch, a magnetic recording medium, an optical disk, and the like, various operation screens, image data, and the like. And a display panel 72 for displaying the information, and setting the observation program (operating conditions), selecting conditions, operating commands, and the like on the operation panel 71 while referring to the display panel 72, thereby culturing through the CPU 61. Each part of the observation system BS is operated.
  • the CPU 61 adjusts the environment of the culture chamber 2 according to the input from the operation panel 71, transports the culture vessel 10 in the culture chamber 2, observes the sample by the observation unit 5, analyzes the acquired image data, and displays the display panel. Display to 72 is executed. On the display panel 72, in addition to input screens for operation commands, condition selection, and the like, numerical values of environmental conditions of the culture chamber 2, analyzed image data, a warning when an abnormality occurs, and the like are displayed.
  • the CPU 61 can transmit and receive data to and from an externally connected computer or the like via a communication unit 65 configured in accordance with a wired or wireless communication standard.
  • the RAM 63 operating conditions of the observation program set on the operation panel 71, for example, environmental conditions such as temperature and humidity of the culture chamber 2, observation schedule for each culture vessel 10, observation type and observation position in the observation unit 5, observation Observation conditions such as magnification are recorded.
  • the management data of the culture container 10 such as the code number of each culture container 10 accommodated in the culture chamber 2, the storage address of the stocker 3 in which the culture container 10 of each code number is accommodated, and various data used for image analysis are stored.
  • the RAM 63 is provided with an image data storage area for recording image data photographed by the observation unit 5, and each image data is recorded in association with a code number of the culture vessel 10 and index data including the photographing date and time. Is done.
  • the CPU 61 controls the operation of each part based on the control program stored in the ROM 62 according to the setting conditions of the observation program set on the operation panel 7, and the culture vessel 10
  • the sample inside is automatically captured. That is, when the observation program is started by a panel operation on the operation panel 71 (or a remote operation via the communication unit 65), the CPU 61 reads each condition value of the environmental conditions stored in the RAM 63, and from the environment sensor 25.
  • the environmental state of the culture chamber 2 to be input is detected, and the temperature adjustment device 21, the humidifier 22, the gas supply device 23, the circulation fan 24, etc. are operated according to the difference between the condition value and the actual measurement value. Feedback control is performed on the culture environment such as temperature, humidity, and carbon dioxide concentration.
  • the CPU 61 reads the observation conditions stored in the RAM 63, operates the driving mechanism of each axis of the X, Y, and Z stages 43, 42, and 41 of the transport unit 4 based on the observation schedule, and the observation target from the stocker 3.
  • the culture container 10 is transported to the sample stage 15 of the observation unit 5 and observation by the observation unit 5 is started.
  • the observation set in the observation program is macro observation
  • the culture vessel 10 transported from the stocker 3 by the transport unit 4 is positioned on the optical axis of the macro observation system 54 and placed on the sample stage 15.
  • the light source of the first illumination unit 51 is turned on, and the entire observation image is taken by the imaging device 54c from above the culture vessel 10 that is backlit.
  • the signal input from the imaging device 54c to the control device 6 is processed by the image processing device 100 to generate a whole observation image, and the image data is recorded in the RAM 63 together with index data such as the shooting date and time.
  • the specific position of the culture container 10 that has been transported by the transport unit 4 is set to the optical axis of the microscopic observation system 55.
  • the light source of the second illumination unit 52 or the third illumination unit 53 is turned on, and the microscopic observation image by transmitted illumination, epi-illumination, and fluorescence is photographed by the imaging device 55c.
  • a signal photographed by the imaging device 55c and inputted to the control device 6 is processed by the image processing device 100 to generate a microscopic observation image, and the image data is recorded in the RAM 63 together with index data such as photographing date and time. .
  • the CPU 61 performs the observation as described above on the plurality of culture container samples accommodated in the stocker 3 according to the observation program at an interval of about 30 minutes to 2 hours based on the observation program.
  • the photographing time interval may be constant or different.
  • the image data of the photographed whole observation image and microscopic observation image are recorded in the image data storage area of the RAM 63 together with the code number of the culture vessel 10.
  • the image data recorded in the RAM 63 is read from the RAM 63 in response to an image display command input from the operation panel 71, and an entire observation image or a microscopic observation image (single image) at a specified time or an entire observation in a specified time region.
  • An image or a time-lapse image of a microscopic observation image is displayed on the display panel 72 of the operation panel 7.
  • the target culture container 10 is transported from the stocker 3 to the observation unit 5 by the transport device 4 according to the setting of the observation program, and is positioned on the optical axis of the designated observation system. Then, the image is taken by the imaging device. That is, in the culture observation system BS, the observation target sample and the observation system are relatively moved each time observation is performed. For this reason, it is difficult to match the relative positional relationship between the observation target and the observation system in a hardware manner for a plurality of observations, and it is particularly difficult as the observation magnification is higher.
  • the positions of the images taken by the imaging devices 54c and 55c with respect to the sample are slightly different for each observation, and the positional deviation of the observation visual field inevitably occurs between the plurality of images recorded in the RAM 63. .
  • non-objects in addition to observation objects such as cells, objects other than the observation object such as dust and bubbles (referred to as non-objects) may be included.
  • the position dragged by the displacement of the non-object when the object is flowing in the field of view due to the influence of the flow of the medium accompanying the conveyance of the culture vessel 10 or the wind generated by the operation of the circulation fan 24 Correction will be made.
  • the size of the cells to be observed may be large or small, or multiple cells with different characteristics may be included. There are many things. Even in such an example, when small-sized cells or floating cells that are easily affected by external force move greatly due to “external pressure” such as medium flow or wind pressure, In some cases, the position correction is greatly affected by the movement.
  • C1 is a cell having a large ground contact area with the culture vessel
  • C2 is a cell having a small ground contact area with the culture vessel.
  • (1) in FIG. 4 is a microscopic observation image photographed by the imaging device 55c at a certain time t when position correction is possible.
  • the arrows added in the figure indicate the amount of movement of each cell observed at time t + 1, which is the next observation schedule, when an external pressure such as a medium flow or wind pressure is not acting.
  • the cell C1 having a large ground contact area has a small movement amount
  • the cell C2 having a small ground contact area tends to have a large movement amount.
  • (2) in FIG. 4 is a microscopic observation image when the external pressure P is applied from the lower side to the upper side in the state shown in (1), and the time of the next observation schedule as in (1).
  • the amount of movement of each cell observed at t + 1 is indicated by an arrow.
  • the cell C2 having a small ground contact area is easily affected by external pressure such as the flow of the culture medium and the pressure of the wind, and the amount of upward movement is larger than the cell C1 having a large ground contact area.
  • the position correction amount obtained from the correlation value of the entire image of the image at time t and the image at time t + 1 is due to the positioning error of the observation target with respect to the optical axis of the microscopic observation system 55 and the influence of the external pressure P. This is the total value for the movement.
  • (3) in FIG. 4 is an image when the movement amount of each cell C1, C2 is calculated from the image at time t and the image at time t + 1 in which the position correction is performed with the correlation value of the entire image in (2). is there.
  • the position correction between the images since the movement due to the influence of the external pressure P is excessively corrected, the amount of movement of the small cell C2 that has moved largely upward by the external pressure P is calculated to be small, and is essentially large that has hardly moved. The downward movement amount of the cell C1 is calculated.
  • the first image at the time t and the second image at the time t + 1, which are intermittently photographed according to the observation schedule, are positioned at the correlation value of the entire image.
  • the position correction is performed using a correlation function weighted according to the image feature amount of the object included in the field of view.
  • FIG. 5 is a block diagram showing a schematic configuration of the image processing apparatus 100 that performs the position correction.
  • the image processing program GP GP1 to GP3 preset and stored in the ROM 62 is read by the CPU 61, and processing based on the image processing program GP is executed by the CPU 61.
  • FIG. 1 shows a flowchart of the image processing program GP1 of the first embodiment.
  • the image processing device 100 analyzes an image feature amount of each object included in each image from the first image and the second image captured at a predetermined observation interval by the imaging device (54c, 55c). And a position correction value calculation for calculating a position correction value for a relative displacement between the photographing positions of the first image and the second image using a correlation function weighted according to the image feature amount of each analyzed object Unit 120 and an inter-image position correction unit 130 that performs position correction between the first image and the second image based on the position correction value calculated by the position correction value calculation unit.
  • a time-lapse image is generated using the first image and the second image whose positions are corrected between the images.
  • the image processing apparatus 101 of the first embodiment is constructed by the CPU 61 executing the image processing program GP1 of the first embodiment.
  • the image processing apparatus 101 uses the correlation function weighted according to the feature amount as a reference based on the feature amount based on the outer shape of the object as the image feature amount of the object included in the first image and the second image. Perform position correction for.
  • step S110 the first image at time t and the second image at time t + 1 recorded in the RAM 63 are read out and acquired, and in step S120, segmented into respective areas.
  • Various known methods can be used for segmentation, and examples include binarization using luminance values, binarization using variance values, and dynamic contour extraction methods such as Snakes and LevelkesSet methods.
  • step S130 a feature amount (shape feature) based on the outer shape of each segmented region is analyzed.
  • the feature amount based on the outer shape include the width and length of the region, the area (size), the complexity of the shape (perimeter length 2 / area), and the like.
  • the area of a region is defined by focusing on the contact area of cells as a feature quantity based on the outer shape.
  • step S135 a frequency distribution is created for the area of each segmented region, and the process proceeds to step S140.
  • step S140 it is determined whether or not the frequency distribution created in step S135 can be modeled by one normal distribution. If the frequency distribution can be expressed by one normal distribution, the process proceeds to step S150A, where a single normal distribution is used. If it cannot be modeled and is expressed by the sum of a plurality of normal distributions, the process proceeds to step S150B.
  • the frequency distribution created in step S135 is expressed by two distributions: a distribution of cells C1 having a large ground contact area and a distribution of cells C2 having a small ground contact area. Therefore, the process proceeds to step S150B.
  • step S150A each segmented region is labeled and an area is calculated for each region.
  • step S155A weighting according to the area value is designated.
  • step S150B classification is performed according to the separated distribution (for example, the cell C1 is classified into a class having a large ground contact area and a cell C2 having a small ground contact area). A weight is specified.
  • FIG. 6 is a plan view (1) and a cross-sectional view (2) schematically showing a situation in which an external pressure P acts on a certain cell C from below in the figure.
  • the external force force for moving the cell
  • F j acting on any cell C j by the external pressure P is a surface perpendicular to the external pressure P.
  • F j cross-sectional area of Sj
  • F j ⁇ P ⁇ S j which is proportional to the cross-sectional area S j of the cell C j .
  • the thickness of the nucleus cell is constant.
  • the mass W of the cell is proportional to the volume V, and when the three-dimensional shape of the cell C j is approximated to a cylinder having a diameter L j , the volume V j is the square of the diameter, that is, the width L j of the cell C j in the direction perpendicular to the external pressure. It is proportional to the square amount. For this reason, the frictional force (friction resistance: ⁇ W j ) of the cells in contact with the culture vessel 10 is proportional to L j -2 .
  • the degree of influence of the external pressure P on the cell movement becomes difficult to move in proportion to L j ⁇ 1 even when only a simple frictional force is taken into consideration. It will be difficult to be influenced by.
  • the weighting function is a steeper function than L- 1 .
  • the ROM 62 stores in advance a weighting function g j corresponding to the size of the contact area of the cells calculated based on the above consideration.
  • steps S155A and S155B the size of each cell C j is stored.
  • the weighting function g j corresponding to the average size of each class is designated, and the process proceeds to step S170.
  • step S170 to create a map of the weighting function g j that is specified for each region, between the first image and the time t + 1 of the second image at time t in step S180, by applying the function value of the weighting Calculate correlation values between images. Then, the amount of movement between the images when the sum of the correlation values is maximized is set as the amount of movement caused by the positioning error, and this is the position correction amount between the first image and the second image (the first amount relative to the first image). 2 position correction values) are recorded in the RAM 63 and the process proceeds to step S190.
  • step S190 position correction between the first and second images is executed based on the position correction amount calculated in step S180. For example, when a time-lapse image generation command is input to the CPU 61 from the operation panel 71, a time-lapse image is generated using the position-corrected first and second images. In addition, when a process for calculating the movement amount of each cell is selected on the operation panel 71 and the command is input to the CPU 61, the position of each cell between the first image and the second image whose position is corrected is determined. The amount of movement is calculated and displayed as a vector by the direction and length of an arrow as shown in FIG. 4, for example.
  • a feature amount based on the outer shape of the object is extracted as an image feature amount of the object, and a weight corresponding to the feature amount is attached to a plurality of images. Correlation is calculated, a movement amount that maximizes the sum of correlation values is calculated as a position correction amount, and image processing between a plurality of images is executed. Therefore, even if the observation field contains objects other than the observation target such as dust or bubbles, or multiple cells with different dynamic characteristics of the observation target are included, accurate position correction is possible. As a result, it is possible to improve the accuracy of position correction between intermittently photographed images.
  • the image processing apparatus 102 according to the present embodiment uses the feature amount of the texture structure of the object located in the field of view as the image feature amount of the object. That is, the apparatus configuration of the image control apparatus as hardware resources is the same as that of the image processing apparatus 101 of the first embodiment, but the image feature quantity to be determined in the image processing process is the image processing of the first embodiment. This is different from the apparatus 101.
  • a flowchart of the image processing program GP2 constituting the image processing apparatus 102 by being read by the CPU 61 is shown in FIG. 7, and the image processing method of the present embodiment will be described below in accordance with the processing flow of the image processing program GP2.
  • step S210 the first image at the time t and the second image at the time t + 1 recorded in the RAM 63 are read and acquired, and in step S220, segmented into respective areas.
  • segmentation method various methods can be used as described above.
  • step S230 a feature amount (texture feature) based on the texture structure of each segmented region is analyzed.
  • the feature amount based on the texture structure include the pattern and dispersion of segmented regions, the presence or absence of nuclei, and the like.
  • the dispersion of the region is defined by paying attention to the dispersion of the cell image as the feature amount based on the texture structure.
  • step S235 a frequency distribution is created for the variance of each segmented region, and the process proceeds to step S240.
  • step S240 it is determined whether or not the frequency distribution created in step S235 can be modeled by one normal distribution. If the frequency distribution can be expressed by one normal distribution, the process proceeds to step S250A, where a single normal distribution is used. If it cannot be modeled and is expressed by the sum of a plurality of normal distributions, the process proceeds to step S250B.
  • step S250A an area is calculated by labeling for each region, and weighting corresponding to the area value is designated in step S255A.
  • step S250B the distribution is classified into a plurality of classes for each normal distribution (for example, the cells are classified into three classes from a cell class having a large variance value to a cell class having a small variance value according to the variance value). A weight is specified.
  • a weighting function g j corresponding to the size (or class) of the contact area of each cell can be used as in the first embodiment.
  • a weighting function corresponding to each dynamic characteristic can be used.
  • the ROM 62 stores in advance a weighting function set under such consideration.
  • the weighting function is designated in steps S255A and S255B, and the process proceeds to step S270.
  • step S270 a map of weighting functions designated for each region is created, and in step S280, the above-mentioned weighting function values are applied between the first image at time t and the second image at time t + 1 to create an interimage space. Calculate the correlation value of. Then, the amount of movement between the images when the sum of the correlation values becomes the maximum is set as the amount of movement caused by the positioning error, and this is recorded in the RAM 63 as the position correction amount between the first image and the second image. Proceed to step S290.
  • step S290 position correction between the first and second images is executed based on the position correction amount calculated in step S280.
  • a time-lapse image generation command is input to the CPU 61 from the operation panel 71 or when a command for calculating the amount of cell movement is input to the CPU 61, the CPU 61 performs the position-corrected first and second images. Is used to generate a time-lapse image, or as shown in FIG. 4, the amount of movement of each cell is displayed as a vector using arrows.
  • the image processing apparatus 102 configured by executing the image processing program GP2 extracts a feature amount based on the texture structure of the object as the image feature amount of the object, and assigns a weight according to the feature amount to a plurality of images. A correlation between the images is calculated, a position correction amount is calculated, and image processing between a plurality of images is executed. Therefore, even when a non-object such as dust or bubbles is included in the observation field of view, or when a plurality of cells having different dynamic characteristics of the observation object are included, accurate position correction is performed. As a result, the accuracy of position correction between intermittently captured images can be improved.
  • the image processing apparatus 103 stores a plurality of types of feature quantities for image feature quantities as indicated by a two-dot chain line in FIG.
  • a storage unit 140 and a mode selection switch 150 that selects the type of feature amount set in the feature amount storage unit 140 are provided, and the position correction value calculation unit 120 corresponds to the feature amount selected by the mode selection switch 150.
  • the position correction value is calculated using a weighting correlation function.
  • FIG. 8 shows a flowchart of the image processing program GP3 constituting the image processing apparatus 103 by being read by the CPU 61.
  • the image processing method according to the present embodiment will be described in accordance with the processing flow of the image processing program GP3. To do.
  • step S310 the first image at time t and the second image at time t + 1 recorded in the RAM 63 are read out and acquired, and in step S320, segmented into areas.
  • segmentation method various methods can be used as described above.
  • step S330 one target to be weighted is extracted and specified from the image segmented into each region. For example, a cell C1 having a large area in the image shown in FIG. 4 is extracted and designated as a weighting target, and the process proceeds to step S340.
  • step S340 it is determined whether or not there is an area to be weighted in addition to the above-described designation target for the first image and the second image acquired from the RAM 63. Then, when it is determined that there is a region to be weighted in addition to the designation target, such as when the cell C2 having a small area coexists in addition to the designation target cell C1 designated in step S330, the process proceeds to step S345. If it is determined that there is no other, the process proceeds to step S370.
  • a mode selection screen for selecting the type of feature value set in the feature value storage unit 140 is displayed on the display panel 72.
  • the designation target (cell C1) extracted in step S330 and the other area (cell C2) to be weighted are identified and displayed in the image acquired from the RAM 63.
  • the modes that can be selected on the mode selection screen can be appropriately set according to the selection of the feature amount. For example, as shown in FIG. 8, a manual mode, a shape feature amount mode, and a texture feature amount mode are set. An operator who operates the culture observation system can operate the mode selection switch 150 to execute position correction processing in an arbitrary mode.
  • the manual mode is set in step S346, the process returns to step S330, and the operator operates the operation panel 71 to add or delete the designated area to be weighted. be able to.
  • step S350A the shape feature amount mode is set, and classification according to the shape feature amount is executed. For example, as described for the image processing apparatus 101 of the first embodiment, the segmented regions are classified into a class of cells C1 having a large ground area and a class of cells C2 having a small ground area.
  • the process proceeds to step S350B, the texture feature amount mode is set, and classification according to the texture feature amount is executed. For example, as described for the image processing apparatus 102 of the second embodiment, the segmented regions are classified into a plurality of classes such as a cell class having a large variance value and a cell class having a small variance value.
  • step S360 an area of the same class as the designated area is added to the weighting target area.
  • a weighting function is designated in step S370, and a weighting map is created.
  • a weighting function g j corresponding to the size and class of the contact area of each cell can be used as in the image processing apparatuses 101 and 102 described above, or the difference in cell type and growth stage.
  • a weighting function corresponding to each characteristic can be used.
  • the correlation value between the images is calculated by applying the weighting function value between the first image at time t and the second image at time t + 1 in step S380. To do. Then, the amount of movement between the images when the sum of the correlation values becomes the maximum is set as the amount of movement caused by the positioning error, and this is recorded in the RAM 63 as the position correction amount between the first image and the second image. Proceed to step S390.
  • step S390 position correction between the first and second images is executed based on the position correction amount calculated in step S380.
  • a time-lapse image generation command is input to the CPU 61 from the operation panel 71 or when a command for calculating the amount of cell movement is input to the CPU 61, the CPU 61 performs the position-corrected first and second images. Is used to generate a time-lapse image, or, as shown in FIG. 4, the amount of movement of each cell is displayed as a vector using arrows.
  • a plurality of types of feature amounts are set and stored in advance in the feature amount storage unit 140 as image feature amounts of the object, and are selected by the mode selection switch 150.
  • a weight corresponding to the feature amount is added to obtain a correlation between the plurality of images, a position correction amount is calculated, and image processing between the plurality of images is executed. Therefore, even when non-objects such as dust or bubbles are included in the observation field, or when multiple cells with different dynamic characteristics of the observation object are included, the type and state of the observation object Accordingly, it is possible to select a more suitable feature amount and perform accurate position correction, thereby improving the accuracy of position correction between intermittently photographed images.
  • the image processing method and the image processing apparatus 100 configured by executing these image processing programs, Image processing of time-lapse images with improved position correction accuracy between intermittently shot images because position correction is performed between images using a weighted correlation function according to the image feature of the object in the field of view Means can be obtained.
  • the present invention is not limited to this embodiment, and a plurality of images are provided at predetermined time intervals.
  • an observation device for observing the movement status of a ship moving in the sea will be briefly described.
  • the form of the ship fishing boat, passenger ship, tanker, destroyer, etc.
  • size size (drainage)
  • the feature amount based on the height and the texture structure include the color and dispersion of the hull, and examples of the external pressure include a tide flow and a wind state.
  • other devices include a road information observation device that observes a traffic jam situation of a vehicle, a monitoring device that monitors a movement state of a person, and the like.

Abstract

　撮像装置により視野内に位置する物体を撮影した第１画像、及び所定時間経過後に視野内に位置する物体を撮像装置により撮影した第２画像を取得するステップＳ１１０と、第１画像及び第２画像に含まれる各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像との位置ずれに対する位置補正値を算出するステップＳ１８０と、算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行うステップＳ１９０とを備え、位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成される。

Description

タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
　本発明は、観察対象を撮像装置により所定の時間間隔で断続的に撮影して複数の画像を取得し、取得した画像を時系列に並べてタイムラプス画像を生成するタイムラプス画像の画像処理手段に関する。
　上記のようなタイムラプス画像により観察対象の変化を観察する装置として、例えば、生細胞を培養しながら状態変化を観察する培養顕微鏡や、道路や海域の渋滞状況等を観測する観測装置などがある。このような装置、例えば培養顕微鏡において、細胞個々や細胞間の運動状態を観察し適正な評価を行うためには、視野内の各細胞の空間位置をハードウェアもしくはソフトウェアにより保証して、タイムラプス画像を生成する必要がある。
　ここで、視野内における各細胞の空間位置、すなわち撮像装置を含む観察光学系と観察対象との相対位置を機構構成によりハード的に保証するためには、温度ドリフトの影響を抑えるために熱膨張係数が極めて低いスーパー・インバーやセラミック等の高価な材質を用いて部材を構成することや、位置補正用のアライメント光学系を搭載することなどが必要となり、装置全体が複雑化・高額化する。さらに、観察光学系と観察対象との相対的な位置ずれを最小化しようとすれば、観察光学系と観察対象との相対位置を固定して一つの観察対象を観察し続ける必要がある。これらの不都合を回避して複数の観察対象を適宜入れ替えながら観察可能とするため、断続的に撮影された画像について、画像全体の相関を取ることによりソフト的に画像間の位置補正を行う手法が提案されている（例えば、特許文献1を参照）。
特開２００６－２３４９４号公報
　ここで、各画像間で画像全体の相関を取ることにより位置補正を行う場合には、視野内の個々の細胞がランダムに動いており、画像全体の重心は静止しているという仮定が成り立っている必要がある。このため、例えばゴミや泡などの観察対象外の物が視野内を流れているような場合には、ランダム運動の仮定が崩れ、観察対象以外の物の変位に引き摺られた位置補正がなされてしまうことがある、という課題があった。
　本発明は、上記課題に鑑みてなされたものであり、断続的に撮影された各画像間の位置補正の精度を向上させたタイムラプス画像の画像処理手段を提供することを目的とする。
　本発明を例示する第１の態様に従えば、撮像装置により視野内に位置する複数の物体（例えば、実施形態における細胞Ｃ１，Ｃ２）を撮影した第１画像と、所定時間の経過後に視野内に位置する複数の物体を撮像装置により撮影した第２画像とを取得し、第１画像及び第２画像に含まれる各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出し、この位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行ってタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理方法が提供される。
　本発明を例示する第２の態様に従えば、撮像装置により視野内に位置する複数の物体を撮影した第１画像及び所定時間の経過後に視野内に位置する複数の物体（例えば、実施形態における細胞Ｃ１，Ｃ２）を撮像装置により撮影した第２画像を取得するステップと、第１画像及び第２画像に含まれる各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像の撮影位置の相対的な位置ずれに対する位置補正値を算出するステップと、算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行うステップとを備え、画像間で位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理プログラムが提供される。
　本発明を例示する第３の態様に従えば、複数の物体を撮影する撮像装置と、撮像装置により所定の時間間隔を隔てて撮影された第１画像及び第２画像から各画像に含まれる各物体（例えば、実施形態における細胞Ｃ１，Ｃ２）の画像特徴量を解析する画像解析部と、解析された各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像の撮影位置の相対的な位置ずれに対する位置補正値を算出する位置補正値算出部と、位置補正値算出部において算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行う画像間位置補正部とを備え、画像間位置補正部により画像間で位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理装置が提供される。
　上記のようなタイムラプス画像の画像処理方法、画像処理プログラム、画像処理装置によれば、複数の画像間の位置補正が、視野内に含まれる複数の物体の画像特徴量に応じた重み付けの相関関数を用いて算出されるため、断続的に撮影された各画像間の位置補正の精度を向上させたタイムラプス画像の画像処理手段を提供することができる。
第１実施形態の画像処理プログラムのフローチャートである。 本発明の適用例として示す培養観察システムの概要構成図である。 上記培養観察システムのブロック図である。 従来の位置補正を説明するため顕微観察像を模式的に示した模式図である。 画像処理装置の概要構成を示すブロック図である。 細胞に外圧が作用している状況を模式的に示す平面図及び断面図である。 第２実施形態の画像処理プログラムのフローチャートである。 第３実施形態の画像処理プログラムのフローチャートである。
符号の説明
ＢＳ　培養観察システム
Ｃ１，Ｃ２　細胞（物体）
ＧＰ（ＧＰ１～ＧＰ３）　画像処理プログラム
５５　顕微観察系（５５ｃ　撮像装置）
１００（１０１～１０３）　画像処理装置
１１０　画像解析部
１２０　位置補正値算出部
１３０　画像間位置補正部
１４０　特徴量記憶部
１５０　モード選択スイッチ（モード選択手段）
　以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明のタイムラプス画像の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
　この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
　培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
　ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ～Ｃ列、上下方向を１～７段とした場合に、Ａ列５段の棚がＡ－５のように設定される。
　培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。
　搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
　観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
　第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。
　マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
　顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍～８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
　画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。
　制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
　操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
　ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
　このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
　また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
　また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
　ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分～２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。
　このように、培養観察システムＢＳでは、観察プログラムの設定に応じて、対象となる培養容器１０がストッカー３から搬送装置４により観察ユニット５に搬送され、指定された観察系の光軸上に位置決めされて撮像装置により撮影される。すなわち、培養観察システムＢＳでは、観察対象の試料と観察系とが観察を行うたびに相対移動される。そのため、複数回の観察について、観察対象と観察系との相対的な位置関係をハード的に一致させることは難しく、とくに観察倍率が高いほど困難である。そのため、撮像装置５４ｃ，５５ｃにより撮影された画像の試料に対する位置（試料の視野位置）は観察ごとに微妙に異なり、ＲＡＭ６３に記録された複数の画像間で観察視野の位置ずれが不可避的に生じる。
　このような位置ずれは、断続的に撮影された多数の画像を連続的に再生して、現実の時間軸では目視的に把握しにくい試料の変化状態を、時間軸を圧縮して動画のように動的変化として可視化するタイムラプス画像を生成する際に、画像品質を悪化させる大きな要因となる。そのため、従来では、観察対象がランダムに運動していることを前提として、断続的に撮影された画像について、画像全体の相関を取って画像間の位置補正を行う手法が用いられていた。
　しかしながら、観察系の視野内には、例えば細胞などの観察対象のほかに、ゴミや泡などのような観察対象以外の物（非対象物という）が含まれることがあり、このような非対象物が、培養容器１０の搬送に伴う培地の流動や、循環ファン２４の作動により生じる風の影響を受けて視野内を流れているような場合には、非対象物の変位に引き摺られた位置補正がなされてしまうことになる。
　また、視野内に非対象物を含まない場合であっても、観察対象の細胞（単一細部や細胞塊）のサイズに大小の差異があったり、特性が異なる複数の細胞が含まれたりすることも多い。このような例においても、外力の影響を受けやすいサイズの小さな細胞や浮遊性の細胞が、培地の流動や風の圧力等の「外圧」により大きく移動するような場合に、このような細胞の移動の影響を大きく受けた位置補正がなされてしまうことがあった。
　図４(１)～(３)は、上記のような位置補正がなされる状況を説明するため、異なるサイズの細胞を含む試料を顕微観察系５５で観察したときの顕微観察像を模式的に示したものである。各図中において、Ｃ１が培養容器との接地面積の大きい細胞、Ｃ２が培養容器との接地面積の小さい細胞である。
　図４の(１)は、位置補正が可能なある時刻ｔにおいて撮像装置５５ｃにより撮影された顕微観察画像である。図中に付記した矢印は、培地の流動や風の圧力などの外圧が作用していない場合において、次の観察スケジュールである時刻ｔ＋１に観察される各細胞の移動量を示している。この図に示すように、一般的に、接地面積の大きな細胞Ｃ１は移動量が少なく、接地面積の小さな細胞Ｃ２は移動量が大きい傾向を有している。
　図４の(２)は、(１)に示した状態で図における下方から上方に向けて外圧Ｐが作用した場合の顕微観察画像であり、(１)と同様に次の観察スケジュールである時刻ｔ＋１に観察される各細胞の移動量を矢印で示している。接地面積が小さい細胞Ｃ２は、培地の流動や風の圧力などの外圧の影響を受け易く、接地面積の大きな細胞Ｃ１よりも上方への移動量が大きくなっている。このような場合に、時刻ｔの画像と時刻ｔ＋１の画像との画像全体の相関値で求めた位置補正量は、顕微観察系５５の光軸に対する観察対象の位置決め誤差と、外圧Ｐの影響による移動分の合計値となる。
　図４の(３)は、時刻ｔの画像と、(２)の画像全体の相関値で位置補正を行った時刻ｔ＋１の画像とから各細胞Ｃ１，Ｃ２の移動量を算出した場合の画像である。画像間の位置補正について、外圧Ｐの影響による移動分を補正しすぎているため、外圧Ｐによって大きく上方に移動した小さな細胞Ｃ２の移動量が小さく算出され、本来的に殆ど移動していない大きな細胞Ｃ１について下方への移動量が算出される。
　このような不具合を是正するため、培養観察システムＢＳにおいては、観察スケジュールに応じて断続的に撮影された時刻ｔの第１画像と時刻ｔ＋１の第２画像に対し、画像全体の相関値で位置補正を行うのではなく、視野内に含まれる物体の画像特徴量に応じた重み付けをした相関関数を用いて位置補正を行うように構成される。
　図５に、上記の位置補正を行う画像処理装置１００の概要構成をブロック図として示す。なお、画像処理装置１００（１０１～１０３）は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰ（ＧＰ１～ＧＰ３）がＣＰＵ６１に読み込まれ、画像処理プログラムＧＰに基づく処理がＣＰＵ６１により実行されることによって構成される。図１に、第１実施形態の画像処理プログラムＧＰ１のフローチャートを示す。
　画像処理装置１００は、撮像装置（５４ｃ，５５ｃ）により所定の観察インターバルをおいて撮影された第１画像及び第２画像から各画像に含まれる各物体の画像特徴量を解析する画像解析部１１０と、解析された各物体の画像特徴量に応じた重みを付けた相関関数を用いて第１画像と第２画像の撮影位置の相対的な位置ずれに対する位置補正値を算出する位置補正値算出部１２０と、位置補正値算出部において算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行う画像間位置補正部１３０とを備え、画像間位置補正部により画像間で位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成される。
（第１実施形態）
　第１実施形態の画像処理装置１０１は、第１実施形態の画像処理プログラムＧＰ１をＣＰＵ６１が実行することにより構築される。この画像処理装置１０１は、第１画像及び第２画像に含まれる物体の画像特徴量として物体の外形に基づく特徴量を基準とし、特徴量に応じた重みを付けた相関関数を用いて位置ずれに対する位置補正を行う。
　画像処理プログラムＧＰ１では、まずステップＳ１１０において、ＲＡＭ６３に記録された時刻ｔの第１画像、及び時刻ｔ＋１の第２画像を読み出して取得し、ステップＳ１２０において各領域にセグメント化する。セグメンテーションには、公知の種々の手法を用いることができ、例えば、輝度値による２値化、分散値による２値化、SnakesやLevel Set法等の動的輪郭抽出法などがあげられる。
　次に、ステップＳ１３０において、セグメント化された各領域の外形に基づく特徴量（形状特徴）の解析を行う。外形に基づく特徴量として、例えば、領域の幅や長さ、面積（大きさ）、形状の複雑度（周囲長2／面積）などが例示される。実施例では、外形に基づく特徴量として細胞の接地面積に着目し領域の面積を規定した場合について説明する。ステップＳ１３５では、セグメント化された各領域の面積について頻度分布を作成しステップＳ１４０に進む。
　ステップＳ１４０では、ステップＳ１３５で作成された頻度分布が１つの正規分布でモデル化できるか否かが判断され、１つの正規分布で表現可能な場合にはステップＳ１５０Ａに進み、単一の正規分布でモデル化できず複数個の正規分布の和で表現される場合にはステップＳ１５０Ｂに進む。たとえば、図４に示した画像のような場合には、ステップＳ１３５で作成される頻度分布が、接地面積が大きい細胞Ｃ１の分布と接地面積が小さい細胞Ｃ２の分布の二つの分布により表現されるため、ステップＳ１５０Ｂに進む。
　ステップＳ１５０Ａでは、セグメント化された各領域にラベリングされて領域ごとに面積が算出され、ステップＳ１５５Ａで面積値に応じた重み付けが指定される。一方、ステップＳ１５０Ｂでは、分離された分布に応じてクラス別けされ（例えば接地面積が大きい細胞Ｃ１のクラスと接地面積が小さい細胞Ｃ２のクラスの二つにクラス分けされ）、ステップＳ１５５Ｂにおいてクラスごとの重み付けが指定される。
　ここで、重み付けの関数について考察する。図６は、ある細胞Ｃに対して図の下方から外圧Ｐが作用している状況を模式的に示した平面図(１)、及び断面図(２)である。観察対象の細胞Ｃに一定の外圧Ｐが働いているとした場合、外圧Ｐにより任意の細胞Ｃjに作用する外力（細胞を移動させようとする力）Ｆjは、外圧Ｐに垂直な面の断面積をＳjとしたときにＦj∝Ｐ×Ｓjとなり、その細胞Ｃjの断面積Ｓjに比例する。細胞Ｃが単層細胞の場合は核細胞の厚みが一定であるため、外圧Ｐに直行方向の幅をＬjとすればＦj∝Ｐ×Ｌjとなり、外圧Ｐにより細胞Ｃjに作用する外力Ｆjは幅Ｌjに比例する。
　一方、細胞の質量Ｗは体積Ｖに比例し、細胞Ｃjの立体形状を直径Ｌjの円柱に近似すると、体積Ｖjは直径の自乗、すなわち細胞Ｃjの外圧直行方向の幅Ｌjの自乗量に比例する。このため、培養容器１０に接地している細胞の摩擦力（摩擦抵抗力：μＷj）はＬj -2に比例する。
　従って、細胞の移動に対する外圧Ｐの影響度（移動しやすさ／しにくさ）は、単純な摩擦力だけを考慮した場合でもＬj -1に比例して動き難くなり、大きな細胞ほど外圧Ｐの影響を受け難いことになる。実際には、細胞の接地面積に応じて摩擦係数μも異なるため、重み付けの関数はＬ-1より急峻な関数となる。
　ＲＯＭ６２には、上記のような考察に基づいて算出された細胞の接地面積の大きさに応じた重み付けの関数ｇjが予め設定記憶されており、ステップＳ１５５Ａ，Ｓ１５５Ｂでは、各細胞Ｃjの大きさや、各クラスの平均サイズに応じた重み付けの関数ｇjが指定されてステップＳ１７０に進む。
　ステップＳ１７０では、領域ごとに指定された重み付け関数ｇjのマップを作成し、ステップＳ１８０において時刻ｔの第１画像と時刻ｔ＋１の第２画像との間で、上記重み付けの関数値を適用して画像間の相関値を計算する。そして、相関値の総和が最大となったときの画像間の移動量を位置決め誤差に起因する移動量とし、これを第１画像と第２画像との間の位置補正量（第１画像に対する第２画像の位置補正値）としてＲＡＭ６３に記録してステップＳ１９０に進む。
　ステップＳ１９０では、ステップＳ１８０で算出された位置補正量に基づいて、第１，第２画像間の位置補正を実行する。例えば操作パネル７１からタイムラプス画像の生成指令がＣＰＵ６１に入力された場合に、位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成する。また、操作パネル７１において各細胞の移動量を算出する処理が選択され、その指令がＣＰＵ６１に入力された場合には、位置補正された第１画像と第２画像をとの間で各細胞の移動量を算出し、例えば図４に示したような矢印の方向及び長さによってベクトル表示する。
　このような画像処理プログラムＧＰ１の実行により構成される画像処理装置１０１では、物体の画像特徴量として物体の外形に基づく特徴量を抽出し、特徴量に応じた重みを付けて複数の画像間の相関をとり、相関値の総和が最大となる移動量を位置補正量として算出して、複数の画像間の画像処理を実行する。そのため、観察視野内にゴミや泡などのような観察対象以外の物が含まれていたり、観察対象の動的特性が異なる複数の細胞が含まれるような場合であっても、的確な位置補正を行うことができ、これにより、断続的に撮影された画像間の位置補正の精度を向上さることができる。
（第２実施形態）
　次に、第２実施形態の画像処理装置１０２について説明する。本実施形態の画像処理装置１０２は、物体の画像特徴量として視野内に位置する物体のテクスチャ構造の特徴量を基準とする。すなわち、ハードウェア資源としての画像制御装置の装置構成は、第１実施形態の画像処理装置１０１と同様であるが、画像処理過程において判断の対象となる画像特徴量が第１実施形態の画像処理装置１０１と相違している。ＣＰＵ６１に読み込まれることにより画像処理装置１０２を構成する画像処理プログラムＧＰ２のフローチャートを図７に示し、以降この画像処理プログラムＧＰ２の処理フローに則して、本実施形態の画像処理方法について説明する。
　画像処理プログラムＧＰ２では、まずステップＳ２１０において、ＲＡＭ６３に記録された時刻ｔの第１画像、及び時刻ｔ＋１の第２画像を読み出して取得し、ステップＳ２２０において各領域にセグメント化する。セグメンテーションの手法は前述同様に種々の手法を用いることができる。
　次に、ステップＳ２３０において、セグメント化された各領域のテクスチャ構造に基づく特徴量（テクスチャ特徴）の解析を行う。テクスチャ構造に基づく特徴量として、例えば、セグメント化された領域の模様や分散、核の有無などが例示される。実施例では、テクスチャ構造に基づく特徴量として細胞像の分散に着目し、領域の分散を規定した場合について説明する。ステップＳ２３５では、セグメント化された各領域の分散について頻度分布を作成しステップＳ２４０に進む。
　ステップＳ２４０では、ステップＳ２３５で作成された頻度分布が１つの正規分布でモデル化できるか否かが判断され、１つの正規分布で表現可能な場合にはステップＳ２５０Ａに進み、単一の正規分布でモデル化できず複数個の正規分布の和で表現される場合にはステップＳ２５０Ｂに進む。
　ステップＳ２５０Ａでは、領域ごとにラベリングされて面積が算出され、ステップＳ２５５Ａにおいて面積値に応じた重み付けが指定される。ステップＳ２５０Ｂでは、正規分布ごとに複数にクラス別けされ（例えば、分散値に応じて分散値が大きい細胞のクラスから分散値が小さい細胞のクラスまで３クラスに分類され）、ステップＳ２５５Ｂにおいてクラスごとの重み付けが指定される。
　重み付けの関数は、第１実施形態と同様に各細胞の接地面積の大きさ（またはクラス）に応じた重み付けの関数ｇjを用いることができる。また、テクスチャ構造の特徴量が複数のクラスに分類され、それが細胞の種類や成長段階の相違に起因するような場合には、それぞれの動的特性に応じた重み付けの関数を用いることができる。ＲＯＭ６２には、このような考察のもとで設定された重み付けの関数が予め記憶されており、ステップＳ２５５Ａ，Ｓ２５５Ｂで重み付けの関数が指定され、ステップＳ２７０に進む。
　ステップＳ２７０では、領域ごとに指定された重み付け関数のマップを作成し、ステップＳ２８０において時刻ｔの第１画像と時刻ｔ＋１の第２画像との間で、上記重み付けの関数値を適用して画像間の相関値を計算する。そして、相関値の総和が最大となったときの画像間の移動量を位置決め誤差に起因する移動量とし、これを第１画像と第２画像との間の位置補正量としてＲＡＭ６３に記録してステップＳ２９０に進む。
　ステップＳ２９０では、ステップＳ２８０で算出された位置補正量に基づいて、第１，第２画像間の位置補正を実行する。そして、操作パネル７１からタイムラプス画像の生成指令がＣＰＵ６１に入力された場合、あるいは細胞の移動量を算出する指令がＣＰＵ６１に入力された場合に、ＣＰＵ６１は位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成し、あるいは図４に示したように各細胞の移動量を矢印によってでベクトル表示する。
　このように、画像処理プログラムＧＰ２の実行により構成される画像処理装置１０２では、物体の画像特徴量として物体のテクスチャ構造に基づく特徴量を抽出し、特徴量に応じた重みを付けて複数の画像間の相関をとり、位置補正量を算出して複数の画像間の画像処理を実行する。従って、観察視野内にゴミや泡などのような非対象物が含まれる場合や、観察対象の動的特性が異なる複数の細胞が含まれるような場合であっても、的確な位置補正を行うことができ、これにより、断続的に撮影された画像間の位置補正の精度を向上さることができる。
（第３実施形態）
　次に、第３実施形態の画像処理装置１０３について説明する。この画像処理装置１０３は、図５中に二点鎖線で示すように、既述した各実施形態の画像処理装置１０１，１０２に加えて、画像特徴量について複数種類の特徴量を記憶する特徴量記憶部１４０と、特徴量記憶部１４０に設定された特徴量の種類を選択するモード選択スイッチ１５０とを備え、位置補正値算出部１２０が、モード選択スイッチ１５０において選択された特徴量に応じた重み付けの相関関数を用いて位置補正値を算出するように構成される。
　ＣＰＵ６１に読み込まれることにより画像処理装置１０３を構成する画像処理プログラムＧＰ３のフローチャートを図８に示しており、以降この画像処理プログラムＧＰ３の処理フローに則して、本実施形態の画像処理方法について説明する。
　画像処理プログラムＧＰ３では、まずステップＳ３１０において、ＲＡＭ６３に記録された時刻ｔの第１画像、及び時刻ｔ＋１の第２画像を読み出して取得し、ステップＳ３２０において各領域にセグメント化する。セグメンテーションの手法は前述同様に種々の手法を用いることができる。
　次に、ステップＳ３３０において、各領域にセグメント化された画像から重み付けを行う対象を１つ抽出して指定する。例えば、図４に示した画像において面積が大きい細胞Ｃ１を抽出して重み付け対象に指定しステップＳ３４０に進む。
　ステップＳ３４０では、ＲＡＭ６３から取得した第１画像及び第２画像について、上記指定対象以外に重み付け対象となる領域が存在するか否かについて判断する。そして、ステップＳ３３０において指定した指定対象の細胞Ｃ１の他に面積が小さい細胞Ｃ２が併存するときのように、指定対象以外に重み付け対象となる領域が存在すると判断される場合にステップＳ３４５に進み、他に存在しないと判断される場合にはステップＳ３７０に進む。
　ステップＳ３４５では、特徴量記憶部１４０に設定された特徴量の種類を選択するモード選択画面を表示パネル７２に表示させる。このモード選択画面では、ＲＡＭ６３から取得された画像中に、ステップＳ３３０において抽出された指定対象（細胞Ｃ１）と、重み付けの対象となる他の領域（細胞Ｃ２）とが識別されて表示される。モード選択画面で選択可能なモードは特徴量の選択に応じて適宜に設定することができるが、例えば図８に示すように、マニュアルモード、形状特徴量モード、テクスチャ特徴量モードが設定される。培養観察システムを操作するオペレータは、モード選択スイッチ１５０を操作して任意のモードで位置補正の処理を実行させることができる。
　モード選択スイッチ１５０においてマニュアルモードが選択された場合には、ステップＳ３４６でマニュアルモードが設定されてステップＳ３３０に戻り、オペレータが操作パネル７１を操作して自ら重み付け対象の指定領域の追加や削除を行うことができる。
　モード選択スイッチ１５０において形状特徴量モードが選択された場合には、ステップＳ３５０Ａに進んで形状特徴量モードが設定され、形状特徴量に応じたクラス別けが実行される。例えば、第１実施形態の画像処理装置１０１について説明したように、セグメント化された領域が、接地面積の大きい細胞Ｃ１のクラスと接地面積の小さい細胞Ｃ２のクラスのようにクラス別けされる。
　モード選択スイッチ１５０においてテクスチャ特徴量モードが選択された場合には、ステップＳ３５０Ｂに進んでテクスチャ特徴量モードが設定され、テクスチャ特徴量に応じたクラス別けが実行される。例えば、第２実施形態の画像処理装置１０２について説明したように、セグメント化された領域が、分散値の大きい細胞のクラスと分散値の小さい細胞のクラスのように複数にクラス別けされる。
　そして、ステップＳ３６０において指定領域と同じクラスの領域を重み付け対象領域に加え、ステップＳ３７０において重み付けの関数が指定された上で、重み付けマップが作成される。重み付けの関数は、既述した画像処理装置１０１，１０２と同様に、各細胞の接地面積の大きさやクラスに応じた重み付けの関数ｇjを用いることができ、あるいは細胞の種類や成長段階の相違に応じたクラス分類に相当するような場合には、それぞれの特性に応じた重み付けの関数を用いることができる。
　ステップＳ３７０において重み付け関数のマップが作成されると、ステップＳ３８０において時刻ｔの第１画像と時刻ｔ＋１の第２画像との間で、上記重み付けの関数値を適用して画像間の相関値を計算する。そして、相関値の総和が最大となったときの画像間の移動量を位置決め誤差に起因する移動量とし、これを第１画像と第２画像との間の位置補正量としてＲＡＭ６３に記録してステップＳ３９０に進む。
　ステップＳ３９０では、ステップＳ３８０で算出された位置補正量に基づいて、第１，第２画像間の位置補正を実行する。そして、操作パネル７１からタイムラプス画像の生成指令がＣＰＵ６１に入力された場合、あるいは細胞の移動量を算出する指令がＣＰＵ６１に入力された場合に、ＣＰＵ６１は位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成し、あるいは図４に示したように各細胞の移動量を矢印によってベクトル表示する。
　このように、画像処理プログラムＧＰ３の実行により構成される画像処理装置１０３では、物体の画像特徴量として複数種類の特徴量が特徴量記憶部１４０に予め設定記憶され、モード選択スイッチ１５０において選択された特徴量に応じた重みを付けて複数の画像間の相関をとり、位置補正量を算出して複数の画像間の画像処理を実行する。従って、観察視野内にゴミや泡などのような非対象物が含まれる場合や、観察対象の動的特性が異なる複数の細胞が含まれるような場合であっても、観察対象の種別や状態に応じてより好適な特徴量を選択して的確な位置補正を行うことができ、これにより、断続的に撮影された画像間の位置補正の精度を向上さることができる。
　以上説明したように、本発明の画像処理プログラムＧＰ（ＧＰ１～ＧＰ３）、これらの画像処理プログラムが実行されることより構成される画像処理方法及び画像処理装置１００（１０１～１０３）によれば、視野内の物体の画像特徴量に応じた重み付けの相関関数を用いて画像間で位置補正がなされるため、断続的に撮影された画像間の位置補正の精度を向上させたタイムラプス画像の画像処理手段を得ることができる。
　なお、実施形態では、本発明のタイムラプス画像の画像処理装置を培養観察システムに適用した場合を例示したが、本発明はこの実施形態に限定されるものではなく、所定の時間間隔をおいて複数の画像を取得しこれを連続的に再生するような他の装置にも同様に適用し同様の効果を得ることができる。一例として、海域を移動する船舶の移動状況を観察する観察装置について簡単に説明すれば、外形に基づく特徴量として、船舶の形態（釣り船、客船、タンカー、駆逐艦等）や大きさ（排水量）高さ、テクスチャ構造に基づく特徴量として船体の色や分散などが例示され、外圧として潮の流れや風の状態などがあげられる。その他の装置として、車両の渋滞状況を観測する道路情報観測装置、人の移動状態等を監視する監視装置などが例示される。

Claims (11)

  1. 　撮像装置により視野内に位置する複数の物体を撮影した第１画像と、所定時間の経過後に視野内に位置する複数の前記物体を前記撮像装置により撮影した第２画像とを取得し、
    　前記第１画像及び前記第２画像に含まれる各前記物体の画像特徴量に応じた重み付けをした相関関数を用いて前記第１画像と前記第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出し、
    　前記位置補正値に基づいて前記第１画像及び前記第２画像の画像間で位置補正を行って、タイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理方法。
  2. 　前記画像特徴量が、前記物体の外形に基づく特徴量であることを特徴とする請求項１に記載のタイムラプス画像の画像処理方法。
  3. 　前記画像特徴量が、前記物体のテクスチャ構造に基づく特徴量であることを特徴とする請求項１に記載のタイムラプス画像の画像処理方法。
  4. 　撮像装置により視野内に位置する複数の物体を撮影した第１画像、及び所定時間の経過後に視野内に位置する複数の前記物体を前記撮像装置により撮影した第２画像を取得するステップと、
    　前記第１画像及び前記第２画像に含まれる各前記物体の画像特徴量に応じた重み付けをした相関関数を用いて前記第１画像と前記第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出するステップと、
    　前記位置補正値に基づいて前記第１画像及び前記第２画像の画像間で位置補正を行うステップとを備え、
    　画像間で位置補正された前記第１画像及び前記第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理プログラム。
  5. 　前記画像特徴量が、前記物体の外形に基づく特徴量であることを特徴とする請求項４に記載のタイムラプス画像の画像処理プログラム。
  6. 　前記画像特徴量が、前記物体のテクスチャ構造に基づく特徴量であることを特徴とする請求項４に記載のタイムラプス画像の画像処理プログラム。
  7. 　前記画像特徴量が、予め設定記憶された複数種類の特徴量からなるとともに、前記特徴量の種類を選択するモード選択ステップを有し、
    　前記モード選択ステップにおいて選択された特徴量に応じた重み付けの相関関数を用いて前記ずれ量を算出するように構成したことを特徴とする請求項４に記載のタイムラプス画像の画像処理プログラム。
  8. 　複数の物体を撮影する撮像装置と、
    　前記撮像装置により所定の時間間隔を隔てて撮影された第１画像及び第２画像から各画像に含まれる各前記物体の画像特徴量を解析する画像解析部と、
    　解析された各前記物体の前記画像特徴量に応じた重み付けをした相関関数を用いて前記第１画像と前記第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出する位置補正値算出部と、
    　前記位置補正値算出部において算出された前記位置補正値に基づいて前記第１画像及び前記第２画像の画像間で位置補正を行う画像間位置補正部とを備え、
    　前記画像間位置補正部により画像間で位置補正された前記第１画像及び前記第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理装置。
  9. 　前記画像特徴量が、前記物体の外形に基づく特徴量であることを特徴とする請求項８に記載のタイムラプス画像の画像処理装置。
  10. 　前記画像特徴量が、前記物体のテクスチャ構造に基づく特徴量であることを特徴とする請求項８に記載のタイムラプス画像の画像処理装置。
  11. 　前記画像特徴量について予め設定された複数種類の特徴量を記憶する特徴量記憶部と、
    　前記特徴量記憶部に設定された前記特徴量の種類を選択するモード選択手段とを備え、
    　前記位置補正値算出部が、前記モード選択手段において選択された特徴量に応じた重み付けの相関関数を用いて前記位置補正値を算出するように構成したことを特徴とする請求項８に記載のタイムラプス画像の画像処理装置。
PCT/JP2008/073039 2007-12-20 2008-12-18 タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置 WO2009081832A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP08863856.4A EP2234061B1 (en) 2007-12-20 2008-12-18 Image processing method for time lapse image, image processing program, and image processing device
CN2008801172972A CN101868808B (zh) 2007-12-20 2008-12-18 隔时图像的图像处理方法和图像处理装置
US12/801,666 US8503790B2 (en) 2007-12-20 2010-06-18 Image-processing method, image-processing program and image-processing device for processing time-lapse image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007328471A JP2009152827A (ja) 2007-12-20 2007-12-20 タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
JP2007-328471 2007-12-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/801,666 Continuation US8503790B2 (en) 2007-12-20 2010-06-18 Image-processing method, image-processing program and image-processing device for processing time-lapse image

Publications (1)

Publication Number Publication Date
WO2009081832A1 true WO2009081832A1 (ja) 2009-07-02

Family

ID=40801135

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/073039 WO2009081832A1 (ja) 2007-12-20 2008-12-18 タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置

Country Status (5)

Country Link
US (1) US8503790B2 (ja)
EP (1) EP2234061B1 (ja)
JP (1) JP2009152827A (ja)
CN (1) CN101868808B (ja)
WO (1) WO2009081832A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004568A1 (ja) * 2009-07-08 2011-01-13 株式会社ニコン 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
WO2011013319A1 (ja) * 2009-07-31 2011-02-03 株式会社ニコン 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2011016189A1 (ja) * 2009-08-07 2011-02-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP2013061433A (ja) * 2011-09-12 2013-04-04 Olympus Corp タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
US8588504B2 (en) 2009-06-12 2013-11-19 Nikon Corporation Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
JP2016185106A (ja) * 2015-03-27 2016-10-27 大日本印刷株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
CN106124421A (zh) * 2010-09-08 2016-11-16 泰肯贸易股份公司 具有可控气氛的酶标仪及相应方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9810895B2 (en) * 2009-05-29 2017-11-07 Olympus Corporation Biological observation apparatus
JP5560673B2 (ja) 2009-11-27 2014-07-30 株式会社リコー 液体収容タンク、液体吐出ヘッドユニット及び画像形成装置
US9322784B2 (en) * 2010-09-08 2016-04-26 Tecan Trading Ag Microplate-reader with a controlled gas atmosphere, corresponding method and use of same
US9314304B2 (en) 2010-12-08 2016-04-19 Lumicell, Inc. Methods and system for image guided cell ablation with microscopic resolution
US10813554B2 (en) * 2013-03-14 2020-10-27 Lumicell, Inc. Medical imaging device and methods of use
JP6097952B2 (ja) * 2013-08-22 2017-03-22 富士フイルム株式会社 観察画像判定装置および方法並びにプログラム
JP6438364B2 (ja) * 2015-08-17 2018-12-12 浜松ホトニクス株式会社 測定装置
WO2018003340A1 (ja) * 2016-07-01 2018-01-04 ソニー株式会社 画像取得方法、画像取得装置、プログラム及び培養容器
CN109983114A (zh) * 2016-11-29 2019-07-05 索尼公司 信息处理设备、信息处理方法、程序和观察系统
US11426075B1 (en) 2017-08-23 2022-08-30 Lumicell, Inc. System and method for residual cancer cell detection
WO2019058512A1 (ja) 2017-09-22 2019-03-28 オリンパス株式会社 観察システム
CN108300663B (zh) * 2018-01-30 2020-11-10 京东方科技集团股份有限公司 细胞培养监测系统及培养监测方法
CN110225244B (zh) * 2019-05-15 2021-02-09 华为技术有限公司 一种图像拍摄方法与电子设备
JP7432319B2 (ja) 2019-08-05 2024-02-19 大日本印刷株式会社 浮遊懸濁培養状態監視装置、浮遊懸濁培養状態監視システム、コンピュータプログラム及び浮遊懸濁培養状態監視方法
CN113676657B (zh) * 2021-08-09 2023-04-07 维沃移动通信（杭州）有限公司 延时摄影方法、装置、电子设备及存储介质
US20240069626A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Timelapse re-experiencing system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005164707A (ja) * 2003-11-28 2005-06-23 Effector Cell Institute Inc 細胞計測支援システムおよび細胞観察装置
JP2006023494A (ja) 2004-07-07 2006-01-26 Nikon Corp 顕微鏡観察画像取得方法および顕微鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187303A (ja) * 1997-12-22 1999-07-09 Canon Inc 画像処理装置および方法並びに記憶媒体
GB2350005B (en) * 1999-03-17 2003-01-08 Canon Kk Image processing apparatus
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
US7672705B2 (en) * 2004-07-19 2010-03-02 Resonant Medical, Inc. Weighted surface-to-surface mapping
DE102004047519B4 (de) * 2004-09-28 2021-08-12 Leica Microsystems Cms Gmbh Verfahren zur Überlagerung optischer Informationen bei einem Scan-Mikroskop
JP5058444B2 (ja) * 2005-02-10 2012-10-24 オリンパス株式会社 顕微鏡写真装置および顕微鏡写真装置制御方法
EP1865315B1 (en) * 2005-03-29 2019-03-13 Olympus Corporation Cell image analyzing method, cell image analyzing device
JP4970869B2 (ja) * 2005-09-12 2012-07-11 オリンパス株式会社 観察装置および観察方法
JP5063023B2 (ja) * 2006-03-31 2012-10-31 キヤノン株式会社 位置姿勢補正装置、位置姿勢補正方法
US7630628B2 (en) * 2007-07-27 2009-12-08 Nikon Corporation Microscope system and microscope observation method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005164707A (ja) * 2003-11-28 2005-06-23 Effector Cell Institute Inc 細胞計測支援システムおよび細胞観察装置
JP2006023494A (ja) 2004-07-07 2006-01-26 Nikon Corp 顕微鏡観察画像取得方法および顕微鏡システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588504B2 (en) 2009-06-12 2013-11-19 Nikon Corporation Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
WO2011004568A1 (ja) * 2009-07-08 2011-01-13 株式会社ニコン 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
WO2011013319A1 (ja) * 2009-07-31 2011-02-03 株式会社ニコン 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2011016189A1 (ja) * 2009-08-07 2011-02-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
CN106124421A (zh) * 2010-09-08 2016-11-16 泰肯贸易股份公司 具有可控气氛的酶标仪及相应方法
CN106124421B (zh) * 2010-09-08 2019-06-25 泰肯贸易股份公司 具有可控气氛的酶标仪及相应方法
JP2013061433A (ja) * 2011-09-12 2013-04-04 Olympus Corp タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP2016185106A (ja) * 2015-03-27 2016-10-27 大日本印刷株式会社 画像解析装置、画像解析方法、及び画像解析プログラム

Also Published As

Publication number Publication date
JP2009152827A (ja) 2009-07-09
US8503790B2 (en) 2013-08-06
EP2234061B1 (en) 2019-11-27
EP2234061A1 (en) 2010-09-29
EP2234061A4 (en) 2014-08-20
US20100260422A1 (en) 2010-10-14
CN101868808A (zh) 2010-10-20
CN101868808B (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
WO2009081832A1 (ja) タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置
JP4953092B2 (ja) 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置
WO2009119330A1 (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
CN102216827B (zh) 显微镜装置以及使用该显微镜装置的荧光观察方法
WO2009119329A1 (ja) 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
US8588504B2 (en) Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
WO2011004568A1 (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JPWO2007145198A1 (ja) 培養物観察システム
JP4774835B2 (ja) 顕微鏡
JP2007334141A (ja) 培養物観察システム
JP2009229274A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2012039929A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP5365691B2 (ja) 生体試料観察装置
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2012039930A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法
JP2011017620A (ja) 形状測定方法、画像処理プログラム及び観察装置
JP2011010621A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置
JP2008139489A (ja) 顕微鏡装置
JP2012039931A (ja) 観察装置、観察方法、及び培養物の製造方法
JP2012042327A (ja) 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880117297.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08863856

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 4997/DELNP/2010

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2008863856

Country of ref document: EP