WO2012118049A1 - 表示制御装置および方法、画像処理装置および方法、並びに、プログラム - Google Patents

表示制御装置および方法、画像処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
WO2012118049A1
WO2012118049A1 PCT/JP2012/054857 JP2012054857W WO2012118049A1 WO 2012118049 A1 WO2012118049 A1 WO 2012118049A1 JP 2012054857 W JP2012054857 W JP 2012054857W WO 2012118049 A1 WO2012118049 A1 WO 2012118049A1
Authority
WO
WIPO (PCT)
Prior art keywords
display control
movement
cell
evaluation
amount
Prior art date
Application number
PCT/JP2012/054857
Other languages
English (en)
French (fr)
Inventor
智広 早川
威 國弘
松居　恵理子
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/984,672 priority Critical patent/US10311581B2/en
Priority to CN2012800098935A priority patent/CN103380209A/zh
Priority to EP12752715.8A priority patent/EP2682455B1/en
Priority to KR1020137021429A priority patent/KR101900977B1/ko
Publication of WO2012118049A1 publication Critical patent/WO2012118049A1/ja
Priority to US16/391,157 priority patent/US10650534B2/en

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5008—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
    • G01N33/5014—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing toxicity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/80—Devices characterised by the determination of the time taken to traverse a fixed distance using auto-correlation or cross-correlation detection means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to a display control device and method, an image processing device and method, and a program, and in particular, a display control device and method, and an image processing device that enable easy and non-invasive observation of pulsation propagation. And a method and a program.
  • a measurement point is set in an imaging screen obtained by photographing cardiomyocytes, and the luminance of the measurement point is automatically measured, and the deformation period of the cardiomyocytes is measured from the measurement value.
  • Is known see, for example, Patent Document 1).
  • pulsations in various regions obtained by analysis of phase difference observation videos of cultured cardiomyocytes show cooperative pulsations depending on the number of days of culture, but show fluctuations due to administration of various drugs.
  • By detecting such fluctuations by some method it becomes possible to evaluate in advance the drug toxicity, effects and the like at the time of drug discovery.
  • the present disclosure has been made in view of such a situation, and an object thereof is to enable easy and non-invasive observation of pulsation propagation.
  • One aspect of the present disclosure includes a first display control unit that performs display control of a cell image using one or a plurality of images including cells, and one amount of movement generated for each partial region by the one or more images.
  • the image processing apparatus includes a second display control unit that performs display control so that a part or the whole is associated with each partial region and superimposed on the cell image.
  • the cell is a cell that moves passively or actively, and the second display control unit displays a part or all of the movement amount so as to express a state of propagation of the movement of the cell. Can do.
  • the second display control unit can display the state of propagation of the movement of the cell as a change with time of the distribution of the movement amount in the cell image.
  • the second display control unit expresses a change over time of the motion amount distribution by displaying a two-dimensional map on a curved surface or a plane expressing the motion amount distribution at each of a plurality of times. Can do.
  • the second display control unit can express the position of the amount of movement in the cell image as a position on the two-dimensional map, and can express the absolute value of the amount of movement as a color, density, or pattern. .
  • the cell image is a moving image
  • the second display control unit can superimpose and display part or all of the amount of movement corresponding to the frame image on each frame image of the cell image.
  • the second display control unit can display an evaluation result of the motion amount distribution together with the motion amount.
  • One aspect of the present disclosure is also a display control method for a display control device, in which the first display control unit performs display control of a cell image using one or a plurality of images including cells, and performs a second display.
  • a display control method in which the control unit performs display control so that a part or all of the amount of motion generated for each partial region by the one or more images is associated with each partial region and superimposed on the cell image. It is.
  • a computer is further generated for each partial region by a first display control unit that performs display control of a cell image using one or more images including cells, and the one or more images.
  • This is a program for causing a part or all of the movement amount to correspond to each partial region and function as a second display control unit that performs display control so as to be superimposed and displayed on the cell image.
  • Another aspect of the present disclosure provides a motion amount generation unit that generates a motion amount for each partial region for one or a plurality of images including cells, and a part or all of the motion amount generated by the motion amount generation unit. And an evaluation unit that evaluates the state of propagation of the cell movement.
  • the evaluation unit can display, as an image, a result of comparison between the state of propagation of the movement of the cell indicated by the amount of movement and a case where it is certain that the movement of the cell is normal.
  • the evaluation unit obtains a difference between the amount of movement of the cell image and a case where the movement of the cell is surely normal, and evaluates the difference, thereby changing a state of propagation of the movement of the cell. Can be quantitatively evaluated.
  • the evaluation unit can evaluate a change in an immovable region where there is no movement in the cell image.
  • the evaluation unit can evaluate a change in the movement speed of the region where the movement amount is large.
  • the evaluation unit can evaluate a change in the locus of the center of gravity of the motion amount.
  • the evaluation unit can evaluate a histogram regarding the speed and direction of movement in the cell image.
  • the evaluation unit can evaluate the state of propagation of the cell movement for an observation period of several hours to several days.
  • the evaluation unit evaluates the state of propagation of the movement of the cells so as to detect the occurrence of the arrhythmia of the cardiomyocytes regardless of the occurrence of the QT extension that is an extension of the time between the Q wave and the T wave of the cardiomyocytes. can do.
  • Another aspect of the present disclosure is also an image processing method of the image processing device, in which the motion amount generation unit generates a motion amount for each partial region for one or a plurality of images including cells, and the evaluation unit This is an image processing method for evaluating the propagation of the movement of the cell by using a part or all of the generated movement amount.
  • the computer further includes a motion amount generation unit that generates a motion amount for each partial region for one or a plurality of images including cells, and the motion amount generated by the motion amount generation unit. It is a program for making it function as an evaluation part which evaluates the mode of propagation of the movement of the cell using a part or all.
  • display control of a cell image is performed using one or a plurality of images including cells, and a part or all of the amount of movement generated for each partial region by one or a plurality of images is Display control is performed so as to be associated with each partial region and displayed superimposed on the cell image.
  • a motion amount is generated for each partial region with respect to one or a plurality of images including cells, and a state of propagation of the motion of the cell using a part or all of the generated motion amount Is evaluated.
  • an image can be processed.
  • propagation of pulsation can be observed easily and non-invasively.
  • FIG. 26 is a block diagram illustrating a main configuration example of a personal computer.
  • First embodiment drug evaluation apparatus
  • Second embodiment personal computer
  • ⁇ 1 First Embodiment>
  • Cultured cardiomyocytes For example, in regenerative medicine, various human tissues and organs are treated using cultured cells that are cell tissues produced by culturing cells collected from a living body. A cultured cell 1 shown in FIG. 1A is obtained by culturing and growing cardiomyocytes. Cultured cardiomyocytes, which are cultured cells obtained by culturing cardiomyocytes, may be used, for example, for the treatment of the heart. It is also used for evaluating toxicity to the heart in drug discovery.
  • cardiomyocytes constantly beat and repeat contraction and relaxation. Accordingly, the cultured cell 1 which is a cultured cardiomyocyte also moves in a predetermined direction as in the motion vector 2 shown in FIG. 1B so that the whole of the cultured cell 1 repeatedly contracts and relaxes.
  • a cardiomyocyte has a part that beats autonomously and a part that beats depending on surrounding beats. That is, depending on the site, the cultured cell 1 may not autonomously beat.
  • the cultured cell 1 can be beaten by periodically applying a voltage from the outside to the cultured cell 1 using an electrode.
  • the pulsation of the cultured cell 1 pace-made by applying an external voltage is basically the same as the case of autonomous pulsation. That is, even when the cultured cell 1 pulsates autonomously or when it pulsates due to voltage application, it can be similarly observed using the present technology.
  • FIG. 1C shows an observation region of the cultured cell 1 divided into a plurality of partial regions (blocks), a motion amount (motion vector) is detected for each block, and the temporal transition is observed.
  • the graph 4-1 in FIG. 1C shows the temporal transition of the motion amount of the block 3-1
  • the graph 4-2 shows the temporal transition of the motion amount of the block 3-2. It is.
  • Graphs 5-1 to 5-3 in FIG. 2A show the amount of cell movement of the block 3-1 shown in the graph 4-1, and the amount of cell movement of the block 3-2 shown in the graph 4-2. It shows the temporal transition of the relationship.
  • the amount of cell movement initially present in block 3-1 and the amount of cell movement present in block 3-2 have a low correlation with each other as shown in graph 5-1. It is. However, as time passes and the culture progresses, the correlation gradually increases as shown in graph 5-2, and as time passes, the correlation between the two increases as shown in graph 5-3. Sex is very strong.
  • the correlation coefficient of the amount of movement between a plurality of positions of the grown cultured cell 1 is stabilized at a large value. That is, the cooperativity of the movement of cells in each region is strengthened. Ideally, the movements of the cells are related to each other, and the entire cultured cell 1 is pulsated as one living tissue.
  • the grown cultured cell 1 is composed of a plurality of cells, and signals are transmitted between the cells via gap junctions. Thereby, a correlation arises in a motion between cells, and the whole cultured cell 1 comes to beat as one biological tissue. In cultured cells 1 grown in this way, pulsations propagate between the cells.
  • the cultured cells 1j having such a high correlation (cooperability) and propagation of pulsation can be used for drug evaluation. For example, by administering a drug to the cultured cell 1 and observing the movement before and after that, the effect and toxicity of the drug can be evaluated from the change in the movement of the cultured cell 1.
  • FIG. 3 is a block diagram illustrating a main configuration example of the medicine evaluation apparatus.
  • the drug evaluation apparatus 100 shown in FIG. 3 is an apparatus that evaluates a drug administered to the cultured cardiomyocytes 110 by observing the movement of the cultured cardiomyocytes 110.
  • the medicine evaluation apparatus 100 includes an imaging unit 101, an evaluation target image data generation recording unit 102, an evaluation index data generation unit 103, and an evaluation unit 104.
  • the imaging unit 101 images the cultured cardiomyocytes 110 to be observed.
  • the imaging unit 101 may image the cultured cardiomyocytes 110 directly (without passing through other members), or may image the cultured cardiomyocytes 110 through other members such as a microscope.
  • the cultured cardiomyocytes 110 may be fixed with respect to the imaging unit 101 or may not be fixed. In general, it is desirable that the cultured cardiomyocytes 110 are fixed to the imaging unit 101 in order for the drug evaluation apparatus 100 to detect movement (temporal change in position).
  • the imaging unit 101 images the cultured cardiomyocytes 110 for a predetermined period. That is, the imaging unit 101 obtains a moving image with the cultured cardiomyocytes 110 as a subject.
  • the imaging unit 101 images the cultured cardiomyocytes 110 before and after drug administration. Note that the imaging unit 101 may image the cultured cardiomyocytes 110 a plurality of times after drug administration, for example, according to a predetermined condition such as every predetermined time.
  • the imaging unit 101 supplies an image signal 111 (moving image) of an image of the cultured cardiomyocyte 110 obtained by imaging to the evaluation target image data generation recording unit 102.
  • the evaluation target image data generation / recording unit 102 generates evaluation target image data based on the image signal supplied from the imaging unit 101, and records and stores the generated evaluation target image data in, for example, an internal recording medium.
  • the evaluation object image data generated here is, for example, moving image data generated from an image signal obtained by imaging the cultured cardiomyocytes 110.
  • the evaluation target image data generation / recording unit 102 may extract only a part of the frame images from a plurality of frame images supplied from the imaging unit 101 and use them as evaluation target image data. Good. Further, for example, the evaluation target image data generation / recording unit 102 extracts a partial region of each frame image supplied from the imaging unit 101 as a small frame image, and a moving image including the small frame image is determined as the evaluation target image data. You may make it.
  • the evaluation target image data generation / recording unit 102 may perform arbitrary image processing on each frame image supplied from the imaging unit 101, and the image processing result may be used as evaluation target image data.
  • image processing for example, image enlargement, reduction, rotation, deformation, brightness and chromaticity correction, sharpness, noise removal, intermediate frame image generation, and the like can be considered. Of course, any image processing other than these may be used.
  • the evaluation target image data generation recording unit 102 supplies the stored evaluation target image data 112 to the evaluation index data generation unit 103 at a predetermined timing or based on a request from the evaluation index data generation unit 103.
  • the evaluation index data generation unit 103 observes each block, which is a partial region obtained by dividing the entire region of the image of the observation target (cultured cardiomyocytes 110) into a plurality of frames between the frame images of the supplied evaluation target image data 112. The motion of the target (cultured cardiomyocytes 110) is detected.
  • the evaluation index data generation unit 103 represents the detected motion of each block as a motion vector, and obtains the magnitude (motion amount) of the motion vector. Since the amount of movement is an absolute value, this amount of movement is also referred to as a movement amount absolute value in the following.
  • the evaluation index data generation unit 103 supplies the motion amount absolute value to the evaluation unit 104 as evaluation index data 113.
  • the evaluation unit 104 maps the absolute value of the amount of motion supplied as the evaluation index data 113 to a two-dimensional color map, expresses the state of pulsation propagation, and further evaluates the state quantitatively. The drug is evaluated.
  • the evaluation unit 104 outputs the two-dimensional color map and the quantitative evaluation result as an evaluation value 114.
  • the 2D color map expresses the size of the parameter at each position on the plane in color.
  • the plane represents the observation area of the cultured cardiomyocytes 110
  • the color represents the absolute value of movement (the magnitude of the value). That is, the position of the motion amount absolute value is represented by a position on the plane, and the magnitude of the value is represented by a color. That is, the distribution of the absolute value of the motion amount in the observation area is indicated by the change of the color on the plane.
  • FIGS Examples of such a two-dimensional color map are shown in FIGS.
  • Each of the eight color maps shown in FIG. 4 shows the distribution of the absolute value of the amount of movement in the observation area.
  • the position on the color map indicates the position in the observation area. It shows that the absolute value of the amount of movement is large. That is, a portion having a high color density indicates that it is pulsating vigorously (during contraction or relaxation).
  • the arrows on the color map are drawn for the sake of explanation, and are not drawn on the actual color map.
  • the 4 color maps on the left are examples showing the propagation of pulsations after administration of the organic solvent (control).
  • the organic solvent basically does not affect the pulsation of the cultured cardiomyocytes 110.
  • Examples of the organic solvent include dimethyl sulfoxide.
  • Each of the four color maps shows, in order from the top, the pulsation immediately after administration (0 ms), after 40 ms has elapsed since administration, after 80 ms have elapsed since administration, and after 120 ms have elapsed since administration.
  • the four color maps on the right are examples showing the propagation of pulsation after administration of 1-heptanol.
  • 1-heptanol is known to inhibit the function of gap junctions that relay signal transduction between cells.
  • Each of the four color maps shows, in order from the top, pulsation immediately after administration (0 ms), after 80 ms from administration, after 160 ms from administration, and after 240 ms from administration.
  • the pulsation (the dark portion of the color density) is expanded from the upper right side while expanding the range over time. Propagating linearly in the lower left direction away from the initial position. This shows that the cap junction functions normally and the propagation proceeds smoothly.
  • the pulsation (the portion with the high color density) is directed to rotate with the passage of time. Propagating in a curve while changing That is, it sometimes advances (reverses) in the direction of returning to the initial position. In addition, the pulsation takes a longer time to propagate than the left side (slow propagation speed). This indicates that the function of the gap junction is hindered and the propagation does not proceed smoothly.
  • the color map in FIG. 5 compares the state of pulsation propagation after administration of an organic solvent (control) and after administration of 18- ⁇ -Glycyrrhetinic acid. Like 1-heptanol, 18- ⁇ -glycyrrhetinic acid is known to inhibit gap junctions.
  • Each of the five color maps on the right side of FIG. 5 shows, in order from the top, pulsation immediately after administration (0 ms), after 80 ms from administration, after 120 ms from administration, after 160 ms from administration, and after 240 ms from administration. The state of is shown.
  • the pulsation (the portion having a high color density) is similar to the case of the left side of FIG. Propagating substantially linearly in the direction from top to bottom and away from the initial position. This shows that the cap junction functions normally and the propagation proceeds smoothly.
  • the pulsation (the dark portion of the color density) is from right to left and from the bottom. It propagates in various directions, such as from top to left and right. In addition, the propagation of pulsation may stop temporarily (no pulsation propagation occurs in the observation target region). In addition, the pulsation takes a longer time to propagate than the left side (slow propagation speed). This indicates that the function of the gap junction is hindered and the propagation does not proceed smoothly.
  • the color map in FIG. 6 compares the propagation of pulsations after administration of the organic solvent (control) and after administration of DL-sotalol (dl-sotalol).
  • DL-sotalol is known to inhibit potassium channels.
  • Each of the six color maps on the right side of FIG. 6 is, in order from the top, immediately after administration (0 ms), 40 ms after administration, 80 ms after administration, 120 ms after administration, 160 ms after administration, and after administration. The state of pulsation after 200 ms has been shown.
  • the pulsation (the portion having a high color density) propagates from the upper left to the lower right, but is observed. Within the region, the propagation stops. Thereafter, pulsation propagation from the lower left to the upper right starts. During the observation period, no pulsation occurs in a part of the area on the right side of the observation area. That is, the pulsation is not propagated to a partial region on the right side. Furthermore, the speed of pulsation propagation is slower than that on the left side.
  • the evaluation unit 104 represents the absolute value of the motion amount of each block with such a two-dimensional color map. As shown in FIGS. 4 to 6, the evaluation unit 104 generates such a two-dimensional color map at a predetermined frame interval (may be every frame or every plural frames). That is, the evaluation unit 104 expresses the propagation of pulsation by the temporal change of the two-dimensional color map. *
  • the evaluation unit 104 can present this two-dimensional color map as an image to the user. That is, the drug evaluation device 100 can easily and non-invasively observe the state of pulsation propagation and present the observation result. The user can easily and non-invasively evaluate the influence (effect, toxicity, etc.) of the administered drug from the state of pulsation propagation in the presented image of the two-dimensional color map.
  • the evaluation unit 104 can also quantitatively evaluate how the pulsation propagates using this two-dimensional color map.
  • the state of propagation of pulsation after drug administration shown in the right map is the state of propagation of pulsation before administration of drug shown in the left map ( This is different from the case of propagating to rotate in the observation area.
  • the evaluation unit 104 compares the state of propagation of pulsation before and after such drug administration, and whether or not the state of propagation of pulsation after drug administration is normal based on the magnitude of the difference value. Can be determined.
  • the evaluation unit 104 can determine whether or not the state of pulsation propagation after drug administration is normal by detecting a change or direction (for example, reverse direction) of the propagation direction. Furthermore, the evaluation unit 104 can determine whether or not the state of propagation of pulsation after drug administration is normal by determining whether or not the propagation speed is sufficiently high.
  • the evaluation unit 104 can output such an evaluation result as an evaluation value 114. That is, the drug evaluation apparatus 100 can easily and non-invasively observe the state of pulsation propagation, and can easily and non-invasively evaluate the evaluation target (the influence of the administered drug).
  • the drug evaluation apparatus 100 may use a cell other than the cultured cardiomyocytes 110 as an observation target.
  • cells other than cardiomyocytes may be the observation target, and other than the cells may be the observation target.
  • the observation object it is desirable that the observation object be able to move itself and evaluate the drug administered to the observation object by evaluating the movement. This movement may be autonomous (spontaneous (active)) or passive by an electric signal supplied from the outside.
  • FIG. 7 is a block diagram illustrating a main configuration example of the evaluation index data generation unit 103 in FIG. As illustrated in FIG. 7, the evaluation index data generation unit 103 includes a motion detection unit 121, a motion amount absolute value calculation unit 122, and a motion amount absolute value storage unit 123.
  • the motion detection unit 121 receives the evaluation target image data 112 recorded from the evaluation target image data generation / recording unit 102, performs motion detection for each block, and uses the detection result (motion vector) as motion detection data. It supplies to the absolute value calculation part 122.
  • the motion amount absolute value calculation unit 122 calculates a motion amount absolute value that is the size of each motion detection data (motion vector) supplied.
  • the motion amount absolute value calculation unit 122 supplies the calculated motion amount absolute value to the motion amount absolute value storage unit 123 for storage.
  • the motion amount absolute value storage unit 123 supplies the stored motion amount absolute value to the evaluation unit 104 as evaluation index data 113 at a predetermined timing or based on a request from the evaluation unit 104.
  • the motion detection unit 121 to the motion amount absolute value storage unit 123 perform this process for each frame image of the evaluation target image data.
  • FIG. 8 shows a structural example of the evaluation target image data 112 supplied to the evaluation index data generation unit 103. Imaging is performed in an evaluation section having a predetermined length (for example, T + 1 frame (T is an arbitrary natural number)).
  • the evaluation target image data 112 supplied to the evaluation index data generation unit 103 includes, for example, first to (T + 1) th frame image data 132-1 to 132- (T + 1) corresponding to the evaluation section.
  • FIG. 9 is a block diagram illustrating a main configuration example of the motion detection unit 121.
  • the motion detection unit 121 includes a frame memory 141 and a motion vector calculation unit 142.
  • the frame memory 141 holds frame image data 132 that is sequentially input as the evaluation target image data 112 for each frame period.
  • the motion vector calculation unit 142 obtains the frame image data input as the evaluation target image data 112 at the current time and the frame image data at the next time (previous in time) held in the frame memory 141. input. Then, a motion vector indicating the motion between these two frame image data is calculated for each block. The calculated motion vector is supplied to the motion amount absolute value calculation unit 122 as motion detection data 151.
  • the motion vector calculation unit 142 receives the frame image data 132 at the current time and the frame image data 132 at the next (temporally previous) time.
  • the motion vector calculation unit 142 divides the input frame image data 132 into M ⁇ N blocks 161 (M and N are arbitrary natural numbers), as shown in FIG.
  • motion detection is performed by a technique such as block matching between frame images to generate a motion vector.
  • Each of the blocks 161 is composed of, for example, pixels of (16 ⁇ 16).
  • the motion vector calculation unit 142 executes this motion detection processing by sequentially using the first to (T + 1) th frame image data 132. That is, the motion vector calculation unit 142 generates (M ⁇ N ⁇ T) motion detection data (motion vectors) using (T + 1) frame images. The motion vector calculation unit 142 supplies the motion vector calculated as described above to the motion amount absolute value calculation unit 122 as motion detection data.
  • Each of the frame-unit motion detection data 171-1 to 171-T operates on the frame image data 132 at the current time obtained for each frame period and the frame image data 132 one time ahead (in time). It is obtained by performing the detection process.
  • the third frame unit motion detection data 171-3 includes the fourth frame image data 132-4 and the third frame image data 132-3 as the frame image data at the current time and the next time, respectively. It can be obtained by inputting and performing motion detection.
  • each of the frame unit motion detection data 171-1 to 171-T is formed by (M ⁇ N) block unit motion detection data 181.
  • Each block unit motion detection data 181 corresponds to one block 161, and is data indicating a motion vector detected for the corresponding block 161.
  • the motion detection data 151 of the present embodiment has a structure having (M ⁇ N) block unit motion detection data 181 for each frame unit motion detection data 171.
  • FIG. 12 is a block diagram illustrating a main configuration example of the evaluation unit 104.
  • the evaluation unit 104 includes a motion amount absolute value acquisition unit 201, a mapping unit 202, a temporal change analysis unit 203, a motion evaluation unit 204, a display unit 205, and an output unit 206.
  • the motion amount absolute value acquisition unit 201 obtains the motion amount absolute value of the desired evaluation target image data 112 (for example, designated as an observation target by the user) from the motion amount absolute value storage unit 123 of the evaluation index data generation unit 103. Obtained as evaluation index data 113. The motion amount absolute value acquisition unit 201 supplies the acquired motion amount absolute value to the mapping unit 202. *
  • the mapping unit 202 maps the supplied motion amount absolute value on a plane according to the coordinates of the block, and generates a two-dimensional color map as shown in FIG.
  • the mapping unit 202 generates the above-described two-dimensional color map for a plurality of frames (all or a part of the evaluation target image data 112).
  • the mapping unit 202 supplies the generated two-dimensional color map to the display unit 205 to display the image, or supplies the generated two-dimensional color map to the output unit 206 to output the data to the outside of the drug evaluation apparatus 100 (another apparatus or the like). I will let you.
  • the mapping unit 202 also supplies the generated two-dimensional color map to the temporal change analysis unit 203.
  • the mapping unit 202 only needs to generate information that can indicate the distribution of the motion amount absolute value, and the generated information is not limited to the two-dimensional color map. For example, it may be a three-dimensional or higher color map. Further, the map may be a gray scale (density or pattern) instead of a color map. Furthermore, the mapping unit 202 may map the motion amount absolute value on the curved surface.
  • the temporal change analysis unit 203 analyzes the temporal change (temporal change) of each supplied two-dimensional color map (motion amount absolute value distribution). For example, the temporal change analysis unit 203 sets a region (or point) having a predetermined feature in the two-dimensional color map as a region of interest (or point of interest), and obtains the temporal change thereof. The temporal change analysis unit 203 supplies each two-dimensional color map and the temporal change analysis result (for example, temporal change in the size, shape, position, etc. of the region of interest) to the motion evaluation unit 204.
  • the temporal change analysis result for example, temporal change in the size, shape, position, etc. of the region of interest
  • the motion evaluation unit 204 evaluates the motion amount distribution based on the supplied information. For example, the motion evaluation unit 204 evaluates the motion of the attention area. For example, the motion evaluation unit 204 determines whether there is a change in the route of the attention area before and after drug administration, determines whether there is an extreme change in the traveling direction of the attention area, It is determined whether or not the traveling speed changes. The motion evaluation unit 204 supplies such evaluation result data to the display unit 205 for display, or supplies it to the output unit 206 for output to the outside of the drug evaluation device 100 (such as another device). .
  • the display unit 205 has an arbitrary display device, and displays the image signal 111 (cell image) obtained by the imaging unit 101 on the display device. Further, the display unit 205 images the two-dimensional color map supplied from the mapping unit 202 and displays the image on the display device. For example, the display unit 205 displays each frame image of a cell image (moving image) and a two-dimensional color map image corresponding to the frame image on the display device by superimposing or arranging them. Further, the display unit 205 images the evaluation result supplied from the motion evaluation unit 204 and displays the image on the display device. Note that this evaluation result image may be a still image or a moving image. Further, the display unit 205 can display the evaluation result image together with one or both of the cell image and the image of the two-dimensional color map.
  • the display unit 205 can display the evaluation result image superimposed on one or both of the cell image and the image of the two-dimensional color map, or can display the images side by side.
  • the display unit 205 can display each frame image of the evaluation result together with a corresponding frame image of the moving image of the cell image or the two-dimensional color map.
  • the output unit 206 has an arbitrary output interface, and outputs the two-dimensional color map data supplied from the mapping unit 202 to an external device or network of the drug evaluation apparatus 100 via the output interface.
  • the output unit 206 also outputs the evaluation result data supplied from the motion evaluation unit 204 to an external device or network of the drug evaluation device 100 via the output interface.
  • FIG. 13 is a block diagram illustrating a main configuration example of the motion evaluation unit 204 of FIG.
  • the motion evaluation unit 204 includes a non-moving region evaluation unit 211, a pulsation propagation velocity evaluation unit 212, a motion amount centroid evaluation unit 213, and a correlation histogram evaluation unit.
  • the immovable area evaluation unit 211 evaluates the number, area, or temporal change of areas where pulsation does not propagate (that is, areas where pulsation does not occur).
  • a region that clearly does not move (does not pulsate) in the observation region.
  • immobility region For example, in the case of FIG. 6, after administration of DL-sotalol, pulsation does not propagate to the right part of the observation region. That is, the pulsation is stopped.
  • DL-sotalol inhibits potassium channels.
  • the relaxation process may be changed due to a change in potassium channel function that works in the relaxation process, and the pulsation time (for example, action potential maintenance time) may be prolonged. In some cases, the pulsation itself may be stopped. Thus, cell movement may stop due to the toxicity of the drug.
  • the number and area of such immobile regions may be related to the toxicity of the administered drug. For example, in some cases, it can be evaluated that the toxicity of the drug is stronger as the number of immobile regions is larger or the area of the immobile regions is larger after administration. In some cases, the toxicity intensity of a drug can be evaluated by the time from immediately after administration until the immobile region increases, the time until the immobile region decreases, and the like thereafter.
  • the immobilization area evaluation unit 211 uses the immobility area as an attention area, compares the attention areas in the two-dimensional color map before and after the administration, and compares the immobility area with the magnitude (change amount) of the difference. Evaluate number, size, position, shape, etc.
  • the immovable region evaluation unit 211 can also compare the attention regions in the two-dimensional color map at a plurality of times after the medication.
  • the immobility region evaluation unit 211 evaluates the toxicity and effect of the administered drug by evaluating the immobility region.
  • the pulsation propagation speed evaluation unit 212 evaluates the pulsation propagation speed in the observation region or its temporal change.
  • the pulsation propagation speed may be affected. For example, when the pulsation time of each cell is extended, the pulsation propagation speed may change. That is, changes in pulsation propagation speed may be related to the toxicity of the administered drug. For example, in some cases, it can be evaluated that the toxicity of a drug is stronger as the reduction rate of the propagation speed of pulsation is greater after administration. In some cases, the toxicity intensity of a drug can be evaluated by the time from immediately after administration until the propagation speed is reduced, the time until the propagation speed is recovered thereafter, and the like.
  • the pulsation propagation speed evaluation unit 212 sets the region of significant pulsation as the region of interest, compares the movement (speed) of the region of interest in the two-dimensional color map before and after the medication, Changes in the propagation speed of pulsations are evaluated based on the difference in the speed of movement of the region (the amount of movement within a predetermined time).
  • the pulsation propagation velocity evaluation unit 212 can also compare the movements of the region of interest in the two-dimensional color map at a plurality of times after medication.
  • the pulsation propagation speed evaluation unit 212 evaluates the toxicity and effect of the administered drug by evaluating the pulsation propagation speed.
  • the motion amount center of gravity evaluation unit 213 evaluates the position and locus of the center of gravity of the motion amount in the observation area.
  • the position of the center of gravity of the movement amount in the observation area also changes. That is, the propagation of pulsation can be represented by the locus of the position of the center of gravity of the amount of movement.
  • the state of pulsation propagation path, speed, etc.
  • changes due to the toxicity of the administered drug it also affects the way the position of the center of gravity of the amount of movement changes.
  • a pulsation that has been linearly propagated in one direction before medication is propagated so as to rotate after medication, or is propagated in multiple directions.
  • the propagation of pulsation may wrap around (rotate) around the non-moving region. Even if the immobilization region does not reach, if the pulsation cycle of each cell is biased between the regions, the propagation direction may change (rotate) depending on the bias.
  • pulsation propagation may be divided in multiple directions in a non-moving region or the like.
  • some cells play a role of pacemaking, and pulsation propagation to other cells is performed based on the pulsation of the cells. Due to the effects of drug administration, the cells that perform this pacemaking may be replaced with other cells. In some cases, the number of cells that perform pacemaking may increase or decrease. In that case, the pulsation propagation path changes significantly.
  • propagation may stop in the middle.
  • pulsation propagation may be interrupted in the immobile region.
  • speed of propagation may change.
  • the propagation speed may change as the pulsation time of each cell extends.
  • pulsations may be propagated to the same region from different directions at different timings. In that case, the pulsation of each cell may be disturbed, and reentry may occur locally (may cause arrhythmia).
  • the motion amount center-of-gravity evaluation unit 213 divides the entire area of the two-dimensional color map into N small areas in the vertical direction and M small areas in the horizontal direction.
  • the amount of motion v (m, n) is obtained for each m, n).
  • the motion amount center-of-gravity evaluation unit 213 calculates the coordinates (Gx, Gy) of the center of gravity of the motion as in the following formulas (1) and (2).
  • the motion amount center-of-gravity evaluation unit 213 calculates the center of gravity of each two-dimensional color map (at each time) as shown in FIG. The position is plotted on a two-dimensional map, and the change (trajectory) is drawn.
  • the movement amount center of gravity evaluation unit 213 compares the locus of the center of gravity before and after the medication, and evaluates the change in the locus.
  • the motion amount center of gravity evaluation unit 213 can also compare the locus of the center of gravity at a plurality of times after medication.
  • the motion amount center-of-gravity evaluation unit 213 evaluates the toxicity and effect of the administered drug by evaluating the locus of the center of gravity of the motion amount.
  • the motion amount centroid evaluation unit 213 may plot the centroid of the motion amount on a three-dimensional map in which the position is represented by XY coordinates and the motion amount is represented by Z coordinates.
  • the calculation method of the amount of motion of the center of gravity is arbitrary.
  • the obtained motion amount at the position of the center of gravity may be used as the amount of motion of the center of gravity, and the average value of the motion amounts in the vicinity of the center of gravity may be used as the amount of motion of the center of gravity.
  • the motion amount of the center of gravity may be calculated using the motion amount of the entire observation region.
  • the correlation histogram evaluation unit 214 evaluates the motion distribution (speed, direction, etc.) in the observation area.
  • ⁇ ⁇ Cardiomyocytes repeat pulsation at a predetermined rhythm in the normal state before medication. Therefore, the motion distribution (speed, direction, etc.) in the observation region is substantially constant. If the state of propagation of pulsation changes as described above due to the toxicity of the administered drug after administration, the distribution of this movement will also change. Therefore, the correlation histogram evaluation unit 214 obtains a distribution (histogram) for the speed and direction of this movement before and after medication, and evaluates the change in the distribution to evaluate the toxicity and effect of the administered drug.
  • the correlation histogram evaluation unit 214 calculates a pulsation correlation coefficient d between adjacent small regions, as shown in FIG.
  • the correlation coefficient d is a parameter indicating a shift in pulsation timing as shown in the center of FIG. 15, and the value increases as the shift increases as shown in the right side of FIG. That is, the correlation coefficient d is the largest when the pulsation timings of both small regions are shifted by a half cycle. When the pulsation timings of the two small areas coincide, the value of the correlation coefficient d is 0.
  • the correlation histogram evaluation unit 214 calculates such a correlation coefficient d for each of the small regions adjacent to the processing target small region in the vertical and horizontal directions, as shown in FIG. 16A (d 0 to d 3 ). .
  • the correlation histogram evaluation unit 214 uses the correlation coefficient d (d 0 to d 3 ), as shown in the following equations (3) and (4), the horizontal motion amount v x and the vertical motion.
  • the quantity v y is calculated.
  • Correlation histogram evaluation section 214 and a their motion amount v x and the amount of movement v y, as shown in B of FIG. 16, the objective small region to be processed (m, n) the amount of movement v (m, n) And the direction ⁇ (m, n) is obtained.
  • the correlation histogram evaluation unit 214 obtains the motion amount and the direction thereof for each small region in this way, and generates a motion amount (speed) and direction histogram (frequency distribution) as shown in FIG.
  • FIG. 17A shows a histogram of movement speed and direction before drug administration
  • FIG. 17B shows a histogram of movement speed and direction after drug administration.
  • the correlation histogram evaluation unit 214 evaluates the toxicity and effect of the administered drug by obtaining a distribution (histogram) for the speed and direction of this movement before and after the medication and evaluating the change in the distribution. .
  • the immovable area evaluation unit 211 to the correlation histogram evaluation unit 214 supply the obtained evaluation results to the evaluation result data generation unit 215, respectively.
  • the evaluation result data generation unit 215 appropriately summarizes each evaluation result and supplies it as evaluation result data to the display unit 205 and the output unit 206 (FIG. 12).
  • the motion evaluation unit 204 can have an arbitrary configuration, and can evaluate an arbitrary index as long as it relates to the motion of the observation target.
  • the drug evaluation apparatus 100 easily and non-invasively observes the state of propagation of pulsation of the cultured cardiomyocytes 110, and easily and non-invasively evaluates an evaluation target (effect of the administered drug). be able to.
  • the imaging unit 101 of the drug evaluation device 100 images the cultured cardiomyocytes 110 to be observed in step S101.
  • the evaluation target image data generation / recording unit 102 generates evaluation target image data 112 from the image signal 111 obtained by imaging in step S101.
  • step S103 the evaluation index data generation unit 103 performs motion detection using the evaluation target image data 112 generated in step S102, calculates an absolute value of the motion amount, and generates evaluation index data 113.
  • step S104 the evaluation unit 104 generates a two-dimensional color map using the evaluation index data 113 generated in step S103, and calculates an evaluation value 114.
  • step S105 the evaluation unit 104 outputs the evaluation value 114 calculated in step S104, and ends the evaluation process.
  • the motion detection unit 121 of the evaluation index data generation unit 103 detects a motion to be evaluated for each block and generates a motion vector in step S121.
  • the motion amount absolute value calculation unit 122 calculates the motion amount absolute value of the motion vector of each block generated in step S121.
  • step S123 the motion amount absolute value storage unit 123 stores the motion amount absolute value calculated in step S122.
  • step S124 the motion detection unit 121 determines whether or not data for a predetermined period (evaluation section) has been processed. When it is determined that there is a frame image for which motion detection has not been performed in the predetermined evaluation section, the motion detection unit 121 returns the process to step S121 and repeats motion detection for a new processing target frame image.
  • step S124 If it is determined in step S124 that motion detection has been performed on all the frame images to be processed in the predetermined evaluation section, the evaluation index data generation process ends, the process returns to FIG. 18, and the process proceeds to step S104. To proceed.
  • the motion amount absolute value acquisition unit 201 acquires the motion amount absolute value from the motion amount absolute value storage unit 123 in step S141.
  • step S142 the mapping unit 202 maps the motion amount absolute value acquired in step S141 on a plane to create a two-dimensional color map.
  • step S143 the temporal change analysis unit 203 analyzes the temporal change of the two-dimensional color map in each two-dimensional color map of the motion amount absolute value created in step S142.
  • step S144 the motion evaluation unit 204 evaluates a temporal change (motion between each two-dimensional color map) of the two-dimensional color map analyzed in step S143. That is, the motion evaluation unit 204 evaluates the influence of drug administration.
  • the motion evaluation unit 204 displays the evaluation value 114 on the display unit 205 or outputs the evaluation value 114 to the outside of the medicine evaluation apparatus 100 via the output unit 206.
  • step S144 the motion evaluation unit 204 ends the impact evaluation process and returns the process to FIG.
  • the non-moving area evaluation unit 211 evaluates the non-moving area in step S161.
  • the pulsation propagation speed evaluation unit 212 evaluates the pulsation propagation speed.
  • the motion amount center of gravity evaluation unit 213 evaluates the center of gravity of the motion amount.
  • the correlation histogram evaluation unit 214 evaluates the speed and direction of pulsation propagation using a histogram.
  • the evaluation result data generation unit 215 generates evaluation result data for output or display.
  • step S165 the evaluation result data generation unit 215 ends the motion evaluation process and returns the process to FIG.
  • the drug evaluation apparatus 100 can easily and noninvasively observe the observation target, and the influence of the drug administration on the cultured cardiomyocytes 110 can be more easily and noninvasively performed. Can be evaluated.
  • the toxicity of drugs can be broadly divided into short-term toxicity that appears in a short period of several seconds to several minutes after administration, and after a long period of time from several hours to several days after administration. Has long-term toxicity.
  • a fluorescent reagent or an electrode it may be unsuitable for long-term toxicity observation because it affects the observation target.
  • the observation target can be observed non-invasively.
  • long-term toxicity can be easily observed by the same method as that for observing short-term toxicity. Therefore, this technique is suitable not only for observation of short-term toxicity but also for observation of long-term toxicity.
  • the present technology can perform observation of short-term toxicity and observation of long-term toxicity in the same manner, it is possible to perform long-term observation such as several days immediately after administration. That is, the present technology can also observe and evaluate the change in toxicity over time.
  • the cultured cells to be observed grow and become dense, staining with a fluorescent reagent is generally difficult.
  • the observation target can be observed non-invasively. Regardless of the degree of growth, observation and evaluation can be performed stably.
  • the pulsation of cardiomyocytes is composed of contraction and relaxation.
  • the relaxation of the myocardium corresponds to the T wave as referred to in the electrocardiogram, and corresponds to the repolarization of the myocardial cell membrane.
  • This extension of the T wave is generally called QT extension as an extension of the time between the Q wave and the T wave. If this symptom appears, the possibility of arrhythmia is pointed out.
  • QT prolongation occurs when the drug administered to cultured cardiomyocytes inhibits the ion channel into and out of the potassium channel.
  • DL-sotalol is known to inhibit potassium channels. That is, when DL-sotalol is administered to cultured cardiomyocytes, the relaxation process changes due to a change in potassium channel function that works in the relaxation process.
  • the observation area may be a relatively narrow range of about 0.6 mm square, for example, and the test can be performed with a small number of cells and a small reagent. Moreover, it can be sufficiently evaluated by a commercially available high-density culture plate (1536 hole plate (1.7 mm diameter / 1 well) and 384 hole plate (3.6 mm diameter / 1 well). It is also suitable for initial screening, and in the case of the present technology, observation is possible by the same method regardless of the width of the observation range, so that it is possible to easily cope with changes in the observation range.
  • the present technology can also be applied to the evaluation of anything that can be evaluated by observing the cultured cardiomyocytes 110.
  • it may be a gas, a liquid, or a solid.
  • environmental conditions at the time of observation for example, temperature, humidity, atmospheric pressure, brightness, vibration, magnetic field, etc. may be used.
  • the pulsation rhythm of the cell is detected by inserting a fluorescent dye and detecting the calcium concentration that fluctuates due to the excitement (action potential) of the cell. It can also be applied to a method for evaluating information propagation patterns of cells.
  • Second Embodiment> [Personal computer]
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a personal computer as shown in FIG. 22 may be configured.
  • a CPU (Central Processing Unit) 301 of the personal computer 300 performs various processes according to a program stored in a ROM (Read Only Memory) 302 or a program loaded from a storage unit 313 to a RAM (Random Access Memory) 303. Execute the process.
  • the RAM 303 also appropriately stores data necessary for the CPU 301 to execute various processes.
  • the CPU 301, ROM 302, and RAM 303 are connected to each other via a bus 304.
  • An input / output interface 310 is also connected to the bus 304.
  • the input / output interface 310 includes an input unit 311 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 312 including a speaker, a hard disk, and the like.
  • a communication unit 314 including a storage unit 313 and a modem is connected. The communication unit 314 performs communication processing via a network including the Internet.
  • a drive 315 is connected to the input / output interface 310 as necessary, and a removable medium 321 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is It is installed in the storage unit 313 as necessary.
  • a removable medium 321 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is It is installed in the storage unit 313 as necessary.
  • a program constituting the software is installed from a network or a recording medium.
  • the recording medium is distributed to distribute the program to the user separately from the apparatus main body, and includes a magnetic disk (including a flexible disk) on which the program is recorded, an optical disk ( It only consists of removable media 321 consisting of CD-ROM (including Compact Disc-Read Only Memory), DVD (including Digital Versatile Disc), magneto-optical disk (including MD (Mini Disc)), or semiconductor memory. Rather, it is composed of a ROM 302 on which a program is recorded and a hard disk included in the storage unit 313, which are distributed to the user in a state of being incorporated in the apparatus main body in advance.
  • a magnetic disk including a flexible disk
  • an optical disk It only consists of removable media 321 consisting of CD-ROM (including Compact Disc-Read Only Memory), DVD (including Digital Versatile Disc), magneto-optical disk (including MD (Mini Disc)), or semiconductor memory. Rather, it is composed of a ROM 302 on which a program is recorded and a hard disk included in the storage unit 31
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a first display control unit that performs display control of a cell image using one or a plurality of images including cells;
  • a second display control unit that performs display control so that part or all of the amount of motion generated for each partial region by the one or more images is associated with each partial region and superimposed on the cell image;
  • a display control device A display control device.
  • the cell is a cell that moves passively or actively, The display control device according to (1), wherein the second display control unit displays a part or all of the movement amount so as to express a state of propagation of the movement of the cell.
  • the display control device wherein the second display control unit displays a state of propagation of the movement of the cell as a temporal change in the distribution of the movement amount in the cell image.
  • the second display control unit displays a two-dimensional map on a curved surface or a plane expressing the motion amount distribution for each of a plurality of times, thereby changing the motion amount distribution over time.
  • the display control device according to (3).
  • the second display control unit expresses the position of the movement amount in the cell image as a position on the two-dimensional map, and expresses the absolute value of the movement amount as a color, density, or pattern.
  • the display control apparatus according to (4).
  • the cell image is a moving image
  • the second display control unit causes each frame image of the cell image to display a part or all of the motion amount corresponding to the frame image in a superimposed manner.
  • the method according to any one of (1) to (5), Display control device.
  • the display control device according to any one of (1) to (6), wherein the second display control unit displays an evaluation result of the distribution of the motion amount together with the motion amount.
  • a display control method for a display control device The first display control unit performs display control of the cell image with one or a plurality of images including the cells,
  • the second display control unit performs display control so that a part or all of the amount of movement generated for each partial region by the one or more images is associated with each partial region and displayed superimposed on the cell image.
  • Perform display control method (9) Connect the computer A first display control unit that performs display control of a cell image using one or a plurality of images including cells; As a second display control unit that performs display control so that a part or all of the amount of movement generated for each partial region by the one or more images is associated with each partial region and displayed superimposed on the cell image. A program to make it work. (10) For one or a plurality of images including cells, a motion amount generation unit that generates a motion amount for each partial region; An image processing apparatus comprising: an evaluation unit that evaluates a state of propagation of the movement of the cell using a part or all of the movement amount generated by the movement amount generation unit.
  • the evaluation unit displays, as an image, a comparison result of the state of propagation of the movement of the cell indicated by the amount of movement with a case where it is certain that the movement of the cell is normal.
  • An image processing apparatus according to 1.
  • the evaluation unit obtains a difference between the movement amount of the cell image and a case where the movement of the cell is certain to be normal, and evaluates the difference to thereby propagate the movement of the cell.
  • the image processing apparatus according to (10) or (11), wherein the change in the state is quantitatively evaluated.
  • the image processing device according to (12), wherein the evaluation unit evaluates a change in a non-moving region where there is no movement in the cell image.
  • the image processing device (14) The image processing device according to (12) or (13), wherein the evaluation unit evaluates a change in a moving speed of an area where the motion amount is large. (15) The image processing device according to any one of (12) to (14), wherein the evaluation unit evaluates a change in a locus of the center of gravity of the motion amount. (16) The image processing device according to any one of (12) to (15), wherein the evaluation unit evaluates a histogram regarding a speed and direction of movement in the cell image. (17) The image processing apparatus according to any one of (10) to (16), wherein the evaluation unit evaluates a state of propagation of the movement of the cell for an observation period of several hours to several days.
  • the evaluation unit is configured to detect propagation of the movement of the cell so as to detect the occurrence of the arrhythmia of the cardiomyocyte, regardless of the occurrence of the QT extension that is an extension of the time between the Q wave and the T wave of the cardiomyocyte.
  • the image processing apparatus according to any one of (10) to (17), wherein a state is evaluated.
  • An image processing method for an image processing apparatus The movement amount generation unit generates a movement amount for each partial region for one or a plurality of images including cells, An image processing method in which an evaluation unit evaluates a state of propagation of the movement of the cell by using a part or all of the generated movement amount.
  • a motion amount generation unit that generates a motion amount for each partial region for one or a plurality of images including cells,
  • the program for functioning as an evaluation part which evaluates the mode of propagation of the movement of the cell using a part or all of the amount of movement generated by the movement amount generation part.
  • 100 drug evaluation apparatus 101 imaging unit, 102 evaluation target image data generation recording unit, 103 evaluation index data generation unit, 104 evaluation unit, 121 motion detection unit, 122 motion amount absolute value calculation unit, 123 motion amount absolute value storage unit, 141 frame memory, 142 motion vector calculation unit, 201 motion amount absolute value acquisition unit, 202 mapping unit, 203 time change analysis unit, 204 motion evaluation unit, 205 display unit, 206 output unit

Abstract

　本技術は、観察対象の動きの容易かつ非侵襲に観察することができるようにする表示制御装置および方法、画像処理装置および方法、並びに、プログラムに関する。細胞を含む１又は複数の画像により、細胞画像の表示制御を行う第１の表示制御部と、前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う第２の表示制御部とを備える。本開示は表示制御装置若しくは画像処理装置に適用することができる。

Description

表示制御装置および方法、画像処理装置および方法、並びに、プログラム
　本開示は、表示制御装置および方法、画像処理装置および方法、並びに、プログラムに関し、特に、拍動の伝搬を容易かつ非侵襲に観察することができるようにした表示制御装置および方法、画像処理装置および方法、並びに、プログラムに関する。
　再生医療の分野においては、細胞を培養して製造した培養細胞を利用し、事故や病気などにより失われた体の細胞、組織、器官などの再生、また機能の回復を図るということが行われている。このような培養細胞として製造できる細胞組織は多岐にわたるが、その中の１つに心筋細胞があり、心臓の治療に用いられる。この培養心筋細胞はそれ自体が拍動に相当する動きをする。そこで、培養心筋細胞の製造段階においては、例えば上記の動きが良好かどうかについての品質評価を行うことが必要になってくる。
　このような培養心筋細胞の品質評価を行うにあたり、例えば現状においては、目視による観察が行われている。また、培養心筋細胞に電極を刺して電位を測定するということも行われている。しかし、目視による観察では、観察者の主観によるところが大きく、客観的で的確な評価結果を得ることが難しい。また、電位を測定する場合においては培養心筋細胞に電極が接触するために非侵襲ではないという問題がある。また、この電位による測定に基づいて定量化できる情報は例えば拍動時間程度に限られる。さらに、測定対象が電極上に制限される。
　そこで、従来技術として、心筋細胞を撮影して得られる撮像画面中に測定点を設定し、この測定点の輝度を自動計測して、その計測値から心筋細胞の変形周期を測定しようとする構成が知られている（例えば、特許文献１参照）。
　ところで、培養心筋細胞の位相差観察動画の解析によって求めた様々な領域の拍動は、培養日数依存的に協同的な拍動を示すが、様々な薬剤の投与によって変動を示す。このような変動を何らかの方法によって検出することで、創薬の際の薬剤毒性や効果等を事前に評価することが可能となり、近年注目されている。
　従来では、例えば、培養皿の底に配置した電極によって細胞の外場電位を検出し細胞の膜電位変化によって細胞の拍動挙動を捉える方法があった。また、細胞内にカルシウムに結合して発光する蛍光色素を入れ込み、細胞の興奮（活動電位）によって変動するカルシウム濃度を検出することで、細胞の拍動リズムを検出し、また、細胞の情報伝搬パターンを評価する方法もあった。
特開昭６３－２３３３９２号公報（図１）
　しかしながら、培養皿に電極を配置し、電位変化を検出する方法の場合、特定の培養皿が必要であった。また、拍動の伝搬検出は培養皿上に設置する電極の密度に依存するので、既存の装置の密度では複雑な伝搬パターンの検出が困難であった。また、蛍光色素を入れ込む方法の場合、蛍光色素が高価であり、蛍光色素を入れ込む作業が煩雑で時間を要し、さらに退色の恐れもあった。さらに、これらの手法では、観察対象に対して電圧を印加したり、蛍光色素を入れ込んだりするので、観察対象に対して影響を及ぼす可能性があった。すなわち、これらの手法では、拍動の伝搬の観察を容易かつ非侵襲に行うことができない恐れがあった。
　本開示は、このような状況に鑑みてなされたものであり、拍動の伝搬を容易かつ非侵襲でに観察することができるようにすることを目的とする。
　本開示の一側面は、細胞を含む１又は複数の画像により、細胞画像の表示制御を行う第１の表示制御部と、前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う第２の表示制御部とを備える画像処理装置である。
　前記細胞は、受動的または能動的に動く細胞であり、前記第２の表示制御部は、前記細胞の動きの伝搬の様子を表現するように、前記動き量の一部又は全部を表示させることができる。
　前記第２の表示制御部は、前記細胞の動きの伝搬の様子を、前記細胞画像における前記動き量の分布の経時変化として表示させることができる。
　前記第２の表示制御部は、前記動き量の分布を表現する曲面または平面上の２次元マップを、複数の時刻のそれぞれについて表示させることにより、前記動き量の分布の経時変化を表現することができる。
　前記第２の表示制御部は、前記細胞画像における前記動き量の位置を前記２次元マップ上の位置として表現し、前記動き量の絶対値を、色、濃度、若しくは模様として表現することができる。
　前記細胞画像は、動画像であり、前記第２の表示制御部は、前記細胞画像の各フレーム画像に、前記フレーム画像に対応する前記動き量の一部又は全部を重畳表示させることができる。
　前記第２の表示制御部は、前記動き量とともに前記動き量の分布の評価結果を表示させることができる。
　本開示の一側面は、また、表示制御装置の表示制御方法であって、第１の表示制御部が、細胞を含む１又は複数の画像により、細胞画像の表示制御を行い、第２の表示制御部が、前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う表示制御方法である。
　本開示の一側面は、さらに、コンピュータを、細胞を含む１又は複数の画像により、細胞画像の表示制御を行う第１の表示制御部、前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う第２の表示制御部として機能させるためのプログラムである。
　本開示の他の側面は、細胞を含む１又は複数の画像について、部分領域毎に動き量を生成する動き量生成部と、前記動き量生成部により生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する評価部とを備える画像処理装置である。
　前記評価部は、前記動き量により示される前記細胞の動きの伝搬の様子の、前記細胞の動きが正常であることが確かな場合との比較結果を画像として表示させることができる。
　前記評価部は、前記細胞画像の動き量について、前記細胞の動きが正常であることが確かな場合との差分を求め、前記差分を評価することによって、前記細胞の動きの伝搬の様子の変化を定量的に評価することができる。
　前記評価部は、前記細胞画像における動きがない不動領域の変化を評価することができる。
　前記評価部は、前記動き量が大きな領域の移動の速さの変化を評価することができる。
　前記評価部は、前記動き量の重心の軌跡の変化を評価することができる。
　前記評価部は、前記細胞画像における動きの速度や方向についてのヒストグラムを評価することができる。
　前記評価部は、数時間乃至数日間の観察期間について、前記細胞の動きの伝搬の様子を評価することができる。
　前記評価部は、心筋細胞のＱ波とＴ波間時間の延長であるＱＴ延長の発生によらずに、前記心筋細胞の不整脈の発生を検出するように、前記細胞の動きの伝搬の様子を評価することができる。
　本開示の他の側面は、また、画像処理装置の画像処理方法であって、動き量生成部が、細胞を含む１又は複数の画像について、部分領域毎に動き量を生成し、評価部が、生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する画像処理方法である。
　本開示の他の側面は、さらに、コンピュータを、細胞を含む１又は複数の画像について、部分領域毎に動き量を生成する動き量生成部、前記動き量生成部により生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する評価部として機能させるためのプログラムである。
　本開示の一側面においては、細胞を含む１又は複数の画像により、細胞画像の表示制御が行われ、１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、その部分領域毎に対応付け、細胞画像に重畳表示するよう表示制御が行われる。
　本開示の他の側面においては、細胞を含む１又は複数の画像について、部分領域毎に動き量が生成され、生成された動き量の一部または全部を用いて、細胞の動きの伝搬の様子が評価される。
　本開示によれば、画像を処理することができる。特に、拍動の伝搬を容易かつ非侵襲に観察することができる。
動きの協同性を説明する図である。 動きの協同性を説明する図である。 薬剤評価装置の主な構成例を示すブロック図である。 薬剤投与による拍動の伝搬への影響の様子の例を画像化した図である。 薬剤投与による拍動の伝搬への影響の様子の他の例を画像化した図である。 薬剤投与による拍動の伝搬への影響の様子の、さらに他の例を画像化した図である。 評価指標データ生成部の主な構成例を示すブロック図である。 評価対象画像データの構成例を説明する図である。 動き検出部の主な構成例を示すブロック図である。 フレーム画像データのブロック分割の例を説明する図である。 動き検出データの構成例を説明する図である。 評価部の主な構成例を示すブロック図である。 動き評価部の主な構成例を示すブロック図である。 動き量重心評価の様子の例を説明する図である。 相関ヒストグラム評価の様子の例を説明する図である。 相関ヒストグラム評価の様子の例を説明する、図１５に続く図である。 相関ヒストグラム評価の様子の例を説明する、図１６に続く図である。 評価処理の流れの例を説明するフローチャートである。 評価指標データ生成処理の流れの例を説明するフローチャートである。 影響評価処理の流れの例を説明するフローチャートである。 動き評価処理の流れの例を説明するフローチャートである。 パーソナルコンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態と称する）について説明する。
説明は以下の順序により行う。
　１．第１の実施の形態（薬剤評価装置）
　２．第２の実施の形態（パーソナルコンピュータ）
　＜１．第１の実施の形態＞
　［培養心筋細胞］
　例えば再生医療においては、生体より採取された細胞を培養して製造される細胞組織である培養細胞を利用して各種の人体の組織、器官などを治療することが行われる。図１のＡに示される培養細胞１は、心筋細胞を培養し、成育させたものである。心筋細胞を培養した培養細胞である培養心筋細胞は、例えば、心臓の治療等に利用される可能性がある。また、創薬における心臓への毒性評価にも利用される。
　生体内において、心筋細胞は、常時収縮と弛緩を繰り返しながら拍動する。したがって、培養心筋細胞である培養細胞１も、その全体が収縮と弛緩を繰り返すように、例えば図１のＢに示される動きベクトル２のように、各部分の細胞が所定の方向に運動する。実際には、心筋細胞は、自律的に拍動する部分と、周囲の拍動に依存して拍動する部分とが存在する。つまり、部位によっては、培養細胞１が自律的に拍動しない場合も考えられる。このような場合、培養細胞１に対して電極を用いて外部から電圧を周期的に印加することにより、培養細胞１を拍動させることができる。このように外部からの電圧印加によってペースメークされた培養細胞１の拍動は、自律的に拍動する場合と基本的に同様である。つまり、培養細胞１が自律的に拍動する場合も、電圧印加により拍動する場合も、本技術を用いて同様に観察することができる。
　図１のＣは、培養細胞１の観察領域を複数の部分領域（ブロック）に分割し、ブロック毎に動き量（動きベクトル）を検出し、その時間的推移を観察したものである。例えば、図１のＣのグラフ４－１は、ブロック３－１の動き量の時間的推移を示すものであり、グラフ４－２は、ブロック３－２の動き量の時間的推移を示すものである。
　図２のＡのグラフ５－１乃至グラフ５―３は、グラフ４－１に示されるブロック３－１の細胞の動き量と、グラフ４－２に示されるブロック３－２の細胞の動き量との関係の時間的推移を示すものである。
　生体から採取された当初、ブロック３－１に存在する細胞の動き量と、ブロック３－２に存在する細胞の動き量は、グラフ５－１に示されるように、互いの相関性は低いものである。しかしながら、時間が経過し、培養が進むと、グラフ５－２に示されるように徐々に両者の相関性が強くなり、さらに時間が経過すると、グラフ５―３に示されるように、両者の相関性がとても強くなる。
　つまり、図２のＢに示されるグラフのように、成育した培養細胞１の複数の位置の間の動き量の相関係数は、大きな値に安定する。つまり、各領域の細胞の動きの協同性が強くなる。理想的には、各細胞の動作が互いに関連するようになり、培養細胞１全体が１つの生体組織として拍動するようになる。
　成育した培養細胞１は、複数の細胞により構成されるが、その細胞間ではギャップジャンクションを介して信号の伝達が行われる。これにより細胞間で動きに相関性が生じ、培養細胞１全体が１つの生体組織として拍動するようになる。このように生育した培養細胞１においては、拍動が細胞間を伝播するようになる。
　このように高い相関性（協同性）を有し、拍動が伝搬する培養細胞１ｊは、薬剤の評価に利用することができる。例えば、この培養細胞１に薬剤を投与し、その前後の動きを観察することにより、培養細胞１の動きの変化から薬剤の効果や毒性等を評価することができる。
　［薬剤評価装置］
　図３は、薬剤評価装置の主な構成例を示すブロック図である。
　図３に示される薬剤評価装置１００は、培養心筋細胞１１０の動きを観察することによりその培養心筋細胞１１０に投与された薬剤の評価を行う装置である。図３に示されるように、薬剤評価装置１００は、撮像部１０１、評価対象画像データ生成記録部１０２、評価指標データ生成部１０３、および評価部１０４を有する。
　撮像部１０１は、観察対象である培養心筋細胞１１０を撮像する。撮像部１０１は、培養心筋細胞１１０を直接（他の部材を介さずに）撮像してもよいし、例えば顕微鏡等のような他の部材を介して培養心筋細胞１１０を撮像してもよい。
　また、培養心筋細胞１１０は、撮像部１０１に対して固定されていてもよいし、固定されていなくてもよい。薬剤評価装置１００は、動き（位置の時間的変化）を検出するため、一般的には、培養心筋細胞１１０が撮像部１０１に対して固定されている方が望ましい。
　撮像部１０１は、所定の期間培養心筋細胞１１０を撮像する。つまり、撮像部１０１は、培養心筋細胞１１０を被写体とする動画像を得る。撮像部１０１は、薬剤投与前と後で培養心筋細胞１１０を撮像する。なお、撮像部１０１が、例えば、所定時間経過毎等、所定の条件にしたがって、薬剤投与後に複数回培養心筋細胞１１０を撮像するようにしてもよい。
　撮像部１０１は、撮像により得られた培養心筋細胞１１０の画像の画像信号１１１（動画像）を評価対象画像データ生成記録部１０２に供給する。
　評価対象画像データ生成記録部１０２は、撮像部１０１から供給される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。ここで生成される評価対象画像データは、例えば培養心筋細胞１１０を撮像した画像信号から生成される動画像データとなる。
　例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される複数のフレーム画像の中から一部の期間のフレーム画像のみを抽出し、それを評価対象画像データとするようにしてもよい。また、例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される各フレーム画像の一部の領域を小フレーム画像として抽出し、その小フレーム画像からなる動画像を評価対象画像データとするようにしてもよい。
　さらに、例えば、評価対象画像データ生成記録部１０２が、撮像部１０１から供給される各フレーム画像に対して任意の画像処理を施し、その画像処理結果を評価対象画像データとするようにしてもよい。画像処理としては、例えば、画像の拡大、縮小、回転、変形、輝度や色度の補正、シャープネス、ノイズ除去、中間フレーム画像生成等が考えられる。もちろん、これら以外のどのような画像処理であってもよい。
　評価対象画像データ生成記録部１０２は、記憶している評価対象画像データ１１２を、所定のタイミングにおいて、若しくは、評価指標データ生成部１０３の要求に基づいて、評価指標データ生成部１０３に供給する。
　評価指標データ生成部１０３は、供給された評価対象画像データ１１２の各フレーム画像間において、観察対象（培養心筋細胞１１０）の画像の全領域を複数に分割した部分領域であるブロック毎に、観察対象（培養心筋細胞１１０）の動き検出を行う。
　評価指標データ生成部１０３は、その検出した各ブロックの動きを動きベクトルとして表し、その動きベクトルの大きさ（動き量）を求める。なお、この動き量は、絶対値であるので、以下において、この動き量のことを動き量絶対値とも称する。
　評価指標データ生成部１０３は、その動き量絶対値を、評価指標データ１１３として評価部１０４に供給する。
　評価部１０４は、評価指標データ１１３として供給された動き量絶対値を、２次元カラーマップにマッピングし、拍動の伝搬の様子を表現したり、さらに、その様子を定量的に評価したりすることにより、薬剤の評価を行う。評価部１０４は、その２次元カラーマップや定量的な評価結果を評価値１１４として出力する。
　２次元カラーマップは、平面上の各位置のパラメータの大きさを色で表すものである。この場合、平面は培養心筋細胞１１０の観察領域を表し、色は動き量絶対値（値の大きさ）を表す。つまり、動き量絶対値の位置が平面上の位置で表され、値の大きさが色で表される。つまり、観察領域内の動き量絶対値の分布が、平面上の色の変化で示される。
　このような２次元カラーマップの例を図４乃至図６に示す。図４に示される８枚のカラーマップは、それぞれ、観察領域内の動き量絶対値の分布を示しており、このカラーマップ上の位置は観察領域内の位置を示し、色濃度が濃い部分ほど動き量絶対値が大きいことを示している。つまり、色濃度が濃い部分は、激しく拍動中（収縮中若しくは弛緩中）であることを示している。なお、カラーマップ上の矢印は、説明のために描画したものであり、実際のカラーマップ上に描かれたものではない。
　８枚のカラーマップの内、左側の４枚のカラーマップは、有機溶媒（control）の投与後の拍動の伝搬の様子を示す例である。有機溶媒は、基本的に培養心筋細胞１１０の拍動に影響を及ぼさない。有機溶媒としては、例えば、ジメチルスルホキシド（dimethyl sulfoxide））等がある。この４枚のカラーマップのそれぞれは、上から順に、投与直後（０ms）、投与から４０ms経過後、投与から８０ms経過後、投与から１２０ms経過後の拍動の様子を示している。
　また、右側の４枚のカラーマップは、１－ヘプタノール（1-Heptanol）の投与後の拍動の伝搬の様子を示す例である。１－ヘプタノールは、細胞間のシグナル伝達を中継するギャップジャンクションの機能を阻害することが知られている。この４枚のカラーマップのそれぞれは、上から順に、投与直後（０ms）、投与から８０ms経過後、投与から１６０ms経過後、投与から２４０ms経過後の拍動の様子を示している。
　図４の左側の場合（有機溶媒のみを投与した例の場合）、矢印に示されるように、拍動（色濃度の濃い部分）は、時間の経過とともにその範囲を広げながらも、おおよそ右上から左下の方向に、最初の位置から遠ざかるように直線的に伝搬している。これは、キャップジャンクションが正常に機能し、伝搬がスムーズに進行している様子を示している。
　これに対して、図４の右側の場合（１－ヘプタノールを投与した例の場合）、矢印に示されるように、拍動（色濃度の濃い部分）は、時間の経過とともに回転するように向きを変えながら曲線的に伝搬している。すなわち、時に最初の位置に戻る方向にも進む（逆行する）。その上、左側に比べて拍動の伝搬に長時間を要する（伝搬の速度が遅い）。これは、ギャップジャンクションの機能が阻害され、伝搬がスムーズに進行していない様子を示している。
　図５のカラーマップは、有機溶媒（control）の投与後と１８－β－グリチルレチン酸（18-β-Glycyrrhetinic acid）の投与後とで、拍動の伝搬の様子を比較するものである。１８－β－グリチルレチン酸は、１－ヘプタノールと同様に、ギャップジャンクションを阻害することが知られている。図５の右側の５枚のカラーマップのそれぞれは、上から順に、投与直後（０ms）、投与から８０ms経過後、投与から１２０ms経過後、投与から１６０ms経過後、投与から２４０ms経過後の拍動の様子を示している。
　図５の左側の場合（有機溶媒のみを投与した例の場合）、図４の左側の場合と同様に、矢印に示されるように、拍動（色濃度の濃い部分）は、時間の経過とともに、おおよそ上から下の方向に、最初の位置から遠ざかるように略直線的に伝搬している。これは、キャップジャンクションが正常に機能し、伝搬がスムーズに進行している様子を示している。
　これに対して、図５の右側の場合（１８－β－グリチルレチン酸を投与した例の場合）、矢印に示されるように、拍動（色濃度の濃い部分）は、右から左、下から上、左から右等、様々な方向に伝搬する。また、途中、拍動の伝搬が一時的に停止する（観察対象領域において拍動の伝搬が生じない）場合がある。その上、左側に比べて拍動の伝搬に長時間を要する（伝搬の速度が遅い）。これは、ギャップジャンクションの機能が阻害され、伝搬がスムーズに進行していない様子を示している。
　図６のカラーマップは、有機溶媒（control）の投与後とＤＬ－ソタロール（dl-sotalol）の投与後とで、拍動の伝搬の様子を比較するものである。ＤＬ－ソタロールは、カリウムチャネルを阻害することが知られている。図６の右側の６枚のカラーマップのそれぞれは、上から順に、投与直後（０ms）、投与から４０ms経過後、投与から８０ms経過後、投与から１２０ms経過後、投与から１６０ms経過後、投与から２００ms経過後の拍動の様子を示している。
　図６の左側の場合（有機溶媒のみを投与した例の場合）、図４や図５の左側の場合と同様に、矢印に示されるように、拍動（色濃度の濃い部分）は、時間の経過とともに、おおよそ左上から右下の方向に、最初の位置から遠ざかるように略直線的に伝搬している。これは、各細胞の拍動が安定しており、伝搬がスムーズに進行している様子を示している。
　これに対して、図６の右側の場合（ＤＬ－ソタロールを投与した例の場合）、矢印に示されるように、拍動（色濃度の濃い部分）は、左上から右下に伝搬するが観察領域内において、その伝搬が停止する。また、その後、左下から右上に向かう拍動の伝搬が始まる。なお、観察期間中、観察領域の右側の一部の領域においては、拍動が生じない。つまり、拍動は、この右側の一部の領域には伝播されない。さらに、左側に比べて拍動の伝搬の速度が遅い。
　ＤＬ－ソタロールを投与すると弛緩過程で働くカリウムチャネル機能の変化によって弛緩過程が変化する。これにより、各細胞の拍動の波形がばらつきが生じ、図４乃至図６の左側の例のように、拍動が滑らかに伝搬しなくなる。
　評価部１０４は、各ブロックの動き量絶対値をこのような２次元カラーマップで表現する。評価部１０４は、図４乃至図６に示されるように、所定のフレーム間隔（毎フレームでもよいし、複数フレームおきでもよい）でこのような２次元カラーマップを生成する。つまり、評価部１０４は、この２次元カラーマップの時間的変化により、拍動の伝搬を表現する。　
　評価部１０４は、この２次元カラーマップを画像としてユーザに提示することができる。つまり、薬剤評価装置１００は、拍動の伝搬の様子を、容易かつ非侵襲に観察し、その観察結果を提示することができる。ユーザは、提示されたこの２次元カラーマップの画像における拍動の伝搬の様子から、投与した薬剤による影響（効果や毒性等）を、容易かつ非侵襲に評価することができる。
　なお、評価部１０４は、この２次元カラーマップを用いて、拍動が伝搬する様子を定量的に評価することもできる。図４の例の場合、右のマップに示される薬剤投与後における拍動の伝搬の様子（直線的に伝搬する様子）は、左のマップに示される薬剤投与前における拍動の伝搬の様子（観察領域内を回転するように伝搬する様子）とは異なる。評価部１０４は、例えば、このような薬剤投与前後での拍動の伝搬の様子を比較し、その差分値の大きさに基づいて薬剤投与後の拍動の伝搬の様子が正常であるか否かを判定することができる。
　また、評価部１０４は、伝搬の向きの変化や方向（例えば逆向き等）を検出することにより、薬剤投与後の拍動の伝搬の様子が正常であるか否かを判定することもできる。さらに、評価部１０４は、伝搬速度が十分に速いか否かを判定することにより、薬剤投与後の拍動の伝搬の様子が正常であるか否かを判定することもできる。
　評価部１０４は、このような評価結果を評価値１１４として出力することができる。すなわち、薬剤評価装置１００は、拍動の伝搬の様子を、容易かつ非侵襲に観察し、評価対象（投与した薬剤による影響）を、容易かつ非侵襲に評価することができる。
　なお、薬剤評価装置１００は、観察対象として培養心筋細胞１１０以外のものを用いるようにしてもよい。例えば、心筋細胞以外の細胞を観察対象としてもよいし、細胞以外を観察対象としてもよい。ただし、観察対象は、自身が動き、その動きの評価によって、その観察対象に投与した薬剤を評価可能なものであることが望ましい。なお、この動きは、自律的（自発的（能動的））なものであってもよいし、外部から供給される電気信号等による受動的なものであってもよい。
　［評価指標データ生成部］
　図７は、図１の評価指標データ生成部１０３の主な構成例を示すブロック図である。図７に示されるように、評価指標データ生成部１０３は、動き検出部１２１、動き量絶対値算出部１２２、および動き量絶対値格納部１２３を有する。
　動き検出部１２１は、評価対象画像データ生成記録部１０２から記録された評価対象画像データ１１２を入力してブロック毎に動き検出を行い、その検出結果（動きベクトル）を動き検出データとして、動き量絶対値算出部１２２に供給する。
　動き量絶対値算出部１２２は、供給された各動き検出データ（動きベクトル）の大きさである動き量絶対値を算出する。動き量絶対値算出部１２２は、算出した動き量絶対値を動き量絶対値格納部１２３に供給し、格納させる。
　動き量絶対値格納部１２３は、所定のタイミングにおいて若しくは評価部１０４からの要求に基づいて、格納している動き量絶対値を評価指標データ１１３として評価部１０４に供給する。
　なお、動き検出部１２１乃至動き量絶対値格納部１２３は、評価対象画像データの各フレーム画像についてこの処理を行う。
　［評価対象画像データの構造］
　図８は、評価指標データ生成部１０３に供給される評価対象画像データ１１２の構造例を示している。撮像は、所定の長さの評価区間（例えばＴ＋１フレーム（Ｔは任意の自然数））行われる。つまり、評価指標データ生成部１０３に供給される評価対象画像データ１１２は、例えばその評価区間に対応する１番目から（Ｔ＋１）番目までのフレーム画像データ１３２－１乃至１３２－（Ｔ＋１）から成る。
　［動き検出部の構成例］
　図９は、動き検出部１２１の主な構成例を示すブロック図である。図９に示されるように、動き検出部１２１は、フレームメモリ１４１および動きベクトル算出部１４２を有する。フレームメモリ１４１は、評価対象画像データ１１２として１フレーム期間ごとに順次入力されてくるフレーム画像データ１３２を保持する。
　動きベクトル算出部１４２は、現時刻の評価対象画像データ１１２として入力されるフレーム画像データと、フレームメモリ１４１に保持されている１つ先の（時間的に前の）時刻のフレーム画像データとを入力する。そして、これらの２つフレーム画像データ間の動きを示す動きベクトルを、ブロック毎に算出する。算出された動きベクトルは、動き検出データ１５１として動き量絶対値算出部１２２に供給される。
　図９の動き検出部１２１が実行する処理についてより詳細に説明する。動きベクトル算出部１４２は、現時刻のフレーム画像データ１３２と１つ先の（時間的に前の）時刻のフレーム画像データ１３２を入力する。動きベクトル算出部１４２は、これらの入力したフレーム画像データ１３２を、図１０に示されるように、Ｍ×Ｎ個（Ｍ、Ｎは任意の自然数）のブロック１６１に分割し、各ブロック１６１について、例えばフレーム画像間のブロックマッチングなどの手法により動き検出を行い、動きベクトルを生成する。ブロック１６１の各々は、例えば（１６×１６）による画素から成る。
　動きベクトル算出部１４２は、この動き検出処理を１番目から（Ｔ＋１）番目までのフレーム画像データ１３２を順次利用して実行していく。つまり、動きベクトル算出部１４２は、（Ｔ＋１）個のフレーム画像を用いて、（Ｍ×Ｎ×Ｔ）個の動き検出データ（動きベクトル）を生成する。動きベクトル算出部１４２は、このように算出した動きベクトルを動き検出データとして、動き量絶対値算出部１２２に供給される。
　Ｔ番目と（Ｔ＋１）番目のフレーム画像データ１３２を利用した最後の動き検出処理が完了すると、動き量絶対値算出部１２２には、図１１に示されるように、Ｔ個のフレーム単位動き検出データ１７１－１乃至１７１－Ｔから成る動き検出データが供給される。
　フレーム単位動き検出データ１７１－１乃至１７１－Ｔのそれぞれは、フレーム期間ごとに得られる現時刻のフレーム画像データ１３２と１つ先の（時間的に前の）フレーム画像データ１３２とを対象に動き検出処理を行って得られたものとなる。
　例えば、３番目のフレーム単位動き検出データ１７１－３は、４番目のフレーム画像データ１３２－４と３番目のフレーム画像データ１３２－３を、それぞれ現時刻と１つ先の時刻のフレーム画像データとして入力して動き検出を行うことで得られる。
　また、フレーム単位動き検出データ１７１－１乃至１７１－Ｔの各々は、（Ｍ×Ｎ）個のブロック単位動き検出データ１８１により形成される。ブロック単位動き検出データ１８１は、それぞれが１つのブロック１６１に対応し、対応するブロック１６１について検出された動きベクトルを示すデータとなる。
　このように、本実施の形態の動き検出データ１５１は、フレーム単位動き検出データ１７１ごとに（Ｍ×Ｎ）個のブロック単位動き検出データ１８１を有する構造となっている。
　［評価部］
　図１２は、評価部１０４の主な構成例を示すブロック図である。図１２に示されるように、評価部１０４は、動き量絶対値取得部２０１、マッピング部２０２、経時変化解析部２０３、動き評価部２０４、表示部２０５、および出力部２０６を有する。
　動き量絶対値取得部２０１は、評価指標データ生成部１０３の動き量絶対値格納部１２３から、所望の（例えば、ユーザに観察対象として指定された）評価対象画像データ１１２の動き量絶対値を評価指標データ１１３として取得する。動き量絶対値取得部２０１は、取得した動き量絶対値をマッピング部２０２に供給する。　
　マッピング部２０２は、供給された動き量絶対値を、そのブロックの座標に応じて平面上にマッピングし、図４に示されるような２次元カラーマップを生成する。マッピング部２０２は、複数フレーム（評価対象画像データ１１２の全部または一部のフレーム）について、上述した２次元カラーマップを生成する。
　マッピング部２０２は、生成した２次元カラーマップを、表示部２０５に供給してその画像を表示させたり、出力部２０６に供給してデータを薬剤評価装置１００の外部（他の装置等）に出力させたりする。また、マッピング部２０２は、生成した２次元カラーマップを経時変化解析部２０３にも供給する。
　なお、マッピング部２０２は、動き量絶対値の分布を示すことができる情報を生成すれば良く、生成する情報は、２次元カラーマップに限らない。例えば、３次元以上のカラーマップであってもよい。また、カラーマップでなくグレースケール（濃度若しくは模様）のマップであってもよい。さらに、マッピング部２０２が、動き量絶対値を曲面上にマッピングするようにしてもよい。
　経時変化解析部２０３は、供給された各２次元カラーマップ（動き量絶対値の分布）の時間的変化（経時変化）の様子を解析する。例えば、経時変化解析部２０３は、２次元カラーマップ内の所定の特徴を有する領域（若しくは点）を注目領域（若しくは注目点）として設定し、その経時変化を求める。経時変化解析部２０３は、各２次元カラーマップと、この経時変化解析結果（例えば、注目領域の大きさ、形、位置等の経時変化）とを動き評価部２０４に供給する。
　動き評価部２０４は、供給された情報に基づいて動き量分布を評価する。例えば、動き評価部２０４は、注目領域の動き等についての評価を行う。例えば、動き評価部２０４は、薬剤投与前後で注目領域の経路に変化があるか否かを判定したり、注目領域の進行方向の極端な変化があるか否かを判定したり、注目領域の進行速度が変化するか否かを判定したりする。動き評価部２０４は、これらのような評価結果のデータを表示部２０５に供給して表示させたり、出力部２０６に供給して薬剤評価装置１００の外部（他の装置等）に出力させたりする。
　表示部２０５は、任意の表示デバイスを有し、撮像部１０１により得られた画像信号１１１（細胞画像）をその表示デバイスに表示する。また、表示部２０５は、マッピング部２０２から供給される２次元カラーマップを画像化し、その表示デバイスに表示させる。例えば、表示部２０５は、細胞画像（動画像）の各フレーム画像と、そのフレーム画像に対応する２次元カラーマップの画像とを重畳させたり、並べたりして表示デバイスに表示させる。さらに、表示部２０５は、動き評価部２０４から供給される評価結果を画像化し、その表示デバイスに表示させる。なお、この評価結果の画像は、静止画像であっても良いし、動画像であっても良い。また、表示部２０５は、この評価結果の画像を、細胞画像および２次元カラーマップの画像のいずれか一方若しくは両方ととともに表示させることができる。その場合、表示部２０５は、評価結果の画像を、細胞画像および２次元カラーマップの画像のいずれか一方若しくは両方に重畳させて表示させることもできるし、各画像を並べて表示させることもできる。また、評価結果を動画像として表示させる場合、表示部２０５は、評価結果の各フレーム画像を、細胞画像や２次元カラーマップの動画像の、対応するフレーム画像とともに表示させることもできる。
　出力部２０６は、任意の出力インタフェースを有し、マッピング部２０２から供給される２次元カラーマップのデータを、その出力インタフェースを介して薬剤評価装置１００の外部の装置やネットワーク等に出力する。また、出力部２０６は、動き評価部２０４から供給される評価結果のデータを、その出力インタフェースを介して薬剤評価装置１００の外部の装置やネットワーク等に出力する。
　［動き評価部］
　図１３は、図１２の動き評価部２０４の主な構成例を示すブロック図である。図１３に示されるように、動き評価部２０４は、不動領域評価部２１１、拍動伝搬速度評価部２１２、動き量重心評価部２１３、および相関ヒストグラム評価部を有する。
　不動領域評価部２１１は、拍動が伝搬しない領域（すなわち、拍動しない領域）の数、面積、またはそれらの時間的変化を評価する。
　投薬後、観察領域内に、明らかに動かない（拍動しない）領域（不動領域）が存在する場合がある。例えば、図６の場合、ＤＬ－ソタロールを投与後、観察領域の右側の部分に拍動が伝搬しない。つまり、拍動が停止している。
　ＤＬ－ソタロールはカリウムチャネルを阻害する。培養心筋細胞にＤＬ－ソタロールを投与すると弛緩過程で働くカリウムチャネル機能の変化によって弛緩過程が変化し、拍動時間（例えば活動電位維持時間）が延長する場合がある。また、場合によっては、拍動そのものが停止する場合も考えられる。このように薬剤の毒性により細胞の運動が停止する場合がある。
　このような不動領域の数や面積（若しくはそれらの時間的変化）は、投与した薬剤の毒性と関連性がある場合がある。例えば、投薬後、不動領域の数が多いほど、若しくは、不動領域の面積が広いほど、薬剤の毒性が強いと評価することができる場合もある。また、投与直後から不動領域が増大するまでの時間や、その後、不動領域が低減するまでの時間等によっても薬剤の毒性の強さを評価することができる場合もある。
　そこで、不動領域評価部２１１は、例えば、不動領域を注目領域とし、投薬前と投薬後とで２次元カラーマップ内の注目領域を比較し、その差分の大きさ（変化量）によって不動領域の数、大きさ、位置、形状等を評価する。もちろん、不動領域評価部２１１は、投薬後の複数時刻における２次元カラーマップ内の注目領域を比較することもできる。不動領域評価部２１１は、このような不動領域の評価により、投与した薬剤の毒性や効果を評価する。
　拍動伝搬速度評価部２１２は、観察領域内における拍動の伝搬速度、または、その時間的変化を評価する。
　投与した薬剤の毒性により拍動の伝搬が阻害されれば、拍動の伝搬速度にも影響を及ぼす場合がある。例えば、各細胞の拍動時間が延長すると、拍動伝搬速度が変化する場合がある。つまり、拍動の伝搬速度の変化は、投与した薬剤の毒性と関連性がある場合がある。例えば、投薬後、拍動の伝搬速度の低減幅が大きいほど、薬剤の毒性が強いと評価することができる場合もある。また、投与直後から伝搬速度が低減するまでの時間や、その後、伝搬速度が回復するまでの時間等によっても薬剤の毒性の強さを評価することができる場合もある。
　そこで、拍動伝搬速度評価部２１２は、例えば、大きく拍動する部分を注目領域とし、投薬前と投薬後とで２次元カラーマップ内の注目領域の動き（速さ）を比較し、その注目領域の動きの速さ（所定時間内の移動量）の差によって拍動の伝搬速度の変化を評価する。もちろん、拍動伝搬速度評価部２１２は、投薬後の複数時刻における２次元カラーマップ内の注目領域の動きを比較することもできる。拍動伝搬速度評価部２１２は、このような拍動の伝搬速度の評価により、投与した薬剤の毒性や効果を評価する。
　動き量重心評価部２１３は、観察領域内における動き量の重心の位置や軌跡を評価する。
　一般的に、拍動が伝搬すると、観察領域内の各部分の動きも変化するので、観察領域内の動き量の重心の位置も変化する。つまり、拍動の伝搬は、この動き量の重心の位置の軌跡により表すことができる。換言するに、投与した薬剤の毒性により拍動伝搬の様子（経路や速度等）が変化すると、動き量の重心の位置の変化の仕方にも影響を及ぼす。
　例えば、図４乃至図６を参照して説明したように、投薬前は１方向に直線的に伝搬していた拍動が、投薬後、回転するように伝搬したり、複数方向に伝搬したりする場合がある。例えば、投薬により不動領域が発生すると、拍動の伝搬が、その不動領域の周囲を回り込む（回転する）場合がある。また、不動領域にまでならなくても、領域間で各細胞の拍動周期に偏りが生じると、その偏りに応じて伝搬方向が変化する（回転する）場合がある。
　さらに、不動領域等において拍動伝搬が複数方向に分割される場合がある。また、心筋細胞では、一部の細胞がペースメークの役割を担い、その細胞の拍動を基準として他の細胞への拍動の伝搬が行われる。薬剤投与の影響により、このペースメークを行う細胞が他の細胞に代わることもある。場合によっては、そのペースメークを行う細胞の数が増減する場合もある。その場合、拍動伝搬経路が大幅に変化する。
　また、伝搬が途中で止まる場合もある。例えば、不動領域において拍動伝搬が途絶える場合もある。さらに、伝搬の速度が変化する場合もある。例えば、各細胞の拍動時間が延長することにより伝搬速度が変化する場合がある。
　これらのような伝搬の様子の変化により、同一領域に複数方向から互いに異なるタイミングで拍動が伝搬される場合がある。その場合、各細胞の拍動に乱れが生じ、局部的にリエントリが発生する場合がある（不整脈の要因となる場合がある）。
　これらのような拍動伝搬の変化により、動き量の重心の軌跡も変化する。そこで、動き量重心評価部２１３は、図１４のＡに示されるように、２次元カラーマップの全領域を、縦方向にＮ個横方向にＭ個の小領域に分割し、その小領域（m,n）毎に動き量v(m,n)を求める。動き量重心評価部２１３は、以下の式（１）および式（２）のように動きの重心の座標（Gx,Gy）を算出する。
Figure JPOXMLDOC01-appb-M000001
 　・・・（１）
Figure JPOXMLDOC01-appb-M000002
 　・・・（２）
　各２次元カラーマップについて、このように動き量の重心の座標を求めると、動き量重心評価部２１３は、図１４のＢに示されるように、各２次元カラーマップ（各時刻）の重心の位置を２次元マップ上にプロットし、その変化（軌跡）を描く。動き量重心評価部２１３は、このような重心の軌跡を、投薬前後で比較し、その軌跡の変化を評価する。もちろん、動き量重心評価部２１３は、投薬後の複数時刻における重心の軌跡を比較することもできる。動き量重心評価部２１３は、このような動き量の重心の軌跡の評価により、投与した薬剤の毒性や効果を評価する。
　なお、軌跡を評価する重心は複数であっても良い。また、重心の動き量（拍動の大きさ）も併せて評価するようにしてもよい。例えば、動き量重心評価部２１３が、動き量の重心を、ＸＹ座標で位置を表し、Ｚ座標で動き量を表す３次元マップ上にプロットするようにしてもよい。重心の動き量の算出方法は任意である。例えば、求められた重心の位置の動き量を重心の動き量としてもよいし、その重心の近傍の動き量の平均値を重心の動き量としてもよい。また、観察領域全体の動き量を用いて重心の動き量が算出されるようにしてもよい。
　相関ヒストグラム評価部２１４は、観察領域内の動きの分布（速度や方向等）を評価する。
　投薬前、正常な状態において、心筋細胞は、所定のリズムで拍動を繰り返す。したがって、観察領域内の動きの分布（速度や方向等）は略一定となる。投薬後、投与した薬剤の毒性により、上述したように拍動の伝搬の様子が変化すると、この動きの分布も変化することになる。そこで、相関ヒストグラム評価部２１４は、投薬前後で、この動きの速度や方向について分布（ヒストグラム）を求め、その分布の変化を評価することにより、投与した薬剤の毒性や効果を評価する。
　より具体的な例について説明する。例えば、相関ヒストグラム評価部２１４は、図１５に示されるように、隣接する小領域間の拍動の相関係数ｄを求める。この相関係数ｄは、図１５の中央に示されるように、拍動のタイミングのズレを示すパラメータであり、図１５の右側に示されるように、そのズレが大きいほど、値が大きくなる。つまり、相関係数ｄは、両少領域の拍動タイミングが半周期分ズレた状態が最も大きい。両少領域の拍動タイミングが一致する場合、相関係数ｄの値は０となる。
　相関ヒストグラム評価部２１４は、このような相関係数ｄを、図１６のＡに示されるように、処理対象の小領域の上下左右に隣接する小領域についてそれぞれ算出する（d0乃至d3）。相関ヒストグラム評価部２１４は、その相関係数ｄ（d0乃至d3）を用いて、以下の式（３）および式（４）のように、水平方向の動き量vxと垂直方向の動き量vyとを算出する。
Figure JPOXMLDOC01-appb-M000003
 　・・・（３）
Figure JPOXMLDOC01-appb-M000004
 　・・・（４）
　相関ヒストグラム評価部２１４は、それらの動き量vxと動き量vyとから、図１６のＢに示されるように、処理対象の小領域(m,n)の動き量v(m,n)と、その方向θ(m,n)を求める。相関ヒストグラム評価部２１４は、各小領域について、このように動き量およびその方向を求め、図１７に示されるような、動き量（速度）と方向のヒストグラム（度数分布）をそれぞれ生成する。
　図１７のＡは、薬剤投与前の、動きの速度と方向のヒストグラムを示し、図１７のＢは、薬剤投与後の、動きの速度と方向のヒストグラムを示す。図１７のＡと図１７のＢに示されるように、投薬前後で、これらの分布が異なる場合、薬剤投与による影響があると判定することができる。つまり、相関ヒストグラム評価部２１４は、投薬前と後とで、この動きの速度や方向について分布（ヒストグラム）を求め、その分布の変化を評価することにより、投与した薬剤の毒性や効果を評価する。
　不動領域評価部２１１乃至相関ヒストグラム評価部２１４は、それぞれ、得られた評価結果を評価結果データ生成部２１５に供給する。評価結果データ生成部２１５は、各評価結果を適宜まとめ、評価結果データとして、表示部２０５や出力部２０６（図１２）に供給する。
　なお、以上に説明した動き評価部２０４の構成は、一例である。動き評価部２０４は、任意の構成を有することができ、観察対象の動きに関するものであれば、任意の指標の評価を行うことができる。
　以上のように、薬剤評価装置１００は、培養心筋細胞１１０の拍動の伝搬の様子を、容易かつ非侵襲に観察し、評価対象（投与した薬剤による影響）を、容易かつ非侵襲に評価することができる。
　［評価処理の流れ］
　次に、図１８のフローチャートを参照して、薬剤評価装置１００により実行される評価処理の流れの例を説明する。
　評価処理が開始されると、薬剤評価装置１００の撮像部１０１は、ステップＳ１０１において、観察対象である培養心筋細胞１１０を撮像する。ステップＳ１０２において、評価対象画像データ生成記録部１０２は、ステップＳ１０１の撮像により得られた画像信号１１１から評価対象画像データ１１２を生成する。
　ステップＳ１０３において、評価指標データ生成部１０３は、ステップＳ１０２において生成された評価対象画像データ１１２を用いて動き検出を行い、動き量絶対値を算出し、評価指標データ１１３を生成する。ステップＳ１０４において、評価部１０４は、ステップＳ１０３において生成された評価指標データ１１３を用いて２次元カラーマップを生成し、評価値１１４を算出する。
　ステップＳ１０５において、評価部１０４は、ステップＳ１０４において算出された評価値１１４を出力し、評価処理を終了する。
　［評価指標データ生成処理の流れ］
　次に、図１８のステップＳ１０３において実行される評価指標データ生成処理の流れの例を、図１９のフローチャートを参照して説明する。
　評価指標データ生成処理が開始されると、評価指標データ生成部１０３の動き検出部１２１は、ステップＳ１２１において、評価対象の動きをブロック毎に検出し、動きベクトルを生成する。ステップＳ１２２において、動き量絶対値算出部１２２は、ステップＳ１２１において生成された各ブロックの動きベクトルの動き量絶対値を算出する。
　ステップＳ１２３において、動き量絶対値格納部１２３は、ステップＳ１２２において算出された動き量絶対値を記憶する。
　ステップＳ１２４において、動き検出部１２１は、予め定められた所定の期間（評価区間）分のデータを処理したか否かを判定する。所定の評価区間において、動き検出を行っていないフレーム画像が存在すると判定された場合、動き検出部１２１は、処理をステップＳ１２１に戻し、新たな処理対象フレーム画像に対して動き検出を繰り返す。
　また、ステップＳ１２４において、所定の評価区間において処理対象とする全てのフレーム画像において動き検出を行ったと判定された場合、評価指標データ生成処理を終了し、処理を図１８に戻し、ステップＳ１０４に処理を進める。
　［相関評価処理の流れ］
　次に、図２０のフローチャートを参照して、図１８のステップＳ１０４において実行される影響評価処理の流れの例を説明する。
　影響評価処理が開始されると、動き量絶対値取得部２０１は、ステップＳ１４１において、動き量絶対値格納部１２３から動き量絶対値を取得する。
　ステップＳ１４２において、マッピング部２０２は、ステップＳ１４１において取得された動き量絶対値を平面上にマッピングし、２次元カラーマップを作成する。
　ステップＳ１４３において、経時変化解析部２０３は、ステップＳ１４２において作成された動き量絶対値の各２次元カラーマップにおいて、２次元カラーマップの経時変化を解析する。
　ステップＳ１４４において、動き評価部２０４は、ステップＳ１４３において解析された２次元カラーマップの時間的変化（各２次元カラーマップ間での動き）を評価する。つまり、動き評価部２０４は、薬剤投与の影響を評価する。動き評価部２０４は、その評価値１１４を表示部２０５に表示させたり、出力部２０６を介して薬剤評価装置１００の外部に出力したりする。
　ステップＳ１４４の処理が終了すると、動き評価部２０４は、影響評価処理を終了し、処理を図１８に戻す。
　［動き評価処理の流れ］
　次に、図２１のフローチャートを参照して、図２０のステップＳ１４４において実行される動き評価処理の流れの例を説明する。
　動き評価処理が開始されると、ステップＳ１６１において、不動領域評価部２１１は、不動領域を評価する。ステップＳ１６２において、拍動伝搬速度評価部２１２は、拍動伝搬速度を評価する。ステップＳ１６３において、動き量重心評価部２１３は、動き量の重心を評価する。ステップＳ１６４において、相関ヒストグラム評価部２１４は、拍動伝搬の速度や方向をヒストグラムで評価する。ステップＳ１６５において、評価結果データ生成部２１５は、出力または表示用の評価結果データを生成する。
　ステップＳ１６５の処理を終了すると、評価結果データ生成部２１５は、動き評価処理を終了し、処理を図２０に戻す。
　以上のように、各種処理を行うことにより、薬剤評価装置１００は、観察対象を容易かつ非侵襲に観察することができ、薬剤投与の培養心筋細胞１１０への影響を、より容易かつ非侵襲に評価することができる。
　つまり、本技術の場合、特殊な培養皿や蛍光試薬が不要であるため、簡便、非侵襲、安価に細胞拍動挙動の変化を捉えることができ、薬剤毒性等を容易かつ正確に評価することができる。また自動化にも好適である。
　なお、薬剤の毒性には、一般的に、大別して、投薬後、数秒から数分程度の短期間で影響が表れる短期毒性と、投薬後、数時間から数日程度の長期間経過後に影響が表れる長期毒性とがある。蛍光試薬や電極を用いる場合、観察対象に影響を及ぼすことから長期毒性の観察には不向きな場合がある。これに対して、本技術の場合、観察対象を非侵襲に観察することができる。また、本技術の場合、長期毒性の観察を、短期毒性を観察する場合と同様の方法で容易に行うことができる。したがって、本技術は、短期毒性の観察だけでなく、長期毒性の観察にも好適である。
　また、本技術は、短期毒性の観察と長期毒性の観察とを互いに同様の方法で行うことができるので、投薬直後から例えば数日間等、長期間の観察を行うことができる。つまり、本技術は、毒性の経時変化の観察や評価を行うことも可能である。
　なお、観察対象である培養細胞が成長して密になると、蛍光試薬による染色が一般的に困難になるが、本技術の場合、観察対象を非侵襲に観察することができるので、培養細胞の成長度合いに関わらず、安定的に観察や評価を行うことができる。
　ところで、心筋細胞の拍動は、収縮と弛緩により構成される。一般に心筋の弛緩は、心電図でいうところのＴ波に対応しており、心筋細胞膜の再分極に対応している。このＴ波の延長はＱ波とＴ波間時間の延長として一般にＱＴ延長と呼ばれ、この症状が出る場合、不整脈の可能性が指摘される。例えば、培養心筋細胞に投与された薬剤によりカリウムチャネルへのイオンの出し入れが阻害されると、このようなＱＴ延長が発生する。例えば、ＤＬ－ソタロールは、カリウムチャネルを阻害することが知られている。つまり、培養心筋細胞にＤＬ－ソタロールを投与すると弛緩過程で働くカリウムチャネル機能の変化によって弛緩過程が変化する。
　しかしながら、実際には、ＱＴ延長が発生する場合であっても、例えば心筋細胞全体で略一様なＱＴ延長が生じるときは、細胞間で拍動の大きなズレが生じないので、不整脈とならない場合も有り得る。また、逆に、上述したようにギャップジャンクションが阻害されるなどすると、ＱＴ延長が生じなくても不整脈が生じる恐れもある。本技術の場合、容易かつ非侵襲に拍動の伝搬を観察することができるので、このようなＱＴ延長の発生の有無に関わらず、不整脈の発生を検出することができる。
　また、本技術の場合、観察領域は、例えば０．６mm平方程度と比較的狭い範囲でよく、少ない細胞数と少ない試薬で試験が可能である。また、一般的に市販されている高密度の培養プレート（１５３６穴プレート（１．７ｍｍ直径/1well）や３８４穴プレート（３．６ｍｍ直径/1well）によっても十分に評価可能であり、創薬における最初のスクリーニングにも好適である。なお、本技術の場合、観察範囲の広さに関わらず、同様の方法で観察が可能である。したがって観察範囲の変更にも容易に対応することができる。
　さらに、薬剤の毒性の評価方法は、現在も研究が進められており、今後新たな評価の仕方や評価基準が提案される可能性がある。本技術の場合、非侵襲に、観察対象の状態を観察することができるので、より多様な評価方法や評価基準への適用が容易である。
　本技術は、さらに、培養心筋細胞１１０を観察することにより評価可能なものであればどのようなものを評価する場合にも適用することができる。例えば、気体であってもよいし、液体であってもよいし、固体であってもよい。また、観察時の環境条件（例えば、温度、湿度、気圧、明度、振動、磁場等）であってもよい。
　なお、本技術は、拍動の伝搬を容易に観察することができるので、蛍光色素を入れ込み、細胞の興奮（活動電位）によって変動するカルシウム濃度を検出することで細胞の拍動リズムを検出し、細胞の情報伝搬パターンを評価する方法にも適用することができる。
　＜２．第２の実施の形態＞
　［パーソナルコンピュータ］
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２２に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
　図２２において、パーソナルコンピュータ３００のCPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３１３からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３１０も接続されている。
　入出力インタフェース３１０には、キーボード、マウスなどよりなる入力部３１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部３１２、ハードディスクなどより構成される記憶部３１３、モデムなどより構成される通信部３１４が接続されている。通信部３１４は、インターネットを含むネットワークを介しての通信処理を行う。
　入出力インタフェース３１０にはまた、必要に応じてドライブ３１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１３にインストールされる。
　上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば、図２２に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア３２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM３０２や、記憶部３１３に含まれるハードディスクなどで構成される。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
　（１）　細胞を含む１又は複数の画像により、細胞画像の表示制御を行う第１の表示制御部と、
　前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う第２の表示制御部と
　を備える表示制御装置。
　（２）　前記細胞は、受動的または能動的に動く細胞であり、
　前記第２の表示制御部は、前記細胞の動きの伝搬の様子を表現するように、前記動き量の一部又は全部を表示させる
　前記（１）に記載の表示制御装置。
　（３）　前記第２の表示制御部は、前記細胞の動きの伝搬の様子を、前記細胞画像における前記動き量の分布の経時変化として表示させる
　前記（２）に記載の表示制御装置。
　（４）　前記第２の表示制御部は、前記動き量の分布を表現する曲面または平面上の２次元マップを、複数の時刻のそれぞれについて表示させることにより、前記動き量の分布の経時変化を表現する
　前記（３）に記載の表示制御装置。
　（５）　前記第２の表示制御部は、前記細胞画像における前記動き量の位置を前記２次元マップ上の位置として表現し、前記動き量の絶対値を、色、濃度、若しくは模様として表現する
　前記（４）に記載の表示制御装置。
　（６）　前記細胞画像は、動画像であり、
　前記第２の表示制御部は、前記細胞画像の各フレーム画像に、前記フレーム画像に対応する前記動き量の一部又は全部を重畳表示させる
　前記（１）乃至（５）のいずれかに記載の表示制御装置。
　（７）　前記第２の表示制御部は、前記動き量とともに前記動き量の分布の評価結果を表示させる
　前記（１）乃至（６）のいずれかに記載の表示制御装置。
　（８）　表示制御装置の表示制御方法であって、
　第１の表示制御部が、細胞を含む１又は複数の画像により、細胞画像の表示制御を行い、
　第２の表示制御部が、前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う
　表示制御方法。
　（９）　コンピュータを、
　細胞を含む１又は複数の画像により、細胞画像の表示制御を行う第１の表示制御部、
　前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う第２の表示制御部
　として機能させるためのプログラム。
　（１０）　細胞を含む１又は複数の画像について、部分領域毎に動き量を生成する動き量生成部と、
　前記動き量生成部により生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する評価部と
　を備える画像処理装置。
　（１１）　前記評価部は、前記動き量により示される前記細胞の動きの伝搬の様子の、前記細胞の動きが正常であることが確かな場合との比較結果を画像として表示させる
　前記（１０）に記載の画像処理装置。
　（１２）　前記評価部は、前記細胞画像の動き量について、前記細胞の動きが正常であることが確かな場合との差分を求め、前記差分を評価することによって、前記細胞の動きの伝搬の様子の変化を定量的に評価する
　前記（１０）または（１１）に記載の画像処理装置。
　（１３）　前記評価部は、前記細胞画像における動きがない不動領域の変化を評価する
　前記（１２）に記載の画像処理装置。
　（１４）　前記評価部は、前記動き量が大きな領域の移動の速さの変化を評価する
　前記（１２）または（１３）に記載の画像処理装置。
　（１５）　前記評価部は、前記動き量の重心の軌跡の変化を評価する
　前記（１２）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記評価部は、前記細胞画像における動きの速度や方向についてのヒストグラムを評価する
　前記（１２）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記評価部は、数時間乃至数日間の観察期間について、前記細胞の動きの伝搬の様子を評価する
　前記（１０）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記評価部は、心筋細胞のＱ波とＴ波間時間の延長であるＱＴ延長の発生によらずに、前記心筋細胞の不整脈の発生を検出するように、前記細胞の動きの伝搬の様子を評価する
　前記（１０）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　画像処理装置の画像処理方法であって、
　動き量生成部が、細胞を含む１又は複数の画像について、部分領域毎に動き量を生成し、
　評価部が、生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する
　画像処理方法。
　（２０）　コンピュータを、
　細胞を含む１又は複数の画像について、部分領域毎に動き量を生成する動き量生成部、
　前記動き量生成部により生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する評価部
　として機能させるためのプログラム。
　１００　薬剤評価装置，　１０１　撮像部，　１０２　評価対象画像データ生成記録部，　１０３　評価指標データ生成部，　１０４　評価部，　１２１　動き検出部，　１２２　動き量絶対値算出部，　１２３　動き量絶対値格納部，１４１　フレームメモリ，　１４２　動きベクトル算出部，　２０１　動き量絶対値取得部，　２０２　マッピング部，　２０３　経時変化解析部，　２０４　動き評価部，　２０５　表示部，　２０６　出力部

Claims (20)

  1. 　細胞を含む１又は複数の画像により、細胞画像の表示制御を行う第１の表示制御部と、
    　前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う第２の表示制御部と
    　を備える表示制御装置。
  2. 　前記細胞は、受動的または能動的に動く細胞であり、
    　前記第２の表示制御部は、前記細胞の動きの伝搬の様子を表現するように、前記動き量の一部又は全部を表示させる
    　請求項１に記載の表示制御装置。
  3. 　前記第２の表示制御部は、前記細胞の動きの伝搬の様子を、前記細胞画像における前記動き量の分布の経時変化として表示させる
    　請求項２に記載の表示制御装置。
  4. 　前記第２の表示制御部は、前記動き量の分布を表現する曲面または平面上の２次元マップを、複数の時刻のそれぞれについて表示させることにより、前記動き量の分布の経時変化を表現する
    　請求項３に記載の表示制御装置。
  5. 　前記第２の表示制御部は、前記細胞画像における前記動き量の位置を前記２次元マップ上の位置として表現し、前記動き量の絶対値を、色、濃度、若しくは模様として表現する
    　請求項４に記載の表示制御装置。
  6. 　前記細胞画像は、動画像であり、
    　前記第２の表示制御部は、前記細胞画像の各フレーム画像に、前記フレーム画像に対応する前記動き量の一部又は全部を重畳表示させる
    　請求項１に記載の表示制御装置。
  7. 　前記第２の表示制御部は、前記動き量とともに前記動き量の分布の評価結果を表示させる
    　請求項１に記載の表示制御装置。
  8. 　表示制御装置の表示制御方法であって、
    　第１の表示制御部が、細胞を含む１又は複数の画像により、細胞画像の表示制御を行い、
    　第２の表示制御部が、前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う
    　表示制御方法。
  9. 　コンピュータを、
    　細胞を含む１又は複数の画像により、細胞画像の表示制御を行う第１の表示制御部、
    　前記１又は複数の画像により部分領域毎に生成された動き量の一部又は全部を、前記部分領域毎に対応付け、前記細胞画像に重畳表示するよう表示制御を行う第２の表示制御部
    　として機能させるためのプログラム。
  10. 　細胞を含む１又は複数の画像について、部分領域毎に動き量を生成する動き量生成部と、
    　前記動き量生成部により生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する評価部と
    　を備える画像処理装置。
  11. 　前記評価部は、前記動き量により示される前記細胞の動きの伝搬の様子の、前記細胞の動きが正常であることが確かな場合との比較結果を画像として表示させる
    　請求項１０に記載の画像処理装置。
  12. 　前記評価部は、前記細胞画像の動き量について、前記細胞の動きが正常であることが確かな場合との差分を求め、前記差分を評価することによって、前記細胞の動きの伝搬の様子の変化を定量的に評価する
    　請求項１０に記載の画像処理装置。
  13. 　前記評価部は、前記細胞画像における動きがない不動領域の変化を評価する
    　請求項１２に記載の画像処理装置。
  14. 　前記評価部は、前記動き量が大きな領域の移動の速さの変化を評価する
    　請求項１２に記載の画像処理装置。
  15. 　前記評価部は、前記動き量の重心の軌跡の変化を評価する
    　請求項１２に記載の画像処理装置。
  16. 　前記評価部は、前記細胞画像における動きの速度や方向についてのヒストグラムを評価する
    　請求項１２に記載の画像処理装置。
  17. 　前記評価部は、数時間乃至数日間の観察期間について、前記細胞の動きの伝搬の様子を評価する
    　請求項１０に記載の画像処理装置。
  18. 　前記評価部は、心筋細胞のＱ波とＴ波間時間の延長であるＱＴ延長の発生によらずに、前記心筋細胞の不整脈の発生を検出するように、前記細胞の動きの伝搬の様子を評価する
    　請求項１０に記載の画像処理装置。
  19. 　画像処理装置の画像処理方法であって、
    　動き量生成部が、細胞を含む１又は複数の画像について、部分領域毎に動き量を生成し、
    　評価部が、生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する
    　画像処理方法。
  20. 　コンピュータを、
    　細胞を含む１又は複数の画像について、部分領域毎に動き量を生成する動き量生成部、
    　前記動き量生成部により生成された前記動き量の一部または全部を用いて、前記細胞の動きの伝搬の様子を評価する評価部
    　として機能させるためのプログラム。
PCT/JP2012/054857 2011-02-28 2012-02-28 表示制御装置および方法、画像処理装置および方法、並びに、プログラム WO2012118049A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/984,672 US10311581B2 (en) 2011-02-28 2012-02-28 Display control and image processing of a cell image
CN2012800098935A CN103380209A (zh) 2011-02-28 2012-02-28 显示控制设备和方法、图像处理设备和方法以及程序
EP12752715.8A EP2682455B1 (en) 2011-02-28 2012-02-28 Display control apparatus and method, image processing apparatus and method, and program
KR1020137021429A KR101900977B1 (ko) 2011-02-28 2012-02-28 화상 처리 장치 및 방법과 컴퓨터 판독가능 기록매체
US16/391,157 US10650534B2 (en) 2011-02-28 2019-04-22 Display control and image processing of a cell image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011043330 2011-02-28
JP2011-043330 2011-02-28
JP2011-162640 2011-07-25
JP2011162640A JP6078943B2 (ja) 2011-02-28 2011-07-25 画像処理装置および方法、並びに、プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/984,672 A-371-Of-International US10311581B2 (en) 2011-02-28 2012-02-28 Display control and image processing of a cell image
US16/391,157 Continuation US10650534B2 (en) 2011-02-28 2019-04-22 Display control and image processing of a cell image

Publications (1)

Publication Number Publication Date
WO2012118049A1 true WO2012118049A1 (ja) 2012-09-07

Family

ID=46757981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/054857 WO2012118049A1 (ja) 2011-02-28 2012-02-28 表示制御装置および方法、画像処理装置および方法、並びに、プログラム

Country Status (6)

Country Link
US (2) US10311581B2 (ja)
EP (1) EP2682455B1 (ja)
JP (1) JP6078943B2 (ja)
KR (1) KR101900977B1 (ja)
CN (2) CN105847633B (ja)
WO (1) WO2012118049A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179061A (ja) * 2013-02-14 2014-09-25 Sony Corp 分析システム、分析プログラム及び分析方法
WO2015008459A1 (en) 2013-07-19 2015-01-22 Sony Corporation Image processing device, method, and program
WO2015008682A1 (ja) 2013-07-19 2015-01-22 ソニー株式会社 細胞評価装置および方法、並びにプログラム
JPWO2015068329A1 (ja) * 2013-11-08 2017-03-09 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
JP2017099405A (ja) * 2017-02-28 2017-06-08 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
WO2018151223A1 (ja) * 2017-02-16 2018-08-23 国立大学法人京都大学 細胞評価方法、細胞評価装置、及び細胞評価プログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5293587B2 (ja) 2009-12-16 2013-09-18 ソニー株式会社 表示制御装置、表示制御方法、プログラム
JP5772817B2 (ja) 2010-03-29 2015-09-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP6078943B2 (ja) * 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP5957948B2 (ja) 2012-02-24 2016-07-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP6102166B2 (ja) * 2012-10-10 2017-03-29 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
WO2014103137A1 (ja) 2012-12-27 2014-07-03 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
JP6454478B2 (ja) * 2013-09-12 2019-01-16 オリンパス株式会社 心筋細胞への分化をモニタリングする方法
JP6459458B2 (ja) * 2014-03-03 2019-01-30 ソニー株式会社 細胞評価装置
JP6274515B2 (ja) * 2014-03-05 2018-02-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2016041023A (ja) * 2014-08-14 2016-03-31 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム。
JP2016140317A (ja) * 2015-02-03 2016-08-08 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
JP6661165B2 (ja) * 2015-03-27 2020-03-11 大日本印刷株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
GB201507454D0 (en) * 2015-04-30 2015-06-17 Phase Focus Ltd Method and apparatus for determining temporal behaviour of an object
WO2016189583A1 (ja) * 2015-05-22 2016-12-01 オリンパス株式会社 生体試料の解析方法
DE112016006056T5 (de) 2016-01-27 2018-09-06 Hitachi High-Technologies Corporation Betrachtungsvorrichtung
JP6891299B2 (ja) * 2018-01-04 2021-06-18 オリンパス株式会社 細胞画像処理装置、細胞画像処理方法および細胞画像処理プログラム
JP2019154816A (ja) * 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121106A (ja) * 2005-10-27 2007-05-17 Foundation For Biomedical Research & Innovation 心筋細胞のモニター方法およびモニター装置
WO2009119330A1 (ja) * 2008-03-24 2009-10-01 株式会社ニコン 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2010026392A (ja) * 2008-07-23 2010-02-04 Nikon Corp 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
WO2011122200A1 (ja) * 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63233392A (ja) 1987-03-20 1988-09-29 Nippon Petrochem Co Ltd 周期的に形状を変える物体の変形周期測定法
WO2001041648A1 (en) * 1999-12-07 2001-06-14 Koninklijke Philips Electronics N.V. Ultrasonic image processing method and system for displaying a composite image sequence of an artery segment
US6555365B2 (en) * 2000-12-07 2003-04-29 Biocrystal, Ltd. Microincubator comprising a cell culture apparatus and a transparent heater
EP1444654A2 (de) * 2001-03-08 2004-08-11 Universite Joseph Fourier Quantitative analyse, visualisierung und bewegungskorrektur in dynamischen prozessen
CA2476072A1 (en) * 2002-02-13 2003-09-18 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
JP4412894B2 (ja) 2002-11-28 2010-02-10 富士フイルム株式会社 画像抽出装置
US20050203708A1 (en) * 2004-03-11 2005-09-15 Srinka Ghosh Method and system for microarray gradient detection and characterization
EP1728856B1 (en) * 2005-06-01 2009-05-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A method for optically determining the dynamic behaviour of contracting muscle cells
JP2007222073A (ja) 2006-02-23 2007-09-06 Yamaguchi Univ 画像処理により細胞運動特性を評価する方法、そのための画像処理装置及び画像処理プログラム
CN101404941A (zh) 2006-03-21 2009-04-08 皇家飞利浦电子股份有限公司 用于彩色组织多普勒成像的速度标尺的优化
US7940978B2 (en) * 2007-06-05 2011-05-10 General Electric Company Automatic characterization of cellular motion
JP5786146B2 (ja) * 2007-06-08 2015-09-30 安田　賢二 モデル細胞チップ、モデル細胞チップによる薬効評価装置、および薬効評価方法
CN101730736B (zh) 2007-06-08 2014-01-15 国立大学法人东京医科齿科大学 心脏折返模型芯片以及利用心脏折返模型芯片的药剂评价装置和方法
US8861812B2 (en) * 2008-03-07 2014-10-14 Hitachi Medical Corporation Ultrasonic imaging apparatus
JP2009229274A (ja) 2008-03-24 2009-10-08 Nikon Corp 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2009229275A (ja) * 2008-03-24 2009-10-08 Nikon Corp 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
JP5438936B2 (ja) * 2008-08-29 2014-03-12 株式会社東芝 超音波診断装置、画像処理装置及び画像処理プログラム
JP5228826B2 (ja) * 2008-11-17 2013-07-03 大日本印刷株式会社 細胞画像解析装置および細胞画像解析方法
JP5614928B2 (ja) * 2008-12-05 2014-10-29 国立大学法人 東京医科歯科大学 心筋毒性検査装置、心筋毒性検査チップおよび心筋毒性検査方法
JP2010169823A (ja) 2009-01-21 2010-08-05 Nikon Corp 細胞観察画像の画像処理方法、画像処理プログラム及び画像処理装置
JP5582520B2 (ja) 2009-02-18 2014-09-03 国立大学法人名古屋大学 血流観測装置
JP5902092B2 (ja) * 2009-10-19 2016-04-13 セルラー ダイナミクス インターナショナル， インコーポレイテッド 心筋細胞の生成
JP5293587B2 (ja) 2009-12-16 2013-09-18 ソニー株式会社 表示制御装置、表示制御方法、プログラム
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP5957948B2 (ja) 2012-02-24 2016-07-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP6402717B2 (ja) * 2013-09-18 2018-10-10 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の製造装置、細胞の培養方法、および細胞の培養装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121106A (ja) * 2005-10-27 2007-05-17 Foundation For Biomedical Research & Innovation 心筋細胞のモニター方法およびモニター装置
WO2009119330A1 (ja) * 2008-03-24 2009-10-01 株式会社ニコン 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2010026392A (ja) * 2008-07-23 2010-02-04 Nikon Corp 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置
WO2011122200A1 (ja) * 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2682455A4 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179061A (ja) * 2013-02-14 2014-09-25 Sony Corp 分析システム、分析プログラム及び分析方法
US10891734B2 (en) 2013-02-14 2021-01-12 Sony Corporation Information processing apparatus, information processing method, and cell analysis system
US10049452B2 (en) 2013-02-14 2018-08-14 Sony Corporation Information processing apparatus, information processing method, and cell analysis system
CN105378052B (zh) * 2013-07-19 2018-04-24 索尼公司 细胞评估装置和方法以及程序
US10157459B2 (en) 2013-07-19 2018-12-18 Sony Corporation Cell evaluation apparatus and method to search for an area to be observed in cardiomyocytes
CN105378052A (zh) * 2013-07-19 2016-03-02 索尼公司 细胞评估装置和方法以及程序
EP3009501A4 (en) * 2013-07-19 2017-01-25 Sony Corporation Cell evaluation device, method, and program
JPWO2015008682A1 (ja) * 2013-07-19 2017-03-02 ソニー株式会社 細胞評価装置および方法、並びにプログラム
CN105378795A (zh) * 2013-07-19 2016-03-02 索尼公司 图像处理装置、方法以及程序
US11087472B2 (en) 2013-07-19 2021-08-10 Sony Corporation Image processing device, method, and medium for calculating propagation speed and direction of object pulsations
JP2015019620A (ja) * 2013-07-19 2015-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9972097B2 (en) 2013-07-19 2018-05-15 Sony Corporation Image processing device, method, and medium for calculating propagation speed and direction of object pulsations
WO2015008682A1 (ja) 2013-07-19 2015-01-22 ソニー株式会社 細胞評価装置および方法、並びにプログラム
WO2015008459A1 (en) 2013-07-19 2015-01-22 Sony Corporation Image processing device, method, and program
JPWO2015068329A1 (ja) * 2013-11-08 2017-03-09 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
US10861154B2 (en) 2013-11-08 2020-12-08 Sony Corporation Cell analysis system, cell analysis program and cell analysis method
JPWO2018151223A1 (ja) * 2017-02-16 2019-12-26 国立大学法人京都大学 細胞評価方法、細胞評価装置、及び細胞評価プログラム
WO2018151223A1 (ja) * 2017-02-16 2018-08-23 国立大学法人京都大学 細胞評価方法、細胞評価装置、及び細胞評価プログラム
US11436719B2 (en) 2017-02-16 2022-09-06 Kyoto University Cell evaluation method, cell evaluation device, and recording medium storing cell evaluation program
JP2017099405A (ja) * 2017-02-28 2017-06-08 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置

Also Published As

Publication number Publication date
JP2012194168A (ja) 2012-10-11
CN105847633A (zh) 2016-08-10
CN103380209A (zh) 2013-10-30
US10650534B2 (en) 2020-05-12
US20190311483A1 (en) 2019-10-10
EP2682455A4 (en) 2017-04-12
CN105847633B (zh) 2019-05-28
KR101900977B1 (ko) 2018-09-20
US20130321459A1 (en) 2013-12-05
EP2682455A1 (en) 2014-01-08
EP2682455B1 (en) 2020-11-18
KR20140017552A (ko) 2014-02-11
JP6078943B2 (ja) 2017-02-15
US10311581B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
JP6078943B2 (ja) 画像処理装置および方法、並びに、プログラム
JP5828210B2 (ja) 画像処理装置および方法、並びに、プログラム
US10311582B2 (en) Image processing apparatus and method for evaluating objects in an image
JP6573118B2 (ja) 細胞評価装置および方法、並びにプログラム
US11087472B2 (en) Image processing device, method, and medium for calculating propagation speed and direction of object pulsations
JP6436142B2 (ja) 画像処理装置および方法、並びに、プログラム
JP2017175965A (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP6746945B2 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2016027826A (ja) 画像処理装置および方法、並びに、プログラム
US20200020099A1 (en) Information processing device, information processing system, and information processing method
JP5818080B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12752715

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012752715

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13984672

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20137021429

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE