WO2016024377A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2016024377A1
WO2016024377A1 PCT/JP2015/003104 JP2015003104W WO2016024377A1 WO 2016024377 A1 WO2016024377 A1 WO 2016024377A1 JP 2015003104 W JP2015003104 W JP 2015003104W WO 2016024377 A1 WO2016024377 A1 WO 2016024377A1
Authority
WO
WIPO (PCT)
Prior art keywords
propagation
image processing
abnormal
motion vector
region
Prior art date
Application number
PCT/JP2015/003104
Other languages
English (en)
French (fr)
Inventor
初萌 烏野
松居　恵理子
服部　健一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016024377A1 publication Critical patent/WO2016024377A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present technology relates to an image processing apparatus, an image processing method, and an image processing program capable of detecting a region where the motion propagation of an observation target is abnormal.
  • Cardiomyocytes include a group of cells called a stimulus conduction system that can generate and transmit pulsations.
  • pulsation propagates from an autonomously pulsating pacemaker cell to downstream cardiomyocytes, and each cell rhythmically relaxes and contracts.
  • cardiomyocytes An attempt has been made to cultivate such cardiomyocytes and use it in fields such as regenerative medicine and drug discovery. For example, in the field of drug discovery, it is possible to evaluate whether or not a change is observed in the propagation of pulsation by administering a drug to cultured cardiomyocytes.
  • Patent Document 1 describes a technique for dividing an image obtained by imaging cardiomyocytes and evaluating changes over time within the same division.
  • Patent Document 1 cannot evaluate pulsation propagation. Furthermore, since the comparison between the divided areas has to rely on the work by the user, it has been difficult to evaluate which area has an abnormal part at a certain time.
  • an object of the present technology is to provide an image processing device, an image processing method, and an image processing program capable of detecting a region where the motion propagation of an observation target is abnormal.
  • an image processing apparatus includes a motion vector calculation unit and a propagation abnormal region extraction unit.
  • the motion vector calculation unit calculates a motion vector of an observation target included in each partial region set on the target image from a target image obtained by imaging the observation target with time.
  • the propagation abnormality region extraction unit extracts, as the propagation abnormality region, a partial region where the motion propagation of the observation target is abnormal based on the motion vector.
  • the propagation abnormality region can be extracted based on the motion vector calculated for the observation target included in each partial region. Therefore, it is possible to detect an area where the motion propagation of the observation target is abnormal. Furthermore, it becomes easy to compare motion propagation, pulsation profiles, and the like between partial regions, and an abnormal region that cannot be detected from the motion of the observation target in the entire target image can be detected.
  • the propagation abnormality region extraction unit may extract the propagation abnormality region based on the direction of motion detected from the motion vector.
  • the abnormal propagation region extraction unit may detect a normal propagation direction from the motion vector, and extract a partial region indicating an abnormal propagation direction different from the normal propagation direction as a propagation abnormal region.
  • the motion propagation may be pulsation propagation.
  • the image processing apparatus A pulsation abnormal region extracting unit that extracts a partial region having an abnormal speed change characteristic as a pulsation abnormal region based on the speed of motion detected from the motion vector may be further included.
  • the speed change characteristic may be a periodic change characteristic of the speed.
  • the motion vector calculation unit may set the partial region by dividing the target image.
  • the propagation abnormality area extracting unit may extract a partial area having an abnormal motion propagation speed as a propagation abnormality area based on the speed of motion detected from the motion vector.
  • the area where the propagation speed has changed can be extracted as the propagation abnormal area and notified to the user.
  • the motion vector calculation unit calculates the motion vector of the observation target included in each partial region set on the target image from the target image obtained by imaging the observation target with time. calculate.
  • a propagation abnormal region extraction unit extracts a partial region in which the motion propagation of the observation target is abnormal as a propagation abnormal region based on the motion vector.
  • An image processing program operates an information processing apparatus as a motion vector calculation unit and a propagation abnormality region extraction unit.
  • the motion vector calculation unit calculates a motion vector of an observation target included in each partial region set on the target image from a target image obtained by imaging the observation target with time.
  • the propagation abnormality region extraction unit extracts, as the propagation abnormality region, a partial region where the motion propagation of the observation target is abnormal based on the motion vector.
  • an image processing device As described above, according to the present technology, it is possible to provide an image processing device, an image processing method, and an image processing program that can detect a region in which the motion propagation of an observation target is abnormal.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • A is a graph showing an example of motion vector analysis of the entire observation target
  • B to E are graphs showing examples of each partial region set in the target image and examples of motion vector analysis of each partial region. is there. It is a figure explaining the detail of the process of the pulsation abnormal area extraction part of the said image processing apparatus.
  • A is a graph showing a speed change characteristic based on a normal pulsation profile
  • B is a graph showing a speed change characteristic based on an analysis of a motion vector of a partial region by the motion vector calculation unit.
  • FIG. 1 is a block diagram showing an image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 includes an image acquisition unit 101, a motion detection unit 102, a motion vector calculation unit 103, a propagation abnormal region extraction unit 104, a pulsation abnormal region extraction unit 105, And a notification unit 106.
  • the image acquisition unit 101 acquires a target image.
  • the target image may be a moving image obtained by imaging the observation target over time or a plurality of still images taken continuously.
  • the target image is a variety of optical imaging such as bright field imaging, dark field imaging, phase difference imaging, fluorescence imaging, confocal imaging, multiphoton excitation fluorescence imaging, absorption light imaging, and turbulence imaging. It can be an image taken using the method.
  • the observation target can be, for example, a cardiomyocyte.
  • the observation target only needs to have a property of propagating motion, and can be a skeletal muscle cell, a smooth muscle cell, a nerve cell or other cells, a biological tissue, a living organism, or the like in addition to a cardiac muscle cell. .
  • FIG. 2 is an example of the target image 10 and shows an image including a plurality of cardiomyocytes.
  • the image acquisition unit 101 may acquire the target image 10 from an imaging device (microscope imaging device or the like) (not shown), and the image stored in the storage 13 (see FIG. 15) or the image supplied from the network is the target image. It is also possible to acquire as 10.
  • the image acquisition unit 101 supplies the acquired target image 10 to the motion detection unit 102.
  • the motion detector 102 detects the motion of the observation target from the target image.
  • the motion detection unit 102 can detect a motion from the entire target image, or can detect each partial region described later.
  • the movement of the observation target can be detected by image processing such as block matching for the target image.
  • the motion detection unit 102 can detect a motion vector for each observation target.
  • the motion vector can represent, for example, the direction and magnitude of the motion.
  • the motion detection unit 102 can calculate a representative value of the direction and magnitude of the motion detected from the entire observation target, and can represent the representative value as a motion vector of the entire observation target.
  • the representative value may be an average value of the direction and magnitude of movement, or may be a value of the direction and magnitude of movement indicated by the most observation objects.
  • the motion vector calculation unit 103 calculates the motion vector of the observation target included in each partial area set on the target image from the target image. Specifically, the motion vector calculation unit 103 calculates, for each partial region, the representative value of the direction and magnitude of the motion of each observation target detected by the motion detection unit 102, and the representative value is calculated for each part. It can be expressed as a motion vector of an observation target included in the region.
  • the direction of the motion vector calculated by the motion vector calculation unit 103 can be regarded as the direction of motion propagation of the observation target in each partial region.
  • the magnitude of the motion vector can be regarded as the magnitude of motion propagation of the observation target in each partial region.
  • the speed of motion can be calculated by dividing the magnitude of the motion vector by the time difference of the target image from which the motion vector is detected.
  • FIG. 3 is a diagram illustrating a calculation example of a motion vector for each partial region by the motion vector calculation unit 103.
  • the motion vector calculation unit 103 can set a partial region by dividing the target image.
  • the partial area 11 can be an area obtained by dividing the target image 10 into (a ⁇ b) pieces. Thereby, it is possible to evaluate the partial areas having substantially the same size, and it is possible to evaluate the target image 10 without omission.
  • the partial area 11 can be divided by a predetermined division number determined in advance, or can be divided by the division number designated by the user.
  • the motion vector calculation unit 103 can set a partial region for each region in which the direction and size of the motion vector of each observation target are different based on the motion of each observation target detected by the motion detection unit 102. .
  • the motion vector calculation unit 103 can also set a partial region based on the density of the observation target detected from the target image.
  • the propagation abnormal area extraction unit 104 extracts a partial area where the motion propagation of the observation target is abnormal as a propagation abnormal area based on the motion vector calculated by the motion vector calculation unit 103.
  • Motion propagation is a phenomenon in which the movement of one observation target is propagated to the movement of another observation target.
  • the observation target is a cardiomyocyte, it can be a pulsation propagation.
  • the cardiomyocytes beat while repeating contraction and relaxation at all times in the living body.
  • the pulsation of the cultured cardiomyocytes propagates, for example, as each cell moves in a predetermined direction so that the whole of the cultured cardiomyocytes repeats contraction and relaxation.
  • drugs are administered to myocardial cells, pulsation is propagated in a direction different from other cells in some cells, the pulsation propagation direction shows a pattern of rotation, or the pulsation propagation speed There is a possibility of changes such as slowing down. According to the present embodiment, it is possible to detect such an abnormal region of pulsation propagation.
  • the propagation abnormal region extraction unit 104 can extract a propagation abnormal region based on the direction of motion detected from the motion vector. More specifically, the propagation abnormal region extraction unit 104 detects the normal propagation direction from the motion vector calculated for each partial region, and extracts the partial region indicating the abnormal propagation direction different from the normal propagation direction as the propagation abnormal region. Can be.
  • the normal propagation direction can be, for example, the direction detected from the largest number of observation targets among the detected motion vector directions. Alternatively, the normal propagation direction can be the direction of a motion vector predicted in advance from the type and arrangement of the observation target.
  • FIG. 4 is a diagram for explaining processing by the propagation abnormal region extraction unit 104
  • FIG. 4A shows an example of detection of the direction of pulsation propagation
  • FIG. 4B shows an example of extraction of a propagation abnormal region.
  • the normal propagation direction indicated by the black arrow indicates one direction
  • the abnormal propagation direction indicated by the white arrow indicates various directions. Therefore, as shown in FIG. 5B, the propagation abnormality region extraction unit 104 can extract a region where the abnormal propagation direction is detected as the propagation abnormality region 12.
  • the pulsation abnormal region extraction unit 105 extracts a partial region having an abnormal speed change characteristic as a pulsation abnormal region based on the speed of motion detected from the motion vector.
  • the speed change characteristic may be a periodic change characteristic of the speed of movement.
  • cardiomyocytes exhibit a speed change characteristic having a speed peak periodically. That is, the velocity change characteristic in cardiomyocytes can indicate the pulsation profile of the cardiomyocytes.
  • FIG. 5 is a diagram showing a detection example of velocity change characteristics of cardiomyocytes to be observed.
  • the vertical axis represents the speed of movement and the horizontal axis represents time.
  • 3A shows the result of the partial area 11A shown in FIG. 3
  • FIG. B shows the result of the partial area 11B shown in FIG. 3
  • FIG. 3C shows the result of the representative value of the entire target image 10.
  • the pulsation abnormal region extraction unit 105 can determine that the speed change characteristic in the detected partial region 11A in FIG. A is abnormal, and can extract the partial region 11A as a pulsation abnormal region.
  • the pulsation abnormal region extraction unit 105 can also extract a pulsation abnormal region in parallel with the extraction of the propagation abnormal region of the propagation abnormal region extraction unit 104, or the pulsation before and after extraction of the propagation abnormal region. Abnormal areas can also be extracted.
  • the abnormality notification unit 106 notifies the abnormal region extracted by the propagation abnormal region extraction unit 104 and the pulsation abnormal region extraction unit 105.
  • the abnormal region may be a propagation abnormal region or a region including a propagation abnormal region and a pulsation abnormal region.
  • FIG. 6 is a diagram illustrating a notification example of the abnormal areas 13A and 13B.
  • the abnormal regions 13A and 13B may be shown as regions larger than the actually extracted propagation abnormal region and pulsation abnormal region.
  • the method for indicating an abnormal region is not limited to the method shown in FIG.
  • the abnormality notification unit 106 can indicate an abnormal region by a mark or the like displayed on the center of the propagation abnormal region and the pulsation abnormal region, or can change shading or color as shown in FIG. 4B. Can also indicate an abnormal region.
  • the image processing apparatus 100 is configured as described above. As described above, the image processing apparatus 100 can extract the propagation abnormal region and the pulsation abnormal region based on the motion vector calculated for each partial region. Therefore, it is possible to detect an area where the motion propagation of the observation target is abnormal.
  • the image processing apparatus 100 it becomes easy to compare motion propagation, pulsation profiles, and the like between partial regions, and an abnormal region that cannot be detected from the motion of the observation target of the entire target image is detected. It becomes possible to do. That is, it becomes possible to easily evaluate the reactivity and behavior of cells between partial areas, which conventionally had to rely on the user's work.
  • the image processing apparatus 100 it is possible to automatically analyze and evaluate an area where there are cardiomyocytes or the like that are abnormal throughout the entire target image. Thereby, the oversight by a user's work can be prevented.
  • the image processing apparatus 100 can be used particularly effectively for an observation target in which abnormality occurs in a region-dependent manner, such as myocardial cells, and myocardial infarction that causes arrhythmia occurs.
  • a region-dependent manner such as myocardial cells, and myocardial infarction that causes arrhythmia occurs.
  • the image acquisition unit 101 acquires a target image.
  • the target image may be an image obtained by phase-contrast imaging of cultured cardiomyocytes to which a drug has been administered.
  • the motion detection unit 102 detects a motion vector of each observation target in the entire target image.
  • the motion vector calculation unit 103 sets a partial region.
  • FIG. 7A and 7B are diagrams illustrating an example of setting a partial region by the motion vector calculation unit 103.
  • the partial areas 11A and 11B may be set to a size and position designated by a user input operation or the like. Further, as shown in these drawings, the sizes of the partial regions 11A and 11B in the same target image 10 may be different.
  • the motion vector calculation unit 103 calculates a motion vector, a motion speed, and the like in each partial region.
  • FIGS. 7A and 7B are graphs showing examples of analysis of motion vectors of cardiomyocytes included in each of the partial regions 11A and 11B of FIGS. 7A and 7B, and the vertical axis indicates the motion calculated from the magnitude of the motion vector.
  • the speed and horizontal axis indicate time.
  • a solid line arrow in the graph schematically indicates the direction of the calculated motion vector.
  • the directions of the motion vectors to be observed included in the partial region 11A are the same.
  • FIG. 8B the direction of the motion vector of the observation target included in the partial region 11B includes a direction different from the motion vector of the partial region 11A.
  • the propagation abnormal region extraction unit 104 determines the direction of the motion vector of the partial region 11A (see FIG. 8A) as the normal propagation direction, and abnormally propagates the direction of the motion vector of the partial region 11B (see FIG. 8B). Determine with direction. As a result, the propagation abnormality region extraction unit 104 extracts the partial region 11B as a propagation abnormality region.
  • the abnormality notification unit 106 notifies the extracted propagation abnormality region as shown in FIG.
  • a normal propagation direction is indicated by a black arrow
  • an abnormal propagation direction is indicated by a white arrow
  • an abnormal region 13 including a propagation abnormal region in which the abnormal propagation direction is detected is indicated by a rectangular frame. Show.
  • the user can easily determine the propagation abnormality region and proceed with detailed and efficient analysis of the cardiomyocytes in which the drug effect or abnormality has occurred. Further, another example of the pulsation propagation analysis method will be described below.
  • FIG. 2 As an operation example 2, an example in which a predetermined drug is administered to cultured cardiomyocytes similar to the operation example 1 is shown. Note that, in this operation example, the operations of the image acquisition unit 101 and the motion detection unit 102 are the same as those in the operation example 1, and thus description thereof is omitted.
  • the motion vector calculation unit 103 divides the target image into (a ⁇ b) pieces and sets partial areas (see FIG. 3). Then, the motion vector calculation unit 103 calculates a motion vector for each partial region 11.
  • the propagation abnormal region extraction unit 104 detects the normal propagation direction and the abnormal propagation direction based on the calculated direction and magnitude of the motion vector of each partial region 11.
  • FIG. 10A and 10B are diagrams showing an example of detection of the normal propagation direction and the abnormal propagation direction by the propagation abnormal region extraction unit 104.
  • FIG. 10A the normal propagation direction (black arrow) is detected in the lower right portion of the target image 10, whereas the abnormality in a direction different from the normal propagation direction from the center portion to the upper left portion of the target image 10.
  • the propagation direction (white arrow) is detected. Therefore, the propagation abnormality region detection unit 104 can extract the center region and the upper left partial region of the target image 10 as the propagation abnormality region 12.
  • the propagation abnormality area detecting unit 104 can extract the partial area indicating the turning pattern as the propagation abnormality area 12.
  • the abnormality notification unit 106 can notify an abnormal region based on the propagation abnormality region 12 extracted by the propagation abnormality region extraction unit 104.
  • the propagation abnormal area extraction unit 104 can extract, as a propagation abnormal area, a partial area where the speed of motion propagation (pulsation propagation) is abnormal, for example, based on the speed of motion detected from the motion vector.
  • FIG. 11 is a diagram illustrating an example of extraction of a partial region where the speed of pulsation propagation is abnormal by the propagation abnormal region extraction unit 104.
  • the direction of pulsation propagation is the same in the entire target image 10, but the speed of pulsation propagation is gradually slowing down. It is noticeable.
  • the propagation abnormality region extraction unit 104 can extract a partial region in which the speed change is noticeable as the propagation abnormality region 12.
  • the criteria for determining abnormalities in the speed of pulsation propagation are not particularly limited.
  • a predetermined threshold value is set, and when the speed is equal to or lower than the predetermined threshold, it can be determined that the speed is abnormal.
  • detection of a region where the speed of pulsation propagation is abnormal also contributes to the efficiency of analysis of cardiomyocytes in which the effect of the drug or abnormality has occurred.
  • the motion vector calculation unit 103 sets partial areas and calculates a motion vector for each partial area.
  • FIG. 12A is a graph showing an example of analysis of the motion vector of the entire observation target.
  • FIGS. 12B to 12E show examples of the partial areas 11B, 11C, 11D, and 11E set in the target image 10 and the partial areas.
  • 11 is a graph showing an example of analysis of motion vectors 11B to 11E.
  • the vertical axis represents the speed of motion calculated from the magnitude of the motion vector
  • the horizontal axis represents time. As described above, the speed change characteristic shown in the graph of FIG.
  • the pulsation abnormal region extraction unit 105 extracts the partial regions 11B and 11D in which abnormal velocity peaks that are not detected in the speed change characteristics based on the normal pulsation profile are detected as pulsation abnormal regions.
  • this process will be described in more detail.
  • FIG. 13 is a diagram for explaining the details of the processing of the pulsation abnormal region extraction unit 105, where A is a graph showing a speed change characteristic based on a normal pulsation profile, and B is a partial region by the motion vector calculation unit 103. It is a graph which shows the speed change characteristic based on the analysis of a motion vector.
  • symbols P1 to P7 shown in FIGS. A and B respectively indicate main peaks and bottoms of the speed of movement.
  • a normal pulsation profile forms one cycle (one beat) with five points P1 to P5.
  • an arrhythmia such as early after depolarization (EAD) or delayed after depolarization (DAD) occurs, abnormal beats indicated by P6, P7, etc. after P5 as shown in FIG. The movement is seen.
  • EAD early after depolarization
  • DAD delayed after depolarization
  • the pulsation abnormal region extraction unit 105 shows pulsations such as P6 and P7 in addition to pulsations P1 to P5 found in a normal pulsation profile, and When there is a predetermined time or longer in which no peak is found, it is determined that P6 and P7 are abnormal speed changes. Then, the pulsation abnormal region extraction unit 105 can extract a partial region in which such an abnormal speed change is detected as a pulsation abnormal region. Thereby, an abnormal pulsation profile can be accurately determined.
  • FIG. 14A is a graph showing a speed change characteristic based on a normal pulsation profile
  • FIG. 14B is a graph showing a speed change characteristic based on a motion vector analysis of a partial region by the motion vector calculation unit 103.
  • the symbols a, b, c, d and a ′, b ′, c ′, d ′ shown in the figure indicate the main peak and bottom times of the motion speed.
  • the pulsation abnormal region extraction unit 105 may calculate a time t′1 between a ′ and d ′ in FIG. 14B with respect to a time t1 of one cycle of a normal pulsation profile shown between ad in FIG. 14A. If it has changed, the partial region 11 in which such a time change is detected can be extracted as a pulsation abnormal region. In the example shown in FIG. 14B, the time t′1 is longer than the time t1 shown in FIG. 14A. Therefore, the pulsation abnormal region extraction unit 105 can extract this partial region as a pulsation abnormal region. It should be noted that a specific set value of time t1 and a criterion for determining whether or not time t′1 has changed with respect to time t1 can be appropriately set in view of a general pulsation profile.
  • the partial region 11 can be extracted as a pulsation abnormal region.
  • the interval between bc can be the time between the speed peaks of the motion.
  • the time between b ′ and c ′ is longer than the time between bc. Therefore, this partial region can also be extracted as a pulsation abnormal region.
  • a part of the set partial area may be set as a new partial area. Good.
  • the motion vector calculation unit 103 sets a new partial region, You may repeat a process again.
  • the motion vector calculation unit 103 may set a new partial region by a user operation or the like, and the process may be repeated again.
  • FIG. 15 is a schematic diagram illustrating a hardware configuration of the image processing apparatus 100.
  • the image processing apparatus 100 includes a CPU 11, a memory 12, a storage 13, and an input / output unit (I / O) 14 as hardware configurations. These are connected to each other by a bus 15.
  • I / O input / output unit
  • a CPU (Central Processing Unit) 11 controls other configurations according to a program stored in the memory 12, performs data processing according to the program, and stores a processing result in the memory 102.
  • the CPU 11 can be a microprocessor.
  • the memory 12 stores programs and data executed by the CPU 11.
  • the memory 102 can be a RAM (Random Access Memory).
  • the storage 13 stores programs and data.
  • the storage 13 can be an HDD (Hard disk drive) or an SSD (solid state drive).
  • the input / output unit 14 receives input to the image processing apparatus 100 and supplies the output of the image processing apparatus 100 to the outside.
  • the input / output unit 14 includes an input device such as a keyboard and a mouse, an output device such as a display, and a connection interface such as a network.
  • the hardware configuration of the image processing apparatus 100 is not limited to that shown here, and any hardware configuration that can realize the functional configuration of the image processing apparatus 100 may be used. A part or all of the hardware configuration may exist on the network.
  • the image processing apparatus 100 may constitute a part of the image processing system and include at least the motion vector calculation unit 103 and the propagation abnormal region extraction unit 104.
  • the image acquisition unit 101, the motion detection unit 102, and the abnormality notification unit 106 can be included in another device or the like connected to the image processing device 100 by wire or wireless.
  • the image processing apparatus 100 may not include the pulsation abnormal region extraction unit 105.
  • this technique can also take the following structures.
  • a motion vector calculation unit that calculates a motion vector of an observation target included in each partial region set on the target image from a target image obtained by imaging the observation target over time;
  • An image processing apparatus comprising: a propagation abnormality region extraction unit that extracts, as a propagation abnormality region, a partial region in which motion propagation of the observation target is abnormal based on the motion vector.
  • a propagation abnormality region extraction unit extracts, as a propagation abnormality region, a partial region in which motion propagation of the observation target is abnormal based on the motion vector.
  • the image processing apparatus wherein the propagation abnormality area extracting unit detects a normal propagation direction from the motion vector, and extracts a partial area indicating an abnormality propagation direction different from the normal propagation direction as a propagation abnormality area.
  • the observation object is a cardiomyocyte
  • the image processing apparatus, wherein the motion propagation is propagation of a pulsation.
  • An image processing apparatus further comprising: a pulsation abnormal region extraction unit that extracts a partial region having an abnormal velocity change characteristic as a pulsation abnormal region based on the speed of motion detected from the motion vector.
  • the image processing apparatus (6) The image processing apparatus according to (5) above, The image processing apparatus, wherein the speed change characteristic is a periodic change characteristic of the speed. (7) The image processing apparatus according to any one of (1) to (6), The image processing apparatus, wherein the motion vector calculation unit sets the partial region by dividing the target image. (8) The image processing apparatus according to any one of (1) to (7), The image processing apparatus, wherein the abnormal propagation region extraction unit extracts a partial region having an abnormal motion propagation speed as a propagation abnormal region based on the motion speed detected from the motion vector. (9) The motion vector calculation unit calculates a motion vector of the observation target included in each partial region set on the target image from the target image obtained by imaging the observation target with time.
  • An image processing method in which a propagation abnormality region extraction unit extracts a partial region in which motion propagation of the observation target is abnormal as a propagation abnormality region based on the motion vector (10) a motion vector calculation unit that calculates a motion vector of an observation target included in each partial region set on the target image from a target image obtained by imaging the observation target over time; An image processing program that causes an information processing apparatus to operate as a propagation abnormality region extraction unit that extracts, as a propagation abnormality region, a partial region in which motion propagation of the observation target is abnormal based on the motion vector.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Organic Chemistry (AREA)
  • Biotechnology (AREA)
  • Zoology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Genetics & Genomics (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

　観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。　上記課題を解決するため、本技術の一形態に係る画像処理装置は、動きベクトル算出部と、伝搬異常領域抽出部とを具備する。　上記動きベクトル算出部は、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。　上記伝搬異常領域抽出部は、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本技術は、観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムに関する。
　心筋細胞は、拍動の生成、伝達が可能な刺激伝導系と呼ばれる細胞群を含む。刺激伝導系では、自律的に拍動するペースメーカー細胞から下流の心筋細胞へ拍動が伝搬し、各細胞がリズミックに弛緩と収縮を行う。
　このような心筋細胞を培養し、再生医療や創薬等の分野に役立てようという試みがされている。例えば、創薬の分野においては、培養心筋細胞に薬剤を投与し、拍動の伝搬等に変化が見られるか否かについて評価することが可能である。
　そこで、例えば特許文献１には、心筋細胞等を撮像した画像を分割し、同一分割内で経時的な変化を評価する技術が記載されている。
特表２０１０－５３８６０３号公報
　しかしながら、特許文献１に記載の技術では、拍動の伝搬についての評価はできなかった。さらに、分割された領域間の比較はユーザによる作業に頼らざるを得なかったため、ある時点においてどの領域に異常な部位があるか、評価することが難しかった。
　以上のような事情に鑑み、本技術の目的は、観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る画像処理装置は、動きベクトル算出部と、伝搬異常領域抽出部とを具備する。
　上記動きベクトル算出部は、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。
　上記伝搬異常領域抽出部は、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。
　この構成によれば、各部分領域に含まれる観察対象について算出された動きベクトルに基づいて、伝搬異常領域を抽出することができる。したがって、観察対象の動き伝搬が異常な領域を検出することが可能になる。さらに、部分領域間において動き伝搬や拍動プロファイル等を比較することが容易になり、対象画像全体の観察対象の動きからは検出することができない異常な領域を検出することができる。
　また、上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの向きに基づいて、上記伝搬異常領域を抽出してもよい。
　これにより、伝搬方向が異常となった伝播異常領域を抽出し、ユーザに通知することが可能となる。
　例えば、上記伝搬異常領域抽出部は、上記動きベクトルから正常伝搬方向を検出し、上記正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出してもよい。
　また、上記観察対象は、心筋細胞であり、
　上記動き伝搬は、拍動の伝搬であってもよい。
　あるいは、上記画像処理装置は、
　上記動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する拍動異常領域抽出部
　をさらに具備してもよい。
　これにより、速度変化特性によって示される心筋細胞の拍動プロファイルが異常な拍動異常領域を抽出し、ユーザに通知することができる。
　上記速度変化特性は、上記速度の周期的な変化特性であってもよい。
　これにより、心筋細胞の拍動プロファイルの周期性が異常な領域を抽出することが可能となる。
　また、上記動きベクトル算出部は、上記対象画像を分割することで、上記部分領域を設定してもよい。
　これにより、略同一の大きさの部分領域について評価することができるとともに、対象画像内を漏れなく評価することが可能となる。
　また、上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの速度に基づいて、上記動き伝搬の速度が異常な部分領域を伝搬異常領域として抽出してもよい。
　これにより、伝搬速度が変化した領域を伝搬異常領域として抽出し、ユーザに通知することができる。
　本技術の一形態に係る画像処理方法は、動きベクトル算出部が、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。
　伝搬異常領域抽出部が、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。
　本技術の一形態に係る画像処理プログラムは、動きベクトル算出部と、伝搬異常領域抽出部と、として情報処理装置を動作させる。
　上記動きベクトル算出部は、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。
　上記伝搬異常領域抽出部は、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。
　以上のように、本技術によれば、観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る画像処理装置を示すブロック図である。 上記画像処理装置の処理に供される対象画像の例を示す図である。 上記画像処理装置の動きベクトル算出部による部分領域毎の動きベクトルの算出例を示す図である。 上記画像処理装置の伝搬異常領域抽出部による処理について説明する図である。 上記画像処理装置の観察対象である心筋細胞の速度変化特性の検出例を示す図である。 上記画像処理装置の異常通知部による異常な領域の通知例を示す図である。 上記動きベクトル算出部による部分領域の設定例を示す図である。 図７Ａ，Ｂの部分領域各々に含まれる心筋細胞の動きベクトルの解析例を示すグラフである。 上記異常通知部よる異常な領域の通知例を示す図である。 上記伝搬異常領域抽出部による正常伝搬方向及び異常伝搬方向の検出例を示す図である。 上記伝搬異常領域抽出部による拍動伝搬の速度が異常な部分領域の抽出例を示す図である。 Ａは、観察対象全体の動きベクトルの解析例を示すグラフであり、Ｂ～Ｅは、対象画像中に設定された各部分領域の例と、各部分領域の動きベクトルの解析例を示すグラフである。 上記画像処理装置の拍動異常領域抽出部の処理の詳細を説明する図である。 Ａは、正常な拍動プロファイルに基づく速度変化特性を示すグラフであり、Ｂは、上記動きベクトル算出部による部分領域の動きベクトルの解析に基づく速度変化特性を示すグラフである。 同画像処理装置の機能的構成を実現するためのハードウェア構成を示す模式図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　［画像処理装置の構成］
　図１は、本実施形態に係る画像処理装置１００を示すブロック図である。同図に示すように、画像処理装置１００は、画像取得部１０１と、動き検出部１０２と、動きベクトル算出部１０３と、伝搬異常領域抽出部１０４と、拍動異常領域抽出部１０５と、異常通知部１０６とを有する。
　画像取得部１０１は、対象画像を取得する。対象画像は、観察対象を経時的に撮像した動画や連続的に撮像された複数の静止画であるものとすることができる。具体的には、対象画像は、明視野撮像、暗視野撮像、位相差撮像、蛍光撮像、共焦点撮像、多光子励起蛍光撮像、吸収光撮像、乱光撮像等の各種の光学的な画像撮像方法を利用して撮像された画像であるものとすることができる。
　観察対象は、例えば心筋細胞とすることができる。あるいは、観察対象は、動きが伝搬する特性を有するものであればよく、心筋細胞の他、骨格筋細胞、平滑筋細胞、神経細胞やその他の細胞、生体組織、又は生物等とすることができる。
　図２は、対象画像１０の例であり、複数の心筋細胞を含む画像を示す。画像取得部１０１は、図示しない撮像装置（顕微鏡撮像装置等）から対象画像１０を取得してもよく、ストレージ１３（図１５参照）に格納されている画像やネットワークから供給された画像を対象画像１０として取得するものとすることも可能である。画像取得部１０１は、取得した対象画像１０を動き検出部１０２へ供給する。
　動き検出部１０２は、対象画像から観察対象の動きを検出する。動き検出部１０２は、対象画像全体から動きを検出することもできるし、後述する各部分領域毎に検出することもできる。また、観察対象の動きは、対象画像に対するブロックマッチング等の画像処理によって検出することができる。
　動き検出部１０２は、具体的には、観察対象毎の動きベクトルを検出することができる。動きベクトルは、例えば、動きの向き及び大きさを表すものとすることができる。これにより、動き検出部１０２は、観察対象全体から検出された動きの向き及び大きさの代表値を算出し、当該代表値を観察対象全体の動きベクトルとして表すことができる。当該代表値は、動きの向き及び大きさの平均値とすることもできるし、最も多くの観察対象が示す動きの向き及び大きさの値等とすることもできる。
　動きベクトル算出部１０３は、対象画像から、対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。動きベクトル算出部１０３は、具体的には、部分領域毎に、動き検出部１０２によって検出された各観察対象の動きの向き及び大きさの上記代表値を算出し、当該代表値を、各部分領域に含まれる観察対象の動きベクトルとして表すことができる。
　動きベクトル算出部１０３が算出した動きベクトルの向きは、各部分領域での観察対象の動き伝搬の向きとみなすことができる。またこの動きベクトルの大きさは、各部分領域での観察対象の動き伝搬の大きさとみなすことができる。さらに、当該動きベクトルの大きさを、動きベクトルの検出元である対象画像の時間差分で除することにより、動きの速度を算出することができる。
　図３は、動きベクトル算出部１０３による部分領域毎の動きベクトルの算出例を示す図である。動きベクトル算出部１０３は、対象画像を分割することで、部分領域を設定することができる。部分領域１１は、同図に示すように、対象画像１０を（ａ×ｂ）個に分割した領域とすることができる。これにより、略同一の大きさの部分領域について評価することができるとともに、対象画像１０内を漏れなく評価することが可能となる。
　部分領域１１は、予め決められた所定の分割数で分割するものとすることもできるし、ユーザによって指定された分割数で分割するものとすることもできる。あるいは、動きベクトル算出部１０３は、動き検出部１０２により検出された各観察対象の動きに基づいて、各観察対象の動きベクトルの向きや大きさが異なる領域毎に部分領域を設定することができる。また、動きベクトル算出部１０３は、対象画像から検出された観察対象の密度に基づいて、部分領域を設定することもできる。
　伝搬異常領域抽出部１０４は、動きベクトル算出部１０３により算出された動きベクトルに基づいて、観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。動き伝搬は、一つの観察対象の動きが他の観察対象の動きに伝搬する現象であり、観察対象が心筋細胞の場合は、拍動の伝搬とすることができる。
　ここで、心筋細胞は、生体内において常時収縮と弛緩を繰り返しながら拍動する。培養心筋細胞も、その全体が収縮と弛緩を繰り返すように、例えば各細胞が所定の方向に運動することで、拍動が伝搬する。心筋細胞に薬剤等を投与した場合、細胞の一部で他の細胞とは異なる方向に拍動の伝搬が行われたり、拍動の伝搬方向が旋回するパターンを示したり、拍動の伝搬速度が遅くなったりといった変化が生じる可能性がある。本実施形態によれば、このような拍動の伝搬の異常な領域を検出することが可能となる。
　伝搬異常領域抽出部１０４は、本実施形態において、動きベクトルから検出された動きの向きに基づいて、伝搬異常領域を抽出するものとすることができる。より具体的には、伝搬異常領域抽出部１０４は、部分領域毎に算出された動きベクトルから正常伝搬方向を検出し、正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出するものとすることができる。正常伝搬方向は、例えば、検出された動きベクトルの向きのうち、最も多数の観察対象から検出される向きとすることができる。あるいは、正常伝搬方向は、観察対象の種類や配置から予め予想される動きベクトルの向き等とすることもできる。
　図４は、伝搬異常領域抽出部１０４による処理について説明する図であり、図４Ａは拍動伝搬の向きの検出例を示し、図４Ｂは伝搬異常領域の抽出例を示す。同図Ａに示すように、黒矢印で示す正常伝搬方向は、一方向を示すのに対し、白矢印で示す異常伝搬方向は、様々な向きを示す。したがって、同図Ｂに示すように、伝搬異常領域抽出部１０４は、異常伝搬方向が検出された領域を伝搬異常領域１２として抽出することができる。
　拍動異常領域抽出部１０５は、動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する。速度変化特性は、動きの速度の周期的な変化特性であるものとすることができる。また、例えば心筋細胞は、周期的に速度のピークを有する速度変化特性を示す。すなわち心筋細胞における速度変化特性は、心筋細胞の拍動プロファイルを示すものとすることができる。
　図５は、観察対象である心筋細胞の速度変化特性の検出例を示す図であり、いずれも縦軸は動きの速度、横軸は時間を示す。また同図Ａは図３に示す部分領域１１Ａの結果を示し、同図Ｂは図３に示す部分領域１１Ｂの結果を示し、同図Ｃは対象画像１０全体の代表値の結果を示す。
　図５Ｂ及び図５Ｃでは、２つの速度ピークＰ１，Ｐ２が検出されているのに対し、同図Ａでは、２つの速度ピークＰ１，Ｐ２の他、小さな速度ピークＰ３が検出されている。したがって、拍動異常領域抽出部１０５は、同図Ａの検出された部分領域１１Ａにおける速度変化特性が異常であると判断し、部分領域１１Ａを拍動異常領域として抽出することができる。
　なお、拍動異常領域抽出部１０５は、伝搬異常領域抽出部１０４の伝搬異常領域の抽出と並行して拍動異常領域の抽出を行うこともできるし、伝搬異常領域の抽出の前後に拍動異常領域の抽出を行うこともできる。
　異常通知部１０６は、伝搬異常領域抽出部１０４及び拍動異常領域抽出部１０５によって抽出された異常な領域を通知する。当該異常な領域は、伝搬異常領域、又は伝搬異常領域及び拍動異常領域を含む領域であるものとすることができる。
　図６は、異常な領域１３Ａ，１３Ｂの通知例を示す図である。同図に示すように、異常な領域１３Ａ，１３Ｂは、実際に抽出された伝搬異常領域及び拍動異常領域よりも大きい領域として示してもよい。なお、異常な領域を示す方法は同図に示す方法に限定されない。例えば、異常通知部１０６は、伝搬異常領域及び拍動異常領域の中心上に表示されたマーク等によって異常な領域を示すこともできるし、図４Ｂに示すように網掛けや色を変化させることにより異常な領域を示すこともできる。
　画像処理装置１００は、以上のように構成されている。画像処理装置１００は、上述のように、部分領域毎に算出される動きベクトルに基づいて、伝搬異常領域や拍動異常領域を抽出することが可能である。したがって、観察対象の動き伝搬が異常な領域を検出することが可能となる。
　また、画像処理装置１００によれば、部分領域間において動き伝搬や拍動プロファイル等を比較することが容易になり、対象画像全体の観察対象の動きからは検出することができない異常な領域を検出することが可能となる。すなわち、従来ユーザの作業に頼らざるを得なかった部分領域間の細胞の反応性や挙動等の評価を容易に行うことが可能となる。
　さらに、画像処理装置１００によれば、対象画像の全体にわたり異常をきたした心筋細胞等が存在する領域について自動で解析を行い、評価することができる。これにより、ユーザの作業による見落としを防止することができる。
　以上のように、画像処理装置１００は、心筋細胞のように領域依存的に異常が生じ、不整脈の原因となる心筋梗塞等が発生する観察対象に対して、特に有効に用いることができる。以下、培養心筋細胞に対する動作例を示し、本実施形態についてより詳細に説明する。
　［動作例１］
　動作例１として、培養心筋細胞に所定の薬剤を投与し、その薬剤の効果を各部分領域の動きベクトルに基づいて評価した。以下、図１に沿って説明する。
　まず、画像取得部１０１が、対象画像を取得する。ここでは、対象画像は、薬剤が投与された培養心筋細胞を位相差撮像した画像であるものとすることができる。
　続いて、動き検出部１０２が、対象画像全体の各観察対象の動きベクトルを検出する。
　続いて、動きベクトル算出部１０３が、部分領域を設定する。
　図７Ａ，Ｂは、動きベクトル算出部１０３による部分領域の設定例を示す図である。部分領域１１Ａ，１１Ｂは、例えば、ユーザの入力操作等により指定された大きさ、位置に設定されてもよい。またこれらの図に示すように、同一対象画像１０内の部分領域１１Ａ，１１Ｂの大きさは異なっていてもよい。
　続いて、動きベクトル算出部１０３が、各部分領域における動きベクトルや動きの速度等を算出する。
　図８Ａ，Ｂは、図７Ａ，Ｂの部分領域１１Ａ，１１Ｂのそれぞれに含まれる心筋細胞の動きベクトルの解析例を示すグラフであり、いずれも縦軸は動きベクトルの大きさから算出された動きの速度、横軸は時間を示す。また、グラフ中の実線の矢印は、算出された動きベクトルの向きを模式的に示す。図８Ａに示すように、部分領域１１Ａに含まれる観察対象の動きベクトルの向きは、いずれも、同一の向きである。一方、図８Ｂに示すように、部分領域１１Ｂに含まれる観察対象の動きベクトルの向きは、部分領域１１Ａの動きベクトルと異なる向きのものを含む。
　続いて、伝搬異常領域抽出部１０４が、部分領域１１Ａの動きベクトルの向き（図８Ａ参照）を正常伝搬方向と決定し、部分領域１１Ｂの動きベクトルの向き（図８Ｂ参照）をいずれも異常伝搬方向と決定する。これにより、伝搬異常領域抽出部１０４が、部分領域１１Ｂを、伝搬異常領域として抽出する。
　さらに、異常通知部１０６が、図９に示すように、抽出した伝搬異常領域を通知する。図９では、対象画像１０上に、黒矢印で正常伝搬方向を示し、白矢印で異常伝搬方向を示し、かつ異常伝搬方向が検出された伝搬異常領域を含む異常な領域１３を矩形の枠で示している。
　また、上記の解析によって、部分領域１１Ｂにおいて異常伝搬方向の動きが生じることで、図８Ａ，Ｂの破線矢印に示す異常な速度変化が生じている可能性があることがわかる。これにより、対象画像１０内の領域全体で異常な動きを示している可能性についても検討することができる。
　以上の動作により、ユーザが、伝搬異常領域を容易に判別し、薬剤の効果や異常の生じた心筋細胞の解析を詳細かつ効率的に進めることが可能となる。また以下に、拍動伝搬の解析方法の他の例を説明する。
　［動作例２］
　動作例２として、動作例１と同様の培養心筋細胞に所定の薬剤を投与した例を示す。なお、本動作例において、画像取得部１０１及び動き検出部１０２の動作は動作例１と同様であるため、その説明を省略する。
　動きベクトル算出部１０３が、対象画像を（ａ×ｂ）個に分割し、部分領域を設定する（図３参照）。そして動きベクトル算出部１０３が、各部分領域１１についての動きベクトルを算出する。
　続いて、伝搬異常領域抽出部１０４が、算出された各部分領域１１の動きベクトルの向き及び大きさに基づいて、正常伝搬方向及び異常伝搬方向を検出する。
　図１０Ａ，Ｂは、伝搬異常領域抽出部１０４による正常伝搬方向及び異常伝搬方向の検出例を示す図である。図１０Ａに示す例では、対象画像１０の右下部に正常伝搬方向（黒矢印）が検出されているのに対し、対象画像１０の中央部から左上部にかけて、正常伝搬方向とは異なる方向の異常伝搬方向（白矢印）が検出されている。したがって、伝搬異常領域検出部１０４は、対象画像１０の中央部及び左上部の部分領域を、伝搬異常領域１２と抽出することができる。
　また図１０Ｂに示す例では、対象画像１０の下部に正常伝搬方向（黒矢印）が検出されているが、そこから異常伝搬方向（白矢印）が旋回するパターンが検出されている。なお、同図において、説明のため旋回方向をグレーの矢印で示している。したがって、伝搬異常領域検出部１０４は、旋回パターンを示す部分領域を、伝搬異常領域１２と抽出することができる。
　これにより、異常通知部１０６が、伝搬異常領域抽出部１０４によって抽出された伝搬異常領域１２に基づいて異常な領域を通知することができる。
　［動作例３］
　動作例３として、伝搬異常領域抽出部１０４が、拍動伝搬速度が変化した領域を伝搬異常領域として抽出する例を示す。本動作例において、伝搬異常領域抽出部１０４以外の各要素の動作は動作例２と同様であるため、その説明を省略する。
　伝搬異常領域抽出部１０４は、例えば、動きベクトルから検出された動きの速度に基づいて、動き伝搬（拍動伝搬）の速度が異常な部分領域を伝搬異常領域として抽出することができる。
　図１１は、伝搬異常領域抽出部１０４による拍動伝搬の速度が異常な部分領域の抽出例を示す図である。同図に示すように、対象画像１０全体において拍動伝搬の向きは同一であるが、拍動伝搬の速度は徐々に遅くなっており、特に、対象画像１０の左上部において、速度の変化が顕著に見られる。このため、伝搬異常領域抽出部１０４は、速度の変化が顕著に見られる部分領域を、伝搬異常領域１２として抽出することができる。
　拍動伝搬の速度の異常の判定基準は特に限定されないが、例えば、所定の閾値を設定し、その速度以下の場合は速度が異常であると判定するものとすることができる。
　以上の動作例のように、拍動伝搬の速さが異常な領域を検出することでも、薬剤の効果や異常の生じた心筋細胞の解析の効率化に寄与することが可能となる。
　［動作例４］
　動作例４として、伝搬異常領域抽出部１０４による処理と並行して、又はその前後に、拍動異常領域抽出部１０５が速度変化特性の異常な領域を抽出する例を示す。なお、本動作例において、画像取得部１０１、動き検出部１０２及び異常通知部１０６の動作は動作例１と同様であるため、その説明を省略する。
　動きベクトル算出部１０３は、部分領域を設定し、各部分領域についての動きベクトルを算出する。
　図１２Ａは、観察対象全体の動きベクトルの解析例を示すグラフでであり、図１２Ｂ～Ｅは、対象画像１０中に設定された部分領域１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅの例と、各部分領域１１Ｂ～１１Ｅの動きベクトルの解析例を示すグラフである。また、いずれのグラフも縦軸は動きベクトルの大きさから算出された動きの速度、横軸は時間を示す。上述のように、同図のグラフに示す速度変化特性は、心筋細胞の拍動プロファイルを示す。
　図１２Ａに示す観察対象全体の動きベクトルの解析例からは、正常な拍動プロファイルに見られる速度ピーク以外に、目立って異常な速度ピークは検出されないため、全体として正常な拍動プロファイルの対象画像１０と判断される可能性がある。一方、図１２Ｂ及び図１２Ｄに示す部分領域１１Ｂ，１１Ｄの動きベクトルの解析例からは、図１２Ａではほとんど検出されなかった異常な速度ピークＰＢ，ＰＤがそれぞれ検出されている。
　そこで、拍動異常領域抽出部１０５が、正常な拍動プロファイルに基づく速度変化特性においては検出されない異常な速度ピークが検出した部分領域１１Ｂ，１１Ｄを、拍動異常領域として抽出する。以下、当該処理についてより詳細に説明する。
　図１３は、拍動異常領域抽出部１０５の処理の詳細を説明する図であり、Ａは正常な拍動プロファイルに基づく速度変化特性を示すグラフ、Ｂは、動きベクトル算出部１０３による部分領域の動きベクトルの解析に基づく速度変化特性を示すグラフである。また、同図Ａ，Ｂに示す符号Ｐ１～Ｐ７は、それぞれ動きの速度の主なピークとボトムを示す。
　図１３Ａに示すように、正常な拍動プロファイルは、Ｐ１～Ｐ５の５点で一周期（一拍）を構成する。一方、早期後脱分極（early afterdepolarization, ＥＡＤ）や遅延後脱分極 （delayed afterdepolarization, ＤＡＤ）等の不整脈が生じると、図１３Ｂに示すように、Ｐ５の後にＰ６，Ｐ７等に示される異常な拍動が見られる。
　このため、例えば拍動異常領域抽出部１０５は、図１３Ｂに示すように、正常な拍動プロファイルに見られる拍動Ｐ１～Ｐ５の他Ｐ６，Ｐ７のような拍動が見られ、かつＰ７の後にピークの見られない時間が所定以上ある場合、Ｐ６，Ｐ７を異常な速度変化であると判定する。そして拍動異常領域抽出部１０５は、このような異常な速度変化が検出された部分領域を拍動異常領域と抽出することができる。これにより、精度よく異常な拍動プロファイルを判定することができる。
　以上のように、本動作例によれば、部分領域毎に心筋細胞の速度変化特性を確認することができ、拍動プロファイルが異常な領域を容易に検出することができる。
　［動作例５］
　動作例５として、拍動異常領域抽出部１０５の他の動作例について説明する。
　図１４Ａは、正常な拍動プロファイルに基づく速度変化特性を示すグラフであり、図１４Ｂは、動きベクトル算出部１０３による部分領域の動きベクトルの解析に基づく速度変化特性を示すグラフである。また、同図に示す符号ａ，ｂ，ｃ，ｄ及びａ'，ｂ'，ｃ'，ｄ'は、動きの速度の主なピークとボトムの時間を示す。
　拍動異常領域抽出部１０５は、例えば、図１４Ａのａ－ｄ間に示される正常な拍動プロファイルの一周期の時間ｔ１に対し、図１４Ｂのａ'－ｄ' 間の時間ｔ'１が変化していた場合、そのような時間変化が検出された部分領域１１を拍動異常領域と抽出することができる。図１４Ｂに示す例では、図１４Ａに示す時間ｔ１よりも、時間ｔ'１が延長している。したがって、拍動異常領域抽出部１０５は、この部分領域を拍動異常領域と抽出することができる。なお、時間ｔ１の具体的な設定値や、時間ｔ'１が時間ｔ１に対して変化しているか否かの判断基準は、一般的な拍動プロファイルに鑑み適宜設定することができる。
　あるいは、拍動異常領域抽出部１０５は、ｂ－ｃ間に示される正常な拍動プロファイルの一部の時間ｔ２に対し、ｂ'－ｃ' 間の時間ｔ'２が変化していた場合、その部分領域１１を拍動異常領域と抽出することができる。例えばｂ－ｃ間は、動きの速度ピーク間の時間とすることができる。図１４Ｂに示す例では、ｂ－ｃ間の時間よりも、ｂ'－ｃ' 間の時間が延長している。したがって、やはりこの部分領域を拍動異常領域と抽出することができる。
　［動作例７］
　他の動作例として、例えば、動きベクトル算出部１０３が部分領域を設定し、各部分領域毎の動きベクトルを算出した後、設定された部分領域の一部を新たな部分領域として設定してもよい。この場合、初めに設定された部分領域について伝搬異常領域抽出部１０４や拍動異常領域抽出部１０５によって異常な領域が抽出されなかった場合、動きベクトル算出部１０３が新たな部分領域を設定し、再度処理を繰り返してもよい。あるいは、初めに設定された部分領域について異常通知部１０６が結果を通知した後、ユーザの操作等により動きベクトル算出部１０３が新たな部分領域を設定し、再度処理を繰り返してもよい。
　[画像処理装置のハードウェア構成]
　上記のような画像処理装置１００の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。
　図１５は、画像処理装置１００のハードウェア構成を示す模式図である。同図に示すように画像処理装置１００はハードウェア構成として、ＣＰＵ１１、メモリ１２、ストレージ１３及び入出力部（Ｉ／Ｏ）１４を有する。これらはバス１５によって互いに接続されている。
　ＣＰＵ（Central Processing Unit）１１は、メモリ１２に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１０２に格納する。ＣＰＵ１１はマイクロプロセッサであるものとすることができる。
　メモリ１２はＣＰＵ１１によって実行されるプログラム及びデータを格納する。メモリ１０２はＲＡＭ（Random Access Memory）であるものとすることができる。
　ストレージ１３は、プログラムやデータを格納する。ストレージ１３はＨＤＤ（Hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。
　入出力部１４は画像処理装置１００に対する入力を受け付け、また画像処理装置１００の出力を外部に供給する。入出力部１４は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェイスを含む。
　画像処理装置１００のハードウェア構成はここに示すものに限られず、画像処理装置１００の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
　以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。
　例えば、画像処理装置１００は、画像処理システムの一部を構成し、少なくとも、動きベクトル算出部１０３と、伝搬異常領域抽出部１０４とを有するものとすることができる。この場合、画像取得部１０１と、動き検出部１０２と、異常通知部１０６とは、画像処理装置１００と有線又は無線により接続された他の装置等に含まれるものとすることができる。また、上述の実施形態で示したように、画像処理装置１００は、拍動異常領域抽出部１０５を有しないものとすることもできる。
　　なお、本技術は以下のような構成もとることができる。
（１）観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
　上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
　を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
　上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの向きに基づいて、上記伝搬異常領域を抽出する
　画像処理装置。
（３）上記（２）に記載の画像処理装置であって、
　上記伝搬異常領域抽出部は、上記動きベクトルから正常伝搬方向を検出し、上記正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出する
　画像処理装置。
（４）上記（１）から（３）のうちいずれか１つに記載の画像処理装置であって、
　上記観察対象は、心筋細胞であり、
　上記動き伝搬は、拍動の伝搬である
　画像処理装置。
（５）上記（４）に記載の画像処理装置であって、
　上記動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する拍動異常領域抽出部
　をさらに具備する画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
　上記速度変化特性は、上記速度の周期的な変化特性である
　画像処理装置。
（７）上記（１）から（６）のうちいずれか１つに記載の画像処理装置であって、
　上記動きベクトル算出部は、上記対象画像を分割することで、上記部分領域を設定する
　画像処理装置。
（８）上記（１）から（７）のうちいずれか１つに記載の画像処理装置であって、
　上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの速度に基づいて、上記動き伝搬の速度が異常な部分領域を伝搬異常領域として抽出する
　画像処理装置。
（９）動きベクトル算出部が、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出し、
　伝搬異常領域抽出部が、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する
　画像処理方法。
（１０）観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
　上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
　として情報処理装置を動作させる画像処理プログラム。
　１０…対象画像
　１１…部分領域
　１２…伝搬異常領域
　１００…画像処理装置
　１０３…動きベクトル算出部
　１０４…伝搬異常領域抽出部
　１０５…拍動異常領域抽出部

Claims (10)

  1. 　観察対象を経時的に撮像した対象画像から、前記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
    　前記動きベクトルに基づいて、前記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
    　を具備する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記伝搬異常領域抽出部は、前記動きベクトルから検出された動きの向きに基づいて、前記伝搬異常領域を抽出する
    　画像処理装置。
  3. 　請求項２に記載の画像処理装置であって、
    　前記伝搬異常領域抽出部は、前記動きベクトルから正常伝搬方向を検出し、前記正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出する
    　画像処理装置。
  4. 　請求項１に記載の画像処理装置であって、
    　前記観察対象は、心筋細胞であり、
    　前記動き伝搬は、拍動の伝搬である
    　画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する拍動異常領域抽出部
    　をさらに具備する画像処理装置。
  6. 　請求項５に記載の画像処理領域であって、
    　前記速度変化特性は、前記速度の周期的な変化特性である
    　画像処理装置。
  7. 　請求項１に記載の画像処理装置であって、
    　前記動きベクトル算出部は、前記対象画像を分割することで、前記部分領域を設定する
    　画像処理装置。
  8. 　請求項１に記載の画像処理装置であって、
    　前記伝搬異常領域抽出部は、前記動きベクトルから検出された動きの速度に基づいて、前記動き伝搬の速度が異常な部分領域を伝搬異常領域として抽出する
    　画像処理装置。
  9. 　動きベクトル算出部が、観察対象を経時的に撮像した対象画像から、前記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出し、
    　伝搬異常領域抽出部が、前記動きベクトルに基づいて、前記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する
    　画像処理方法。
  10. 　観察対象を経時的に撮像した対象画像から、前記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
    　前記動きベクトルに基づいて、前記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
    　として情報処理装置を動作させる画像処理プログラム。
PCT/JP2015/003104 2014-08-14 2015-06-22 画像処理装置、画像処理方法及び画像処理プログラム WO2016024377A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-165135 2014-08-14
JP2014165135A JP2016041023A (ja) 2014-08-14 2014-08-14 画像処理装置、画像処理方法及び画像処理プログラム。

Publications (1)

Publication Number Publication Date
WO2016024377A1 true WO2016024377A1 (ja) 2016-02-18

Family

ID=55304015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003104 WO2016024377A1 (ja) 2014-08-14 2015-06-22 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2016041023A (ja)
WO (1) WO2016024377A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154816A (ja) * 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
JP7197316B2 (ja) * 2018-09-21 2022-12-27 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105631A (ja) * 2010-10-19 2012-06-07 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2012194168A (ja) * 2011-02-28 2012-10-11 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム
JP2013145318A (ja) * 2012-01-13 2013-07-25 Sony Corp 測定装置、プログラム及び測定方法
JP2014075999A (ja) * 2012-10-10 2014-05-01 Nikon Corp 心筋細胞の運動検出方法、画像処理プログラム及び画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法
WO2014102449A1 (en) * 2012-12-27 2014-07-03 Tampereen Yliopisto Visual cardiomyocyte analysis
US20140226069A1 (en) * 2013-02-14 2014-08-14 Sony Corporation Analyzing system, analyzing program and analyzing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105631A (ja) * 2010-10-19 2012-06-07 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2012194168A (ja) * 2011-02-28 2012-10-11 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム
JP2013145318A (ja) * 2012-01-13 2013-07-25 Sony Corp 測定装置、プログラム及び測定方法
JP2014075999A (ja) * 2012-10-10 2014-05-01 Nikon Corp 心筋細胞の運動検出方法、画像処理プログラム及び画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法
WO2014102449A1 (en) * 2012-12-27 2014-07-03 Tampereen Yliopisto Visual cardiomyocyte analysis
US20140226069A1 (en) * 2013-02-14 2014-08-14 Sony Corporation Analyzing system, analyzing program and analyzing method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AHOLA A. ET AL.: "Video image-based analysis of single human induced pluripotent stem cell derived cardiomyocyte beating dynamics using digital image correlation.", BIOMEDICAL ENGINEERING ONLINE, vol. 13, no. 39, pages 1 - 18 *
HAYAKAWA T. ET AL.: "Image-based evaluation of contraction-relaxation kinetics of human- induced pluripotent stem cell -derived cardiomyocytes: Correlation and complementarity with extracellular electrophysiology.", JOURNAL OF MOLECULAR AND CELLULAR CARDIOLOGY, vol. 77, 23 September 2014 (2014-09-23), pages 178 - 191 *
HAYAKAWA T. ET AL.: "Noninvasive Evaluation of Contractile Behavior of Cardiomyocyte Monolayers Based on Motion Vector Analysis", TISSUE ENGINEERING PART C: METHODS, vol. 18, no. 1, 2012, pages 21 - 32, XP055093305, DOI: doi:10.1089/ten.tec.2011.0273 *
TOMOHIRO HAYAKAWA: "Baiyo Shinkin Saibo ni Taisuru Imaging Hyoka Shuho no Shokai", BIO CLINICA, vol. 28, no. 3, 2013, pages 241 - 245 *

Also Published As

Publication number Publication date
JP2016041023A (ja) 2016-03-31

Similar Documents

Publication Publication Date Title
JP7067588B2 (ja) 情報処理装置、プログラム、情報処理方法及び観察システム
JP6573118B2 (ja) 細胞評価装置および方法、並びにプログラム
Smith et al. Modular representation of luminance polarity in the superficial layers of primary visual cortex
EP2444935B1 (en) Analysis of cell development from motion correlation
Neafsey et al. Malaria genomics in the era of eradication
Kanaporis et al. Alternans in atria: Mechanisms and clinical relevance
Han et al. A real-time PPG peak detection method for accurate determination of heart rate during sinus rhythm and cardiac arrhythmia
Christoph et al. Electromechanical optical mapping
Floria et al. Left atrial structural remodelling in non-valvular atrial fibrillation: what have we learnt from CMR?
WO2016024377A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Ballatore et al. Subclinical and asymptomatic atrial fibrillation: current evidence and unsolved questions in clinical practice
RU2017110814A (ru) Обратная связь от пользователя для управления экг-алгоритмом мониторинга ишемии
Serra et al. An automata-based cardiac electrophysiology simulator to assess arrhythmia inducibility
Westholm et al. Peak systolic velocity using color-coded tissue Doppler imaging, a strong and independent predictor of outcome in acute coronary syndrome patients
Deb et al. Identifying atrial fibrillation mechanisms for personalized medicine
Ponsiglione et al. Statistical analysis and kinematic assessment of upper limb reaching task in Parkinson’s disease
JP6217968B2 (ja) 画像処理装置および方法、並びにプログラム
Siramshetty et al. Drugs as habitable planets in the space of dark chemical matter
Tyler et al. Feature-based attention promotes biological motion recognition
JP2017016628A (ja) 情報処理装置、情報処理システム及び情報処理方法
Duca et al. T-Wave Analysis on the 24 h Holter ECG Monitoring as a Predictive Assessment of Major Adverse Cardiovascular Events in Patients with Myocardial Infarction: A Literature Review and Future Perspectives
Ho et al. Learning from different perspectives: Robust cardiac arrest prediction via temporal transfer learning
Minina et al. Analysis of functional state of cardiovascular system by collection of the signs of phasic portrait in single channel ECG
Bjerregaard et al. Strain Imaging and Ventricular Arrhythmia
Liu et al. Deep learning reveals the common spectrum underlying multiple brain disorders in youth and elders from brain functional networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15832177

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15832177

Country of ref document: EP

Kind code of ref document: A1