WO2011122200A1 - データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム - Google Patents

データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム Download PDF

Info

Publication number
WO2011122200A1
WO2011122200A1 PCT/JP2011/054557 JP2011054557W WO2011122200A1 WO 2011122200 A1 WO2011122200 A1 WO 2011122200A1 JP 2011054557 W JP2011054557 W JP 2011054557W WO 2011122200 A1 WO2011122200 A1 WO 2011122200A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
motion
unit
index data
data
Prior art date
Application number
PCT/JP2011/054557
Other languages
English (en)
French (fr)
Inventor
威 國弘
真史 内田
松居　恵理子
智広 早川
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201180025497.7A priority Critical patent/CN102906789B/zh
Priority to US13/637,233 priority patent/US9786052B2/en
Priority to JP2012508154A priority patent/JP5772817B2/ja
Publication of WO2011122200A1 publication Critical patent/WO2011122200A1/ja
Priority to US15/669,169 priority patent/US10311582B2/en
Priority to US16/401,494 priority patent/US10692223B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present disclosure relates to a data processing device and a data processing method, an image processing device and a method, and a program, and in particular, a data processing device that generates data that serves as an index when performing an evaluation on an object that has a periodic motion, and
  • the present invention relates to a method, an image processing apparatus and method, and a program.
  • a measurement point is set in an imaging screen obtained by photographing cardiomyocytes, and the luminance of the measurement point is automatically measured, and the deformation period of the cardiomyocytes is measured from the measurement value.
  • Is known for example, see Patent Document 1).
  • the periodic change in luminance is a measurement target
  • the measurement is limited to the time interval of the pulsation cycle.
  • it is non-invasive, it still has the same problem as measuring potential in that the information that can be quantified remains in the cycle of pulsation, and it is still difficult to obtain an accurate evaluation result. .
  • the present disclosure has been made in view of such a situation so that the motion of an object that performs a periodic motion typified by cultured cardiomyocytes can be evaluated with higher accuracy and accuracy than before.
  • the purpose is to do.
  • a first aspect of the present disclosure is that a plurality of frame image data forming moving image data having an image content of an object that performs periodic motion is defined as predetermined pixels.
  • a motion detecting unit that detects time-series data of motion for each block by dividing the block into a number of arrangements, and at least one type of each block based on the detected time-series data of motion for each block
  • the feature amount calculation unit calculates a plurality of types of the feature amounts for each block, and the classification unit calculates the classification data based on the calculated types of the feature amounts. May be generated. This brings about the effect
  • the feature amount calculation unit may calculate an average motion direction that is an average value of motion directions per unit time in a fixed time as one type of the feature amount. This brings about the effect
  • the feature amount calculation unit may calculate an average motion amount that is an average value of motion amounts per unit time in a fixed time as one type of the feature amount. This brings about the effect
  • the feature amount calculation unit may calculate an average amplitude that is an average value of amplitudes of a certain amount or more of the motion amount obtained in a predetermined time as one type of the feature amount.
  • the feature amount calculation unit may calculate an average acceleration that is an average value of motion accelerations per unit time in a fixed time as one type of the feature amount.
  • the feature amount calculation unit calculates an average motion interval that is an average value of time intervals at which a certain amount of motion amount amplitude is obtained in a certain time as one type of the feature amount. Also good. Thereby, the effect
  • the feature amount calculation unit calculates a motion start time that is a time from a predetermined timing to a timing at which a certain amount of motion amount amplitude is obtained as one type of the feature amount. Also good. Thereby, the effect
  • the classification unit calculates a distance between each of the plurality of templates having different combinations of feature amounts corresponding to the plurality of classification categories and the block, and calculates the calculated distance.
  • a process of classifying the block as belonging to any one of the plurality of classification categories may be performed for each block. This brings about the effect
  • the classification unit performs clustering by the k-means method based on the feature amount calculated corresponding to each block, so that each of the blocks belongs to any one of a predetermined number of classification categories May be classified as This brings about the effect
  • a motion detection unit that detects a motion of the evaluation target using an image of the evaluation target, and a motion vector that indicates the motion of the evaluation target detected by the motion detection unit
  • An index data generation unit that shows the characteristics of the movement of the evaluation target, generates index data used as an index for the evaluation of the evaluation target, evaluates the index data generated by the index data generation unit, and evaluates
  • the image processing apparatus includes an evaluation value calculation unit that calculates.
  • the index data generation unit generates index data regarding the magnitude of the amplitude of the motion of the evaluation target and index data regarding the frequency per unit time of the peak of the motion of the evaluation target, and the evaluation value calculation unit Using the index data relating to the magnitude of the motion of the evaluation target generated by the index data generation unit, an evaluation value for evaluating the magnitude of the motion of the evaluation target is calculated, and the index data generation unit
  • the evaluation value for evaluating the frequency per unit time of the motion peak of the evaluation target can be calculated using the index data relating to the frequency per unit time of the peak of the motion of the evaluation target generated by the above.
  • the index data relating to the magnitude of the motion amplitude of the evaluation target may be an average value of the entire image of the evaluation target of the product of the normalized amplitude and the normalized variance of the amplitude. .
  • the index data related to the magnitude of the motion amplitude of the evaluation target is an image of the evaluation target in a region where the value of the product of the normalized amplitude and the normalized variance of the amplitude is a value equal to or greater than a predetermined threshold. It is possible to make it a ratio to the whole.
  • the index data related to the frequency per unit time of the movement target peak to be evaluated is the entire screen of the product of the normalized number of peaks per unit time and the normalized variance of the number of peaks per unit time It is possible to make it an average value.
  • the index data relating to the frequency per unit time of the movement target peak to be evaluated has a predetermined value of the product of the normalized number of peaks per unit time and the normalized variance of the number of peaks per unit time It is possible to make the ratio of the area having a value equal to or greater than the threshold value to the entire image to be evaluated.
  • the index data generation unit further generates index data related to a classification result obtained by classifying each partial region of the evaluation target image based on a feature amount of the evaluation target motion
  • the evaluation value calculation unit can further calculate an evaluation value for evaluating the classification result of the feature quantity of the motion to be evaluated using the index data relating to the classification result generated by the index data generation unit.
  • the index data generation unit calculates a motion amount of the evaluation target detected by the motion detection unit, and the evaluation value calculation unit displays temporal changes in the motion amount calculated by the index data generation unit. And can be displayed.
  • the index data generation unit generates index data indicating a change in a temporal change in the calculated amount of movement due to administration of a drug to the cardiomyocytes of a peak of a waveform indicating relaxation of the cardiomyocytes to be evaluated.
  • the evaluation value calculation unit can evaluate the index data calculated by the index data generation unit and calculate an evaluation value.
  • the image processing apparatus further includes an imaging unit that captures the evaluation target and obtains the evaluation target image, and the motion detection unit detects a motion of the evaluation target using the evaluation target image obtained by the imaging unit. Can do.
  • the motion detection unit can detect the motion of the evaluation target between the frame images in the evaluation period of a predetermined length of the evaluation target image that is a moving image.
  • the motion detecting unit can repeat the detection of the motion of the evaluation target during the evaluation period a predetermined number of times.
  • the evaluation value calculation unit evaluates each of the plurality of types of index data generated by the index data generation unit, calculates an evaluation value, and evaluates the evaluation object by integrating the calculated evaluation values.
  • the evaluation value to be calculated can be calculated.
  • the evaluation object can be a cell that moves spontaneously.
  • the evaluation object may be a cultured cell generated by culturing a cell collected from a living body.
  • the motion detection unit of the image processing device detects the motion of the evaluation target using the evaluation target image
  • the index data generation unit of the image processing device detects the detected
  • a motion vector indicating the motion of the evaluation target is used to indicate the characteristics of the motion of the evaluation target, generate index data used as an index for the evaluation of the evaluation target
  • the evaluation value calculation unit of the image processing apparatus An image processing method for evaluating the generated index data and calculating an evaluation value.
  • the computer further includes a motion detection unit that detects a motion of the evaluation target using an image of the evaluation target, and a motion vector that indicates the detected motion of the evaluation target.
  • a motion detection unit that detects a motion of the evaluation target using an image of the evaluation target
  • a motion vector that indicates the detected motion of the evaluation target.
  • an index data generation unit that shows the characteristics of the movement of the target and generates index data used as an index for the evaluation of the evaluation target
  • an evaluation value calculation unit that evaluates the generated index data and calculates an evaluation value It is a program to make it function.
  • an evaluation target image is used to detect a motion of the evaluation target, a motion vector indicating the detected motion of the evaluation target is used to indicate the characteristics of the evaluation target motion, Index data used as an index for evaluation of an evaluation target is generated, the generated index data is evaluated, and an evaluation value is calculated.
  • classification data serving as an index for enabling accurate and accurate evaluation of an object that performs periodic motion can be obtained.
  • FIG. 1 is a diagram illustrating a configuration example of a cultured cardiomyocyte evaluation system 100.
  • FIG. 3 is a block diagram illustrating a configuration example of an evaluation index data generation device 300.
  • FIG. It is a figure which shows the structural example of the evaluation object image data 600 typically.
  • 3 is a block diagram illustrating a configuration example of a motion detection unit 310.
  • FIG. It is a figure which shows typically the process which divides
  • FIG. 6 is a diagram schematically illustrating a structure example of motion detection data 700. It is a figure which shows the example of the feature-value calculated.
  • FIG. 26 is a block diagram which shows the main structural examples of a chemical
  • index data generation process. It is a flowchart explaining the example of the flow of an impact evaluation process. It is a figure explaining the mode of change of pulsation rhythm by medicine administration. It is a figure explaining the mode of dispersion of pulsation behavior by medicine administration. FIG. 26 is a block diagram illustrating a main configuration example of a personal computer.
  • First embodiment evaluation index data generation process: an example in which a classification process is executed using a template
  • Second embodiment evaluation index data generation processing: an example in which classification processing is executed by the k-average method
  • Third embodiment cultured cardiomyocyte evaluation apparatus
  • Fourth embodiment drug evaluation apparatus
  • Fifth embodiment personal computer
  • FIG. 1 shows a configuration example of a cultured cardiomyocyte evaluation system 100.
  • the cultured cardiomyocyte evaluation system 100 shown in this figure is for evaluating the quality of the cultured cardiomyocytes 500.
  • Cultured cardiomyocytes 500 are cultured for heart disease as cells for such treatment.
  • there is a state of technology development for mass-producing such cultured cells so that a sufficient amount can be supplied to a medical site at low cost.
  • the cultured cells are mass-produced in this way, it is required to be able to evaluate the cultured cells efficiently and accurately.
  • the cultured cardiomyocytes 500 perform movement corresponding to pulsation by themselves.
  • the quality of cultured cardiomyocytes 500 can be judged by evaluating whether the movement according to the pulsation is good.
  • the cultured cardiomyocyte evaluation system 100 records moving image data obtained by imaging the cultured cardiomyocytes 500, and performs evaluation based on the motion detection result for the recorded moving image data. Thereby, although it is noninvasive, a detailed and accurate evaluation result is obtained rather than visual evaluation.
  • the cultured cardiomyocyte evaluation system 100 includes, for example, an imaging device 110, an evaluation target image data generation / recording device 200, an evaluation index data generation device 300, and an evaluation device 400, as shown in the figure.
  • the imaging device 110 is for imaging the cultured cardiomyocytes 500 to be evaluated.
  • a state in which the cultured cardiomyocytes 500 are directly photographed by the imaging device 110 is shown, but in actuality, for example, a microscope image of the cultured cardiomyocytes 500 is captured.
  • the imaging position of the imaging device 110 with respect to the cultured cardiomyocytes 500 is fixed.
  • the evaluation target image data generation / recording device 200 generates evaluation target image data based on the image signal input from the imaging device 110, and records and stores the generated evaluation target image data in, for example, an internal recording medium. It is a device.
  • the evaluation target image data generated here is, for example, moving image data generated from an image signal obtained by imaging the cultured cardiomyocytes 500.
  • the evaluation index data generation device 300 inputs, for example, moving image data as evaluation target image data stored in the evaluation target image data generation recording device 200, and is used as an index for evaluation of the cultured cardiomyocytes 500.
  • the evaluation device 400 is a device that obtains an evaluation result by processing the evaluation index data generated by the evaluation index data generation device 300.
  • FIG. 2 shows a configuration example of the evaluation index data generation device 300.
  • the evaluation index data generation device 300 shown in this figure includes a motion detection unit 310, a motion detection data storage unit 320, a feature amount calculation unit 330, and a classification processing unit 340.
  • the evaluation target image data 600 shown in this figure is obtained by reproducing the data recorded in the evaluation target image data generation / recording apparatus 200, and as described above, a moving image composed of frame image data. It is data.
  • the motion detection unit 310 is a part that inputs the evaluation target image data 600 and executes a motion detection process. Note that a specific example of motion detection processing by the motion detection unit 310 in this case and a structure example of motion detection data will be described later.
  • the motion detection data storage unit 320 is a part that stores motion detection data obtained as a result of the motion detection processing of the motion detection unit 310.
  • the feature amount calculation unit 330 is a part that calculates and acquires a predetermined feature amount using the motion detection data stored in the motion detection data storage unit 320. An example of the feature amount calculated here will be described later.
  • the classification processing unit 340 is a part for obtaining the evaluation index data 800 by executing the classification process based on the feature amount information obtained by the feature amount calculation unit 330. A specific example of this classification process will be described later.
  • the evaluation index data 800 obtained by the classification processing unit 340 is an example of classification data described in the claims.
  • FIG. 3 shows a structural example of the evaluation target image data 600 input by the evaluation index data generation device 300.
  • the evaluation target image data 600 is composed of first to (T + 1) th frame image data 610-1 to (T + 1) corresponding to a fixed time.
  • the moving image data as the evaluation target image data 600 stored in the evaluation target image data generation / recording apparatus 200 may be composed of the frame image data 610-1 to 610-T shown in FIG. 3 as they are. Alternatively, it may be moving image data including frame image data 610-1 to T as a partial section. In the latter case, for example, from the moving image data as the evaluation target image data 600 stored in the evaluation target image data generation / recording apparatus 200, the image section determined to be optimal for the evaluation is extracted. Then, the evaluation index data generation device 300 may input the moving image data of the image section as the evaluation target image data 600 of FIG.
  • FIG. 4 shows a configuration example of the motion detection unit 310.
  • the motion detection unit 310 shown in this figure includes a frame memory 311 and a motion vector calculation unit 312.
  • the frame memory 311 is a part that holds frame image data 610 that is sequentially input as the evaluation target image data 600 every frame period.
  • the motion vector calculation unit 312 is a part that calculates a motion vector.
  • the motion vector calculation unit 312 inputs the frame image data input as the evaluation target image data 600 at the current time and the frame image data of the next time held in the frame memory 311. Then, a motion vector is calculated using these two frame image data. The calculated motion vector is held in the motion detection data storage unit 320 as motion detection data 700.
  • the motion vector calculation unit 312 receives the frame image data 610 at the current time and the frame image data 610 at the next time.
  • the motion vector calculation unit 312 divides the input frame image data 610 into blocks. That is, as shown in FIG. 5, the two-dimensional pixel region formed by the frame image data 610 is divided into M pieces in the horizontal direction and N pieces in the vertical direction. As a result, the frame image data 610 is divided into (M ⁇ N) blocks 611.
  • Each of the blocks 611 is composed of, for example, (16 ⁇ 16) pixels.
  • the motion vector calculation unit 312 calculates a motion vector using the unit of the block 611 as a processing target as the motion detection processing. Then, the motion detection processing is executed by sequentially using the first to (T + 1) th frame image data 610.
  • the motion detection data 700 obtained at the stage when the last motion detection process using the Tth and (T + 1) th frame image data 610 is completed is as shown in FIG.
  • the motion detection data 700 shown in this figure is composed of T frame unit motion detection data 710-1 to 710-1 to T.
  • Each of the frame unit motion detection data 710-1 to 710 -T is obtained by performing motion detection processing on the current frame image data 610 and the next frame image data 610 obtained for each frame period.
  • the third frame unit motion detection data 710-1 includes the third frame image data 610-4 and the third frame image data 610-3 as the frame image data of the current time and the next time, respectively. It is obtained by inputting and performing motion detection.
  • each of the frame corresponding motion detection data 710-1 to 710 -T is formed by (M ⁇ N) block unit motion detection data 711.
  • Each block-unit motion detection data 711 corresponds to one block 611 and is data indicating a motion vector detected for the corresponding block 611.
  • the motion detection data 700 has a structure having (M ⁇ N) block unit motion detection data 711 for each frame corresponding motion detection data 710. This means that time-series data regarding motion vectors is obtained corresponding to each block 611 forming the frame image data 610.
  • the feature amount calculation unit 330 calculates a plurality of feature amounts using the motion detection data 700 stored in the motion detection data storage unit 320. First, an example of a feature amount calculated and acquired by the feature amount calculation unit 330 will be described with reference to FIG.
  • FIG. 7 shows the motion vector indicated by the block unit motion detection data 711 corresponding to a certain block 611 in time series. That is, the block unit motion detection data 711 corresponding to one block 611 is similarly T in correspondence with the fact that the frame corresponding motion detection data 710 is T as described with reference to FIG.
  • FIG. 7 shows a sample of motion vectors indicated by the T block unit motion detection data 711 in time series.
  • the block unit motion detection data 711 includes the motion amount of the horizontal component and the motion amount of the vertical component as motion vector information.
  • the horizontal component or the vertical component is used. It is assumed that one amount of movement is shown.
  • the vertical axis indicates the amount of motion
  • the horizontal axis indicates the frame, that is, time.
  • an average motion amount Vav an average motion direction ⁇ av, an average amplitude Aav, an average acceleration Bav, an average pulsation interval Dav, and a pulsation start time S are assumed here. As will be understood from the following description, these feature amounts are all obtained based on the detected motion vector. These feature amounts are obtained for each block 611.
  • the T block-unit motion detection data 711 indicates a change in motion amount over time. This is obtained in response to the periodic change between the state in which the cultured cardiomyocytes 500 move and the state in which they remain stationary according to the pulsation generated in the cultured cardiomyocytes 500. From this point, it can be said that, for example, a change in the amount of movement according to the passage of time has a characteristic according to the pulsation. Therefore, in the present disclosure, the average of the T motion amounts obtained in the evaluation section is treated as the feature amount.
  • This average motion amount Vav is obtained by the following equation, where Vx and Vy are the motion amounts of the horizontal direction component and the vertical direction component obtained as motion vectors for each block unit motion detection data 711, and n is a variable corresponding to the frame order. be able to. That is, as the average motion amount Vav, first, a combined motion amount V obtained by combining the motion amounts Vx and Vy of the horizontal direction component and the vertical direction component for each of the T block unit motion detection data 711 is obtained. Then, it is obtained by calculating an average value for these T combined motion amounts V.
  • an average value of the horizontal component motion amount Vx (horizontal average motion amount Vavx) and an average value of the vertical component motion amount Vy (vertical average motion amount Vavy) in the evaluation period are calculated.
  • the average motion amount Vav may be calculated by synthesizing the horizontal average motion amount Vavx and the vertical average motion amount Vavy.
  • the average motion direction ⁇ av is an average value for the T motion directions ⁇ obtained in the evaluation section.
  • This average motion direction ⁇ av can be obtained by the following equation.
  • the distribution of the average motion direction ⁇ av corresponding to each block 611 in the entire frame image it is possible to evaluate how uniform the cultured cardiomyocytes 500 are when moving due to pulsation. In addition, it is possible to evaluate the distribution state of the portion where the motion direction is not uniform.
  • the average amplitude Aav is an average value for amplitudes greater than or equal to a certain value obtained as described above in the evaluation section.
  • the average amplitude Aav can be obtained, for example, as follows.
  • peak detection is performed on the combined motion amount V which is K motion vectors in the evaluation section, and the detected peak value is averaged to obtain the average amplitude Aav.
  • peak detection is performed on the amount of movement of the horizontal component, and the detected peak values are averaged to obtain the average amplitude (horizontal average amplitude) Aavx of the horizontal component.
  • the average amplitude (vertical average amplitude) Aavy of the vertical direction component is obtained.
  • an operation of calculating the average amplitude Aav by performing an operation of combining the horizontal average amplitude Aavx and the vertical average amplitude Aave can be considered. For example, it can be evaluated that the larger the average amplitude Aav, the larger the movement corresponding to the pulsation in the portion of the cultured cardiomyocyte 500 corresponding to the block 611.
  • the average acceleration Bav is an average value for acceleration obtained in the evaluation section, and can be obtained, for example, as follows.
  • the composite motion amount V indicated by a predetermined number of block-unit motion detection data 711 moving back and forth in chronological order is differentiated.
  • the acceleration B for each predetermined time in the evaluation section is calculated.
  • an average acceleration Bav is obtained as an average value of these accelerations B.
  • a horizontal amount of motion Vx indicated by a predetermined number of block unit motion detection data 711 preceding and following in time series order is sequentially differentiated to calculate a horizontal acceleration Bx per predetermined time, and an average of these horizontal accelerations Bx.
  • the horizontal average acceleration Bavx is obtained as a value.
  • the vertical average acceleration Bavy is calculated.
  • the average acceleration Bav can also be obtained by combining the horizontal average acceleration Bavx and the vertical average acceleration Bavy.
  • the average acceleration Bav is an index of agility when the cultured cardiomyocyte 500 changes from a stationary state to a moving state according to the pulsation. If average acceleration Bav is high, it can be evaluated that the movement according to the pulsation about the corresponding culture
  • the average pulsation interval Dav is an average value of the pulsation intervals obtained in the evaluation section, and can be obtained as follows, for example.
  • the average pulsation interval Dav is obtained by calculating the average value of the calculated pulsation intervals D. For example, it is possible to evaluate to what extent the pulsation time interval is uniform in the entire cultured cardiomyocyte 500 by the distribution of the average pulsation interval Dav for each block 611 in the entire frame. When attention is paid to a non-uniform distribution, it is possible to evaluate the distribution state of the pulsation time interval shift.
  • the average pulsation interval Dav is an example of the average motion interval described in the claims.
  • the pulsation start time S is obtained by measuring the time from when the evaluation interval starts until the peak of the amplitude of the motion amount according to the motion of the first pulsation is obtained.
  • the pulsation start time S can also be evaluated to the extent that the pulsation start timing is uniform in the entire cultured cardiomyocyte 500 by, for example, the distribution of the pulsation start time S for each block 611 in the entire frame. Further, when attention is paid to a non-uniform distribution, it is possible to evaluate the distribution state of the pulsation start timing shift.
  • each of the above feature amounts is calculated based on the detected motion vector (motion amount). That is, in the present disclosure, various items can be quantified from the time-series data of the motion vector.
  • the feature amount calculation unit 330 can calculate any of the six feature amounts of the average motion amount Vav, the average motion direction ⁇ av, the average amplitude Aav, the average acceleration Bav, the average pulsation interval Dav, and the pulsation start time S. In this way, it can be configured. For example, in practice, a feature amount required for the classification process executed by the classification processing unit 340 is calculated from these feature amounts.
  • the classification processing unit 340 executes a classification process using a plurality of types of feature amounts calculated by the feature amount calculation unit 330 as described above, and obtains the classification processing result as evaluation index data 800.
  • classification methods There are several possible classification methods.
  • a method called clustering is adopted. That is, a plurality of classification sections called clusters are set, and each block 611 forming the frame image data 610 shown in FIG. 5 is classified into one of a plurality of clusters according to the feature amount. .
  • the template method is adopted in the first embodiment.
  • the feature amounts to be adopted are the average motion amount Vav and the average motion direction ⁇ av among the previously assumed features.
  • the feature amount calculation unit 330 calculates the average motion amount Vav and the average motion direction ⁇ av.
  • the classification processing unit 340 includes, for example, the following first to fifth templates by combining the average motion amount Vav and the average motion direction ⁇ av. Note that FIG. 8 is referred to when describing these templates. FIG. 8 shows a specific example of the average motion direction ⁇ defined in the following first to fifth templates.
  • (Vav, ⁇ av) represents a combination of the average motion amount Vav and the average motion direction ⁇ av.
  • the average motion amount Vav is “0”, which indicates that the motion amount is 0 over the evaluation section. That is, the first template is a template in which the image portion corresponding to the position of the block 611 remains stationary in the evaluation section.
  • a in the above equation can take any value other than 0 as the average motion amount Vav. That is, the second template uses a combination in which an image portion corresponding to the position of the block 611 has a motion and the average motion direction ⁇ av is the direction of “0” shown in FIG.
  • the third template uses a combination in which the image portion corresponding to the position of the block 611 has a motion and the average motion direction ⁇ av is the direction of “ ⁇ / 4 (45 °)”. .
  • the fifth template has a motion state in which the image portion corresponding to the position of the block 611 has a motion and the average motion direction ⁇ is the direction of 3 ⁇ / 4 (135 °) shown in FIG. It is a thing.
  • each cluster corresponding to each of the first to fifth templates is referred to as a first to fifth cluster.
  • the classification processing unit 340 calculates each distance between the combination (Vav, ⁇ av) of the feature amounts obtained for one block 611 and the first to fifth templates. Then, the block 611 is classified as belonging to the cluster corresponding to the template having the closest calculated distance. For example, if the calculated distance is closest to the third template, the block 611 is classified into the third cluster. Such a classification process is performed for each block 611. As a result, data of contents obtained by classifying each of the blocks 611 forming the frame image data 610 into one of the first to fifth clusters is obtained. This is the evaluation index data 800 obtained by the classification process as the first embodiment.
  • FIG. 9 schematically shows the evaluation index data 800 obtained by the classification process as the first embodiment.
  • the evaluation index data 800 includes a group of (M ⁇ N) individual classification result data 801.
  • Each of the individual classification result data 801 has a one-to-one correspondence with the block 611 forming the frame image data 610, and the cluster into which the corresponding block 611 is classified is any of the first to fifth clusters.
  • Information indicating whether or not.
  • the numbers 1 to 5 shown for each individual classification result data 801 indicate whether the block 611 corresponding to the individual classification result data 801 is classified into the first to fifth clusters. .
  • FIG. 9 shows a structure in which individual classification result data 801 is arranged as (M ⁇ N) matrices as evaluation index data 800.
  • Each of the individual classification result data 801 arranged in this way corresponds to the block 611 arranged at the same position in the frame image data 610.
  • the distribution of the first to fifth clusters in one frame image is shown in the evaluation index data 800 having the structure shown in FIG.
  • This shows information about which part is moving and which part is not moving in the whole imaged cultured cardiomyocyte 500, and in which direction the moving part is moving. It is perceived as being. More specifically, the movement related to the pulsation of the cultured cardiomyocytes 500 can be grasped as follows.
  • the cultured cardiomyocytes 500 need to be moved first, and those having many portions without movement are evaluated as poor quality.
  • this point can be evaluated based on the number of individual classification result data 801 classified into the first cluster.
  • the quality is higher when the directions of the movements are aligned as much as possible.
  • the proportion of movement directions due to pulsation in the entire cultured cardiomyocytes 500 is determined by making the occupancy rate of each cluster into a histogram or the like. Can be evaluated. Furthermore, it is possible to accurately know not only the ratio of the direction of movement but also the distribution state of these portions when the movement direction is different from the cluster distribution shown in FIG. it can.
  • the individual classification result data 801 classified into the third cluster is distributed in a wide area at the center in the array of the individual classification result data 801 corresponding to the frame image data 610.
  • the evaluation apparatus 400 performs color coding according to the cluster classified for each block 611 corresponding to the individual classification result data 801 according to FIG. An image is generated and displayed. The evaluator confirms this image, so that it is possible to accurately grasp the state of the direction of movement of the cultured cardiomyocytes 500.
  • the present technology need not be limited to the combination of the average motion amount Vav and the average motion direction ⁇ av in the above description. That is, it is possible to select a combination in which one or more arbitrary feature amounts are selected from the six examples mentioned above. When a plurality of feature amounts are selected, various evaluation items are obtained according to the selected combination.
  • the evaluation apparatus 400 in this case inputs the evaluation index data 800 shown in FIG. 9 and performs processing according to a predetermined algorithm, thereby recognizing the state of each part as described above and using the recognition result as an evaluator. Is output in a format that can be grasped. For example, if the cluster classification result as shown in FIG. 9 is expressed and displayed as an image, the evaluator can visually grasp the above matters.
  • FIG. 10 illustrates an example of a processing procedure executed by the evaluation index data generation device 300 according to the first embodiment. Note that the processing of each step in this figure is appropriately executed by any of the motion detection unit 310, the feature amount calculation unit 330, and the classification processing unit 340 shown in FIG. Moreover, at least a part of the processing as each step shown in FIG. 10 can be configured to be realized by a CPU (Central Processing Unit) in a computer device executing a program.
  • a CPU Central Processing Unit
  • the processing from step S901 to S907 in FIG. 10 is a motion detection process executed by the motion detection unit 310.
  • the motion detection unit 310 substitutes 2 for a variable n corresponding to a number assigned to the frame image data 610 forming the evaluation target image data 600 (step S901).
  • the motion vector calculation unit 312 in the motion detection unit 310 inputs the (n ⁇ 1) th frame image data and the nth frame image data (step S902). That is, the previous frame image data held in the frame memory 311 and the current frame image data are input.
  • the motion vector calculation unit 312 executes a process of dividing each of the input frame image data into blocks each having a predetermined number of pixels (step S903).
  • a motion detection process is executed by a technique such as block matching (step S904).
  • step S904 By the motion detection process in step S904, one frame unit motion detection data 710- (n-1) in the motion detection data 700 shown in FIG. 6 is obtained. Therefore, the motion detection unit 310 stores the frame unit motion detection data 710- (n ⁇ 1) in the motion detection data storage unit 320 (step S905).
  • the motion detection unit 310 increments the variable n (step S906), and determines whether or not the variable n is larger than the maximum value (T + 1) (step S907).
  • the maximum value (T + 1) corresponds to the number of frame image data forming the evaluation target image data 600.
  • the processing from step S902 is repeatedly executed.
  • the first frame unit motion detection data 710-1 to the T frame unit motion detection data 710 -T are sequentially stored in the motion detection data storage unit 320.
  • it is determined that the variable n has become larger than the maximum value T (step S907), and the procedure proceeds to step S908 and subsequent steps.
  • step S907 when it is determined that the variable n is greater than (T + 1), the feature amount calculation unit 330 executes a process of calculating the feature amount using the motion detection data 700.
  • the feature amounts calculated here are, for example, the average motion amount Vav and the average motion direction ⁇ av as described above.
  • the classification processing by the template method described above is executed by the classification processing unit 340.
  • the classification processing unit 340 first substitutes 1 for the variable i indicating the number assigned to the (M ⁇ N) blocks 611 forming the frame image data 610 (step S909).
  • the classification processing unit 340 calculates the distance between the feature amount (Vav, ⁇ av) calculated for the i-th block 611 and the feature amount (Vav, ⁇ av) for each of a plurality of templates prepared in advance ( Step S910).
  • the feature amount (Vav, ⁇ av) indicates a combination of the above-described average motion amount Vav and average motion direction ⁇ av.
  • the classification processing unit 340 classifies the i-th block 611 as belonging to the cluster corresponding to the template having the shortest distance. Then, individual classification result data 801 indicating the classification result is generated (step S911).
  • the individual classification result data 801 includes information of contents in which the identifier of the cluster classified as the identifier of the i-th block is associated.
  • five clusters of the first to fifth clusters are prepared in response to the preparation of the first to fifth templates.
  • the block 611 to be classified is classified into any one of the first to fifth clusters in step S911.
  • the classification processing unit 340 increments the variable i (step S912), and determines whether or not the variable i is larger than the maximum value (M ⁇ N) (step S913).
  • the process of cluster classification is sequentially repeated for each block by returning to the process of step S910.
  • the classification processing unit 340 generates and outputs the evaluation index data 800 from the individual classification result data 801 obtained by the processes of steps S910 to S912 so far (step S914).
  • the evaluation index data 800 may be generated by a combination in which one or more arbitrary feature amounts are selected from the six examples given above. Further, based on the above-described calculation method, the average motion amount Vav can also be obtained by being decomposed into a horizontal average motion amount Vavx and a vertical average motion amount Vavy.
  • the average amplitude Aav is obtained by decomposing into a horizontal average amplitude Aavx and a vertical average amplitude Aavy.
  • the average acceleration Bav is obtained by decomposing into a horizontal average acceleration Bavx and a vertical average acceleration Bavy. Therefore, for example, it is conceivable that the feature amounts of the horizontal direction component and the vertical direction component are treated as independent ones and used to generate the evaluation index data 800.
  • the number of clusters is five, but other numbers may be set.
  • Second Embodiment> [Configuration of Evaluation Index Data Generation Device] Although the classification process in the first embodiment uses a template, other methods of the classification process can be considered. Therefore, as a second embodiment, a configuration that employs another classification processing method will be described.
  • the configuration of the evaluation index data generation device 300 corresponding to the second embodiment is the same as that shown in FIG. However, the number of types of feature amounts calculated by the feature amount calculation unit 330 and the classification processing procedure executed by the classification processing unit 340 are different as described below.
  • FIG. 11 shows an example of a processing procedure executed by the evaluation index data generation device 300 corresponding to the second embodiment.
  • the processing from step S901 to S907 is the same as that in FIG. 10 corresponding to the first embodiment.
  • step S907 If it is determined in step S907 that the variable n has become larger than the maximum value T, the feature amount calculation unit 330 uses the motion detection data 700 stored in the motion detection data storage unit 320 to perform each block 611. A feature amount is calculated (step S908A).
  • step S908A the horizontal average motion amount Vavx, the vertical average motion amount Vave, the average motion direction ⁇ av, the horizontal average amplitude Aavx, the vertical average amplitude Aave, the horizontal average acceleration Bavx, the vertical average acceleration Bavy, the average pulsation interval Dav, and the pulsation start time S
  • the horizontal average motion amount Vavx the vertical average motion amount Vave, the average motion direction ⁇ av
  • the horizontal average amplitude Aavx the vertical average amplitude Aave
  • the horizontal average acceleration Bavx the vertical average acceleration Bavy
  • the average pulsation interval Dav the pulsation start time
  • the classification processing unit 340 performs clustering based on the k-means method (k average method) using the feature amount calculated as described above. That is, the classification processing unit 340 calculates a 9-dimensional vector x obtained by combining the nine feature amounts for each block 611 (step S921).
  • step S921 (M ⁇ N) vectors x corresponding to each block 611 are obtained.
  • the classification processing unit 340 in this case first executes the first cluster classification (initial classification) for (M ⁇ N) vectors xi (1 ⁇ i ⁇ (M ⁇ N)) according to the k-average method. . That is, K samples corresponding to the preset number of clusters K are extracted from the vector xi, and the distance between these samples and the vector xi other than the sample is calculated. Then, the vector xi other than the sample is classified as belonging to the same cluster as the sample having the closest calculated distance.
  • the classification processing unit 340 calculates the center of gravity Gj (1 ⁇ j ⁇ K) for each of the first to Kth clusters corresponding to the last classification result so far (step S923). These centroids Gj differ depending on the final classification result.
  • the classification processing unit 340 calculates the distance from the center of gravity Gj to each cluster for each vector xi (step S924). Then, for each vector xi, reclassification is performed as belonging to the cluster with the shortest calculated distance (step S925). The processing in steps S923 to S925 is repeated until it is determined in step S926 that the classification result has no change and is the same as the previous time.
  • the classification processing unit 340 generates and outputs the evaluation index data 800 from the finally obtained classification result (step S914A). That is, in the final classification result, the vector xi is classified into any cluster. Therefore, the classification processing unit 340 generates the individual classification result data 801 by associating the identifier of the block 611 corresponding to the vector xi with the identifier of the classified cluster, for example. Then, a group of the individual classification result data 801 for each of the i-th to M ⁇ N-th blocks 611 is generated as the evaluation index data 800.
  • the evaluation index data 800 obtained in the second embodiment also has, for example, the structure shown in FIG.
  • Each cluster represents a combination of numerical ranges of a plurality of different feature amounts. For this reason, each cluster has a different meaning in relation to the periodic motion as a pulsation. Therefore, an accurate and detailed evaluation result can be obtained also by using the evaluation index data 800 obtained by the second example.
  • the present disclosure shows an example for embodying the present technology, and as clearly indicated in the present disclosure, the matters in the present disclosure and the invention-specific matters in the claims have a corresponding relationship, respectively. . Similarly, the matters specifying the invention in the claims and the matters in the present disclosure having the same names as the claims have a corresponding relationship.
  • the present technology is not limited to the embodiment, and can be embodied by making various modifications to the embodiment without departing from the gist of the present technology.
  • combinations other than those specifically described in the above-described embodiments may be adopted as feature amounts used for generating the evaluation index data 800.
  • feature quantities other than those specifically described in the above embodiments may be obtained and combined.
  • the motion amount, the motion direction, the amplitude, the acceleration, the pulsation interval, and the like are all average values for values obtained corresponding to each frame period. It was.
  • these feature quantities have changes in time series. Therefore, for example, it is also conceivable to calculate a change in time series as a feature amount and use it for generating the evaluation index data 800.
  • other algorithms and methods may be adopted as the classification processing executed by the classification processing unit 340.
  • the evaluation object is the cultured cardiomyocytes 500
  • the configuration of the present disclosure can be applied, for example, if the object is other than this and the movement has periodicity.
  • the processing procedure described in this disclosure may be regarded as a method having a series of these procedures, and may be regarded as a program for causing a computer to execute the series of procedures or a recording medium storing the program.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray Disc (Blu-ray Disc (registered trademark)), or the like can be used.
  • the cell evaluation method may be other than those described above.
  • an evaluation value may be obtained for an index calculated from a motion vector obtained for each block of cultured cells.
  • each block (partial region) moves at predetermined time intervals (for example, each frame).
  • a vector 1002 is obtained, and a time-dependent change in the amount of movement is obtained for each block as in a graph 1003 shown in FIG. 12C, and the amplitude of cell movement as shown in the graph 1004 shown in FIG.
  • data indicating changes over time in the number of beats may be generated, evaluation values for evaluating these indices may be obtained, and cell movement may be evaluated based on the evaluation values.
  • the evaluation object for example, cell movement
  • the evaluation object can be evaluated more quantitatively.
  • a motion vector for generating an index more various indices can be obtained more easily and non-invasively. That is, the evaluation object (for example, cell movement) can be more correctly evaluated.
  • FIG. 13 is a block diagram illustrating a main configuration example of the cultured cardiomyocyte evaluation apparatus.
  • the cultured cardiomyocyte evaluation apparatus 1100 shown in FIG. 13 is an apparatus that evaluates the movement of the cultured cardiomyocyte 500, as in the cultured cardiomyocyte evaluation system 100 of FIG. That is, the cultured cardiomyocyte evaluation apparatus 1100 implements the cultured cardiomyocyte evaluation system 100 as one apparatus.
  • the configuration of the cultured cardiomyocyte evaluation system 100 is arbitrary as long as the function of the entire system does not change.
  • the plurality of devices shown in FIG. 1 may be configured as one device, or one device may be configured as a plurality of devices.
  • a cultured cardiomyocyte evaluation system The entire 100 may be configured as one apparatus.
  • the cultured cardiomyocyte evaluation apparatus 1100 is configured by a plurality of apparatuses, such as the cultured cardiomyocyte evaluation system 100 of the first embodiment and the second embodiment. However, the following description will be made using the cultured cardiomyocyte evaluation apparatus 1100.
  • the cultured cardiomyocytes 500 can be evaluated by a method other than the above-described evaluation method. . That is, as described above, the cultured cardiomyocyte evaluation apparatus 1100 of the present embodiment obtains an evaluation value for evaluating the movement of the evaluation target.
  • a cultured cardiomyocyte 500 shown in FIG. 13 is a biological tissue (cell group) for heart disease generated by culturing cardiomyocytes collected from a living body outside the body. Cardiomyocytes constantly beat and repeatedly contract and relax. When such cardiomyocytes are cultured and grown like the cultured cardiomyocytes 500, the operations of the cells ideally become related to each other, and the entire cultured cardiomyocytes 500 pulsate as one living tissue. It becomes like this.
  • the cultured cardiomyocyte evaluation apparatus 1100 uses, for example, the cultured cardiomyocytes 500 cultured as described above, and evaluates the movement of the cultured cardiomyocytes 500 in order to evaluate the quality of the cultured cardiomyocytes 500.
  • the evaluation target of the cultured cardiomyocyte evaluation apparatus 1100 may be other than the cultured cardiomyocyte 500.
  • cultured cells other than cardiomyocytes may be evaluated.
  • the evaluation target may be other than cells.
  • the evaluation object is one that can move and that can be evaluated by evaluating the movement. This movement may be autonomous (spontaneous) like a cardiomyocyte, or may be due to an electric signal supplied from the outside.
  • the cultured cardiomyocyte evaluation apparatus 1100 includes an imaging unit 1101, an evaluation target image data generation recording unit 1102, an evaluation index data generation unit 1103, and an evaluation unit 1104.
  • the imaging unit 1101 corresponds to the imaging device 110 in FIG. That is, the imaging unit 1101 images the cultured cardiomyocytes 500 that are evaluation targets. Note that the imaging unit 1101 may directly image the cultured cardiomyocytes 500 (without passing through other members), or may image the cultured cardiomyocytes 500 through other members such as a microscope. You may do it. Moreover, the cultured cardiomyocytes 500 may or may not be fixed with respect to the imaging unit 1101. In general, it is desirable that the cultured cardiomyocyte 500 is fixed to the imaging unit 1101 because the cultured cardiomyocyte evaluation apparatus 1100 detects movement (temporal change in position).
  • the imaging unit 1101 supplies an image signal of the image of the cultured cardiomyocyte 500 obtained by imaging to the evaluation target image data generation / recording unit 1102.
  • the evaluation target image data generation / recording unit 1102 corresponds to the evaluation target image data generation / recording apparatus 200 of FIG. That is, the evaluation target image data generation / recording unit 1102 generates evaluation target image data based on the image signal supplied from the imaging unit 1101, and records the generated evaluation target image data in, for example, an internal recording medium and stores it. To do.
  • the evaluation target image data generated here is, for example, moving image data generated from an image signal obtained by imaging the cultured cardiomyocytes 500.
  • the evaluation target image data generation / recording unit 1102 may extract only a part of the frame images from a plurality of frame images supplied from the imaging unit 1101 and use them as evaluation target image data. Good. Further, for example, the evaluation target image data generation / recording unit 1102 extracts a partial area of each frame image supplied from the imaging unit 1101 as a small frame image, and a moving image including the small frame image is determined as the evaluation target image data. You may make it. Further, for example, the evaluation target image data generation / recording unit 1102 may perform arbitrary image processing on each frame image supplied from the imaging unit 1101 and use the image processing result as evaluation target image data. . As the image processing, for example, image enlargement, reduction, rotation, deformation, brightness and chromaticity correction, sharpness, noise removal, intermediate frame image generation, and the like can be considered. Of course, any image processing other than these may be used.
  • the evaluation target image data generation / recording unit 1102 supplies the stored evaluation target image data to the evaluation index data generation unit 1103 at a predetermined timing.
  • the evaluation index data generation unit 1103 corresponds to the evaluation index data generation device 300 in FIG. That is, the evaluation index data generation unit 1103 performs, for each block that is a partial region obtained by dividing the entire region of the image of the evaluation target (cultured cardiomyocytes 500) into a plurality of frames between the frame images of the supplied evaluation target image data. The motion of the evaluation target (cultured cardiomyocytes 500) is detected. The evaluation index data generation unit 1103 represents the detected motion of each block as a motion vector, and obtains various feature amounts (motion feature amount data) related to the motion of the evaluation target (cultured cardiomyocytes 500) from the motion vector. Further, as described in the first embodiment and the second embodiment, the evaluation index data generation unit 1103 classifies each block based on the motion feature amount data.
  • the evaluation index data generation unit 1103 supplies the motion feature amount data and the classification result generated as described above to the evaluation unit 1104 as evaluation index data.
  • Evaluation unit 1104 corresponds to the evaluation device 400 of FIG. That is, the evaluation unit 1104 calculates an evaluation value for each supplied evaluation index data, and integrates the calculated evaluation values to obtain an evaluation value of the evaluation target (cultured cardiomyocytes 500).
  • FIG. 14 is a block diagram illustrating a main configuration example of the evaluation index data generation unit 1103.
  • the evaluation index data generation unit 1103 includes a motion detection unit 310 and a motion detection data storage unit 320 as in the evaluation index data generation device 300 of FIG. 2. Further, the evaluation index data generation unit 1103 has a feature amount calculation unit 1123 instead of the feature amount calculation unit 330 of the evaluation index data generation device 300 of FIG. 2, and the classification processing unit of the evaluation index data generation device 300 of FIG. A classification processing unit 1124 is provided instead of 340. Further, the evaluation index data generation unit 1103 includes a motion feature amount data history storage memory 1125.
  • the motion detection unit 310 receives the evaluation target image data 600 to perform motion detection, and supplies the detection result (motion vector) as motion detection data to the motion detection data storage unit 320 for storage.
  • the motion detection unit 310 includes the frame memory 311 and the motion vector calculation unit 312, and M ⁇ N (the entire region of each frame image of the evaluation target image data 600 ( M and N are divided into arbitrary natural number) blocks, and motion detection is performed on each block by a technique such as block matching between frame images, for example, to generate a motion vector.
  • the motion detection unit 310 performs motion detection in an evaluation section having a predetermined length (for example, T + 1 frame (T is an arbitrary natural number)). For example, as illustrated in FIG. 6, the motion detection unit 310 generates (M ⁇ N ⁇ T) motion detection data (motion vectors) using (T + 1) frame images, and detects motion detection data. The data is stored in the storage unit 320.
  • a predetermined length for example, T + 1 frame (T is an arbitrary natural number).
  • T is an arbitrary natural number
  • the feature amount calculation unit 1123 detects the motion detection. Data is acquired, and the feature amount related to the motion of the cultured cardiomyocytes 500 is calculated from the motion detection data.
  • the feature amount calculation unit 1123 calculates a feature amount related to the motion (beat) of the cultured cardiomyocytes 500 for each block using (M ⁇ N ⁇ T) motion detection data (motion vectors).
  • the feature amount calculation unit 1123 calculates the average value (average amplitude Aav) of the motion amplitude of the cultured cardiomyocytes 500 within the evaluation interval illustrated in FIG. Calculate as one.
  • the amplitude is the amplitude when the amount of motion changes.
  • the average amplitude Aav is an average value of amplitude in the evaluation section. This amplitude A and average amplitude Aav are calculated in each block.
  • each amplitude A is calculated as in the following equation (1).
  • the average amplitude Aav in the evaluation interval is calculated as shown in the following expression (2) using each amplitude An calculated as shown in the expression (1).
  • the feature amount calculation unit 1123 calculates such an average amplitude Aav for each block.
  • the feature amount calculation unit 1123 calculates the average value (average value) of the pulsation intervals (or the number of pulsations per unit time) of the cultured cardiomyocytes 500 within one evaluation section illustrated in FIG.
  • the pulsation interval Dav is calculated as one of the feature amounts related to the movement of the cultured cardiomyocytes 500.
  • the pulsation interval D is the peak interval of the amount of movement as shown in FIG.
  • the average pulsation interval Dav is an average value of the pulsation intervals D in the evaluation section.
  • the feature amount calculation unit 1123 calculates such an average pulsation interval Dav for each block.
  • the pulsation interval Dn is calculated as in the following equation (3).
  • the average pulsation interval Dav in the evaluation section is calculated as in the following formula (4).
  • the feature amount calculation unit 1123 calculates such an average pulsation interval Dav for each block.
  • the type and number of feature amounts calculated by the feature amount calculation unit 1123 are arbitrary.
  • the average motion amount Vav, the average motion direction ⁇ av, the average acceleration Bav, and the pulsation start time S may be calculated as feature amounts.
  • each feature-value is arbitrary.
  • the feature amount calculation unit 1123 calculates the average of each component, You may make it synthesize
  • the feature amount calculation unit 1123 supplies the calculated feature amount as motion feature amount data to the motion feature amount data history storage memory 1125 to be stored.
  • the feature quantity calculation unit 1123 may sequentially supply the obtained feature quantities as motion feature quantity data to the motion feature quantity data history storage memory 1125 for storage. Further, the feature quantity calculation unit 1123 may store a part of the obtained feature quantity in the motion feature quantity data history storage memory 1125 as motion feature quantity data.
  • the feature quantity calculation unit 1123 also supplies the calculated feature quantity to the classification processing unit 1124.
  • the classification processing unit 1124 executes classification processing using a plurality of types of feature amounts calculated by the feature amount calculation unit 1123, and uses the classification processing result as motion feature amount data. Is supplied to the motion feature data history storage memory 1125 and stored therein.
  • the evaluation index data generation unit 1103 repeats the generation of evaluation index data as described above S times. That is, the imaging unit 1101 continues imaging and generates frame images for at least (evaluation interval (T + 1 frame) ⁇ S times), and the evaluation target image data generation recording unit 1102 at least (evaluation interval ⁇ S Times) of evaluation target image data. In the evaluation object image data, the evaluation sections do not have to be continuous in time.
  • the evaluation index data generation unit 1103 generates a feature amount for each block as described above for each evaluation section.
  • M ⁇ N ⁇ S feature amounts are stored in the motion feature amount data history storage memory 1125 as shown in FIG.
  • the feature quantity data history storage memory 1125 stores more feature quantities (M ⁇ N ⁇ S ⁇ number of types).
  • the motion feature amount data history storage memory 1125 uses the stored feature amount as an evaluation index at a predetermined timing.
  • the data 800 is supplied to the evaluation unit 1104.
  • FIG. 16 is a block diagram illustrating a main configuration example of the evaluation unit 1104.
  • the evaluation unit 1104 includes an evaluation unit (evaluation unit for each index) for each of the supplied evaluation index data 800.
  • the evaluation unit 1104 includes an amplitude evaluation unit 1141, a pulsation number evaluation unit 1142, and a classification result evaluation unit 1143 as evaluation units for each index.
  • the amplitude evaluation unit 1141 evaluates the average amplitude Aav supplied as evaluation index data.
  • the pulsation number evaluation unit 1142 evaluates the average pulsation interval Dav supplied as evaluation index data.
  • the classification result evaluation unit 1143 evaluates the classification processing result supplied as evaluation index data.
  • Such an evaluation unit for each index indicates the type of index data that can be evaluated by the evaluation unit 1104.
  • the evaluation unit 1104 is set so that all of the supplied evaluation index data can be evaluated. Therefore, for example, when other evaluation index data 800 is supplied to the evaluation unit 1104, an evaluation unit corresponding to the evaluation index data 800 is prepared in the evaluation unit 1104.
  • the types and number of evaluation units for each index included in the evaluation unit 1104 depend on the types and number of evaluation index data supplied.
  • the amplitude evaluation unit 1141 first shows each amplitude A (average amplitude Aav), which is evaluation index data, for each block of the frame image as shown in the following equation (5), as shown in A of FIG. Normalization is performed using a function fa such as a curve 1161 of the graph (amplitude A ′ normalized by the function fa is obtained).
  • the amplitude evaluation unit 1141 determines each of the M ⁇ N ⁇ S average amplitudes Aav as a function fa. Normalize using.
  • the function fa may be any function as long as the value of the amplitude A is larger as the value is larger and smaller as the value is smaller. That is, the normalized amplitude A ′ takes a larger value as the amplitude is larger, and takes a smaller value as the amplitude is smaller.
  • the amplitude evaluation unit 1141 calculates the variance N of the past N amplitudes for each block, as in the following equation (6).
  • a with an overline is an average value of each amplitude A (average amplitude Aav).
  • N S. That is, for example, assuming that the number of blocks of the entire frame image is M ⁇ N and calculation of the average amplitude Aav is repeated S times, the amplitude evaluation unit 1141 calculates M ⁇ N ⁇ S average amplitudes Aav from M ⁇ N ⁇ M ⁇ N ⁇ M ⁇ N ⁇ S average amplitudes Aav.
  • N variances Va are calculated.
  • the amplitude evaluation unit 1141 normalizes the variance Va of each amplitude using a function ga like a curve 1162 of the graph shown in FIG.
  • the amplitude variance Va ′ normalized by ga is obtained).
  • the amplitude evaluation unit 1141 normalizes each of the M ⁇ N variance Va using the function ga.
  • the function ga may be any function as long as the value of the variance Va is smaller as the value is larger and larger as the value is smaller. That is, the normalized amplitude variance Va ′ takes a larger value as the variation is smaller, and takes a smaller value as the variation is larger.
  • the amplitude evaluation unit 1141 calculates the average value (M ⁇ N number) of the entire screen of the product of the normalized amplitude A ′ and the normalized amplitude variance Va ′ as in the following equation (8). (Average value) is calculated as the evaluation value Ea.
  • the evaluation value Ea increases as the normalized amplitude and the variance of the normalized amplitude in the entire frame image increase. That is, the larger the amplitude of each block is, the more stable it is (the amplitude is larger and the variation in its time direction is smaller), the higher the evaluation is made.
  • the amplitude evaluation unit 1141 uses the number of blocks Na1 in which the product of the normalized amplitude A ′ and the normalized amplitude variance Va ′ is equal to or greater than a predetermined threshold Ta1, as shown in the following equation (9).
  • the ratio of the entire frame image may be calculated as the evaluation value Ea.
  • Threshold value Ta1 is an arbitrary value set in advance. The larger this value is set, the higher the evaluation standard (stricter evaluation conditions) and the smaller the evaluation value Ea. In this case, the evaluation value Ea increases as the number of blocks in which the product of amplitude and variance is larger than a predetermined reference and stable in the entire frame image.
  • the variation between the blocks is smaller than the case where the evaluation value Ea is calculated using the average value as described above.
  • the evaluation may be high even if the variation between blocks is large.
  • the evaluation is performed using the threshold, even if the values of some blocks are extremely large, the evaluation does not increase unless the number of blocks Na1 is large.
  • the amplitude evaluation method is not limited to the above-described example.
  • the pulsation of the cultured cardiomyocytes may be compared with that in an ideal normal culture, and the comparison result may be evaluated.
  • an ideal pulsation transition pattern (ideal transition pattern) during normal culture is predetermined.
  • the amplitude evaluation unit 1141 compares the pulsation transition pattern (measurement transition pattern) of the cultured cardiomyocytes with this ideal transition pattern, and evaluates the similarity.
  • a solid line 1171 indicates an ideal amplitude transition pattern
  • a dotted line 1172 indicates an amplitude measurement transition pattern. The smaller the difference between the two, the larger the evaluation value.
  • the amplitude evaluation unit 1141 calculates the sum Da of the distances between the two transition patterns at each elapsed time for each block as shown in the following formula (10).
  • a (k) is the amplitude A (average amplitude Aav) in the measurement transition pattern
  • a I (k) is the amplitude A (average amplitude Aav) in the ideal transition pattern.
  • k indicates the number of measurement values (elapsed time) (when S measurements are repeated, 0 ⁇ k ⁇ S ⁇ 1).
  • W a (k) is a weighting coefficient, and its value is arbitrary. For example, although immediately after the start of measurement is not important differences between the two transition patterns, as the elapsed time becomes longer, if it is determined that both the transition pattern is approximated, the value of the weighting coefficient W a, the value of k is large Indeed, it is set to be larger.
  • the amplitude evaluation unit 1141 next calculates the sum of distances Da as shown in the following equation (11). Normalization is performed using a function ha such as a solid line 1173 of the graph shown in 18 B (a normalized distance sum Da ′ is calculated).
  • This function ha may be any function as long as the value of the sum of distances Da is smaller as the value is larger and larger as the value is smaller. That is, the normalized distance sum Da ′ takes a larger value as the difference between the ideal transition pattern and the measured transition pattern is smaller, and takes a smaller value as the difference between the ideal transition pattern and the measured transition pattern is larger.
  • the amplitude evaluation unit 1141 calculates the average value (M ⁇ N average values) of the entire screen of the normalized distance sum Da ′ as the evaluation value Ea as in the following Expression (12). .
  • the evaluation value Ea increases as the difference between the measurement transition and the ideal transition in the entire frame image decreases.
  • the amplitude evaluation unit 1141 evaluates the ratio of the number of blocks Na2 in which the normalized distance sum Da ′ is a value equal to or greater than a predetermined threshold Ta2 in the entire frame image, as in the following Expression (13).
  • the value Ea may be calculated.
  • the threshold value Ta2 is an arbitrary value set in advance. The larger this value is set, the higher the evaluation standard (stricter evaluation conditions) and the smaller the evaluation value Ea. In this case, the evaluation value Ea increases as the number of blocks in which the difference between the measurement transition and the ideal transition is smaller than a predetermined reference and is stable in the entire frame image increases.
  • the amplitude evaluation unit 1141 calculates the evaluation value Ea that evaluates the amplitude based on the index data regarding the amplitude of the heartbeat pulsation. That is, the amplitude evaluation unit 1141 can quantitatively evaluate the pulsation amplitude of the cardiomyocytes.
  • the pulsation number evaluation unit 1142 first calculates the pulsation number R per unit time (for example, 1 minute) from the pulsation interval D (average pulsation interval Dav) as in the following formula (14). To do.
  • the number R of beats per unit time is an average value of the number of beats per unit time in the evaluation period (for example, (T + 1) frame).
  • the pulsation number evaluation unit 1142 calculates the pulsation number R per unit time for each block. Further, the pulsation number evaluation unit 1142 calculates the pulsation number R per unit time for each evaluation period. That is, if the number of blocks of one frame image is M ⁇ N and the evaluation period is repeated S times, the beat number evaluation unit 1142 calculates the number of beats R per unit time as (M ⁇ N ⁇ S). Calculate pieces.
  • the pulsation rate evaluation unit 1142 uses the function fr like the curve 1181 of the graph shown in FIG. 19A as the following equation (15) for the pulsation rate R per unit time. (The number of beats R ′ per unit time normalized by the function fr is obtained).
  • the beat number evaluation unit 1142 calculates M ⁇ N ⁇ S beats per unit time.
  • Each of the dynamic numbers R is normalized using the function fr.
  • fr is a function that increases the value of the number of beats R per unit time as the value is closer to the appropriate value and decreases as the value is farther from the appropriate value, any function can be used. It may be a simple function. That is, the normalized number of beats per unit time R ′ takes a larger value as it approaches the predetermined number of appropriate beats per unit time, and the predetermined number of appropriate beats per unit time. The farther it is, the smaller the value.
  • the pulsation number evaluation unit 1142 obtains the variance Vr per unit time for the past N times for each block as in the following equation (16).
  • R with an overline is the average value of the number of beats R per unit time.
  • N S. That is, for example, assuming that the number of blocks of the entire frame image is M ⁇ N and the calculation of the number of beats R per unit time is repeated S times, the number of beats evaluation unit 1142 is M ⁇ N ⁇ S. From the number of beats R per unit time, M ⁇ N variances Vr are calculated.
  • the pulsation number evaluation unit 1142 normalizes the variance Vr of each amplitude using a function gr like a curve 1182 of the graph shown in FIG. 19B as in the following equation (17). (Determine the variance Vr ′ of the number of beats per unit time normalized by the function gr).
  • the pulsation number evaluation unit 1142 normalizes each of the M ⁇ N variances Vr using the function gr.
  • the function gr may be any function as long as the value of the variance Vr is smaller as the value is larger and larger as the value is smaller. That is, the normalized variance Vr ′ of the number of beats per unit time takes a larger value as the variation is smaller, and takes a smaller value as the variation is larger.
  • the beat number evaluation unit 1142 calculates the normalized beat number R ′ per unit time and the normalized beat number variance Vr ′ per unit time as shown in the following equation (18).
  • the average value (M ⁇ N average values) of the entire product screen is calculated as the evaluation value Er.
  • the evaluation value Er increases as the number of beats per unit time normalized and the variance in the entire frame image increases. That is, the case where the normalized number of beats R per unit time of each block is more stable (the number of beats per unit time is closer to an appropriate value and there is less variation in the time direction). Highly appreciated.
  • the beat number evaluation unit 1142 calculates the product of the normalized beat number R ′ per unit time and the normalized variance Vr ′ of beat number per unit time as shown in the following equation (19).
  • the ratio of the number of blocks Nr1 in which the value of N is equal to or greater than a predetermined threshold value Tr1 to the entire frame image may be calculated as the evaluation value Er.
  • the threshold value Tr1 is an arbitrary value set in advance. The larger this value is set, the higher the evaluation standard (stricter evaluation conditions) and the smaller the evaluation value Er. In this case, the evaluation value Er increases as the number of pulsations per unit time in the entire frame image is closer to an appropriate value than the predetermined reference and the number of blocks is stable in the time direction. .
  • the variation between the blocks is smaller than the case where the evaluation value Er is calculated using the average value as described above.
  • the evaluation may be high even if the variation between blocks is large.
  • the evaluation is performed using the threshold value, even if the values of some blocks are extremely large, the evaluation does not increase unless the number of blocks Nr1 is large.
  • the method for evaluating the number of beats per unit time is not limited to the example described above.
  • the pulsation of the cultured cardiomyocytes may be compared with that in an ideal normal culture, and the comparison result may be evaluated.
  • an ideal pulsation transition pattern (ideal transition pattern) during normal culture is predetermined.
  • the pulsation number evaluation unit 1142 compares the pulsation transition pattern (measurement transition pattern) of the cultured cardiomyocytes with this ideal transition pattern and evaluates the similarity as shown in the graph of FIG. 20A. To do.
  • a solid line 1191 indicates an ideal transition pattern of the number of beats per unit time
  • a dotted line 1192 indicates a measurement transition pattern of the number of beats per unit time. The smaller the difference between the two, the larger the evaluation value.
  • the pulsation number evaluation unit 1142 calculates the sum Dr of the distances between the two transition patterns in each elapsed time for each block as in the following equation (20).
  • R (k) is the number of beats R per unit time in the measurement transition pattern
  • R I (k) is the number of beats per unit time in the ideal transition pattern.
  • k indicates the number of measurement values (elapsed time) (when S measurements are repeated, 0 ⁇ k ⁇ S ⁇ 1).
  • W r (k) is a weighting coefficient, and its value is arbitrary. For example, although immediately after the start of measurement is not important differences between the two transition patterns, as the elapsed time becomes longer, if it is determined that both the transition pattern is approximated, the value of the weighting factor W r, the value of k is large Indeed, it is set to be larger.
  • the pulsation number evaluation unit 1142 calculates the sum Dr of the distances as shown in the following equation (21). Then, normalization is performed using a function hr like a solid line 1193 in the graph shown in FIG. 20B (a sum Dr ′ of normalized distances is calculated).
  • This function hr may be any function as long as the value of the sum of distances Dr is smaller as the value is larger and larger as the value is smaller. That is, the normalized distance sum Dr ′ takes a larger value as the difference between the ideal transition pattern and the measurement transition pattern is smaller, and takes a smaller value as the difference between the ideal transition pattern and the measurement transition pattern is larger.
  • the pulsation number evaluation unit 1142 uses the average value (M ⁇ N average values) of the entire screen of the sum of the normalized distances Dr ′ as the evaluation value Er as in the following Expression (22). calculate.
  • the evaluation value Er increases as the difference between the measurement transition and the ideal transition in the entire frame image decreases.
  • the pulsation number evaluation unit 1142 represents the ratio of the number of blocks Nr2 in which the sum Dr ′ of normalized distances is a value equal to or greater than a predetermined threshold Tr2 in the entire frame image, as in the following Expression (23).
  • the evaluation value Er may be calculated.
  • the threshold value Tr2 is an arbitrary value set in advance. The larger this value is set, the higher the evaluation standard (stricter evaluation conditions) and the smaller the evaluation value Er. In this case, the evaluation value Er increases as the difference between the measurement transition and the ideal transition in the entire frame image is smaller than a predetermined reference and stable.
  • the pulsation rate evaluation unit 1142 calculates the evaluation value Er that evaluates the pulsation rate per unit time based on the index data regarding the pulsation rate per unit time of the pulsation of the cardiomyocytes. To do. That is, the pulsation number evaluation unit 1142 can quantitatively evaluate the number of pulsations per unit time of the pulsation of the cardiomyocytes.
  • the classification result evaluation unit 1143 calculates the evaluation value so that the value increases when the ratio of blocks classified into a predetermined cluster (desired cluster) in which the feature amount is desirable is larger.
  • the classification result evaluation unit 1143 counts the number of times each block is classified as C in the classification performed n times in the past, and compares the number N with a predetermined threshold value Tc1. The number Nc of blocks satisfying equation (24) is obtained.
  • the classification result evaluation unit 1143 uses the number of blocks Nc thus obtained to calculate an evaluation value Ec obtained by evaluating the classification result as in the following expression (25) (the number of blocks of one frame image is N ⁇ N).
  • the classification result evaluation unit 1143 calculates the evaluation value Ec obtained by evaluating the classification result of the feature amount of pulsation of cardiomyocytes. That is, the classification result evaluation unit 1143 can quantitatively evaluate the feature value classification result of the pulsation of the cardiomyocytes.
  • the evaluation unit 1104 further includes an evaluation integration unit 1144.
  • the evaluation unit for each index of the evaluation unit 1104 supplies the evaluation value for each index calculated by the evaluation unit 1104 to the evaluation integration unit 1144.
  • the evaluation integration unit 1144 integrates the evaluation values supplied from the evaluation units for each index by a predetermined calculation, and generates an evaluation value E of the evaluation target (cultured cardiomyocytes 500). For example, the evaluation integration unit 1144 calculates the sum of the evaluation values for each index as the evaluation value E as shown in the following formula (26).
  • the evaluation value Ea is an evaluation value of the average amplitude Aav supplied from the amplitude evaluation unit 1141
  • the evaluation value Er is an evaluation of the average pulsation interval Dav supplied from the pulsation number evaluation unit 1142.
  • the evaluation value Ec is an evaluation value of the classification processing result supplied from the classification result evaluation unit 1143.
  • the weighting factors Wa, Wr, and Wc are factors that weight the evaluation values Ea, Er, and Ec, respectively.
  • the evaluation integration unit 1144 can integrate the evaluation values for each index by arbitrarily weighting them, so that the evaluation target can be quantitatively evaluated based on more various criteria.
  • the evaluation integration unit 1144 outputs the evaluation value E calculated as described above to the outside of the evaluation unit 1104 as the evaluation value 1150 to be evaluated.
  • the evaluation value 1150 output from the evaluation unit 1104 is displayed on a monitor, for example, as character information or image information, and is presented to a user or the like, or another device that performs arbitrary processing using the evaluation value 1150 ( (Not shown).
  • the evaluation value 1150 may be recorded on a recording medium (not shown).
  • the evaluation unit 1104 can quantitatively evaluate more various indexes by more various methods. As a result, the evaluation unit 1104 can more accurately evaluate the evaluation target (cardiomyocytes).
  • the imaging unit 1101 of the cultured cardiomyocyte evaluation apparatus 1100 images the evaluation target in step S1001.
  • the evaluation target image data generation recording unit 1102 generates evaluation target image data from the image signal obtained by imaging in step S1001.
  • step S1003 the evaluation index data generation unit 1103 generates evaluation index data that is data of various indexes for evaluating the movement of the evaluation target from the evaluation target image data generated in step S1002.
  • step S1004 the evaluation unit 1104 evaluates the movement of the evaluation target using the evaluation index data generated in step S1003, and calculates an evaluation value.
  • step S1005 the evaluation unit 1104 outputs the evaluation value calculated in step S1004, and ends the evaluation process.
  • the motion detection unit 310 of the evaluation index data generation unit 1103 detects the motion to be evaluated for each block and generates a motion vector in step S1021.
  • the motion detection data storage unit 320 stores the motion vector of each block generated in step S1021.
  • step S1023 the motion detection unit 310 determines whether motion detection has been performed for a predetermined evaluation period. When it is determined that there is a frame image for which motion detection has not been performed in the predetermined evaluation period, the motion detection unit 310 returns the process to step S1021 and repeats motion detection for a new processing target frame image.
  • step S1023 If it is determined in step S1023 that motion detection has been performed on all frame images to be processed in the predetermined evaluation period, the motion detection unit 310 advances the process to step S1024.
  • step S1024 the feature amount calculation unit 1123 calculates a feature amount related to the motion of the evaluation target such as the average amplitude Aav and the average pulsation interval Dav from the motion vector stored in step S1022.
  • step S1025 the motion feature amount data history storage memory 1125 stores the feature amount calculated in step S1024 as motion feature amount data.
  • step S1026 the classification processing unit 1124 classifies each block based on the feature amount calculated in step S1024.
  • step S1027 the motion feature amount data history storage memory 1125 stores the classification result performed in step S1026 as motion feature amount data.
  • step S1028 the feature amount calculation unit 1123 determines whether or not the calculation of the feature amount has been repeated a predetermined number of times (for example, S times). If it is determined that the predetermined number of times has not been reached, the process is performed. Returning to S1021, the subsequent processing is repeated. If it is determined in step S1028 that the calculation of the feature amount has been repeated a predetermined number of times, the feature amount calculation unit 1123 advances the process to step S1029.
  • a predetermined number of times for example, S times.
  • step S1029 the motion feature data history storage memory 1125 outputs the stored motion feature data to the evaluation unit 1104 as evaluation index data.
  • the motion feature data history storage memory 1125 ends the evaluation index data generation process, returns the process to step S1003 in FIG. 21, and executes the processes after step S1004.
  • the amplitude evaluation unit 1141 of the evaluation unit 1104 evaluates the amplitude of the motion to be evaluated based on the evaluation index data regarding the amplitude and calculates the evaluation value Ea in step S1041.
  • step S1042 the pulsation rate evaluation unit 1142 evaluates the pulsation rate per unit time of the motion to be evaluated based on the evaluation index data regarding the pulsation rate per unit time, and calculates the evaluation value Er. To do.
  • step S1043 the classification result evaluation unit 1143 evaluates the classification result of each block based on the movement of the evaluation object based on the evaluation index data regarding the classification result, and calculates the evaluation value Ec.
  • step S1044 the evaluation integration unit 1144 integrates the evaluation values of the indices and calculates an evaluation value E to be evaluated.
  • the evaluation integration unit 1144 ends the motion evaluation process, returns the process to step S1004 in FIG. 21, and executes the processes after step S1005.
  • the cultured cardiomyocyte evaluation apparatus 1100 can more quantitatively evaluate an evaluation target (for example, cell movement).
  • an evaluation target for example, cell movement
  • a motion vector for generating an index more various indices can be obtained more easily and non-invasively. That is, the evaluation object (for example, cell movement) can be more correctly evaluated.
  • the pulsations in various regions determined by analysis of the phase difference observation movie of cultured cardiomyocytes show cooperative pulsations depending on the number of days of culture, but change with the administration of various drugs. By detecting such fluctuations by some method, it becomes possible to evaluate in advance the drug toxicity, effects and the like at the time of drug discovery.
  • the method of detecting and evaluating the movement of cells is used to evaluate the contraction / relaxation extension in the cell pulsation caused by the drug administration, and the evaluation result is used to evaluate the toxicity and the like of the drug.
  • the pulsation of cardiomyocytes consists of contraction and relaxation. For example, if the entry / exit of ions in the potassium channel of the cell is inhibited, the relaxation time is prolonged (it is difficult to return from the contracted state).
  • FIG. 24 is a block diagram illustrating a main configuration example of the medicine evaluation apparatus.
  • a drug evaluation apparatus 1300 shown in FIG. 24 is an apparatus that evaluates the influence (efficacy, side effects, etc.) of a drug by the movement of cultured cardiomyocytes 500 to which the drug is administered.
  • the drug evaluation device 1300 includes an imaging unit 1101 and an evaluation target image data generation / recording unit 1102 similar to the cultured cardiomyocyte evaluation device 1100 of FIG.
  • the imaging unit 1101 images the cultured cardiomyocytes 500 before and after drug administration.
  • the evaluation target image data generation recording unit 1102 generates evaluation target image data based on the image signal supplied from the imaging unit 1101, and records and stores the generated evaluation target image data in, for example, an internal recording medium. That is, evaluation target image data is generated for each moving image of cultured cardiomyocytes 500 before and after drug administration.
  • the drug evaluation device 1300 includes an evaluation index data generation unit 1303 instead of the evaluation index data generation unit 1103 of the cultured cardiomyocyte evaluation device 1100, and further includes an evaluation unit 1304 instead of the evaluation unit 1104.
  • the evaluation index data generation unit 1303 acquires evaluation target image data from the evaluation target image data generation recording unit 1102.
  • the evaluation index data generation unit 1303 generates evaluation index data using the acquired evaluation target image data and supplies it to the evaluation unit 1304.
  • the evaluation index data generation unit 1303 is a partial region in which the entire region of the frame image is divided into a plurality of portions between the frame images of the evaluation target image data that is a moving image of the cultured cardiomyocytes 500, for example.
  • motion detection generation of motion vectors
  • the evaluation index data generation unit 1303 performs such motion detection of each block for a predetermined period (a predetermined number of frames). This period may be the time of the moving image captured by the imaging unit 1101 or may be shorter.
  • the evaluation index data generation unit 1303 further obtains the motion amount (motion vector length) of each generated motion vector. That is, the evaluation index data generation unit 1303 generates a motion amount for each frame of each block for a predetermined period.
  • FIG. 25 is a diagram illustrating an example of a temporal change in the amount of movement of a certain block obtained by the evaluation index data generation unit 1303, that is, an example of a state of pulsation of cells.
  • the horizontal axis indicates the elapsed time (number of frames), and the vertical axis indicates the amount of movement (pixels / frame).
  • a curve 1311 (before) shows the pulsation of cultured cardiomyocytes 500 before drug administration
  • a curve 1312 (after) shows the pulsation of cultured cardiomyocytes 500 after drug administration.
  • the waveform for one beat one contraction and one relaxation is shown.
  • the pulsation of the cardiomyocytes is composed of contraction and relaxation, and the mountain formed on the left side in the curves 1311 and 1312 is due to the “contraction” operation, and the mountain formed on the right side is due to the “relaxation” operation. is there.
  • the point P1-1 indicates the contraction peak of the curve 1311 (before), and the point P1-2 indicates the relaxation peak of the curve 1311 (before).
  • the point P2-1 indicates the contraction peak of the curve 1312 (after), and the point P2-2 indicates the relaxation peak of the curve 1312 (after).
  • relaxation of the myocardium corresponds to the T wave as referred to in the electrocardiogram, and corresponds to repolarization of the myocardial cell membrane.
  • This extension of the T wave is generally called QT extension as an extension of the time between the Q wave and the T wave. If this symptom appears, the possibility of arrhythmia is pointed out.
  • QT extension is an extension of the time between the Q wave and the T wave.
  • DL-sotalol is known to inhibit potassium channels. That is, when DL-sotalol is administered to cultured cardiomyocytes 500, the relaxation process changes due to a change in potassium channel function that works in the relaxation process.
  • the relaxation peak is shifted before and after the drug administration. More specifically, the time at the point P2-2 is delayed (shifted) by the time d from the time at the point P1-2. That is, it is possible to confirm the occurrence of QT prolongation due to drug administration (for example, change in potassium channel function due to DL-sotalol administration).
  • this QT extension can be observed by conventional potential measurement, but a dedicated culture dish having electrodes is required. In pulsation imaging using calcium, only the left peak is basically observed, and it is difficult to observe the right peak. Therefore, it is not suitable for evaluation of this extension.
  • changes in cell pulsation behavior can be captured without adding any reagent such as a fluorescent dye to the cells and without using a special culture dish. That is, the evaluation can be performed easily, non-invasively and inexpensively.
  • the evaluation index data generation unit 1303 further uses, for example, a motion amount group arranged in time series from the motion amount of each motion vector (length of motion vector). Then, feature quantities for waveform comparison such as the coordinates of the points P2-1 and P2-2 or the time d are calculated, and the feature quantities are supplied to the evaluation unit 1304 as evaluation index data.
  • the evaluation unit 1304 images the supplied evaluation index data, evaluates it quantitatively, calculates an evaluation value for the movement of the cultured cardiomyocytes 500, and outputs it.
  • the evaluation unit 1304 displays the graph image indicating the pulsation pattern as shown in FIG. 25, for example, or determines whether or not the QT extension has occurred by determining the threshold value of the time d indicating the degree of QT extension. Judgment.
  • the graph shown in FIG. 25 is an example of imaging, and other than this, for example, the pulsation pattern of the cell may be expressed by an arbitrary image such as a bar graph, a distribution diagram, or a schematic diagram. Good. Moreover, the medicine to evaluate is arbitrary.
  • FIG. 26 is a block diagram illustrating a main configuration example of the evaluation index data generation unit 1303.
  • the evaluation index data generation unit 1303 includes a motion detection unit 310, performs motion detection between the frame images of the evaluation target image data 600 (moving image), and calculates a motion vector for each block. Generate.
  • the evaluation index data generation unit 1303 includes a motion amount absolute value calculation unit 1321, a motion amount absolute value storage unit 1322, a feature amount calculation unit 1323, and a feature amount storage unit 1324.
  • the motion amount absolute value calculation unit 1321 calculates a motion amount (absolute value of the length of the motion vector) (hereinafter also referred to as a motion amount absolute value) for each motion vector detected by the motion detection unit 310.
  • the motion amount absolute value calculation unit 1321 stores the calculated motion amount absolute value in the motion amount absolute value storage unit 1322.
  • the motion amount absolute value storage unit 1322 stores the motion amount absolute value for each block between all frames of the evaluation target image data 600. For example, when there are a plurality of evaluation target image data before and after drug administration, the motion amount absolute value storage unit 1322 stores the motion amount absolute value for each evaluation target image data.
  • the feature amount calculation unit 1323 calculates a predetermined feature amount used for evaluation using the motion amount absolute value stored in the motion amount absolute value storage unit 1322.
  • the feature amount storage unit 1324 stores the feature amount calculated by the feature amount calculation unit 1323. This feature amount is supplied to the evaluation unit 1304 as evaluation index data 800 at a predetermined timing or in response to a request from the evaluation unit 1304 or the like.
  • FIG. 27 is a block diagram illustrating a main configuration example of the evaluation unit 1304.
  • the evaluation unit 1304 includes a feature amount acquisition unit 1341, a feature comparison unit 1342, a display unit 1343, and an output unit 1344.
  • the feature quantity acquisition unit 1341 uses, as the evaluation index data 800, a desired feature quantity (for example, the feature quantity of the evaluation target (cultured cardiomyocytes 500) designated by the user) from the evaluation index data generation unit 1303 (feature quantity storage unit 1324). get.
  • the feature amount acquisition unit 1341 supplies the acquired feature amount to the display unit 1343 for display, or supplies the acquired feature amount to the output unit 1344 for supply to another device.
  • the feature amount acquisition unit 1341 supplies the acquired feature amount to the feature comparison unit 1342.
  • the feature comparison unit 1342 quantitatively evaluates the supplied feature amount. For example, the feature comparison unit 1342 quantitatively compares the feature amounts of the plurality of cultured cardiomyocytes 500 with each other, for example, before and after drug administration, and compares the feature amounts with a predetermined threshold. evaluate.
  • the feature comparison unit 1342 supplies the comparison result to the display unit 1343 for display, or supplies the comparison result to the output unit 1344 for supply to another device.
  • the display unit 1343 includes a display device such as a monitor, for example, converts the data supplied from the feature amount acquisition unit 1341 or the feature comparison unit 1342 into an image, and displays the image on the display device. For example, the display unit 1343 generates and displays a graph as shown in FIG. 25, for example, using the amount of motion acquired by the feature amount acquisition unit 1341. Further, for example, the display unit 1343 images and displays the evaluation result supplied from the feature comparison unit 1342.
  • a display device such as a monitor, for example, converts the data supplied from the feature amount acquisition unit 1341 or the feature comparison unit 1342 into an image, and displays the image on the display device. For example, the display unit 1343 generates and displays a graph as shown in FIG. 25, for example, using the amount of motion acquired by the feature amount acquisition unit 1341. Further, for example, the display unit 1343 images and displays the evaluation result supplied from the feature comparison unit 1342.
  • the output unit 1344 has an interface such as an external terminal, for example, and outputs data supplied from the feature amount acquisition unit 1341 or the feature comparison unit 1342 to an external device, a network, or the like.
  • the drug evaluation device 1300 can easily and non-invasively evaluate the influence of the drug administration on the pulsation of the cardiomyocytes.
  • the evaluation unit has been described as evaluating the occurrence of QT extension, but the parameter to be evaluated may be other than this. That is, the calculated feature amount is also arbitrary.
  • a difference in motion amount between the points P1-2 and P2-2 may be used as the feature amount.
  • the difference between the time and the amount of motion between the points P1-1 and P2-1 may be used as the feature amount.
  • the width of the contraction peak or the width of the relaxation peak may be used as the feature amount.
  • other parameters may be used as the feature amount.
  • the evaluation unit 1304 may perform such evaluation for all blocks in the observation region or for some blocks. Furthermore, the evaluation unit 1304 may perform such evaluation for all the pulsations in the observation period, or may be performed for some pulsations.
  • the imaging unit 1101 of the drug evaluation device 1300 images the evaluation target in step S1301.
  • the evaluation target image data generation recording unit 1102 generates evaluation target image data from the image signal obtained by imaging in step S1301.
  • step S1303 the evaluation index data generation unit 1303 generates evaluation index data using the evaluation target image data generated in step S1302.
  • the evaluation unit 1304 evaluates the influence of the drug by observing the pulsation pattern (eg, QT prolongation) of the cultured cardiomyocytes 500 before and after the drug administration using the evaluation index data generated in step S1303. To do.
  • step S1305 the output unit 1344 of the evaluation unit 1304 outputs the evaluation value calculated in step S1304 to the outside of the drug evaluation device 1300, and ends the evaluation process.
  • the display unit 1343 may image the evaluation value and display the image on the display device as described above. Further, as described above, the display unit 1343 may image various feature amounts calculated in the process of step S1303 and display them on the display device, or the output unit 1344 may display the various feature amounts as a drug. You may make it output outside the evaluation apparatus 1300. FIG.
  • the motion detection unit 310 of the evaluation index data generation unit 1303 detects the motion of the evaluation target for each block and generates a motion vector in step S1321.
  • the motion amount absolute value calculation unit 1321 calculates the motion amount absolute value of the motion vector generated in step S1321.
  • step S1323 the motion amount absolute value storage unit 1322 stores the motion amount absolute value calculated in step S1322.
  • step S1324 the motion detection unit 310 determines whether motion detection has been performed for a predetermined period (evaluation interval). When it is determined that there is a frame image for which motion detection has not been performed in the predetermined evaluation section, the motion detection unit 310 returns the process to step S1321 and repeats motion detection for a new processing target frame image.
  • step S1324 If it is determined in step S1324 that motion detection has been performed on all the frame images to be processed in the predetermined evaluation section, the motion detection unit 310 advances the process to step S1325.
  • step S1325 the feature amount calculation unit 1323 calculates a feature amount using the motion amount absolute value stored in step S1323.
  • the feature amount storage unit 1324 stores the feature amount calculated in step S1325.
  • step S1327 the feature amount calculation unit 1323 determines whether or not the calculation of the feature amount has been repeated a predetermined number of times (for example, S times). If it is determined that the predetermined number of times has not been reached, the process is performed. The process returns to S1321, and the subsequent processing is repeated. If it is determined in step S1327 that the feature quantity calculation has been repeated a predetermined number of times, the feature quantity calculation unit 1323 ends the evaluation index data generation process, returns the process to FIG. 28, and executes the processes in and after step S1304.
  • the feature amount acquisition unit 1341 of the evaluation unit 1304 acquires a desired motion vector from the feature amount storage unit 1324 in step S1341.
  • step S1342 the feature comparison unit 1342 compares the feature amount acquired in step S1341 between the objects.
  • the feature comparison unit 1342 ends the impact evaluation process, returns the process to FIG. 28, and causes the process of step S1305 to be executed.
  • the drug evaluation apparatus 1300 obtains the influence on the pulsation of the myocardial cells by the drug administration by obtaining the feature value regarding the temporal change of the movement amount of the observation target whose movement is detected by the evaluation unit 1304. Can be easily evaluated. Since this method does not use a special culture dish or fluorescent reagent, it can be evaluated simply, non-invasively and inexpensively, and is also suitable for automation. In this method, the observation area may be a relatively narrow range, for example, about 0.6 mm square, and the test can be performed with a small number of cells and a small reagent.
  • FIG. 31 is a diagram showing an example of pulsation before and after drug administration.
  • Each of the eight graphs shown in FIG. 31 is an observation result of the state of pulsation (a temporal change in the absolute value of the amount of movement) of a predetermined portion in the observation region of the cultured cardiomyocytes 500.
  • the horizontal axis indicates time (sec), and the vertical axis indicates the motion amount absolute value (pixcel / frame) between frames. That is, each amplitude shown in each graph represents the pulsation of cultured cardiomyocytes 500.
  • the top graph shows the pulsation before and after the administration of an organic solvent (control) (for example, dimethyl sulfoxide).
  • the second graph from the top shows the state of pulsation before and after administration of aspirin (aspirin (acetylsalicylic acid)).
  • the third graph from the top shows the state of pulsation before and after administration of DL-sotalol.
  • the bottom 3D plot shows the state of pulsation before and after administration of 18- ⁇ -Glycyrrhetinic acid.
  • the function of the potassium channel is inhibited, whereby not only the relaxation waveform (beat width) changes (becomes unstable) but also the right side of FIG. As shown in the third graph from the top, the beat timing becomes unstable (the peak interval varies). Also, the absolute value of the amount of movement at the peak becomes unstable (varies occur).
  • 18- ⁇ -glycyrrhetinic acid is known to inhibit gap junctions. Even when this 18- ⁇ -glycyrrhetinic acid is administered, the pulsation timing and the absolute value of the amount of movement at the peak become unstable as shown in the graph in the fourth row from the upper right of FIG. Occurs).
  • FIG. 32 is a diagram showing an example of pulsation variation before and after drug administration.
  • Each of the eight graphs shown in FIG. 32 is obtained by superimposing pulsation waveforms (a plurality of pulsations) repeated in a predetermined portion within the observation region of cultured cardiomyocytes 500.
  • each graph represents time (sec)
  • the vertical axis represents the absolute value of motion amount between frames (pixcel / frame).
  • the left graph shows the pulsation before drug administration
  • the right graph shows the pulsation after drug administration (after a predetermined time has elapsed since administration).
  • the drugs to be administered are, in order from the top, organic solvent (control), aspirin (aspirin (acetylsalicylic acid)), DL-sotalol, 18- It is ⁇ -glycyrrhetinic acid (18- ⁇ -Glycyrrhetinic acid).
  • each pulse of myocardial cells does not vary as much as before administration.
  • 18- ⁇ -glycyrrhetinic acid has a large variation in peak height in the contraction waveform as shown in the fourth graph from the upper right side of FIG. 31 due to the inhibition of the gap junction function. Occurs.
  • the correlation between pulsations between cells is observed by observing changes in the state of pulsation caused by drug administration with respect to specific cells (specific partial regions) within the observation region of cultured cardiomyocytes 500. Information that cannot be obtained simply by doing. Therefore, drug evaluation can be performed using an index different from that used when observing the correlation of pulsation between cells.
  • a CPU (Central Processing Unit) 1501 of the personal computer 1500 has various types according to a program stored in a ROM (Read Only Memory) 1502 or a program loaded from a storage unit 1513 to a RAM (Random Access Memory) 1503. Execute the process.
  • the RAM 1503 also appropriately stores data necessary for the CPU 1501 to execute various processes.
  • the CPU 1501, the ROM 1502, and the RAM 1503 are connected to each other via a bus 1504.
  • An input / output interface 1510 is also connected to the bus 1504.
  • the input / output interface 1510 includes an input unit 1511 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 1512 including a speaker, a hard disk, and the like.
  • a communication unit 1514 including a storage unit 1513 and a modem is connected. The communication unit 1514 performs communication processing via a network including the Internet.
  • a drive 1515 is connected to the input / output interface 1510 as necessary, and a removable medium 1521 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted, and a computer program read from them is loaded. It is installed in the storage unit 1513 as necessary.
  • a program constituting the software is installed from a network or a recording medium.
  • this recording medium is distributed to distribute a program to a user separately from the apparatus main body, and includes a magnetic disk (including a flexible disk) on which a program is recorded, an optical disk ( It is only composed of removable media 1521 consisting of CD-ROM (compact disc-read only memory), DVD (including digital Versatile disc), magneto-optical disk (including MD (mini disc)), or semiconductor memory. Rather, it is composed of a ROM 1502 on which a program is recorded and a hard disk included in the storage unit 1513, which is distributed to the user in a state of being incorporated in the apparatus main body in advance.
  • a magnetic disk including a flexible disk
  • an optical disk It is only composed of removable media 1521 consisting of CD-ROM (compact disc-read only memory), DVD (including digital Versatile disc), magneto-optical disk (including MD (mini disc)), or semiconductor memory. Rather, it is composed of a ROM 1502 on which a program is recorded and a hard disk included in the storage unit 1513, which is
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • a plurality of frame image data forming moving image data having an image content of an object that performs periodic motion is divided into blocks having an array of a predetermined number of pixels, and time-series data of movement for each block is detected.
  • a motion detector A feature amount calculation unit that calculates at least one type of feature amount for each block based on the detected time-series data of each block; Classification data indicating the result of classifying each of the blocks forming any one of the plurality of frame image data as belonging to any one of a predetermined number of classification categories is used as the calculated feature amount.
  • a data processing apparatus comprising: a classification processing unit that is generated based on the classification processing unit.
  • the feature quantity calculation unit calculates a plurality of types of feature quantities for each block, The data processing device according to (1), wherein the classification unit generates the classification data based on the calculated plural types of the feature amounts.
  • the feature amount calculation unit calculates an average motion direction that is an average value of motion directions per unit time in a fixed time as one type of the feature amount. Data processing according to (1) or (2) apparatus.
  • the feature amount calculation unit calculates an average motion amount that is an average value of motion amounts per unit time in a fixed time as one type of the feature amount. (1) to (3) Data processing equipment.
  • the feature amount calculation unit calculates an average amplitude that is an average value of amplitudes of a certain amount or more of the motion amount obtained in a certain time as one type of the feature amount.
  • the feature amount calculation unit calculates an average acceleration that is an average value of motion acceleration per unit time in a fixed time as one type of the feature amount. Data processing equipment. (7) The feature amount calculation unit calculates an average motion interval that is an average value of time intervals at which a certain amount of motion amount amplitude is obtained in a certain time as one type of the feature amount. ). (8) The feature amount calculation unit calculates a motion start time which is a time from a predetermined timing to a timing at which a certain amount of motion amount amplitude is obtained as one type of the feature amount. (1) to (7 ).
  • the classification unit calculates a distance between each of the plurality of templates having different combinations of feature amounts corresponding to the plurality of classification categories and the block, and the block is determined based on the calculated distance.
  • the data processing device according to any one of (1) to (8), wherein a process of classifying as belonging to any one of a plurality of classification categories is performed for each block.
  • the classification unit performs clustering by a k-means method based on the feature amount calculated corresponding to each block, so that each of the blocks is one of a predetermined number of classification categories.
  • the data processing device according to any one of (1) to (9).
  • a plurality of frame image data forming moving image data having an image content of an object that performs periodic motion is divided into blocks having an array of a predetermined number of pixels, and time-series data of movement for each block is detected.
  • Classification data indicating the result of classifying each of the blocks forming any one of the plurality of frame image data as belonging to any one of a predetermined number of classification categories is used as the calculated feature amount.
  • a data processing method comprising: a classification processing procedure generated based on the data.
  • a motion detection unit that detects a motion of the evaluation target using an image of the evaluation target; Index data that shows the characteristics of the motion of the evaluation target using a motion vector indicating the motion of the evaluation target detected by the motion detection unit, and generates index data used as an index for the evaluation of the evaluation target
  • An image processing apparatus comprising: an evaluation value calculation unit that evaluates the index data generated by the index data generation unit and calculates an evaluation value.
  • the index data generation unit generates index data related to the amplitude of the motion of the evaluation target and index data related to the frequency per unit time of the peak of the motion of the evaluation target
  • the evaluation value calculation unit calculates an evaluation value for evaluating the magnitude of the motion of the evaluation target using the index data relating to the amplitude of the motion of the evaluation target generated by the index data generation unit. Further, the evaluation value for evaluating the frequency per unit time of the peak of the motion of the evaluation target using the index data related to the frequency per unit time of the peak of the motion of the evaluation target generated by the index data generation unit.
  • the index data regarding the magnitude of the motion amplitude of the evaluation target is an average value of the entire image of the evaluation target of the product of the normalized amplitude and the normalized variance of the amplitude (13 ).
  • the index data relating to the magnitude of the motion amplitude of the evaluation target is the evaluation of a region where the value of the product of the normalized amplitude and the normalized variance of the amplitude is greater than or equal to a predetermined threshold value.
  • the index data regarding the frequency per unit time of the motion peak of the evaluation target is a product of the normalized number of peaks per unit time and the normalized variance of the number of peaks per unit time.
  • the index data regarding the frequency per unit time of the motion peak of the evaluation target is a product of the normalized number of peaks per unit time and the normalized variance of the number of peaks per unit time.
  • the index data generation unit further generates index data related to a classification result obtained by classifying each partial region of the evaluation target image based on the feature quantity of the evaluation target motion
  • the evaluation value calculation unit further calculates an evaluation value for evaluating the classification result of the feature quantity of the motion to be evaluated using the index data related to the classification result generated by the index data generation unit (13 ) To (17).
  • the index data generation unit calculates a motion amount of the evaluation target detected by the motion detection unit, The image processing device according to any one of (12) to (18), wherein the evaluation value calculation unit images and displays a temporal change in the amount of motion calculated by the index data generation unit.
  • the index data generation unit indicates index data indicating a change due to administration of a drug to the cardiomyocytes of a peak of a waveform indicating relaxation of the cardiomyocytes to be evaluated in the temporal change of the calculated amount of motion.
  • the motion detection unit detects the motion of the evaluation target between the frame images in the evaluation period of a predetermined length of the evaluation target image that is a moving image.
  • the image processing apparatus according to any one of the above.
  • the image processing device according to (22), wherein the motion detection unit repeats the detection of the motion of the evaluation target in the evaluation period a predetermined number of times.
  • the evaluation value calculation unit evaluates each of the plurality of types of index data generated by the index data generation unit, calculates an evaluation value, and integrates the calculated evaluation values, thereby evaluating the evaluation
  • the image processing apparatus according to any one of (12) to (23), wherein an evaluation value for evaluating an object is calculated.
  • the image processing device according to any one of (12) to (24), wherein the evaluation target is a cell that moves spontaneously.
  • the evaluation target is a cultured cell generated by culturing a cell collected from a living body.
  • the motion detection unit of the image processing device detects the motion of the evaluation target using the evaluation target image, An index used by the index data generation unit of the image processing device to indicate the characteristics of the motion of the evaluation target using a detected motion vector indicating the motion of the evaluation target, and to be used as an index for the evaluation of the evaluation target Generate data, An image processing method, wherein an evaluation value calculation unit of the image processing apparatus evaluates the generated index data and calculates an evaluation value.
  • a motion detector that detects the motion of the evaluation object using an image of the evaluation object; Using a motion vector indicating the detected motion of the evaluation target, an index data generation unit that indicates the characteristics of the motion of the evaluation target and generates index data used as an index for the evaluation of the evaluation target; A program for evaluating the generated index data and causing it to function as an evaluation value calculation unit that calculates an evaluation value.

Abstract

　本開示は、的確かつ詳細な培養心筋細胞の評価を行うための評価指標データを生成することができるようにするデータ処理装置およびデータ処理方法に関する。　動き検出部は、培養心筋細胞を一定時間撮影して得られるフレーム画像データをブロックに分割し、フレーム周期ごとのブロック単位の動き検出データを得る。特徴量算出部は、動き検出データを利用してフレーム画像における同じ位置のブロックごとに特徴量を算出する。分類処理部は、算出された特徴量を利用して、ブロックの各々について複数の分類区分のうちの何れか１つに分類する。この分類結果に基づき、ブロックと分類区分との対応を示す個別分類結果データから成る評価指標データを生成する。

Description

データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
　本開示は、データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラムに関し、特に、周期性を有する運動を行う物体について評価を行う際の指標となるデータを生成するデータ処理装置およびその方法、画像処理装置および方法、並びに、プログラムに関する。
　再生医療の分野においては、細胞を培養して製造した培養細胞を利用し、事故や病気などにより失われた体の細胞、組織、器官などの再生、また機能の回復を図るということが行われている。このような培養細胞として製造できる細胞組織は多岐にわたるが、その中の１つに心筋細胞があり、心臓の治療に用いられる。この培養心筋細胞はそれ自体が拍動に相当する動きをする。そこで、培養心筋細胞の製造段階においては、例えば上記の動きが良好かどうかについての品質評価を行うことが必要になってくる。
　このような培養心筋細胞の品質評価を行うにあたり、例えば現状においては、目視による観察が行われている。また、培養心筋細胞に電極を刺して電位を測定するということも行われている。しかし、目視による観察では、観察者の主観によるところが大きく、客観的で的確な評価結果を得ることが難しい。また、電位を測定する場合においては培養心筋細胞に電極が接触するために非侵襲ではないという問題がある。また、この電位による測定に基づいて定量化できる情報は例えば拍動時間程度に限られる。
　そこで、従来技術として、心筋細胞を撮影して得られる撮像画面中に測定点を設定し、この測定点の輝度を自動計測して、その計測値から心筋細胞の変形周期を測定しようとする構成が知られている（例えば、特許文献１参照。）。
特開昭６３－２３３３９２号公報（図１）
　しかし、上述の従来技術では、輝度の周期的変化を測定対象としているために、測定が可能であるのは拍動周期の時間間隔に限定される。すなわち、非侵襲ではあるが、定量化できる情報が拍動の周期にとどまるという点では、電位を測定する場合と同じ問題を抱えたままとなっており、的確な評価結果を得ることは依然として難しい。
　本開示は、このような状況に鑑みてなされたものであり、培養心筋細胞などに代表される周期的な運動を行う物体の動きについて、これまでよりも高精度で的確な評価が行えるようにすることをその目的とする。
　本開示は、上記課題を解決するためになされたものであり、その第１の側面は、周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出部と、上記検出されたブロックごとの動きの時系列データに基づいて、上記ブロックごとに少なくとも１種類の特徴量を算出する特徴量算出部と、上記複数のフレーム画像データの何れか１つを形成する上記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類した結果を示す分類データを上記算出された特徴量に基づいて生成する分類処理部とを具備するデータ処理装置である。これにより、周期的な運動を行う物体の画像について、特徴量に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記特徴量算出部は、複数種類の上記特徴量を上記ブロックごとに算出し、上記分類部は、算出された複数種類の上記特徴量に基づいて上記分類データを生成してもよい。これにより、周期的な運動を行う物体の画像について、複数の特徴量の組み合わせに基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記特徴量算出部は、上記特徴量の１種類として一定時間における単位時間ごとの動き方向の平均値である平均動き方向を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均動き方向に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記特徴量算出部は、上記特徴量の１種類として一定時間における単位時間ごとの動き量の平均値である平均動き量を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均動き量に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記特徴量算出部は、上記特徴量の１種類として一定時間において得られた一定以上の動き量の振幅の平均値である平均振幅を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均振幅に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記特徴量算出部は、上記特徴量の１種類として一定時間における単位時間ごとの動きの加速度の平均値である平均加速度を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均加速度に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記特徴量算出部は、上記特徴量の１種類として一定時間において一定以上の動き量の振幅が得られる時間間隔の平均値である平均動き間隔を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも平均動き間隔に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記特徴量算出部は、上記特徴量の１種類として所定のタイミングから一定以上の動き量の振幅が得られるタイミングまでの時間である動き開始時間を算出してもよい。これにより、周期的な運動を行う物体の画像について、少なくとも動き開始時間に基づいて設定される分類区分ごとに応じて分類するという作用をもたらす。
　また、この第１の側面において、上記分類部は、上記複数の分類区分に対応して異なる特徴量の組み合わせを有する複数のテンプレートの各々と上記ブロックとの距離を算出し、算出された距離に基づいて上記ブロックを上記複数の分類区分のうちの何れか１つに属するものとして分類する処理を上記ブロックごとに行ってもよい。これにより、複数のテンプレートの各々と上記ブロックとの距離に基づいて分類結果を得るという作用をもたらす。
　上記分類部は、上記ブロックごとに対応して算出された特徴量に基づいてｋ平均法によるクラスタリングを行うことで、上記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類してもよい。これにより、ｋ平均法により分類結果を得るという作用をもたらす。
　本開示の他の側面は、評価対象の画像を用いて前記評価対象の動きを検出する動き検出部と、前記動き検出部により検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部と、前記指標データ生成部により生成された前記指標データを評価し、評価値を算出する評価値算出部とを備える画像処理装置である。
　前記指標データ生成部は、前記評価対象の動きの振幅の大きさに関する指標データと、前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを生成し、前記評価値算出部は、前記指標データ生成部により生成された前記評価対象の動きの振幅の大きさに関する指標データを用いて、前記評価対象の動きの振幅の大きさ評価する評価値を算出し、さらに、前記指標データ生成部により生成された前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを用いて、前記評価対象の動きのピークの単位時間当たりの頻度を評価する評価値を算出することができる。
　前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と、正規化した前記振幅の分散との積の前記評価対象の画像全体の平均値であるようにすることができる。
　前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と正規化した前記振幅の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合であるようにすることができる。
　前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と、正規化した単位時間当たりの前記ピークの数の分散との積の画面全体の平均値であるようにすることができる。
　前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と正規化した単位時間当たりの前記ピークの数の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合であるようにすることができる。
　前記指標データ生成部は、さらに、前記評価対象の動きの特徴量に基づいて前記評価対象の画像の各部分領域を分類した分類結果に関する指標データを生成し、
　前記評価値算出部は、さらに、前記指標データ生成部により生成された前記分類結果に関する指標データを用いて、前記評価対象の動きの特徴量の分類結果を評価する評価値を算出することができる。
　前記指標データ生成部は、前記動き検出部により検出された前記評価対象の動き量を算出し、前記評価値算出部は、前記指標データ生成部により算出された前記動き量の時間的変化を画像化し、表示することができる。
　前記指標データ生成部は、算出した前記動き量の時間的変化の、前記評価対象である心筋細胞の弛緩を示す波形のピークの、前記心筋細胞への薬剤投与による変化を示す指標データを生成し、前記評価値算出部は、前記指標データ生成部により算出された前記指標データを評価し、評価値を算出することができる。
　前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、前記動き検出部は、前記撮像部により得られた前記評価対象の画像を用いて前記評価対象の動きを検出することができる。
　前記動き検出部は、動画像である前記評価対象の画像の、所定の長さの評価期間の各フレーム画像間の前記評価対象の動きを検出することができる。
　前記動き検出部は、前記評価期間の前記評価対象の動きの検出を、所定回数繰り返すことができる。
　前記評価値算出部は、前記指標データ生成部により生成された複数種類の前記指標データのそれぞれを評価して評価値を算出し、算出した各評価値を統合することにより、前記評価対象を評価する評価値を算出することができる。
　前記評価対象は、自発的に動く細胞であるようにすることができる。
　前記評価対象は、生体より採取した細胞を培養して生成した培養細胞であるようにすることができる。
　本開示の他の側面は、また、画像処理装置の動き検出部が、評価対象の画像を用いて前記評価対象の動きを検出し、前記画像処理装置の指標データ生成部が、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成し、前記画像処理装置の評価値算出部が、生成された前記指標データを評価し、評価値を算出する画像処理方法である。
　本開示の他の側面は、さらに、コンピュータを、評価対象の画像を用いて前記評価対象の動きを検出する動き検出部、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部、生成された前記指標データを評価し、評価値を算出する評価値算出部として機能させるためのプログラムである。
　本開示の他の側面においては、評価対象の画像が用いられて評価対象の動きが検出され、検出された評価対象の動きを示す動きベクトルが用いられて、評価対象の動きの特徴を示し、評価対象の評価のための指標として用いられる指標データが生成され、生成された指標データが評価され、評価値が算出される。
　本開示によれば、周期的な運動を行う物体についての高精度で的確な評価を可能とするための指標となる分類データが得られるという優れた効果を奏し得る。
培養心筋細胞評価システム１００の構成例を示す図である。 評価指標データ生成装置３００の構成例を示すブロック図である。 評価対象画像データ６００の構造例を模式的に示す図である。 動き検出部３１０の構成例を示すブロック図である。 フレーム画像データ６１０をブロック６１１に分割する処理を模式的に示す図である。 動き検出データ７００の構造例を模式的に示す図である。 算出される特徴量の例を示す図である。 第１の実施の形態に対応して算出される特徴量の１つである平均動き方向に対応してテンプレートごとに設定される角度値の例を示す図である。 評価指標データ８００の構造例を模式的に示す図である。 第１の実施の形態に対応して評価指標データ生成装置３００が実行する処理手順例を示すフローチャートである。 第２の実施の形態に対応して評価指標データ生成装置３００が実行する処理手順例を示すフローチャートである。 細胞の他の評価方法の概要を説明する図である。 培養心筋細胞評価装置の主な構成例を示すブロック図である。 図１３の評価指標データ生成部の主な構成例を示すブロック図である。 動き特徴量データ履歴格納メモリに格納されるデータの様子を説明する図である。 図１３の評価部の主な構成例を示すブロック図である。 振幅の評価の例を説明する図である。 振幅の評価の例を説明する図である。 拍動の評価の例を説明する図である。 拍動の評価の例を説明する図である。 評価処理の流れの例を説明するフローチャートである。 評価指標データ生成処理の流れの例を説明するフローチャートである。 動き評価処理の流れの例を説明するフローチャートである。 薬剤評価装置の主な構成例を示すブロック図である。 一拍動による動き量の時間的変化の様子の例を説明する図である。 評価指標データ生成部の主な構成例を示すブロック図である。 評価部の主な構成例を示すブロック図である。 評価処理の流れの例を説明するフローチャートである。 評価指標データ生成処理の流れの例を説明するフローチャートである。 影響評価処理の流れの例を説明するフローチャートである。 薬剤投与による拍動リズムの変化の様子を説明する図である。 薬剤投与による拍動挙動のばらつきの様子を説明する図である。 パーソナルコンピュータの主な構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（評価指標データ生成処理：テンプレートを用いて分類処理を実行する例）
　２．第２の実施の形態（評価指標データ生成処理：ｋ平均法により分類処理を実行する例）
　３．第３の実施の形態（培養心筋細胞評価装置）
　４．第４の実施の形態（薬剤評価装置）
　５．第５の実施の形態（パーソナルコンピュータ）
　＜１．第１の実施の形態＞
　［培養心筋細胞評価システムの構成例］
　図１は、培養心筋細胞評価システム１００の構成例を示している。この図に示す培養心筋細胞評価システム１００は、培養心筋細胞５００の品質を評価するためのものである。
　再生医療においては、体外で培養した細胞を利用して各種の人体の組織、器官などを治療することが行われている。培養心筋細胞５００は、このような治療に供する細胞として心臓疾患向けに培養されたものである。現在では、このような培養細胞を量産し、十分な量を低コストで医療現場に供給可能とするための技術開発が行われている状況にある。このようにして培養細胞が量産される状況となった場合には、培養された細胞を効率よく、的確に評価できるようにすることが求められる。
　培養心筋細胞５００は、それ自体で拍動に相当する運動を行っている。培養心筋細胞５００は、上記の拍動に応じた動きが良好かどうかを評価することでその品質を判断することができる。このことに基づき、培養心筋細胞評価システム１００は、培養心筋細胞５００を撮影した動画像データを記録し、この記録された動画像データに対する動き検出結果に基づいて評価を行う。これにより、非侵襲でありながら目視による評価よりも、詳細で的確な評価結果が得られる。
　このための構成として、培養心筋細胞評価システム１００は、例えば図示するように、撮像装置１１０、評価対象画像データ生成記録装置２００、評価指標データ生成装置３００および評価装置４００を備える。
　撮像装置１１０は、評価対象である培養心筋細胞５００を撮影するためのものである。なお、この図においては撮像装置１１０により培養心筋細胞５００を直接撮影している状態を示しているが、実際においては、例えば培養心筋細胞５００の顕微鏡画像を撮像するようにして構成される。また、撮像に際しては、培養心筋細胞５００に対する撮像装置１１０の撮像位置は固定された状態とする。
　評価対象画像データ生成記録装置２００は、撮像装置１１０から入力される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存するための装置である。
　ここで生成される評価対象画像データは、例えば培養心筋細胞５００を撮像した画像信号から生成される動画像データとなる。
　評価指標データ生成装置３００は、例えば評価対象画像データ生成記録装置２００にて保存されている評価対象画像データとしての動画像データを入力して、培養心筋細胞５００の評価のための指標として用いられる評価指標データを生成する装置である。評価装置４００は、評価指標データ生成装置３００にて生成された評価指標データを処理することにより評価結果を得る装置である。
　［評価指標データ生成装置の構成例］
　図２は、評価指標データ生成装置３００の構成例を示している。この図に示す評価指標データ生成装置３００は、動き検出部３１０、動き検出データ格納部３２０、特徴量算出部３３０および分類処理部３４０を備える。なお、この図において示される評価対象画像データ６００は、評価対象画像データ生成記録装置２００にて記録されているものを再生して得られるものであり、前述のようにフレーム画像データから成る動画像データである。
　動き検出部３１０は、評価対象画像データ６００を入力して動き検出処理を実行する部位である。なお、この場合の動き検出部３１０による動き検出処理の具体例および動き検出データの構造例については後述する。また、動き検出データ格納部３２０は、上記動き検出部３１０の動き検出処理によりその検出結果として得られた動き検出データを格納する部位である。
　特徴量算出部３３０は、上記動き検出データ格納部３２０に格納されている動き検出データを利用して所定の特徴量を算出して取得する部位である。なお、ここで算出される特徴量の例については後述する。
　分類処理部３４０は、特徴量算出部３３０により得られた特徴量の情報に基づいて、分類処理を実行することで、評価指標データ８００を得るための部位である。この分類処理の具体例については後述する。また、分類処理部３４０によって得られる評価指標データ８００は、特許請求の範囲に記載の分類データの一例である。
　［評価対象画像データの構造］
　図３は、評価指標データ生成装置３００が入力する評価対象画像データ６００の構造例を示している。この図に示すように、評価対象画像データ６００は、一定時間分に対応する１番目から（Ｔ＋１）番目までのフレーム画像データ６１０－１乃至（Ｔ＋１）から成る。
　なお、評価対象画像データ生成記録装置２００において保存される評価対象画像データ６００としての動画像データは、そのまま図３に示すフレーム画像データ６１０－１乃至Ｔから成るものとされてもよい。または、フレーム画像データ６１０－１乃至Ｔを一部区間として含む動画像データであってもよい。後者の場合には、例えば評価対象画像データ生成記録装置２００に保存されている評価対象画像データ６００としての動画像データから、評価に最適であると判断した画像区間を抜き出す。そして、この画像区間による動画像データを、図３の評価対象画像データ６００として評価指標データ生成装置３００が入力すればよい。
　［動き検出部の構成例］
　図４は、動き検出部３１０の構成例を示している。この図に示す動き検出部３１０は、フレームメモリ３１１および動きベクトル算出部３１２を備える。フレームメモリ３１１は、評価対象画像データ６００として１フレーム期間ごとに順次入力されてくるフレーム画像データ６１０を保持する部位である。
　動きベクトル算出部３１２は、動きベクトルを算出する部位である。このために、動きベクトル算出部３１２は、現時刻の評価対象画像データ６００として入力されるフレーム画像データと、フレームメモリ３１１に保持されている１つ先の時刻のフレーム画像データとを入力する。そして、これらの２つフレーム画像データを利用して動きベクトルを算出する。算出された動きベクトルは、動き検出データ７００として動き検出データ格納部３２０にて保持される。
　次に上記図４に示す部位から成る動き検出部３１０が実行する処理について説明する。上述したように動きベクトル算出部３１２は、現時刻のフレーム画像データ６１０と１つ先の時刻のフレーム画像データ６１０を入力する。動きベクトル算出部３１２は、これらの入力したフレーム画像データ６１０をブロック単位に分割する。すなわち、図５に示すようにして、フレーム画像データ６１０により形成される二次元の画素領域について、水平方向においてはＭ個に分割し、垂直方向においてはＮ個に分割する。この結果、フレーム画像データ６１０は（Ｍ×Ｎ）個のブロック６１１に分割される。ブロック６１１の各々は、例えば（１６×１６）による画素から成る。この場合の動きベクトル算出部３１２は、動き検出処理として、ブロック６１１の単位を処理対象として動きベクトルを算出する。そして、この動き検出処理を１番目から（Ｔ＋１番目までのフレーム画像データ６１０を順次利用して実行していく。
　そして、Ｔ番目と（Ｔ＋１）番目のフレーム画像データ６１０を利用した最後の動き検出処理を完了した段階にて得られる動き検出データ７００は、図６に示すものとなる。まず、この図に示す動き検出データ７００は、Ｔ個のフレーム単位動き検出データ７１０－１乃至Ｔから成る。フレーム単位動き検出データ７１０－１乃至Ｔのそれぞれは、フレーム期間ごとに得られる現時刻のフレーム画像データ６１０と１つ先のフレーム画像データ６１０を対象に動き検出処理を行って得られたものとなる。例えば、３番目のフレーム単位動き検出データ７１０－１は、３番目のフレーム画像データ６１０－４と３番目のフレーム画像データ６１０－３を、それぞれ現時刻と１つ先の時刻のフレーム画像データとして入力して動き検出を行うことで得られものである。
　また、フレーム対応動き検出データ７１０－１乃至Ｔの各々は、（Ｍ×Ｎ）個のブロック単位動き検出データ７１１により形成される。ブロック単位動き検出データ７１１は、それぞれが１つのブロック６１１に対応し、対応するブロック６１１について検出された動きベクトルを示すデータとなる。このように、動き検出データ７００は、フレーム対応動き検出データ７１０ごとに（Ｍ×Ｎ）個のブロック単位動き検出データ７１１を有する構造となっている。これは、フレーム画像データ６１０を形成するブロック６１１ごとに対応して動きベクトルについての時系列のデータが得られていることを意味する。
　［特徴量算出部が算出する特徴量例］
　特徴量算出部３３０は、動き検出データ格納部３２０に格納された動き検出データ７００を利用して複数の特徴量を算出する。まず、特徴量算出部３３０が算出して取得する特徴量の例について図７を参照して説明する。
　図７は、或る１つのブロック６１１に対応するブロック単位動き検出データ７１１が示す動きベクトルを時系列により示している。すなわち、１つのブロック６１１に対応するブロック単位動き検出データ７１１は、図６にて説明したように、フレーム対応動き検出データ７１０がＴ個であることに対応して同じくＴ個となる。図７は、このＴ個のブロック単位動き検出データ７１１が示す動きベクトルを時系列順にサンプルしたものである。
　なお、ブロック単位動き検出データ７１１は、動きベクトルの情報として水平方向成分の動き量と垂直方向成分の動き量を有するものとされ、図７においては、この水平方向成分または垂直方向成分の何れか一方の動き量が示されているものとする。図７においては縦軸に動き量をとり、横軸にフレーム、すなわち時間をとっている。
　また、以降の説明においては、図７にも示すように、Ｔ個のブロック単位動き検出データ７１１（すなわち、動き量のデータ）を時系列方向に展開したことに応じて得られる一定時間相当の区間について「評価区間」ということにする。
　算出し得る特徴量の例として、ここでは、平均動き量Ｖａｖ、平均動き方向θａｖ、平均振幅Ａａｖ、平均加速度Ｂａｖ、平均拍動間隔Ｄａｖおよび拍動開始時間Ｓを想定する。これらの特徴量は、以下の説明から理解されるように、何れも検出された動きベクトルに基づいて求められる。また、これらの特徴量はブロック６１１ごとに求められる。
　まず、平均動き量Ｖａｖについて説明する。図７に示すようにＴ個のブロック単位動き検出データ７１１によっては時間経過に応じた動き量の変化が示される。これは、培養心筋細胞５００において発生する拍動に応じて、培養心筋細胞５００が動く状態と静止する状態とで周期的に変化することに対応して得られているものである。この点からすると、例えば時間経過に応じた動き量の変化は、拍動に応じた特徴を有しているといえる。そこで本開示では、評価区間において得られるＴ個の動き量の平均を特徴量として扱うこととした。この平均動き量Ｖａｖは、ブロック単位動き検出データ７１１ごとにおいて動きベクトルとして得られる水平方向成分と垂直方向成分の各動き量をＶｘ、Ｖｙとし、フレーム順に対応した変数をｎとして、次式により求めることができる。
Figure JPOXMLDOC01-appb-M000001
 すなわち、平均動き量Ｖａｖとしては、まず、Ｔ個のブロック単位動き検出データ７１１ごとに水平方向成分と垂直方向成分の動き量Ｖｘ、Ｖｙを合成した合成動き量Ｖを求める。そして、これらのＴ個の合成動き量Ｖについての平均値を算出することで得る。
　あるいは、先に、評価期間における水平方向成分の動き量Ｖｘの平均値（水平平均動き量Ｖａｖｘ）と、垂直方向成分の動き量Ｖｙの平均値（垂直平均動き量Ｖａｖｙ）とを算出する。次に、水平平均動き量Ｖａｖｘと垂直平均動き量Ｖａｖｙとを合成して平均動き量Ｖａｖを算出してもよい。
　例えば、上記平均動き量Ｖａｖの値が大きいほど、そのブロック６１１に対応する培養心筋細胞５００の部分についての拍動に応じた動きは大きいものであると評価できる。
　次に、平均動き方向θａｖは、評価区間において求められるＴ個の動き方向θについての平均値となる。この平均動き方向θａｖは、次式により求めることができる
Figure JPOXMLDOC01-appb-M000002
　例えば、フレーム画像全体においてブロック６１１ごとに対応した平均動き方向θａｖの分布により、培養心筋細胞５００が拍動により動くときの方向について、どの程度に一様であるのかを評価できる。また、動き方向が一様でない部分がどのような分布状態となっているのかなどに関しても評価できる。
　例えば、培養心筋細胞５００の拍動の運動として実際に動きが生じている時に応じては、図７に示すようにして周期的に一定値以上の振幅が発生する。平均振幅Ａａｖは、評価区間において上記のようにして得られる一定値以上の振幅についての平均値である。平均振幅Ａａｖは、例えば次のようにして求めることができる。
　まず、評価区間におけるＫ個の動きベクトルである合成動き量Ｖについてピーク検出を行い、検出されたピーク値を平均化して平均振幅Ａａｖを求めるというものである。あるいは、まず水平方向成分の動き量についてピーク検出を行い、検出されたピーク値を平均化して水平方向成分の平均振幅（水平平均振幅）Ａａｖｘを求める。同様にして、垂直方向成分の平均振幅（垂直平均振幅）Ａａｖｙを求める。次に、これら水平平均振幅Ａａｖｘと垂直平均振幅Ａａｖｙを合成する演算を行うことで平均振幅Ａａｖを算出するという演算も考えられる。例えば平均振幅Ａａｖが大きいほど、そのブロック６１１に対応する培養心筋細胞５００の部分での拍動に応じた動きが大きいと評価できる。
　また、図７に示されるように、時系列における動き量の変化は拍動による動きについての加速度の変化も示しているといえる。平均加速度Ｂａｖは、評価区間において求められる加速度についての平均値であり、例えば次のようにして求めることができる。
　まず、例えば時系列順において前後する所定数のブロック単位動き検出データ７１１が示す合成動き量Ｖを微分演算する。これを、１番目からＴ番目のブロック単位動き検出データ７１１について行うことで、評価区間における所定時間ごとの加速度Ｂが算出される。そして、これらの加速度Ｂの平均値として平均加速度Ｂａｖを求めるというものである。あるいは、まず、時系列順において前後する所定数のブロック単位動き検出データ７１１が示す水平方向成分の動き量Ｖｘを順次微分して所定時間ごとの水平加速度Ｂｘを算出し、これら水平加速度Ｂｘの平均値として水平平均加速度Ｂａｖｘを求める。同様にして垂直平均加速度Ｂａｖｙを算出する。そして、これらの水平平均加速度Ｂａｖｘと垂直平均加速度Ｂａｖｙとを合成して平均加速度Ｂａｖを求めることもできる。例えば平均加速度Ｂａｖは、拍動に応じて培養心筋細胞５００が静止状態から動きのある状態に変化するときの敏速性の指標となる。平均加速度Ｂａｖが高ければ、対応する培養心筋細胞５００部分についての拍動に応じた動きはそれだけ活発であると評価できる。
　また、先にも述べたように、拍動に応じては周期的に振幅のピークが出現する。図７においては、この振幅のピークが出現する時間間隔を拍動間隔として示している。平均拍動間隔Ｄａｖは、評価区間において得られる拍動間隔の平均値であり、例えば次のようにして求めることができる。
　まず、平均振幅Ａａｖを求めたときのようにしてピーク検出を行う。そしてピークが検出されたフレームタイミング、すなわち時刻を求める。次に、１つのピークが検出された時刻から次のピークが検出される時刻の時間幅をそれぞれ拍動間隔Ｄとして算出する。そして、算出されたこれらの拍動間隔Ｄの平均値を算出することで平均拍動間隔Ｄａｖを求める。例えばフレーム全体におけるブロック６１１ごとの平均拍動間隔Ｄａｖの分布により、培養心筋細胞５００全体において拍動時間間隔がどの程度まで一様であるのかを評価できる。また、一様でない分布に着目した場合には、その拍動時間間隔のずれがどのような分布状態となっているのかを評価できる。平均拍動間隔Ｄａｖは、特許請求の範囲に記載の平均動き間隔の一例である。
　また、拍動開始時間Ｓは、評価区間が開始されてから最初の拍動の動きに応じた動き量の振幅のピークが得られるまでの時間を計測して得られるものである。この拍動開始時間Ｓも、例えばフレーム全体におけるブロック６１１ごとの拍動開始時間Ｓの分布により、培養心筋細胞５００全体において拍動開始タイミングがどの程度まで一様であるのかを評価できる。また、一様でない分布に着目した場合には、その拍動開始タイミングのずれがどのような分布状態となっているのかを評価できる。
　このようにして、上記の各特徴量は、何れも、検出された動きベクトル（動き量）に基づいて算出される。すなわち、本開示おいては、この動きベクトルの時系列データから多様な項目を定量化することが可能とされている。
　特徴量算出部３３０は、上記した平均動き量Ｖａｖ、平均動き方向θａｖ、平均振幅Ａａｖ、平均加速度Ｂａｖ、平均拍動間隔Ｄａｖおよび拍動開始時間Ｓの６つの特徴量の何れについても算出可能なようにして構成可能である。例えば実際においては、これらの特徴量のうちから、分類処理部３４０が実行する分類処理に際して必要となる特徴量を算出することになる。
　［分類処理例］
　分類処理部３４０は、上記のようにして特徴量算出部３３０により算出される複数種類の特徴量を利用して分類処理を実行し、その分類処理結果を評価指標データ８００として得る。このような分類手法としてはいくつか考えられるが、ここでは、クラスタリングといわれる手法を採用することとする。すなわち、クラスタといわれる分類区分を複数設定し、図５に示したフレーム画像データ６１０を形成する各ブロック６１１を、その特徴量に応じて複数のクラスタのうちの何れかに分類しようというものである。
　このクラスタリングによる分類処理の具体例として、第１の実施の形態においてはテンプレート法を採用する。また、採用する特徴量としては、先に想定したもののうち、平均動き量Ｖａｖと平均動き方向θａｖの２つとする。これに応じて、特徴量算出部３３０は、平均動き量Ｖａｖと平均動き方向θａｖを算出する。
　この場合の分類処理部３４０は、平均動き量Ｖａｖと平均動き方向θａｖとの組み合わせにより、例えば次の第１乃至第５テンプレートを有するものとする。なお、これらのテンプレートの説明に際しては図８を参照する。図８は、下記第１乃至第５テンプレートにおいて規定される平均動き方向θの具体例を示している。
　まず、第１テンプレートは、次式により示されるものとなる。
　　（Ｖａｖ，θａｖ）＝（０，０）
　上式において、（Ｖａｖ，θａｖ）は、平均動き量Ｖａｖと平均動き方向θａｖの組み合わせを示す。そして、上式において平均動き量Ｖａｖは「０」であり、これは評価区間にわたって動き量が０であることを示す。すなわち、第１テンプレートは、ブロック６１１の位置に対応する画像部分が評価区間内おいて静止したままの状態をテンプレートとしたものである。
　また、第２テンプレートは、次式により示されるものとなる。
　　（Ｖａｖ，θａｖ）＝（ａ，０）
　上式におけるａは平均動き量Ｖａｖとしての０以外の任意の値を取り得る。すなわち、第２テンプレートは、そのブロック６１１の位置に対応する画像部分に動きが有り、かつ、平均動き方向θａｖが図８に示す「０」の方向である組み合わせをテンプレートとしたものである。
　また、第３テンプレートは、次式により示されるものとなる。
　　（Ｖａｖ，θａｖ）＝（ａ，π／４）
　すなわち、第３テンプレートは、そのブロック６１１の位置に対応する画像部分に動きがあり、かつ、平均動き方向θａｖが「π／４（４５°）」の方向である組み合わせをテンプレートとしたものである。
　また、第４テンプレートは、次式により示されるものとなる。
　　（Ｖａｖ，θａｖ）＝（ａ，π／２）
　すなわち、第４テンプレートは、そのブロック６１１の位置に対応する画像部分に動きがあり、かつ、平均動き方向θａｖが図８に示す「π／２（９０°）」の方向である組み合わせをテンプレートとしたものである。
　また、第５テンプレートは、次式により示されるものとなる。
　　（Ｖａｖ，θａｖ）＝（ａ，３π／４）
　すなわち、第５テンプレートは、そのブロック６１１の位置に対応する画像部分に動きがあり、かつ、平均動き方向θが図８に示す３π／４（１３５°）の方向である動きの状態をテンプレートとしたものである。
　第１乃至第５テンプレートが用意されることに応じては、各テンプレートに対応する５つのクラスタが存在することになる。ここでは、第１乃至第５テンプレートごとに対応する各１つのクラスタを第１乃至第５クラスタと称する。
　分類処理部３４０は、１つのブロック６１１について求められた特徴量の組み合わせ（Ｖａｖ，θａｖ）と上記第１乃至第５テンプレートとの各距離を算出する。そして、そのブロック６１１を、この算出された距離が最も近いテンプレートに対応するクラスタに属するものとして分類する。例えば、算出された距離が第３テンプレートと最も近ければ、そのブロック６１１は、第３クラスタに分類される。このような分類処理をブロック６１１ごとに対応して行う。この結果、フレーム画像データ６１０を形成するブロック６１１のそれぞれを第１乃至第５クラスタの何れかに分類した内容のデータが得られる。これが第１の実施の形態としての分類処理により得られる評価指標データ８００となる。
　図９は、第１の実施の形態としての分類処理により得られる評価指標データ８００を模式的に示している。この図に示すようにして、評価指標データ８００は、（Ｍ×Ｎ）個の個別分類結果データ８０１の群から成る。個別分類結果データ８０１のそれぞれは、フレーム画像データ６１０を形成するブロック６１１と１対１で対応しており、対応するブロック６１１が分類されたクラスタが第１乃至第５クラスタのうちの何れであるのかを示す情報を有する。図においては、個別分類結果データ８０１ごとにおいて示される１乃至５の数字により、その個別分類結果データ８０１に対応するブロック６１１が第１乃至第５クラスタの何れに分類されたものかを示している。
　また、図９では、評価指標データ８００として、個別分類結果データ８０１を（Ｍ×Ｎ）個のマトリクスにより配列させた構造を示している。このようにして配置された個別分類結果データ８０１の各々は、フレーム画像データ６１０において同じ位置に配置されたブロック６１１に対応する。
　例えばこの図９に示す構造の評価指標データ８００では、１フレームの画像内における第１乃至第５クラスタの分布が示されているといえる。これは、撮像された培養心筋細胞５００の全体において、どの部分に動きがあってどの部分に動きがないのか、また、動いている部分についてはどの方向への動きであるのかという情報が提示されているものと捉えられる。より具体的には、次のようにして培養心筋細胞５００の拍動に関する動きを把握できる。
　例えば、培養心筋細胞５００としては、まず、動きのあることが必要であり、動きの無い部分の多いものについては品質が良くないものとして評価される。図９に示す評価指標データ８００では、第１クラスタに分類された個別分類結果データ８０１の数により、この点を評価することができる。
　また、培養心筋細胞５００は、同じ拍動による動きであるとしても、その動きの方向ができるだけそろっているほうがより品質が高い。例えば、図９に示す評価指標データ８００であれば、各クラスタの占有率をヒストグラム化するなどして、培養心筋細胞５００全体における拍動による動きの方向がどの程度の割合で揃っているのかを評価できる。さらに、その動きの方向についての割合だけではなく、動き方向の異なる場合に、これらの部分の分布状態がどのようなものであるのかについても、図９に示すクラスタの分布によって的確に知ることができる。
　図９の評価指標データ８００の例では、フレーム画像データ６１０に対応させた個別分類結果データ８０１の配列における中央の広い領域で第３クラスタに分類された個別分類結果データ８０１が分布している。これは、評価対象の培養心筋細胞５００が、概ね、図８に示した（π／４（４５°））の方向に動く傾向を有していることを示している。例えば評価者がこのような動き方向の分布状態を確認したい場合には、評価装置４００により、図９に準じて個別分類結果データ８０１に対応するブロック６１１ごとに分類されたクラスタに応じて色分けした画像を生成し、これを表示させる。そして、評価者がこの画像を確認することで、培養心筋細胞５００の動きの方向がどのような状態であるのかを的確に把握することができる。
　このようにして、第１の実施の形態においては、平均動き量Ｖａｖと平均動き方向θａｖの２つの特徴量に基づき、上記のようにして培養心筋細胞５００において動きの有る部分と動きの無い部分との存在を区別して認識可能である。また、動きの有る部分については、その動きの方向がどの程度の割合で一様であるのかを認識することができる。また、これらの動きの無い部分と動きの有る部分における動きの方向の異なる部分とがどのような分布となっているのかについても認識できる。すなわち、培養心筋細胞５００の拍動に関し、その動きの有無と動き方向との２点についてより的確で詳細な評価を行える。また、このことは、特徴量として複数を組み合わせることにより、特徴量ごとに応じた複数の評価項目に関する評価が可能になることも意味している。
　ここで、本技術としては、上記の説明における平均動き量Ｖａｖと平均動き方向θａｖとの組み合わせに限られる必要はない。すなわち、先に例に挙げた６つのうちから１以上の任意の特徴量を選択した組み合わせを選択できる。そして、複数の特徴量を選択した場合には、その選択した組み合わせに応じて多様な評価項目が得られることとなる。
　例えば、この場合の評価装置４００は、図９に示す評価指標データ８００を入力して所定のアルゴリズムによって処理を行うことで、上記のような部分ごとの状態を認識し、その認識結果を評価者が把握可能な形式で出力させる。例えば図９に示すようなクラスタ分類結果を画像として表現して表示出力させれば、評価者は視覚的に上記の事柄等を把握することができる。
　［評価指標データ生成装置の処理手順例］
　図１０のフローチャートは、第１の実施の形態における評価指標データ生成装置３００が実行する処理手順例を示している。なお、この図における各ステップの処理は、図２に示される動き検出部３１０、特徴量算出部３３０および分類処理部３４０の何れかが適宜実行するものとなる。また、図１０に示す各ステップとしての処理の少なくとも一部は、コンピュータ装置におけるＣＰＵ（Central Processing Unit）がプログラムを実行することで実現されるものとして構成可能である。
　図１０におけるステップＳ９０１乃至Ｓ９０７までの処理は動き検出部３１０が実行する動き検出処理となる。まず、動き検出部３１０は、初期設定として、評価対象画像データ６００を形成するフレーム画像データ６１０に付す番号に対応する変数ｎに２を代入する（ステップＳ９０１）。次に動き検出部３１０における動きベクトル算出部３１２は、（ｎ－１）番目のフレーム画像データと、ｎ番目のフレーム画像データを入力する（ステップＳ９０２）。すなわち、フレームメモリ３１１に保持されている１つ前のフレーム画像データと、現フレーム画像データとを入力する。次に、動きベクトル算出部３１２は、入力したフレーム画像データのそれぞれについて所定画素数によるブロックに分割する処理を実行する（ステップＳ９０３）。そして、例えばブロックマッチングなどの手法により動き検出処理を実行する（ステップＳ９０４）。
　上記ステップＳ９０４の動き検出処理によっては、図６に示した動き検出データ７００における１つのフレーム単位動き検出データ７１０－（ｎ－１）が得られる。そこで、動き検出部３１０は、このフレーム単位動き検出データ７１０－（ｎ－１）を動き検出データ格納部３２０に格納する（ステップＳ９０５）。
　次に、動き検出部３１０は、変数ｎをインクリメントしたうえで（ステップＳ９０６）、変数ｎについて最大値（Ｔ＋１）よりも大きいか否かについて判定する（ステップＳ９０７）。なお、上記最大値（Ｔ＋１）は、評価対象画像データ６００を形成するフレーム画像データ数に対応する。変数ｎについて最大値（Ｔ＋１）よりも大きいとの判定結果が得られた場合には（ステップＳ９０７）、ステップＳ９０２からの処理を繰り返し実行する。これにより、第１フレーム単位動き検出データ７１０－１から第Ｔフレーム単位動き検出データ７１０－Ｔまでが、順次、動き検出データ格納部３２０に格納されていく。そして、第Ｔフレーム単位動き検出データ７１０－Ｔを格納した段階に至ると、変数ｎが最大値Ｔより大きくなったことが判定され（ステップＳ９０７）、ステップＳ９０８以降の手順に移行する。
　上記ステップＳ９０７にて、変数ｎが（Ｔ＋１）より大きくなったことが判定されたことに応じて、特徴量算出部３３０は、動き検出データ７００を利用して特徴量を算出する処理を実行する（ステップＳ９０８）。ここで算出する特徴量は、例えば前述したように、平均動き量Ｖａｖおよび平均動き方向θａｖとなる。
　続いては、分類処理部３４０により、前述したテンプレート法による分類処理が実行される。このために分類処理部３４０は、まず、フレーム画像データ６１０を形成する（Ｍ×Ｎ）個のブロック６１１に付した番号を示す変数ｉについて１を代入する（ステップＳ９０９）。次に、分類処理部３４０は、ｉ番目のブロック６１１について算出された特徴量（Ｖａｖ，θａｖ）と、予め用意された複数のテンプレートごとの特徴量（Ｖａｖ，θａｖ）との距離を算出する（ステップＳ９１０）。特徴量（Ｖａｖ，θａｖ）は、前述した平均動き量Ｖａｖと平均動き方向θａｖの組み合わせを示す。
　そして、分類処理部３４０は、ｉ番目のブロック６１１について算出された距離が最も短いテンプレートに対応するクラスタに属するものとして分類する。そして、この分類結果を示す個別分類結果データ８０１を生成する（ステップＳ９１１）。個別分類結果データ８０１は、例えばｉ番目のブロックの識別子に分類されたクラスタの識別子を対応付けた内容の情報を有する。また、前述の例では、第１乃至第５テンプレートを用意したことに対応して第１乃至第５クラスタの５つのクラスタが用意されていた。この例との対応では、ステップＳ９１１により、分類処理対象のブロック６１１が第１乃至第５クラスタにおける何れか１つのクラスタに分類されることになる。
　次に、分類処理部３４０は、変数ｉをインクリメントしたうえで（ステップＳ９１２）、変数ｉが最大値である（Ｍ×Ｎ）より大きいか否かについて判別する（ステップＳ９１３）。ここで、変数ｉが最大値（Ｍ×Ｎ）以下である場合には、ステップＳ９１０の処理に戻ることで、順次、ブロックごとにクラスタ分類する処理が繰り返される。そして、（Ｍ×Ｎ）個の全てのブロック６１１についてのクラスタ分類が完了するとステップＳ９１３にて変数ｉが最大値（Ｍ×Ｎ）よりも大きくなったことが判定される。この判定結果に応じて分類処理部３４０は、これまでのステップＳ９１０乃至Ｓ９１２の処理によって得られた個別分類結果データ８０１により評価指標データ８００を生成して出力する（ステップＳ９１４）。
　なお、上記の説明における平均動き量Ｖａｖと平均動き方向θａｖとの組み合わせは一例である。第１の実施の形態においては、例えば先に例に挙げた６つのうちから１以上の任意の特徴量を選択した組み合わせにより評価指標データ８００を生成すればよい。また、前述の算出の仕方に基づけば、平均動き量Ｖａｖについては、水平平均動き量Ｖａｖｘと垂直平均動き量Ｖａｖｙに分解して求めることもできる。平均振幅Ａａｖは、水平平均振幅Ａａｖｘと垂直平均振幅Ａａｖｙに分解して求められる。平均加速度Ｂａｖは、水平平均加速度Ｂａｖｘと垂直平均加速度Ｂａｖｙに分解して求められる。そこで、例えばこれらの水平方向成分と垂直方向成分との特徴量をそれぞれ独立したものとして扱って、評価指標データ８００の生成に利用することも考えられる。また、上記の説明ではクラスタ数を５つとしているが、これ以外の数が設定されてもかまわない。
　＜２．第２の実施の形態＞
　［評価指標データ生成装置の構成］
　上記第１の実施の形態における分類処理はテンプレートを利用するものであったが、分類処理の仕方としては他にも考えることができる。そこで、第２の実施の形態として、他の分類処理の手法を採用した構成について説明する。
　この第２の実施の形態に対応する評価指標データ生成装置３００の構成としては、例えば図２と同様となる。ただし、特徴量算出部３３０が算出する特徴量の種類数と、分類処理部３４０が実行する分類処理の手順が以下の説明のようにして異なるものとなる。
　［評価指標データ生成装置の処理手順例］
　図１１のフローチャートは、第２の実施の形態に対応して評価指標データ生成装置３００が実行する処理手順例を示している。この図において、ステップＳ９０１乃至Ｓ９０７までの処理は、先の第１の実施の形態に対応する図１０と同様となる。
　ステップＳ９０７にて変数ｎが最大値Ｔより大きくなったと判定されると、特徴量算出部３３０は、動き検出データ格納部３２０に格納されている動き検出データ７００を利用して、ブロック６１１ごとに特徴量を算出する（ステップＳ９０８Ａ）。
　上記ステップＳ９０８Ａによりブロック６１１ごとに算出される特徴量としては、以下の９つであるとする。すなわち、水平平均動き量Ｖａｖｘ、垂直平均動き量Ｖａｖｙ、平均動き方向θａｖ、水平平均振幅Ａａｖｘ、垂直平均振幅Ａａｖｙ、水平平均加速度Ｂａｖｘ、垂直平均加速度Ｂａｖｙ、平均拍動間隔Ｄａｖおよび拍動開始時間Ｓであるとする。
　分類処理部３４０は、上記のようにして算出された特徴量を用いて、以下のようにしてｋ－ｍｅａｎｓ法（ｋ平均法）に基づくクラスタリングを実行する。すなわち、分類処理部３４０は、ブロック６１１ごとに上記９つの特徴量を組み合わせた９次元のベクトルｘを算出する（ステップＳ９２１）。
　上記ステップＳ９２１により、ブロック６１１ごとに対応した（Ｍ×Ｎ）個のベクトルｘが得られる。そのうえで、この場合の分類処理部３４０は、ｋ平均法に従って，まず、（Ｍ×Ｎ）個のベクトルｘｉ（１≦ｉ≦（Ｍ×Ｎ））について最初のクラスタ分類（初期分類）を実行する。すなわちベクトルｘｉのうちから予め設定したクラスタ数Ｋに応じたＫ個のサンプルを抽出し、これらのサンプルとサンプル以外のベクトルｘｉとの距離を算出する。そして、サンプル以外のベクトルｘｉを、算出された距離が最も近いサンプルと同じクラスタに属するものとして分類する。
　次に、分類処理部３４０は、これまでにおける最後の分類結果に対応して第１乃至第Ｋクラスタごとの重心Ｇｊ（１≦ｊ≦Ｋ）を算出する（ステップＳ９２３）。これらの重心Ｇｊは、最後の分類結果に応じて異なるものとなる。次に分類処理部３４０は、ベクトルｘｉごとに各クラスタとの重心Ｇｊとの距離を算出する（ステップＳ９２４）。そして、ベクトルｘｉごとに、算出された距離が最も短いクラスタに属するものとして再分類を行う（ステップＳ９２５）。このステップＳ９２３乃至Ｓ９２５による処理を、ステップＳ９２６により、分類結果について変化がなくなって前回と同じであると判定されるまで繰り返す。
　そして、ステップＳ９２６に対応して前回と同じであると判定された分類結果が、すなわち、最終的な分類結果となる。そこで、分類処理部３４０は、この最終的に得られた分類結果から評価指標データ８００を生成して出力する（ステップＳ９１４Ａ）。すなわち、最終の分類結果においては、ベクトルｘｉが何れかのクラスタに分類されている。そこで、分類処理部３４０は、例えばベクトルｘｉが対応するブロック６１１の識別子と分類されたクラスタの識別子とを対応させて個別分類結果データ８０１を生成する。そして、これらのｉ番目からＭ×Ｎ番目のブロック６１１ごとの個別分類結果データ８０１の群を評価指標データ８００として生成する。
　上記の説明から理解されるように、第２の実施の形態において得られる評価指標データ８００も、例えば図９に示される構造のものとなる。また、クラスタのそれぞれは、互いに異なる複数の特徴量の数値範囲の組み合わせを示すものとなる。このために、各クラスタは、拍動としての周期運動に関連して、それぞれが異なる意義を有するものとなる。したがって、この第２例により得られる評価指標データ８００を利用することによっても的確で詳細な評価結果を得ることができる。
　なお、本開示は本技術を具現化するための一例を示したものであり、本開示において明示したように、本開示における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本開示における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　例えば、評価指標データ８００の生成のために利用する特徴量としても、上記各実施の形態において具体的に記述した以外の組み合わせを採用してよい。また、上記各実施の形態において具体的に記述した以外の特徴量を求め、これを組み合わせるようにしてもかまわない。また、上記各実施の形態において求められる特徴量のうち、動き量、動き方向、振幅、加速度、拍動間隔などは、何れもフレーム周期ごとに対応して得られる値についての平均値とされていた。しかし、これらの特徴量は時系列において変化を有するものである。そこで、例えば時系列における変化を特徴量として算出し、これを評価指標データ８００の生成に利用することも考えられる。また、分類処理部３４０が実行する分類処理としても、他のアルゴリズム、手法が採られてかまわない。また、評価対象を培養心筋細胞５００としているが、例えばこれ以外の物体であって、その動きが周期性を有するものであれば、本開示の構成を適用することができる。
　また、本開示において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
　＜３．第３の実施の形態＞
　［評価方法の他の例の概要］
　細胞の評価方法は、上述した以外であってもよい。例えば、培養細胞のブロック毎に求めた動きベクトルから算出した指標について評価値を求めるようにしてもよい。
　例えば、図１２のＡに示されるような培養細胞１００１を評価対象とすると、まず、図１２のＢに示されるように、各ブロック（部分領域）について、所定時間毎（例えば各フレーム）に動きベクトル１００２を求め、図１２のＣに示されるグラフ１００３のように、各ブロックについて動き量の経時変化を求め、そのデータから、図１２のＤに示されるグラフ１００４のような細胞の動きの振幅や拍動数の経時変化を示すデータを生成し、それらの指標を評価する評価値を求め、その評価値により細胞の動きを評価するようにしてもよい。
　このように、評価値を用いることにより、評価対象（例えば細胞の動き）をより定量的に評価することができる。また、指標の生成に動きベクトルを用いることにより、より多様な指標をより容易かつ非侵襲に求めることができる。すなわち、評価対象（例えば細胞の動き）をより正しく評価することができる。
　［培養心筋細胞評価装置］
　図１３は、培養心筋細胞評価装置の主な構成例を示すブロック図である。
　図１３に示される培養心筋細胞評価装置１１００は、図１の培養心筋細胞評価システム１００と同様に、培養心筋細胞５００の動きの評価を行う装置である。つまり、培養心筋細胞評価装置１１００は、培養心筋細胞評価システム１００を１つの装置として実現したものである。このように、培養心筋細胞評価システム１００の構成は、システム全体の機能が変化しない限り任意である。例えば、図１に示される複数の装置を1つの装置として構成したり、１つの装置を複数の装置として構成したりするようにしてもよく、例えば図１３に示されるように培養心筋細胞評価システム１００全体を１つの装置として構成するようにすることもできる。
　換言するに、本実施の形態においても、例えば第１の実施の形態および第２の実施の形態の培養心筋細胞評価システム１００のように、培養心筋細胞評価装置１１００が複数の装置により構成されるようにしてもよいが、以下においては、培養心筋細胞評価装置１１００を用いて説明する。
　ただし、本実施の形態の場合、第１の実施の形態や第２の実施の形態の場合と異なり、上述した評価方法以外の方法で、培養心筋細胞５００（の動き）を評価することができる。つまり、上述したように、本実施の形態の培養心筋細胞評価装置１１００は、評価対象の動きを評価する評価値を求める。
　図１３に示される培養心筋細胞５００は、生体より採取された心筋細胞を体外で培養して生成された心臓疾患向けの生体組織（細胞群）である。心筋細胞は、常時収縮と弛緩を繰り返しながら拍動する。このような心筋細胞が培養され、培養心筋細胞５００のように成長すると、理想的には、各細胞の動作が互いに関連するようになり、培養心筋細胞５００全体が１つの生体組織として拍動するようになる。
　培養心筋細胞評価装置１１００は、例えば、このように培養された培養心筋細胞５００を評価対象とし、その培養心筋細胞５００の出来栄えを評価するために、その動きを評価する。
　なお、培養心筋細胞評価装置１１００の評価対象は、培養心筋細胞５００以外であってもよい。例えば、心筋細胞以外の培養細胞を評価対象としてもよい。もちろん、評価対象は、細胞以外であってもよい。ただし、評価対象は、自身が動き、その動きの評価によって評価可能なものであることが望ましい。なお、この動きは、心筋細胞のように自律的（自発的）なものであってもよいし、外部から供給される電気信号等によるものであってもよい。
　図１３に示されるように、培養心筋細胞評価装置１１００は、撮像部１１０１、評価対象画像データ生成記録部１１０２、評価指標データ生成部１１０３、および評価部１１０４を有する。
　撮像部１１０１は、図１の撮像装置１１０に対応する。つまり、撮像部１１０１は、評価対象である培養心筋細胞５００を撮像する。なお、撮像部１１０１が、培養心筋細胞５００を直接（他の部材を介さずに）撮像するようにしてもよいし、例えば顕微鏡等のように他の部材を介して培養心筋細胞５００を撮像するようにしてもよい。また、培養心筋細胞５００は、撮像部１１０１に対して固定されていてもよいし、固定されていなくてもよい。培養心筋細胞評価装置１１００は、動き（位置の時間的変化）を検出するため、一般的には、培養心筋細胞５００が撮像部１１０１に対して固定されている方が望ましい。
　撮像部１１０１は、撮像により得られた培養心筋細胞５００の画像の画像信号を評価対象画像データ生成記録部１１０２に供給する。
　評価対象画像データ生成記録部１１０２は、図１の評価対象画像データ生成記録装置２００に対応する。つまり、評価対象画像データ生成記録部１１０２は、撮像部１１０１から供給される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。ここで生成される評価対象画像データは、例えば培養心筋細胞５００を撮像した画像信号から生成される動画像データとなる。
　例えば、評価対象画像データ生成記録部１１０２が、撮像部１１０１から供給される複数のフレーム画像の中から一部の期間のフレーム画像のみを抽出し、それを評価対象画像データとするようにしてもよい。また、例えば、評価対象画像データ生成記録部１１０２が、撮像部１１０１から供給される各フレーム画像の一部の領域を小フレーム画像として抽出し、その小フレーム画像からなる動画像を評価対象画像データとするようにしてもよい。さらに、例えば、評価対象画像データ生成記録部１１０２が、撮像部１１０１から供給される各フレーム画像に対して任意の画像処理を施し、その画像処理結果を評価対象画像データとするようにしてもよい。画像処理としては、例えば、画像の拡大、縮小、回転、変形、輝度や色度の補正、シャープネス、ノイズ除去、中間フレーム画像生成等が考えられる。もちろん、これら以外のどのような画像処理であってもよい。
　評価対象画像データ生成記録部１１０２は、記憶している評価対象画像データを所定のタイミングで評価指標データ生成部１１０３に供給する。
　評価指標データ生成部１１０３は、図１の評価指標データ生成装置３００に対応する。つまり、評価指標データ生成部１１０３は、供給された評価対象画像データの各フレーム画像間において、評価対象（培養心筋細胞５００）の画像の全領域を複数に分割した部分領域であるブロック毎に、評価対象（培養心筋細胞５００）の動き検出を行う。評価指標データ生成部１１０３は、その検出した各ブロックの動きを動きベクトルとして表し、その動きベクトルから、評価対象（培養心筋細胞５００）の動きに関する各種特徴量（動き特徴量データ）を求める。また、評価指標データ生成部１１０３は、第１の実施の形態や第２の実施の形態において説明したように、その動き特徴量データに基づいて、各ブロックを分類する。
　評価指標データ生成部１１０３は、以上のように生成した動き特徴量データや分類結果を評価指標データとして評価部１１０４に供給する。
　評価部１１０４は、図１の評価装置４００に対応する。つまり、評価部１１０４は、供給された各評価指標データについて評価値を算出し、算出した評価値を統合して、評価対象（培養心筋細胞５００）の評価値を求める。
　［評価指標データ生成部］
　図１４は、評価指標データ生成部１１０３の主な構成例を示すブロック図である。図１４に示されるように、評価指標データ生成部１１０３は、図２の評価指標データ生成装置３００と同様に、動き検出部３１０および動き検出データ格納部３２０を有する。また、評価指標データ生成部１１０３は、図２の評価指標データ生成装置３００の特徴量算出部３３０の代わりに特徴量算出部１１２３を有し、図２の評価指標データ生成装置３００の分類処理部３４０の代わりに分類処理部１１２４を有する。さらに、評価指標データ生成部１１０３は、動き特徴量データ履歴格納メモリ１１２５を有する。
　動き検出部３１０は、評価対象画像データ６００を入力して動き検出を行い、その検出結果（動きベクトル）を動き検出データとして、動き検出データ格納部３２０に供給し、記憶させる。図３乃至図６を参照して説明したように、動き検出部３１０は、フレームメモリ３１１および動きベクトル算出部３１２を備え、評価対象画像データ６００の各フレーム画像の領域全体をＭ×Ｎ個（Ｍ、Ｎは任意の自然数）のブロックに分割し、各ブロックについて、例えばフレーム画像間のブロックマッチングなどの手法により動き検出を行い、動きベクトルを生成する。
　動き検出部３１０は、図７に示されるように、所定の長さの評価区間（例えばＴ＋１フレーム（Ｔは任意の自然数））、動き検出を行う。例えば、動き検出部３１０は、図６に示されるように、（Ｔ＋１）個のフレーム画像を用いて、（Ｍ×Ｎ×Ｔ）個の動き検出データ（動きベクトル）を生成し、動き検出データ格納部３２０に記憶させる。
　１評価区間の動き検出が終了すると（（Ｍ×Ｎ×Ｔ）個の動き検出データ（動きベクトル）が動き検出データ格納部３２０に格納されると）、特徴量算出部１１２３は、その動き検出データを取得し、その動き検出データから、培養心筋細胞５００の動きに関する特徴量を算出する。
　例えば、特徴量算出部１１２３は、（Ｍ×Ｎ×Ｔ）個の動き検出データ（動きベクトル）を用いて、ブロック毎に、培養心筋細胞５００の動き（拍動）に関する特徴量を算出する。
　例えば、特徴量算出部１１２３は、図７に例が示される評価区間内において、培養心筋細胞５００の動きの振幅の平均値（平均振幅Ａａｖ）を、培養心筋細胞５００の動きに関する特徴量の１つとして算出する。
　図７に示されるように、振幅は、動き量が変化する際のその振り幅である。平均振幅Ａａｖは、当該評価区間内における振幅の平均値である。この振幅Ａや平均振幅Ａａｖは、各ブロックにおいて算出される。
　つまり、各振幅の水平方向成分をＡｘとし、垂直方向成分をＡｙとすると、各振幅Ａは以下の式（１）のように算出される。
Figure JPOXMLDOC01-appb-M000003
 　・・・（１）
　フレーム順に対応した変数をｎとすると、式（１）のように算出される各振幅Ａｎを用いて、その評価区間内における平均振幅Ａａｖは、以下の式（２）のように算出される。
Figure JPOXMLDOC01-appb-M000004
 　・・・（２）
　特徴量算出部１１２３は、このような平均振幅Ａａｖをブロック毎に算出する。
　また、例えば、特徴量算出部１１２３は、図７に例が示される１評価区間内において、培養心筋細胞５００の動きの拍動間隔（若しくは、単位時間当たりの拍動数）の平均値（平均拍動間隔Ｄａｖ）を、培養心筋細胞５００の動きに関する特徴量の１つとして算出する。
　拍動間隔Ｄは、図７に示されるように、動き量のピークの間隔である。平均拍動間隔Ｄａｖは、当該評価区間内におけるその拍動間隔Ｄの平均値である。特徴量算出部１１２３は、このような平均拍動間隔Ｄａｖを、各ブロックについて算出する。
　つまり、フレーム順に対応した変数をｎとし、動き量のピークのタイミングをＰｎとすると、拍動間隔Ｄｎは、以下の式（３）のように算出される。
Figure JPOXMLDOC01-appb-M000005
 　・・・（３）
　したがって、評価区間内における平均拍動間隔Ｄａｖは、以下の式（４）のように算出される。
Figure JPOXMLDOC01-appb-M000006
 　・・・（４）
　特徴量算出部１１２３は、このような平均拍動間隔Ｄａｖをブロック毎に算出する。
　つまり、以上の例の場合、２種類の特徴量がブロック毎に（Ｍ×Ｎ個ずつ）生成される。特徴量算出部１１２３が算出する特徴量の種類やその数は任意である。例えば、第１の実施の形態等において説明したように、平均動き量Ｖａｖ、平均動き方向θａｖ、平均加速度Ｂａｖ、および拍動開始時間Ｓを特徴量として算出するようにしてもよい。
　なお、各特徴量の算出方法は任意である。例えば、特徴量算出部１１２３は、平均動き量Ｖａｖ、平均振幅Ａａｖ、および平均加速度Ｂａｖ等のように水平成分と垂直成分の両方を有する特徴量の場合、各成分の平均をそれぞれ算出し、その各成分の平均を合成するようにしてもよい。
　特徴量算出部１１２３は、算出した特徴量を、動き特徴量データとして、動き特徴量データ履歴格納メモリ１１２５に供給し、記憶させる。もちろん、特徴量算出部１１２３は、得られた特徴量を、順次、動き特徴量データとして動き特徴量データ履歴格納メモリ１１２５に供給し、記憶させるようにしてもよい。また、特徴量算出部１１２３が、得られた特徴量の一部を、動き特徴量データとして、動き特徴量データ履歴格納メモリ１１２５に記憶させるようにしてもよい。
　また、特徴量算出部１１２３は、算出した特徴量を分類処理部１１２４にも供給する。
　分類処理部１１２４は、図２の分類処理部３４０と同様に、特徴量算出部１１２３により算出される複数種類の特徴量を利用して分類処理を実行し、その分類処理結果を動き特徴量データとして動き特徴量データ履歴格納メモリ１１２５に供給し、記憶させる。
　評価指標データ生成部１１０３は、以上のような評価指標データの生成をＳ回繰り返す。つまり、撮像部１１０１は、撮像を継続し、少なくとも（評価区間（Ｔ＋１フレーム）×Ｓ回）の時間分のフレーム画像を生成し、評価対象画像データ生成記録部１１０２は、少なくとも（評価区間×Ｓ回）分の評価対象画像データを生成する。なお、評価対象画像データにおいて各評価区間が時間的に連続していなくてもよい。
　例えば、培養開始から培養終了までの期間を１０日間とし、２時間毎にＴ＝６００フレームずつ撮像し、評価を行うとする。この場合、各評価区間が６００フレームとなり、その評価区間がＳ＝１２０回繰り返される。
　評価指標データ生成部１１０３は、各評価区間について上述したようにブロック毎の特徴量を生成する。これにより、動き特徴量データ履歴格納メモリ１１２５には、図１５に示されるように、Ｍ×Ｎ×Ｓ個の特徴量が格納される。なお、複数種類の特徴量が生成される場合、動き特徴量データ履歴格納メモリ１１２５には、さらに多くの特徴量（Ｍ×Ｎ×Ｓ×種類数）が格納される。
　このように、特徴量の生成がＳ回繰り返され、所定数の特徴量が格納されると、動き特徴量データ履歴格納メモリ１１２５は、所定のタイミングにおいて、記憶している特徴量を、評価指標データ８００として、評価部１１０４に供給する。
　［評価部］
　図１６は、評価部１１０４の主な構成例を示すブロック図である。図１６に示されるように、評価部１１０４は、供給される評価指標データ８００のそれぞれについて評価部（各指標用の評価部）を有する。図１６の例において、評価部１１０４は、その各指標用の評価部として、振幅評価部１１４１、拍動数評価部１１４２、および分類結果評価部１１４３を有する。
　振幅評価部１１４１は、評価指標データとして供給される平均振幅Ａａｖを評価する。拍動数評価部１１４２は、評価指標データとして供給される平均拍動間隔Ｄａｖを評価する。分類結果評価部１１４３は、評価指標データとして供給される分類処理結果を評価する。
　このような各指標用の評価部は、評価部１１０４が評価可能な指標データの種類を示す。基本的に、評価部１１０４は、供給される全ての評価指標データを評価することができるように設定される。したがって、例えば、評価部１１０４に他の評価指標データ８００が供給される場合、その評価指標データ８００に対応する評価部が評価部１１０４に用意されることになる。このように、評価部１１０４が有する各指標用の評価部の種類と数は、供給される評価指標データの種類と数による。
　［振幅評価部の演算例１］
　次に、振幅評価部１１４１による振幅評価の具体的な例について説明する。一般的に、心筋細胞の拍動は、振幅が大きく安定していることが望ましい。そこで、振幅評価部１１４１が、振幅がより大きく安定している場合に値が大きくなるように評価値を算出するようにする。
　この場合、振幅評価部１１４１は、まず、フレーム画像の各ブロックについて、以下の式（５）のように、評価指標データである各振幅Ａ（平均振幅Ａａｖ）を、図１７のＡに示されるグラフの曲線１１６１のような関数ｆａを用いて正規化する（関数ｆａにより正規化した振幅Ａ’を求める）。
Figure JPOXMLDOC01-appb-M000007
 　・・・（５）
　例えば、フレーム画像全体のブロック数をＭ×Ｎ個とし、平均振幅Ａａｖの算出がＳ回繰り返されたとすると、振幅評価部１１４１は、Ｍ×Ｎ×Ｓ個の平均振幅Ａａｖのそれぞれを、関数ｆａを用いて正規化する。
　この関数ｆａは、振幅Ａの値を、その値が大きいほどより大きくし、その値が小さいほどより小さくするような関数であればどのような関数であってもよい。つまり、正規化した振幅Ａ’は、振幅が大きいほど大きな値をとり、振幅が小さいほど小さな値をとる。
　次に、振幅評価部１１４１は、以下の式（６）のように、各ブロックについて、過去Ｎ回の振幅の分散Ｖａを求める。
Figure JPOXMLDOC01-appb-M000008
 　・・・（６）
　なお、式（６）において、上線付きＡは、各振幅Ａ（平均振幅Ａａｖ）の平均値である。また、上述したように平均振幅Ａａｖの算出がＳ回繰り返される場合、Ｎ＝Ｓである。つまり、振幅評価部１１４１は、例えば、フレーム画像全体のブロック数をＭ×Ｎ個とし、平均振幅Ａａｖの算出がＳ回繰り返されたとすると、Ｍ×Ｎ×Ｓ個の平均振幅Ａａｖから、Ｍ×Ｎ個の分散Ｖａを算出する。
　次に、振幅評価部１１４１は、以下の式（７）のように、各振幅の分散Ｖａを、図１７のＢに示されるグラフの曲線１１６２のような関数ｇａを用いて正規化する（関数ｇａにより正規化した振幅の分散Ｖａ’を求める）。
Figure JPOXMLDOC01-appb-M000009
 　・・・（７）
　例えば、フレーム画像全体のブロック数をＭ×Ｎ個とすると、振幅評価部１１４１は、Ｍ×Ｎ個の分散Ｖａのそれぞれを、関数ｇａを用いて正規化する。
　この関数ｇａは、分散Ｖａの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した振幅の分散Ｖａ’は、バラつきが小さいほど大きな値をとり、バラつきが大きいほど小さな値をとる。
　次に、振幅評価部１１４１は、以下の式（８）のように、正規化した振幅Ａ’と、正規化した振幅の分散Ｖａ’との積の画面全体の平均値（Ｍ×Ｎ個の平均値）を、評価値Ｅａとして算出する。
Figure JPOXMLDOC01-appb-M000010
 　・・・（８）
　この場合、評価値Ｅａは、フレーム画像全体において正規化した振幅および正規化した振幅の分散が大きい程、その値が大きくなる。つまり、各ブロックの振幅が、より大きくより安定している（振幅がより大きく、かつ、その時間方向のバラつきがより少ない）場合程、高く評価される。
　なお、振幅評価部１１４１が、以下の式（９）のように、正規化した振幅Ａ’と正規化した振幅の分散Ｖａ’の積の値が所定の閾値Ｔａ１以上の値となるブロック数Ｎａ１の、フレーム画像全体に占める割合を、評価値Ｅａとして算出するようにしてもよい。
Figure JPOXMLDOC01-appb-M000011
 　・・・（９）
　閾値Ｔａ１は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり（評価条件が厳しくなり）、評価値Ｅａの値は小さくなる。この場合、評価値Ｅａは、フレーム画像全体において振幅と分散の積が所定の基準より大きく安定しているブロックが多いほど、その値が大きくなる。
　つまり、この場合、上述したように平均値を用いて評価値Ｅａを算出する場合よりも、ブロック間のバラつきが少ないほど好ましい。例えば、平均値を評価する場合、ブロック間のバラつきが大きくても評価が高くなる場合がある。これに対して、閾値を用いて評価を行う場合、一部のブロックの値が極端に大きくても、ブロック数Ｎａ１が多くなければ、評価は高くならない。
　［振幅評価部の演算例２］
　なお、振幅の評価方法は、上述した例に限らない。例えば、培養した心筋細胞の拍動を、理想的な正常培養時の場合と比較し、その比較結果を評価するようにしてもよい。この場合、理想的な正常培養時の拍動の推移パターン（理想推移パターン）が予め定められている。
　振幅評価部１１４１は、図１８のＡのグラフに示されるように、培養した心筋細胞の拍動の推移パターン（測定推移パターン）を、この理想推移パターンと比較し、その類似度を評価する。図１８のＡにおいて、実線１１７１は、振幅の理想推移パターンを示し、点線１１７２は振幅の測定推移パターンを示す。両者の差が少ないほど、評価値が大きくなる。
　まず、振幅評価部１１４１は、各経過時間における両者の推移パターン間の距離の和Ｄａを、各ブロックについて、以下の式（１０）のように算出する。
Figure JPOXMLDOC01-appb-M000012
 　・・・（１０）
　式（１０）において、Ａ（ｋ）は、測定推移パターンにおける振幅Ａ（平均振幅Ａａｖ）であり、ＡＩ（ｋ）は、理想推移パターンにおける振幅Ａ（平均振幅Ａａｖ）である。ｋは何回目の測定値であるか（経過時間）を示す（Ｓ回測定を繰り返した場合、０≦ｋ≦Ｓ－１）。また、Ｗａ（ｋ）は、重み係数であり、その値は任意である。例えば、測定開始直後は両者の推移パターンの違いを重要視しないが、経過時間が長くなるほど、両者の推移パターンが近似する事が求められる場合、重み係数Ｗａの値は、ｋの値が大きくなるほど、大きくなるように設定される。
　以上のように、各経過時間における両者の推移パターン間の距離の和Ｄａが求められると、振幅評価部１１４１は、次に、距離の和Ｄａを、以下の式（１１）のように、図１８のＢに示されるグラフの実線１１７３のような関数ｈａを用いて正規化する（正規化した距離の和Ｄａ’を算出する）。
Figure JPOXMLDOC01-appb-M000013
 　・・・（１１）
　この関数ｈａは、距離の和Ｄａの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した距離の和Ｄａ'は、理想推移パターンと測定推移パターンとの差が小さいほど大きな値をとり、理想推移パターンと測定推移パターンとの差が大きいほど小さな値をとる。
　次に、振幅評価部１１４１は、以下の式（１２）のように、正規化した距離の和Ｄａ’の画面全体の平均値（Ｍ×Ｎ個の平均値）を、評価値Ｅａとして算出する。
Figure JPOXMLDOC01-appb-M000014
 　・・・（１２）
　この場合、評価値Ｅａは、フレーム画像全体において測定推移と理想推移との差が少ない程、その値が大きくなる。
　なお、振幅評価部１１４１が、以下の式（１３）のように、正規化した距離の和Ｄａ’が所定の閾値Ｔａ２以上の値となるブロック数Ｎａ２の、フレーム画像全体に占める割合を、評価値Ｅａとして算出するようにしてもよい。
Figure JPOXMLDOC01-appb-M000015
 　・・・（１３）
　式（１３）において、閾値Ｔａ２は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり（評価条件が厳しくなり）、評価値Ｅａの値は小さくなる。この場合、評価値Ｅａは、フレーム画像全体において測定推移と理想推移との差が所定の基準より小さく安定しているブロックが多いほど、その値が大きくなる。
　以上のように、振幅評価部１１４１は、心筋細胞の拍動の振幅についての指標データに基づいて、その振幅を評価した評価値Ｅａを算出する。つまり、振幅評価部１１４１は、心筋細胞の拍動の振幅について定量的に評価を行うことができる。
　［拍動数評価部の演算例１］
　次に、拍動数評価部１１４２による単位時間当たりの拍動数評価の具体的な例について説明する。一般的に、心筋細胞の拍動は、単位時間当たりの拍動数（レート）が適切な値で安定していることが望ましい。そこで、拍動数評価部１１４２が、単位時間当たりの拍動数がより適切な値で安定している場合に値が大きくなるように評価値を算出するようにする。
　この場合、拍動数評価部１１４２は、まず、拍動間隔Ｄ（平均拍動間隔Ｄａｖ）から単位時間（例えば１分間）当たりの拍動数Ｒを、以下の式（１４）のように算出する。
Figure JPOXMLDOC01-appb-M000016
 　・・・（１４）
　つまり、この単位時間当たりの拍動数Ｒは、その評価期間（例えば（Ｔ＋１）フレーム）における単位時間当たりの拍動数の平均値である。拍動数評価部１１４２は、この単位時間当たりの拍動数Ｒを、各ブロックについて算出する。また、拍動数評価部１１４２は、この単位時間当たりの拍動数Ｒを、各評価期間について算出する。すなわち、１フレーム画像のブロック数がＭ×Ｎ個であり、評価期間がＳ回繰り返されたとすると、拍動数評価部１１４２は、単位時間当たりの拍動数Ｒを（Ｍ×Ｎ×Ｓ）個算出する。
　次に、拍動数評価部１１４２は、この単位時間当たりの拍動数Ｒを、以下の式（１５）のように、図１９のＡに示されるグラフの曲線１１８１のような関数ｆｒを用いて正規化する（関数ｆｒにより正規化した単位時間当たりの拍動数Ｒ’を求める）。
Figure JPOXMLDOC01-appb-M000017
 　・・・（１５）
　例えば、フレーム画像全体のブロック数をＭ×Ｎ個とし、平均拍動間隔Ｄａｖの算出がＳ回繰り返されたとすると、拍動数評価部１１４２は、Ｍ×Ｎ×Ｓ個の単位時間当たりの拍動数Ｒのそれぞれを、関数ｆｒを用いて正規化する。関数ｆｒは、単位時間当たりの拍動数Ｒの値を、その値が適正な値に近いほどより大きくし、その値が適正な値から遠いほどより小さくするようする関数であれば、どのような関数であってもよい。つまり、正規化した単位時間当たりの拍動数Ｒ’は、予め定められた適正な単位時間当たりの拍動数に近いほど大きな値をとり、予め定められた適正な単位時間当たりの拍動数から遠いほど小さな値をとる。
　次に、拍動数評価部１１４２は、以下の式（１６）のように、各ブロックについて、過去Ｎ回の単位時間当たりの分散Ｖｒを求める。
Figure JPOXMLDOC01-appb-M000018
 　・・・（１６）
　なお、式（１６）において、上線付きＲは、各単位時間当たりの拍動数Ｒの平均値である。また、上述したように単位時間当たりの拍動数Ｒの算出がＳ回繰り返される場合、Ｎ＝Ｓである。つまり、拍動数評価部１１４２は、例えば、フレーム画像全体のブロック数をＭ×Ｎ個とし、単位時間当たりの拍動数Ｒの算出がＳ回繰り返されたとすると、Ｍ×Ｎ×Ｓ個の単位時間当たりの拍動数Ｒから、Ｍ×Ｎ個の分散Ｖｒを算出する。
　次に、拍動数評価部１１４２は、以下の式（１７）のように、各振幅の分散Ｖｒを、図１９のＢに示されるグラフの曲線１１８２のような関数ｇｒを用いて正規化する（関数ｇｒにより正規化した単位時間当たりの拍動数の分散Ｖｒ’を求める）。
Figure JPOXMLDOC01-appb-M000019
 　・・・（１７）
　例えば、フレーム画像全体のブロック数をＭ×Ｎ個とすると、拍動数評価部１１４２は、Ｍ×Ｎ個の分散Ｖｒのそれぞれを、関数ｇｒを用いて正規化する。
　この関数ｇｒは、分散Ｖｒの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した単位時間当たりの拍動数の分散Ｖｒ’は、バラつきが小さいほど大きな値をとり、バラつきが大きいほど小さな値をとる。
　次に、拍動数評価部１１４２は、以下の式（１８）のように、正規化した単位時間当たりの拍動数Ｒ’と、正規化した単位時間当たりの拍動数の分散Ｖｒ’との積の画面全体の平均値（Ｍ×Ｎ個の平均値）を、評価値Ｅｒとして算出する。
Figure JPOXMLDOC01-appb-M000020
 　・・・（１８）
　この場合、評価値Ｅｒは、フレーム画像全体において正規化した単位時間当たりの拍動数および分散が大きい程、その値が大きくなる。つまり、各ブロックの正規化した単位時間当たりの拍動数Ｒがより安定している（単位時間当たりの拍動数が適正な値により近く、かつ、その時間方向のバラつきがより少ない）場合程、高く評価される。
　なお、拍動数評価部１１４２が、以下の式（１９）のように、正規化した単位時間当たりの拍動数Ｒ’と正規化した単位時間当たりの拍動数の分散Ｖｒ’との積の値が所定の閾値Ｔｒ１以上の値となるブロック数Ｎｒ１の、フレーム画像全体に占める割合を、評価値Ｅｒとして算出するようにしてもよい。
Figure JPOXMLDOC01-appb-M000021
 　・・・（１９）
　閾値Ｔｒ１は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり（評価条件が厳しくなり）、評価値Ｅｒの値は小さくなる。この場合、評価値Ｅｒは、フレーム画像全体において単位時間当たりの拍動数が、所定の基準より適正な値に近く、かつ、時間方向に安定しているブロックが多いほど、その値が大きくなる。
　つまり、この場合、上述したように平均値を用いて評価値Ｅｒを算出する場合よりも、ブロック間のバラつきが少ないほど好ましい。例えば、平均値を評価する場合、ブロック間のバラつきが大きくても評価が高くなる場合がある。これに対して、閾値を用いて評価を行う場合、一部のブロックの値が極端に大きくても、ブロック数Ｎｒ１が多くなければ、評価は高くならない。
　［拍動数評価部の演算例２］
　なお、単位時間当たりの拍動数の評価方法は、上述した例に限らない。例えば、培養した心筋細胞の拍動を、理想的な正常培養時の場合と比較し、その比較結果を評価するようにしてもよい。この場合、理想的な正常培養時の拍動の推移パターン（理想推移パターン）が予め定められている。
　拍動数評価部１１４２は、図２０のＡのグラフに示されるように、培養した心筋細胞の拍動の推移パターン（測定推移パターン）を、この理想推移パターンと比較し、その類似度を評価する。図２０のＡにおいて、実線１１９１は、単位時間当たりの拍動数の理想推移パターンを示し、点線１１９２は、単位時間当たりの拍動数の測定推移パターンを示す。両者の差が少ないほど、評価値が大きくなる。
　まず、拍動数評価部１１４２は、各経過時間における両者の推移パターン間の距離の和Ｄｒを、各ブロックについて、以下の式（２０）のように算出する。
Figure JPOXMLDOC01-appb-M000022
 　・・・（２０）
　式（２０）において、Ｒ（ｋ）は、測定推移パターンにおける単位時間当たりの拍動数Ｒであり、ＲＩ（ｋ）は、理想推移パターンにおける単位時間当たりの拍動数である。ｋは何回目の測定値であるか（経過時間）を示す（Ｓ回測定を繰り返した場合、０≦ｋ≦Ｓ－１）。また、Ｗｒ（ｋ）は、重み係数であり、その値は任意である。例えば、測定開始直後は両者の推移パターンの違いを重要視しないが、経過時間が長くなるほど、両者の推移パターンが近似する事が求められる場合、重み係数Ｗｒの値は、ｋの値が大きくなるほど、大きくなるように設定される。
　以上のように、各経過時間における両者の推移パターン間の距離の和Ｄｒが求められると、拍動数評価部１１４２は、次に、距離の和Ｄｒを、以下の式（２１）のように、図２０のＢに示されるグラフの実線１１９３のような関数ｈｒを用いて正規化する（正規化した距離の和Ｄｒ’を算出する）。
Figure JPOXMLDOC01-appb-M000023
 　・・・（２１）
　この関数ｈｒは、距離の和Ｄｒの値を、その値が大きいほどより小さくし、その値が小さいほどより大きくするような関数であればどのような関数であってもよい。つまり、正規化した距離の和Ｄｒ'は、理想推移パターンと測定推移パターンとの差が小さいほど大きな値をとり、理想推移パターンと測定推移パターンとの差が大きいほど小さな値をとる。
　次に、拍動数評価部１１４２は、以下の式（２２）のように、正規化した距離の和Ｄｒ’の画面全体の平均値（Ｍ×Ｎ個の平均値）を、評価値Ｅｒとして算出する。
Figure JPOXMLDOC01-appb-M000024
 　・・・（２２）
　この場合、評価値Ｅｒは、フレーム画像全体において測定推移と理想推移との差が少ない程、その値が大きくなる。
　なお、拍動数評価部１１４２が、以下の式（２３）のように、正規化した距離の和Ｄｒ’が所定の閾値Ｔｒ２以上の値となるブロック数Ｎｒ２の、フレーム画像全体に占める割合を、評価値Ｅｒとして算出するようにしてもよい。
Figure JPOXMLDOC01-appb-M000025
 　・・・（２３）
　式（２３）において、閾値Ｔｒ２は、予め設定される任意の値である。この値が大きく設定される程、評価基準が高くなり（評価条件が厳しくなり）、評価値Ｅｒの値は小さくなる。この場合、評価値Ｅｒは、フレーム画像全体において測定推移と理想推移との差が所定の基準より小さく安定しているブロックが多いほど、その値が大きくなる。
　以上のように、拍動数評価部１１４２は、心筋細胞の拍動の単位時間当たりの拍動数についての指標データに基づいて、その単位時間当たりの拍動数を評価した評価値Ｅｒを算出する。つまり、拍動数評価部１１４２は、心筋細胞の拍動の、単位時間当たりの拍動数について定量的に評価を行うことができる。
　［分類結果評価部の評価例］
　次に、分類結果評価部１１４３によるクラスタ分類結果の評価の具体的な例について説明する。一般的に、心筋細胞の拍動は、望ましいクラスタに分類されたブロックの割合が多いほど望ましい。そこで、分類結果評価部１１４３が、特徴量が望ましい状態である所定のクラスタ（望ましいクラスタ）に分類されたブロックの割合がより多い場合に値が大きくなるように評価値を算出するようにする。
　例えば、望ましいクラスタをＣとする。分類結果評価部１１４３は、まず、各ブロックについて、過去ｎ回行われた分類においてＣに分類された回数をカウントし、その回数Ｎを予め定められた所定の閾値Ｔｃ１と比較し、以下の条件式（２４）を満たすブロックの数Ｎｃを求める。
Figure JPOXMLDOC01-appb-M000026
 　・・・（２４）
　分類結果評価部１１４３は、このように求めたブロック数Ｎｃを用いて、分類結果を評価した評価値Ｅｃを、以下の式（２５）のように算出する（１フレーム画像のブロック数をＮ×Ｎとする）。
Figure JPOXMLDOC01-appb-M000027
 　・・・（２５）
　以上のように、分類結果評価部１１４３は、心筋細胞の拍動の特徴量の分類結果を評価した評価値Ｅｃを算出する。つまり、分類結果評価部１１４３は、心筋細胞の拍動の、特徴量の分類結果について定量的に評価を行うことができる。
　［評価統合部］
　図１６に戻り、評価部１１０４は、さらに、評価統合部１１４４を有する。評価部１１０４の各指標用の評価部は、それぞれが算出した各指標用の評価値を評価統合部１１４４に供給する。
　評価統合部１１４４は、各指標用の評価部から供給される評価値を所定の演算により統合し、評価対象（培養心筋細胞５００）の評価値Ｅを生成する。例えば、評価統合部１１４４は、以下の式（２６）に示されるように、各指標用の評価値の総和を評価値Ｅとして算出する。
Figure JPOXMLDOC01-appb-M000028
 　・・・（２６）
　式（２６）において、評価値Ｅａは、振幅評価部１１４１から供給される平均振幅Ａａｖの評価値であり、評価値Ｅｒは、拍動数評価部１１４２から供給される平均拍動間隔Ｄａｖの評価値であり、評価値Ｅｃは、分類結果評価部１１４３から供給される分類処理結果の評価値である。また、重み係数Ｗａ、Ｗｒ、Ｗｃは、それぞれ、評価値Ｅａ、Ｅｒ、Ｅｃを重みづけする係数である。
　以上のように、評価統合部１１４４は、各指標用の評価値を任意に重みづけして統合することができるので、評価対象をより多様な基準で定量的に評価することができる。
　評価統合部１１４４は、以上のように算出した評価値Ｅを、評価対象の評価値１１５０として評価部１１０４の外部に出力する。
　評価部１１０４から出力される評価値１１５０は、例えば、文字情報や画像情報として、モニタに表示され、ユーザ等に提示されたり、この評価値１１５０を利用して任意の処理を行う他の装置（図示せぬ）に出力されたりする。また、この評価値１１５０が、図示せぬ記録媒体に記録されるようにしてもよい。
　このように、評価部１１０４は、より多様な指標をより多様な方法で定量的に評価することができる。これにより、評価部１１０４は、評価対象（心筋細胞）をより正確に評価することができる。
　［評価処理の流れ］
　次に、図２１のフローチャートを参照して、培養心筋細胞評価装置１１００により実行される評価処理の流れの例を説明する。
　評価処理が開始されると、培養心筋細胞評価装置１１００の撮像部１１０１は、ステップＳ１００１において、評価対象を撮像する。ステップＳ１００２において、評価対象画像データ生成記録部１１０２は、ステップＳ１００１の撮像により得られた画像信号から評価対象画像データを生成する。
　ステップＳ１００３において、評価指標データ生成部１１０３は、ステップＳ１００２において生成された評価対象画像データから、評価対象の動きを評価するための各種指標のデータである評価指標データを生成する。ステップＳ１００４において、評価部１１０４は、ステップＳ１００３において生成された評価指標データを用いて、評価対象の動きを評価し、評価値を算出する。
　ステップＳ１００５において、評価部１１０４は、ステップＳ１００４において算出された評価値を出力し、評価処理を終了する。
　［評価指標データ生成処理の流れ］
　次に、図２１のステップＳ１００３において実行される評価指標データ生成処理の流れの例を、図２２のフローチャートを参照して説明する。
　評価指標データ生成処理が開始されると、評価指標データ生成部１１０３の動き検出部３１０は、ステップＳ１０２１において、評価対象の動きをブロック毎に検出し、動きベクトルを生成する。ステップＳ１０２２において、動き検出データ格納部３２０は、ステップＳ１０２１において生成された各ブロックの動きベクトルを記憶する。
　ステップＳ１０２３において、動き検出部３１０は、予め定められた所定の評価期間、動き検出を行ったか否かを判定する。所定の評価期間において、動き検出を行っていないフレーム画像が存在すると判定された場合、動き検出部３１０は、処理をステップＳ１０２１に戻し、新たな処理対象フレーム画像に対して動き検出を繰り返す。
　また、ステップＳ１０２３において、所定の評価期間において処理対象とする全てのフレーム画像において動き検出を行ったと判定された場合、動き検出部３１０は、処理をステップＳ１０２４に進める。
　ステップＳ１０２４において、特徴量算出部１１２３は、ステップＳ１０２２において記憶された動きベクトルから、例えば、平均振幅Ａａｖや平均拍動間隔Ｄａｖ等のような、評価対象の動きに関する特徴量を算出する。ステップＳ１０２５において、動き特徴量データ履歴格納メモリ１１２５は、ステップＳ１０２４において算出された特徴量を動き特徴量データとして記憶する。
　ステップＳ１０２６において、分類処理部１１２４は、ステップＳ１０２４において算出された特徴量に基づいて各ブロックを分類する。ステップＳ１０２７において、動き特徴量データ履歴格納メモリ１１２５は、ステップＳ１０２６において行われた分類結果を動き特徴量データとして記憶する。
　ステップＳ１０２８において、特徴量算出部１１２３は、特徴量の算出を予め定められた所定回数（例えばＳ回）繰り返したか否かを判定し、所定回数に達していないと判定された場合、処理をステップＳ１０２１に戻し、それ以降の処理を繰り返す。また、ステップＳ１０２８において、特徴量の算出を所定回数繰り返したと判定された場合、特徴量算出部１１２３は、処理をステップＳ１０２９に進める。
　ステップＳ１０２９において、動き特徴量データ履歴格納メモリ１１２５は、保持している動き特徴量データを評価指標データとして評価部１１０４に出力する。ステップＳ１０２９の処理を終了すると、動き特徴量データ履歴格納メモリ１１２５は、評価指標データ生成処理を終了し、処理を図２１のステップＳ１００３に戻し、ステップＳ１００４以降の処理を実行させる。
　［動き評価処理の流れ］
　次に、図２１のステップＳ１００４において実行される動き評価処理の流れの例を、図２３のフローチャートを参照して説明する。
　動き評価処理が開始されると、評価部１１０４の振幅評価部１１４１は、ステップＳ１０４１において、振幅に関する評価指標データに基づいて、評価対象の動きの振幅を評価し、その評価値Ｅａを算出する。
　ステップＳ１０４２において、拍動数評価部１１４２は、単位時間当たりの拍動数に関する評価指標データに基づいて、評価対象の動きの、単位時間当たりの拍動数を評価し、その評価値Ｅｒを算出する。
　ステップＳ１０４３において、分類結果評価部１１４３は、分類結果に関する評価指標データに基づいて、評価対象の動きに基づいて行った各ブロックの分類結果を評価し、その評価値Ｅｃを算出する。
　ステップＳ１０４４において、評価統合部１１４４は、各指標の評価値を統合し、評価対象の評価値Ｅを算出する。
　評価対象の評価値を算出すると、評価統合部１１４４は、動き評価処理を終了し、処理を図２１のステップＳ１００４に戻し、ステップＳ１００５以降の処理を実行させる。
　以上のように、各種処理を行うことにより、培養心筋細胞評価装置１１００は、評価対象（例えば細胞の動き）をより定量的に評価することができる。また、指標の生成に動きベクトルを用いることにより、より多様な指標をより容易かつ非侵襲に求めることができる。すなわち、評価対象（例えば細胞の動き）をより正しく評価することができる。
　＜４．第４の実施の形態＞
　［他の評価への応用］
　なお、評価対象の動きの協同性の評価することにより、その評価対象の動きに影響を及ぼす他の物体（例えば、気体、液体、固体の投与等）や任意の環境条件（例えば、温度、湿度、気圧、明度、振動、磁場等）等の評価を行うようにしてもよい。
　培養心筋細胞の位相差観察動画の解析によって求めた様々な領域の拍動は、培養日数依存的に協同的な拍動を示すが、様々な薬剤の投与によって変動を示す。このような変動を何らかの方法によって検出することで、創薬の際の薬剤毒性や効果等を事前に評価することが可能となり、近年注目されている。
　従来では、例えば、培養皿の底に配置した電極によって細胞の外場電位を検出し細胞の膜電位変化によって細胞の拍動挙動を捉える方法があった。また、細胞内にカルシウムに結合して発光する蛍光色素を入れ込み、細胞の興奮（活動電位）によって変動するカルシウム濃度を検出することで、細胞の拍動リズムを検出し、また、細胞の情報伝搬パターンを評価する方法もあった。
　これらの手法は、特定の培養皿が必要であったり、また蛍光色素は高価で、蛍光色素を入れ込むのも煩雑で時間がかかったりする等、細胞の簡便・非侵襲なモニタリングに対しては問題点が多かった。　
　そこで、上述したように、細胞の動きを検出して評価する方法を利用して薬剤投与による細胞拍動における収縮弛緩延長の評価を行い、その評価結果を用いて薬剤の毒性等を評価するようにする。心筋細胞の拍動は収縮と弛緩よりなるが、例えば細胞のカリウムチャネルのイオンの出入りが阻害されると、弛緩の時間が延長する（収縮した状態から戻り難くなる）。
　このような細胞の弛緩の延長を評価することにより、投与された薬剤が心筋細胞に及ぼす影響を評価することができる。このような細胞の動きの評価を、上述したように画像解析によって行うことにより、細胞に何ら蛍光色素などの試薬を加えることなく、また特殊な培養皿を使用することなく、細胞拍動挙動の変化を捉えることができるので、薬剤毒性等を容易かつ正確に評価することができる。
　［薬剤評価装置］
　図２４は、薬剤評価装置の主な構成例を示すブロック図である。図２４に示される薬剤評価装置１３００は、薬剤による影響（効能や副作用等）を、その薬剤が投与された培養心筋細胞５００の動きによって評価する装置である。
　図２４に示されるように、薬剤評価装置１３００は、図１３の培養心筋細胞評価装置１１００と同様の撮像部１１０１および評価対象画像データ生成記録部１１０２を有する。撮像部１１０１は、薬剤投与前と薬剤投与後に、培養心筋細胞５００を撮像する。
　評価対象画像データ生成記録部１１０２は、撮像部１１０１から供給される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを例えば内部の記録媒体に記録して保存する。つまり、薬剤投与前後の培養心筋細胞５００の各動画像について評価対象画像データが生成される。
　また、薬剤評価装置１３００は、培養心筋細胞評価装置１１００の評価指標データ生成部１１０３の代わりに、評価指標データ生成部１３０３を有し、さらに、評価部１１０４の代わりに評価部１３０４を有する。
　評価指標データ生成部１３０３は、評価対象画像データ生成記録部１１０２から、評価対象画像データを取得する。評価指標データ生成部１３０３は、取得した評価対象画像データを用いて評価指標データを生成し、それを評価部１３０４に供給する。
　より具体的には、評価指標データ生成部１３０３は、例えば培養心筋細胞５００の動画像である評価対象画像データの各フレーム画像間において、そのフレーム画像の全領域を複数に分割した部分領域であるブロック毎に、培養心筋細胞５００の動き検出（動きベクトルの生成）を行う。つまり、評価指標データ生成部１３０３は、このような各ブロックの動き検出を所定期間分（所定フレーム数分）行う。この期間は、撮像部１１０１が撮像した動画像の時間であってもよいし、それより短くてもよい。
　評価指標データ生成部１３０３は、さらに、生成した各動きベクトルの動き量（動きベクトルの長さ）を求める。つまり、評価指標データ生成部１３０３は、各ブロックのフレーム毎の動き量を所定期間分生成する。
　評価指標データ生成部１３０３が求めたあるブロックの各フレームの動き量を時系列に並べると、例えば、図２５に示されるグラフが得られる。図２５は、評価指標データ生成部１３０３が求めたあるブロックの動き量の時間的変化の様子、すなわち細胞の拍動の様子の例を示す図である。
　図２５のグラフにおいて、横軸は経過時間（フレーム数）を示し、縦軸は動き量（pixels/frame）を示す。曲線１３１１（before）が薬剤投与前の培養心筋細胞５００の拍動を示し、曲線１３１２（after）が薬剤投与後の培養心筋細胞５００の拍動を示す。なお、図２５のグラフにおいては、１拍動分（収縮と弛緩を１回ずつ）の波形が示されている。
　心筋細胞の拍動は、収縮と弛緩により構成され、曲線１３１１および曲線１３１２において左側に形成される山が「収縮」動作によるものであり、右側に形成される山が「弛緩」動作によるものである。点Ｐ１－１は、曲線１３１１（before）の収縮のピークを示し、点Ｐ１－２が曲線１３１１（before）の弛緩のピークを示す。また、点Ｐ２－１は、曲線１３１２（after）の収縮のピークを示し、点Ｐ２－２が曲線１３１２（after）の弛緩のピークを示す。
　一般に心筋の弛緩は、心電図でいうところのＴ波に対応しており、心筋細胞膜の再分極に対応している。このＴ波の延長はＱ波とＴ波間時間の延長として一般にＱＴ延長と呼ばれ、この症状が出る場合、不整脈の可能性が指摘される。例えば、培養心筋細胞５００に投与された薬剤によりカリウムチャネルへのイオンの出し入れが阻害されると、このようなＱＴ延長が発生する。例えば、ＤＬ－ソタロール（dl-sotalol）は、カリウムチャネルを阻害することが知られている。つまり、培養心筋細胞５００にＤＬ－ソタロールを投与すると弛緩過程で働くカリウムチャネル機能の変化によって弛緩過程が変化する。
　図２５に示されるように、薬剤投与前と後で、弛緩のピークがずれる。より具体的には、点Ｐ２－２の時刻が、点Ｐ１－２の時刻より時間ｄだけ遅れている（シフトする）。つまり、薬剤投与によるＱＴ延長の発生（例えばＤＬ－ソタロールの投与によるカリウムチャネル機能の変化）を確認することができる。
　このように、細胞の拍動（収縮と弛緩）における動きベクトル（若しくはその動き量）の時間的変化を薬剤投与前と後で比較することにより、薬剤による効果や毒性等を評価することができる。
　なお、従来の電位測定によっても、このＱＴ延長の観測は可能であるが、電極を有する専用の培養皿必要になる。また、カルシウムを用いた拍動イメージングでは基本的に左側のピークを観察するのみであり、右側のピークを観察することは困難である。したがって、この延長の評価には不向きである。これに対して、上述した本技術の方法の場合、細胞に何ら蛍光色素などの試薬を加えることなく、また特殊な培養皿を使用することなく、細胞拍動挙動の変化を捉えることができる。すなわち、容易、非侵襲、かつ、安価に評価を行うことができる。
　このようなＱＴ延長の評価を行うために、評価指標データ生成部１３０３は、さらに、生成された各動きベクトルの動き量（動きベクトルの長さ）から、例えば、時系列に並べた動き量群、点Ｐ２－１や点Ｐ２－２の座標、または時間ｄ等の、波形比較用の特徴量を算出し、その特徴量を評価指標データとして評価部１３０４に供給する。
　評価部１３０４は、供給された評価指標データを画像化したり、定量的に評価したり、培養心筋細胞５００の動きについての評価値を算出し、出力したりする。
　より具体的には、評価部１３０４は、例えば図２５に示されるような拍動パターンを示すグラフ画像を表示したり、ＱＴ延長の度合いを示す時間ｄを閾値判定することにより、ＱＴ延長の有無を判定したりする。
　なお、もちろん、図２５に示されるグラフは画像化の一例であり、これ以外にも、例えば、棒グラフ、分布図、模式図等、任意の画像により細胞の拍動パターンを表現するようにしてもよい。また、評価する薬剤は、任意である。
　以下に各部の詳細について説明する。
　［評価指標データ生成部］
　図２６は、評価指標データ生成部１３０３の主な構成例を示すブロック図である。図２６に示されるように、評価指標データ生成部１３０３は、動き検出部３１０を有し、評価対象画像データ６００（動画像）の各フレーム画像間の動き検出を行い、ブロック毎の動きベクトルを生成する。
　また、評価指標データ生成部１３０３は、動き量絶対値算出部１３２１、動き量絶対値格納部１３２２、特徴量算出部１３２３、および特徴量格納部１３２４を有する。
　動き量絶対値算出部１３２１は、動き検出部３１０が検出した各動きベクトルについて動き量（動きベクトルの長さの絶対値）（以下、動き量絶対値とも称する）を算出する。動き量絶対値算出部１３２１は、算出した動き量絶対値を動き量絶対値格納部１３２２に格納する。
　動き量絶対値格納部１３２２は、評価対象画像データ６００の全フレーム間のブロック毎の動き量絶対値を格納する。例えば、薬剤投与前と後のように、評価対象画像データが複数存在する場合、動き量絶対値格納部１３２２は、各評価対象画像データについて、動き量絶対値を格納する。
　特徴量算出部１３２３は、動き量絶対値格納部１３２２に格納されている動き量絶対値を用いて、評価に用いられる所定の特徴量を算出する。特徴量格納部１３２４は、特徴量算出部１３２３が算出した特徴量を格納する。この特徴量は、所定のタイミングにおいて、若しくは、評価部１３０４等の要求に応じて、評価指標データ８００として、評価部１３０４に供給される。
　［評価部］
　図２７は、評価部１３０４の主な構成例を示すブロック図である。図２７に示されるように、評価部１３０４は、特徴量取得部１３４１、特徴比較部１３４２、表示部１３４３、および出力部１３４４を有する。
　特徴量取得部１３４１は、評価指標データ生成部１３０３（特徴量格納部１３２４）から、所望の特徴量（例えばユーザが指定した評価対象（培養心筋細胞５００）の特徴量）を評価指標データ８００として取得する。特徴量取得部１３４１は、取得した特徴量を、表示部１３４３に供給して表示させたり、出力部１３４４に供給して他の装置に供給させたりする。また、特徴量取得部１３４１は、取得した特徴量を、特徴比較部１３４２に供給する。
　特徴比較部１３４２は、供給された特徴量を定量的に評価する。例えば、特徴比較部１３４２は、例えば薬剤投与前と後のように複数の培養心筋細胞５００のそれぞれの特徴量を互いに比較したり、特徴量を所定の閾値と比較したりして、定量的に評価する。特徴比較部１３４２は、その比較結果を表示部１３４３に供給して表示させたり、出力部１３４４に供給して他の装置に供給させたりする。
　表示部１３４３は、例えばモニタ等の表示デバイスを有し、特徴量取得部１３４１若しくは特徴比較部１３４２から供給されるデータを画像化し、その画像を表示デバイスに表示する。例えば、表示部１３４３は、特徴量取得部１３４１により取得された動き量を用いて、例えば図２５に示されるようなグラフを生成し、表示する。また、例えば、表示部１３４３は、特徴比較部１３４２から供給される評価結果を画像化し、表示する。
　出力部１３４４は、例えば外部端子等のインタフェースを有し、特徴量取得部１３４１若しくは特徴比較部１３４２から供給されるデータを外部の装置やネットワーク等に出力する。
　以上のように、評価部１３０４が拍動パターンを評価することにより、薬剤評価装置１３００は、薬剤投与による心筋細胞の拍動への影響を、容易かつ非侵襲に評価することができる。
　なお、以上においては、評価部がＱＴ延長の発生を評価するように説明したが、評価するパラメータは、これ以外であってもよい。つまり、算出される特徴量も任意である。例えば、図２５のグラフにおいて、点Ｐ１－２および点Ｐ２－２の動き量の差を特徴量としてもよい。また、例えば、点Ｐ１－１および点Ｐ２－１の時間や動き量の差を特徴量としてもよい。さらに例えば、収縮の山の幅や弛緩の山の幅を特徴量としてもよい。もちろん、これ以外のパラメータを特徴量としてもよい。
　また、評価部１３０４は、このような評価を、観察領域内の全ブロックについて行うようにしてもよいし、一部のブロックについて行うようにしてもよい。さらに、評価部１３０４は、このような評価を、観察期間の全ての拍動について行うようにしてもよいし、一部の拍動について行うようにしてもよい。
　［評価処理の流れ］
　次に、図２８のフローチャートを参照して、薬剤評価装置１３００により実行される評価処理の流れの例を説明する。
　評価処理が開始されると、薬剤評価装置１３００の撮像部１１０１は、ステップＳ１３０１において、評価対象を撮像する。ステップＳ１３０２において、評価対象画像データ生成記録部１１０２は、ステップＳ１３０１の撮像により得られた画像信号から評価対象画像データを生成する。
　ステップＳ１３０３において、評価指標データ生成部１３０３は、ステップＳ１３０２において生成された評価対象画像データを用いて評価指標データを生成する。ステップＳ１３０４において、評価部１３０４は、ステップＳ１３０３において生成された評価指標データを用いて、薬剤投与前後の培養心筋細胞５００の拍動パターン（例えばＱＴ延長）を観察することにより、薬剤の影響を評価する。
　ステップＳ１３０５において、評価部１３０４の出力部１３４４は、ステップＳ１３０４において算出された評価値を薬剤評価装置１３００の外部に出力し、評価処理を終了する。なお、ステップＳ１３０５において、出力部１３４４の出力の代わりに、上述したように、表示部１３４３が評価値を画像化し、その画像を表示デバイスに表示するようにしてもよい。また、上述したように、表示部１３４３が、ステップＳ１３０３の処理において算出される各種特徴量を画像化し、表示デバイスに表示するようにしてもよいし、出力部１３４４が、その各種特徴量を薬剤評価装置１３００の外部に出力するようにしてもよい。
　［評価指標データ生成処理の流れ］
　次に、図２８のステップＳ１３０３において実行される評価指標データ生成処理の流れの例を、図２９のフローチャートを参照して説明する。
　評価指標データ生成処理が開始されると、評価指標データ生成部１３０３の動き検出部３１０は、ステップＳ１３２１において、評価対象の動きをブロック毎に検出し、動きベクトルを生成する。ステップＳ１３２２において、動き量絶対値算出部１３２１は、ステップＳ１３２１において生成された動きベクトルの動き量絶対値を算出する。
　ステップＳ１３２３において、動き量絶対値格納部１３２２は、ステップＳ１３２２において算出された動き量絶対値を記憶する。
　ステップＳ１３２４において、動き検出部３１０は、予め定められた所定の期間（評価区間）、動き検出を行ったか否かを判定する。所定の評価区間において、動き検出を行っていないフレーム画像が存在すると判定された場合、動き検出部３１０は、処理をステップＳ１３２１に戻し、新たな処理対象フレーム画像に対して動き検出を繰り返す。
　また、ステップＳ１３２４において、所定の評価区間において処理対象とする全てのフレーム画像において動き検出を行ったと判定された場合、動き検出部３１０は、処理をステップＳ１３２５に進める。
　ステップＳ１３２５において、特徴量算出部１３２３は、ステップＳ１３２３において記憶された動き量絶対値を用いて特徴量を算出する。ステップＳ１３２６において、特徴量格納部１３２４は、ステップＳ１３２５において算出された特徴量を記憶する。
　ステップＳ１３２７において、特徴量算出部１３２３は、特徴量の算出を予め定められた所定回数（例えばＳ回）繰り返したか否かを判定し、所定回数に達していないと判定された場合、処理をステップＳ１３２１に戻し、それ以降の処理を繰り返す。また、ステップＳ１３２７において、特徴量の算出を所定回数繰り返したと判定された場合、特徴量算出部１３２３は、評価指標データ生成処理を終了し、処理を図２８に戻し、ステップＳ１３０４以降の処理を実行させる。
　［影響評価処理の流れ］
　次に、図３０のフローチャートを参照して、図２８のステップＳ１３０４において実行される影響評価処理の流れの例を説明する。
　影響評価処理が開始されると、評価部１３０４の特徴量取得部１３４１は、ステップＳ１３４１において、特徴量格納部１３２４から所望の動きベクトルを取得する。
　ステップＳ１３４２において、特徴比較部１３４２は、ステップＳ１３４１において取得した特徴量を対象間で比較する。ステップＳ１３４２の処理が終了すると、特徴比較部１３４２は、影響評価処理を終了し、処理を図２８に戻し、ステップＳ１３０５の処理を実行させる。
　以上のように、評価部１３０４が動き検出された観察対象の動き量の時間的変化についての特徴量を求めることにより、薬剤評価装置１３００は、薬剤投与による心筋細胞の拍動への影響を、容易に評価することができる。この方法は、特殊な培養皿や蛍光試薬を使わないため、簡便、非侵襲、安価に評価が可能であり、また自動化にも好適である。また、この方法の場合、観察領域は、例えば０．６mm平方程度と比較的狭い範囲でよく、少ない細胞数と少ない試薬で試験が可能である。また、一般的に市販されている高密度の培養プレート（１５３６穴プレート（１．７ｍｍ直径/1well）や３８４穴プレート（３．６ｍｍ直径/1well）によっても十分に評価可能であり、創薬における最初のスクリーニングにも好適である。本技術は、さらに、培養心筋細胞５００を観察することにより評価可能なものであればどのようなものを評価する場合にも適用することができる。
　［薬剤投与による拍動変化の例］
　図３１は、薬剤投与前後の拍動の様子の例を示す図である。図３１に示される８個のグラフは、いずれも、培養心筋細胞５００の観察領域内の所定の部分の拍動の様子（動き量絶対値の時間的変化）の観察結果である。横軸は時刻（sec）を示し、縦軸はフレーム間の動き量絶対値（pixcel/frame）を示す。つまり、各グラフにおいて示される各振幅が培養心筋細胞５００の拍動を表している。
　図３１の左側のグラフが薬剤投与前の拍動の様子を示し、右側のグラフが薬剤投与後（投与してから所定時間経過後）の拍動の様子を示している。
　図３１の例の場合、一番上のグラフは、有機溶媒（control）（例えばジメチルスルホキシド（dimethyl sulfoxide））の投与前後の拍動の様子を示している。また、上から２番目のグラフは、アスピリン（aspirin（アセチルサリチル酸（acetylsalicylic acid）））の投与前後の拍動の様子を示している。さらに、上から３番目のグラフは、ＤＬ－ソタロール（dl-sotalol）の投与前後の拍動の様子を示している。また、一番下の３Ｄプロットは、１８－β－グリチルレチン酸（18-β-Glycyrrhetinic acid）の投与前後の拍動の様子を示している。
　図３１のグラフに示されるように、有機溶媒やアスピリンは、心筋細胞の拍動の間隔に大きな影響を与えない。つまり、図３１の左側のグラフに示されるように薬剤投与前においては、拍動は、略一定間隔で繰り返される（ピーク間隔が略一定である）が、この心筋細胞に有機溶媒やアスピリンを投与しても、図３１の右側の上から１段目および２段目のグラフに示されるように、拍動は、薬剤投与前と略同一の間隔で、一定間隔に繰り返される。つまり、この場合、拍動のリズムは略変化しない（ピーク間隔が変化しない）。
　これに対して、ＤＬ－ソタロールを投与すると、カリウムチャネルの機能が阻害されることにより、弛緩の波形（拍動の幅）が変化する（不安定になる）だけでなく、図３１の右側の上から３段目のグラフに示されるように、拍動のタイミングが不安定になる（ピーク間隔にばらつきが生じる）。また、ピーク時の動き量絶対値も不安定になる（ばらつきが生じる）。
　また、１８－β－グリチルレチン酸は、ギャップジャンクションを阻害することが知られている。この１８－β－グリチルレチン酸を投与する場合も、図３１の右側の上から４段目のグラフに示されるように、拍動のタイミングやピーク時の動き量絶対値が不安定になる（ばらつきが生じる）。
　また、図３２は、薬剤投与前後の拍動のばらつきの様子の例を示す図である。図３２に示される８個のグラフは、いずれも、培養心筋細胞５００の観察領域内の所定の部分において繰り返される拍動の波形（複数の拍動）を重畳させたものである。
　図３１の場合と同様に、各グラフの横軸は時刻（sec）を示し、縦軸はフレーム間の動き量絶対値（pixcel/frame）を示す。また、左側のグラフが薬剤投与前の拍動を示し、右側のグラフが薬剤投与後（投与してから所定時間経過後）の拍動を示している。
　また、図３１の場合と同様に、投与される薬剤は、上から順に、有機溶媒（control）、アスピリン（aspirin（アセチルサリチル酸（acetylsalicylic acid）））、ＤＬ－ソタロール（dl-sotalol）、１８－β－グリチルレチン酸（18-β-Glycyrrhetinic acid）である。
　図３２のグラフに示されるように、有機溶媒やアスピリンを投与しても、心筋細胞の各拍動には、投与前と同様に大きなばらつきは生じない。
　これに対して、ＤＬ－ソタロールを投与すると、カリウムチャネルの機能が阻害されることにより、図３１の右側の上から３段目のグラフに示されるように、主に弛緩の波形（ピークの大きさ、ピークの出現時刻、ピークの出現回数、および幅（ＱＴ延長）等）に大きなばらつきが生じる。また、収縮の波形においてもピークの高さに大きなばらつきが生じる。
　また、１８－β－グリチルレチン酸は、ギャップジャンクションの機能が阻害されることにより、図３１の右側の上から４段目のグラフに示されるように、収縮の波形においてピークの高さに大きなばらつきが生じる。
　薬剤評価装置１３００を用いることにより、このような薬剤の投与による拍動への影響を容易かつ非侵襲に把握することができる。
　以上のように、培養心筋細胞５００の観察領域内の特定の細胞（特定の部分領域）について、薬剤投与による拍動の様子の変化を観察することにより、細胞間の拍動の相関性を観察するだけでは得られない情報を得ることができる。したがって、細胞間の拍動の相関性を観察する場合とは異なる指標で薬剤評価を行うことができる。
　＜５．第５の実施の形態＞
　［パーソナルコンピュータ］
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図３３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
　図３３において、パーソナルコンピュータ１５００のCPU（Central Processing Unit）１５０１は、ROM（Read Only Memory）１５０２に記憶されているプログラム、または記憶部１５１３からRAM（Random Access Memory）１５０３にロードされたプログラムに従って各種の処理を実行する。RAM１５０３にはまた、CPU１５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　CPU１５０１、ROM１５０２、およびRAM１５０３は、バス１５０４を介して相互に接続されている。このバス１５０４にはまた、入出力インタフェース１５１０も接続されている。
　入出力インタフェース１５１０には、キーボード、マウスなどよりなる入力部１５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部１５１２、ハードディスクなどより構成される記憶部１５１３、モデムなどより構成される通信部１５１４が接続されている。通信部１５１４は、インターネットを含むネットワークを介しての通信処理を行う。
　入出力インタフェース１５１０にはまた、必要に応じてドライブ１５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１５１３にインストールされる。
　上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば、図３３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア１５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１５０２や、記憶部１５１３に含まれるハードディスクなどで構成される。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
　（１）　周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出部と、
　前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも１種類の特徴量を算出する特徴量算出部と、
　前記複数のフレーム画像データの何れか１つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理部と
　を具備するデータ処理装置。
　（２）　前記特徴量算出部は、複数種類の前記特徴量を前記ブロックごとに算出し、
　前記分類部は、算出された複数種類の前記特徴量に基づいて前記分類データを生成する
　前記（１）に記載のデータ処理装置。
　（３）　前記特徴量算出部は、前記特徴量の１種類として一定時間における単位時間ごとの動き方向の平均値である平均動き方向を算出する
　前記（１）または（２）に記載のデータ処理装置。
　（４）　前記特徴量算出部は、前記特徴量の１種類として一定時間における単位時間ごとの動き量の平均値である平均動き量を算出する
　前記（１）乃至（３）のいずれかに記載のデータ処理装置。
　（５）　前記特徴量算出部は、前記特徴量の１種類として一定時間において得られた一定以上の動き量の振幅の平均値である平均振幅を算出する
　前記（１）乃至（４）のいずれかに記載のデータ処理装置。
　（６）　前記特徴量算出部は、前記特徴量の１種類として一定時間における単位時間ごとの動きの加速度の平均値である平均加速度を算出する
　前記（１）乃至（５）のいずれかに記載のデータ処理装置。
　（７）　前記特徴量算出部は、前記特徴量の１種類として一定時間において一定以上の動き量の振幅が得られる時間間隔の平均値である平均動き間隔を算出する
　前記（１）乃至（６）のいずれかに記載のデータ処理装置。
　（８）　前記特徴量算出部は、前記特徴量の１種類として所定のタイミングから一定以上の動き量の振幅が得られるタイミングまでの時間である動き開始時間を算出する
　前記（１）乃至（７）のいずれかに記載のデータ処理装置。
　（９）　前記分類部は、前記複数の分類区分に対応して異なる特徴量の組み合わせを有する複数のテンプレートの各々と前記ブロックとの距離を算出し、算出された距離に基づいて前記ブロックを前記複数の分類区分のうちの何れか１つに属するものとして分類する処理を前記ブロックごとに行う
　前記（１）乃至（８）のいずれかに記載のデータ処理装置。
　（１０）　前記分類部は、前記ブロックごとに対応して算出された特徴量に基づいてｋ平均法によるクラスタリングを行うことで、前記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類する
　前記（１）乃至（９）のいずれかに記載のデータ処理装置。
　（１１）　周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出手順と、
　前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも１種類の特徴量を算出する特徴量算出手順と、
　前記複数のフレーム画像データの何れか１つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理手順と
　を具備するデータ処理方法。
　（１２）　評価対象の画像を用いて前記評価対象の動きを検出する動き検出部と、
　前記動き検出部により検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部と、
　前記指標データ生成部により生成された前記指標データを評価し、評価値を算出する評価値算出部と
　を備える画像処理装置。
　（１３）　前記指標データ生成部は、前記評価対象の動きの振幅の大きさに関する指標データと、前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを生成し、
　前記評価値算出部は、前記指標データ生成部により生成された前記評価対象の動きの振幅の大きさに関する指標データを用いて、前記評価対象の動きの振幅の大きさ評価する評価値を算出し、さらに、前記指標データ生成部により生成された前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを用いて、前記評価対象の動きのピークの単位時間当たりの頻度を評価する評価値を算出する
　前記（１２）に記載の画像処理装置。
　（１４）　前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と、正規化した前記振幅の分散との積の前記評価対象の画像全体の平均値である
　前記（１３）に記載の画像処理装置。
　（１５）　前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と正規化した前記振幅の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
　前記（１３）または（１４）のいずれかに記載の画像処理装置。
　（１６）　前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と、正規化した単位時間当たりの前記ピークの数の分散との積の画面全体の平均値である
　前記（１３）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と正規化した単位時間当たりの前記ピークの数の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
　前記（１３）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記指標データ生成部は、さらに、前記評価対象の動きの特徴量に基づいて前記評価対象の画像の各部分領域を分類した分類結果に関する指標データを生成し、
　前記評価値算出部は、さらに、前記指標データ生成部により生成された前記分類結果に関する指標データを用いて、前記評価対象の動きの特徴量の分類結果を評価する評価値を算出する
　前記（１３）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　前記指標データ生成部は、前記動き検出部により検出された前記評価対象の動き量を算出し、
　前記評価値算出部は、前記指標データ生成部により算出された前記動き量の時間的変化を画像化し、表示する
　前記（１２）乃至（１８）のいずれかに記載の画像処理装置。
　（２０）　前記指標データ生成部は、算出した前記動き量の時間的変化の、前記評価対象である心筋細胞の弛緩を示す波形のピークの、前記心筋細胞への薬剤投与による変化を示す指標データを生成し、
　前記評価値算出部は、前記指標データ生成部により算出された前記指標データを評価し、評価値を算出する
　前記（１９）に記載の画像処理装置。
　（２１）　前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、
　前記動き検出部は、前記撮像部により得られた前記評価対象の画像を用いて前記評価対象の動きを検出する
　前記（１２）乃至（２０）のいずれかに記載の画像処理装置。
　（２２）　前記動き検出部は、動画像である前記評価対象の画像の、所定の長さの評価期間の各フレーム画像間の前記評価対象の動きを検出する
　前記（１２）乃至（２１）のいずれかに記載の画像処理装置。
　（２３）　前記動き検出部は、前記評価期間の前記評価対象の動きの検出を、所定回数繰り返す
　前記（２２）に記載の画像処理装置。
　（２４）　前記評価値算出部は、前記指標データ生成部により生成された複数種類の前記指標データのそれぞれを評価して評価値を算出し、算出した各評価値を統合することにより、前記評価対象を評価する評価値を算出する
　前記（１２）乃至（２３）のいずれかに記載の画像処理装置。
　（２５）　前記評価対象は、自発的に動く細胞である
　前記（１２）乃至（２４）のいずれかに記載の画像処理装置。
　（２６）　前記評価対象は、生体より採取した細胞を培養して生成した培養細胞である
　前記（１２）乃至（２５）のいずれかに記載の画像処理装置。
　（２７）　画像処理装置の動き検出部が、評価対象の画像を用いて前記評価対象の動きを検出し、
　前記画像処理装置の指標データ生成部が、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成し、
　前記画像処理装置の評価値算出部が、生成された前記指標データを評価し、評価値を算出する
　画像処理方法。
　（２８）　コンピュータを、
　評価対象の画像を用いて前記評価対象の動きを検出する動き検出部、
　検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部、
　生成された前記指標データを評価し、評価値を算出する評価値算出部
　として機能させるためのプログラム。
　１００　培養心筋細胞評価システム　１１０　撮像装置　２００　評価対象画像データ生成記録装置　３００　評価指標データ生成装置　３１０　動き検出部　３１１　フレームメモリ　３１２　動きベクトル算出部　３２０　動き検出データ格納部　３３０　特徴量算出部　３４０　分類処理部　４００　評価装置　５００　培養心筋細胞　６００　評価対象画像データ　６１０　フレーム画像データ　６１１　ブロック　７００　動き検出データ　７１０　フレーム単位動き検出データ　８００　評価指標データ　８０１　個別分類結果データ，　１１００　培養心筋細胞評価装置，　１１０１　撮像部，　１１０２　評価対象画像データ生成記録部，　１１０３　評価指標データ生成部，　１１０４　評価部，　１１２３　特徴量算出部，　１１２４　分類処理部，　１１２５　動き特徴量データ履歴格納メモリ，　１１４１　振幅評価部，　１１４２　拍動数評価部，　１１４３　分類結果評価部，　１１４４　評価統合部，　１３００　薬剤評価装置，　１３０３　評価指標データ生成部，　１３０４　評価部，　１３４１　特徴量取得部，　１３４２　特徴比較部，　１３４３　表示部，　１３４４　出力部

Claims (28)

  1. 　周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出部と、
    　前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも１種類の特徴量を算出する特徴量算出部と、
    　前記複数のフレーム画像データの何れか１つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理部と
    を具備するデータ処理装置。
  2. 　前記特徴量算出部は、複数種類の前記特徴量を前記ブロックごとに算出し、
    　前記分類部は、算出された複数種類の前記特徴量に基づいて前記分類データを生成する請求項１記載のデータ処理装置。
  3. 　前記特徴量算出部は、前記特徴量の１種類として一定時間における単位時間ごとの動き方向の平均値である平均動き方向を算出する請求項１記載のデータ処理装置。
  4. 　前記特徴量算出部は、前記特徴量の１種類として一定時間における単位時間ごとの動き量の平均値である平均動き量を算出する請求項１記載のデータ処理装置。
  5. 　前記特徴量算出部は、前記特徴量の１種類として一定時間において得られた一定以上の動き量の振幅の平均値である平均振幅を算出する請求項１記載のデータ処理装置。
  6. 　前記特徴量算出部は、前記特徴量の１種類として一定時間における単位時間ごとの動きの加速度の平均値である平均加速度を算出する請求項１記載のデータ処理装置。
  7. 　前記特徴量算出部は、前記特徴量の１種類として一定時間において一定以上の動き量の振幅が得られる時間間隔の平均値である平均動き間隔を算出する請求項１記載のデータ処理装置。
  8. 　前記特徴量算出部は、前記特徴量の１種類として所定のタイミングから一定以上の動き量の振幅が得られるタイミングまでの時間である動き開始時間を算出する請求項１記載のデータ処理装置。
  9. 　前記分類部は、前記複数の分類区分に対応して異なる特徴量の組み合わせを有する複数のテンプレートの各々と前記ブロックとの距離を算出し、算出された距離に基づいて前記ブロックを前記複数の分類区分のうちの何れか１つに属するものとして分類する処理を前記ブロックごとに行う請求項１記載のデータ処理装置。
  10. 　前記分類部は、前記ブロックごとに対応して算出された特徴量に基づいてｋ平均法によるクラスタリングを行うことで、前記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類する請求項１記載のデータ処理装置。
  11. 　周期的な運動を行う物体の画像内容を有する動画像データを形成する複数のフレーム画像データを所定画素数の配列によるブロックに分割して当該ブロックごとの動きの時系列データを検出する動き検出手順と、
    　前記検出されたブロックごとの動きの時系列データに基づいて、前記ブロックごとに少なくとも１種類の特徴量を算出する特徴量算出手順と、
    　前記複数のフレーム画像データの何れか１つを形成する前記ブロックのそれぞれを所定数の分類区分のうちの何れか１つに属するものとして分類した結果を示す分類データを前記算出された特徴量に基づいて生成する分類処理手順とを具備するデータ処理方法。
  12. 　評価対象の画像を用いて前記評価対象の動きを検出する動き検出部と、
    　前記動き検出部により検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部と、
    　前記指標データ生成部により生成された前記指標データを評価し、評価値を算出する評価値算出部と
    　を備える画像処理装置。
  13. 　前記指標データ生成部は、前記評価対象の動きの振幅の大きさに関する指標データと、前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを生成し、
    　前記評価値算出部は、前記指標データ生成部により生成された前記評価対象の動きの振幅の大きさに関する指標データを用いて、前記評価対象の動きの振幅の大きさ評価する評価値を算出し、さらに、前記指標データ生成部により生成された前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データを用いて、前記評価対象の動きのピークの単位時間当たりの頻度を評価する評価値を算出する
    　請求項１２に記載の画像処理装置。
  14. 　前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と、正規化した前記振幅の分散との積の前記評価対象の画像全体の平均値である
    　請求項１３に記載の画像処理装置。
  15. 　前記評価対象の動きの振幅の大きさに関する指標データは、正規化した前記振幅と正規化した前記振幅の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
    　請求項１３に記載の画像処理装置。
  16. 　前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と、正規化した単位時間当たりの前記ピークの数の分散との積の画面全体の平均値である
    　請求項１３に記載の画像処理装置。
  17. 　前記評価対象の動きのピークの単位時間当たりの頻度に関する指標データは、正規化した単位時間当たりの前記ピークの数と正規化した単位時間当たりの前記ピークの数の分散との積の値が所定の閾値以上の値となる領域の、前記評価対象の画像全体に占める割合である
    　請求項１３に記載の画像処理装置。
  18. 　前記指標データ生成部は、さらに、前記評価対象の動きの特徴量に基づいて前記評価対象の画像の各部分領域を分類した分類結果に関する指標データを生成し、
    　前記評価値算出部は、さらに、前記指標データ生成部により生成された前記分類結果に関する指標データを用いて、前記評価対象の動きの特徴量の分類結果を評価する評価値を算出する
    　請求項１３に記載の画像処理装置。
  19. 　前記指標データ生成部は、前記動き検出部により検出された前記評価対象の動き量を算出し、
    　前記評価値算出部は、前記指標データ生成部により算出された前記動き量の時間的変化を画像化し、表示する
    　請求項１２に記載の画像処理装置。
  20. 　前記指標データ生成部は、算出した前記動き量の時間的変化の、前記評価対象である心筋細胞の弛緩を示す波形のピークの、前記心筋細胞への薬剤投与による変化を示す指標データを生成し、
    　前記評価値算出部は、前記指標データ生成部により算出された前記指標データを評価し、評価値を算出する
    　請求項１９に記載の画像処理装置。
  21. 　前記評価対象を撮像し、前記評価対象の画像を得る撮像部をさらに備え、
    　前記動き検出部は、前記撮像部により得られた前記評価対象の画像を用いて前記評価対象の動きを検出する
    　請求項１２に記載の画像処理装置。
  22. 　前記動き検出部は、動画像である前記評価対象の画像の、所定の長さの評価期間の各フレーム画像間の前記評価対象の動きを検出する
    　請求項１２に記載の画像処理装置。
  23. 　前記動き検出部は、前記評価期間の前記評価対象の動きの検出を、所定回数繰り返す
    　請求項２２に記載の画像処理装置。
  24. 　前記評価値算出部は、前記指標データ生成部により生成された複数種類の前記指標データのそれぞれを評価して評価値を算出し、算出した各評価値を統合することにより、前記評価対象を評価する評価値を算出する
    　請求項１２に記載の画像処理装置。
  25. 　前記評価対象は、自発的に動く細胞である
    　請求項１２に記載の画像処理装置。
  26. 　前記評価対象は、生体より採取した細胞を培養して生成した培養細胞である
    　請求項１２に記載の画像処理装置。
  27. 　画像処理装置の動き検出部が、評価対象の画像を用いて前記評価対象の動きを検出し、
    　前記画像処理装置の指標データ生成部が、検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成し、
    　前記画像処理装置の評価値算出部が、生成された前記指標データを評価し、評価値を算出する
    　画像処理方法。
  28. 　コンピュータを、
    　評価対象の画像を用いて前記評価対象の動きを検出する動き検出部、
    　検出された前記評価対象の動きを示す動きベクトルを用いて、前記評価対象の動きの特徴を示し、前記評価対象の評価のための指標として用いられる指標データを生成する指標データ生成部、
    　生成された前記指標データを評価し、評価値を算出する評価値算出部
    　として機能させるためのプログラム。
PCT/JP2011/054557 2010-03-29 2011-02-28 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム WO2011122200A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201180025497.7A CN102906789B (zh) 2010-03-29 2011-02-28 数据处理装置、数据处理方法、图像处理装置和方法以及程序
US13/637,233 US9786052B2 (en) 2010-03-29 2011-02-28 Image processing apparatus and method for evaluating objects in an image
JP2012508154A JP5772817B2 (ja) 2010-03-29 2011-02-28 画像処理装置および方法、並びに、プログラム
US15/669,169 US10311582B2 (en) 2010-03-29 2017-08-04 Image processing apparatus and method for evaluating objects in an image
US16/401,494 US10692223B2 (en) 2010-03-29 2019-05-02 Image processing apparatus and method for evaluating objects in an image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010074306 2010-03-29
JP2010-074306 2010-03-29
JP2010234504 2010-10-19
JP2010-234504 2010-10-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/637,233 A-371-Of-International US9786052B2 (en) 2010-03-29 2011-02-28 Image processing apparatus and method for evaluating objects in an image
US15/669,169 Division US10311582B2 (en) 2010-03-29 2017-08-04 Image processing apparatus and method for evaluating objects in an image

Publications (1)

Publication Number Publication Date
WO2011122200A1 true WO2011122200A1 (ja) 2011-10-06

Family

ID=44711929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/054557 WO2011122200A1 (ja) 2010-03-29 2011-02-28 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム

Country Status (4)

Country Link
US (3) US9786052B2 (ja)
JP (3) JP5772817B2 (ja)
CN (1) CN102906789B (ja)
WO (1) WO2011122200A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012118049A1 (ja) * 2011-02-28 2012-09-07 ソニー株式会社 表示制御装置および方法、画像処理装置および方法、並びに、プログラム
WO2013165301A1 (en) * 2012-05-03 2013-11-07 General Electric Company Automatic segmentation and characterization of cellular motion
JP2014075999A (ja) * 2012-10-10 2014-05-01 Nikon Corp 心筋細胞の運動検出方法、画像処理プログラム及び画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法
JP2014179061A (ja) * 2013-02-14 2014-09-25 Sony Corp 分析システム、分析プログラム及び分析方法
WO2015008682A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 細胞評価装置および方法、並びにプログラム
JP2015019620A (ja) * 2013-07-19 2015-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2015041177A1 (ja) * 2013-09-18 2015-03-26 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置
US9582894B2 (en) 2012-12-27 2017-02-28 Tampereen Ylipoisto Visual cardiomyocyte analysis
JPWO2015068329A1 (ja) * 2013-11-08 2017-03-09 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
JP2017099405A (ja) * 2017-02-28 2017-06-08 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP2018061511A (ja) * 2013-02-14 2018-04-19 ソニー株式会社 神経細胞評価方法、神経細胞評価プログラム及び神経細胞評価方法
US10209236B2 (en) 2012-12-27 2019-02-19 Sony Corporation Cell analyzer system, cell analyzer program, and cell analyzing method
JP2019053791A (ja) * 2019-01-15 2019-04-04 ソニー株式会社 画像処理装置、画像処理プログラム及び画像処理方法
US10330583B2 (en) 2014-09-30 2019-06-25 Fujifilm Corporation Cell imaging apparatus and method for generating a composite image
WO2019131806A1 (ja) * 2017-12-26 2019-07-04 株式会社マイオリッジ 心筋細胞の薬剤応答性試験方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122200A1 (ja) 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP6147172B2 (ja) * 2013-11-20 2017-06-14 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、及びプログラム
US10535137B2 (en) * 2014-01-07 2020-01-14 Sony Corporation Analysis system and analysis method
JP2017126254A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017146696A (ja) 2016-02-16 2017-08-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
KR102035860B1 (ko) * 2018-02-06 2019-10-23 한림대학교 산학협력단 연속 제스처 인식 시스템
JP7086630B2 (ja) * 2018-02-09 2022-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
FR3086435B1 (fr) * 2018-09-26 2021-06-11 Univ Claude Bernard Lyon Procede d’analyse automatisee des contractions cellulaires d’un ensemble de cellules biologiques.
US20220198615A1 (en) * 2019-05-31 2022-06-23 Nippon Telegraph And Telephone Corporation Image processing apparatus, image processing method, and program
CN110780780B (zh) * 2019-09-04 2022-03-22 西安万像电子科技有限公司 图像处理方法及装置
CN110866906B (zh) * 2019-11-12 2022-07-08 安徽师范大学 基于图像边缘提取的三维培养人体心肌细胞搏动检测方法
CN113076894B (zh) * 2021-04-09 2022-05-17 中山大学 一种连续帧目标检测去重方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169319A (ja) * 2001-11-30 2003-06-13 Mitsubishi Electric Corp 映像監視装置
JP2006079594A (ja) * 2004-08-13 2006-03-23 Sony Corp 移動物体検出装置及び方法
WO2008149055A1 (en) * 2007-06-05 2008-12-11 General Electric Company Automatic characterization of cellular motion

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081531A (en) * 1989-01-11 1992-01-14 U.S. Philips Corporation Method and apparatus for processing a high definition television signal using motion vectors representing more than one motion velocity range
US6095976A (en) * 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
JP2000092454A (ja) * 1998-09-14 2000-03-31 Sony Corp 画像情報変換装置および画像情報変換方法
GB2366112B (en) * 1998-12-29 2003-05-28 Kent Ridge Digital Labs Method and apparatus for embedding digital information in digital multimedia data
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
JP4564634B2 (ja) * 2000-08-14 2010-10-20 キヤノン株式会社 画像処理方法及び装置並びに記憶媒体
JP3539632B2 (ja) 2001-02-14 2004-07-07 東京工業大学長 画像変化抽出方法、およびその画像処理プログラム
CN100349549C (zh) * 2003-10-29 2007-11-21 福州大学 全方向m型心动图的速度场和加速度场的检测方法及其装置
DE10353785B4 (de) * 2003-11-18 2006-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung von verschiedenen Zelltypen von Zellen in einer biologischen Probe
US20070014452A1 (en) * 2003-12-01 2007-01-18 Mitta Suresh Method and system for image processing and assessment of a state of a heart
US8900149B2 (en) 2004-04-02 2014-12-02 Teratech Corporation Wall motion analyzer
US7440008B2 (en) * 2004-06-15 2008-10-21 Corel Tw Corp. Video stabilization method
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
ATE431397T1 (de) * 2005-06-01 2009-05-15 Fraunhofer Ges Forschung Verfahren zur optischen bestimmung des dynamischen verhaltens von kontrahierenden zellen
EP1949297B1 (en) * 2005-10-14 2015-07-29 Unisense Fertilitech A/S Determination of a change in a cell population
JP4914659B2 (ja) 2006-07-04 2012-04-11 パイオニア株式会社 映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2008076088A (ja) * 2006-09-19 2008-04-03 Foundation For Biomedical Research & Innovation 細胞のモニター方法およびモニター装置
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
US8202720B2 (en) * 2007-06-08 2012-06-19 Mitsubishi Chemical Medience Corporation Model cell chip, apparatus for evaluating drug effect using the model cell chip and method of evaluating drug effect
CN101224110A (zh) * 2007-12-24 2008-07-23 南京理工大学 三维心肌形变应变计算方法
JP4962304B2 (ja) 2007-12-26 2012-06-27 株式会社豊田中央研究所 歩行者検出装置
JP4958806B2 (ja) 2008-01-22 2012-06-20 三洋電機株式会社 ぶれ検出装置、ぶれ補正装置及び撮像装置
CN101297763A (zh) * 2008-04-18 2008-11-05 福州大学 解剖式m型心动图的瞬时速度与加速度的检测方法
CN102056547B (zh) * 2008-06-03 2014-05-14 株式会社日立医疗器械 医用图像处理装置及医用图像处理方法
JP2010004261A (ja) 2008-06-19 2010-01-07 Sony Corp 画像処理装置、及び画像処理方法
US8831101B2 (en) * 2008-08-02 2014-09-09 Ecole De Technologie Superieure Method and system for determining a metric for comparing image blocks in motion compensated video coding
US8290255B2 (en) * 2009-02-06 2012-10-16 Canon Kabushiki Kaisha Image processing method, image processing apparatus, and program
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
WO2011122200A1 (ja) 2010-03-29 2011-10-06 ソニー株式会社 データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9070004B2 (en) * 2012-05-03 2015-06-30 General Electric Company Automatic segmentation and characterization of cellular motion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003169319A (ja) * 2001-11-30 2003-06-13 Mitsubishi Electric Corp 映像監視装置
JP2006079594A (ja) * 2004-08-13 2006-03-23 Sony Corp 移動物体検出装置及び方法
WO2008149055A1 (en) * 2007-06-05 2008-12-11 General Electric Company Automatic characterization of cellular motion

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380209A (zh) * 2011-02-28 2013-10-30 索尼公司 显示控制设备和方法、图像处理设备和方法以及程序
US10650534B2 (en) 2011-02-28 2020-05-12 Sony Corporation Display control and image processing of a cell image
US10311581B2 (en) 2011-02-28 2019-06-04 Sony Corporation Display control and image processing of a cell image
WO2012118049A1 (ja) * 2011-02-28 2012-09-07 ソニー株式会社 表示制御装置および方法、画像処理装置および方法、並びに、プログラム
WO2013165301A1 (en) * 2012-05-03 2013-11-07 General Electric Company Automatic segmentation and characterization of cellular motion
US9070004B2 (en) 2012-05-03 2015-06-30 General Electric Company Automatic segmentation and characterization of cellular motion
JP2015518378A (ja) * 2012-05-03 2015-07-02 ゼネラル・エレクトリック・カンパニイ 細胞運動の自動セグメンテーション及び特徴付け
EP2845146A4 (en) * 2012-05-03 2016-09-14 Gen Electric AUTOMATIC SEGMENTATION AND CHARACTERIZATION OF CELL MOVEMENT
JP2014075999A (ja) * 2012-10-10 2014-05-01 Nikon Corp 心筋細胞の運動検出方法、画像処理プログラム及び画像処理装置、心筋細胞の培養方法、心筋細胞の薬剤評価方法及び薬剤製造方法
US9582894B2 (en) 2012-12-27 2017-02-28 Tampereen Ylipoisto Visual cardiomyocyte analysis
US10209236B2 (en) 2012-12-27 2019-02-19 Sony Corporation Cell analyzer system, cell analyzer program, and cell analyzing method
US10049452B2 (en) 2013-02-14 2018-08-14 Sony Corporation Information processing apparatus, information processing method, and cell analysis system
US10891734B2 (en) 2013-02-14 2021-01-12 Sony Corporation Information processing apparatus, information processing method, and cell analysis system
JP2014179061A (ja) * 2013-02-14 2014-09-25 Sony Corp 分析システム、分析プログラム及び分析方法
JP2018061511A (ja) * 2013-02-14 2018-04-19 ソニー株式会社 神経細胞評価方法、神経細胞評価プログラム及び神経細胞評価方法
JP2019195337A (ja) * 2013-02-14 2019-11-14 ソニー株式会社 神経細胞評価方法、神経細胞評価プログラム及び神経細胞評価方法
JP2015019620A (ja) * 2013-07-19 2015-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US11087472B2 (en) 2013-07-19 2021-08-10 Sony Corporation Image processing device, method, and medium for calculating propagation speed and direction of object pulsations
US9972097B2 (en) 2013-07-19 2018-05-15 Sony Corporation Image processing device, method, and medium for calculating propagation speed and direction of object pulsations
US10157459B2 (en) 2013-07-19 2018-12-18 Sony Corporation Cell evaluation apparatus and method to search for an area to be observed in cardiomyocytes
WO2015008682A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 細胞評価装置および方法、並びにプログラム
WO2015041177A1 (ja) * 2013-09-18 2015-03-26 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置
US10163218B2 (en) 2013-09-18 2018-12-25 Nikon Corporation Image analysis device, image analysis method, image analysis program, cell manufacturing method, cell culturing method, and cell manufacturing device
JPWO2015041177A1 (ja) * 2013-09-18 2017-03-02 株式会社ニコン 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置
US10482598B2 (en) 2013-11-08 2019-11-19 Sony Corporation Cell analysis system, cell analysis program and cell analysis method
US10163203B2 (en) 2013-11-08 2018-12-25 Sony Corporation Cell analysis system, cell analysis program and cell analysis method
JPWO2015068329A1 (ja) * 2013-11-08 2017-03-09 ソニー株式会社 細胞分析システム、細胞分析プログラム及び細胞分析方法
US10861154B2 (en) 2013-11-08 2020-12-08 Sony Corporation Cell analysis system, cell analysis program and cell analysis method
US10330583B2 (en) 2014-09-30 2019-06-25 Fujifilm Corporation Cell imaging apparatus and method for generating a composite image
WO2017154318A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
JPWO2017154318A1 (ja) * 2016-03-09 2019-01-10 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US10845186B2 (en) 2016-03-09 2020-11-24 Sony Corporation Information processing device, information processing method, and information processing system
JP2017099405A (ja) * 2017-02-28 2017-06-08 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
WO2019131806A1 (ja) * 2017-12-26 2019-07-04 株式会社マイオリッジ 心筋細胞の薬剤応答性試験方法
JPWO2019131806A1 (ja) * 2017-12-26 2020-12-17 株式会社マイオリッジ 心筋細胞の薬剤応答性試験方法
US11726083B2 (en) 2017-12-26 2023-08-15 Myoridge Co. Ltd. Method for testing drug response of cardiomyocytes
JP7341478B2 (ja) 2017-12-26 2023-09-11 株式会社マイオリッジ 心筋細胞の薬剤応答性試験方法
JP2019053791A (ja) * 2019-01-15 2019-04-04 ソニー株式会社 画像処理装置、画像処理プログラム及び画像処理方法

Also Published As

Publication number Publication date
CN102906789B (zh) 2017-05-17
JPWO2011122200A1 (ja) 2013-07-08
US10311582B2 (en) 2019-06-04
JP2015207308A (ja) 2015-11-19
JP6504417B2 (ja) 2019-04-24
JP6222529B2 (ja) 2017-11-01
US10692223B2 (en) 2020-06-23
CN102906789A (zh) 2013-01-30
US20190259166A1 (en) 2019-08-22
JP5772817B2 (ja) 2015-09-02
US20170337697A1 (en) 2017-11-23
US20130070971A1 (en) 2013-03-21
US9786052B2 (en) 2017-10-10
JP2018038411A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
JP6222529B2 (ja) 細胞評価装置および方法、並びに、細胞評価システム
US10121064B2 (en) Systems and methods for behavior detection using 3D tracking and machine learning
Kropf et al. ECG classification based on time and frequency domain features using random forests
CN202795476U (zh) 图像处理设备
JP2012239661A (ja) 心拍数・呼吸数検出装置，方法およびプログラム
EP3428268A1 (en) Information processing device, information processing method, program, and information processing system
US11087472B2 (en) Image processing device, method, and medium for calculating propagation speed and direction of object pulsations
Boussard et al. Three-dimensional spike localization and improved motion correction for Neuropixels recordings
Ma et al. Multi-Scale Dynamic Graph Learning for Brain Disorder Detection with Functional MRI
Baruchi et al. Functional holography analysis: simplifying the complexity of dynamical networks
Prabhakar et al. EM based non-linear regression and singular value decomposition for epilepsy classification
JP2017175965A (ja) 画像処理装置、画像処理方法、及び画像処理システム
Paul et al. Hybrid shallow and deep learned feature mixture model for arrhythmia classification
JP6191888B2 (ja) 画像処理装置および方法、並びに、プログラム
Liu et al. Facial expression awareness based on multi-scale permutation entropy of EEG
Anzellotti et al. Measuring and modeling transformations of information between brain regions with fMRI
Parsons et al. Robust and fast heart rate variability analysis of long and noisy electrocardiograms using neural networks and images
Mameli et al. Weight Estimation from an RGB-D camera in top-view configuration
Bryant et al. Extracting interpretable signatures of whole-brain dynamics through systematic comparison
Vanitha et al. Brain Activity Analysis using Deep Neural Network
Aragones et al. Variable selection for nonlinear dimensionality reduction of biological datasets through bootstrapping of correlation networks
Jarchi et al. Localization of seizure sources using blind identification and a new clustering algorithm

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180025497.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11762440

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012508154

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13637233

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11762440

Country of ref document: EP

Kind code of ref document: A1