WO2021192264A1 - 画像処理方法、画像処理装置、および動作解析システム - Google Patents

画像処理方法、画像処理装置、および動作解析システム Download PDF

Info

Publication number
WO2021192264A1
WO2021192264A1 PCT/JP2020/014203 JP2020014203W WO2021192264A1 WO 2021192264 A1 WO2021192264 A1 WO 2021192264A1 JP 2020014203 W JP2020014203 W JP 2020014203W WO 2021192264 A1 WO2021192264 A1 WO 2021192264A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
image
image processing
difference
cell aggregate
Prior art date
Application number
PCT/JP2020/014203
Other languages
English (en)
French (fr)
Inventor
悠介 飯田
Original Assignee
Ａｇｃ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ａｇｃ株式会社 filed Critical Ａｇｃ株式会社
Priority to PCT/JP2020/014203 priority Critical patent/WO2021192264A1/ja
Publication of WO2021192264A1 publication Critical patent/WO2021192264A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Definitions

  • the present disclosure relates to an image processing method, an image processing device, and an operation analysis system.
  • the image processing method described in Patent Document 1 is a movement (position) of a cell between a frame of the current time and a frame of the previous time among a plurality of frames constituting a motion image in which the cells are imaged. Calculate the motion vector indicating (time change). According to this method, cell activity can be observed without using a special culture vessel and without damaging the cells.
  • the image processing method described in Patent Document 2 creates a difference image between each of a plurality of frames constituting a moving image in which cells are imaged and a reference frame, derives, for example, an average pixel intensity from the difference image, and average pixels. Quantify cell motility from intensity. According to this method, cell activity can be observed without using a special culture vessel and without damaging the cells.
  • Patent Document 1 in order to calculate motion vectors of a plurality of cells constituting a cell aggregate, a high-resolution image capable of identifying the contour of each cell is required, and the cell is a low-magnification image. It was difficult to observe many aggregates at the same time.
  • the reference frame is selected from a plurality of frames constituting the moving image.
  • the time difference between the time when the reference frame is imaged and the time when each frame is imaged varies depending on the time when each frame is imaged. If the time difference is too long, the direction of movement of the cells will be reversed in the middle. Therefore, when it was analyzed from the difference image that there was almost no cell movement, the cell movement was actually active in some cases. That is, according to Patent Document 2, it was not possible to accurately observe the moving speed of cells from the difference image.
  • One aspect of the present disclosure provides a technique capable of observing a large number of cell aggregates at the same time and accurately observing the moving speed of the cell aggregates.
  • the image processing method is The process of acquiring moving images in which frames that image multiple cell aggregates are arranged in the order in which they were imaged, A step of setting an analysis region for analyzing the operation of the cell aggregate in the moving image for each cell aggregate, and To calculate the difference between the gradation value in the n (n is a natural number of 1 or more) th frame and the gradation value in the n + m (m is a natural number of 1 or more) th frame for each pixel constituting the analysis region. , M is fixed and n is changed, and the process is repeated. To calculate at least one selected from the standard deviation of the difference and the average of the absolute values of the differences as a parameter representing the moving speed of the cell aggregate for each cell aggregate, m is fixed and n is changed. However, it has a step of repeating the process.
  • a large number of cell aggregates can be observed at the same time, and the moving speed of the cell aggregates can be observed with high accuracy.
  • FIG. 1 is a diagram showing an operation analysis system according to an embodiment.
  • FIG. 2 is a diagram showing an example of the relationship between the light passing through the cell aggregate at the completion of contraction and the start of relaxation and the light receiving element that receives the light.
  • FIG. 3 is a diagram showing an example of the relationship between the light passing through the cell aggregate at the completion of relaxation and the start of contraction and the light receiving element that receives the light.
  • FIG. 4 is a diagram showing a relationship between a moving image captured by an imaging device and a plurality of frames constituting the moving image.
  • FIG. 5 is a diagram showing components of the image processing apparatus according to the embodiment as functional blocks.
  • FIG. 6 is a diagram showing an example of the nth frame.
  • FIG. 1 is a diagram showing an operation analysis system according to an embodiment.
  • FIG. 2 is a diagram showing an example of the relationship between the light passing through the cell aggregate at the completion of contraction and the start of relaxation and the light receiving element that receives the light.
  • FIG. 3 is
  • FIG. 7 is a diagram showing an example of the relationship between the light receiving element and the gradation value corresponding to the intensity of the light received by the light receiving element.
  • FIG. 8 is a flowchart showing an image processing method according to an embodiment.
  • FIG. 9 is a graph showing the time change of B (n) according to Test Example 1.
  • FIG. 10 is a graph showing the time change of S (n) according to Test Example 1.
  • FIG. 11 is a graph showing the time change of ⁇ B (n) according to Test Example 1.
  • FIG. 12 is a graph showing the time change of ⁇ S (n) according to Test Example 1.
  • FIG. 13 is a graph showing the time change of ⁇ S (n) and ⁇ A (n) according to Test Example 2.
  • FIG. 9 is a graph showing the time change of B (n) according to Test Example 1.
  • FIG. 10 is a graph showing the time change of S (n) according to Test Example 1.
  • FIG. 11 is a graph showing the time change of ⁇ B (n)
  • FIG. 14 is a graph showing the time change of ⁇ S (n) according to Test Example 3.
  • FIG. 15 is a graph showing the time change of the average value of ⁇ Pxy according to Test Example 3, and is a graph when the 95th frame is selected as the reference frame.
  • FIG. 16 is a graph showing the time change of the average value of ⁇ Pxy according to Test Example 3, and is a graph when the first frame is selected as the reference frame.
  • FIG. 1 is a diagram showing an operation analysis system according to an embodiment.
  • the motion analysis system 10 analyzes the motion of a cell aggregate in which a plurality of cells are aggregated.
  • the motion analysis system 10 includes an imaging device 20 that captures a moving image of a plurality of cell aggregates, and an image processing device 30 that processes a moving image captured by the imaging device 20 in order to analyze the motion of the cell aggregate. Be prepared.
  • the motion analysis system 10 further includes an image display device 40 that displays the analysis result of the image processing device 30.
  • the imaging device 20 captures a moving image of a plurality of cell aggregates.
  • the plurality of cell aggregates are imaged in a state of being housed in the culture vessel 12 for the purpose of suppressing damage to the cell aggregates.
  • the culture vessel 12 is for culturing cell aggregates. Since the culture vessel 12 is a general one, the description thereof will be omitted. While the image pickup device 21 captures a moving image of the cell aggregate, the positional relationship between the culture vessel 12 and the image pickup device 21 is fixed.
  • a cell aggregate is, for example, a three-dimensional cell colony called a spheroid.
  • a three-dimensional cell colony has a structure similar to that of a living body as compared with a two-dimensional cell colony. Therefore, it is expected to be used for drug discovery screening and the like.
  • the cell aggregate is a three-dimensional cell colony in the present embodiment, it may be a two-dimensional cell colony.
  • the image pickup device 20 has an image pickup device 21 that images a plurality of cell aggregates.
  • the image sensor 21 is, for example, a CMOS image sensor or a CCD image sensor.
  • the image pickup device 21 has a plurality of light receiving elements 22 that accumulate an amount of electric charge according to the intensity of the received light by receiving the light that has passed through the cell aggregate.
  • the plurality of light receiving elements 22 are arranged in a matrix.
  • One light receiving element 22 is arranged for each pixel of the image sensor 21. The stronger the intensity of the light received by the light receiving element 22, the larger the amount of charge accumulated in the light receiving element 22.
  • FIG. 2 is a diagram showing an example of the relationship between the light passing through the cell aggregate at the completion of contraction and the start of relaxation and the light receiving element that receives the light.
  • FIG. 3 is a diagram showing an example of the relationship between the light passing through the cell aggregate at the completion of relaxation and the start of contraction and the light receiving element that receives the light.
  • the arrows indicate the traveling direction of light.
  • the cell assembly 14 is composed of, for example, several hundred cells 15.
  • the cell assembly 14 mainly contains cardiomyocytes, for example, and repeats contraction and relaxation as shown in FIGS. 2 and 3. Repeating contraction and relaxation is also called pulsation.
  • the overlapping condition of the cells 15 changes, and the propagation direction of light passing through the cell assembly 14 changes. This is because, depending on how the cells 15 are overlapped, there are places where the light is strongly diffracted and places where the light travels straight with almost no diffraction.
  • the cell aggregate 14 is not limited to those containing cardiomyocytes.
  • the cell assembly 14 may include any moving cell 15. This is because if the cells 15 contained in the cell aggregate 14 move, the degree of overlap of the cells 15 changes.
  • the degree of overlap of the cells 15 changes.
  • the direction of the light passing through the cell assembly 14 changes, so that the intensity of the light received by the light receiving element 22 changes, and the amount of electric charge accumulated in the light receiving element 22 changes.
  • FIG. 4 is a diagram showing the relationship between the moving image captured by the imaging device and the plurality of frames constituting the moving image.
  • the moving image 50 has a plurality of frames 51 arranged in the order in which they are captured.
  • the frame 51 is a still image.
  • the frame 51 has a plurality of pixels 52 arranged in a matrix.
  • the pixels 52 of the frame 51 and the pixels of the image sensor 21 have a one-to-one correspondence.
  • the pixel of the image sensor 21 is the light receiving element 22.
  • the gradation value of the plurality of pixels 52 is determined by the amount of electric charge accumulated in the light receiving elements 22 that are different from each other. That is, the gradation value of the plurality of pixels 52 is determined by the intensity of light received by the light receiving elements 22 that are different from each other.
  • the frame 51 is, for example, a black-and-white image represented by shades of black and white, and represents the intensity of light received by a plurality of light receiving elements 22. As the intensity of the light received by the light receiving element 22 becomes stronger, the color of the pixel 52 changes from black to white.
  • the gradation of the pixel 52 is not particularly limited, but is, for example, 8 bits (256 gradations).
  • the gradation value of the pixel 52 is an integer of 0 to 255.
  • the color of the pixel 52 having a gradation value of 0 is black, and the color of the pixel 52 having a gradation value of 255 is white.
  • the frame rate is such that the interval between the n (n is a natural number of 1 or more) th frame 51 (n) and the n + 1th frame 51 (n + 1) is larger than the motion cycle of the cell assembly 14 (for example, the beat cycle). It is set to be short enough.
  • the frame rate is the number of frames 51 per unit time (for example, 1 second).
  • the number of cell aggregates 14 reflected in the moving image 50 is determined by the imaging magnification of the imaging device 20 and the like.
  • the shooting magnification is a value obtained by dividing the length of the subject on the image sensor 21 by the actual length of the subject. The smaller the imaging magnification, the greater the number of cell aggregates 14 that can be observed at the same time, but the individual cells 15 that make up the cell aggregate 14 become unclear.
  • the imaging magnification of the image pickup apparatus 20 is, for example, less than 4 times, preferably 2 times or less.
  • the photographing magnification of the image pickup apparatus 20 is preferably 0.3 times or more, more preferably 0.5 times or more.
  • the number of cell aggregates 14 that can be observed at the same time is determined by the area of the image sensor 21 in addition to the imaging magnification of the image pickup device 20.
  • the wavelength of the light applied to the cell assembly 14 is set so as to suppress damage to the cell assembly 14, for example, 620 nm to 750 nm.
  • the intensity of the light applied to the cell assembly 14 is set so as to suppress damage to the cell assembly 14, for example, 1.0 ⁇ 10-14 W / ⁇ m 2 to 1.2 ⁇ 10-8 W. It is set to / ⁇ m 2.
  • the image processing device 30 is composed of, for example, a computer, and includes a CPU (Central Processing Unit) 31 and a storage medium 32 such as a memory, as shown in FIG.
  • the storage medium 32 stores programs that control various processes executed in the motion analysis system 10.
  • the image processing device 30 controls the operation of the motion analysis system 10 by causing the CPU 31 to execute the program stored in the storage medium 32.
  • the image processing device 30 includes an input interface 33 and an output interface 34.
  • the image processing device 30 receives a signal from the outside through the input interface 33, and transmits the signal to the outside through the output interface 34.
  • FIG. 5 is a diagram showing components of the image processing device according to the embodiment as functional blocks.
  • Each functional block shown in FIG. 5 is conceptual and does not necessarily have to be physically configured as shown. All or part of each functional block can be functionally or physically distributed / integrated in any unit. All or any part of each processing function performed in each functional block can be realized by a program executed by the CPU 31, or can be realized as hardware by wired logic.
  • the image processing device 30 has an image acquisition unit 35 that acquires a moving image 50 captured by the image pickup device 20.
  • the image acquisition unit 35 acquires the moving image 50 captured by the image pickup apparatus 20 by wire or wirelessly.
  • the moving image 50 has a plurality of frames 51 arranged in the order in which they are imaged, and each of the plurality of frames 51 is an image of a plurality of cell aggregates 14.
  • Each of the plurality of frames 51 is stored in the storage medium 32 in association with the order in which they are imaged.
  • FIG. 6 is a diagram showing an example of the nth frame.
  • FIG. 6 shows only a part of the nth frame 51 (n).
  • the total number of cell aggregates 14 shown in the nth frame 51 (n) is larger than the number of cell aggregates 14 shown in FIG.
  • the white dashed line represents the analysis region 53 for analyzing the behavior of the cell assembly 14.
  • the image processing device 30 has an analysis area setting unit 36 that sets an analysis area 53 for analyzing the operation of the cell assembly 14 in the moving image 50 for each cell assembly 14.
  • the analysis area setting unit 36 sets the analysis area 53 inside the contour of the cell assembly 14.
  • the analysis region 53 is always set to fit inside the contour of the cell assembly 14, regardless of the passage of time.
  • the analysis area setting unit 36 sets the analysis area 53 based on, for example, a signal from an input device that accepts an input operation by a user.
  • the input device transmits a signal corresponding to the input operation by the user to the analysis area setting unit 36.
  • the analysis area setting unit 36 may specify the contour of the cell assembly 14 by image processing such as pattern matching or binarization processing, and set the analysis area 53 inside the contour of the cell assembly 14.
  • the analysis area setting unit 36 sets, for example, one analysis area 53 for each cell assembly 14.
  • the size of the analysis area 53 is not particularly limited, but for example, the analysis area 53 is composed of 30 ⁇ 30 pixels 52.
  • the shape of the analysis region 53 is square in the present embodiment, but may be, for example, rectangular, triangular, circular, or elliptical, and is not particularly limited.
  • one analysis region 53 is set inside the contour of one cell assembly 14, but the technique of the present disclosure is not limited to this.
  • a plurality of analysis regions 53 may be set at intervals within the contour of one cell assembly 14.
  • the image processing apparatus 30 has a gradation value G (n) in the nth frame 51 (n) and a gradation value G (n + m) in the n + mth frame 51 (n + m) for each pixel 52 constituting the analysis region 53. It has a difference calculation unit 37 for calculating the difference ⁇ G (n) with and from. n is a natural number of 1 or more, and m is a natural number of 1 or more.
  • the time T (n) at which the nth frame 51 (n) was imaged is represented by n / F.
  • the time T (n + m) at which the n + mth frame 51 (n + m) is imaged is represented by (n + m) / F.
  • F is the frame rate.
  • i ⁇ j When one analysis area 53 is composed of i ⁇ j pixels 52, i ⁇ j ⁇ G (n) are calculated for each analysis area 53.
  • i is a natural number of 1 or more, for example 30.
  • j is a natural number of 1 or more, for example 30.
  • i ⁇ j is a natural number of 2 or more, for example 900.
  • ⁇ G (n) is calculated for the pixels 52 inside the analysis area 53.
  • ⁇ G (n) may be calculated for the pixels 52 outside the analysis region 53, but may not be calculated. Since no useless calculation is performed, the calculation amount of the CPU 31 can be reduced.
  • the difference calculation unit 37 repeatedly calculates ⁇ G (n) while fixing m and changing n.
  • the time change of ⁇ G (n) can be obtained.
  • the time T (n) of ⁇ G (n) is represented by n / F.
  • the difference calculation unit 37 repeatedly calculates ⁇ G (n) while fixing m and changing n to obtain a set of ⁇ G (n) in which n is different by one. Compared with the case of obtaining a set of ⁇ G (n) in which n is different by two, for example, the time change of ⁇ G (n) can be obtained in detail.
  • m will be described in detail later, it is preferably 2 or more.
  • the image processing apparatus 30 uses at least one selected from the standard deviation ⁇ S (n) of ⁇ G (n) and the average absolute value ⁇ A (n) of ⁇ G (n) as a parameter representing the moving speed of the cell assembly 14. , It has a speed calculation unit 38 that calculates for each cell aggregate 14. The reason for focusing on ⁇ S (n) and ⁇ A (n) as parameters representing the moving speed of the cell assembly 14 will be described with reference to FIG. 7.
  • FIG. 7 is a diagram showing an example of the relationship between the light receiving element and the gradation value corresponding to the intensity of the light received by the light receiving element.
  • FIG. 7A is a diagram showing an example of the relationship between the light receiving element and G (n).
  • FIG. 7B is a diagram showing an example of the relationship between the light receiving element and G (n + m).
  • FIG. 7C is a diagram showing an example of the relationship between the light receiving element and ⁇ G.
  • the image pickup device 21 shown in FIG. 7 has seven light receiving elements 22-1 to 22-7.
  • the seven light receiving elements 22-1 to 22-7 are arranged in a row at equal pitches in the left-right direction.
  • the pitch is L.
  • the seven light receiving elements 22-1 to 22-7 receive light passing through the cell assembly 14.
  • the intensity of light received by the light receiving element 22-2 at time T (n) is the intensity corresponding to the gradation value G 0 of the pixel 52.
  • v ⁇ L / ⁇ T L ⁇ F / m.
  • ⁇ S (n) G 0 ⁇ (v ⁇ ⁇ T) / L ⁇ (2/7) 0.5 ... (1)
  • ⁇ S (n) is determined by the speed v of the movement of the light receiving position, and thus is determined by the speed of movement of the cell assembly 14.
  • ⁇ A (n) G 0 ⁇ (v ⁇ ⁇ T) / L ⁇ (2/7) ⁇ ⁇ ⁇ (2)
  • ⁇ A (n) G 0 ⁇ (v ⁇ ⁇ T) / L ⁇ (2/7) ⁇ ⁇ ⁇ (2)
  • ⁇ A (n) is determined by the speed v of the movement of the light receiving position, and thus is determined by the speed of movement of the cell assembly 14.
  • the speed calculation unit 38 of the present embodiment calculates at least one selected from the standard deviation ⁇ S (n) of ⁇ G (n) and the absolute value average ⁇ A (n) of ⁇ G (n). Since ⁇ S (n) and ⁇ A (n) are determined by the moving speed of the cell assembly 14, the moving speed of the cell assembly 14 can be observed with high accuracy.
  • the average pixel intensity of the difference image is calculated.
  • the difference image since the reference frame used for creating the difference image is fixed, the difference image may lose data on speed.
  • the time difference between the time when the reference frame is imaged and the time when each frame is imaged varies depending on the time when each frame is imaged. This is because if the time difference is too long, the moving direction of the cell 15 is reversed in the middle. Since the difference image of Patent Document 2 may lose data on speed, the average pixel intensity of the difference image may naturally lose data on speed.
  • ⁇ G (n) is the difference between G (n) and G (n + m), and is calculated for each pixel 52 constituting the analysis region 53.
  • the calculation of ⁇ G (n) is repeated while fixing m and changing n.
  • the time ⁇ T from the time T (n) when the nth frame 51 is imaged to the time T (n + m) when the n + mth frame 51 is imaged is m / F regardless of n. be. Since m and F are constants, ⁇ T is a constant.
  • Patent Document 1 in order to calculate the motion vectors of a plurality of cells 15 constituting the cell aggregate 14, a high-resolution image capable of specifying the contour of each cell 15 is required, and a low-magnification image is required. It was difficult to observe a large number of cell aggregates 14 at the same time.
  • At least one selected from ⁇ S (n) and ⁇ A (n) is calculated as a parameter representing the speed of movement of the cell assembly 14. Since ⁇ S (n) and ⁇ A (n) are quantities representing variations in ⁇ G (n), the number of ⁇ G (n) is preferably 100 or more. Since the number of ⁇ G (n) is sufficient to be about the same as the number of cells 15 constituting the cell assembly 14, a high-resolution image capable of identifying the contour of each cell 15 is unnecessary. Therefore, according to the present embodiment, a large number of cell aggregates 14 can be observed at the same time with a low-magnification image.
  • ⁇ S (n) and ⁇ A (n) representing the speed of movement of one cell assembly 14 are the same as the number of pixels 52 included in one or more analysis regions 53 set in the cell assembly 14. It is obtained from ⁇ G (n).
  • the number of ⁇ G (n) used for calculating ⁇ S (n) and ⁇ A (n) representing the speed of movement of one cell assembly 14 is, for example, 100 or more, preferably 1000 or more.
  • the speed calculation unit 38 of the present embodiment repeatedly performs at least one calculation selected from ⁇ S (n) and ⁇ A (n) while fixing m and changing n. It is possible to accurately observe the time change of the moving speed of the cell assembly 14. Further, according to the present embodiment, the following problems of Patent Document 2 can be solved.
  • Patent Document 2 it is necessary to select a reference frame used for creating a difference image from a plurality of frames arranged in chronological order.
  • the difference image changes completely depending on whether the time when the selected reference frame is captured is the time when the contraction is completed shown in FIG. 2 or the time when the relaxation is completed shown in FIG. Therefore, the waveform of the average pixel intensity of the difference image changes completely depending on how the reference frame is selected.
  • the time ⁇ T from the time T (n) when the nth frame 51 was imaged to the time T (n + m) when the n + mth frame 51 was imaged is m / F regardless of n. Since m and F are constants, ⁇ T is a constant. Since ⁇ T does not fluctuate, the waveform of ⁇ S (n) and the waveform of ⁇ A (n) do not change due to the fluctuation of n.
  • the number of frames 51 per unit time (that is, the frame rate F) may be increased.
  • the frame rate F is large, the time (1 / F) from the time T (n) to the time T (n + 1) is short, so that the magnitude of movement of the cell assembly 14 during that time (1 / F) is large. It is small and the detection accuracy of the movement is lowered.
  • the speed calculation unit 38 of the present embodiment repeatedly calculates the difference ⁇ G (n) while fixing m to a natural number of 2 or more and changing n, thereby making ⁇ G different by one. Obtain the set of (n).
  • M is preferably set so that the value of m / F satisfies 0.01 seconds to 0.1 seconds. Further, m is set so as to satisfy the formula of "m ⁇ L ⁇ F / v", for example.
  • the fact that the equation "m ⁇ L ⁇ F / v" holds is that the light received by one light receiving element 22-2 at time T (n) is the original light receiving element 22-2 and its original light receiving element 22-2 at time T (n + m). It means that the light is received across both the adjacent light receiving elements 22-3 (see FIG. 7).
  • the image processing device 30 has a display processing unit 39 that displays the calculation result of the speed calculation unit 38 on the image display device 40.
  • the user can know the speed of movement of the cell assembly 14 by looking at the calculation result of the speed calculation unit 38 displayed on the image display device 40.
  • As the image display device 40 a flat panel display or the like is used.
  • FIG. 8 is a flowchart showing an image processing method according to an embodiment. Each step shown in FIG. 8 is carried out by the image processing apparatus 30. The order of the steps shown in FIG. 8 is not particularly limited. For example, steps S101 to S104 may be performed in parallel.
  • the image processing method includes a step S101 of acquiring a moving image 50 in which frames 51 in which a plurality of cell aggregates 14 are imaged are arranged in the order in which they are imaged.
  • the image acquisition unit 35 acquires the moving image 50 captured by the image pickup apparatus 20.
  • the moving image 50 is composed of a plurality of frames 51, and the plurality of frames 51 are stored in the storage medium 32 in association with the order in which they were imaged.
  • the image processing method includes a step S102 of setting an analysis region 53 for analyzing the operation of the cell assembly 14 in the moving image 50 for each cell assembly 14.
  • the analysis area setting unit 36 sets the analysis area 53 for each cell assembly 14.
  • the analysis area setting unit 36 sets the analysis area 53 inside the contour of the cell assembly 14.
  • the image processing method includes a step S103 of repeatedly calculating the difference ⁇ G (n) of the gradation value for each pixel constituting the analysis region 53 while fixing m and changing n.
  • the difference calculation unit 37 repeatedly calculates ⁇ G (n) while fixing m and changing n.
  • the difference calculation unit 37 repeatedly calculates ⁇ G (n) while fixing m and changing n to obtain a set of ⁇ G (n) in which n is different by one.
  • m is preferably 2 or more.
  • the image processing method calculates at least one selected from ⁇ S (n) and ⁇ A (n) as a parameter representing the moving speed of the cell assembly 14 for each cell assembly 14, fixing m and n.
  • the step S104 is repeated while changing the above.
  • the speed calculation unit 38 repeatedly calculates at least one selected from ⁇ S (n) and ⁇ A (n) for each cell assembly 14 while fixing m and changing n. conduct.
  • ⁇ S (n) and ⁇ A (n) are determined by the moving speed of the cell assembly 14 as is clear from the above formulas (1) and (2). Further, ⁇ S (n) and ⁇ A (n) are quantities representing variations in ⁇ G (n), and ⁇ G (n) is the difference between G (n) and G (n + m). The time ⁇ T from the time T (n) to the time T (n + m) is m / F regardless of n. Since m and F are constants, ⁇ T is a constant. Since ⁇ T does not fluctuate according to n, ⁇ G (n) does not lose data on speed due to fluctuations in n. Therefore, according to the present embodiment, the moving speed of the cell assembly 14 can be observed with high accuracy.
  • the number of ⁇ G (n) is preferably 100 or more. Since the number of ⁇ G (n) is sufficient to be about the same as the number of cells 15 constituting the cell assembly 14, a high-resolution image capable of identifying the contour of each cell 15 is unnecessary. Therefore, according to the present embodiment, a large number of cell aggregates 14 can be observed at the same time with a low-magnification image.
  • the speed calculation unit 38 repeatedly calculates the difference ⁇ G (n) while fixing m to a natural number of 2 or more and changing n, so that n is different by 1 for ⁇ G (n). Get the set.
  • the image processing method includes a step S105 of displaying the calculation result of the above step S104 on the image display device 40.
  • the user can know the speed of movement of the cell assembly 14 by looking at the calculation result of the above step S104 displayed on the image display device 40.
  • G (n) and ⁇ G (n) were calculated from the moving image 50 in which 100 cell aggregates 14 composed of about 200 cells 15 were simultaneously imaged, and B (B) (for each cell aggregate 14) was calculated.
  • n), S (n), ⁇ B (n) and ⁇ S (n) were calculated.
  • B (n) is the arithmetic mean of G (n)
  • S (n) is the standard deviation of G (n).
  • ⁇ B (n) is the arithmetic mean of ⁇ G (n)
  • ⁇ S (n) is the standard deviation of ⁇ G (n).
  • the results of 3 cell aggregates 14 are shown by solid lines, broken lines, and alternate long and short dash lines in FIGS. 9 to 12.
  • FIG. 9 is a graph showing the time change of B (n) according to Test Example 1.
  • FIG. 10 is a graph showing the time change of S (n) according to Test Example 1.
  • FIG. 11 is a graph showing the time change of ⁇ B (n) according to Test Example 1.
  • FIG. 12 is a graph showing the time change of ⁇ S (n) according to Test Example 1.
  • G (n) and ⁇ G (n) were calculated from the moving image 50 in which 100 cell aggregates 14 composed of about 200 cells 15 were simultaneously imaged, and ⁇ S ( ⁇ S) for each cell aggregate 14. n) and ⁇ A (n) were calculated. ⁇ S (n) is the standard deviation of ⁇ G (n), and ⁇ A (n) is the average of the absolute values of ⁇ G (n). As a representative of 100 cell aggregates 14, the result of one cell aggregate 14 is shown in FIG.
  • FIG. 13 is a graph showing the time change of ⁇ S (n) and ⁇ A (n) according to Test Example 2.
  • the solid line shows the time change of ⁇ S (n)
  • the broken line shows the time change of ⁇ A (n).
  • the waveform of ⁇ A (n) showed the same tendency as the waveform of ⁇ S (n). Therefore, it can be seen that ⁇ A (n), like ⁇ S (n), is also appropriate as a parameter representing the speed of movement of the cell assembly 14.
  • FIG. 14 is a graph showing the time change of ⁇ S (n) according to Test Example 3.
  • FIG. 15 is a graph showing the time change of the average value of ⁇ Pxy according to Test Example 3, and is a graph when the 95th frame is selected as the reference frame.
  • the time when the 95th frame was imaged is T (95) shown in FIGS. 14 and 15.
  • T (95) the cell assembly 14 is in a state after the completion of relaxation and before the start of contraction.
  • FIG. 16 is a graph showing the time change of the average value of ⁇ Pxy according to Test Example 3, and is a graph when the first frame is selected as the reference frame.
  • the time when the first frame was imaged is T (1) shown in FIGS. 14 and 15.
  • T (1) the cell assembly 14 is contracting.
  • FIGS. 15 and 16 it can be seen that in the method of Patent Document 2 above, different waveforms can be obtained depending on which frame is selected as the reference frame.
  • Motion analysis system 14 Cell aggregate 15 Cell 20 Image sensor 21 Image sensor 22 Light receiving element 30 Image processing device 35 Image acquisition unit 36 Analysis area setting unit 37 Difference calculation unit 38 Speed calculation unit 40 Image display device 50 Moving image 51 Frame 52 Pixel 53 analysis area

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Wood Science & Technology (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Microbiology (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Medicinal Chemistry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sustainable Development (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

複数の細胞集合体を撮像したフレームが撮像された順番で並ぶ動画像を取得する工程と、前記動画像における前記細胞集合体の動作を解析する解析領域を、前記細胞集合体ごとに設定する工程と、前記解析領域を構成する画素ごとにｎ（ｎは１以上の自然数）番目のフレームにおける階調値とｎ＋ｍ（ｍは１以上の自然数）番目のフレームにおける階調値との差分を算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程と、前記細胞集合体の動く速さを表すパラメータとして前記差分の標準偏差および前記差分の絶対値平均から選ばれる少なくとも１つを前記細胞集合体ごとに算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程とを有する、画像処理方法。

Description

画像処理方法、画像処理装置、および動作解析システム
　本開示は、画像処理方法、画像処理装置、および動作解析システムに関する。
　従来、細胞活動を測定する方法として、細胞活動によって生じる細胞周辺の電位変化を電極で測定する方法があった。この方法では、細胞を培養する培養容器として、電極が埋め込まれたものを用いる必要があった。
　また、別の細胞活動を測定する方法として、細胞活動によって生じる細胞内部のイオン濃度変化を測定する方法があった。この方法では、例えばカルシウムイオンに結合することにより蛍光する蛍光色素を、細胞内部に加える必要があった。
　特許文献１に記載の画像処理方法は、細胞が撮像された動画像を構成する複数のフレームのうち、現在時刻のフレームと、１つ前の時刻のフレームとの間での細胞の動き（位置の時間変化）を示す動きベクトルを算出する。この方法によれば、特殊な培養容器を使用することなく、また、細胞を傷付けることなく、細胞活動を観察できる。
　特許文献２に記載の画像処理方法は、細胞が撮像された動画像を構成する複数のフレームのそれぞれと基準フレームとの差分画像を作成し、差分画像から例えば平均ピクセル強度を導出し、平均ピクセル強度から細胞の運動を定量化する。この方法によれば、特殊な培養容器を使用することなく、また、細胞を傷付けることなく、細胞活動を観察できる。
日本国特開２０１２－１０５６３１号公報 日本国特表２０１３－５３３９８６号公報
　特許文献１によれば、細胞集合体を構成する複数個の細胞の動きベクトルを算出すべく、個々の細胞の輪郭を特定できる程度の高解像度の画像が必要であり、低倍率の画像で細胞集合体を同時に多数観察することが困難であった。
　特許文献２によれば、基準フレームは、動画像を構成する複数のフレームから選択される。基準フレームが撮像された時刻と各フレームが撮像された時刻との時間差は、各フレームが撮像された時刻に応じて変動する。その時間差が長過ぎると、細胞の動く方向が途中で反転する。それゆえ、差分画像から細胞の動きがほとんど無いと解析された場合に、実際には細胞の動きが活発なことがあった。つまり、特許文献２によれば、差分画像から、細胞の動く速さを精度良く観察できなかった。
　本開示の一態様は、細胞集合体を同時に多数観察でき、且つ、細胞集合体の動く速さを精度良く観察できる、技術を提供する。
　本開示の一態様に係る画像処理方法は、
　複数の細胞集合体を撮像したフレームが撮像された順番で並ぶ動画像を取得する工程と、
　前記動画像における前記細胞集合体の動作を解析する解析領域を、前記細胞集合体ごとに設定する工程と、
　前記解析領域を構成する画素ごとにｎ（ｎは１以上の自然数）番目のフレームにおける階調値とｎ＋ｍ（ｍは１以上の自然数）番目のフレームにおける階調値との差分を算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程と、
　前記細胞集合体の動く速さを表すパラメータとして前記差分の標準偏差および前記差分の絶対値平均から選ばれる少なくとも１つを前記細胞集合体ごとに算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程とを有する。
　本開示の一態様によれば、細胞集合体を同時に多数観察でき、且つ、細胞集合体の動く速さを精度良く観察できる。
図１は、一実施形態に係る動作解析システムを示す図である。 図２は、収縮完了時および弛緩開始時の細胞集合体を通過する光と、その光を受光する受光素子との関係の一例を示す図である。 図３は、弛緩完了時および収縮開始時の細胞集合体を通過する光と、その光を受光する受光素子との関係の一例を示す図である。 図４は、撮像装置によって撮像される動画像と、動画像を構成する複数のフレームとの関係を示す図である。 図５は、一実施形態に係る画像処理装置の構成要素を機能ブロックで示す図である。 図６は、ｎ番目のフレームの一例を示す図である。 図７は、受光素子と、受光素子で受光される光の強度に相当する階調値との関係の一例を示す図である。 図８は、一実施形態に係る画像処理方法を示すフローチャートである。 図９は、試験例１に係るＢ（ｎ）の時間変化を示すグラフである。 図１０は、試験例１に係るＳ（ｎ）の時間変化を示すグラフである。 図１１は、試験例１に係るΔＢ（ｎ）の時間変化を示すグラフである。 図１２は、試験例１に係るΔＳ（ｎ）の時間変化を示すグラフである。 図１３は、試験例２に係るΔＳ（ｎ）とΔＡ（ｎ）の時間変化を示すグラフである。 図１４は、試験例３に係るΔＳ（ｎ）の時間変化を示すグラフである。 図１５は、試験例３に係るΔＰｘｙの平均値の時間変化を示すグラフであって、基準フレームとして９５番目のフレームを選択した時のグラフである。 図１６は、試験例３に係るΔＰｘｙの平均値の時間変化を示すグラフであって、基準フレームとして１番目のフレームを選択した時のグラフである。
　以下、本開示の実施形態について図面を参照して説明する。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
　図１は、一実施形態に係る動作解析システムを示す図である。動作解析システム１０は、複数の細胞が集合した細胞集合体の動作を解析する。動作解析システム１０は、複数の細胞集合体の動画像を撮像する撮像装置２０と、細胞集合体の動作を解析すべく、撮像装置２０によって撮像された動画像を処理する画像処理装置３０とを備える。動作解析システム１０は、画像処理装置３０の解析結果を表示する画像表示装置４０をさらに備える。
　撮像装置２０は、複数の細胞集合体の動画像を撮像する。複数の細胞集合体は、細胞集合体の損傷を抑制する目的で、培養容器１２に収容された状態で撮像される。培養容器１２は、細胞集合体を培養するものである。培養容器１２は、一般的なものであるので、説明を省略する。撮像素子２１が細胞集合体の動画像を撮像する間、培養容器１２と撮像素子２１との位置関係は固定される。
　細胞集合体は、例えば、スフェロイド（Spheroid）と呼ばれる、三次元的な細胞のコロニーである。三次元的な細胞のコロニーは、二次元的な細胞のコロニーに比べて、生体に類似した構造を有する。それゆえ、創薬スクリーニングなどへの利用が期待されている。
　なお、細胞集合体は、本実施形態では三次元的な細胞のコロニーであるが、二次元的な細胞のコロニーであってもよい。
　撮像装置２０は、複数の細胞集合体を撮像する撮像素子２１を有する。撮像素子２１は、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサである。撮像素子２１は、細胞集合体を通過した光を受光することにより、受光した光の強度に応じた量の電荷を蓄積する受光素子２２を複数有する。
　複数の受光素子２２は、行列状に配置される。受光素子２２は、撮像素子２１の画素ごとに１つずつ配置される。受光素子２２で受光される光の強度が強いほど、受光素子２２に蓄積される電荷量の大きさが大きい。
　図２は、収縮完了時および弛緩開始時の細胞集合体を通過する光と、その光を受光する受光素子との関係の一例を示す図である。図３は、弛緩完了時および収縮開始時の細胞集合体を通過する光と、その光を受光する受光素子との関係の一例を示す図である。図２および図３において、矢印は光の進行方向を表す。
　細胞集合体１４は、例えば数百個の細胞１５で構成される。細胞集合体１４は、例えば主に心筋細胞を含み、図２および図３に示すように収縮と弛緩とを繰り返す。収縮と弛緩とを繰り返すことを、拍動とも呼ぶ。
　細胞集合体１４に含まれる細胞１５が動く時、細胞１５の重なり具合が変化し、細胞集合体１４を通過する光の伝播方向が変化する。細胞１５の重なり具合によって、光が強く回折される場所と、光がほとんど回折されずに直進する場所とが生じるからである。
　なお、細胞集合体１４は、心筋細胞を含むものには限定されない。細胞集合体１４は、動きのある細胞１５を含むものであればよい。細胞集合体１４に含まれる細胞１５が動けば、細胞１５の重なり具合が変化するからである。
　細胞集合体１４に含まれる細胞１５が動く時、細胞１５の重なり具合が変化する。その結果、細胞集合体１４を通過する光の方向が変化するので、受光素子２２で受光される光の強度が変化し、受光素子２２に蓄積される電荷量が変化する。
　図４は、撮像装置によって撮像される動画像と、動画像を構成する複数のフレームとの関係を示す図である。図４に示すように、動画像５０は、撮像された順番で並ぶ複数のフレーム５１を有する。フレーム５１とは、静止画像のことである。
　フレーム５１は、行列状に並ぶ複数の画素５２を有する。フレーム５１の画素５２と、撮像素子２１の画素とは一対一で対応する。撮像素子２１の画素は、受光素子２２である。
　複数の画素５２の階調値は、互いに異なる受光素子２２に蓄積される電荷量で決められる。つまり、複数の画素５２の階調値は、互いに異なる受光素子２２で受光される光の強度で決められる。
　フレーム５１は、例えば白黒の濃淡で表現されるモノクロ画像であり、複数の受光素子２２で受光される光の強度を表す。受光素子２２で受光される光の強度が強くなるほど、画素５２の色が黒色から白色に変化する。
　画素５２の階調は、特に限定されないが、例えば８ビット（２５６階調）である。この場合、画素５２の階調値は、０～２５５の整数である。受光素子２２で受光される光の強度が強いほど、画素５２の階調値が大きくなる。階調値が０である画素５２の色は黒色であり、階調値が２５５である画素５２の色は白色である。
　フレームレートは、ｎ（ｎは１以上の自然数）番目のフレーム５１（ｎ）とｎ＋１番目のフレーム５１（ｎ＋１）との間隔が細胞集合体１４の動作の周期（例えば拍動の周期）よりも十分に短くなるように設定される。フレームレートは、単位時間（例えば１秒）当たりのフレーム５１の数のことである。
　動画像５０に写る細胞集合体１４の個数は、撮像装置２０の撮影倍率などで決まる。撮影倍率とは、撮像素子２１上での被写体の長さを、実際の被写体の長さで除した値である。撮影倍率が小さいほど、同時に観察できる細胞集合体１４の個数が増える反面、細胞集合体１４を構成する個々の細胞１５が不鮮明になる。
　撮像装置２０の撮影倍率は、例えば４倍未満であり、好ましくは２倍以下である。撮像装置２０の撮影倍率は、好ましくは０．３倍以上、より好ましくは０．５倍以上である。なお、同時に観察できる細胞集合体１４の個数は、撮像装置２０の撮影倍率の他、撮像素子２１の面積で決まる。
　細胞集合体１４に照射される光の波長は、細胞集合体１４の損傷を抑制するように設定され、例えば６２０ｎｍ～７５０ｎｍに設定される。また、細胞集合体１４に照射される光の強度は、細胞集合体１４の損傷を抑制するように設定され、例えば１．０×１０－１４Ｗ／μｍ２～１．２×１０－８Ｗ／μｍ２に設定される。
　画像処理装置３０は、例えばコンピュータで構成され、図１に示すように、ＣＰＵ（Central Processing Unit）３１と、メモリなどの記憶媒体３２とを備える。記憶媒体３２には、動作解析システム１０において実行される各種の処理を制御するプログラムが格納される。画像処理装置３０は、記憶媒体３２に記憶されたプログラムをＣＰＵ３１に実行させることにより、動作解析システム１０の動作を制御する。また、画像処理装置３０は、入力インターフェース３３と、出力インターフェース３４とを備える。画像処理装置３０は、入力インターフェース３３で外部からの信号を受信し、出力インターフェース３４で外部に信号を送信する。
　図５は、一実施形態に係る画像処理装置の構成要素を機能ブロックで示す図である。図５に図示される各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵ３１にて実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
　画像処理装置３０は、撮像装置２０によって撮像された動画像５０を取得する画像取得部３５を有する。画像取得部３５は、有線または無線で、撮像装置２０によって撮像された動画像５０を取得する。動画像５０は撮像された順番で並ぶ複数のフレーム５１を有し、複数のフレーム５１のそれぞれは複数の細胞集合体１４を撮像したものである。複数のフレーム５１は、それぞれ、撮像された順番と対応付けて記憶媒体３２に記憶される。
　図６は、ｎ番目のフレームの一例を示す図である。図６には、ｎ番目のフレーム５１（ｎ）の一部のみを示す。ｎ番目のフレーム５１（ｎ）に写る細胞集合体１４の総数は、図６に示す細胞集合体１４の数よりも多い。図６において、白色の破線は、細胞集合体１４の動作を解析する解析領域５３を表す。
　画像処理装置３０は、動画像５０における細胞集合体１４の動作を解析する解析領域５３を、細胞集合体１４ごとに設定する解析領域設定部３６を有する。解析領域設定部３６は、細胞集合体１４の輪郭の内部に解析領域５３を設定する。解析領域５３は、時間の経過に関係なく、常に、細胞集合体１４の輪郭の内部に収まるように設定される。
　解析領域設定部３６は、例えばユーザによる入力操作を受け付ける入力装置からの信号に基づいて解析領域５３を設定する。入力装置は、ユーザによる入力操作に応じた信号を、解析領域設定部３６に送信する。なお、解析領域設定部３６は、パターンマッチングまたは二値化処理などの画像処理によって細胞集合体１４の輪郭を特定し、細胞集合体１４の輪郭の内部に解析領域５３を設定してもよい。
　解析領域設定部３６は、例えば、細胞集合体１４ごとに、解析領域５３を１つずつ設定する。解析領域５３の大きさは特に限定されないが、例えば３０×３０個の画素５２で解析領域５３が構成される。解析領域５３の形状は、本実施形態では正方形であるが、例えば長方形、三角形、円形、または楕円形などでもよく、特に限定されない。
　なお、本実施形態では１つの細胞集合体１４の輪郭の内部に１つの解析領域５３が設定されるが、本開示の技術はこれに限定されない。１つの細胞集合体１４の輪郭の内部に、複数の解析領域５３が間隔をおいて設定されてもよい。
　画像処理装置３０は、解析領域５３を構成する画素５２ごとに、ｎ番目のフレーム５１（ｎ）における階調値Ｇ（ｎ）とｎ＋ｍ番目のフレーム５１（ｎ＋ｍ）における階調値Ｇ（ｎ＋ｍ）との差分ΔＧ（ｎ）を算出する差分算出部３７を有する。ｎは１以上の自然数であり、ｍは１以上の自然数である。
　ｎ番目のフレーム５１（ｎ）が撮像された時刻Ｔ（ｎ）は、ｎ／Ｆで表される。また、ｎ＋ｍ番目のフレーム５１（ｎ＋ｍ）が撮像された時刻Ｔ（ｎ＋ｍ）は、（ｎ＋ｍ）／Ｆで表される。ここで、Ｆは、フレームレートである。
　１つの解析領域５３がｉ×ｊ個の画素５２で構成される場合、解析領域５３ごとにｉ×ｊ個のΔＧ（ｎ）が算出される。ｉは、１以上の自然数であり、例えば３０である。ｊは、１以上の自然数であり、例えば３０である。ｉ×ｊは、２以上の自然数であり、例えば９００である。
　ΔＧ（ｎ）は、解析領域５３の内部の画素５２について算出される。ΔＧ（ｎ）は、解析領域５３の外部の画素５２について、算出されてもよいが、算出されなくてよい。無駄な演算が行われないので、ＣＰＵ３１の演算量を低減できる。
　ΔＧ（ｎ）は、「ΔＧ（ｎ）＝Ｇ（ｎ）－Ｇ（ｎ＋ｍ）」の式から求められる値である。なお、ΔＧ（ｎ）は、「ΔＧ（ｎ）＝Ｇ（ｎ＋ｍ）－Ｇ（ｎ）」の式から求められる値でもよい。ΔＧ（ｎ）が正であっても負であっても、ΔＧ（ｎ）の絶対値が変わらなければ、ΔＧ（ｎ）の標準偏差ΔＳ（ｎ）およびΔＧ（ｎ）の絶対値平均ΔＡ（ｎ）も変わらないからである。
　差分算出部３７は、ΔＧ（ｎ）の算出を、ｍを固定すると共にｎを変更しながら、繰り返し行う。ΔＧ（ｎ）の時間変化を求めることができる。ΔＧ（ｎ）の時刻Ｔ（ｎ）は、ｎ／Ｆで表される。
　例えば、差分算出部３７は、ΔＧ（ｎ）の算出を、ｍを固定すると共にｎを変更しながら繰り返し行うことにより、ｎが１つずつ異なるΔＧ（ｎ）の集合を得る。ｎが例えば２つずつ異なるΔＧ（ｎ）の集合を得る場合に比べて、ΔＧ（ｎ）の時間変化を詳細に求めることができる。なお、ｍは、詳しくは後述するが、好ましくは２以上である。
　画像処理装置３０は、細胞集合体１４の動く速さを表すパラメータとして、ΔＧ（ｎ）の標準偏差ΔＳ（ｎ）およびΔＧ（ｎ）の絶対値平均ΔＡ（ｎ）から選ばれる少なくとも１つを、細胞集合体１４ごとに算出する速度算出部３８を有する。細胞集合体１４の動く速さを表すパラメータとして、ΔＳ（ｎ）およびΔＡ（ｎ）に着目した理由について図７を参照して説明する。
　図７は、受光素子と、受光素子で受光される光の強度に相当する階調値との関係の一例を示す図である。図７（ａ）は、受光素子とＧ（ｎ）との関係の一例を示す図である。図７（ｂ）は、受光素子とＧ（ｎ＋ｍ）との関係の一例を示す図である。図７（ｃ）は、受光素子とΔＧとの関係の一例を示す図である。
　図７に示す撮像素子２１は、７つの受光素子２２－１～２２－７を有する。７つの受光素子２２－１～２２－７は、左右方向に等ピッチで一列に並ぶ。そのピッチはＬである。７つの受光素子２２－１～２２－７は、細胞集合体１４を通過する光を受光する。
　図７（ａ）に示すように、時刻Ｔ（ｎ）において、１つの受光素子２２－２のみが細胞集合体１４を通過する光を受光し、残りの６つの受光素子２２－１、２２－３～２２－７は細胞集合体１４を通過する光を受光しない。時刻Ｔ（ｎ）において受光素子２２－２で受光される光の強度は、画素５２の階調値Ｇ０に相当する強度である。
　時刻Ｔ（ｎ）において１つの受光素子２２－２で受光する光は、時刻Ｔ（ｎ）から時刻Ｔ（ｎ＋ｍ）までの時間ΔＴ（ΔＴ＝ｍ／Ｆ）の間に右方向に速さｖ（例えば、ｖ＜Ｌ／ΔＴ＝Ｌ×Ｆ／ｍ）で移動する。その結果、時刻Ｔ（ｎ）において１つの受光素子２２－２で受光する光は、時刻Ｔ（ｎ＋ｍ）において元の受光素子２２－２とその右隣の受光素子２２－３との両方にまたがって受光される。受光位置が移動するのは、図２および図３に示すように細胞集合体１４が動くからである。細胞集合体１４の動く速さが大きいほど、受光位置の移動する速さｖが大きい。
　図７（ｂ）に示すように、時刻Ｔ（ｎ＋ｍ）において、２つの受光素子２２－２、２２－３のみが細胞集合体１４を通過する光を受光し、残りの５つの受光素子２２－１、２２－４～２２－７は細胞集合体１４を通過する光を受光しない。時刻Ｔ（ｎ＋ｍ）において、１つの受光素子２２－２で受光される光の強度は、画素５２の階調値Ｇ１に相当する強度である。また、時刻Ｔ（ｎ＋ｍ）において、別の１つの受光素子２２－３で受光される光の強度は、画素５２の階調値Ｇ２に相当する強度である。
　時刻Ｔ（ｎ＋ｍ）において２つの受光素子２２－２、２２－３で受光される光の強度の和は、時刻Ｔ（ｎ）において１つの受光素子２２－２で受光される光の強度に等しい。従って、Ｇ１とＧ２の和は、Ｇ０に等しい。ΔＴが一定の場合、ｖが大きいほど、Ｇ１が小さく、Ｇ２が大きい。Ｇ１とＧ２との関係は、図７（ｂ）に示す式で表される。
　図７（ａ）および図７（ｂ）に示すように、時刻Ｔ（ｎ）から時刻Ｔ（ｎ＋ｍ）までのΔＴの間に、２つの受光素子２２－２、２２－３のみにおいて受光量が変化し、残りの５つの受光素子２２－１、２２－４～２２－７において受光量が変化しない。従って、図７（ｃ）に示すように、２つのΔＧ（ｎ）のみが０以外の数値ΔＧ１、ΔＧ２になり、残りの５つのΔＧ（ｎ）は０になる。ΔＧ１とΔＧ２の和は、０になる。ΔＴが一定の場合、ｖが大きいほど、ΔＧ１が大きく、ΔＧ２が小さい。ΔＧ１とΔＧ２との関係は、図７（ｃ）に示す式で表される。
　図７（ｃ）に示すΔＧ（ｎ）の標準偏差ΔＳ（ｎ）は、下記式（１）で表される。
ΔＳ（ｎ）＝Ｇ０×（ｖ×ΔＴ）／Ｌ×（２／７）０．５・・・（１）
上記式（１）から明らかなように、ΔＳ（ｎ）は、受光位置の移動の速さｖで決まるので、細胞集合体１４の動きの速さで決まる。細胞集合体１４の動く速さが大きいほど、受光位置の移動の速さｖが大きく、ΔＳ（ｎ）が大きい。従って、ΔＳ（ｎ）を、細胞集合体１４の動く速さを表すパラメータとして使用できる。
　図７（ｃ）に示すΔＧ（ｎ）の絶対値平均ΔＡ（ｎ）は、下記式（２）で表される。
ΔＡ（ｎ）＝Ｇ０×（ｖ×ΔＴ）／Ｌ×（２／７）・・・（２）
上記式（２）から明らかなように、ΔＡ（ｎ）は、受光位置の移動の速さｖで決まるので、細胞集合体１４の動きの速さで決まる。細胞集合体１４の動く速さが大きいほど、受光位置の移動の速さｖが大きく、ΔＡ（ｎ）が大きい。従って、ΔＡ（ｎ）を、細胞集合体１４の動く速さを表すパラメータとして使用できる。
　一方、図７（ｃ）に示すΔＧ（ｎ）の相加平均ΔＢ（ｎ）は、下記式（３）で表される。
ΔＢ（ｎ）＝０・・・（３）
上記式（３）から明らかなように、ΔＢ（ｎ）は、受光位置の移動の速さｖには依存しないので、細胞集合体１４の動きの速さには依存しない。従って、ΔＢ（ｎ）は、細胞集合体１４の動く速さを表すパラメータとして不適である。
　以上説明したように、ΔＧ（ｎ）の統計値として、一部の統計値のみが、細胞集合体１４の動く速さを表すパラメータとして使用できる。
　本実施形態の速度算出部３８は、ΔＧ（ｎ）の標準偏差ΔＳ（ｎ）およびΔＧ（ｎ）の絶対値平均ΔＡ（ｎ）から選ばれる少なくとも１つを算出する。ΔＳ（ｎ）およびΔＡ（ｎ）は細胞集合体１４の動く速さで決まるので、細胞集合体１４の動く速さを精度良く観察することができる。
　ところで、上記特許文献２では、差分画像の平均ピクセル強度を算出する。上記特許文献２では、差分画像の作成に用いる基準フレームが固定されるので、差分画像は速さに関するデータを失ってしまうことがある。基準フレームが撮像された時刻と各フレームが撮像された時刻との時間差は、各フレームが撮像された時刻に応じて変動する。その時間差が長過ぎると、細胞１５の動く方向が途中で反転するからである。上記特許文献２の差分画像は速さに関するデータを失うことがあるので、その差分画像の平均ピクセル強度も当然に速さに関するデータを失うことがある。
　これに対し、本実施形態では、ΔＧ（ｎ）の標準偏差ΔＳ（ｎ）およびΔＧ（ｎ）の絶対値平均ΔＡ（ｎ）から選ばれる少なくとも１つを算出する。ΔＧ（ｎ）は、Ｇ（ｎ）とＧ（ｎ＋ｍ）との差分であり、解析領域５３を構成する画素５２ごとに算出される。ΔＧ（ｎ）の算出は、ｍを固定すると共にｎを変更しながら、繰り返し行われる。本実施形態では、ｎ番目のフレーム５１が撮像された時刻Ｔ（ｎ）から、ｎ＋ｍ番目のフレーム５１が撮像された時刻Ｔ（ｎ＋ｍ）までの時間ΔＴは、ｎに関係なく、ｍ／Ｆである。ｍおよびＦは定数であるので、ΔＴは定数である。ΔＴがｎに応じて変動しないので、ｎの変動が原因でΔＧ（ｎ）が速さに関するデータを失うことはない。従って、本実施形態によれば、細胞集合体１４の動く速さを精度良く観察できる。また、本実施形態によれば、上記特許文献１の下記の問題をも解決できる。
　上記特許文献１では、細胞集合体１４を構成する複数個の細胞１５の動きベクトルを算出すべく、個々の細胞１５の輪郭を特定できる程度の高解像度の画像が必要であり、低倍率の画像で細胞集合体１４を同時に多数観察することが困難であった。
　これに対し、本実施形態では、細胞集合体１４の動きの速さを表すパラメータとしてΔＳ（ｎ）およびΔＡ（ｎ）から選ばれる少なくとも１つを算出する。ΔＳ（ｎ）およびΔＡ（ｎ）はΔＧ（ｎ）のバラツキを表す量であるので、ΔＧ（ｎ）の数は好ましくは１００以上である。ΔＧ（ｎ）の数が細胞集合体１４を構成する細胞１５の数と同程度で足りるので、個々の細胞１５の輪郭を特定できる程度の高解像度の画像は不要である。従って、本実施形態によれば、低倍率の画像で細胞集合体１４を同時に多数観察することができる。
　１つの細胞集合体１４の動きの速さを表すΔＳ（ｎ）およびΔＡ（ｎ）は、その細胞集合体１４に設定される１つ以上の解析領域５３に含まれる画素５２の数と同数のΔＧ（ｎ）から求められる。１つの細胞集合体１４の動きの速さを表すΔＳ（ｎ）およびΔＡ（ｎ）の算出に用いられるΔＧ（ｎ）の数は、例えば１００以上であり、好ましくは１０００以上である。
　本実施形態の速度算出部３８は、ΔＳ（ｎ）およびΔＡ（ｎ）から選ばれる少なくとも１つの算出を、ｍを固定すると共にｎを変更しながら、繰り返し行う。細胞集合体１４の動く速さの時間変化を精度良く観察することができる。また、本実施形態によれば、上記特許文献２の下記の問題をも解決できる。
　上記特許文献２では、差分画像の作成に用いる基準フレームを、時系列に並ぶ複数のフレームから選択する必要がある。選択した基準フレームの撮像された時刻が図２に示す収縮完了時の時刻か図３に示す弛緩完了時の時刻かによって、差分画像が全く変わってしまう。従って、基準フレームの選択の仕方で、差分画像の平均ピクセル強度の波形が全く変わってしまう。
　これに対し、本実施形態では、基準フレームを選択する必要がない。ｎ番目のフレーム５１が撮像された時刻Ｔ（ｎ）から、ｎ＋ｍ番目のフレーム５１が撮像された時刻Ｔ（ｎ＋ｍ）までの時間ΔＴは、ｎに関係なく、ｍ／Ｆである。ｍおよびＦは定数であるので、ΔＴは定数である。ΔＴが変動しないので、ｎの変動が原因でΔＳ（ｎ）の波形およびΔＡ（ｎ）の波形が変わることはない。
　ところで、細胞集合体１４の動きを滑らかに撮像するには、単位時間当たりのフレーム５１の数（つまり、フレームレートＦ）を大きくすればよい。フレームレートＦが大きいと、時刻Ｔ（ｎ）から時刻Ｔ（ｎ＋１）までの時間（１／Ｆ）が短いので、その時間（１／Ｆ）の間の細胞集合体１４の動きの大きさが小さく、その動きの検出精度が低下する。
　そこで、本実施形態の速度算出部３８は、差分ΔＧ（ｎ）を算出することを、ｍを２以上の自然数に固定すると共にｎを変更しながら繰り返し行うことにより、ｎが１つずつ異なるΔＧ（ｎ）の集合を得る。ｍを２以上の自然数に固定することにより、フレームレートＦの増加に伴うΔＴ（ΔＴ＝ｍ／Ｆ）の短縮を抑制できるので、ΔＴの間の細胞集合体１４の動きの大きさの低下を抑制できる。従って、細胞集合体１４の動きを滑らかに撮像することと、ΔＴの間の細胞集合体１４の動きの速さを精度良く検出することとを、両立できる。
　ｍは、好ましくはｍ／Ｆの値が０．０１秒～０．１秒を満たすように設定される。また、ｍは、例えば「ｍ＜Ｌ×Ｆ／ｖ」の式を満たすように設定される。「ｍ＜Ｌ×Ｆ／ｖ」の式が成立することは、時刻Ｔ（ｎ）において１つの受光素子２２－２で受光する光が時刻Ｔ（ｎ＋ｍ）において元の受光素子２２－２とその隣の受光素子２２－３との両方にまたがって受光されることを意味する（図７参照）。
　画像処理装置３０は、速度算出部３８の算出結果を、画像表示装置４０に表示する表示処理部３９を有する。ユーザは、画像表示装置４０に表示された速度算出部３８の算出結果を見ることにより、細胞集合体１４の動きの速さを知ることができる。画像表示装置４０としては、フラットパネルディスプレイなどが用いられる。
　図８は、一実施形態に係る画像処理方法を示すフローチャートである。図８に示す各工程は、画像処理装置３０によって実施される。なお、図８に示す工程の順序は、特に限定されない。例えば、工程Ｓ１０１～Ｓ１０４は、並行して行われてもよい。
　画像処理方法は、複数の細胞集合体１４を撮像したフレーム５１が撮像された順番で並ぶ動画像５０を取得する工程Ｓ１０１を有する。この工程Ｓ１０１では、画像取得部３５が、撮像装置２０によって撮像された動画像５０を取得する。動画像５０は複数のフレーム５１で構成され、複数のフレーム５１はそれぞれ撮像された順番と対応付けて記憶媒体３２に記憶される。
　画像処理方法は、動画像５０における細胞集合体１４の動作を解析する解析領域５３を、細胞集合体１４ごとに設定する工程Ｓ１０２を有する。この工程Ｓ１０２では、解析領域設定部３６が、解析領域５３を細胞集合体１４ごとに設定する。解析領域設定部３６は、細胞集合体１４の輪郭の内部に解析領域５３を設定する。
　画像処理方法は、解析領域５３を構成する画素ごとに階調値の差分ΔＧ（ｎ）を算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程Ｓ１０３を有する。この工程Ｓ１０３では、差分算出部３７が、ΔＧ（ｎ）の算出を、ｍを固定すると共にｎを変更しながら、繰り返し行う。例えば、差分算出部３７は、ΔＧ（ｎ）の算出を、ｍを固定すると共にｎを変更しながら繰り返し行うことにより、ｎが１つずつ異なるΔＧ（ｎ）の集合を得る。なお、ｍは、好ましくは２以上である。
　画像処理方法は、細胞集合体１４の動く速さを表すパラメータとしてΔＳ（ｎ）およびΔＡ（ｎ）から選ばれる少なくとも１つを細胞集合体１４ごとに算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程Ｓ１０４を有する。この工程Ｓ１０４では、速度算出部３８が、ΔＳ（ｎ）およびΔＡ（ｎ）から選ばれる少なくとも１つを細胞集合体１４ごとに算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う。
　ΔＳ（ｎ）およびΔＡ（ｎ）は、上記式（１）および上記式（２）から明らかなように細胞集合体１４の動く速さで決まる。また、ΔＳ（ｎ）およびΔＡ（ｎ）はΔＧ（ｎ）のバラツキを表す量であり、ΔＧ（ｎ）はＧ（ｎ）とＧ（ｎ＋ｍ）との差分である。時刻Ｔ（ｎ）から時刻Ｔ（ｎ＋ｍ）までの時間ΔＴは、ｎに関係なく、ｍ／Ｆである。ｍおよびＦは定数であるので、ΔＴは定数である。ΔＴがｎに応じて変動しないので、ｎの変動が原因でΔＧ（ｎ）が速さに関するデータを失うことはない。従って、本実施形態によれば、細胞集合体１４の動く速さを精度良く観察できる。
　また、ΔＳ（ｎ）およびΔＡ（ｎ）はΔＧ（ｎ）のバラツキを表す量であるので、ΔＧ（ｎ）の数は好ましくは１００以上である。ΔＧ（ｎ）の数が細胞集合体１４を構成する細胞１５の数と同程度で足りるので、個々の細胞１５の輪郭を特定できる程度の高解像度の画像は不要である。従って、本実施形態によれば、低倍率の画像で細胞集合体１４を同時に多数観察することができる。
　速度算出部３８は、例えば、差分ΔＧ（ｎ）を算出することを、ｍを２以上の自然数に固定すると共にｎを変更しながら繰り返し行うことにより、ｎが１つずつ異なるΔＧ（ｎ）の集合を得る。ｍを２以上の自然数に固定することにより、フレームレートＦの増加に伴うΔＴ（ΔＴ＝ｍ／Ｆ）の短縮を抑制できるので、ΔＴの間の細胞集合体１４の動きの大きさの低下を抑制できる。従って、細胞集合体１４の動きを滑らかに撮像することと、ΔＴの間の細胞集合体１４の動きの速さを精度良く検出することとを、両立できる。
　画像処理方法は、上記工程Ｓ１０４の算出結果を、画像表示装置４０に表示する工程Ｓ１０５を有する。ユーザは、画像表示装置４０に表示された上記工程Ｓ１０４の算出結果を見ることにより、細胞集合体１４の動きの速さを知ることができる。
　以下、実際に計測した統計値について、図９～図１６を参照して説明する。
　試験例１では、約２００個の細胞１５で構成される細胞集合体１４を１００個同時に撮像した動画像５０からＧ（ｎ）およびΔＧ（ｎ）を算出し、細胞集合体１４ごとにＢ（ｎ）、Ｓ（ｎ）、ΔＢ（ｎ）およびΔＳ（ｎ）を算出した。ここで、Ｂ（ｎ）はＧ（ｎ）の相加平均であり、Ｓ（ｎ）はＧ（ｎ）の標準偏差である。また、ΔＢ（ｎ）はΔＧ（ｎ）の相加平均であり、ΔＳ（ｎ）はΔＧ（ｎ）の標準偏差である。１００個の細胞集合体１４の代表として、３個の細胞集合体１４の結果を、図９～図１２に実線と破線と一点鎖線とで示す。
　図９は、試験例１に係るＢ（ｎ）の時間変化を示すグラフである。図１０は、試験例１に係るＳ（ｎ）の時間変化を示すグラフである。図１１は、試験例１に係るΔＢ（ｎ）の時間変化を示すグラフである。図１２は、試験例１に係るΔＳ（ｎ）の時間変化を示すグラフである。
　図９から明らかなように、３個のＢ（ｎ）の波形は特徴的なパターンを有さないので、Ｂ（ｎ）から細胞集合体１４の動きを把握できないことが分かる。また、図１０から明らかなように、３個のＳ（ｎ）の波形は特徴的なパターンを有さないので、Ｓ（ｎ）から細胞集合体１４の動きを把握できないことが分かる。さらに、図１１から明らかなように、３個のΔＢ（ｎ）の波形は特徴的なパターンを有さないので、ΔＢ（ｎ）から細胞集合体１４の動きを把握できないことが分かる。
　一方、図１２から明らかなように、３個のΔＳ（ｎ）の波形は、いずれも、特徴的なパターンを有し、具体的には大きいピークと小さいピークとの組合せを繰り返し有する。それゆえ、ΔＳ（ｎ）から細胞集合体１４の動きを把握できることが分かる。図１２において隣り合う２つのピークのうち、大きいピークは細胞集合体１４が収縮中であることを表し、小さいピークは細胞集合体１４が弛緩中であることを表す。
　試験例２では、約２００個の細胞１５で構成される細胞集合体１４を１００個同時に撮像した動画像５０からＧ（ｎ）およびΔＧ（ｎ）を算出し、細胞集合体１４ごとにΔＳ（ｎ）およびΔＡ（ｎ）を算出した。ΔＳ（ｎ）はΔＧ（ｎ）の標準偏差であり、ΔＡ（ｎ）はΔＧ（ｎ）の絶対値平均である。１００個の細胞集合体１４の代表として、１個の細胞集合体１４の結果を、図１３に示す。
　図１３は、試験例２に係るΔＳ（ｎ）とΔＡ（ｎ）の時間変化を示すグラフである。図１３において、実線がΔＳ（ｎ）の時間変化を示し、破線がΔＡ（ｎ）の時間変化を示す。図１３に示す実線と図１３に示す破線とを比較すれば明らかなように、ΔＡ（ｎ）の波形は、ΔＳ（ｎ）の波形と同じ傾向を示していた。従って、ΔＡ（ｎ）も、ΔＳ（ｎ）と同様に、細胞集合体１４の動きの速さを表すパラメータとして適切であることが分かる。
　試験例３では、約２００個の細胞１５で構成される細胞集合体１４を１００個同時に撮像した動画像５０からＧ（ｎ）およびΔＧ（ｎ）を算出し、細胞集合体１４ごとにΔＳ（ｎ）を算出した。ΔＳ（ｎ）はΔＧ（ｎ）の標準偏差である。また、試験例３では、ΔＳ（ｎ）の算出に用いたのと同じ動画像５０を用いて、細胞集合体１４ごとに、特許文献２に記載のΔＰｘｙの平均値（つまり、平均ピクセル強度）を算出した。１００個の細胞集合体１４の代表として、１個の細胞集合体１４の結果を、図１４～図１６に示す。
　図１４は、試験例３に係るΔＳ（ｎ）の時間変化を示すグラフである。図１５は、試験例３に係るΔＰｘｙの平均値の時間変化を示すグラフであって、基準フレームとして９５番目のフレームを選択した時のグラフである。９５番目のフレームを撮像した時刻は、図１４および図１５に示すＴ（９５）である。時刻Ｔ（９５）では、細胞集合体１４は弛緩完了後、収縮開始前の状態である。図１６は、試験例３に係るΔＰｘｙの平均値の時間変化を示すグラフであって、基準フレームとして１番目のフレームを選択した時のグラフである。１番目のフレームを撮像した時刻は、図１４および図１５に示すＴ（１）である。時刻Ｔ（１）では、細胞集合体１４は収縮中である。図１５および図１６から明らかなように、上記特許文献２の方法では、基準フレームとして何番目のフレームを選択するかによって、異なる波形が得られることが分かる。
　以上、本開示に係る画像処理方法、画像処理装置、および動作解析システムの実施形態などについて説明したが、本開示は上記実施形態などに限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組合わせが可能である。それらについても当然に本開示の技術的範囲に属する。
１０　動作解析システム
１４　細胞集合体
１５　細胞
２０　撮像装置
２１　撮像素子
２２　受光素子
３０　画像処理装置
３５　画像取得部
３６　解析領域設定部
３７　差分算出部
３８　速度算出部
４０　画像表示装置
５０　動画像
５１　フレーム
５２　画素
５３　解析領域

 

Claims (5)

  1. 　複数の細胞集合体を撮像したフレームが撮像された順番で並ぶ動画像を取得する工程と、
    　前記動画像における前記細胞集合体の動作を解析する解析領域を、前記細胞集合体ごとに設定する工程と、
    　前記解析領域を構成する画素ごとにｎ（ｎは１以上の自然数）番目のフレームにおける階調値とｎ＋ｍ（ｍは１以上の自然数）番目のフレームにおける階調値との差分を算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程と、
    　前記細胞集合体の動く速さを表すパラメータとして前記差分の標準偏差および前記差分の絶対値平均から選ばれる少なくとも１つを前記細胞集合体ごとに算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う工程とを有する、画像処理方法。
  2. 　前記細胞集合体の動く速さを表すパラメータとして前記差分の標準偏差および前記差分の絶対値平均から選ばれる少なくとも１つを前記細胞集合体ごとに算出することを、ｍを２以上の自然数に固定すると共にｎを変更しながら繰り返し行うことにより、ｎが１つずつ異なる算出値の集合を得る工程を有する、請求項１に記載の画像処理方法。
  3. 　複数の細胞集合体を撮像したフレームが撮像された順番で並ぶ動画像を取得する画像取得部と、
    　前記動画像における前記細胞集合体の動作を解析する解析領域を、前記細胞集合体ごとに設定する解析領域設定部と、
    　前記解析領域を構成する画素ごとにｎ（ｎは１以上の自然数）番目のフレームにおける階調値とｎ＋ｍ（ｍは１以上の自然数）番目のフレームにおける階調値との差分を算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う差分算出部と、
    　前記細胞集合体の動く速さを表すパラメータとして前記差分の標準偏差および前記差分の絶対値平均から選ばれる少なくとも１つを前記細胞集合体ごとに算出することを、ｍを固定すると共にｎを変更しながら、繰り返し行う速度算出部とを有する、画像処理装置。
  4. 　前記速度算出部は、前記細胞集合体の動く速さを表すパラメータとして前記差分の標準偏差および前記差分の絶対値平均から選ばれる少なくとも１つを前記細胞集合体ごとに算出することを、ｍを２以上の自然数に固定すると共にｎを変更しながら繰り返し行うことにより、ｎが１つずつ異なる算出値の集合を得る、請求項３に記載の画像処理装置。
  5. 　請求項３または４に記載の画像処理装置と、
    　前記画像処理装置で処理される前記動画像を撮像する撮像装置とを備える、動作解析システム。

     
PCT/JP2020/014203 2020-03-27 2020-03-27 画像処理方法、画像処理装置、および動作解析システム WO2021192264A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014203 WO2021192264A1 (ja) 2020-03-27 2020-03-27 画像処理方法、画像処理装置、および動作解析システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014203 WO2021192264A1 (ja) 2020-03-27 2020-03-27 画像処理方法、画像処理装置、および動作解析システム

Publications (1)

Publication Number Publication Date
WO2021192264A1 true WO2021192264A1 (ja) 2021-09-30

Family

ID=77889948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014203 WO2021192264A1 (ja) 2020-03-27 2020-03-27 画像処理方法、画像処理装置、および動作解析システム

Country Status (1)

Country Link
WO (1) WO2021192264A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013057636A (ja) * 2011-09-09 2013-03-28 Dainippon Printing Co Ltd 細胞画像解析装置、細胞画像解析方法、及び細胞画像解析プログラム
JP2013533986A (ja) * 2010-04-12 2013-08-29 ジーイー・ヘルスケア・ユーケイ・リミテッド 生体の運動を決定するシステム及び方法
JP2020043842A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JP2020047190A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JP2020064349A (ja) * 2018-10-15 2020-04-23 Ａｇｃ株式会社 画像処理方法、画像処理装置、および動作解析システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013533986A (ja) * 2010-04-12 2013-08-29 ジーイー・ヘルスケア・ユーケイ・リミテッド 生体の運動を決定するシステム及び方法
JP2013057636A (ja) * 2011-09-09 2013-03-28 Dainippon Printing Co Ltd 細胞画像解析装置、細胞画像解析方法、及び細胞画像解析プログラム
JP2020043842A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JP2020047190A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JP2020064349A (ja) * 2018-10-15 2020-04-23 Ａｇｃ株式会社 画像処理方法、画像処理装置、および動作解析システム

Similar Documents

Publication Publication Date Title
US8064661B2 (en) Cell culture device, image processing device and cell detecting system
EP2153411B1 (en) Automatic characterization of cellular motion
US9064143B2 (en) System and method for determining motion of a biological object
JP2007502185A (ja) 蛍光発光画像の分析及び表示
EP2565618B1 (en) Hardness tester
JP4901462B2 (ja) 炉頂部のガス流状態監視方法、監視装置、及びコンピュータプログラム
JP2020064349A (ja) 画像処理方法、画像処理装置、および動作解析システム
WO2021192264A1 (ja) 画像処理方法、画像処理装置、および動作解析システム
JP6278512B2 (ja) 情報処理方法、情報処理システム、情報処理装置、およびプログラム
JP2019184401A (ja) 試料観察装置及び試料観察方法
JPH11160053A (ja) 加工表面検査装置およびその検査方法
JP5210571B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010098364A (ja) ラインセンサを用いた動画応答特性の測定方法及び装置
CN111476722A (zh) 基于点扩散函数的图像复原方法、装置及其相关设备
JP4944641B2 (ja) 染色組織標本の陽性細胞の自動検出法
JP6019517B2 (ja) 眼球運動解析システム、眼球運動診断装置および眼球運動解析システムの作動方法
JP2008104122A (ja) 放射線イメージング装置並びに半導体検出器の補間方法及びその装置
TW200931989A (en) Method to measure the gray scale-brightness characteristics and the uniformity of display, and structure of the system thereof
JP4751704B2 (ja) 形態検査方法及びシステム
TWI750608B (zh) 用以進行影像或聲音辨識的資訊處理裝置、儲存媒體、程式產品及資訊處理方法
JP5655608B2 (ja) 観察装置及び画像補正プログラム
US20090263006A1 (en) Biochip inspecting device and biochip inspecting method
DE102010005616B3 (de) Vorrichtung und Verfahren zum Bestimmen eines Rauheitsbereichs einer Oberfläche
WO2020261631A1 (ja) 応力発光測定装置、応力発光測定方法および応力発光測定システム
Chabib et al. The impact of metrics in mechanical imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927872

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20927872

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP