WO2006129442A1 - 画像処理装置及び対象領域追跡プログラム - Google Patents

画像処理装置及び対象領域追跡プログラム Download PDF

Info

Publication number
WO2006129442A1
WO2006129442A1 PCT/JP2006/308887 JP2006308887W WO2006129442A1 WO 2006129442 A1 WO2006129442 A1 WO 2006129442A1 JP 2006308887 W JP2006308887 W JP 2006308887W WO 2006129442 A1 WO2006129442 A1 WO 2006129442A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
target
image
temporary
cell
Prior art date
Application number
PCT/JP2006/308887
Other languages
English (en)
French (fr)
Inventor
Yamato Kanda
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP06732438.4A priority Critical patent/EP1887520B1/en
Publication of WO2006129442A1 publication Critical patent/WO2006129442A1/ja
Priority to US11/945,760 priority patent/US8019143B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a target area indicating a tracking target existing in a target image (hereinafter also referred to as "frame" as appropriate) obtained at a plurality of time points by capturing the tracking target in time series.
  • the present invention relates to an image processing apparatus for tracking and a target area tracking program.
  • Patent Document 1 describes the same target area based on the overlapping area between consecutive frames of the target area indicating the tracking target. Based on the correspondence and the result of this correspondence, the status of the target area is classified into one of appearance, simple connection, combination, extinction, and separation. A method for correcting and tracking an object is shown.
  • the error at the time of object detection is, for example, that a plurality of objects are originally detected as a connected area due to overlap or the like, or that one object originally has been divided into a plurality due to some problem at the time of detection. Indicates that it is detected as a region. There are two specific methods for correcting these errors during detection.
  • Patent Document 1 in order to solve this problem, an initial step based on the result of a region detected within a specific range in an image is provided. This is because Patent Document 1 assumes a person as a tracking target. For example, if an image range that reflects the vicinity of an entrance that only one person can pass at a time is set as a specific range, the credibility is high within that range. This is the force that can be assumed to obtain object detection results.
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-342762
  • the target area is tracked while the target areas are associated between two frames that are continuous in time series. For this reason, for example, in a situation where the target area indicating the tracking target detected in a certain frame FO is not detected due to some problem in the next frame F1, and is detected again in the next frame F2, the frame FO— Based on the result of correspondence between F1, the area in the frame FO is classified as “disappearing”, and even if it is detected again in the frame F2, it is not determined to be an area indicating the same object. In this case, a new “appearance” situation occurs, and tracking is performed as a target area indicating another tracking target. In this way, the target area indicating the tracking target is not detected at all in the frame in the middle of tracking, and the!
  • Patent Document 1 has a problem that accurate tracking cannot be performed in such a situation.
  • Patent Document 1 as a premise has a problem that accurate tracking cannot be performed when erroneous detection of a target area indicating a tracking target occurs sporadically.
  • the present invention has been made in view of the above, and in addition to overlapping and splitting of the target area indicating the tracking target, temporary disappearance and erroneous detection of the target area are scattered, and the detection result is credible. It is an object of the present invention to provide an image processing apparatus and a target area tracking program capable of tracking with better consistency in time series even in an unstable situation lacking in nature.
  • the image processing apparatus includes the tracking target in the target images at each time point obtained by photographing the tracking target at a plurality of time points. And a feature amount calculation means for calculating a feature amount of the target region indicating the target region, and the target region is provisionally tracked by associating the target regions between the target images using the calculated feature amount. Provisional tracking processing means, and final tracking processing means for obtaining a final tracking result of the target area based on the result of the temporary tracking! /.
  • the feature amount includes a feature amount related to at least one of a position, a size, a shape, a luminance, and a color of the target region.
  • the image processing apparatus is characterized in that, in the above invention, the temporary tracking processing means performs the temporary tracking by urging forward and backward in time series.
  • the temporary tracking processing unit may associate the target areas between the target images with a plurality of the time intervals different from each other.
  • the provisional tracking is performed by performing between target images.
  • the temporary tracking processing means stores the target images at a plurality of time points within a time-series range in which the temporary tracking is performed. It has starting point image setting means that is set as a starting point image that becomes the starting point of tracking, and the temporary tracking is performed for each starting point image set by the starting point image setting means.
  • the temporary tracking processing means uses a temporary ID for identifying the target area as that of the target area in the target image.
  • the provisional ID assigning means assigned to each and the target area between the target images at different time points.
  • Corresponding index value calculating means for calculating a corresponding index value indicating the degree of correspondence between the areas, and toward the target area in the target area at a time point forward or backward from the target area in the starting image in time series.
  • Temporary ID propagation means for associating the target areas between the target images by sequentially propagating the temporary ID of the target area having the highest correspondence index value.
  • the provisional ID assigning unit includes a provisional ID propagation unit in which the correspondence index value between the target images exceeds a predetermined threshold value. When it is determined that the target area is not included, a new temporary ID is assigned to the target area.
  • the correspondence index value is at least one of feature quantities related to a position, size, shape, luminance, and color of the target area. It is a value calculated based on the distance between the target areas in the feature space defined by.
  • the correspondence index value is obtained by normalizing an overlap area of the target areas by a sum of areas of the target areas. It is characterized by a value.
  • the final tracking processing unit totals a plurality of the results of the temporary tracking performed for each starting image to finally track the target region. The result is obtained.
  • An image processing apparatus is based on the above invention!
  • the target region indicating the tracking target is a region indicating a cell.
  • the target region tracking program is a process for tracking a target region indicating a tracking target existing in a target image at each time point obtained by photographing the tracking target in time series at a plurality of time points.
  • a target area tracking program to be executed by a processing apparatus wherein the image processing apparatus is characterized by the target area indicating the tracking target in target images at each time point obtained by photographing the tracking target at a plurality of time points.
  • the feature amount is a feature amount related to at least one of a position, a size, a shape, a luminance, and a color of the target region. It is characterized by including.
  • the target region tracking program according to claim 14 is characterized in that, in the above invention, the temporary tracking processing procedure performs the temporary tracking by urging forward and backward along a time series. To do.
  • the temporary tracking processing procedure may associate the target areas between the target images with a plurality of the time intervals.
  • the provisional tracking is performed by performing between target images.
  • the temporary tracking processing procedure may include the temporary tracking of the target images at a plurality of time points within a time-series range in which the temporary tracking is performed. It has a starting point image setting procedure set as a starting point image that becomes a starting point of a trace, and the provisional tracking is performed for each starting point image set by the starting point image setting procedure.
  • the target area tracking program according to claim 17 is the above invention, wherein the temporary tracking processing procedure assigns a temporary ID for identifying the target area to each of the target areas in the target image.
  • a provisional ID assigning procedure to be assigned, a corresponding index value calculating procedure for calculating a corresponding index value indicating a degree of correspondence between the target areas between the target images at different points in time, and a time series from the target area in the starting image The target index of the target area having the highest correspondence index value toward the target area in the target area at the time point forward or backward along the target area is correlated with the target areas between the target images by sequentially propagating the temporary ID of the target area. And a temporary ID propagation procedure for performing the image processing apparatus.
  • the provisional ID assigning procedure is such that the provisional ID propagating means sets the correspondence index value between the target images to a predetermined threshold value. When it is determined that the target area does not exceed the target area, a new temporary ID is assigned to the target area.
  • the correspondence index value is defined by at least one of a feature amount related to a position, a size, a shape, luminance, and a color of the target area. It is a value calculated on the basis of the distance between the target regions in the feature space.
  • the target region tracking program according to claim 20 is the above invention, wherein the correspondence index value is obtained by normalizing an overlap area of the target regions by a sum of the areas of the target regions. It is a characteristic value.
  • the target region tracking program according to claim 21 is characterized in that the final tracking processing procedure sums up a plurality of results of the provisional tracking performed for each starting image, and It is characterized by obtaining a final tracking result.
  • the target region tracking program according to claim 22 is characterized in that, in the above invention, the target region indicating the tracking target is a region indicating a cell.
  • the image processing device and the target area tracking program of the present invention based on the provisional tracking result obtained by associating the target areas between the target images using the calculated feature values of the target area. For example, since the final tracking result with good consistency is obtained by the concept of majority decision, the target area indicating the tracking target overlaps and splits, and temporary disappearance and misdetection of the target area occur sporadically. Even in an unstable situation lacking in this, it is possible to track the target region with better consistency in time series.
  • FIG. 1 is a schematic block diagram showing a configuration example of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic flowchart showing a flow of processing executed by the control unit of the image processing apparatus according to the present embodiment.
  • FIG. 3 is a schematic flowchart showing an example of a subroutine process that is a temporary tracking process of a cell region executed by a temporary tracking processing unit.
  • FIG. 5-1 is a diagram showing an example of a cell image to be recognized.
  • Fig. 5-2 is a diagram showing an example of a recognition image of a cell region labeled for each region.
  • FIG. 6 is a schematic diagram showing an example of a cell image acquired in time series between times t (0) to t (7).
  • FIG. 8 shows the cell region in the image at time t (l) and the cell region in the origin image at time t (2) when the cell image at time t (2) is the origin image. It is explanatory drawing which shows the example of a calculation result of a corresponding
  • Fig. 9 is an explanatory diagram showing an example of propagation of a temporary ID to the cell region in the cell image at time t (l) when the cell image at time t (2) is set as the origin image. It is.
  • Fig. 10 shows the cell region in the cell image at time t (l) and the cell in the origin image at time t (0) when the cell image at time t (0) is the origin image. It is explanatory drawing which shows the example of a calculation result of a corresponding
  • Fig. 11 is an explanatory diagram showing an example of provisional ID propagation to the cell region in the cell image at time t (l) when the cell image at time t (O) is set as the origin image. .
  • FIG. 13 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 12 as a temporary ID propagation table.
  • FIG. 14 is an explanatory diagram showing an example of totaling the temporary tracking results of FIG.
  • FIG. 16 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 15 as a temporary ID propagation table.
  • FIG. 17 is an explanatory diagram showing an example of counting the provisional tracking results of FIG.
  • FIG. 18 is an explanatory diagram showing an example of assigning final IDs based on the aggregation examples of FIG. 14 and FIG.
  • FIG. 20 is an explanatory diagram showing a link relationship between the cell regions shown in FIG. 19 as a temporary ID propagation table.
  • FIG. 21 is an explanatory diagram showing an example of totaling the temporary tracking results of FIG.
  • FIG. 22 is an explanatory diagram showing an example of assigning final IDs based on the aggregation example of FIG.
  • FIG. 24 is an explanatory diagram showing a link relationship between the cell regions shown in FIG. 23 as a temporary ID propagation table.
  • FIG. 26 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 25 as a temporary ID propagation table.
  • FIG. 27 is an explanatory diagram showing an example of assigning final IDs based on the aggregation example of FIG.
  • FIG. 28 is a schematic diagram showing an example of a result of tracking a cell region in the time-series cell image illustrated in FIG.
  • the target region indicating the tracking target in the present invention is a cell region.
  • the present invention can also be applied to an image processing apparatus that tracks a target area indicating another tracking target.
  • FIG. 1 is a schematic block diagram showing a configuration example of the image processing apparatus according to the present embodiment.
  • the image processing apparatus 100 calculates a feature amount of a cell region indicating a living cell in a cell image to be obtained at each time point obtained by photographing a living cell as a tracking object at a plurality of time points.
  • a volume calculation unit 101 a temporary tracking processing unit 102 that performs temporary tracking of cell regions by associating cell regions between cell images using the calculated feature values of the cell regions, and temporary tracking
  • a control unit 104 having a microcomputer configuration including a final tracking processing unit 103 for obtaining a final tracking result of the cell region based on a result of provisional tracking by the processing unit 102, an input image, and data used in each unit. It consists of a memory 105 and a memory.
  • the provisional tracking processing unit 102 sets each of the cell images at a plurality of time points within the time-series range in which provisional tracking is performed as a starting point image that is a starting point of the provisional tracking.
  • a temporary ID assigning unit 202 that assigns a temporary ID for identifying the cell region to each cell region in the cell image, and calculates a correspondence index value indicating the degree of correspondence between the cell regions between the cell images at different time points.
  • the corresponding index value calculating unit 203 and the corresponding index value is the highest and sequentially propagates the temporary ID of the cell area from the cell area in the origin image to the cell area in the cell image at the time point forward or backward along the time series.
  • the temporary ID propagation unit 204 is configured to associate cell regions between cell images. Note that the input structure of the time-series cell images to be processed and the processing of the cell tracking results after output The configuration is not particularly limited in this embodiment.
  • FIG. 2 is a schematic flowchart showing a flow of processing executed by the control unit 104 of the image processing apparatus 100 of the present embodiment
  • FIG. 3 shows step S5 executed by the temporary tracking processing unit 102.
  • 5 is a schematic flow chart showing a processing example of a subroutine which is a temporary tracking process of the cell region.
  • a processing example of a subroutine which is a temporary tracking process of the cell region.
  • control unit 104 sets the code i indicating the time-series order of the cell images to be noted to 0.
  • Step S1 cell images at times t (i ⁇ n) to t (i + n) are acquired (Step S2).
  • n is a value that determines a time-series range for provisional tracking, which will be described later.
  • the code i is sequentially carried over and i + n> T, there is no image, so the image at the end of the time series of the image acquired in step S2 is the image at time t (T). .
  • FIG. The black circles in Fig. 4 represent the time when the remarkable cell image indicated by the symbol i is taken.
  • the feature quantity calculation unit 101 recognizes the cell area of each acquired cell image and calculates the feature quantity of each cell area (step S3).
  • the recognition process of the cell region for example, use the proposed example of Japanese Patent Application 2005-24511 by the present applicant.
  • the outline of the procedure will be explained.
  • the background area is removed, and the luminance gradient direction in each remaining pixel is obtained.
  • each pixel Finds the extreme pixels that reach along the direction of the luminance gradient, and creates a label area image with the same pixel value for each pixel that reaches the adjacent extreme pixels. Furthermore, based on the luminance information of the cell image near the boundary of each label area, the label areas are reintegrated,
  • the final cell region image is obtained.
  • a recognition process is performed on the cell image as shown in FIG. 5-1, and a recognition image of the cell region labeled for each region is obtained as shown in FIG.
  • cell recognition processing has been shown as a method for extracting a target region indicating a tracking target.
  • a method for extracting a target region indicating a tracking target varies depending on the tracking target and the type of image.
  • the present invention is not particularly limited.
  • the feature amount calculation unit 101 After obtaining the recognition image of the cell region by such recognition processing, the feature amount calculation unit 101 obtains the feature amount of each cell region.
  • the feature value is a feature value indicated by a numerical value related to at least one of the position, size, shape, brightness, and color of the cell region, and uses a general-purpose image processing method called particle analysis. Can be sought.
  • the process proceeds to processing by the temporary tracking processing unit 102.
  • the temporary ID assigning unit 202, the corresponding index value calculating unit 203, and the temporary ID propagating unit 204 perform temporary tracking of the cell region based on each starting point image that is sequentially set (step S5).
  • FIG. 6 is a schematic diagram showing an example of a cell image acquired in time series between times t (0) to t (7), for example. The subsequent tracking process will be described using an example in which cell images acquired in time series are used as targets.
  • FIG. 6 for easy identification of each cell area, all the recognized cell areas are simply indicated by outlines without displaying the label values for each area as shown in FIG. 5-2. To do.
  • the number (area number) is a serial number for identifying each cell area in the cell image at each time.
  • the temporary ID assigning unit 202 assigns a temporary ID for identifying each cell region in the origin image to be a cell region indicating the same cell (step S501).
  • the temporary ID is assigned differently for each cell region in the origin image.
  • Figure 7 shows the time series image of Figure 6.
  • the control unit 104 sets the code j to 1 (step S502) and is ahead of the time series of the tracking origin image (here, for convenience, the image at time t (s)). It is determined whether the cell image at time t (sj) is a processing target image at the time of temporary tracking. This process is performed by determining “s j ⁇ 0? Or s j ⁇ i ⁇ n?” (Step S503). In the former "sj ⁇ 0?", It is determined whether or not the target cell image exists. In the latter "sj ⁇ in?", The target cell image is within the time-series range for temporary tracking. It is determined whether it is.
  • step S503 If the determination result in step S503 is affirmative (Yes), the corresponding index value calculation unit 203 calculates the cell region in the cell image at time t (sj) and the time t (sj + l) to t (sj + A corresponding index value with the cell region in each cell image of N) is calculated (step S504).
  • N is a value that determines the time-series range of the cell image when calculating the corresponding index value.
  • N l
  • the corresponding index value is calculated only between the cell regions in two adjacent cell images (within two consecutive frames) in time series.
  • the corresponding index value is also calculated for cell regions in two cell images (within two discontinuous frames) that sandwich one cell image between them without being adjacent in time series.
  • N 2
  • the corresponding index value is not calculated between images straddling the tracking origin image (determined by s j + N ⁇ s).
  • the corresponding index value is an index value for estimating whether the cell regions Rl and R2 in different cell images are regions indicating the same cell. Specifically, the overlapping area of the cell regions Rl, R2 when the two cell images in which the cell regions Rl, R2 exist are overlapped. Area— OL and Rl, R2 respectively Area— Rl, Area— R2 There is a method of obtaining by equation (1).
  • the corresponding index value is the reciprocal of the distance d of the cell regions Rl and R2 in the feature space defined by the X feature values of the cell regions Rl and R2 calculated by the feature amount calculation unit 101 or the distance d
  • the calculation method of the distance d of the cell regions R1 and R2 in the feature space includes the method of calculating the weighted city area distance given in Equation (2), the method of obtaining the weighted Euclidean distance shown in Equation (3), (4 There is a method for obtaining the Mahalanobis pan-distance shown in the formula.
  • w 1 is the weighting factor for the 1st feature value (set in advance)
  • w 1 is a weighting factor (set in advance) for the 1st feature value.
  • Rl is the value of the 1 (el) feature value (1 I ⁇ x) of R!
  • R 1 is the value of the m-th feature (l ⁇ m ⁇ X).
  • vim is the amount of trace in the whole cell area
  • the cell region No. 2 in the cell image at time t (l) is likely to be the same region as the cell region No. 3 in the cell image at time t (2).
  • the correspondence index value is lower than the predetermined threshold, the cell regions are not associated with each other, and are displayed in the figure.
  • the provisional ID propagation unit 204 propagates the provisional ID of the cell region having the highest correspondence index value to each cell region in the image at time t (sj).
  • a temporary ID to the cell region of According to the results shown in Fig. 8, the temporary ID of the area with the highest corresponding index value is propagated. That is, the temporary ID of the cell region No.
  • the temporary ID assigning unit 202 assigns a new temporary ID to the cell region. . In other words, the accuracy of temporary tracking is improved, in which cell regions whose corresponding index values are lower than a predetermined threshold are not associated with each other.
  • Execute the temporary tracking process As a procedure, first, a force determination is made that an image at time t (s + j) behind the tracking start image (time t (s)) in time series is a processing target image at the time of temporary tracking. This process is performed by determining "s + j ⁇ T? Or s + j ⁇ i + n?" (Step S508). The former "s + j ⁇ T?” Determines whether the target cell image exists, and the latter "s + j ⁇ i + n?" It is determined whether it is within the time series range.
  • step S508 determines that the cell region in the cell image at time t (s + j) and the time t (s + j—N) to A corresponding index value with a cell region in each cell image of t (S + j ⁇ 1) is calculated (step S509). Note that the corresponding index value is not calculated between images straddling the tracking origin image (determined by s + j-N ⁇ s)!
  • the temporary ID propagation unit 204 assigns the temporary ID of the cell area having the highest corresponding index value to each cell area in the cell image at time t (s + j).
  • FIG. 10 shows the example of propagation of temporary ID to the cell area
  • the temporary ID assigning unit 202 adds a new cell region to the cell region, as in the case of temporary tracking forward. Give a temporary ID.
  • steps S508 to S511 a plurality of provisional tracking results backward from the starting point image in time series are obtained.
  • the determination result in step S508 is negative (No)
  • the temporary tracking process is terminated.
  • the temporary tracking processing unit 102 is schematically shown in FIG.
  • the cell images at times t (0) to t (2) are used as starting images, and the highest corresponding index value for each cell region in each starting image (the region number in FIG. 12 is indicated by a circle).
  • the process of setting the link relationship as indicated by the arrows forward or backward along the time series is performed as temporary tracking. In this embodiment, tracking accuracy is improved by using a further link relationship obtained by changing the starting point image.
  • FIG. 13 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 12 as a temporary ID propagation table.
  • the final tracking processing unit 103 determines the final tracking result of each cell region in the cell image at time t (i) by focusing on the result of the provisional tracking. (S6). Specifically, first, attention is paid to one of the cell regions in the cell image at time t (i), and the time t (i 1 !!) to t (i The number of each cell area in the cell image is counted based on the provisional tracking result. In this case, the same temporary ID as the cell area of interest is attached. Only when there is no given cell area, count the cell area to be noticed.
  • FIG. 14 is an explanatory diagram showing an example of counting the above-described provisional tracking results.
  • a final ID that is the same as the cell region with the largest number is assigned to the region of interest according to the concept of majority vote.
  • the final ID is a final ID for identifying a cell region indicating the same cell.
  • the cell regions No. 1 and 2 in the cell image at time t (0) are given the same final ID as the other cell region. In this case, Give the same final ID to two cell regions.
  • temporal tracking result along the time series using the cell image at time t (0) as the origin image is not referred to at all at this time, but the symbol i is carried over to the next time cell. Referenced when obtaining the final tracking result in the image.
  • an example of calculating in advance for the purpose of explaining the result of temporal tracking in time series is described.
  • FIG. 16 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 15 as a temporary ID propagation table.
  • the data newly added in FIG. 16 with respect to the temporary tracking result shown in FIG. 13 is the propagation result for each cell region at time t (3) and the data at time t (3).
  • This is the propagation result when the cell image is the origin image.
  • the acquisition of the cell image, the recognition of the cell region, the calculation of the feature amount, and the temporary tracking of the cell region need only be performed on the part not performed in the previous processing.
  • the data is stored in the memory at the time of processing, and thereafter, it can be read and used when necessary.
  • the cell region of No. 1 at time t (0) has the same temporary ID.
  • Figure 16 shows that the cell region of No. 2 at time t (0) has the same temporary ID four times when each time t (0) to t (3) shown in
  • the time t (l) to t (3) are used as the origin image
  • the cell area of No. 2 at time t (l) has the same temporary ID as shown in FIG. This is once when 0) is set as the origin image.
  • the cell region of time 2 in the cell image at (1) is the region of interest
  • the cell region of No. 1 at time t (0) has the same temporary ID.
  • the No. 1 cell region at time t (l) has the same temporary ID as shown in Fig. 16. (0) as the starting image, there is no cell region with the same temporary ID, and the power is self-impressed when the time t (l) to t (3) shown in FIG. 16 is used as the starting image. 3 times.
  • FIG. 18 is an explanatory diagram showing an example of assigning final IDs based on the aggregation examples of FIGS. 14 and 17. From the results of aggregation in Fig. 14, the two cell regions No. 1 and 2 in the cell image at time t (0) are identical. After assigning the final ID (F-ID1), the result of the aggregation in Fig. 17 shows that the No.l cell area at time t (l) is the same as the No.l cell area at time t (0). The ID (F_ID1) is propagated, and a new final ID (F_ID2) is assigned to the cell region No. 2 at time t (l).
  • FIG. 6 is a schematic diagram showing a processing example in which a link relationship as indicated by an arrow in the forward or backward direction along the time series is set.
  • FIG. 20 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 19 as a temporary ID propagation table
  • FIG. 21 is an explanatory diagram showing an example of the total results of the temporary tracking results shown in FIG.
  • FIG. 22 is an explanatory diagram showing an example of assigning the final ID based on FIG.
  • the No.l cell region at time t (2) is No.l cell region at time t (l)
  • the No.2 cell region at time t (2) is No.1 at time t (l)
  • From the cell region of l, the cell region of No. 3 at time t (2) is from the cell region of No. 2 at time t (l), and the cell region of No. 4 at time t (2) is from time t (l )
  • No.2 cell area force also propagates the final ID.
  • each cell image at time t (2) to t (6) is acquired, and each cell image at time t (2) to t (6) is used as a starting image, and each cell image in each starting image is
  • FIG. 5 is a schematic diagram showing a processing example in which a link relationship as indicated by an arrow in the forward or backward direction is set according to the highest corresponding index value for each cell region.
  • FIG. 24 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 23 as a temporary ID propagation table. In this case, the tracking relationship between the cell region No.
  • the corresponding index value is calculated even between the cell images at times t (3) and t (5) and is used for temporary tracking.
  • the cell area No. 3 and the cell area No. 2 at time t (5) are the same Correspondence is maintained by providing ID propagation.
  • FIG. 26 is an explanatory diagram showing the link relationship between the cell regions shown in FIG. 25 as a provisional ID propagation table, and FIG.
  • FIG. 27 shows an example of assigning final IDs based on the aggregated results of the temporary tracking results in FIG. FIG.
  • the cell region of No. 3 at time t (3) has a force that temporarily stops the tracking relationship in the cell image at time t (4), as described above, at time t (3), t (5 Since the corresponding index value is calculated even between the cell images of) and is used for temporary tracking, the same final ID (F_ID2) is assigned to the cell region No. 2 at time t (5).
  • the number of each cell region having the same temporary ID for the region of interest in the cell region is counted from the temporary tracking result, and the final ID of the cell region having a larger count is propagated.
  • a score according to a predetermined rule may be added so that the final score of the most cell region is propagated most.
  • Examples of the predetermined rule include the following.
  • the score is such that the cell region in the cell image that is separated in time series from the image at time t (i) where the region of interest exists is lower.
  • c Score according to the index value corresponding to the region of interest.
  • the same number (two each) of cell images at the front and rear along the time series is used for the cell image at time t (i) where the region of interest exists.
  • Temporary tracking can be done! /, You can set temporary cell tracking with different cell image ranges in front and back.
  • FIG. 28 is a schematic diagram showing an example of the result of tracking a cell region in the time-series cell image illustrated in FIG.
  • Fig. 28 the correspondence relationship is shown by applying the same slanting process (hatching process) and the filling process with various colors to the cell area to which the same final ID is given (actual image display example). Is distinguished by color coding, etc.).
  • areas separated by time-series unstable dividing lines, which are likely to be caused by misrecognition, and areas that have disappeared temporarily are tracked as the same cell area.
  • the regions separated by the stable dividing line can be traced as different cell regions and confirmed to be confirmed.
  • the processing procedure by each unit such as the feature amount calculation unit 101, the provisional tracking processing unit 102, and the final tracking processing unit 103 described above is executed by a computer such as a personal computer by executing the target area tracking program prepared by force. It may be realized by doing so.
  • This target area tracking program can also be distributed via a network such as the Internet.
  • the target area tracking program is recorded on a computer-readable recording medium such as a hard disk, FD, CD-ROM, MO, or DVD, and is executed by being read out by the computer.
  • the image processing apparatus and the target area tracking program according to the present invention are targets that indicate a tracking target existing in a target image at each time point obtained by photographing the tracking target in time series at a plurality of time points. This is useful for tracking regions, and in particular, instability such as overlapping or splitting of target regions indicating the target to be tracked, and temporary disappearance or false detection of target regions sporadically, resulting in lack of credibility of detection results. Suitable for tracking situations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

　追跡対象を示す対象領域の重なり、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、より時系列的に整合性の良い追跡を可能にする。特徴量算出部１０１で算出された対象領域の特徴量を用いて仮追跡処理部１０２で時系列前後の複数の対象画像間における対象領域同士の対応付けを行うことで対象領域の複数の仮追跡を行い、最終追跡処理部１０３では、この複数の仮追跡結果を基に、例えば多数決の概念に従い整合性の良い最終的な追跡結果を求めるようにしたので、追跡対象を示す対象領域の重なり、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、より時系列的に整合性の良い対象領域の追跡が可能となる。

Description

明 細 書
画像処理装置及び対象領域追跡プログラム
技術分野
[0001] 本発明は、複数の時点で時系列に追跡対象を撮影して得られた各時点の対象画 像 (以後、適宜「フレーム」とも記す）内に存在する追跡対象を示す対象領域を追跡 するための画像処理装置及び対象領域追跡プログラムに関するものである。
背景技術
[0002] 複数の時点で時系列に撮影された画像内の物体追跡処理としては、特許文献 1に 、追跡対象物を示す対象領域の連続フレーム間での重なり面積を基に対象領域同 士を対応付け、この対応結果に基づき、対象領域の状況を、出現、単連結、結合、 消滅、分離のいずれかに分類し、さらには分類が結合又は分離の際には、物体検出 時の誤りを補正して物体を追跡する方法が示されている。ここで、物体検出時の誤り とは、例えば、元々複数の物体が、重なり等により 1つに連結した領域として検出され ることや、元々 1つの物体が検出時の何らかの問題により複数に分裂した領域として 検出されることを示す。これら検出時の誤りを補正する具体的な方法とは以下の 2つ である。
[0003] 第 1は、元々複数の物体を示す領域力^つに結合した場合には"連結"と判定し、 前フレームにおける連結前の各領域の特徴量を記録する。また、 "連結"と判定され た領域が分離した場合には、分離時の各領域と、連結前の各領域のあらゆる組み合 わせにお!、て最も特徴量の一致度が高くなるように領域同士を対応付けて追跡を行
[0004] 第 2は、元々 1つの物体を示す領域が分離した場合には"分裂"と判定し、分裂して いる間はパーツとなる各領域を合計した重心を代表位置として追跡を行う。また、 "分 裂"と判定された領域が結合した場合には、 2つに分裂した元々 1つの領域が 1つに 検出されるようになったと判定する。
[0005] ここで、このような補正を行う際には、連続フレームの中に、特に信憑性の高い物体 検出結果が必要になる。なぜなら、分離という状況でも、連結と判定された領域が分 離した場合と、元々 1つの物体を示す領域が分離した場合とでは処理が異なるし、結 合という状況でも、元々複数の物体を示す領域が結合した場合と、分裂と判定された 領域が結合した場合とでは処理が異なるためである。特許文献 1では、これを解決す るために、画像内の特定範囲内で検出する領域の結果を基準とする初期ィ匕ステップ が設けられている。これは特許文献 1が追跡対象物として人物を想定しており、例え ば一度に 1人しか通過できないような出入り口付近を映す画像範囲を特定範囲とす れば、その範囲内では信憑性の高 、物体検出結果が得られると仮定できる力 であ る。
[0006] 特許文献 1：特開 2002— 342762号公報
発明の開示
発明が解決しょうとする課題
[0007] ところが、特許文献 1では、時系列で連続する 2フレーム間で対象領域の対応付け を行いながら対象領域を追跡している。このため、例えばあるフレーム FOで検出され た追跡対象物を示す対象領域が、次フレーム F1で何らかの問題で検出されず、さら に次のフレーム F2では再度検出されたという状況の場合、フレーム FO—F1間にお ける対応結果より、フレーム FO内の領域は"消滅"という状況に分類され、フレーム F 2で再び検出されたとしても、同一の対象を示す領域とは判断されない。この場合は 、新たに"出現"という状況になり、別の追跡対象物を示す対象領域として追跡が行 われる。このように追跡対象物を示す対象領域が追跡途中のフレーム内で全く検出 されな 、と!/ヽぅ状況は、 "人物"を対象とする追跡にぉ ヽては発生しにく!/ヽ状況かもし れないが、例えば蛍光蛋白を用いて生きた細胞を画像ィ匕し、その蛍光画像を用いて 生細胞の追跡を行うなどの場合では、蛍光量の変動などの影響による細胞領域の検 出の不安定さから十分に発生し得る状況である。つまり、特許文献 1では、このような 状況にお ヽて正確な追跡が行えな 、と ヽぅ課題がある。
[0008] さらに、生細胞の追跡においては、画像内の特定範囲内で、信憑性の高い物体検 出結果を得るということは難しい。なぜなら、密集する多数の細胞を同時に撮像する 状況下では、個々の細胞を個別に良好な条件で撮像し、その細胞を示す領域を正 確に検出することは、非常に困難だからである。このため、信憑性の高い検出結果を 前提とする特許文献 1では、追跡対象を示す対象領域の誤検出が散発する場合に は正確な追跡を行えな 、と 、う課題がある。
[0009] 本発明は、上記に鑑みてなされたものであって、追跡対象を示す対象領域の重な り、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果の信憑性に 欠けるような不安定な状況においても、より時系列的に整合性の良い追跡ができる画 像処理装置及び対象領域追跡プログラムを提供することを目的とする。
課題を解決するための手段
[0010] 上述した課題を解決し、目的を達成するために、請求項 1に係る画像処理装置は、 複数の時点で追跡対象を撮影して得られた各時点の対象画像において前記追跡対 象を示す対象領域の特徴量を算出する特徴量算出手段と、算出された前記特徴量 を用いて前記対象画像間における前記対象領域同士の対応付けを行うことで該対 象領域の仮追跡を行う仮追跡処理手段と、前記仮追跡の結果に基づ!/、て前記対象 領域の最終的な追跡結果を求める最終追跡処理手段と、を備えることを特徴とする。
[0011] 請求項 2に係る画像処理装置は、上記発明において、前記特徴量は、前記対象領 域の位置、大きさ、形状、輝度、色のうちの少なくとも一つに関する特徴量を含むこと を特徴とする。
[0012] 請求項 3に係る画像処理装置は、上記発明にお!/、て、前記仮追跡処理手段は、前 記仮追跡を時系列に沿って前方及び後方に向力つて行うことを特徴とする。
[0013] 請求項 4に係る画像処理装置は、上記発明にお!/、て、前記仮追跡処理手段は、前 記対象画像間における前記対象領域同士の対応付けを異なる時間間隔の複数の 前記対象画像間において行うことで前記仮追跡を行うことを特徴とする。
[0014] 請求項 5に係る画像処理装置は、上記発明にお!/、て、前記仮追跡処理手段は、前 記仮追跡を行う時系列範囲内の複数の時点の前記対象画像を該仮追跡の起点とな る起点画像として設定する起点画像設定手段を有し、該起点画像設定手段により設 定された起点画像毎に前記仮追跡を行うことを特徴とする。
[0015] 請求項 6に係る画像処理装置は、上記発明にお!/、て、前記仮追跡処理手段は、前 記対象領域を識別するための仮 IDを前記対象画像における前記対象領域のそれぞ れに付与する仮 ID付与手段と、異なる時点の前記対象画像間における前記対象領 域同士の対応度合いを示す対応指標値を算出する対応指標値算出手段と、前記起 点画像における前記対象領域から時系列に沿って前方又は後方の時点の前記対象 領域における前記対象領域へ向けて前記対応指標値が最も高い前記対象領域の 仮 IDを順次伝播することで前記対象画像間における前記対象領域同士の対応付け を行う仮 ID伝播手段と、を備えることを特徴とする。
[0016] 請求項 7に係る画像処理装置は、上記発明にお!/、て、前記仮 ID付与手段は、前記 仮 ID伝播手段において前記対象画像間で前記対応指標値が所定の閾値を超える 前記対象領域を有しないと判定された場合には該対象領域に対して新たな仮 IDを 付与することを特徴とする。
[0017] 請求項 8に係る画像処理装置は、上記発明にお!/、て、前記対応指標値は、前記対 象領域の位置、大きさ、形状、輝度、色に関する特徴量の少なくとも一つにより規定 される特徴空間での前記対象領域同士の距離に基づき算出される値であることを特 徴とする。
[0018] 請求項 9に係る画像処理装置は、上記発明にお!/、て、前記対応指標値は、前記対 象領域同士の重なり面積を互いの対象領域の面積の和により正規ィヒした値であるこ とを特徴とする。
[0019] 請求項 10に係る画像処理装置は、上記発明において、前記最終追跡処理手段は 、起点画像毎に行われた複数の前記仮追跡の結果を集計して前記対象領域の最終 的な追跡結果を求めることを特徴とする。
[0020] 請求項 11に係る画像処理装置は、上記発明にお！ヽて、前記追跡対象を示す対象 領域は、細胞を示す領域であることを特徴とする。
[0021] 請求項 12に係る対象領域追跡プログラムは、複数の時点で時系列に追跡対象を 撮影して得られる各時点の対象画像内に存在する追跡対象を示す対象領域を追跡 する処理を画像処理装置に実行させる対象領域追跡プログラムであって、前記画像 処理装置に、複数の時点で前記追跡対象を撮影して得られた各時点の対象画像に おいて前記追跡対象を示す対象領域の特徴量を算出する特徴量算出手順と、算出 された前記特徴量を用いて前記対象画像間における前記対象領域同士の対応付け を行うことで該対象領域の仮追跡を行う仮追跡処理手順と、前記仮追跡の結果に基 づ 、て前記対象領域の最終的な追跡結果を求める最終追跡処理手順と、を実行さ せることを特徴とする。
[0022] 請求項 13に係る対象領域追跡プログラムは、上記発明にお 、て、前記特徴量は、 前記対象領域の位置、大きさ、形状、輝度、色のうちの少なくとも一つに関する特徴 量を含むことを特徴とする。
[0023] 請求項 14に係る対象領域追跡プログラムは、上記発明にお 、て、前記仮追跡処 理手順は、前記仮追跡を時系列に沿って前方及び後方に向力つて行うことを特徴と する。
[0024] 請求項 15に係る対象領域追跡プログラムは、上記発明にお 、て、前記仮追跡処 理手順は、前記対象画像間における前記対象領域同士の対応付けを異なる時間間 隔の複数の前記対象画像間において行うことで前記仮追跡を行うことを特徴とする。
[0025] 請求項 16に係る対象領域追跡プログラムは、上記発明にお 、て、前記仮追跡処 理手順は、前記仮追跡を行う時系列範囲内の複数の時点の前記対象画像を該仮追 跡の起点となる起点画像として設定する起点画像設定手順を有し、該起点画像設定 手順により設定された起点画像毎に前記仮追跡を行うことを特徴とする。
[0026] 請求項 17に係る対象領域追跡プログラムは、上記発明にお 、て、前記仮追跡処 理手順は、前記対象領域を識別するための仮 IDを前記対象画像における前記対象 領域のそれぞれに付与する仮 ID付与手順と、異なる時点の前記対象画像間におけ る前記対象領域同士の対応度合いを示す対応指標値を算出する対応指標値算出 手順と、前記起点画像における前記対象領域から時系列に沿って前方又は後方の 時点の前記対象領域における前記対象領域へ向けて前記対応指標値が最も高い 前記対象領域の仮 IDを順次伝播することで前記対象画像間における前記対象領域 同士の対応付けを行う仮 ID伝播手順と、を前記画像処理装置に実行させることを特 徴とする。
[0027] 請求項 18に係る対象領域追跡プログラムは、上記発明にお 、て、前記仮 ID付与 手順は、前記仮 ID伝播手段にお ヽて前記対象画像間で前記対応指標値が所定の 閾値を超える前記対象領域を有しないと判定された場合には該対象領域に対して新 たな仮 IDを付与することを特徴とする。 [0028] 請求項 19に係る対象領域追跡プログラムは、上記発明にお 、て、前記対応指標 値は、前記対象領域の位置、大きさ、形状、輝度、色に関する特徴量の少なくとも一 つにより規定される特徴空間での前記対象領域同士の距離に基づき算出される値で あることを特徴とする。
[0029] 請求項 20に係る対象領域追跡プログラムは、上記発明にお!/、て、前記対応指標 値は、前記対象領域同士の重なり面積を互いの対象領域の面積の和により正規ィ匕し た値であることを特徴とする。
[0030] 請求項 21に係る対象領域追跡プログラムは、上記発明にお 、て、前記最終追跡 処理手順は、起点画像毎に行われた複数の前記仮追跡の結果を集計して前記対象 領域の最終的な追跡結果を求めることを特徴とする。
[0031] 請求項 22に係る対象領域追跡プログラムは、上記発明にお 、て、前記追跡対象を 示す対象領域は、細胞を示す領域であることを特徴とする。
発明の効果
[0032] 本発明に係る画像処理装置及び対象領域追跡プログラムによれば、算出された対 象領域の特徴量を用いて対象画像間における対象領域同士の対応付けを行った仮 追跡結果を基に、例えば多数決の概念によって整合性の良い最終的な追跡結果を 求めるので、追跡対象を示す対象領域の重なり、分裂に加え、一時的な消失や対象 領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、 より時系列的に整合性の良い対象領域の追跡が可能になるという効果を奏する。 図面の簡単な説明
[0033] [図 1]図 1は、本発明の実施の形態の画像処理装置の構成例を示す概略ブロック図 である。
[図 2]図 2は、本実施の形態の画像処理装置の制御部により実行される処理の流れを 示す概略フローチャートである。
[図 3]図 3は、仮追跡処理部により実行される細胞領域の仮追跡処理なるサブルーチ ンの処理例を示す概略フローチャートである。
[図 4]図 4は、仮追跡を行う時系列範囲として n= 2とした場合の各時刻 t(i)用の細胞 画像の取得範囲を模式的に示す説明図である。 [図 5-1]図 5— 1は、認識処理の対象となる細胞画像例を示す図である。
[図 5-2]図 5— 2は、領域毎にラベルイ匕された細胞領域の認識画像例を示す図である
[図 6]図 6は、時刻 t(0)〜t(7)の間で時系列に取得された細胞画像の一例を示す模 式図である。
[図 7]図 7は、 i=0の場合において、その仮追跡範囲内となる図 6に示す時刻 t(0)〜t( 2)の各細胞画像を起点画像とした場合の仮 IDの付与例を示す説明図である。
[図 8]図 8は、時刻 t(2)の細胞画像を起点画像とした場合において、時刻 t(l)の画像 内の細胞領域と、時刻 t(2)の起点画像内の細胞領域との対応指標値の算出結果例 を示す説明図である。
[図 9]図 9は、時刻 t(2)の細胞画像を起点画像とした場合にぉ ヽて、時刻 t(l)の細胞 画像内の細胞領域への仮 IDの伝播例を示す説明図である。
[図 10]図 10は、時刻 t(0)の細胞画像を起点画像とした場合において、時刻 t(l)の細 胞画像内の細胞領域と、時刻 t(0)の起点画像内の細胞領域との対応指標値の算出 結果例を示す説明図である。
[図 11]図 11は、時刻 t(O)の細胞画像を起点画像とした場合において、時刻 t(l)の細 胞画像内の細胞領域への仮 IDの伝播例を示す説明図である。
[図 12]図 12は、 i = 0の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として 各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理 例を模式的に示す説明図である。
[図 13]図 13は、図 12に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説 明図である。
[図 14]図 14は、図 13の仮追跡結果の集計例を示す説明図である。
[図 15]図 15は、 i= 1の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として 各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理 例を模式的に示す説明図である。
[図 16]図 16は、図 15に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説 明図である。 [図 17]図 17は、図 16の仮追跡結果の集計例を示す説明図である。
[図 18]図 18は、図 14、図 17の集計例に基づく最終 IDの付与例を示す説明図である
[図 19]図 19は、 i = 2の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として 各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理 例を模式的に示す説明図である。
[図 20]図 20は、図 19に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説 明図である。
[図 21]図 21は、図 20の仮追跡結果の集計例を示す説明図である。
[図 22]図 22は、図 21の集計例に基づく最終 IDの付与例を示す説明図である。
[図 23]図 23は、 i=4の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として 各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理 例を模式的に示す説明図である。
[図 24]図 24は、図 23に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説 明図である。
[図 25]図 25は、 i= 5の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として 各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理 例を模式的に示す説明図である。
[図 26]図 26は、図 25に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説 明図である。
[図 27]図 27は、図 26の集計例に基づく最終 IDの付与例を示す説明図である。
[図 28]図 28は、図 6に例示した時系列な細胞画像における細胞領域の追跡の結果 例を示す模式図である。
符号の説明
100 画像処理装置
101 特徴量算出部
102 仮追跡処理部
103 最終追跡処理部 201 起点画像設定部
202 仮 ID付与部
203 対応指標値算出部
204 仮 ID伝播部
発明を実施するための最良の形態
[0035] 本発明を実施するための最良の形態について図面を参照して説明する。以下に説 明する本実施の形態では、本発明の追跡対象を示す対象領域として細胞領域の追 跡を行う画像処理装置の例を示すが、本発明における追跡対象を示す対象領域は 細胞領域に限らず、他の追跡対象を示す対象領域の追跡を行う画像処理装置とし ても適用可能である。
[0036] 図 1は、本実施の形態の画像処理装置の構成例を示す概略ブロック図である。本 実施の形態の画像処理装置 100は、複数の時点で追跡対象としての生細胞を撮影 して得られた各時点の対象となる細胞画像において生細胞を示す細胞領域の特徴 量を算出する特徴量算出部 101と、算出された細胞領域の特徴量を用いて細胞画 像間における細胞領域同士の対応付けを行うことで該細胞領域の仮追跡を行う仮追 跡処理部 102と、仮追跡処理部 102による仮追跡の結果に基づいて細胞領域の最 終的な追跡結果を求める最終追跡処理部 103とを備えるマイクロコンピュータ構成の 制御部 104と、入力された画像及び各部で利用するデータを保持しておくメモリ 105 とカゝら構成されている。
[0037] ここで、仮追跡処理部 102は、仮追跡を行う時系列範囲内の複数の時点の細胞画 像のそれぞれを該仮追跡の起点となる起点画像として設定する起点画像設定部 20 1と、細胞領域を識別するための仮 IDを細胞画像における細胞領域のそれぞれに付 与する仮 ID付与部 202と、異なる時点の細胞画像間における細胞領域同士の対応 度合いを示す対応指標値を算出する対応指標値算出部 203と、起点画像における 細胞領域から時系列に沿って前方又は後方の時点の細胞画像における細胞領域へ 向けて対応指標値が最も高 、細胞領域の仮 IDを順次伝播することで細胞画像間に おける細胞領域同士の対応付けを行う仮 ID伝播部 204とから構成されて ヽる。なお 、処理対象である時系列の細胞画像の入力構成や、出力後の細胞追跡結果の処理 構成に関しては、本実施の形態では特に限定しない。
[0038] 図 2は、本実施の形態の画像処理装置 100の制御部 104により実行される処理の 流れを示す概略フローチャートであり、図 3は、仮追跡処理部 102により実行されるス テツプ S5の細胞領域の仮追跡処理なるサブルーチンの処理例を示す概略フローチ ヤートである。ここでは、撮影開始時刻 t(0)カゝら撮影終了時刻 t(T)までの複数の時刻 (時点）で細胞を撮影して得られた時系列の複数の細胞画像を用いて細胞領域の追 跡を行う際の処理の流れを示している。以下、図 1に示す構成例と対比しながら追跡 処理例について説明する。
[0039] まず、制御部 104は、注目すべき細胞画像の時系列順序を示す符号 iを 0に設定し
(ステップ S1)、時刻 t(i— n)〜t(i+n)の細胞画像を取得する (ステップ S2)。 nは後述 の仮追跡を行う際の時系列範囲を決定する値であり、本実施の形態では、 n= 2とし て説明する。ここで、 i=0の場合、 i— n=0— 2=— 2であり、時刻 t(— 2)の細胞画像 は存在しない。そこで、 i n< 0の場合には、ステップ S2で取得する画像の時系列 先端の画像は時刻 t(0)の画像とする。また、符号 iを順次繰り越し、 i+n>Tとなった 場合には、やはり画像が存在しないので、ステップ S2で取得する画像の時系列後端 の画像は時刻 t(T)の画像とする。
[0040] 図 4は、注目すべき細胞画像に対して仮追跡を行う時系列範囲として n= 2とした場 合の各時刻 t(i)用の細胞画像の取得範囲を模式的に示す説明図である。図 4中の黒 丸部分は、符号 iで示される注目すべき細胞画像の撮影時点を表している。結果的 に、時系列先端の i=0の場合には 3枚の細胞画像 (フレーム）を、時系列 2番目の i= 1の場合には 4枚の細胞画像を、時系列中間の i= 2〜T— 2の場合には 5枚の細胞 画像を、 i=T— 1の場合には 4枚の細胞画像を、時系列後端の i=Tの場合には 3枚 の細胞画像を取得する。
[0041] 次に、特徴量算出部 101は、取得した各細胞画像の細胞領域を認識し、各細胞領 域の特徴量を算出する (ステップ S3)。細胞領域の認識処理に関しては、例えば本 出願人による特願 2005 - 24511なる提案例を利用すればょ 、。その手順の概略を 説明すると、まず、細胞画像に対しシェーディング補正や輪郭強調処理を行う。次に 、背景領域を除去し、残りの各画素における輝度勾配方向を求める。次に、各画素 が輝度勾配方向に沿って到達する輝度極値画素を求め、近接する輝度極値画素に 到達した各画素を同一の画素値とするラベル領域画像を作成する。さらに、各ラベル 領域の境界付近における細胞画像の輝度情報を基に、ラベル領域の再統合を行 、
、最終的な細胞領域画像を得るというものである。例えば、図 5—1に示すような細胞 画像に対してこのような認識処理を行 ヽ、図 5— 2に示すように領域毎にラベルイ匕さ れた細胞領域の認識画像を得る。
[0042] なお、本実施の形態では追跡対象を示す対象領域を抽出する方法として、細胞の 認識処理を示したが、追跡対象を示す対象領域の抽出方法は、追跡対象や画像の 種類によって変わるものであり、本発明では特に限定しない。
[0043] このような認識処理により、細胞領域の認識画像を得た後、特徴量算出部 101は、 各細胞領域の特徴量を得る。特徴量は、細胞領域の位置、大きさ、形状、輝度、色 のうちの少なくとも一つに関する数値などで示される特徴量であり、粒子解析と呼ば れる汎用的な画像処理法などを利用して求めることができる。
[0044] 次いで、仮追跡処理部 102による処理に移行する。まず、起点画像設定部 201は 、取得した各時刻の細胞画像を、注目すべき細胞領域に対する仮追跡を行う際の起 点画像に設定する (ステップ S4)。つまり、 i=0の場合には、その仮追跡範囲内となる 時刻 t(0)〜t(2)の各細胞画像を起点画像に順次設定する。次に、仮 ID付与部 202、 対応指標値算出部 203、仮 ID伝播部 204は、順次設定される各起点画像を基に細 胞領域の仮追跡を行う（ステップ S5)。
[0045] 図 6は、例えば時刻 t(0)〜t(7)の間で時系列に取得された細胞画像の一例を示す 模式図である。以後の追跡処理の説明は、この時系列に取得された細胞画像を対象 に行う例で説明する。なお、図 6では各細胞領域が確認し易いように、図 5— 2のよう な領域毎のラベル値による表示を行わず、認識された全ての細胞領域を輪郭線のみ で簡単に示すものとする。また、数字 (領域 No.)は各細胞領域を各時刻の細胞画像 内で識別するための通し番号である。
[0046] まず、仮 ID付与部 202は、起点画像内の各細胞領域に対して、同一の細胞を示す 細胞領域であることを識別するための仮 IDを付与する (ステップ S501)。仮 IDは、起 点画像内の各細胞領域では異なるように付与する。図 7は、図 6の時系列画像を処 理する際の i=0の場合、つまり、図 6に示す時刻 t(0)〜t(2)の各細胞画像をそれぞれ 起点画像とした場合の仮 IDの付与例を示す説明図である。
[0047] 次に、制御部 104は、符号 jを 1に設定し (ステップ S502)、追跡起点画像 (ここでは 便宜上、時刻 t(s)の画像とする）の時系列に沿った前方にある時刻 t(s j)の細胞画 像が仮追跡時の処理対象画像であるか判定する。この処理は、 "s j≥0 ?又は s j ≥i—n ? "を判定することで行われる（ステップ S503)。前者の" s-j≥0 ? "では、対 象となる細胞画像が存在するかを判定し、後者の" s j≥i n ? "では、対象となる 細胞画像が仮追跡を行う際の時系列範囲内であるかを判定する。
[0048] ステップ S503の判定結果が肯定 (Yes)の場合、対応指標値算出部 203は、時刻 t (s j)の細胞画像内の細胞領域と、時刻 t(s j + l)〜t(s j +N)の各細胞画像内の 細胞領域との対応指標値を算出する (ステップ S504)。ここで、 Nは対応指標値を算 出する際の細胞画像の時系列範囲を決定する値である。 N= lの場合、対応指標値 は時系列で隣接する 2枚の細胞画像内（連続 2フレーム内）の細胞領域同士でのみ 算出される力 N= 2の場合には、前述の算出にカ卩え、時系列で隣接せずに間に 1 枚の細胞画像を挟む 2枚の細胞画像内（不連続 2フレーム内）の細胞領域同士でも 対応指標値が算出される。つまり、異なる時間間隔の複数の細胞画像間で対応指標 値を算出することで、細胞認識処理の問題等で一時的に消失し、再度検出されるよう な場合があつたとしても、同一細胞を示す領域としての対応付けが可能になる。本実 施の形態では、 N= 2として説明する。なお、追跡起点画像を跨いだ画像間（s j + N≤sで判定される)では対応指標値を算出しない。
[0049] ここで、対応指標値とは、異なる細胞画像内の細胞領域 Rl, R2が、同一の細胞を 示す領域であるかを推定するための指標値である。具体的には、細胞領域 Rl, R2 が存在する 2つの細胞画像を重ねた際の細胞領域 Rl, R2の重なり面積 Area— OLと Rl, R2のそれぞれの面積 Area— Rl, Area— R2より、（1)式により求める方法がある。 ここで、 wは重み係数であり、 R1に対する R2の対応指標値と、 R2に対する R1の対 応指標値を同じとする場合には w=0. 5となる。
[0050] [数 1]
Figure imgf000015_0001
[0051] また、対応指標値は、特徴量算出部 101により算出された細胞領域 Rl， R2の X個 の特徴量により規定される特徴空間における細胞領域 Rl， R2の距離 dの逆数又は 距離 dを用いた減少関数として求める方法もある。なお、特徴空間での細胞領域 R1 , R2の距離 dの計算法には、（2)式に挙げる重み付き市街地距離を求める方法、（3) 式に挙げる重み付きユークリッド距離を求める方法、（4)式に挙げるマハラノビス汎距 離を求める方法などがある。
[0052] [数 2] d = J |Rト R ■(2)
=1 但し、 は Riの 1 (エル）個目の特徴量 (1≤1≤X)の値、
w1は、 1 (エル)個目の特徴量に対する重み係数 (事前に設定)
[0053] [数 3]
Figure imgf000015_0002
但し、 R;は の 1 (エル)個目の特徴量 (1≤1≤X)の値、
w1は、 1 (エル)個目の特徴量に対する重み係数 (事前に設定)。
[0054] [数 4]
(4)
Figure imgf000015_0003
但し、 Rlは R!の 1 (エル)個目の特徴量 (1 I≤x)の値、
R 1は、 の m個目の特徴量 (l≤m≤X)の値。
vimは特微量を算出した細胞領域全体における特微量の
分散共分散行列 Vの逆行列 V·1の (1 , m)要素 なお、（4)式における距離 dは、細胞領域全体の分布の分散による影響を正規化した 空間での距離となる。
[0055] さらに、細胞領域 Rl, R2が存在する 2つの細胞画像が時系列的に離れる程、値が 低くなるような係数を設定し、これを前述の 2つの方法による対応指標値に乗じて、最 終的な対応指標値としても良い。例えば、時系列的に隣接する画像間では係数 = 1 、時系列で間に 1枚の画像を挟む場合には係数 =0. 9等のようにする。
[0056] 前述した 2つの方法により算出される対応指標値は、いずれも値が大きいほど、同 一の細胞を示す領域である可能性が高くなる。例えば、図 8は、時刻 t(2)の細胞画像 を起点画像とした場合において、 j = lのとき、つまり、時刻 t(s— j)=t(2— l)=t(l)の 画像内の細胞領域と、時刻 t(s—j + l)=t(2- l + l)=t(2)の細胞画像（=起点画像 )内の細胞領域との対応指標値の算出結果例を示す説明図である。この結果より、 時刻 t(l)の細胞画像内の No.lの細胞領域は時刻 t(2)の細胞画像内の No.2の細胞 領域と同一の細胞を示す領域である可能性が高ぐ時刻 t(l)の細胞画像内の No.2 の細胞領域は時刻 t(2)の細胞画像内の No.3の細胞領域と同一の細胞を示す領域で ある可能性が高いと推定できる。なお、対応指標値が所定の閾値より低い場合には、 細胞領域同士の対応はな 、とし、図中に表示して 、な 、。
[0057] 対応指標値が算出された後は、仮 ID伝播部 204は、時刻 t(s j)の画像内の各細 胞領域に対し、最も対応指標値の高い細胞領域の仮 IDを伝播する (ステップ S505) 。図 9は、時刻 t(2)の細胞画像を起点画像とした場合において、 j = lのとき、つまり、 時刻 t(s -j)=t(2 1) =t(l)の細胞画像内の細胞領域への仮 IDの伝播例を示す説 明図である。図 8に示した結果に従い、最も対応指標値が高い領域の仮 IDが伝播さ れている。すなわち、時刻 t(l)の細胞画像内の No.lの細胞領域には時刻 t(2)の細胞 画像内の No.2の細胞領域の仮 IDが伝播され、時刻 t(l)の細胞画像内の No.2の細 胞領域には時刻 t(2)の細胞画像内の No.3の細胞領域の仮 IDが伝播されている。
[0058] なお、仮 IDの伝播先である細胞領域に対し、対応する細胞領域が存在しな!ヽ場合 には、仮 ID付与部 202は、その細胞領域に対して新たな仮 ID付与する。つまり、対 応指標値が所定の閾値より低い細胞領域同士を対応付けることはなぐ仮追跡の精 度が向上する。 [0059] 仮 IDの伝播が終了した後は、制御部 104は、符号 j =j + lとし (ステップ S506)、再 度ステップ S503の判定を行う。以上、ステップ S503〜S506の処理を、異なる起点 画像毎にそれぞれ行うことで、起点画像から時系列に沿った前方への複数の仮追跡 結果を得る。そして、ステップ S503での判定結果が否定 (No)となった時点で、時系 列に沿った前方への仮追跡処理を終了する。
[0060] 時系列に沿った前方への仮追跡処理が終了した後は、制御部 104は、再度、符号 j = lに設定し (ステップ S507)、今度は起点画像から時系列に沿った後方への仮追 跡処理を実行する。手順としては、まず追跡起点画像 (時刻 t(s))の時系列に沿った 後方にある時刻 t(s+j)の画像が仮追跡時の処理対象画像である力判定する。この 処理は、 "s+j≤T ?又は s+j≤i+n ? "を判定することで行われる（ステップ S508) 。前者の "s+j≤T ? "は、対象となる細胞画像が存在するかを判定し、後者の" s+j ≤i+n？ "は対象の細胞領域画像が仮追跡を行う際の時系列範囲内であるかを判 定している。
[0061] ステップ S508の判定結果が肯定 (Yes)の場合、対応指標値算出部 203は、時刻 t (s+j)の細胞画像内の細胞領域と、時刻 t(s+j— N)〜t(S+j— 1)の各細胞画像内の 細胞領域との対応指標値を算出する (ステップ S509)。なお、追跡起点画像を跨い だ画像間 (s + j— N≥ sで判定される)では対応指標値を算出しな!、。
[0062] 図 10は、時刻 t(0)の細胞画像を起点画像とした場合において、 j = lのとき、つまり 、時刻 t(s+j)=t(0+ l)=t(l)の細胞画像内の細胞領域と、時刻 t(s+j— l)=t(0 + l + l)=t(0)の細胞画像（=起点画像）内の細胞領域との対応指標値の算出結果例 を示す説明図である。この結果より、時刻 t(l)の細胞画像内の No.lの細胞領域は時 刻 t(0)の細胞画像内の No.lの細胞領域と同一の細胞を示す領域である可能性が高 く、時刻 t(l)の細胞画像内の No.2の細胞領域も時刻 t(0)の細胞画像内の No.lの細 胞領域と同一の細胞を示す領域である可能性が高いと推定できる。図 8の場合と同 様、対応指標値が所定の閾値より低い場合には、細胞領域同士の対応はないとし、 図中に表示していない。
[0063] 対応指標値が算出された後は、仮 ID伝播部 204は、時刻 t(s+j)の細胞画像内の 各細胞領域に対し、最も対応指標値の高い細胞領域の仮 IDを伝播する (ステップ S 510)。図 11は、時刻 t(0)の細胞画像を起点画像とした場合において、 j = lのとき、 つまり、時刻 t(s+j)=t(0— l)=t(l)の細胞画像内の細胞領域への仮 IDの伝播例を 示す説明図である。図 10に示した結果に従い、最も対応指標値が高い領域の仮 ID が伝播されている。すなわち、時刻 t(l)の細胞画像内の No. l, No.2の細胞領域共に 時刻 t(0)の細胞画像内の No.1の細胞領域の仮 IDが伝播されている。なお、仮 IDの 伝播先である細胞領域に対し、対応する細胞領域が存在しない場合には、前方への 仮追跡の場合と同様、仮 ID付与部 202は、その細胞領域に対して新たな仮 IDを付 与する。
[0064] 前方への仮追跡の場合も、後方への仮追跡の場合も、対応指標値が最も高 ヽ細 胞領域の仮 IDを順次伝播するので仮追跡の精度が向上する。
[0065] 仮 IDの伝播が終了した後は、制御部 104は、符号 j =j + lとし (ステップ S511)、再 度ステップ S508の判定を行う。以上、ステップ S508〜S511の処理を、異なる起点 画像毎にそれぞれ行うことで、起点画像から時系列に沿って後方への複数の仮追跡 結果を得る。そして、ステップ S508での判定結果が否定 (No)となった時点で、仮追 跡処理を終了する。
[0066] つまり、注目すべき時刻 t(0)の No.l, 2の細胞領域の追跡結果を求めるための i=0 の場合において、仮追跡処理部 102は、図 12に模式的に示すように、時刻 t(0)〜t( 2)の細胞画像をそれぞれ起点画像とし、各起点画像内の細胞領域（図 12中の領域 No.を丸付きで示す)毎に最も高い対応指標値に従い時系列に沿って前方又は後方 に矢印で示すようなリンク関係を設定する処理を仮追跡として行う。本実施の形態で は、このように、起点画像を変更することで得られる更なるリンク関係を用いて追跡の 精度を向上させるものである。図 13は、図 12に示す細胞領域間のリンク関係を仮 ID の伝播表として示す説明図である。
[0067] 仮追跡処理が終了した後、最終追跡処理部 103は、仮追跡の結果に基づいて注 目して 、る時刻 t(i)の細胞画像内の各細胞領域の最終追跡結果を決定する（S6)。 具体的には、まず、時刻 t(i)の細胞画像内の細胞領域の 1つに注目し、この細胞領域 と同一の仮 IDが付与された時刻 t(i一!!)〜 t(i)の細胞画像内の各細胞領域の数を、 仮追跡結果を基にカウントする。この場合、注目している細胞領域と同一の仮 IDが付 与された細胞領域がな ヽ場合のみ、注目して ヽる細胞領域自身をカウントする。
[0068] 図 13に示す仮追跡結果を用いて詳細に説明する。図 13は、時刻 t(O)の各細胞領 域の追跡結果を求めるための i=0の場合の仮追跡結果である。そこで、まず、時刻 t( i)=t(0)の細胞画像内の No.lの細胞領域を注目領域とする。そして、図 13中の時刻 t(0)を起点画像とする場合の時刻 t(i - n)〜t(i) = t(0 - 2)〜t(0)の画像、実際には時 刻 t(0)の画像のみが対象になるが、その時刻 t(0)の細胞画像内で注目領域と同一の 仮 IDが付く細胞領域を確認する。結果的に、注目領域と同一の仮 IDが付く領域は ない。よって、この場合は注目領域自身をカウントする。
[0069] 次に、図 13中の時刻 t(l)を起点画像とする場合の仮追跡結果を確認すると、注目 領域と同一の仮 IDが時刻 t(0)の細胞画像内の No.2の細胞領域に付いている。よつ て、 t(0)の細胞画像の No.2の細胞領域をカウントする。最後に、図 13中の時刻 t(2)を 起点画像とする場合の仮追跡結果を確認すると、上記と同様に、注目領域と同一の 仮 IDが時刻 t(0)の細胞画像内の No.2の細胞領域に付いている。よって、時刻 t(0)の 細胞画像の No.2の細胞領域を再度カウントし、結果的に 2とする。以上で、時刻 t(0) の細胞画像内の No.lの細胞領域に対する仮追跡結果を基にした集計が終了する。
[0070] 次に、注目領域を、時刻 t(0)の細胞画像内の No.2の細胞領域に変更して同様の処 理を行う。図 14は、上述の仮追跡結果の集計例を示す説明図である。
[0071] 仮追跡結果の集計が終了した後は、多数決の概念に従い、最も数が多い細胞領 域と同一の最終 IDを注目領域に対して付与する。最終 IDとは、同一の細胞を示す 細胞領域であることを識別するための最終的な IDである。図 14に示す集計例の場 合、時刻 t(0)の細胞画像の No. l, 2の細胞領域は、互いに他方の細胞領域と同一の 最終 IDを付与することになり、この場合には 2つの細胞領域に対し、同一の最終 ID を付与する。
[0072] なお、時刻 t(0)の細胞画像を起点画像とした、時系列に沿った後方への仮追跡結 果は、この時全く参照されないが、符号 iを繰り越し、次の時刻の細胞画像での最終 追跡結果を求める際に参照される。本説明では、時系列に沿った後方への仮追跡 結果を説明する都合上、事前に算出する例を説明したものである。
[0073] 次に、ステップ S7により符号 iを順次繰り越した場合の様子を説明する。図 15は、 図 12の場合に準じて、注目すべき時刻 t(l)の細胞画像の各細胞領域の追跡結果を 求めるための i= lの場合において、時刻 t(0)〜t(3)の細胞画像を取得し、これらの時 刻 t(0)〜t(3)の細胞画像をそれぞれ起点画像とし、各起点画像内の細胞領域毎に 最も高い対応指標値に従い時系列に沿って前方又は後方に矢印で示すようなリンク 関係を設定した処理例を示す模式図である。
[0074] 図 16は、図 15に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説明図 である。
[0075] なお、ここで図 13に示した仮追跡結果に対し、図 16で新たに加えられたデータは、 時刻 t(3)の各細胞領域に対する伝播結果、及び、時刻 t(3)の細胞画像を起点画像と する場合の伝播結果である。つまり、符号 iを繰り越す際には、細胞画像の取得、細 胞領域の認識、特徴量の算出、細胞領域の仮追跡は以前の処理で行われていない 部分のみを行えばよい。以前の処理で既に行われている部分に関しては、処理時に 、そのデータをメモリに記憶しておき、以後、必要な時に読み出して使用すればよい
[0076] 図 17は、 i= 1の場合の仮追跡結果（図 16に示す仮追跡結果)の集計例を示す説 明図である。時刻 t(i) =t(l)の細胞画像の No.1の細胞領域を注目領域とした場合、 時刻 t(0)の No.1の細胞領域が同一の仮 IDとなるのは図 16中に示す各時刻 t(0)〜t( 3)を起点画像とする場合の 4回、時刻 t(0)の No.2の細胞領域が同一の仮 IDとなるの は図 16中に示す時刻 t(l)〜t(3)を起点画像とする場合の 3回、時刻 t(l)の No.2の細 胞領域が同一の仮 IDとなるのは図 16中に示す時刻 t(0)を起点画像とする場合の 1 回である。
[0077] 同様に、時刻 )= (1)の細胞画像の .2の細胞領域を注目領域とした場合、時 刻 t(0)の No.1の細胞領域が同一の仮 IDとなるのは図 16中に示す時刻 t(0)を起点画 像とする場合の 1回、時刻 t(l)の No.1の細胞領域が同一の仮 IDとなるのは図 16中に 示す時刻 t(0)を起点画像とする場合の 1回、同一の仮 IDの細胞領域がなく自身を力 ゥントするのが図 16中に示す時刻 t(l)〜t(3)を起点画像とする場合の 3回である。
[0078] 図 18は、図 14、図 17の集計例に基づく最終 IDの付与例を示す説明図である。図 14の集計結果より、時刻 t(0)の細胞画像内の No.l, 2の 2つの細胞領域には同一の 最終 ID (F— ID1)を付与し、その後、図 17の集計結果より、時刻 t(l)の No.lの細胞 領域には時刻 t(0)の No.lの細胞領域と同一の最終 ID (F_ID1)を伝播し、時刻 t(l) の No.2の細胞領域には新たな最終 ID (F_ID2)を付与する。
[0079] 同様にして、 i= 2, 4, 5の場合の処理例について説明する。まず、図 19は、図 12、 図 15の場合に準じて、注目すべき時刻 t(2)の細胞画像の各細胞領域の追跡結果を 求めるための i= 2の場合において、時刻 t(0)〜t(4)の各細胞画像を取得し、これらの 時刻 t(0)〜t(4)の各細胞画像をそれぞれ起点画像とし、各起点画像内の細胞領域 毎に最も高い対応指標値に従い時系列に沿って前方又は後方に矢印で示すような リンク関係を設定した処理例を示す模式図である。図 20は、図 19に示す細胞領域間 のリンク関係を仮 IDの伝播表として示す説明図であり、図 21は、図 20に示した仮追 跡結果の集計結果例を示す説明図であり、図 22は、図 21に基づく最終 IDの付与例 を示す説明図である。
[0080] ここで、集計結果においてカウント数が同値の場合には、既に最終 IDが付与されて いる細胞領域のうち時系列的に近いものから最終 IDを伝播する。よって、時刻 t(2)の No.lの細胞領域は時刻 t(l)の No.lの細胞領域から、時刻 t(2)の No.2の細胞領域は 時刻 t(l)の No.lの細胞領域から、時刻 t(2)の No.3の細胞領域は時刻 t(l)の No.2の 細胞領域から、時刻 t(2)の No.4の細胞領域は時刻 t(l)の No.2の細胞領域力もそれ ぞれ最終 IDを伝播する。
[0081] 次に、図 23は、図 12、図 15、図 19の場合に準じて、注目すべき時刻 t(4)の細胞画 像の各細胞領域の追跡結果を求めるための i=4の場合において、時刻 t(2)〜t(6)の 各細胞画像を取得し、これらの時刻 t(2)〜t(6)の各細胞画像をそれぞれ起点画像と し、各起点画像中の細胞領域毎に最も高 、対応指標値に従 、時系列に沿って前方 又は後方に矢印で示すようなリンク関係を設定した処理例を示す模式図である。図 2 4は、図 23に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説明図である 。この場合、時刻 t(3)中の No.3の細胞領域と時刻 t(5)中の No.2の細胞領域とは、時 刻 t(4)の細胞画像では追跡関係が一時的に途絶えているが、対応指標値を算出す る際に時刻 t(3), t(5)の細胞画像間でも対応指標値が算出されて仮追跡に活力され るため、時刻 t(3)中の No.3の細胞領域と時刻 t(5)中の No.2の細胞領域とは同一の仮 IDの伝播付与により対応関係が維持される。
[0082] さらに、図 25は、図 12、図 15、図 19、図 23の場合に準じて、注目すべき時刻 t(5) の細胞画像の各細胞領域の追跡結果を求めるための i= 5の場合にぉ 、て、時刻 t(3 )〜t(7)の各細胞画像を取得し、これらの時刻 t(3)〜t(7)の各細胞画像をそれぞれ起 点画像とし、各起点画像中の細胞領域毎に最も高 、対応指標値に従 、時系列に沿 つて前方又は後方に矢印で示すようなリンク関係を設定した処理例を示す模式図で ある。図 26は、図 25に示す細胞領域間のリンク関係を仮 IDの伝播表として示す説明 図であり、図 27は、図 26の仮追跡結果の集計結果に基づく最終 IDの付与例を示す 説明図である。結果的に、時刻 t(3)中の No.3の細胞領域は、時刻 t(4)の細胞画像で は追跡関係が一時的に途絶える力 上述のように時刻 t(3), t(5)の細胞画像間でも 対応指標値が算出されて仮追跡に活力されるため、時刻 t(5)中の No.2の細胞領域 に同一の最終 ID (F_ID2)が付与される。
[0083] 以上のように、時系列に沿って前方及び後方の数枚の細胞画像を用い、それぞれ 起点画像を変更設定した場合における複数の仮追跡結果を集計し、多数決の概念 に従い、最も頻度の高い仮追跡結果を最終的な追跡結果に採用することにより、細 胞領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況において も、各細胞画像において、より時系列的に整合性の良い最終追跡結果を得ることが できる。
[0084] なお、本実施の形態では、細胞領域中で注目領域に対し同一の仮 IDが付く各細 胞領域の数を、仮追跡結果よりカウントし、カウントが多い細胞領域の最終 IDを伝播 するようにしているが、同一の仮 IDが付く各細胞領域に対し、所定の規則に従った得 点を加算し、最も得点が多 ヽ細胞領域の最終 IDを伝播するようにしても良 、。
[0085] 所定の規則としては、例えば、以下のようなものを例示できる。
A.注目領域が存在する時刻 t(i)の画像より時系列に沿って前方の細胞画像を起点 画像とした場合の仮追跡結果より、時刻 t(i)の細胞画像より時系列に沿って後方の細 胞画像を起点画像とした場合の仮追跡結果の方が高い得点とする。
B.注目領域が存在する時刻 t(i)の画像から時系列に沿って離れる細胞画像内の細 胞領域ほど、低くなるような得点とする。 c.注目領域との対応指標値に応じた得点とする。
[0086] また、本実施の形態では、注目領域が存在する時刻 t(i)の細胞画像に対し、時系 列に沿って前方と後方とで同数（2枚ずつ）の細胞画像を用いて仮追跡を行って!/、る 力 前方と後方とで異なる枚数の細胞画像範囲に設定して仮追跡を行っても良 、。
[0087] 或る注目領域に関して最終追跡結果が決定された後は、制御部 104は符号 i=i+ 1とし (ステップ S7)、処理対象となる細胞画像の有無を t(i)≤t(T)により判定する (ス テツプ S8)。判定結果力 St(i)≤t(T)であり、まだ処理対象となる細胞画像がある場合に は (ステップ S8 : Yes)、前述のステップ S2〜S7を同様に繰り返す。一方、判定結果 力 St(i)>t(T)であり、処理対象となる細胞画像がない場合には (ステップ S8 : No)、最 終追跡結果を出力して (ステップ S9)、画像処理装置 100での細胞領域追跡処理を 終了する。
[0088] 図 28は、図 6に例示した時系列な細胞画像における細胞領域の追跡の結果例を 示す模式図である。図 28では、同一の最終 IDが付与された細胞領域に対して同一 の斜線処理 (ハッチング処理)や各種の色による塗りつぶしの処理を施すことにより対 応関係を示している（実際の画像表示例では、色分けなどにより区別される)。図 28 より誤認識により生ずる可能性の高い時系列的に不安定な分割線で区切られた領域 や一時的に消失した領域に関しては、同一の細胞領域として追跡しており、また、時 系列的に安定した分割線で区切られる領域に関しては、異なる細胞領域として追跡 して 、る様子が確認できる。
[0089] 本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれ ば、種々の変形が可能である。例えば、前述の特徴量算出部 101、仮追跡処理部 1 02、最終追跡処理部 103等の各部による処理手順は、あら力じめ用意された対象領 域追跡プログラムをパーソナルコンピュータなどのコンピュータで実行することにより 実現するようにしてもよい。この対象領域追跡プログラムは、インターネットなどのネッ トワークを介して配布することもできる。また、この対象領域追跡プログラムは、ハード ディスク、 FD、 CD-ROM, MO、 DVDなどのコンピュータで読み取り可能な記録 媒体に記録され、コンピュータによって記録媒体力 読み出されることにより実行する ことちでさる。 産業上の利用可能性
以上のように、本発明に係る画像処理装置及び対象領域追跡プログラムは、複数 の時点で時系列に追跡対象を撮影して得られた各時点の対象画像内に存在する追 跡対象を示す対象領域を追跡する場合に有用であり、特に、追跡対象を示す対象 領域の重なり、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果 の信憑性に欠けるような不安定な状況における追跡に適している。

Claims

請求の範囲
[1] 複数の時点で追跡対象を撮影して得られた各時点の対象画像にぉ ヽて前記追跡 対象を示す対象領域の特徴量を算出する特徴量算出手段と、
算出された前記特徴量を用いて前記対象画像間における前記対象領域同士の対 応付けを行うことで該対象領域の仮追跡を行う仮追跡処理手段と、
前記仮追跡の結果に基づいて前記対象領域の最終的な追跡結果を求める最終追 跡処理手段と、
を備えることを特徴とする画像処理装置。
[2] 前記特徴量は、前記対象領域の位置、大きさ、形状、輝度、色のうちの少なくとも一 つに関する特徴量を含むことを特徴とする請求項 1に記載の画像処理装置。
[3] 前記仮追跡処理手段は、前記仮追跡を時系列に沿って前方及び後方に向力つて 行うことを特徴とする請求項 1又は 2に記載の画像処理装置。
[4] 前記仮追跡処理手段は、前記対象画像間における前記対象領域同士の対応付け を異なる時間間隔の複数の前記対象画像間において行うことで前記仮追跡を行うこ とを特徴とする請求項 1〜3のいずれか一つに記載の画像処理装置。
[5] 前記仮追跡処理手段は、前記仮追跡を行う時系列範囲内の複数の時点の前記対 象画像を該仮追跡の起点となる起点画像として設定する起点画像設定手段を有し、 該起点画像設定手段により設定された起点画像毎に前記仮追跡を行うことを特徴と する請求項 1〜4のいずれか一つに記載の画像処理装置。
[6] 前記仮追跡処理手段は、
前記対象領域を識別するための仮 IDを前記対象画像における前記対象領域のそ れぞれに付与する仮 ID付与手段と、
異なる時点の前記対象画像間における前記対象領域同士の対応度合!ヽを示す対 応指標値を算出する対応指標値算出手段と、
前記起点画像における前記対象領域から時系列に沿って前方又は後方の時点の 前記対象画像における前記対象領域へ向けて前記対応指標値が最も高い前記対 象領域の仮 IDを順次伝播することで前記対象画像間における前記対象領域同士の 対応付けを行う仮 ID伝播手段と、 を備えることを特徴とする請求項 5に記載の画像処理装置。
[7] 前記仮 ID付与手段は、前記仮 ID伝播手段にお ヽて前記対象画像間で前記対応 指標値が所定の閾値を超える前記対象領域を有しないと判定された場合には該対 象領域に対して新たな仮 IDを付与することを特徴とする請求項 6に記載の画像処理 装置。
[8] 前記対応指標値は、前記対象領域の位置、大きさ、形状、輝度、色に関する特徴 量の少なくとも一つにより規定される特徴空間での前記対象領域同士の距離に基づ き算出される値であることを特徴とする請求項 6又は 7に記載の画像処理装置。
[9] 前記対応指標値は、前記対象領域同士の重なり面積を互!、の対象領域の面積の 和により正規ィ匕した値であることを特徴とする請求項 6又は 7に記載の画像処理装置
[10] 前記最終追跡処理手段は、起点画像毎に行われた複数の前記仮追跡の結果を集 計して前記対象領域の最終的な追跡結果を求めることを特徴とする請求項 5〜9の
V、ずれか一つに記載の画像処理装置。
[11] 前記追跡対象を示す対象領域は、細胞を示す領域であることを特徴とする請求項
1〜 10のいずれか一つに記載の画像処理装置。
[12] 複数の時点で時系列に追跡対象を撮影して得られる各時点の対象画像内に存在 する追跡対象を示す対象領域を追跡する処理を画像処理装置に実行させる対象領 域追跡プログラムであって、
前記画像処理装置に、
複数の時点で前記追跡対象を撮影して得られた各時点の対象画像において前記 追跡対象を示す対象領域の特徴量を算出する特徴量算出手順と、
算出された前記特徴量を用いて前記対象画像間における前記対象領域同士の対 応付けを行うことで該対象領域の仮追跡を行う仮追跡処理手順と、
前記仮追跡の結果に基づいて前記対象領域の最終的な追跡結果を求める最終追 跡処理手順と、
を実行させることを特徴とする対象領域追跡プログラム。
[13] 前記特徴量は、前記対象領域の位置、大きさ、形状、輝度、色のうちの少なくとも一 つに関する特徴量を含むことを特徴とする請求項 12に記載の対象領域追跡プロダラ ム。
[14] 前記仮追跡処理手順は、前記仮追跡を時系列に沿って前方及び後方に向力つて 行うことを特徴とする請求項 12又は 13に記載の対象領域追跡プログラム。
[15] 前記仮追跡処理手順は、前記対象画像間における前記対象領域同士の対応付け を異なる時間間隔の複数の前記対象画像間において行うことで前記仮追跡を行うこ とを特徴とする請求項 12〜 14の 、ずれか一つに記載の対象領域追跡プログラム。
[16] 前記仮追跡処理手順は、前記仮追跡を行う時系列範囲内の複数の時点の前記対 象画像を該仮追跡の起点となる起点画像として設定する起点画像設定手順を有し、 該起点画像設定手順により設定された起点画像毎に前記仮追跡を行うことを特徴と する請求項 12〜 15の 、ずれか一つに記載の対象領域追跡プログラム。
[17] 前記仮追跡処理手順は、
前記対象領域を識別するための仮 IDを前記対象画像における前記対象領域のそ れぞれに付与する仮 ID付与手順と、
異なる時点の前記対象画像間における前記対象領域同士の対応度合!ヽを示す対 応指標値を算出する対応指標値算出手順と、
前記起点画像における前記対象領域から時系列に沿って前方又は後方の時点の 前記対象画像における前記対象領域へ向けて前記対応指標値が最も高い前記対 象領域の仮 IDを順次伝播することで前記対象画像間における前記対象領域同士の 対応付けを行う仮 ID伝播手順と、
を前記画像処理装置に実行させることを特徴とする請求項 16に記載の対象領域追 跡プログラム。
[18] 前記仮 ID付与手順は、前記仮 ID伝播手段にぉ ヽて前記対象画像間で前記対応 指標値が所定の閾値を超える前記対象領域を有しないと判定された場合には該対 象領域に対して新たな仮 IDを付与することを特徴とする請求項 17に記載の対象領 域追跡プログラム。
[19] 前記対応指標値は、前記対象領域の位置、大きさ、形状、輝度、色に関する特徴 量の少なくとも一つにより規定される特徴空間での前記対象領域同士の距離に基づ き算出される値であることを特徴とする請求項 17又は 18に記載の対象領域追跡プロ グラム。
[20] 前記対応指標値は、前記対象領域同士の重なり面積を互!、の対象領域の面積の 和により正規ィ匕した値であることを特徴とする請求項 17又は 18に記載の対象領域追 跡プログラム。
[21] 前記最終追跡処理手順は、起点画像毎に行われた複数の前記仮追跡の結果を集 計して前記対象領域の最終的な追跡結果を求めることを特徴とする請求項 16〜20 の!、ずれか一つに記載の対象領域追跡プログラム。
[22] 前記追跡対象を示す対象領域は、細胞を示す領域であることを特徴とする請求項 12〜21のいずれか一つに記載の対象領域追跡プログラム。
PCT/JP2006/308887 2005-05-30 2006-04-27 画像処理装置及び対象領域追跡プログラム WO2006129442A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06732438.4A EP1887520B1 (en) 2005-05-30 2006-04-27 Image processing device and object region tracking program
US11/945,760 US8019143B2 (en) 2005-05-30 2007-11-27 Image processing apparatus and computer program product

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-158038 2005-05-30
JP2005158038A JP4515332B2 (ja) 2005-05-30 2005-05-30 画像処理装置及び対象領域追跡プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/945,760 Continuation US8019143B2 (en) 2005-05-30 2007-11-27 Image processing apparatus and computer program product

Publications (1)

Publication Number Publication Date
WO2006129442A1 true WO2006129442A1 (ja) 2006-12-07

Family

ID=37481374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308887 WO2006129442A1 (ja) 2005-05-30 2006-04-27 画像処理装置及び対象領域追跡プログラム

Country Status (4)

Country Link
US (1) US8019143B2 (ja)
EP (1) EP1887520B1 (ja)
JP (1) JP4515332B2 (ja)
WO (1) WO2006129442A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008092393A1 (fr) * 2007-01-25 2008-08-07 Shanghai Yao Wei Industry Co, Ltd Procédé de poursuite de cible mobile et de comptage
WO2012073912A1 (ja) * 2010-11-29 2012-06-07 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4921858B2 (ja) * 2006-06-07 2012-04-25 オリンパス株式会社 画像処理装置および画像処理プログラム
JP4561919B2 (ja) * 2008-04-21 2010-10-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
CN101571812B (zh) * 2008-04-30 2012-08-29 国际商业机器公司 对象动态迁移的可视化方法和装置
CN102471744B (zh) * 2009-07-21 2015-06-10 国立大学法人京都大学 图像处理装置、培养观察装置及图像处理方法
JP5144706B2 (ja) * 2010-04-05 2013-02-13 オリンパス株式会社 画像処理装置
TWI479431B (zh) * 2012-04-03 2015-04-01 Univ Chung Hua 物件追蹤方法
JP6194791B2 (ja) 2013-12-27 2017-09-13 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2019021472A1 (ja) * 2017-07-28 2019-01-31 オリンパス株式会社 細胞特定方法、細胞集団の製造方法及び細胞特定システム
CN109284673B (zh) * 2018-08-07 2022-02-22 北京市商汤科技开发有限公司 对象跟踪方法及装置、电子设备及存储介质
JP7017217B1 (ja) 2021-08-12 2022-02-08 株式会社アジラ 対象追跡装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6325783A (ja) * 1986-07-18 1988-02-03 Sony Corp 移動物体カウント装置
JPH0537853A (ja) * 1991-08-01 1993-02-12 Nippon Telegr & Teleph Corp <Ntt> 動画のカツト自動分割方法
JPH08221548A (ja) * 1995-02-09 1996-08-30 Oki Electric Ind Co Ltd 侵入物体数認識装置
JPH08227462A (ja) * 1995-02-21 1996-09-03 Hitachi Ltd 動画像の変化点検出方法及び装置
JPH09297850A (ja) * 1996-04-30 1997-11-18 Nec Corp 動画像解析装置及び動画像解析方法
JPH1132325A (ja) * 1997-05-14 1999-02-02 Hitachi Denshi Ltd 物体追跡方法および物体追跡監視装置
JP2001052173A (ja) * 1999-08-05 2001-02-23 Matsushita Electric Ind Co Ltd 画像解析装置および画像解析方法
JP2002034776A (ja) 2000-07-19 2002-02-05 Riken Light Metal Ind Co Ltd カーテンボックス等の側部構造
JP2002063577A (ja) * 2000-08-15 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 画像解析システム，画像解析方法および画像解析プログラム記録媒体
JP2002099918A (ja) * 2000-09-12 2002-04-05 Internatl Business Mach Corp <Ibm> 画像処理方法、画像処理システムおよび記録媒体
JP2002342762A (ja) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd 物体追跡方法
JP2003067754A (ja) * 2001-08-28 2003-03-07 Toshiba Corp 画像処理装置、及びこれを用いた目標検出追随装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487112A (en) * 1990-02-20 1996-01-23 Board Of Regents, The University Of Texas System Method and apparatus for time-resolved measurements of lymphocyte function and aggregate structure using computer-automated microscopy
JP3093346B2 (ja) * 1991-08-16 2000-10-03 株式会社東芝 運動物体検出装置
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JPH09168153A (ja) * 1995-12-15 1997-06-24 Matsushita Electric Ind Co Ltd 動き検出方法
JP3552456B2 (ja) * 1997-05-01 2004-08-11 セイコーエプソン株式会社 動物体追跡方法
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
US6785411B1 (en) 1999-08-05 2004-08-31 Matsushita Electric Industrial Co., Ltd. Image analyzing apparatus and image analyzing method
US6599694B2 (en) * 2000-12-18 2003-07-29 Cytokinetics, Inc. Method of characterizing potential therapeutics by determining cell-cell interactions
US20030123703A1 (en) 2001-06-29 2003-07-03 Honeywell International Inc. Method for monitoring a moving object and system regarding same
JP2003250382A (ja) * 2002-02-25 2003-09-09 Matsushita Electric Works Ltd 水棲生物の成育状態監視方法及びその装置
US20040128077A1 (en) * 2002-12-27 2004-07-01 Automated Cell, Inc. Method and apparatus for following cells
GB0315349D0 (en) * 2003-07-01 2003-08-06 Qinetiq Ltd Signal processing with reduced combinatorial complexity

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6325783A (ja) * 1986-07-18 1988-02-03 Sony Corp 移動物体カウント装置
JPH0537853A (ja) * 1991-08-01 1993-02-12 Nippon Telegr & Teleph Corp <Ntt> 動画のカツト自動分割方法
JPH08221548A (ja) * 1995-02-09 1996-08-30 Oki Electric Ind Co Ltd 侵入物体数認識装置
JPH08227462A (ja) * 1995-02-21 1996-09-03 Hitachi Ltd 動画像の変化点検出方法及び装置
JPH09297850A (ja) * 1996-04-30 1997-11-18 Nec Corp 動画像解析装置及び動画像解析方法
JPH1132325A (ja) * 1997-05-14 1999-02-02 Hitachi Denshi Ltd 物体追跡方法および物体追跡監視装置
JP2001052173A (ja) * 1999-08-05 2001-02-23 Matsushita Electric Ind Co Ltd 画像解析装置および画像解析方法
JP2002034776A (ja) 2000-07-19 2002-02-05 Riken Light Metal Ind Co Ltd カーテンボックス等の側部構造
JP2002063577A (ja) * 2000-08-15 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 画像解析システム，画像解析方法および画像解析プログラム記録媒体
JP2002099918A (ja) * 2000-09-12 2002-04-05 Internatl Business Mach Corp <Ibm> 画像処理方法、画像処理システムおよび記録媒体
JP2002342762A (ja) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd 物体追跡方法
JP2003067754A (ja) * 2001-08-28 2003-03-07 Toshiba Corp 画像処理装置、及びこれを用いた目標検出追随装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENG C-L; AGGARWAL J K: "CONFERENCE A : COMPUTER VISION AND CONFERENCE B : PATTERN RECOGNITION SYSTEMS AND APPLICATIONS", vol. I, IEEE COMP. SOC. PRESS, article "PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION. ATLANTIC CITY", pages: 173 - 179
ISHWAR K SETHI; RAMESH JAIN, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 30, no. I, pages 56 - 73
MUBARAK SHAH SHAFIQUE K, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 27, no. 1, pages 51 - 65
See also references of EP1887520A4
VEENMAN C J; REINDERS M J T; BACKER E, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 23, no. 1, pages 54 - 72

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008092393A1 (fr) * 2007-01-25 2008-08-07 Shanghai Yao Wei Industry Co, Ltd Procédé de poursuite de cible mobile et de comptage
WO2012073912A1 (ja) * 2010-11-29 2012-06-07 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
JP2012117844A (ja) * 2010-11-29 2012-06-21 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
US9406118B2 (en) 2010-11-29 2016-08-02 Olympus Corporation Stain image color correcting apparatus, method, and system

Also Published As

Publication number Publication date
US20080260206A1 (en) 2008-10-23
EP1887520A4 (en) 2011-05-18
EP1887520B1 (en) 2013-08-28
JP2006331347A (ja) 2006-12-07
EP1887520A1 (en) 2008-02-13
US8019143B2 (en) 2011-09-13
JP4515332B2 (ja) 2010-07-28

Similar Documents

Publication Publication Date Title
WO2006129442A1 (ja) 画像処理装置及び対象領域追跡プログラム
JP6832504B2 (ja) 物体追跡方法、物体追跡装置およびプログラム
CN106934346B (zh) 一种目标检测性能优化的方法
TWI619080B (zh) 指紋重疊區域面積的計算方法及電子裝置
JP4273359B2 (ja) 年齢推定システム及び年齢推定方法
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
US10586152B2 (en) Determining image forensics using gradient statistics at edges
JP7014161B2 (ja) 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP5113721B2 (ja) メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体
JP6850751B2 (ja) 物体追跡装置、物体追跡方法、及びコンピュータプログラム
CN112241947B (zh) 多视角乳房影像分析方法、系统及非暂态计算机可读取媒体
US10296810B2 (en) Apparatus and method for determining lesion similarity of medical image
US10885636B2 (en) Object segmentation apparatus and method using Gaussian mixture model and total variation
WO2008063604A2 (en) Computer aided tube and tip detection
WO2018030048A1 (ja) 物体追跡方法、物体追跡装置およびプログラム
Martin et al. Object of fixation estimation by joint analysis of gaze and object dynamics
CN110781712A (zh) 一种基于人脸检测与识别的人头空间定位方法
CN111932536B (zh) 病灶标注的验证方法、装置、计算机设备及存储介质
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
JP5144706B2 (ja) 画像処理装置
JP2015099509A (ja) 年齢層判定装置および年齢層判定プログラム
Bouchet et al. Intuitionistic fuzzy sets applied to color image processing.
CN108154521B (zh) 一种基于目标块融合的运动目标检测方法
CN111784702B (zh) 一种针对图像分割质量的评分方法
CN113469053A (zh) 眼动轨迹鉴别方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006732438

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006732438

Country of ref document: EP