WO2022195790A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2022195790A1
WO2022195790A1 PCT/JP2021/010965 JP2021010965W WO2022195790A1 WO 2022195790 A1 WO2022195790 A1 WO 2022195790A1 JP 2021010965 W JP2021010965 W JP 2021010965W WO 2022195790 A1 WO2022195790 A1 WO 2022195790A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
feature amount
feature
image
tracking history
Prior art date
Application number
PCT/JP2021/010965
Other languages
English (en)
French (fr)
Inventor
健太 鈴木
哲太郎 山田
洋志 亀田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to GB2313898.5A priority Critical patent/GB2618757B/en
Priority to PCT/JP2021/010965 priority patent/WO2022195790A1/ja
Priority to JP2023506615A priority patent/JP7274068B2/ja
Publication of WO2022195790A1 publication Critical patent/WO2022195790A1/ja
Priority to US18/227,119 priority patent/US20230410467A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • This disclosure relates to image processing technology.
  • Patent Document 1 discloses a technique for analyzing whether or not objects captured by a plurality of cameras that capture images of different areas are the same object.
  • an object is tracked in the time direction, and the feature amount of the object and the tracking result of the object are recorded.
  • image data is clustered based on the tracking results of each retrieved object, a cluster having the largest number of images is selected from the clustered clusters, and image data within the selected cluster is selected.
  • One feature amount is extracted for each cluster, and identity determination between objects is performed using the extracted feature amount.
  • the present disclosure has been made to solve such problems, and one aspect of the embodiments is to determine identity between objects without using data of an image in which occlusion has occurred.
  • the purpose is to provide technology to perform
  • the image processing apparatus analyzes a first image sequence comprising a plurality of images captured of a first region to determine any one of the first image sequences. detecting a first object appearing in one image and analyzing a second image sequence comprising a plurality of images capturing a second area different from the first area to determine any of the second image sequences; or a detection unit for detecting a second object appearing in one image, a first object feature quantity for tracking the first object, and a second object feature for tracking the second object a feature generator for generating a plurality of first object features by tracking the first object in the first image sequence in the time direction using the first object features; A tracking result including values is output as a first object tracking history, and the second object is tracked in the second image sequence in the temporal direction using the second object feature quantity, and a plurality of a tracking unit for outputting, as a second object tracking history, a result of tracking including the value of the second object feature value of and detecting whether or not the first
  • the image processing apparatus when occlusion occurs, it is possible to determine the identity between objects without using the data of the image in which the occlusion has occurred.
  • FIG. 10 is a diagram showing an example of image data of a person tracked as an object in object tracking processing
  • FIG. 10 is a diagram showing an example of a tracking result of a person tracked as an object in feature amount change detection processing
  • FIG. 4 is a diagram illustrating an example of modeling of an imaging plane of an object
  • FIG. 10 is a diagram showing an example of a tracking result of a person tracked as an object in imaging plane estimation processing; 4 is a flowchart of image recognition processing; 4 is a flowchart of image search processing; It is a figure which shows an example of an image recognition process.
  • FIG. 10 is a diagram showing an example of image data of a person tracked as an object in area W1 of FIG. 9;
  • FIG. 10 is a diagram showing an example of image data of a person tracked as an object in area W2 of FIG. 9;
  • Embodiment 1 An image processing apparatus 100 according to the first embodiment will be described below with reference to FIGS. 1 to 10.
  • FIG. First, the configuration of an image processing system including an image processing apparatus 100 and the configuration of the image processing apparatus 100 will be described with reference to FIG.
  • the image processing system Sys includes multiple cameras 1 and 2, an external device 3, and an image processing apparatus 100 connected to the multiple cameras 1 and 2 and the external device 3. .
  • the image processing apparatus 100 performs image processing on image data captured by a plurality of cameras 1 and 2 connected via a communication network.
  • a plurality of cameras 1 and 2 are installed to image different areas.
  • the term "different” means not identical. Therefore, the expression “different regions” includes not only cases where one region and another region do not overlap at all, but also cases where one region and another region partially overlap.
  • the number of cameras is not limited to two, and may be three or more.
  • time data at which the image was captured is associated with the captured image data.
  • the image processing apparatus 100 is connected to the external device 3 via an interface unit 104 . Examples of the external device 3 include an input/output device for setting search conditions and an external storage.
  • the image processing apparatus 100 includes a communication section 101, an image recognition section 110, an image search section 120, a recording control section 102, a data storage section 103, and an interface section 104.
  • the data storage unit 103 may be provided outside the image processing apparatus 100 .
  • the communication unit 101 receives a first image sequence including a plurality of images transmitted from the camera 1 connected via a network, and outputs the received first image sequence to the image recognition unit 110 and the recording control unit 102. do.
  • the communication unit 101 also receives a second image sequence including a plurality of images transmitted from the camera 2 connected via the network, and transmits the received second image sequence to the image recognition unit 110 and the recording control unit 102 . Output to
  • the image recognition unit 110 performs image recognition processing on the input image sequence. As shown in FIG. 1 , the image recognition unit 110 includes a detection unit 111 , a feature amount generation unit 112 , a tracking unit 113 , a feature amount change detection unit 114 and an imaging plane estimation unit 115 .
  • the detection unit 111 analyzes the image sequence input from the communication unit 101 . That is, the detection unit 111 analyzes the first image sequence transmitted from camera 1 and the second image sequence transmitted from camera 2 . The detection unit 111 detects one or more objects appearing in images included in each image sequence by analyzing each image sequence, and outputs the object detection result to the feature amount generation unit 112 .
  • the object detection result includes, for example, the number of detected objects, the time when the image was captured, the position of the object, the object detection range, the object identification result, and the object detection reliability. When multiple objects are detected, the object detection result includes the position of each object, the detection range of each object, the identification result of each object, and the detection reliability of each object.
  • the position of the object means the position of the object within the angle of view, or the position of the object in the real space coordinate system obtained by combining the camera calibration information and the position of the object within the angle of view.
  • a detection range means a range in which an object exists, and specific examples of the detection range include the outline of the object and a rectangle (bounding box) that includes the object.
  • the feature amount generation unit 112 generates an object feature amount to be used for object tracking from the object detection result input from the detection unit 111 . Based on the position of each object input from the detection unit 111, the feature amount generation unit 112 extracts one or more appearance feature amounts for each object from each image. Examples of appearance feature amounts include feature amounts such as hue, saturation, and brightness in the detection range. Examples of appearance feature quantities are not limited to these examples, and may be other feature quantities such as pixel values in the RGB color space. The feature amount generation unit 112 outputs the extracted appearance feature amount to the tracking unit 113 as an object feature amount together with the position of the object, the detection range, the imaging time, and the detection reliability.
  • the tracking unit 113 tracks each object in the time direction using the object feature amount input from the feature amount generation unit 112, and outputs a tracking history, which is the tracking result, to the feature amount change detection unit 114 as a tracking result.
  • the tracking unit 113 tracks the object using a plurality of frames input from the feature amount generation unit 112 .
  • a frame is a set of object feature amounts output from the feature amount generation unit 112 at one imaging time.
  • a known multi-target tracking technique for example, Multiple Hypothesis Multitarget Tracking
  • the tracking history includes the observed and predicted values of the position, velocity, and range of each object at each imaging time, as well as a unique number (tracking ID) for identifying the tracking history.
  • tracking ID a unique number for identifying the tracking history.
  • Estimates of position, velocity, and range are generated from past frames using known multi-target tracking techniques described above.
  • a set of object feature amounts to which the same tracking ID is assigned as a result of tracking each object in the time direction is defined as an object tracking history.
  • FIG. 3 shows a specific example when the object to be tracked is a person.
  • the tracking unit 113 tracks the objects L1 to L4 detected by the detection unit 111 during times t1 to t4. At this time, occlusion may occur such that the object L3 is partly hidden by the obstacle U.
  • FIG. 4 shows a specific example of the tracking result for FIG.
  • S1-S4 indicate the observed values of the range in which the object was detected between times t1-t
  • P1-P4 indicate the predicted values of the range between times t1-t4.
  • the tracking unit 113 generates a prediction value at a time after the time associated with the past frame from the past frame. For example, the tracking unit 113 generates a predicted value P2 at time t2 from the observed value S1 at time t1, and generates a predicted value P3 at time t3 from the observed value S2 at time t2.
  • predicted values at past times may be considered.
  • the tracking unit 113 may consider the predicted value P1 at time t1 when generating the predicted value P2. In this way, the tracking unit 113 generates a predicted value at a certain time of interest from the frame at the time just before the time of interest. As a modification, the tracking unit 113 may generate a predicted value at a certain time of interest from a frame at a time before the time immediately before the time of interest.
  • the feature amount change detection unit 114 performs feature amount change detection processing for detecting a change in the object feature amount of each object from the object tracking history input from the tracking unit 113 .
  • the feature amount change detection unit 114 outputs the detection result including the presence or absence of change in the object feature amount and the object tracking history described above to the imaging plane estimation unit 115 as the feature amount change detection result.
  • the feature amount change detection unit 114 detects a difference between an observed value and a predicted value at a certain time in the object tracking history input from the tracking unit 113 .
  • the difference between the magnitude of the range observed value S2 and the range predicted value P2 is small.
  • the object L3 is partly hidden by the obstacle U in FIG. It is small compared to the size of S2, which is the observed value of the extent of object L2 not obscured by U.
  • the size of the range indicates the area, width, or height of the detection range.
  • the predicted value P2 of the range is generated from the observed value S1 of the range at t1, so it indicates the same range as the observed value S1 at time t1. Therefore, when comparing the magnitude of the observed value S2 of the range at time t2 and the magnitude of the predicted value P2 of the range at time t2, the difference is small. If this difference is equal to or less than a predetermined threshold value, the detection result is output as "no change in object feature amount".
  • the range prediction value P3 is generated from the range observation value S2 at time t2 when the object is not hidden by the obstacle.
  • the size of the range is shown to be comparable to the observed value S2. Therefore, when comparing the magnitude of the observed value S3 of the range at time t3 and the magnitude of the predicted value P3 of the range at time t3, the difference becomes large. When this difference exceeds the predetermined threshold value, the detection result is output as "there is an object feature amount change".
  • the presence or absence of feature change is detected using the latest observed value determined to have no change in feature, instead of the observed value S3 at time t3 when the feature was changed.
  • a predicted value P4 of the range at time t4 is generated from the observed value S2 of the range at time t2. Since the range prediction value P4 is generated from the range observation value S2 at t2 when the object is not hidden by the obstacle U, it indicates a range size approximately equal to the range observation value S2 at time t2. Therefore, when comparing the magnitude of the observed value S4 of the range at time t4 and the magnitude of the predicted value P4 of the range at time t4, the difference is small. In this case, the detection result is output as "no change in object feature amount".
  • the size of the range of the feature amount has been described here, other parameters, such as the appearance feature amount, may be used when detecting changes in the object feature amount. For example, when hue is used, it is possible to determine the presence or absence of occlusion by detecting the temporal increase or decrease in the number of pixels of a certain color.
  • the imaging plane estimation unit 115 performs imaging plane estimation processing for estimating the imaging plane from the feature amount change detection result input from the feature amount change detection unit 114 .
  • the imaging plane estimation unit 115 estimates the imaging plane of each object from the velocity of each object included in the object tracking history.
  • the imaging plane estimating unit 115 outputs to the recording control unit 102 an imaging plane estimation result including the estimation result of the imaging plane and the feature amount change detection result described above.
  • FIG. 5 is a diagram for explaining an example of modeling the imaging surface of an object. Although the description is based on an example in which the target object is modeled as a cylinder, a specific example of modeling is not limited to a cylinder, and may be a polygon or a sphere.
  • a reference plane Y11 relating to the imaging plane is set for the model Y10. As shown in FIG. 5, the reference plane Y11 is one side of the model Y10 indicated by the end of the arrow Y1.
  • arrows Y2 to Y4 are set at every 90 degrees clockwise from the arrow Y1 centering on the model cross section center Y0, and reference planes Y22 to Y44 indicated by the ends of the arrows Y2 to Y4 are set.
  • each of the reference planes Y22 to Y44 is one side of the model Y10 indicated by the ends of the arrows Y2 to Y4.
  • the imaging plane estimation unit 115 assigns one of the reference planes Y11 to Y44 at each time as the imaging plane of each object. Note that the allocation between the speed and the imaging plane is determined in advance.
  • FIG. 6 shows an example of the tracking result of a person tracked as an object.
  • A1 to A9 indicate temporal changes in positions of the same object in the image area F1.
  • V2 to V9 indicate the velocity of each object generated by the tracking unit 113.
  • velocity is the amount of change in position per unit time, and is a two-dimensional or three-dimensional vector.
  • the front of the object is assumed to be a reference plane Y11.
  • the velocities V2-V4 of the objects A2-A4 are from left to right in the image area F1.
  • the target object is the model Y10 and the imaging plane is the reference plane Y22 based on the assignment set in advance.
  • the velocity V5 of the object A5 is from top to bottom in the image area F1.
  • the target object is the model Y10 and the imaging plane is the reference plane Y11.
  • the velocities V6-V9 in the objects A6-A9 are from right to left in the image area F1. In this case, it is determined that the target object is the model Y10 and the imaging plane is the reference plane Y44 based on the assignment set in advance.
  • the imaging plane is the reference plane Y33.
  • the recording control unit 102 associates the imaging plane estimation result input from the imaging plane estimation unit 115 with the image data of the image sequence input from the communication unit 101 and stores them in the data storage unit 103 .
  • the image search unit 120 receives search conditions set by the external device 3 via the interface unit 104 and searches for object tracking histories that match the set search conditions. As shown in FIG. 1, the image searching unit 120 includes a searching unit 121, a tracking history extracting unit 122, a feature amount extracting unit 123, and a determining unit .
  • the search unit 121 accesses the data storage unit 103 via the recording control unit 102 and searches for object tracking histories that match the search conditions.
  • the search unit 121 extracts a plurality of object tracking history candidates that match the set search conditions. This extraction is performed by designating one or more conditions such as the range of imaging time, the camera with which the object was imaged, and the like.
  • the search unit 121 outputs object tracking history candidates that match the search conditions to the tracking history extraction unit 122 .
  • the tracking history extracting unit 122 extracts object feature values from a plurality of object feature values included in the object tracking history candidates input from the searching unit 121, excluding data judged to have changed in object feature values. Extract values. That is, the tracking history extracting unit 122 extracts the value of the object feature amount from the object tracking history candidates for the image determined to have no change in the object feature amount. Further, the tracking history extracting unit 122 creates a set of objects having the same imaging plane for the data determined as “no change in object feature amount”, and extracts the tracking history by extracting the created set and the object tracking history. As a result, it is output to the feature quantity extraction unit 123 .
  • the feature amount extraction unit 123 Based on the tracking history extraction result input from the tracking history extraction unit 122, the feature amount extraction unit 123 extracts image data including an object corresponding to the tracking history extraction result from the data storage unit 103 via the recording control unit 102. Extract.
  • the feature amount extraction unit 123 generates one matching feature amount for the set based on the image feature amount obtained from the data of a plurality of images corresponding to the set of objects having the same imaging surface, and sends it to the determination unit 124. Output. Therefore, for each object tracking history, a maximum of four matching features, which is the same number as the imaging planes of the model, is output to the determination unit 124 .
  • the image feature amount a feature amount used in a known identity determination technique between objects can be used. Examples include histograms related to color information and shape information. Further, when generating the matching feature amount, the matching feature amount may be generated by performing processing such as averaging on the image feature amounts included in the set.
  • the determination unit 124 compares the object tracking histories of the same imaging surface between different imaging areas among the matching feature amounts input from the feature amount extraction unit 123, and determines whether the object tracking histories are the same. make a judgment.
  • identity determination between objects a known identity determination technique between objects, such as histogram intersection, can be used.
  • machine learning for example, deep learning or support vector machine
  • the determination unit 124 outputs determination results to the external device 3 via the interface unit 104 .
  • FIGS. 2A and 2B are diagrams showing hardware configuration examples of the image processing apparatus 100.
  • FIG. As an example, the functions of the communication unit 101, the image recognition unit 110, the recording control unit 102, the image search unit 120, and the interface unit 104 in the image processing apparatus 100 are implemented by a processing circuit 100a as shown in FIG. 2A. be done. That is, the image processing apparatus 100 includes a processing circuit 100a for realizing each function described above.
  • the functions of the communication unit 101, the image recognition unit 110, the recording control unit 102, the image search unit 120, and the interface unit 104 in the image processing apparatus 100 are implemented by a processor 100b as shown in FIG. 2B. may be implemented by reading and executing a program stored in the memory 100c.
  • FIG. 7 is a flowchart showing the operation of image recognition processing.
  • the communication unit 101 receives image sequences captured by a plurality of cameras 1 and 2 connected via a communication network (step ST1), and outputs the received image sequences to the detection unit 111 of the image recognition unit 110.
  • the detection unit 111 attempts to detect objects that appear in the input image sequence (step ST2).
  • the detection unit 111 determines whether or not an object is detected (step ST3). If no object is detected (step ST3: No), the process returns to step ST1. On the other hand, if an object is detected (step ST4: Yes), the process proceeds to step ST4, and the feature amount generation unit 112 generates object information such as the imaging time, appearance feature amount, position, detection range, etc. of the detected object.
  • a feature amount is generated (step ST4), and the object feature amount is output to the tracking unit 113.
  • the tracking unit 113 generates an object feature amount predicted at a time later than the time associated with the past frame from the object feature amount of the past frame (step ST5). For example, from the range of objects observed at a past time, the range of objects predicted at the time immediately following the past time is generated. The tracking unit 113 determines whether the generated predicted value of the object and the object feature amount observed at the time of the predicted value are the same (step ST6). If it is determined that they are the same in step ST6, the tracking unit 113 gives the observed object feature amount a tracking ID that has been assigned to the past frame determined to be the same (step ST7).
  • the tracking unit 113 assigns a unique tracking ID that does not overlap with past tracking IDs to the observed object feature amount (step ST7). After assigning the tracking ID, the tracking unit 113 outputs the tracking result including the object tracking history to the feature amount change detection unit 114 .
  • the feature amount change detection unit 114 detects whether or not there is a change in the object feature amount from the object tracking history input from the tracking unit 113 (step ST8), and sends the detection result to the imaging plane estimation unit 115 as a feature amount change detection result. Output.
  • the imaging plane estimation unit 115 estimates the imaging plane from the feature amount change detection result input from the feature amount change detection unit 114 (step ST9).
  • the feature amount generation unit 112, the tracking unit 113, the feature amount change detection unit 114, and the imaging plane estimation unit 115 determine whether or not all the objects input from the detection unit 111 have been processed (step ST10). ). If all objects have not been processed (step ST10: No), the process returns to step ST4. On the other hand, when all objects have been processed (step ST10: Yes), the imaging plane estimation unit 115 outputs the imaging plane estimation result including the object tracking history to the recording control unit 102 (step ST11).
  • the recording control unit 102 associates the imaging plane estimation result input from the imaging plane estimation unit 115 with the image data of the image sequence input from the communication unit 101, and stores them in the data storage unit 103 (step ST12). End the process.
  • FIG. 8 is a flow chart showing the operation of image search processing.
  • the search unit 121 selects a plurality of object tracking history candidates that match the set search conditions via the recording control unit 102. It extracts from the data storage unit 103 (step ST22) and outputs the extracted object tracking history candidates to the tracking history extraction unit 122.
  • FIG. 1 When search conditions are set from the external device 3 via the interface unit 104 (step ST21), the search unit 121 selects a plurality of object tracking history candidates that match the set search conditions via the recording control unit 102. It extracts from the data storage unit 103 (step ST22) and outputs the extracted object tracking history candidates to the tracking history extraction unit 122.
  • the tracking history extracting unit 122 extracts a plurality of object feature values from the values of the plurality of object feature values included in the object tracking history input from the search unit 121, excluding the data determined as “having a feature value change”. A value is extracted (step ST23). That is, the tracking history extracting unit 122 extracts the value of the object feature amount from the object tracking history for the image determined to have no change in the object feature amount. Further, the tracking history extracting unit 122 creates a set of objects having the same imaging surface for the data determined as "no change in feature amount" (step ST24), and compares the created set and the object tracking history. is output to the feature amount extraction unit 123 as a tracking history extraction result.
  • the feature amount extraction unit 123 Based on the tracking history extraction result input from the tracking history extraction unit 122, the feature amount extraction unit 123 extracts image data including an object corresponding to the tracking history extraction result from the data storage unit 103 via the recording control unit 102. Extract (step ST25). The feature amount extraction unit 123 generates one matching feature amount for the set based on image feature amounts obtained from data of a plurality of images corresponding to a set of objects having the same imaging surface (step ST26).
  • the determination unit 124 compares the object tracking histories of the same imaging surface between different imaging areas by comparing the matching feature amounts extracted in step ST26. Accordingly, the determination unit 124 determines whether or not the objects captured in different imaging areas are the same (step ST27). The determination unit 124 determines whether or not all matching feature values input from the feature value extraction unit 123 have been processed (step ST28). If the process has not been performed for all matching feature amounts (step ST28: No), the flowchart returns to the process of step ST27. On the other hand, if the processing has been performed for all matching feature amounts (step ST28: Yes), the determination unit 124 outputs the determination result to the external device 3 via the interface unit 104 (step ST29), and the processing is performed. finish.
  • FIG. 9 is a diagram showing an example of image recognition processing of the image processing apparatus 100 according to the first embodiment.
  • the tracking unit 113 tracks objects B1 to B4 having the same features in the image sequence obtained by imaging the area W1, and generates an object tracking history R1.
  • the tracking unit 113 tracks the objects C1 to C3 in the image sequence capturing the area W2 to generate an object tracking history R2.
  • the numbers attached after B or C in FIG. 9 indicate that the object was imaged at different times.
  • the tracking history includes object positions, object velocities, observed values and predicted values regarding object ranges, tracking IDs, feature amount change detection results, and imaging plane estimation results at each imaging time.
  • FIG. 10A and 10B are diagrams showing an example of image data including a person tracked as an object in the image recognition result tracking process of the image processing apparatus 100 corresponding to FIG. 10A shows an example of image data of object B in image area G1 captured by camera 1, and FIG. 10B shows an example of image data of object C in image area G2 captured by camera 2.
  • FIG. 10A in the image area G1 of the camera 1, B1 indicates that the back surface of the object B is imaged, and B2 to B3 indicate that the left side surface of the object B is imaged.
  • C1 and C2 indicate that the front of the object C is captured, and C3 indicates that the left side of the object C is captured.
  • an obstacle U may partially hide the object B3.
  • the imaging surface may change depending on the relative relationship between the camera installation position and the moving direction of the person, and the captured content may differ. Therefore, when comparing using the data of each one image (for example, B2 and C2) among the objects in FIGS. 10A and 10B, the accuracy of identity determination in step ST27 is lowered. Further, when the feature amount is extracted from the cluster having the largest number of images included in the cluster from the cluster composed of a plurality of images associated with the object tracking history and the identity determination is performed, B2, B3 and B4 will extract the feature amount from C1 and C2 for the camera 2 .
  • the accuracy of determining the identity between the object tracking history R1 in camera 1 and the object tracking history R2 in camera 2 decreases.
  • the accuracy of identity determination also decreases.
  • the image search unit 120 defines, for example, four imaging planes (reference planes) for each object included in G1 in FIG. to extract Specifically, one feature amount is extracted from B4 and B2 having the same imaging surface, and one feature amount is extracted from B1. Similarly, for each object included in G2 in FIG. 10, one feature amount is extracted from C1 and C2 having the same imaging plane, and one feature amount is extracted from C3.
  • the determination unit 124 determines identity by comparing the feature amount extracted from B4 and B2 and the feature amount extracted from C3, which have the same imaging surface in different imaging regions. As a result, it is possible to suppress a decrease in identity determination accuracy.
  • the image processing device (100) of appendix 1 analyzes a first image sequence comprising a plurality of images captured of a first region (W1) to obtain a first image appearing in any one image of the first image sequence. Detecting one object (B1) and analyzing a second image sequence comprising a plurality of images capturing a second area (W2) different from the first area to determine which of the second image sequences a detection unit (111) for detecting a second object (C1) appearing in one image; a feature generation unit (112) for generating an object feature of , and tracking the first object in the first image sequence using the first object feature in the time direction to obtain a plurality of first objects
  • the tracking result including the value of the feature amount (for example, the observed value of the size of the first object) is output as the first object tracking history (R1), and the second object is output as the second object feature amount.
  • a feature amount change detection unit (114) for outputting and detecting presence/absence of a change in the second object feature amount from the second object tracking history and outputting the detection result as a second feature amount change detection result;
  • the value of the first object feature is extracted from the first object tracking history for the images (images B1, B2, and B4) determined to have no change in the first object feature, and extracted
  • the value of the first object feature amount and the first object tracking history are output as the first tracking history extraction result
  • the images determined to have no change in the second object feature amount (images C1 to C3 ) is extracted from the second object tracking history, and the extracted second object feature value and the second object tracking history are used as a second tracking history extraction result
  • a tracking history extraction unit (122) to output, the first tracking history extraction result and the second tracking history extraction result, the first object and a determination unit (124) for determining whether the object and the second object are the same.
  • the image processing device of appendix 2 is the image processing device of appendix 1, which estimates the imaging plane of the first object from the first object tracking history, and converts the estimated imaging plane to the first imaging plane (B2 and B4 image plane), estimates the image plane of the second object from the second object tracking history, and outputs the estimated image plane as the second image plane (C3 image plane).
  • An imaging plane estimating unit (115) extracts a first matching feature amount for a first imaging plane of a first object, and extracts a second matching feature amount for a second imaging plane of a second object. and a feature quantity extraction unit (123) for extracting the first feature quantity and the second Determining whether the first object and the second object are the same using the matching feature amount of 2,
  • the image processing apparatus according to claim 1.
  • the image processing device of Supplementary Note 3 is the image processing device of Supplementary Note 1 or 2, wherein the first object tracking history is an observed value ( For example, S3), and the first object at the time of interest predicted based on the observed value (for example, S2) of the first object feature observed at a past time (for example, t2) before the time of interest including the predicted value (for example, P3) of the feature amount, and the feature amount change detection unit detects the first object feature amount based on the observed value (S3) and the predicted value (P3) of the first object feature amount at the time of interest Detects whether or not there is a change in
  • S3 observed value
  • P3 predicted value
  • the image processing device is the image processing device according to any one of appendices 1 to 3, wherein the first object tracking history includes the velocity of the first object, and the imaging plane estimator detects the velocity of the first object. A first imaging plane is estimated from the velocity.
  • the image processing apparatus according to appendix 5 is the image processing apparatus according to any one of appendices 1 to 4, wherein the feature amount extraction unit extracts data of a plurality of images corresponding to a set of first objects having the same imaging surface. generates a first matching feature for the set based on the image feature obtained from .
  • the image processing method of appendix 6 is an image processing method performed by an image processing device, in which a detection unit (111) analyzes a first image sequence including a plurality of images obtained by imaging a first region, detecting a first object appearing in any one image of the one image sequence and analyzing a second image sequence comprising a plurality of images capturing a second region different from the first region; a step (ST2) of detecting a second object appearing in any one of the image sequences of 2, and a feature generation unit (112) generating a first object feature for tracking the first object; and a step of generating a second object feature quantity for tracking the second object (ST4); tracking in the sequence in the time direction, outputting the tracking result including the values of the plurality of first object feature values as the first object tracking history, and tracking the second object using the second object feature value; (ST5 to ST7) of tracking in the second image sequence in the time direction and outputting the tracking result including the values of the plurality of second object feature quantities as a second object
  • a value of a first object feature amount is extracted from a first object tracking history for an image in which it is determined that there is no change in one object feature amount, and the extracted first object feature amount value and the first outputting an object tracking history as a first tracking history extraction result, and extracting, from the second object tracking history, the value of the second object feature amount for an image determined to have no change in the second object feature amount;
  • the image processing device can be used in an image processing system that monitors objects.
  • 1 camera, 2 camera, 3 external device 100 image processing device, 100a processing circuit, 100b processor, 100c memory, 101 communication unit, 102 recording control unit, 103 data storage unit, 104 interface unit, 110 image recognition unit, 111 detection section, 112 feature amount generation section, 113 tracking section, 114 feature amount change detection section, 115 imaging plane estimation section, 120 image search section, 121 search section, 122 tracking history extraction section, 123 feature amount extraction section, 124 determination section, Sys image processing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置（１００）は、第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出する検出部（１１１）と、第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成する特徴量生成部（１１２）と、第１のオブジェクトを第１のオブジェクト特徴量を用いて第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、第２のオブジェクトを第２のオブジェクト特徴量を用いて第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力する追跡部（１１３）と、第１のオブジェクト追跡履歴から第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、第２のオブジェクト追跡履歴から第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力する特徴量変化検出部（１１４）と、第１のオブジェクト特徴量の変化がないと判定された画像について第１のオブジェクト特徴量の値を第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、第２のオブジェクト特徴量の変化がないと判定された画像について第２のオブジェクト特徴量の値を第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力する追跡履歴抽出部（１２２）と、第１の追跡履歴抽出結果及び第２の追跡履歴抽出結果を用いて、第１のオブジェクト及び第２のオブジェクトが同一か否かを判定する判定部（１２４）と、を備える。

Description

画像処理装置及び画像処理方法
　本開示は、画像処理技術に関する。
　以下の特許文献１には、異なる領域を撮像する複数のカメラにより撮像されたオブジェクトが同一のオブジェクトであるか解析を行う技術が開示されている。特許文献１の技術によれば、オブジェクトが時間方向に追跡され、オブジェクトの特徴量と、オブジェクトの追跡結果とが記録される。オブジェクトの検索時には、検索された各オブジェクトの追跡結果に基づき画像データのクラスタリングが行われ、クラスタリングされたクラスタのうち画像数が最大のクラスタが選択され、選択されたクラスタ内の画像データから選択されたクラスタに対して１つの特徴量が抽出され、抽出された特徴量を用いてオブジェクト間の同一性の判定が行われる。
国際公開第２０１９／０３８８２１号
　しかしながら、特許文献１に開示された技術によれば、画像数が最大のクラスタが選択されるので、選択されるクラスタの中にオクルージョンが発生した画像が含まれる場合があるという問題点があった。
　本開示はこのような課題を解決するためになされたものであり、実施形態の一側面は、オクルージョンが発生した場合に、オクルージョンが発生した画像のデータを用いないでオブジェクト間の同一性の判定を行う技術を提供することを目的とする。
　実施形態による画像処理装置の一側面によれば、画像処理装置は、第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、前記第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、前記第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、前記第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出する検出部と、前記第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び前記第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成する特徴量生成部と、前記第１のオブジェクトを前記第１のオブジェクト特徴量を用いて前記第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、前記第２のオブジェクトを前記第２のオブジェクト特徴量を用いて前記第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力する追跡部と、前記第１のオブジェクト追跡履歴から前記第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力する特徴量変化検出部と、前記第１のオブジェクト特徴量の変化がないと判定された画像について前記第１のオブジェクト特徴量の値を前記第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と前記第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、前記第２のオブジェクト特徴量の変化がないと判定された画像について前記第２のオブジェクト特徴量の値を前記第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と前記第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力する追跡履歴抽出部と、前記第１の追跡履歴抽出結果及び前記第２の追跡履歴抽出結果を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定する判定部と、を備える。
　実施形態による画像処理装置の一側面によれば、オクルージョンが発生した場合に、オクルージョンが発生した画像のデータを用いないでオブジェクト間の同一性の判定を行うことができる。
画像処理システム及び画像処理装置の構成を示すブロック図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 オブジェクトの追跡処理において、オブジェクトとして追跡された人物の画像データ例を示す図である。 特徴量変化検出処理において、オブジェクトとして追跡された人物の追跡結果例を示す図である。 オブジェクトの撮像面のモデル化の例を説明する図である。 撮像面推定処理において、オブジェクトとして追跡された人物の追跡結果例を示す図である。 画像認識処理のフローチャートである。 画像探索処理のフローチャートである。 画像認識処理の一例を示す図である。 図９の領域Ｗ１においてオブジェクトとして追跡された人物の画像データ例を示す図である。 図９の領域Ｗ２においてオブジェクトとして追跡された人物の画像データ例を示す図である。
　以下、図面を参照しつつ、本開示における種々の実施形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一又は類似の構成又は機能を有するものとする。
実施の形態１．
　以下、図１から図１０を参照して、実施の形態１に係る画像処理装置１００について説明する。まず、図１を参照して、画像処理装置１００を含む画像処理システムの構成、及び画像処理装置１００の構成について説明する。
　図１に示されているように、画像処理システムＳｙｓは、複数のカメラ１及び２と、外部機器３と、複数のカメラ１及び２並びに外部機器３に接続された画像処理装置１００とを備える。画像処理装置１００は、通信ネットワーク経由で接続される複数のカメラ１及び２により撮像された画像データに対して画像処理を行う。複数のカメラ１及び２は、異なる領域を撮像するように設置されている。ここで、「異なる」との用語は同一でないことを意味する。したがって、「異なる領域」との表現には、ある領域と別の領域とが全く重なっていない場合の他、ある領域と別の領域とが部分的に重なっている場合が含まれる。カメラの個数は２つに限られず、３つ以上であってもよい。また、撮像された画像データには、撮像された時刻データが関連付けられる。また、画像処理装置１００は、外部機器３とインタフェース部１０４を介して接続される。外部機器３の例には、検索条件を設定するための入出力装置、及び外部ストレージが含まれる。
　図１に示されているように、一例として、画像処理装置１００は、通信部１０１、画像認識部１１０、画像探索部１２０、記録制御部１０２、データ記憶部１０３、及びインタフェース部１０４を備える。変形例として、データ記憶部１０３は、画像処理装置１００の外部に備えられていてもよい。
（通信部）
　通信部１０１は、ネットワーク経由で接続されるカメラ１から送信される複数の画像を備える第１の画像シーケンスを受信し、受信した第１の画像シーケンスを画像認識部１１０及び記録制御部１０２へ出力する。また、通信部１０１は、ネットワーク経由で接続されるカメラ２から送信される複数の画像を備える第２の画像シーケンスを受信し、受信した第２の画像シーケンスを画像認識部１１０及び記録制御部１０２へ出力する。
（画像認識部）
　画像認識部１１０は、入力された画像シーケンスに対して画像認識処理を行う。図１に示されているように、画像認識部１１０は、検出部１１１、特徴量生成部１１２、追跡部１１３、特徴量変化検出部１１４、及び撮像面推定部１１５を備える。
（検出部）
　検出部１１１は、通信部１０１から入力された画像シーケンスを解析する。すなわち、検出部１１１は、カメラ１から送信される第１の画像シーケンス、及びカメラ２から送信される第２の画像シーケンスを解析する。検出部１１１は、各画像シーケンスの解析により各画像シーケンスに含まれる画像に現れる１つ以上のオブジェクトを検出して、オブジェクト検出結果を特徴量生成部１１２へ出力する。オブジェクト検出結果には、例えば、検出されたオブジェクトの数、画像が撮像された時刻、オブジェクトの位置、オブジェクトの検出範囲、オブジェクトの識別結果、及びオブジェクトの検出信頼度が含まれる。複数のオブジェクトが検出された場合、オブジェクト検出結果には、各オブジェクトの位置、各オブジェクトの検出範囲、各オブジェクトの識別結果、及び各オブジェクトの検出信頼度が含まれる。ここで、オブジェクトの位置とは、オブジェクトの画角内における位置、又はカメラキャリブレーション情報とオブジェクトの画角内位置とを組み合わせて得られるオブジェクトの実空間座標系における位置を意味する。また、検出範囲とはオブジェクトが存在する範囲を意味し、検出範囲の具体例には、オブジェクトの輪郭、及びオブジェクトを内包する長方形（バウンディングボックス）が含まれる。
（特徴量生成部）
　特徴量生成部１１２は、検出部１１１から入力されたオブジェクト検出結果から、オブジェクトの追跡に用いるためのオブジェクト特徴量を生成する。検出部１１１から入力された各オブジェクトの位置に基づき、特徴量生成部１１２は、各オブジェクトについて１つ以上の外見特徴量を各画像から抽出する。外見特徴量の例には、検出範囲における色相、彩度、明度等の特徴量が含まれる。外見特徴量の例は、これらの例に限定されず、ＲＧＢ色空間における画素値等の他の特徴量であってもよい。特徴量生成部１１２は、抽出した外見特徴量を、オブジェクトの位置、検出範囲、撮像時刻及び検出信頼度とともに、オブジェクト特徴量として追跡部１１３に出力する。
（追跡部）
　追跡部１１３は、特徴量生成部１１２から入力されるオブジェクト特徴量を用いて各オブジェクトを時間方向に追跡し、追跡の結果である追跡履歴を追跡結果として特徴量変化検出部１１４へ出力する。追跡部１１３は、オブジェクトの時間方向への追跡を行うため、特徴量生成部１１２から入力される複数のフレームを用いてオブジェクトの追跡を行う。ここで、フレームとは、１撮像時刻における特徴量生成部１１２から出力されるオブジェクト特徴量の集合である。なお、この追跡には、公知の多目標追跡技術（例えば、Multiple　Hypothesis　Multitarget　Tracking）を用いることができる。
　追跡履歴には、各オブジェクトの各撮像時刻における位置、速度、範囲に関する観測値及び予測値、並びに追跡履歴を特定するための一意な番号（追跡ＩＤ）が含まれる。位置、速度、及び範囲の予測値については、過去のフレームから、前述の公知の多目標追跡技術を用いて生成される。ここで、各オブジェクトを時間方向に追跡した結果同一の追跡ＩＤが付与されたオブジェクト特徴量の集合を、オブジェクト追跡履歴と定義する。
　図３は、追跡対象のオブジェクトが人物の場合の具体例を示す。図３の例において、追跡部１１３は、時刻ｔ１～ｔ４の間に、検出部１１１により検出されたオブジェクトＬ１～Ｌ４を追跡する。この際、障害物ＵによってオブジェクトＬ３の一部が隠れているように、オクルージョンが発生する場合がある。
　図４は、図３に対する追跡結果の具体例を示す。図４の例において、Ｓ１～Ｓ４は、時刻ｔ１～ｔ４の間にオブジェクトが検出された範囲の観測値を示しており、Ｐ１～Ｐ４は時刻ｔ１～ｔ４における範囲の予測値を示している。追跡部１１３は、過去のフレームから、過去のフレームに関連付けられた時刻よりも後の時刻における予測値を生成する。例えば、追跡部１１３は、時刻ｔ１における観測値Ｓ１から時刻ｔ２における予測値Ｐ２を生成し、時刻ｔ２における観測値Ｓ２から時刻ｔ３における予測値Ｐ３を生成する。予測値を生成する際、過去の時刻における予測値が考慮されてもよい。例えば、追跡部１１３は、予測値Ｐ２を生成する際、時刻ｔ１における予測値Ｐ１を考慮してもよい。このように、追跡部１１３は、ある関心時刻における予測値を、その関心時刻の直前の時刻のフレームから生成する。変形例として、追跡部１１３は、ある関心時刻における予測値を、その関心時刻の直前の時刻より前の時刻のフレームから生成してもよい。
（特徴量変化検出部）
　特徴量変化検出部１１４は、追跡部１１３から入力されるオブジェクト追跡履歴から各オブジェクトのオブジェクト特徴量の変化を検出する特徴量変化検出処理を行う。特徴量変化検出部１１４は、オブジェクト特徴量の変化の有無を含む検出結果と前述のオブジェクト追跡履歴とを特徴量変化検出結果として撮像面推定部１１５へ出力する。特徴量変化検出部１１４は、追跡部１１３から入力されるオブジェクト追跡履歴のうち、ある時刻における観測値と予測値の差異を検出する。
　図４の例において、時刻ｔ２においては、範囲の観測値Ｓ２の大きさと範囲の予測値Ｐ２の大きさとの間の差は小さい。一方、時刻ｔ３においては、図３における障害物ＵによってオブジェクトＬ３の一部が隠れているため、範囲の観測値Ｓ３の大きさは、障害物Ｕによって隠れていない部分のみが観測され、障害物Ｕによって隠れていないオブジェクトＬ２の範囲の観測値であるＳ２の大きさと比較すると小さくなる。ここで、範囲の大きさとは検出範囲の面積、幅、又は高さを示す。
　時刻ｔ２の場合、範囲の予測値Ｐ２は、ｔ１における範囲の観測値Ｓ１から生成されるため、時刻ｔ１における観測値Ｓ１と同程度の範囲を示す。そのため、時刻ｔ２における範囲の観測値Ｓ２の大きさと時刻ｔ２における範囲の予測値Ｐ２の大きさとを比較すると、差は小さい。この差が予め決められたしきい値以下の場合、「オブジェクト特徴量変化無し」として検出結果を出力する。
　一方、障害物Ｕによってオブジェクトの一部が隠れている時刻ｔ３の場合、範囲の予測値Ｐ３は、オブジェクトが障害物によって隠れていないｔ２における範囲の観測値Ｓ２から生成されるため、時刻ｔ２における観測値Ｓ２と同程度の範囲の大きさを示す。そのため、時刻ｔ３における範囲の観測値Ｓ３の大きさと時刻ｔ３における範囲の予測値Ｐ３の大きさとを比較すると、差が大きくなる。この差が、その予め決められたしきい値を超えた場合に、「オブジェクト特徴量変化有り」として検出結果を出力する。
　時刻ｔ４においては、特徴量変化有となった時刻ｔ３の観測値Ｓ３ではなく、特徴量変化無しである判定された最新の観測値を使用して特徴量変化有無を検出する。具体的には、時刻ｔ２における範囲の観測値Ｓ２から、時刻ｔ４における範囲の予測値Ｐ４を生成する。範囲の予測値Ｐ４は、オブジェクトが障害物Ｕによって隠れていないｔ２における範囲の観測値Ｓ２から生成されるため、時刻ｔ２における観測値Ｓ２と同程度の範囲の大きさを示す。そのため、時刻ｔ４における範囲の観測値Ｓ４の大きさと時刻ｔ４における範囲の予測値Ｐ４の大きさとを比較すると、差は小さい。この場合、「オブジェクト特徴量変化無し」として検出結果を出力する。
　これによって、一時的に障害物Ｕによってオクルージョンが発生した時刻ｔ３のみを「オブジェクト特徴量変化有り」として検出することができる。なお、ここでは特徴量のうち範囲の大きさを用いて説明したが、オブジェクト特徴量の変化の検出の際に、他のパラメータ、例えば外見特徴量が用いられてもよい。例えば、色相を用いる場合、ある色の画素数の経時的な増減を検出することによりオクルージョンの発生の有無を判断できる。
（撮像面推定部）
　撮像面推定部１１５は、特徴量変化検出部１１４から入力される特徴量変化検出結果から撮像面を推定する撮像面推定処理を行う。撮像面推定部１１５は、オブジェクト追跡履歴に含まれる各オブジェクトの速度から各オブジェクトの撮像面を推定する。撮像面推定部１１５は、撮像面の推定結果と前述の特徴量変化検出結果とを含む撮像面推定結果を記録制御部１０２へ出力する。
　図５はオブジェクトの撮像面のモデル化の例を説明するための図である。なお、対象オブジェクトを円柱としてモデル化する例に即して説明をするが、モデル化の具体例は、円柱に限られず、多角形又は球であってもよい。図５において、モデルＹ１０に対して撮像面に関する基準面Ｙ１１を設定する。図５に示されているように、基準面Ｙ１１は、矢印Ｙ１の終端が指示するモデルＹ１０の一側面である。また、モデル断面中心Ｙ０を中心として矢印Ｙ１から時計回りに９０度ごとに矢印Ｙ２～Ｙ４を設定し、矢印Ｙ２～Ｙ４の終端が指示する基準面Ｙ２２～Ｙ４４を設定する。なお、先と同様に、基準面Ｙ２２～Ｙ４４の各々は、矢印Ｙ２～Ｙ４の終端が指示するモデルＹ１０の一側面である。撮像面推定部１１５は、各オブジェクトの撮像面として、各時刻において基準面Ｙ１１～Ｙ４４の何れか１つを割り当てる。なお、速度と撮像面との割り当ては事前に決定しておく。
　図６はオブジェクトとして追跡された人物の追跡結果例を示す。図６において、Ａ１～Ａ９は同一オブジェクトの画像領域Ｆ１における位置の時間変化を示している。また、Ｖ２～Ｖ９は追跡部１１３において生成される、各オブジェクトの速度を示している。ここで、速度とは位置の単位時間当たりの変化量であり、２次元又は３次元のベクトルである。また、モデルＹ１０において、オブジェクト正面を基準面Ｙ１１とする。
　図６において、オブジェクトＡ２～Ａ４における速度Ｖ２～Ｖ４は画像領域Ｆ１において左から右へと向かっている。この場合、事前に設定された割当てにより対象オブジェクトはモデルＹ１０において、撮像面は基準面Ｙ２２であると判定する。次に、オブジェクトＡ５における速度Ｖ５は画像領域Ｆ１において上から下へと向かっている。事前に設定された割当てにより対象オブジェクトはモデルＹ１０において、撮像面は基準面Ｙ１１であると判定する。次に、オブジェクトＡ６～Ａ９における速度Ｖ６～Ｖ９は画像領域Ｆ１において右から左へと向かっている。この場合、事前に設定された割当てにより対象オブジェクトはモデルＹ１０において、撮像面は基準面Ｙ４４であると判定する。同様に、画像領域において下から上へ向かうオブジェクト（図示しない）については、撮像面は基準面Ｙ３３であると判定する。このように、画面内の速度の向きとモデルＹ１０における基準面との関係を事前に定義しておくことにより、各オブジェクトの撮像面を推定することができる。
（記録制御部）
　記録制御部１０２は、撮像面推定部１１５から入力される撮像面推定結果と、通信部１０１から入力される画像シーケンスの画像のデータとを関連付けて、データ記憶部１０３へ格納する。
（画像探索部）
　画像探索部１２０は、外部機器３が設定した検索条件をインタフェース部１０４を介して受け付けて、設定された検索条件に合致するオブジェクト追跡履歴を検索する。図１に示されているように、画像探索部１２０は、検索部１２１、追跡履歴抽出部１２２、特徴量抽出部１２３、及び判定部１２４を備える。
（検索部）
　検索部１２１は、記録制御部１０２を介して、データ記憶部１０３へアクセスし、検索条件に合致するオブジェクト追跡履歴を検索する。検索部１２１は、設定された検索条件に合致する複数のオブジェクト追跡履歴の候補を抽出する。この抽出は、撮像時間の範囲、オブジェクトが撮像されたカメラ等の１つ以上の条件を指定して行われる。検索部１２１は検索条件に合致するオブジェクト追跡履歴候補を、追跡履歴抽出部１２２に出力する。
（追跡履歴抽出部）
　追跡履歴抽出部１２２は、検索部１２１から入力されるオブジェクト追跡履歴候補に含まれる複数のオブジェクト特徴量の値から、「オブジェクト特徴量変化有り」と判定されているデータを除いたオブジェクト特徴量の値を抽出する。すなわち、追跡履歴抽出部１２２は、オブジェクト特徴量の変化がないと判定された画像について、オブジェクト特徴量の値をオブジェクト追跡履歴候補から抽出する。また、追跡履歴抽出部１２２は、「オブジェクト特徴量変化無し」と判定されているデータに対して撮像面が同じであるオブジェクトの集合を作成し、作成した集合とオブジェクト追跡履歴とを追跡履歴抽出結果として特徴量抽出部１２３へ出力する。このように、オブジェクト特徴量の変化があると判定されたデータを除くことにより、オクルージョンが発生した画像のデータを用いないで、異なる領域を撮像するカメラにより撮像されたオブジェクト間の同一性の判定を行うことが可能となる。これにより、オブジェクト間の同一性の判定の精度が高められる。
（特徴量抽出部）
　特徴量抽出部１２３は、追跡履歴抽出部１２２から入力される追跡履歴抽出結果を基に、記録制御部１０２を介してデータ記憶部１０３から追跡履歴抽出結果に該当するオブジェクトを含む画像のデータを抽出する。特徴量抽出部１２３は、撮像面が同じであるオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量を基に、その集合に対する１つの照合特徴量を生成し、判定部１２４へ出力する。したがって、各オブジェクト追跡履歴に対して、最大でモデルの撮像面と同じ数である４つの照合特徴量が判定部１２４へ出力される。ここで、画像特徴量には、公知のオブジェクト間の同一性判定技術に用いられる特徴量を用いることができる。例えば、色情報に関するヒストグラム、及び形状情報が挙げられる。また、照合特徴量を生成する際に、当該集合に含まれる画像特徴量に対して平均化等の処理を行って照合特徴量を生成してもよい。
（判定部）
　判定部１２４は、特徴量抽出部１２３から入力される照合特徴量のうち、異なる撮像領域間において撮像面が同じであるオブジェクト追跡履歴同士を比較し、オブジェクト追跡履歴同士が互いに同一であるか否か判定を行う。オブジェクト間の同一性判定には、公知のオブジェクト間の同一性判定技術、例えばヒストグラムインターセクションを用いることができる。これ以外にも、例えば、機械学習（例えば、ディープラーニング、又はサポートベクターマシン）を用いて、同一オブジェクトか否かを判定してもよい。判定部１２４は、インタフェース部１０４を介して、外部機器３へ判定結果を出力する。
　次に、図２Ａ及び図２Ｂを参照して、画像処理装置１００のハードウェア構成例について説明する。図２Ａおよび図２Ｂは、何れも画像処理装置１００のハードウェア構成例を示す図である。一例として、画像処理装置１００における通信部１０１、画像認識部１１０、記録制御部１０２、画像探索部１２０、及びインタフェース部１０４の各機能は、図２Ａに示されているような処理回路１００ａにより実現される。すなわち、画像処理装置１００は、上記各機能を実現するための処理回路１００ａを備える。別の例として、画像処理装置１００における通信部１０１、画像認識部１１０、記録制御部１０２、画像探索部１２０、及びインタフェース部１０４の各機能は、図２Ｂに示されているように、プロセッサ１００ｂがメモリ１００ｃに格納されているプログラムを読み出して実行することにより実現されてもよい。
（画像認識処理）
　次に、画像処理装置１００の動作について説明する。まず、図７を参照して、画像処理装置１００により行われる画像認識処理について説明する。図７は、画像認識処理の動作を示すフローチャートである。
　通信部１０１は、通信ネットワーク経由で接続される複数のカメラ１及び２で撮像された画像シーケンスを受信し（ステップＳＴ１）、受信した画像シーケンスを画像認識部１１０の検出部１１１へ出力する。
　検出部１１１は、入力される画像シーケンスに現れるオブジェクトの検出を試みる（ステップＳＴ２）。検出部１１１は、オブジェクトを検出したか否かを判定する（ステップＳＴ３）。オブジェクトが検出されなかった場合（ステップＳＴ３：Ｎｏ）、処理はステップＳＴ１に戻る。一方、オブジェクトが検出された場合（ステップＳＴ４：Ｙｅｓ）、処理はステップＳＴ４へ進み、特徴量生成部１１２は、検出されたオブジェクトの撮像された時刻、外見特徴量、位置、検出範囲等のオブジェクト特徴量を生成し（ステップＳＴ４）、オブジェクト特徴量を追跡部１１３に出力する。
　追跡部１１３は、過去のフレームのオブジェクト特徴量から、その過去のフレームに関連付けられた時刻よりも後の時刻において予測されるオブジェクト特徴量を生成する（ステップＳＴ５）。例えば、過去の時刻において観測されたオブジェクトの範囲から、その過去の時刻の直後の時刻において予測されるオブジェクトの範囲を生成する。追跡部１１３は、生成したオブジェクトの予測値と、予測値の時刻において観測されたオブジェクト特徴量とが、同一であるか判定を行う（ステップＳＴ６）。ステップＳＴ６において同一であると判定された場合、追跡部１１３は、観測されたオブジェクト特徴量に、同一であると判定された過去のフレームに付与されている追跡ＩＤを付与する（ステップＳＴ７）。ステップＳＴ６において同一でないと判定された場合、追跡部１１３は、過去の追跡ＩＤと重複しない一意な追跡ＩＤを観測されたオブジェクト特徴量に付与する（ステップＳＴ７）。追跡部１１３は、追跡ＩＤを付与した後、オブジェクト追跡履歴を含む追跡結果を特徴量変化検出部１１４へ出力する。
　特徴量変化検出部１１４は、追跡部１１３から入力されるオブジェクト追跡履歴からオブジェクト特徴量の変化の有無を検出し（ステップＳＴ８）、検出の結果を特徴量変化検出結果として撮像面推定部１１５へ出力する。
　撮像面推定部１１５は、特徴量変化検出部１１４から入力される特徴量変化検出結果から撮像面を推定する（ステップＳＴ９）。
　特徴量生成部１１２、追跡部１１３、特徴量変化検出部１１４、及び撮像面推定部１１５は、検出部１１１から入力された全てのオブジェクトに対して処理を行ったか否か判定を行う（ステップＳＴ１０）。全てのオブジェクトに対して処理を行っていない場合（ステップＳＴ１０：Ｎｏ）、処理はステップＳＴ４に戻る。一方、全てのオブジェクトに対して処理を行った場合（ステップＳＴ１０：Ｙｅｓ）、撮像面推定部１１５は、オブジェクト追跡履歴を含む撮像面推定結果を記録制御部１０２へ出力する（ステップＳＴ１１）。
　記録制御部１０２は、撮像面推定部１１５から入力される撮像面推定結果と通信部１０１から入力される画像シーケンスの画像のデータとを関連付けて、データ記憶部１０３へ格納し（ステップＳＴ１２）、処理を終了する。
（画像探索処理）
　次に、図８を参照して、画像処理装置１００により行われる画像探索処理について説明する。図８は画像探索処理の動作を示すフローチャートである。
　インタフェース部１０４を介して外部機器３から検索条件が設定されると（ステップＳＴ２１）、検索部１２１は、設定された検索条件に合致する複数のオブジェクト追跡履歴候補を、記録制御部１０２を介してデータ記憶部１０３から抽出し（ステップＳＴ２２）、抽出したオブジェクト追跡履歴候補を追跡履歴抽出部１２２に出力する。
　追跡履歴抽出部１２２は、検索部１２１から入力されるオブジェクト追跡履歴に含まれる複数のオブジェクト特徴量の値から、「特徴量変化有り」と判定されているデータを除いた複数のオブジェクト特徴量の値を抽出する（ステップＳＴ２３）。すなわち、追跡履歴抽出部１２２は、オブジェクト特徴量の変化がないと判定された画像についてオブジェクト特徴量の値をオブジェクト追跡履歴から抽出する。また、追跡履歴抽出部１２２は、「特徴量変化無し」と判定されているデータに対して、撮像面が同じであるオブジェクトの集合を作成し（ステップＳＴ２４）、作成した集合とオブジェクト追跡履歴とを追跡履歴抽出結果として特徴量抽出部１２３へ出力する。
　特徴量抽出部１２３は、追跡履歴抽出部１２２から入力される追跡履歴抽出結果を基に、記録制御部１０２を介してデータ記憶部１０３から追跡履歴抽出結果に該当するオブジェクトを含む画像のデータを抽出する（ステップＳＴ２５）。特徴量抽出部１２３は、撮像面が同じであるオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量を基に、その集合に対する１つの照合特徴量を生成する（ステップＳＴ２６）。
　判定部１２４は、ステップＳＴ２６で抽出された照合特徴量を比較することにより、異なる撮像領域間において撮像面が同じであるオブジェクト追跡履歴を比較する。これにより、判定部１２４は、異なる撮像領域で撮像されたオブジェクトが互いに同一であるか否か判定を行う（ステップＳＴ２７）。判定部１２４は、特徴量抽出部１２３から入力された全ての照合特徴量に対して処理を行ったか否か判定を行う（ステップＳＴ２８）。全ての照合特徴量に対して処理を行っていない場合（ステップＳＴ２８：Ｎｏ）、フローチャートはステップＳＴ２７の処理に戻る。一方、全ての照合特徴量に対して処理を行った場合（ステップＳＴ２８：Ｙｅｓ）、判定部１２４は判定結果を、インタフェース部１０４を介して外部機器３へ出力する（ステップＳＴ２９）し、処理を終了する。
（具体例）
　図９は、実施の形態１に係る画像処理装置１００の画像認識処理の一例を示す図である。図９の場合、追跡部１１３は、領域Ｗ１を撮像した画像シーケンス内で、同一の特徴を有するオブジェクトＢ１～Ｂ４を追跡し、オブジェクト追跡履歴Ｒ１を生成する。同様に、追跡部１１３は領域Ｗ２を撮像した画像シーケンス内で、オブジェクトＣ１～Ｃ３を追跡し、オブジェクト追跡履歴Ｒ２を生成する。図９においてＢ又はＣの後に付された数字は、当該オブジェクトが異なる時刻で撮像されたことを示す。追跡履歴には、各撮像時刻におけるオブジェクト位置、オブジェクト速度、オブジェクト範囲に関する観測値及び予測値、追跡ＩＤ、特徴量変化検出結果、並びに撮像面推定結果が含まれる。
　また、図１０Ａ及び図１０Ｂは、図９に対応する画像処理装置１００の画像認識結果の追跡処理において、オブジェクトとして追跡された人物を含む画像データ例を示す図である。図１０Ａがカメラ１により撮像された画像領域Ｇ１におけるオブジェクトＢの画像データ例を示し、図１０Ｂがカメラ２により撮像された画像領域Ｇ２におけるオブジェクトＣの画像データ例を示す。図１０Ａに示されているように、カメラ１の画像領域Ｇ１において、Ｂ１はオブジェクトＢの背面が、Ｂ２～Ｂ３はオブジェクトＢの左側面が撮像されていることを示す。また、図１０Ｂに示されているように、カメラ２の画像領域Ｇ２において、Ｃ１及びＣ２はオブジェクトＣの前面が、Ｃ３はオブジェクトＣの左側面が撮像されていることを示す。
　図１０Ａに示すように、同一のオブジェクトＢを追跡した場合であっても、例えば障害物Ｕによって、オブジェクトＢ３の一部が隠れることがある。また、同一のオブジェクトを追跡した場合であっても、カメラの設置位置と人物の移動方向との相対的関係によって撮像面が変化し、撮像される内容が異なることがある。そのため、図１０Ａ、図１０Ｂでオブジェクトのうち各１つ画像のデータ（例えばＢ２とＣ２）を用いて比較した場合、ステップＳＴ２７の同一性判定精度が低下する。また、オブジェクト追跡履歴に関連付けられた複数の画像で構成されるクラスタから、クラスタ内に含まれる画像数が最大のクラスタから特徴量を抽出し同一性判定を行う場合、カメラ１についてはＢ２、Ｂ３及びＢ４が、カメラ２についてはＣ１及びＣ２から特徴量を抽出することになる。オブジェクトの特徴が撮像面によって変化する場合、カメラ１におけるオブジェクト追跡履歴Ｒ１とカメラ２におけるオブジェクト追跡履歴Ｒ２との間での同一性判定精度が低下する。また、オクルージョンが発生しているＢ３を用いて特徴量を抽出する場合も、同一性判定精度が低下する。
　そこで、画像探索部１２０は、図１０のＧ１に含まれる各オブジェクトについて、例えば４つの撮像面（基準面）を定義し、特徴量変化無しの画像のデータについて、オブジェクトの撮像面ごとに特徴量を抽出する。具体的には、同一の撮像面を有するＢ４及びＢ２から１つの特徴量を、Ｂ１から１つの特徴量を抽出する。同様に、図１０のＧ２に含まれる各オブジェクトについて、同一の撮像面を有するＣ１及びＣ２から１つの特徴量を、Ｃ３から１つの特徴量を抽出する。判定部１２４は、異なる撮像領域において同一の撮像面を有する、Ｂ４及びＢ２から抽出された特徴量と、Ｃ３から抽出された特徴量とを比較することによって、同一性を判定する。これにより、同一性判定精度の低下を抑制することができる。すなわち、特徴量変化無しの画像のデータを用いることにより、オクルージョンが発生している画像のデータを排除できるので、同一性判定精度の低下を抑制することができる。また、撮像面ごとに特徴量を抽出することにより、撮像面が変化することによる特徴量の変化を回避できるので、同一性判定精度の低下を抑制することができる。
＜付記＞
　以上で説明した実施形態の種々の側面の一部を、以下にてまとめる。
（付記１）
　付記１の画像処理装置（１００）は、第１の領域（Ｗ１）を撮像した複数の画像を備える第１の画像シーケンスを解析して、第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクト（Ｂ１）を検出するとともに、第１の領域と異なる第２の領域（Ｗ２）を撮像した複数の画像を備える第２の画像シーケンスを解析して、第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクト（Ｃ１）を検出する検出部（１１１）と、第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成する特徴量生成部（１１２）と、第１のオブジェクトを第１のオブジェクト特徴量を用いて第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値（例えば、第１のオブジェクトの大きさの観測値）を含む追跡の結果を第１のオブジェクト追跡履歴（Ｒ１）として出力するとともに、第２のオブジェクトを第２のオブジェクト特徴量を用いて第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値（例えば、第２のオブジェクトの大きさの観測値）を含む追跡の結果を第２のオブジェクト追跡履歴（Ｒ２）として出力する追跡部（１１３）と、第１のオブジェクト追跡履歴から第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、第２のオブジェクト追跡履歴から第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力する特徴量変化検出部（１１４）と、第１のオブジェクト特徴量の変化がないと判定された画像（Ｂ１、Ｂ２、及びＢ４の画像）について第１のオブジェクト特徴量の値を第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、第２のオブジェクト特徴量の変化がないと判定された画像（Ｃ１～Ｃ３の画像）について第２のオブジェクト特徴量の値を第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力する追跡履歴抽出部（１２２）と、第１の追跡履歴抽出結果及び第２の追跡履歴抽出結果を用いて、第１のオブジェクト及び第２のオブジェクトが同一か否かを判定する判定部（１２４）と、を備える。
（付記２）
　付記２の画像処理装置は、付記１の画像処理装置であって、第１のオブジェクト追跡履歴から第１のオブジェクトの撮像面を推定して、推定された撮像面を第１の撮像面（Ｂ２及びＢ４の撮像面）として出力するとともに、第２のオブジェクト追跡履歴から第２のオブジェクトの撮像面を推定して、推定された撮像面を第２の撮像面（Ｃ３の撮像面）として出力する撮像面推定部（１１５）と、第１のオブジェクトの第１の撮像面について第１の照合用特徴量を抽出するとともに、第２のオブジェクトの第２の撮像面について第２の照合用特徴量を抽出する特徴量抽出部（１２３）と、を更に備え、判定部は、第１の撮像面及び第２の撮像面が同一の撮像面である場合に、第１の照合用特徴量及び第２の照合用特徴量を用いて、第１のオブジェクト及び第２のオブジェクトが同一か否かを判定する、
請求項１に記載の画像処理装置。
（付記３）
　付記３の画像処理装置は、付記１又は２の画像処理装置であって、第１のオブジェクト追跡履歴は、ある関心時刻（例えば、ｔ３）で観測された第１のオブジェクト特徴量の観測値（例えば、Ｓ３）、及び関心時刻より前の過去の時刻（例えば、ｔ２）で観測された第１のオブジェクト特徴量の観測値（例えば、Ｓ２）に基づいて予測された関心時刻における第１のオブジェクト特徴量の予測値（例えば、Ｐ３）を含み、特徴量変化検出部は、関心時刻における第１のオブジェクト特徴量の観測値（Ｓ３）及び予測値（Ｐ３）に基づいて第１のオブジェクト特徴量の変化の有無を検出する。
（付記４）
　付記４の画像処理装置は、付記１から３の何れか１つの画像処理装置であって、第１のオブジェクト追跡履歴は第１のオブジェクトの速度を含み、撮像面推定部は第１のオブジェクトの速度から第１の撮像面を推定する。
（付記５）
　付記５の画像処理装置は、付記１から４の何れか１つの画像処理装置であって、特徴量抽出部は、同一の撮像面を有する第１のオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量に基づいて、その集合に対する第１の照合用特徴量を生成する。
（付記６）
　付記６の画像処理方法は、画像処理装置が行う画像処理方法であって、検出部（１１１）が、第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出するステップ（ＳＴ２）と、特徴量生成部（１１２）が、第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成するステップ（ＳＴ４）と、追跡部（１１３）が、第１のオブジェクトを第１のオブジェクト特徴量を用いて第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、第２のオブジェクトを第２のオブジェクト特徴量を用いて第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力するステップ（ＳＴ５～ＳＴ７）と、特徴量変化検出部（１１４）が、第１のオブジェクト追跡履歴から第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、第２のオブジェクト追跡履歴から第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力するステップ（ＳＴ８）と、追跡履歴抽出部（１２２）が、第１のオブジェクト特徴量の変化がないと判定された画像について第１のオブジェクト特徴量の値を第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、第２のオブジェクト特徴量の変化がないと判定された画像について第２のオブジェクト特徴量の値を第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力するステップ（ＳＴ２３）と、判定部（１２４）が、第１の追跡履歴抽出結果及び第２の追跡履歴抽出結果を用いて、第１のオブジェクト及び第２のオブジェクトが同一か否かを判定するステップ（ＳＴ２７）と、を備える。
　なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。
　本開示に係る画像処理装置は、オブジェクトの監視を行う画像処理システムにおいて用いることができる。
　１　カメラ、２　カメラ、３　外部機器、１００　画像処理装置、１００ａ　処理回路、１００ｂ　プロセッサ、１００ｃ　メモリ、１０１　通信部、１０２　記録制御部、１０３　データ記憶部、１０４　インタフェース部、１１０　画像認識部、１１１　検出部、１１２　特徴量生成部、１１３　追跡部、１１４　特徴量変化検出部、１１５　撮像面推定部、１２０　画像探索部、１２１　検索部、１２２　追跡履歴抽出部、１２３　特徴量抽出部、１２４　判定部、Ｓｙｓ　画像処理システム。

Claims (6)

  1. 　第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、前記第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、前記第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、前記第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出する検出部と、
    　前記第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び前記第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成する特徴量生成部と、
    　前記第１のオブジェクトを前記第１のオブジェクト特徴量を用いて前記第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、前記第２のオブジェクトを前記第２のオブジェクト特徴量を用いて前記第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力する追跡部と、
    　前記第１のオブジェクト追跡履歴から前記第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力する特徴量変化検出部と、
    　前記第１のオブジェクト特徴量の変化がないと判定された画像について前記第１のオブジェクト特徴量の値を前記第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と前記第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、前記第２のオブジェクト特徴量の変化がないと判定された画像について前記第２のオブジェクト特徴量の値を前記第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と前記第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力する追跡履歴抽出部と、
    　前記第１の追跡履歴抽出結果及び前記第２の追跡履歴抽出結果を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定する判定部と、
    を備えた、画像処理装置。
  2. 　前記第１のオブジェクト追跡履歴から前記第１のオブジェクトの撮像面を推定して、推定された撮像面を第１の撮像面として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクトの撮像面を推定して、推定された撮像面を第２の撮像面として出力する撮像面推定部と、
    　前記第１のオブジェクトの前記第１の撮像面について第１の照合用特徴量を抽出するとともに、前記第２のオブジェクトの前記第２の撮像面について第２の照合用特徴量を抽出する特徴量抽出部と、
    を更に備え、
    　前記判定部は、前記第１の撮像面及び前記第２の撮像面が同一の撮像面である場合に、前記第１の照合用特徴量及び前記第２の照合用特徴量を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定する、
    請求項１に記載の画像処理装置。
  3. 　前記第１のオブジェクト追跡履歴は、ある関心時刻で観測された前記第１のオブジェクト特徴量の観測値、及び前記関心時刻より前の過去の時刻で観測された前記第１のオブジェクト特徴量の観測値に基づいて予測された前記関心時刻における前記第１のオブジェクト特徴量の予測値を含み、
    　前記特徴量変化検出部は、前記関心時刻における前記第１のオブジェクト特徴量の前記観測値及び前記予測値に基づいて前記第１のオブジェクト特徴量の変化の有無を検出する、
    請求項２に記載の画像処理装置。
  4. 　前記第１のオブジェクト追跡履歴は前記第１のオブジェクトの速度を含み、
    　前記撮像面推定部は前記第１のオブジェクトの速度から前記第１の撮像面を推定する、
    請求項３に記載の画像処理装置。
  5. 　前記特徴量抽出部は、同一の撮像面を有する前記第１のオブジェクトの集合に対応する複数の画像のデータから得られる画像特徴量に基づいて、その集合に対する前記第１の照合用特徴量を生成する、
    請求項２から４の何れか１項に記載の画像処理装置。
  6. 　画像処理装置が行う画像処理方法であって、
    　検出部が、第１の領域を撮像した複数の画像を備える第１の画像シーケンスを解析して、前記第１の画像シーケンスの何れか１つの画像に現れる第１のオブジェクトを検出するとともに、前記第１の領域と異なる第２の領域を撮像した複数の画像を備える第２の画像シーケンスを解析して、前記第２の画像シーケンスの何れか１つの画像に現れる第２のオブジェクトを検出するステップと、
    　特徴量生成部が、前記第１のオブジェクトを追跡するための第１のオブジェクト特徴量、及び前記第２のオブジェクトを追跡するための第２のオブジェクト特徴量を生成するステップと、
    　追跡部が、前記第１のオブジェクトを前記第１のオブジェクト特徴量を用いて前記第１の画像シーケンス内で時間方向に追跡して、複数の第１のオブジェクト特徴量の値を含む追跡の結果を第１のオブジェクト追跡履歴として出力するとともに、前記第２のオブジェクトを前記第２のオブジェクト特徴量を用いて前記第２の画像シーケンス内で時間方向に追跡して、複数の第２のオブジェクト特徴量の値を含む追跡の結果を第２のオブジェクト追跡履歴として出力するステップと、
    　特徴量変化検出部が、前記第１のオブジェクト追跡履歴から前記第１のオブジェクト特徴量の変化の有無を検出して、検出の結果を第１の特徴量変化検出結果として出力するとともに、前記第２のオブジェクト追跡履歴から前記第２のオブジェクト特徴量の変化の有無を検出して、検出の結果を第２の特徴量変化検出結果として出力するステップと、
    　追跡履歴抽出部が、前記第１のオブジェクト特徴量の変化がないと判定された画像について前記第１のオブジェクト特徴量の値を前記第１のオブジェクト追跡履歴から抽出して、抽出された第１のオブジェクト特徴量の値と前記第１のオブジェクト追跡履歴とを第１の追跡履歴抽出結果として出力するとともに、前記第２のオブジェクト特徴量の変化がないと判定された画像について前記第２のオブジェクト特徴量の値を前記第２のオブジェクト追跡履歴から抽出して、抽出された第２のオブジェクト特徴量の値と前記第２のオブジェクト追跡履歴とを第２の追跡履歴抽出結果として出力するステップと、
    　判定部が、前記第１の追跡履歴抽出結果及び前記第２の追跡履歴抽出結果を用いて、前記第１のオブジェクト及び前記第２のオブジェクトが同一か否かを判定するステップと、
    を備えた画像処理方法。
PCT/JP2021/010965 2021-03-18 2021-03-18 画像処理装置及び画像処理方法 WO2022195790A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
GB2313898.5A GB2618757B (en) 2021-03-18 2021-03-18 Image processing device and image processing method
PCT/JP2021/010965 WO2022195790A1 (ja) 2021-03-18 2021-03-18 画像処理装置及び画像処理方法
JP2023506615A JP7274068B2 (ja) 2021-03-18 2021-03-18 画像処理装置及び画像処理方法
US18/227,119 US20230410467A1 (en) 2021-03-18 2023-07-27 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/010965 WO2022195790A1 (ja) 2021-03-18 2021-03-18 画像処理装置及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/227,119 Continuation US20230410467A1 (en) 2021-03-18 2023-07-27 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2022195790A1 true WO2022195790A1 (ja) 2022-09-22

Family

ID=83322068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010965 WO2022195790A1 (ja) 2021-03-18 2021-03-18 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US20230410467A1 (ja)
JP (1) JP7274068B2 (ja)
GB (1) GB2618757B (ja)
WO (1) WO2022195790A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064778A (ja) * 2013-09-25 2015-04-09 住友電気工業株式会社 検出対象識別装置、変換装置、監視システム、及びコンピュータプログラム
JP2015184810A (ja) * 2014-03-20 2015-10-22 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
JP2018093423A (ja) * 2016-12-06 2018-06-14 富士通株式会社 画像処理プログラム、画像処理装置および画像処理方法
WO2018173848A1 (ja) * 2017-03-22 2018-09-27 日本電気株式会社 オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体
WO2019038821A1 (ja) * 2017-08-22 2019-02-28 三菱電機株式会社 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064778A (ja) * 2013-09-25 2015-04-09 住友電気工業株式会社 検出対象識別装置、変換装置、監視システム、及びコンピュータプログラム
JP2015184810A (ja) * 2014-03-20 2015-10-22 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
JP2018093423A (ja) * 2016-12-06 2018-06-14 富士通株式会社 画像処理プログラム、画像処理装置および画像処理方法
WO2018173848A1 (ja) * 2017-03-22 2018-09-27 日本電気株式会社 オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体
WO2019038821A1 (ja) * 2017-08-22 2019-02-28 三菱電機株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
GB2618757B (en) 2024-05-29
GB202313898D0 (en) 2023-10-25
GB2618757A (en) 2023-11-15
US20230410467A1 (en) 2023-12-21
JPWO2022195790A1 (ja) 2022-09-22
JP7274068B2 (ja) 2023-05-15

Similar Documents

Publication Publication Date Title
US11360571B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
JP4741650B2 (ja) ビデオシーケンスにおけるオブジェクト追跡の方法
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
Haritaoglu et al. w 4 s: a real-time system for detecting and tracking people in 2 1/2 d
JP5213486B2 (ja) 対象物追跡装置および対象物追跡方法
US6658136B1 (en) System and process for locating and tracking a person or object in a scene using a series of range images
JP6030617B2 (ja) 画像処理装置および画像処理方法
US9165211B2 (en) Image processing apparatus and method
KR20160144149A (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
CN109086725B (zh) 手部跟踪方法及机器可读存储介质
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
Xiao et al. Vehicle and person tracking in aerial videos
Su et al. Adaptive colour feature identification in image for object tracking
Radzi et al. Extraction of moving objects using frame differencing, ghost and shadow removal
Grove et al. Colour based object tracking
Wang et al. Face tracking using motion-guided dynamic template matching
JP7274068B2 (ja) 画像処理装置及び画像処理方法
JP2016081252A (ja) 画像処理装置および画像処理方法
Benedek et al. Lidar-based gait analysis in people tracking and 4D visualization
Colombari et al. Background initialization in cluttered sequences
Corvee et al. Occlusion tolerent tracking using hybrid prediction schemes
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
Sharma et al. Efficient object detection with its enhancement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931541

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023506615

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 202313898

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20210318

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21931541

Country of ref document: EP

Kind code of ref document: A1