WO2014155979A1 - 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 - Google Patents

追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 Download PDF

Info

Publication number
WO2014155979A1
WO2014155979A1 PCT/JP2014/001174 JP2014001174W WO2014155979A1 WO 2014155979 A1 WO2014155979 A1 WO 2014155979A1 JP 2014001174 W JP2014001174 W JP 2014001174W WO 2014155979 A1 WO2014155979 A1 WO 2014155979A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
camera
cameras
information
moving object
Prior art date
Application number
PCT/JP2014/001174
Other languages
English (en)
French (fr)
Inventor
山本　裕之
藤松　健
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/780,086 priority Critical patent/US10445887B2/en
Priority to GB1516981.6A priority patent/GB2529943B/en
Priority to DE112014001658.6T priority patent/DE112014001658T5/de
Publication of WO2014155979A1 publication Critical patent/WO2014155979A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Definitions

  • the present invention relates to a tracking processing device for tracking a moving object using images captured by a plurality of cameras, a tracking processing system including the tracking processing device, and a tracking processing method.
  • a captured image of a camera installed at a plurality of places where the moving object passes is acquired, and each camera or a plurality of cameras is used by using the captured image.
  • occlusion that is, a tracking target behind the camera is hidden by other objects existing in front of each camera by the positional relationship between the camera and the moving object (tracking target)). State
  • a technology has been developed that reduces the influence of such occlusion and enables high-precision tracking. For example, a plurality of cameras that capture a monitoring space from different viewpoints are set, a plurality of hypotheses representing combinations of the predicted position of a moving object at the current time and one monitoring camera are set, and a hypothesis having a high likelihood (ie, A tracking processing device that obtains the position of a moving object at the current time based on a hypothesis suitable for tracking of a moving object is known (see Patent Document 1).
  • a blind spot may occur due to an obstacle (a building such as a wall and a pillar, a fixture, etc.) existing in the surveillance space.
  • a range excluding such blind spots is defined as an effective shooting range.
  • the present invention has been devised in view of such problems of the prior art, and when tracking a moving object using images captured by a plurality of cameras, the accuracy of the tracking process between the cameras is improved. It is a main object of the present invention to provide a tracking processing device, a tracking processing system including the tracking processing device, and a tracking processing method.
  • the tracking processing device is a tracking processing device that tracks a moving object between the cameras using images captured by a plurality of cameras, and the image of the moving object acquired from the captured image with respect to each camera.
  • Storage means for storing a plurality of in-camera tracking information including information, and by narrowing down the plurality of in-camera tracking information, inter-camera tracking information used for the tracking process of the moving object between the plurality of cameras
  • a narrowing-down unit for extraction and an association processing unit for associating the moving object in the captured image between the plurality of cameras based on the inter-camera tracking information.
  • the present invention when a moving object is tracked using images captured by a plurality of cameras, it is possible to improve the accuracy of tracking processing between the cameras.
  • a first invention made to solve the above-described problems is a tracking processing device that tracks a moving object between cameras using images captured by a plurality of cameras, and is obtained from the captured images with respect to each camera.
  • the tracking processing device when tracking a moving object (tracking target) using images captured by a plurality of cameras, the tracking information in the camera in each camera is narrowed down (that is, the plurality of cameras). Tracking processing between multiple cameras (corresponding to moving objects) by extracting inter-camera tracking information used for tracking processing between multiple cameras. The accuracy of the attaching process) can be improved.
  • the image processing device further includes a similarity calculation unit that calculates a similarity between the plurality of in-camera tracking information with respect to the image information of the moving object, The narrowing down is performed by eliminating in-camera tracking information having a relatively low similarity among the plurality of in-camera tracking information.
  • the in-camera tracking information since the plurality of in-camera tracking information is narrowed down based on the mutual similarity, the in-camera tracking information (occlusion etc.) that is not suitable for the tracking processing between the plurality of cameras. Can be easily and reliably excluded from the processing target.
  • the camera further includes an invalid area setting unit that sets an invalid area in the photographed image with respect to each camera, and the narrowing-down unit is provided in the plurality of cameras. The narrowing down is performed by excluding tracking information in the camera related to the moving object located in the invalid area in the tracking information.
  • In-camera tracking information related to a moving object located within a preset invalid area for example, an area where an obstacle exists
  • In-camera tracking information that is not suitable for tracking processing can be easily and reliably excluded from processing targets.
  • the invalid area can be reset by a user in the third invention.
  • the tracking processing device since the user can reset a preset invalid area, the accuracy of the invalid area is improved, and the camera is not suitable for the tracking process between a plurality of cameras.
  • the inner tracking information can be more reliably excluded from the processing target.
  • the invalid area setting means is based on the position information of the moving object related to the in-camera tracking information previously excluded by the narrowing-down means. An invalid area is set.
  • the invalid area is set using the position information of the moving object related to the in-camera tracking information that has been excluded in the past. It becomes possible.
  • the first operation mode that prioritizes processing accuracy and the second operation mode that prioritizes processing speed regarding the processing of the association processing means associates the moving object based on the inter-camera tracking information when the first operation mode is selected, while the second operation mode is selected. When the operation mode is selected, the moving object is associated based on the in-camera tracking information.
  • the tracking processing device According to the tracking processing device according to the sixth aspect of the present invention, it is possible to appropriately execute the processing of the association processing means according to the priority between the processing accuracy and the processing speed.
  • a moving direction for calculating a moving direction vector of the moving object based on position information of the moving object in the plurality of in-camera tracking information further includes a calculation unit, and the narrowing-down unit extracts the tracking information between cameras based on a degree of coincidence of angles of the moving direction vectors between the plurality of cameras.
  • the tracking processing device of the seventh aspect of the invention since the angle of the moving direction vector of the moving object tends to coincide with the direction of the moving object, tracking within the camera having a high degree of coincidence with respect to the angle of the moving direction vector. By extracting information as tracking information between cameras, it is possible to improve the accuracy of tracking processing between the cameras.
  • the association result of the moving object by the association processing unit is presented to the user, and whether or not the association result is appropriate is indicated to the user.
  • the apparatus further includes a result presentation means for determining.
  • the accuracy of tracking processing among a plurality of cameras can be further improved because the user determines whether or not the matching result of moving objects is appropriate.
  • a ninth invention is a tracking process comprising the tracking processing device according to any of the first to eighth inventions, the plurality of cameras, and an in-camera tracking device that generates the in-camera tracking information. System.
  • the tenth aspect of the invention is a tracking processing method for tracking a moving object between the cameras using images captured by a plurality of cameras, the image of the moving object acquired from the captured image with respect to each camera.
  • Tracking information acquisition step for acquiring a plurality of in-camera tracking information including information, and inter-camera tracking used for tracking the moving object between the plurality of cameras by narrowing down the plurality of in-camera tracking information
  • a tracking information narrowing step for extracting information
  • an association processing step for associating the moving object in the captured image between the plurality of cameras based on the inter-camera tracking information.
  • FIG. 1 is a configuration diagram of a tracking processing system according to an embodiment of the present invention
  • FIG. 2 is an explanatory diagram showing an example of camera arrangement in the tracking processing system
  • FIG. 3 is an operation (A) by a user of the tracking processing system. It is explanatory drawing of mode selection and (B) invalid area
  • the tracking processing system 1 is connected to a plurality of (here, three) cameras 2 for capturing moving objects such as a person to be tracked or a car, and to each camera 2, and the moving objects in the captured image of each camera 2.
  • Camera tracking processing device 3 that performs the tracking processing (hereinafter referred to as “in-camera tracking processing”), and the result of tracking processing of the moving object by the camera tracking processing device 3 (hereinafter referred to as “in-camera tracking information”).
  • the inter-camera tracking processing device 4 that performs the tracking processing between the plurality of cameras 2.
  • the tracking processing between cameras and the tracking processing device 4 between cameras are simply referred to as “tracking processing” and “tracking processing device 4”, and are distinguished from the in-camera tracking processing and the in-camera tracking processing device 3. .
  • the plurality of cameras 2 are each composed of a video camera for monitoring, and sequentially transmit a plurality of photographed images (color moving images) to the tracking processing device 3 in the camera.
  • Each camera 2 is installed on a wall or ceiling of a building or the like so that it can shoot a place that needs to be monitored.
  • a person (moving object) H that passes through the passage 11 in the direction of the arrow is a tracking target, and the size and angle (body direction) of the person H to be photographed are approximately the same.
  • the arrangement of each camera 2 (that is, the positional relationship between each camera and the position of a passage or the like where a person moves) is determined.
  • Each camera 2 has a pan / tilt function and a zoom function in order to adjust the size and angle of the person H to be photographed.
  • the shooting direction of each camera 2 is arranged obliquely downward with respect to the vertical direction (vertical direction in the drawing).
  • the shooting direction of 2 is arbitrary.
  • the fields of view (shooting ranges) 12 of the plurality of cameras 2 do not overlap each other, but a configuration in which the fields of view are overlapped as necessary is also possible.
  • the number of cameras used in the tracking processing system 1 can be changed as necessary.
  • the in-camera tracking processing device 3 is composed of a PC (Personal Computer) connected to the camera 2 by a network such as a dedicated cable or LAN, but is not limited to this, and an electronic device incorporating a server and a microcomputer for executing tracking processing. You may comprise from an apparatus etc.
  • one in-camera tracking processing device 3 is provided for each camera 2.
  • the present invention is not limited to this, and images captured by a plurality of cameras 2 are individually processed using one in-camera tracking processing device 3. May be. Further, a configuration in which the function of the in-camera tracking processing device 3 is added to each camera 2 and the tracking processing device 4 described in detail later is also possible.
  • the in-camera tracking processing device 3 performs in-camera tracking processing of a photographed person based on the video signal (captured image) input from the camera 2. This in-camera tracking process is performed using a known person tracking (tracking) technique. For example, the in-camera tracking processing device 3 compares a captured image of the camera 2 with a background image acquired in advance (calculates a difference in luminance value for each pixel) (background difference), and a change region where a moving object exists To extract.
  • the background image is a captured image in which no moving object is captured, and is captured in advance by each camera 2.
  • the in-camera tracking processing device 3 detects a rectangular person region including a part of the person and the background using a known feature amount (for example, HOG (Histogram of Oriented Gradient) feature amount) in the change region. To do.
  • the in-camera tracking processing device 3 detects a person area for each captured image, and tracks the person area using a known template matching or tracking filter (for example, a particle filter).
  • the in-camera tracking processing device 3 stores information on each detected person image (pixel information of the person area) and related information (person position information, etc.) in a predetermined memory as in-camera tracking information.
  • the plurality of in-camera tracking information obtained by the in-camera tracking processing is sequentially sent to the tracking processing device 4.
  • the in-camera tracking process is not limited to the above method.
  • a set (region) of pixels in which a motion is caused by a difference between frames may be detected as a person in a photographed image whose photographing time varies.
  • tracking information in the camera is obtained for each person.
  • the tracking processing device 4 is composed of a PC connected to the in-camera tracking processing device 3 through a network such as a dedicated cable or LAN, but is not limited to this, and an electronic device in which a server or a microcomputer for executing the tracking processing is incorporated. May be configured.
  • the tracking processing device 4 includes a storage unit (storage unit) 21 that stores in-camera tracking information sequentially input from the in-camera tracking processing device 3, and a tracking condition setting that sets processing conditions in the tracking processing device 4 based on user input information. Part 23. User input information is input by the user via the input unit 22.
  • the invalid area setting unit 35 sets an invalid area in the captured image (shooting range) of each camera 2 based on the user input information, and the operation mode selection unit (operation mode selection means) 36 Then, the operation mode (first operation mode or second operation mode) of the association processing unit 27 is selected based on the user input information.
  • the tracking processing device 4 also relates to each camera 2 with a similarity calculation unit (similarity calculation means) 24 that calculates the mutual similarity of the plurality of in-camera tracking information, and the position of the person in the plurality of in-camera tracking information.
  • a movement direction calculation unit (movement direction calculation means) 25 that calculates a movement direction vector of the person and a plurality of in-camera tracking information are narrowed down for each camera 2 (that is, inappropriate in-camera tracking information)
  • a narrowing unit (narrowing means) 26 for extracting tracking information (hereinafter referred to as “inter-camera tracking information”) to be used for the tracking processing of the person between the cameras 2, and the extracted camera
  • an association processing unit (association processing means) 27 for associating a person in a captured image between the cameras 2, and the person of the person by the association processing unit 27 Together presenting respond with results to the user, and a corresponding tracking result presentation unit for the appropriateness of the correlation result is determined to
  • the output unit 29 includes a liquid crystal display
  • the input unit 22 includes a keyboard and a mouse, but is not limited thereto.
  • the output unit 29 and the input unit 22 are configured using other devices such as a touch panel display. May be.
  • the user input information includes information on the position and size of the invalid area in the captured image, which will be described later, and selection information on the operation mode (here, high-precision mode or high-speed mode) for the association processing of the association processing unit 27. Is included at least.
  • the inter-camera tracking information in addition to information of a person image (pixel information of a person area) photographed by the camera 2, related information such as a position of the person associated with the person, a shooting time, and a vector of the person's moving direction Is included.
  • the information on the position of the person is constituted by a position history of the person area (person movement trajectory).
  • the position of the person can be specified by various known methods.
  • the coordinates of the head of the person are used as the reference position of the person.
  • the tracking condition setting unit 23 has a GUI (Graphical User Interface) function. As shown in FIG. 3, on the user input screen displayed on the output unit 29, the user can track the tracking condition and the like via the input unit 22. The user input information can be input. In the operation mode selection screen relating to the association processing in FIG. 3A, the user clicks a mouse to a high accuracy mode (first operation mode) that prioritizes processing accuracy and a high speed mode (second operation mode) that prioritizes processing speed. You can choose either.
  • first operation mode high accuracy mode
  • second operation mode high speed mode
  • the user can set the invalid area 31 in the captured image (imaging range) 30. More specifically, the user can drag the mouse pointer over an area where a valid human image cannot be obtained while observing the captured image, thereby dragging the invalid area 31 (indicated by shading in the captured image 30). Rectangular area) can be set.
  • the invalid area 31 is held as a candidate area until it is confirmed by the user (for example, when the user presses a confirmation button (not shown)), and the user can perform resetting (correction of position and size) in a timely manner.
  • the user can move the invalid area 31 by dragging the mouse pointer over the invalid area 31 (candidate area), and the ⁇ shown in each side defining the invalid area 31
  • the size of the invalid area 31 can be changed by dragging the mouse pointer over any of the (black square) marks.
  • the present invention is not limited to this, and the user may set (or reset) the invalid area 31 by inputting coordinates that define the invalid area 31 (for example, coordinates of four corners of the rectangular area).
  • the vicinity of the fence 32, the utility pole 33, and the roadside tree 34 where the occlusion is likely to occur can be set as an invalid area. Accordingly, the periphery of other obstacles (such as buildings and fixtures) can be set as an invalid area.
  • the invalid area is not limited to an area where the occlusion is likely to occur, but an area where the direction of the person is different from other places (for example, a place such as a path whose direction is different from the main passage), or a dark area (for example In other words, it is possible to set an area where the reliability of the image cannot be sufficiently obtained by being located in the peripheral portion of the shooting range of the camera.
  • FIG. 3B only one rectangular invalid area 31 is shown.
  • the invalid area 31 can be set in an arbitrary shape and an arbitrary number (including 0).
  • the information on the position and size of the invalid area 31 that has been set constitutes a part of setting data relating to the tracking processing conditions that will be described in detail later, and is stored in the storage unit 21 as an invalid area map associated with each camera 2. .
  • the similarity calculation unit 24 evaluates the similarity between the tracking information in the camera by comparing the person images for the tracking information in the camera. More specifically, the similarity calculation unit 24 creates an RGB color histogram for the entire human region or for each partial region obtained by dividing the human region, and calculates the similarity using a Bhattacharyya coefficient. The color histogram is normalized to make it less susceptible to differences in person area size. Further, when the person area is divided, the similarity between the color histograms is compared based on the average of the similarity of each area.
  • the similarity calculation (similarity evaluation) by the similarity calculation unit 24 is not limited to the one shown here, and other known methods can be used. However, the use of the color histogram has an advantage that it is possible to avoid the problem of the difference in size between human images.
  • the similarity calculation unit 24 uses a publicly known method (for example, using feature quantities relating to the outer shape of the head, torso, legs, etc. that are common to the person) and an evaluation area (for example, the head and torso) of the person image. And the similarity may be calculated for the evaluation region.
  • the narrowing-down unit 26 can acquire the invalid area map set by the invalid area setting unit 35 and narrow down a plurality of in-camera tracking information based on the invalid area map.
  • the narrowing-down unit 26 eliminates the tracking information in the camera related to the person existing in the invalid area set by the user, so that the tracking information in the camera that is not suitable for the tracking processing between the cameras 2 is subject to the tracking processing. Almost and reliably excluded from
  • the narrowing-down unit 26 can acquire the similarity calculated by the similarity calculation unit 24, and can narrow down a plurality of in-camera tracking information based on the similarity.
  • the narrowing-down unit 26 narrows down a plurality of in-camera tracking information based on the degree of similarity between them, and thereby performs in-camera tracking information that is not suitable for the tracking process between the cameras 2 (the orientation of the person is different from that of other images). Different images, images with occlusions, etc.) are easily and reliably excluded from the target of the tracking process.
  • the narrowing-down unit 26 can acquire the moving direction vector calculated by the moving direction calculating unit 25 and can narrow down a plurality of in-camera tracking information based on the moving direction vector. In other words, since the angle of the moving direction vector indicating the moving direction of the person tends to coincide with the direction of the person, the narrowing-down unit 26 extracts the tracking information in the camera having a high degree of matching between the angles of the moving direction vector between the cameras. By extracting as tracking information, the accuracy of the tracking process between the cameras 2 is improved.
  • each of the units 23 to 28 in the tracking processing device 4 includes a CPU (Central Processing Unit) that performs calculation and control according to a predetermined program (tracking processing program or the like), and a ROM (Read Only Memory) and RAM (read only memory) functioning as work memory.
  • the storage unit 21 may be any storage unit that can store information necessary for the tracking process in the tracking processing device 4 at least temporarily.
  • the storage unit 21 is composed of a hard disk here, but is not limited thereto. The storage device can be used.
  • FIG. 4 is a flowchart showing the flow of the tracking process by the tracking processing device
  • FIG. 5 is a flowchart showing the details of step ST102 in FIG. 4
  • FIGS. 6, 7 and 8 are respectively in FIG.
  • FIG. 9 is an explanatory diagram showing an overview of the processing in steps ST201, ST202, and ST203
  • FIG. 9 is a diagram showing an example of a screen display related to the presentation of the tracking result in step ST106 in FIG.
  • the tracking condition setting unit 23 creates setting data related to the tracking process condition based on the user input information input by the user (ST101).
  • the setting data created here includes at least the invalid area map described above and the operation mode selection information of the association processing unit 27.
  • the tracking condition setting unit 23 does not necessarily need to newly create setting data, and can partially correct or divert the setting data created in the past processing.
  • the narrowing-down unit 26 performs the process of narrowing down the tracking information in the camera for each camera 2 (ST102).
  • the narrowing-down unit 26 narrows down a plurality of in-camera tracking information based on the invalid area map (ST201).
  • ST201 for example, as shown in FIG. 6, the positional relationship of the persons a1 to a6 in the captured image 30 with the invalid area 31 (see also FIG. 3B) set by the user is compared, and the invalidity is obtained.
  • the in-camera tracking information regarding the persons a1 to a3 determined to exist in the area 31 is excluded, and the tracking information within the camera regarding the persons a4 to a6 is narrowed down.
  • whether or not the persons a1 to a6 are present in the invalid area 31 is determined depending on whether or not the entire person area relating to each of the persons a1 to a6 is located in the invalid area 31.
  • various methods can be employed.
  • the narrowing-down unit 26 may perform the determination based on whether or not the reference coordinates (for example, the center coordinates of the head) in the person area are present in the invalid area 31.
  • FIGS. 7A, 8A, and 8B described later are also included. The same.
  • the narrowing-down unit 26 narrows down a plurality of in-camera tracking information based on the similarity acquired from the similarity calculation unit 24 (ST202).
  • the similarity calculation unit 24 calculates the mutual similarity for the persons b1 to b4 in the captured image 30 shown in FIG.
  • FIG. 7A a plurality of persons in the photographed image 30 are simplified by circles (corresponding to substantially heads) and ellipses (corresponding to approximately trunks and legs) (described later in FIG. 8). The same applies to.)
  • FIG. 7B is a table summarizing mutual similarities.
  • the similarity of the person b1 (vertical square) to each of the persons b2, b3, and b4 (horizontal square) is 76, 72, 71, and the total of their similarities is 219.
  • the magnitude of each numerical value indicates the degree of similarity.
  • the sum of the similarities of the persons b2, b3, and b4 (vertical squares) is 254, 247, and 248, respectively.
  • the difference in the similarity between the persons b1 to b4 shown in FIG. 7B is due to the occurrence of occlusion, false detection of the person, and the like.
  • the narrowing-down unit 26 uses the total similarity shown in FIG. 7B as the evaluation value used in the process of ST202. Then, the narrowing down unit 26 excludes the tracking information in the camera related to the person b1 having the smallest sum of similarities, and narrows down the tracking information in the camera to those related to the persons b2 to b4.
  • the similarity is evaluated for the persons b1 to b4.
  • the configuration is such that the person b1 with the smallest evaluation value (total similarity) is excluded.
  • a predetermined threshold is set for the evaluation value, and the tracking information in the camera related to the person that does not satisfy the threshold is set.
  • a configuration that excludes all is also possible. Or you may extract the tracking information in a camera regarding one person (here person b2) with the highest evaluation value as tracking information between cameras (all others are excluded).
  • ST202 is performed independently of the narrowing-down process of ST201, but the process of ST202 can also be executed for the persons narrowed down in ST201 (for example, persons a4 to a6 in FIG. 6). In that case, the processing order of ST201 and ST202 can be changed.
  • the narrowing-down unit 26 narrows down a plurality of in-camera tracking information based on the moving direction vector acquired from the moving direction calculating unit 25 (ST203).
  • ST203 the narrowing-down process of ST203, as shown in FIG. 8A, the movement direction vectors vc1 to vc7 of the persons c1 to c7 are acquired for the captured image 30a of the first camera 2a, and the shooting of the second camera 2b is performed.
  • the movement direction vectors vd1 to vd5 of the persons d1 to d5 are acquired.
  • moving direction vectors vc1 to vc7 and moving direction vectors vd1 to vd5 are calculated based on the coordinates of a specific part (here, the top of the head) of the person whose shooting time is around (that is, around time in the movement locus).
  • the narrowing-down unit 26 compares the angles of the movement direction vectors vc1 to vc7 in the captured image of the first camera 2a with the angles of the movement direction vectors vd1 to vd5 in the captured image of the second camera 2b, respectively, and the degree of coincidence thereof is the highest.
  • In-camera tracking information relating to a person here, person c4 and person d3 having a moving direction vector (the angle between them being the smallest) is a pair of inter-camera tracking information (that is, a target of tracking processing between cameras). select.
  • the peripheral portions 41a and 41b of the captured images 30a and 30b painted with diagonal lines cause distortion of the subject. Since the reliability of the image is lowered, it is preferable to exclude the persons c1 and c8 and the persons d1 and d6 located at the peripheral portions 41a and 41b from the selection target in advance. Further, it is preferable that the narrowing-down unit 26 determines the magnitude of the moving direction vector, and excludes the vector having a magnitude equal to or smaller than a predetermined threshold from the processing target in ST203. As a result, it is possible to avoid a decrease in the reliability of the angle of the movement vector when the person moves at a low speed or is stationary.
  • ST203 is performed independently of the narrowing-down process of ST201 and ST202, the process of ST203 can be executed for a person image narrowed down by at least one of ST201 and ST202. In that case, the processing order of ST201 to ST203 can be changed.
  • the association processing unit 27 confirms the operation mode selected based on the setting data (ST103), and when the high accuracy mode is selected (Yes), the camera extracted in ST102 Based on the inter-tracking information, a person is associated between the cameras 2 (ST104).
  • one inter-camera tracking information is extracted for each camera 2 (that is, a plurality of in-camera tracking information is excluded except for one), but two or more inter-camera tracking is performed from each camera 2.
  • a configuration in which information is extracted is also possible.
  • the association processing unit 27 associates persons between the cameras 2 based on the plurality of in-camera tracking information before being processed in ST102 ( ST105).
  • a person is associated between the cameras 2 based on one in-camera tracking information appropriately selected from a plurality of in-camera tracking information.
  • the association processing unit 27 selects one in-camera tracking information (for example, the earliest or latest shooting time) based on the shooting time of a predetermined person detected from the shot image of each camera 2. be able to.
  • the tracking result presentation unit 28 presents the result of the association process in ST104 or ST105 to the user (ST106).
  • ST106 as shown in FIG. 9, the person images e1 and e2 in the pair of in-camera tracking information associated between the two cameras are displayed on the screen.
  • the user visually checks whether the person images e1 and e2 belong to the same person, and if it is determined that they belong to the same person, presses the “Yes” button 45 to approve the association. On the other hand, if it is determined that they are not the same person, the association can be rejected by pressing the “No” button 46.
  • the process may be terminated as being impossible to be associated, but preferably, a plurality of person images that are candidates for association are displayed, and the person image most suitable for the user among them is displayed. It is good to select and confirm the result of a matching process.
  • the process of ST106 may be executed not only to associate one in-camera tracking information of each camera with each other but also to associate a plurality of in-camera tracking information of each camera with each other. Further, the processes of ST104 and ST105 are similarly executed between other different cameras.
  • FIG. 10 is an explanatory view showing a modified example of the invalid area setting in the tracking processing device.
  • the invalid area 31 is set by the user, but the tracking processing device 4 can set the invalid area (or its candidate area) from the past tracking process result. .
  • the tracking processing device 4 sequentially stores the results of past narrowing processing in the storage unit 21 in order to set an invalid area. That is, the storage unit 21 stores data such as the coordinate information of the person area regarding the tracking information in the camera that has been excluded in the past by ST201 to ST203 (or at least one of them) in FIG. Yes. As shown in FIG. 10, the invalid area setting unit 35 determines the appearance frequency of persons (persons f1 to f6 in FIG. 10) in the in-camera tracking information excluded from the captured image 30 based on the result of past narrowing processing. A rectangular area surrounding the high area can be set as the invalid areas 51 and 52.
  • the estimation accuracy of the invalid areas 51 and 52 can be further improved by considering the shooting time of the excluded tracking information in the camera (that is, refer to only the result of the narrowing-down process related to the person shot in the same time zone). Rise.
  • the invalid areas 51 and 52 can be reset by the user in the same manner as the invalid area 31 shown in FIG.
  • the tracking processing device, the tracking processing system including the tracking processing method, and the tracking processing method according to the present invention improve the accuracy of tracking processing between the cameras when tracking a moving object using captured images from a plurality of cameras. This is useful as a tracking processing apparatus for tracking a moving object using images captured by a plurality of cameras, a tracking processing system including the tracking processing apparatus, a tracking processing method, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)

Abstract

複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、カメラ間での追尾処理の精度を向上させる。 そのために、追尾処理装置４が、各カメラ２に関し、撮影画像から取得された人物Ｈの画像情報を含む複数のカメラ内追尾情報を記憶する記憶部２１と、複数のカメラ内追尾情報の絞り込みを行うことにより、複数のカメラ間での人物の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み部２６と、カメラ間追尾情報に基づき、複数のカメラ間で撮影画像における人物の対応付けを行う対応付け処理部２７とを備えた構成とする。

Description

追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
　本発明は、複数のカメラによる撮影画像を用いて移動物体を追尾するための追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法に関する。
　従来、広域にわたって人物や車両等の移動物体を監視するために、移動物体が通行する複数の場所に設置されたカメラの撮影画像を取得し、それら撮影画像を用いて各カメラ内または複数のカメラ間で移動物体を追尾する追尾処理装置が存在する。この追尾処理装置による移動物体の追尾では、カメラと移動物体（追尾対象）との位置関係によってオクルージョン（すなわち、各カメラの撮影において手前に存在する他の物体によって背後の追尾対象が隠されてしまう状態）が発生し、その結果、撮影画像に基づく移動物体の追尾が困難となる場合がある。
　そこで、そのようなオクルージョン等の影響を低減して高精度の追尾を可能とする技術が開発されている。例えば、互いに異なる視点から監視空間を撮影する複数のカメラを備え、現時刻における移動物体の予測位置と１つの監視カメラとの組み合わせを表した複数の仮説を設定し、尤度の高い仮説（すなわち、移動物体の追尾に適した仮説）に基づいて現時刻における移動物体の位置を求める追尾処理装置が知られている（特許文献１参照）。
特開２０１０－４９２９６号公報
　ところで、カメラの視野（撮影範囲）には、監視空間に存在する障害物（壁及び柱等の建築物や、什器等）によって死角が生じることがあり、上記特許文献１に記載された従来技術では、そのような死角等を除いた範囲が有効撮影範囲として定められている。
　しかしながら、そのような有効撮影範囲においても、移動物体の向きが変化するなどして追尾処理に適さない追尾情報が撮影画像から取得される場合があり、特許文献１に記載された従来技術では、そのような追尾処理に適さない追尾情報が用いられると、複数のカメラ間での追尾対象の対応付けが難しくなって追尾処理の精度が著しく低下してしまうという問題がある。
　本発明は、このような従来技術の課題を鑑みて案出されたものであり、複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、当該カメラ間での追尾処理の精度を向上させることを可能とした追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法を提供することを主目的とする。
　本発明の追尾処理装置は、複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理装置であって、前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を記憶する記憶手段と、前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み手段と、前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理手段とを備えたことを特徴とする。
　本発明によれば、複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、各カメラ間での追尾処理の精度を向上させることが可能となる。
本発明の実施形態に係る追尾処理システムの構成図 追尾処理システムにおけるカメラ配置の一例を示す説明図 追尾処理システムのユーザによる（Ａ）動作モード選択および（Ｂ）無効領域設定の説明図 図１に示した追尾処理装置による追尾処理の流れを示すフロー図 図４中のステップＳＴ１０２の詳細を示すフロー図 図５中のステップＳＴ２０１における処理の概要を示す説明図 図５中のステップＳＴ２０２における処理の概要を示す説明図 図５中のステップＳＴ２０３における処理の概要を示す説明図 図４中のステップＳＴ１０６の追尾結果の提示に関する画面表示の一例を示す図 追尾処理装置における無効領域設定の変形例を示す説明図
　上記課題を解決するためになされた第１の発明は、複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理装置であって、前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を記憶する記憶手段と、前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み手段と、前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理手段とを備えたことを特徴とする。
　この第１の発明に係る追尾処理装置によれば、複数のカメラによる撮影画像を用いて移動物体（追尾対象）を追尾する場合に、各カメラにおけるカメラ内追尾情報の絞り込み（すなわち、複数のカメラ間での追尾処理に適さないものを排除すること）を行って複数のカメラ間での追尾処理に用いるカメラ間追尾情報を抽出することにより、複数のカメラ間での追尾処理（移動物体の対応付け処理）の精度を向上させることが可能となる。
　また、第２の発明では、上記第１の発明において、前記移動物体の画像情報について前記複数のカメラ内追尾情報の相互の類似度を算出する類似度算出手段を更に備え、前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記類似度が相対的に低いカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする。
　この第２の発明に係る追尾処理装置によれば、複数のカメラ内追尾情報について相互の類似度に基づき絞り込みを行うため、複数のカメラ間での追尾処理に適さないカメラ内追尾情報（オクルージョン等の問題が発生した移動物体の画像情報を含むもの）を処理対象から簡易かつ確実に除外することができる。
　また、第３の発明では、上記第１または第２の発明において、前記各カメラに関し、前記撮影画像における無効領域を設定する無効領域設定手段を更に備え、前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記無効領域内に位置する前記移動物体に関するカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする。
　この第３の発明に係る追尾処理装置によれば、予め設定した無効領域（例えば、障害物が存在する領域）内に位置する移動物体に関するカメラ内追尾情報を排除するため、複数のカメラ間での追尾処理に適さないカメラ内追尾情報を処理対象から簡易かつ確実に除外することができる。
　また、第４の発明では、上記第３の発明において、前記無効領域は、ユーザによって再設定可能であることを特徴とする。
　この第４の発明に係る追尾処理装置によれば、予め設定された無効領域をユーザが再設定可能であるため、無効領域の精度が向上し、複数のカメラ間での追尾処理に適さないカメラ内追尾情報を処理対象からより確実に除外することができる。
　また、第５の発明では、上記第３または第４の発明において、前記無効領域設定手段は、前記絞り込み手段によって過去に排除された前記カメラ内追尾情報に関する前記移動物体の位置情報に基づき、前記無効領域を設定することを特徴とする。
　この第５の発明に係る追尾処理装置によれば、過去に排除されたカメラ内追尾情報に関する移動物体の位置情報を利用して無効領域を設定するため、無効領域を簡易かつ高精度に設定することが可能となる。
　また、第６の発明では、上記第１から第５の発明のいずれかにおいて、前記対応付け処理手段の処理に関し、処理精度を優先する第１動作モードと、処理速度を優先する第２動作モードとを選択する動作モード選択手段を更に備え、前記対応付け処理手段は、前記第１動作モードが選択された場合、前記カメラ間追尾情報に基づき前記移動物体の対応付けを行う一方、前記第２動作モードが選択された場合、前記カメラ内追尾情報に基づき前記移動物体の対応付けを行うことを特徴とする。
　この第６の発明に係る追尾処理装置によれば、処理精度と処理速度との優先度合いに応じて、対応付け処理手段の処理を適切に実行することができる。
　また、第７の発明では、上記第１から第６の発明のいずれかにおいて、前記複数のカメラ内追尾情報における前記移動物体の位置情報に基づき、当該移動物体の移動方向ベクトルを算出する移動方向算出手段を更に備え、前記絞り込み手段は、前記複数のカメラ間での前記移動方向ベクトルの角度の一致度合いに基づき、前記カメラ間追尾情報を抽出することを特徴とする。
　この第７の発明に係る追尾処理装置によれば、移動物体の移動方向ベクトルの角度は移動物体の向きと一致する傾向にあるため、移動方向ベクトルの角度について相互に一致度合いが高いカメラ内追尾情報をカメラ間追尾情報として抽出することにより、各カメラ間での追尾処理の精度を向上させることが可能となる。
　また、第８の発明では、上記第１から第７の発明のいずれかにおいて、前記対応付け処理手段による前記移動物体の対応付け結果をユーザに提示すると共に、当該対応付け結果の適否をユーザに判定させる結果提示手段を更に備えたことを特徴とする。
　この第８の発明に係る追尾処理装置によれば、移動物体の対応付け結果の適否についてユーザに判定させるため、複数のカメラ間での追尾処理の精度をより向上させることが可能となる。
　また、第９の発明は、上記第１から第８の発明のいずれかに係る追尾処理装置と、前記複数のカメラと、前記カメラ内追尾情報を生成するカメラ内追尾装置とを備えた追尾処理システムである。
　また、第１０の発明は、複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理方法であって、前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を取得する追尾情報取得ステップと、前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する追尾情報絞り込みステップと、前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理ステップとを有することを特徴とする。
　以下、本発明の実施の形態について図面を参照しながら説明する。
　図１は本発明の実施形態に係る追尾処理システムの構成図であり、図２は追尾処理システムにおけるカメラ配置の一例を示す説明図であり、図３は追尾処理システムのユーザによる（Ａ）動作モード選択および（Ｂ）無効領域設定の説明図である。
　追尾処理システム１は、追尾対象となる人物や自動車等の移動物体を撮影する複数（ここでは、３台）のカメラ２と、各カメラ２にそれぞれ接続され、各カメラ２の撮影画像における移動物体の追尾処理（以下、「カメラ内追尾処理」という。）を行うカメラ内追尾処理装置３と、それらカメラ内追尾処理装置３による移動物体の追尾処理の結果（以下、「カメラ内追尾情報」という。）を取得し、複数のカメラ２間での追尾処理を行うカメラ間追尾処理装置４とを主として備える。なお、以下では、カメラ間での追尾処理およびカメラ間追尾処理装置４について、単に「追尾処理」および「追尾処理装置４」と称し、カメラ内追尾処理およびカメラ内追尾処理装置３とは区別する。
　複数のカメラ２は、それぞれ監視用のビデオカメラからなり、カメラ内追尾処理装置３に対して複数の撮影画像（カラー動画）を順次送出する。各カメラ２は、監視が必要な場所を撮影可能なように、建物等の壁や天井などに設置される。本実施形態では、図２に示すように、通路１１を矢印の方向に通行する人物（移動物体）Ｈを追尾対象とし、撮影される人物Ｈの大きさや角度（身体の向き）が同程度となるように、各カメラ２の配置（すなわち、人物が移動する通路等の位置と各カメラとの位置関係）が定められている。また、各カメラ２は、撮影される人物Ｈの大きさや角度を調節するために、パン・チルト機能やズーム機能を備えている。
　各カメラ２の撮影方向は、ここでは鉛直方向（図面の上下方向）に対して斜め下方に傾斜して配置されているが、少なくとも追尾処理に必要な人物画像を取得可能な限りにおいて、各カメラ２の撮影方向は任意である。また、ここでは複数のカメラ２の視野（撮影範囲）１２は互いに重複しないが、必要に応じて撮影視野を重複させた構成も可能である。さらに、追尾処理システム１に用いられるカメラの数は必要に応じて変更可能である。
　カメラ内追尾処理装置３は、専用ケーブルやＬＡＮ等のネットワークによってカメラ２に接続されたＰＣ（Personal Computer）からなるが、これに限らずサーバや、追尾処理を実行するマイクロコンピュータが組み込まれた電子機器等から構成されてもよい。ここでは各カメラ２に対して１台のカメラ内追尾処理装置３を設けたが、これに限らず複数のカメラ２の撮影画像を１台のカメラ内追尾処理装置３を用いてそれぞれ個別に処理してもよい。また、各カメラ２や後に詳述する追尾処理装置４にカメラ内追尾処理装置３の機能を付加した構成も可能である。
　カメラ内追尾処理装置３は、カメラ２から入力した映像信号（撮影画像）に基づき、撮影された人物のカメラ内追尾処理を行う。このカメラ内追尾処理は、公知の人物追尾（追跡）技術を用いて行われる。例えば、カメラ内追尾処理装置３は、カメラ２の撮影画像と事前に取得した背景画像とを比較（画素毎の輝度値の差分を計算）すること（背景差分）により移動物体が存在する変化領域を抽出する。背景画像は、移動物体の写っていない撮影画像であり、各カメラ２によって事前に撮影されたものである。そして、カメラ内追尾処理装置３は、その変化領域において、公知の特徴量（例えば、ＨＯＧ（Histogram of Oriented Gradient ）特徴量）を用いて人物および背景の一部を包含する矩形の人物領域を検出する。また、カメラ内追尾処理装置３は、撮影画像毎に人物領域を検出し、公知のテンプレートマッチングや追跡フィルタ（例えば、パーティクルフィルタ）を用いて人物領域を追尾する。カメラ内追尾処理装置３は、検出した各人物画像（人物領域の画素情報）の情報及びその関連情報（人物の位置情報等）をカメラ内追尾情報として所定のメモリに格納する。
　上記カメラ内追尾処理によって得られた複数のカメラ内追尾情報は、追尾処理装置４に対して順次送出される。なお、カメラ内追尾処理は上記の方法に限らず、例えば、撮影時間が前後する撮影画像において、フレーム間差分により動きが生じた画素の集合（領域）を人物として検出してもよい。撮影画像に異なる人物が複数存在する場合には、各人物についてカメラ内追尾情報が得られる。
　追尾処理装置４は、専用ケーブルやＬＡＮ等のネットワークによってカメラ内追尾処理装置３に接続されたＰＣからなるが、これに限らずサーバや、追尾処理を実行するマイクロコンピュータが組み込まれた電子機器等から構成されてもよい。追尾処理装置４は、カメラ内追尾処理装置３から順次入力するカメラ内追尾情報を記憶する記憶部（記憶手段）２１と、ユーザ入力情報に基づき追尾処理装置４における処理条件を設定する追尾条件設定部２３とを有している。ユーザ入力情報は、ユーザによって入力部２２を介して入力される。追尾条件設定部２３において、無効領域設定部３５は、ユーザ入力情報に基づき各カメラ２の撮影画像（撮影範囲）における無効領域を設定し、また、動作モード選択部（動作モード選択手段）３６は、ユーザ入力情報に基づき対応付け処理部２７の動作モード（第１動作モードまたは第２動作モード）を選択する。
　また、追尾処理装置４は、各カメラ２に関し、複数のカメラ内追尾情報の相互の類似度を算出する類似度算出部（類似度算出手段）２４と、複数のカメラ内追尾情報における人物の位置情報に基づき、人物の移動方向ベクトルを算出する移動方向算出部（移動方向算出手段）２５と、各カメラ２に関し、複数のカメラ内追尾情報の絞り込みを行う（すなわち、不適切なカメラ内追尾情報を排除する）ことにより、各カメラ２間での人物の追尾処理に用いるべき追尾情報（以下、「カメラ間追尾情報」という。）を抽出する絞り込み部（絞り込み手段）２６と、抽出されたカメラ間追尾情報に基づき、各カメラ２間で撮影画像における人物の対応付けを行う対応付け処理部（対応付け処理手段）２７と、この対応付け処理部２７による人物の対応付け結果をユーザに提示すると共に、当該対応付け結果の適否をユーザに判定させる追尾結果提示部（結果提示手段）２８とを有している。そして、追尾結果提示部２８での一連の人物の対応付け状況は出力部２９を介してユーザに提示される。
　出力部２９は液晶ディスプレイからなり、入力部２２はキーボードおよびマウスからなるが、これに限定されるものではなく、例えば、タッチパネルディスプレイなどの他の装置を用いて出力部２９および入力部２２を構成してもよい。
　ユーザ入力情報には、後述する撮影画像における無効領域の位置及びサイズの情報と、対応付け処理部２７の対応付けの処理についての動作モード（ここでは、高精度モードまたは高速モード）の選択情報とが少なくとも含まれる。
　カメラ間追尾情報には、カメラ２によって撮影された人物画像（人物領域の画素情報）の情報に加え、これに対応づけられた人物の位置、撮影時刻及び人物の移動方向のベクトルなどの関連情報が含まれる。人物の位置の情報は、人物領域の位置の履歴（人物の移動軌跡）によって構成される。人物の位置は、種々の公知の方法によって特定することができるが、ここでは、人の頭頂部の座標を人物の基準位置としている。
　追尾条件設定部２３は、ＧＵＩ（Graphical User Interface）機能を有しており、図３に示すように、ユーザは出力部２９に表示させたユーザ入力画面において、入力部２２を介して追尾条件等のユーザ入力情報の入力を行うことができる。図３（Ａ）の対応付け処理に関する動作モード選択画面では、ユーザは、マウスクリックによって処理精度を優先する高精度モード（第１動作モード）および処理速度を優先する高速モード（第２動作モード）のいずれかを選択することができる。
　図３（Ｂ）の無効領域設定画面では、ユーザは、撮影画像（撮影範囲）３０における無効領域３１を設定することが可能である。より詳細には、ユーザは、撮影画像を観察しながら有効な人物画像が得られないと考える領域にマウスポインタを重ねてドラッグすることにより、無効領域３１（撮影画像３０中に網掛けで示された矩形領域）を設定することができる。
　無効領域３１は、ユーザに確定される（例えば、ユーザが図示しない確定ボタンを押下する）までは候補領域として保持され、ユーザは適時再設定（位置やサイズの補正）を行うことが可能である。例えば、ユーザは、無効領域３１（候補領域）内にマウスポインタを重ねてドラッグすることにより無効領域３１を移動させることが可能であり、また、無効領域３１を画定する各辺に示された■（黒四角）印のいずれかにマウスポインタを重ねてドラッグすることにより無効領域３１のサイズを変更することができる。これに限らず、ユーザは、無効領域３１を定める座標（例えば、矩形領域の四隅の座標）を入力することにより、無効領域３１を設定（或いは再設定）してもよい。
　なお、図３（Ｂ）に示した例では、オクルージョンが発生し易い塀３２、電柱３３及び街路樹３４の周辺が無効領域として設定され得るが、これに限らず、ユーザは撮影エリアの状況に応じて他の障害物（建築物や什器等）の周辺を無効領域として設定することができる。また、無効領域としては、オクルージョンの発生し易い領域に限らず、人物の方向が他の場所とは異なる領域（例えば、主要な通路とは方向が異なる通路などの場所）や、暗い領域（例えば、日光や照明が遮られて人物が見え難い場所）や、カメラの撮影範囲の周縁部に位置することにより画像の信頼性が十分に得られない領域などが設定され得る。また、図３（Ｂ）では、１つの矩形の無効領域３１のみが示されているが、無効領域３１は任意の形状で任意の数（０の場合も含む）だけ設定することができる。設定された無効領域３１の位置やサイズの情報は、後に詳述する追尾処理条件に関する設定データの一部を構成し、各カメラ２に対応づけられた無効領域マップとして記憶部２１に記憶される。
　類似度算出部２４は、複数のカメラ内追尾情報について人物画像を比較することにより、カメラ内追尾情報の相互の類似度を評価する。より詳細には、類似度算出部２４は、人物領域の全体または人物領域を分割した部分領域毎のＲＧＢの色ヒストグラムを作成し、バタッチャリア（Bhattacharyya）係数を用いてそれらの類似度を算出する。色ヒストグラムは人物領域のサイズの違いによる影響を受け難くするために正規化される。また、人物領域を分割した場合には、各領域の類似度の平均によって色ヒストグラム間の類似度が比較される。
　なお、類似度算出部２４による類似度の算出（類似性の評価）は、ここに示したものに限らず、他の公知の方法を用いることができる。ただし、色ヒストグラムを用いることにより、人物画像間のサイズの違いの問題が生じることを回避できるという利点がある。また、類似度算出部２４は、公知の方法（例えば人物に共通して存在する頭部、胴、脚等の外形に関する特徴量を用いて）人物画像の評価領域（例えば、頭部および胴）を特定し、その評価領域について類似度を算出してもよい。
　後に詳述するが、絞り込み部２６は、無効領域設定部３５によって設定された無効領域マップを取得し、この無効領域マップに基づき複数のカメラ内追尾情報の絞り込みを行うことができる。つまり、絞り込み部２６は、ユーザによって設定された無効領域内に存在する人物に関するカメラ内追尾情報を排除することにより、各カメラ２間での追尾処理に適さないカメラ内追尾情報を追尾処理の対象から簡易かつ確実に除外する。
　また、絞り込み部２６は、類似度算出部２４によって算出された類似度を取得し、この類似度に基づき複数のカメラ内追尾情報の絞り込みを行うことができる。つまり、絞り込み部２６は、複数のカメラ内追尾情報について相互の類似度に基づき絞り込みを行うことにより、各カメラ２間での追尾処理に適さないカメラ内追尾情報（人物の向きが他の画像とは異なる画像や、オクルージョンが発生した画像等）を追尾処理の対象から簡易かつ確実に除外する。
　また、絞り込み部２６は、移動方向算出部２５によって算出された移動方向ベクトルを取得し、この移動方向ベクトルに基づき複数のカメラ内追尾情報の絞り込みを行うことができる。つまり、人物の進行方向を示す移動方向ベクトルの角度は、人物の向きと一致する傾向にあるため、絞り込み部２６は、移動方向ベクトルの角度について相互に一致度合いが高いカメラ内追尾情報をカメラ間追尾情報として抽出することにより、各カメラ２間での追尾処理の精度を向上させる。
　図示は省略するが、追尾処理装置４における各部２３～２８は、所定のプログラム（追尾処理用のプログラム等）に従って演算および制御を行うＣＰＵ（Central Processing Unit）、制御プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークメモリとして機能するＲＡＭ（read only memory）等によって実現される。また、記憶部２１は、追尾処理装置４における追尾処理に必要な情報を少なくとも一時的に記憶可能なものであればよく、ここではハードディスクからなるが、これに限らず、光ディスクやフラッシュメモリなど他の記憶装置を用いることができる。
　図４は追尾処理装置による追尾処理の流れを示すフロー図であり、図５は図４中のステップＳＴ１０２の詳細を示すフロー図であり、図６、図７及び図８はそれぞれ図５中のステップＳＴ２０１、ＳＴ２０２及びＳＴ２０３の処理の概要を示す説明図であり、図９は図４中のステップＳＴ１０６の追尾結果の提示に関する画面表示の一例を示す図である。
　図４に示すように、追尾処理では、まず追尾条件設定部２３は、ユーザによって入力されたユーザ入力情報に基づき、追尾処理条件に関する設定データを作成する（ＳＴ１０１）。ここで作成される設定データには、上述の無効領域マップと、対応付け処理部２７の動作モードの選択情報とが少なくとも含まれる。なお、ＳＴ１０１では、追尾条件設定部２３は、必ずしも設定データを新規に作成する必要はなく、過去の処理で作成された設定データを一部修正したりそのまま流用したりすることが可能である。
　次に、絞り込み部２６は、各カメラ２に関し、カメラ内追尾情報の絞り込み処理を行う（ＳＴ１０２）。この絞り込み処理では、図５に示すように、絞り込み部２６は、無効領域マップに基づき複数のカメラ内追尾情報の絞り込みを行う（ＳＴ２０１）。ＳＴ２０１では、例えば図６に示すように、撮影画像３０中の人物ａ１～ａ６について、ユーザによって設定された無効領域３１（図３（Ｂ）を併せて参照）との位置関係を比較し、無効領域３１内に存在すると判定した人物ａ１～ａ３に関するカメラ内追尾情報を排除し、人物ａ４～ａ６に関するカメラ内追尾情報に絞り込む。
　ここで、人物ａ１～ａ６が無効領域３１内に存在するか否かは、人物ａ１～ａ６の各々に関する人物領域の全体が無効領域３１内に位置するか否かによって判定されるが、これに限らず、種々の方法を採用することができる。例えば、絞り込み部２６は、人物領域における基準座標（例えば、頭部の中心座標）が無効領域３１内に存在するか否かによってその判定を行ってもよい。
　また、図６では、説明の便宜上、１枚の撮影画像３０中に複数の人物ａ１～ａ６（すなわち、図面奥側から手前側に歩いてくる同一人物の移動軌跡）を示しているが、実際には、人物ａ１～ａ６は複数の撮影画像（例えば、動画を構成する複数のフレーム）にそれぞれ存在する（後述する図７（Ａ）及び図８（Ａ）、（Ｂ）中の人物についても同様。）。
　再び図５を参照して、絞り込み部２６は、類似度算出部２４から取得した類似度に基づき複数のカメラ内追尾情報の絞り込みを行う（ＳＴ２０２）。ＳＴ２０２では、図７（Ａ）に示す撮影画像３０中の人物ｂ１～ｂ４について、類似度算出部２４によって相互の類似度が算出される。図７（Ａ）では、撮影画像３０中の複数の人物は円（略頭部に相当）と楕円（略胴部及び脚部に相当）とにより簡略化して示されている（後述する図８についても同様。）。図７（Ｂ）は相互の類似度をまとめた表であり、この表では、例えば、人物ｂ２、ｂ３及びｂ４（横のマス）の各々に対する人物ｂ１（縦のマス）の類似度は、それぞれ７６、７２、７１であり、それらの類似度の総計は２１９である。各数値の大きさは、類似性の高さを示している。同様に、人物ｂ２、ｂ３及びｂ４（縦のマス）の類似度の総計は、それぞれ２５４、２４７及び２４８である。
　図７（Ｂ）に示した人物ｂ１～ｂ４の類似度の差異は、オクルージョンの発生や人物の誤検出等に起因するものである。絞り込み部２６は、ＳＴ２０２の処理に用いる評価値として図７（Ｂ）に示した類似度の総計を用いる。そして、絞り込み部２６は、その類似度の総計が最も小さい人物ｂ１に関するカメラ内追尾情報を排除し、カメラ内追尾情報を人物ｂ２～ｂ４に関するものに絞り込む。
　なお、図７（Ａ）における撮影画像３０中には、人物ｂ１～ｂ４以外の複数の人物（移動軌跡）が存在するが、ここでは、説明の便宜上、人物ｂ１～ｂ４について類似度を評価している。また、ここでは、評価値（類似度の総計）が最も小さい人物ｂ１について排除する構成としたが、例えば、評価値について所定の閾値を設定し、その閾値に満たない人物に関するカメラ内追尾情報の全てを排除する構成も可能である。或いは、最も評価値の高い１つの人物（ここでは、人物ｂ２）に関するカメラ内追尾情報をカメラ間追尾情報として抽出（他は全て排除）してもよい。また、ＳＴ２０２は、上記ＳＴ２０１の絞り込み処理とは独立して実施されるが、ＳＴ２０１で絞り込まれた人物（例えば、図６中の人物ａ４～ａ６）について、ＳＴ２０２の処理を実行することもできる。その場合、ＳＴ２０１とＳＴ２０２の処理順序は変更可能である。
　再び図５を参照して、絞り込み部２６は、移動方向算出部２５から取得した移動方向ベクトルに基づき複数のカメラ内追尾情報の絞り込みを行う（ＳＴ２０３）。このＳＴ２０３の絞り込み処理では、図８（Ａ）に示すように、第１カメラ２ａの撮影画像３０ａについて、人物ｃ１～ｃ７の移動方向ベクトルｖｃ１～ｖｃ７が取得され、また、第２カメラ２ｂの撮影画像３０ａについて、人物ｄ１～ｄ５の移動方向ベクトルｖｄ１～ｖｄ５が取得される。これら移動方向ベクトルｖｃ１～ｖｃ７および移動方向ベクトルｖｄ１～ｖｄ５は、撮影時刻が前後する（すなわち、移動軌跡において時間的に前後する）人物の特定部位（ここでは、頭頂部）の座標に基づき算出される。
　絞り込み部２６は、第１カメラ２ａの撮影画像における移動方向ベクトルｖｃ１～ｖｃ７の角度を第２カメラ２ｂの撮影画像における移動方向ベクトルｖｄ１～ｖｄ５の角度とそれぞれ比較し、それらの一致度が最も高い（相互になす角度が最も小さい）移動方向ベクトルを有する人物（ここでは、人物ｃ４および人物ｄ３）に関するカメラ内追尾情報をカメラ間追尾情報のペア（すなわち、カメラ間での追尾処理の対象）として選択する。
　なお、図８（Ａ）、（Ｂ）において、斜線で塗られた撮影画像３０ａ、３０ｂの周縁部４１ａ、４１ｂ（すなわち、カメラの撮影範囲の周縁部）では、被写体に歪みが生じるなどして画像の信頼性が低下するため、それら周縁部４１ａ、４１ｂに位置する人物ｃ１、ｃ８及び人物ｄ１、ｄ６については、予め選択対象から除外することが好ましい。また、絞り込み部２６は、移動方向ベクトルの大きさを判定し、ベクトルの大きさが所定の閾値以下のものについてＳＴ２０３での処理対象から除外することが好ましい。これにより、人物が低速で移動する場合や静止している場合に、移動ベクトルの角度の信頼性が低下することを回避できる。
　また、ＳＴ２０３は、上記ＳＴ２０１、ＳＴ２０２の絞り込み処理とは独立して実施されるが、ＳＴ２０１、ＳＴ２０２の少なくとも一方で絞り込まれた人物画像について、ＳＴ２０３の処理を実行することもできる。その場合、ＳＴ２０１～ＳＴ２０３の処理順序は変更可能である。
　図５ではフローとして示したが、カメラ内追尾情報の絞り込み処理では、上述のＳＴ２０１～ＳＴ２０３の全てが必ずしも実行される必要はない。絞り込み処理では、ＳＴ２０１～ＳＴ２０３の少なくとも１つまたは２以上の処理の組み合わせにより、カメラ間追尾情報が抽出される。
　再び図４を参照して、対応付け処理部２７は、設定データに基づき選択された動作モードを確認し（ＳＴ１０３）、高精度モードが選択されている場合（Ｙｅｓ）、ＳＴ１０２で抽出されたカメラ間追尾情報に基づき、各カメラ２間で人物の対応付けを行う（ＳＴ１０４）。本実施形態では、各カメラ２について１つのカメラ間追尾情報が抽出される（すなわち、複数のカメラ内追尾情報は１つを残して排除される）が、各カメラ２から２以上のカメラ間追尾情報が抽出される構成も可能である。
　一方、対応付け処理部２７は、高速モードが選択されている場合（ＳＴ１０３：Ｎｏ）、ＳＴ１０２で処理される前の複数のカメラ内追尾情報に基づき各カメラ２間で人物の対応付けを行う（ＳＴ１０５）。この場合、複数のカメラ内追尾情報から適当に選択された１つのカメラ内追尾情報に基づき各カメラ２間での人物の対応付けが行われる。例えば、対応付け処理部２７は、各カメラ２の撮影画像から検出された所定の人物の撮影時刻に基づき、１つのカメラ内追尾情報（例えば、撮影時刻が最も早い或いは最も遅いもの）を選択することができる。
　次に、追尾結果提示部２８は、ＳＴ１０４またはＳＴ１０５での対応付け処理の結果をユーザに対して提示する（ＳＴ１０６）。ＳＴ１０６では、図９に示すように、２つのカメラ間において対応付けられた一対のカメラ内追尾情報における人物画像ｅ１、ｅ２が画面に表示される。ユーザは、人物画像ｅ１、ｅ２について同一の人物のものであるか否かを目視確認し、同一の人物のものであると判定した場合には「Ｙｅｓ」ボタン４５を押下して対応付けを承認する一方、同一の人物でないと判定した場合には「Ｎｏ」ボタン４６を押下して対応付けを拒否することができる。また、「Ｎｏ」ボタン４６が押下されたとき、対応付け不可として終了してもよいが、好ましくは、対応付け候補となる複数の人物画像を表示させ、その中からユーザが最も適した人物画像を選択して対応付け処理の結果を確定させるとよい。このＳＴ１０６の処理は、各カメラの１つのカメラ内追尾情報を相互に対応付けるだけでなく、各カメラの複数のカメラ内追尾情報を相互に対応づけるように実行されてもよい。また、ＳＴ１０４およびＳＴ１０５の処理は、他の異なるカメラ間においても同様に実行される。
　図１０は追尾処理装置における無効領域設定の変形例を示す説明図である。図３（Ｂ）に示した上述の例では、ユーザによって無効領域３１が設定されたが、追尾処理装置４は、過去の追尾処理結果から無効領域（またはその候補領域）を設定することができる。
　追尾処理装置４は、無効領域を設定するために、過去の絞り込み処理の結果を記憶部２１に順次記憶しておく。つまり、記憶部２１には、各カメラ２に関し、図５のＳＴ２０１～ＳＴ２０３（またはそれらの少なくとも１つ）によって過去に排除されたカメラ内追尾情報について人物領域の座標情報等のデータが蓄積されている。無効領域設定部３５は、図１０に示すように、過去の絞り込み処理の結果に基づき、撮影画像３０において排除されたカメラ内追尾情報における人物（図１０中の人物ｆ１～ｆ６）の出現頻度が高い領域を囲む矩形領域を無効領域５１、５２として設定することができる。この場合、排除されたカメラ内追尾情報の撮影時刻を考慮する（すなわち、同じ時間帯に撮影された人物に関する絞り込み処理の結果のみを参照する）ことにより、無効領域５１、５２の推定精度がより高まる。これら無効領域５１、５２についても、ユーザは、上述の図３（Ｂ）に示した無効領域３１と同様に再設定することが可能である。
　以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
　本発明に係る追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法は、複数のカメラによる撮影画像を用いて移動物体を追尾する場合に、当該カメラ間での追尾処理の精度を向上させることを可能とし、複数のカメラによる撮影画像を用いて移動物体を追尾するための追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法などとして有用である。
１　追尾処理システム
２　カメラ
３　カメラ内追尾処理装置
４　カメラ間追尾処理装置（追尾処理装置）
２１　記憶部（記憶手段）
２２　入力部
２３　追尾条件設定部
２４　類似度算出部（類似度算出手段）
２５　移動方向算出部（移動方向算出手段）
２６　絞り込み部（絞り込み手段）
２７　対応付け処理部（対応付け処理手段）
２８　追尾結果提示部（結果提示手段）
２９　出力部
３０　撮影画像
３１　無効領域
３２　無効領域設定部（無効領域設定手段）

Claims (10)

  1. 　複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理装置であって、
    　前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を記憶する記憶手段と、
    　前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する絞り込み手段と、
    　前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理手段と
    を備えたことを特徴とする追尾処理装置。
  2. 　前記移動物体の画像情報について前記複数のカメラ内追尾情報の相互の類似度を算出する類似度算出手段を更に備え、
    　前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記類似度が相対的に低いカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする請求項１に記載の追尾処理装置。
  3. 　前記各カメラに関し、前記撮影画像における無効領域を設定する無効領域設定手段を更に備え、
    　前記絞り込み手段は、前記複数のカメラ内追尾情報のうち前記無効領域内に位置する前記移動物体に関するカメラ内追尾情報を排除することにより前記絞り込みを行うことを特徴とする請求項１または請求項２に記載の追尾処理装置。
  4. 　前記無効領域は、ユーザによって再設定可能であることを特徴とする請求項３に記載の追尾処理装置。
  5. 　前記無効領域設定手段は、前記絞り込み手段によって過去に排除された前記カメラ内追尾情報に関する前記移動物体の位置情報に基づき、前記無効領域を設定することを特徴とする請求項３または請求項４に記載の追尾処理装置。
  6. 　前記対応付け処理手段の処理に関し、処理精度を優先する第１動作モードと、処理速度を優先する第２動作モードとを選択する動作モード選択手段を更に備え、
    　前記対応付け処理手段は、前記第１動作モードが選択された場合、前記カメラ間追尾情報に基づき前記移動物体の対応付けを行う一方、前記第２動作モードが選択された場合、前記カメラ内追尾情報に基づき前記移動物体の対応付けを行うことを特徴とする請求項１から請求項５のいずれかに記載の追尾処理装置。
  7. 　前記複数のカメラ内追尾情報における前記移動物体の位置情報に基づき、当該移動物体の移動方向ベクトルを算出する移動方向算出手段を更に備え、
    　前記絞り込み手段は、前記複数のカメラ間での前記移動方向ベクトルの角度の一致度合いに基づき、前記カメラ間追尾情報を抽出することを特徴とする請求項１から請求項６のいずれかに記載の追尾処理装置。
  8. 　前記対応付け処理手段による前記移動物体の対応付け結果をユーザに提示すると共に、当該対応付け結果の適否をユーザに判定させる結果提示手段を更に備えたことを特徴とする請求項１から請求項７のいずれかに記載の追尾処理装置。
  9. 　請求項１から請求項８のいずれかに係る追尾処理装置と、前記複数のカメラと、前記カメラ内追尾情報を生成するカメラ内追尾装置とを備えた追尾処理システム。
  10. 　複数のカメラによる撮影画像を用いて当該カメラ間で移動物体を追尾する追尾処理方法であって、
    　前記各カメラに関し、前記撮影画像から取得された前記移動物体の画像情報を含む複数のカメラ内追尾情報を取得する追尾情報取得ステップと、
    　前記複数のカメラ内追尾情報の絞り込みを行うことにより、前記複数のカメラ間での前記移動物体の追尾処理に用いるカメラ間追尾情報を抽出する追尾情報絞り込みステップと、
    　前記カメラ間追尾情報に基づき、前記複数のカメラ間で前記撮影画像における前記移動物体の対応付けを行う対応付け処理ステップと
    を有することを特徴とする追尾処理方法。
PCT/JP2014/001174 2013-03-27 2014-03-04 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 WO2014155979A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/780,086 US10445887B2 (en) 2013-03-27 2014-03-04 Tracking processing device and tracking processing system provided with same, and tracking processing method
GB1516981.6A GB2529943B (en) 2013-03-27 2014-03-04 Tracking processing device and tracking processing system provided with same, and tracking processing method
DE112014001658.6T DE112014001658T5 (de) 2013-03-27 2014-03-04 Nachverfolgungsverarbeitungsvorrichtung und Nachverfolgungsverarbeitungssystem, das damit ausgestattet ist, und Nachverfolgungsverarbeitungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013066294A JP6273685B2 (ja) 2013-03-27 2013-03-27 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP2013-066294 2013-03-27

Publications (1)

Publication Number Publication Date
WO2014155979A1 true WO2014155979A1 (ja) 2014-10-02

Family

ID=51623000

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001174 WO2014155979A1 (ja) 2013-03-27 2014-03-04 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法

Country Status (5)

Country Link
US (1) US10445887B2 (ja)
JP (1) JP6273685B2 (ja)
DE (1) DE112014001658T5 (ja)
GB (1) GB2529943B (ja)
WO (1) WO2014155979A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370412A (zh) * 2015-12-02 2018-08-03 索尼公司 控制装置、控制方法和程序
CN109345748A (zh) * 2018-10-31 2019-02-15 北京锐安科技有限公司 用户设备关联方法、装置、服务端、检测设备及介质
TWI688924B (zh) * 2019-04-15 2020-03-21 勝品電通股份有限公司 追蹤辨識監控系統
CN115984318A (zh) * 2023-03-20 2023-04-18 宝略科技(浙江)有限公司 一种基于特征最大关联概率的跨摄像头行人跟踪方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834249B2 (ja) 2013-11-20 2015-12-16 パナソニックＩｐマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
US20160294960A1 (en) * 2014-03-30 2016-10-06 Gary Stephen Shuster Systems, Devices And Methods For Person And Object Tracking And Data Exchange
JP5999394B2 (ja) 2015-02-20 2016-09-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6492746B2 (ja) 2015-02-23 2019-04-03 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
EP3267395B1 (en) * 2015-03-04 2019-08-28 Panasonic Intellectual Property Management Co., Ltd. Person tracking method and person tracking device
JP6495705B2 (ja) * 2015-03-23 2019-04-03 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
JP6659524B2 (ja) * 2016-11-18 2020-03-04 株式会社東芝 移動体追跡装置、表示装置および移動体追跡方法
JP6833617B2 (ja) * 2017-05-29 2021-02-24 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム
JP6938270B2 (ja) * 2017-08-09 2021-09-22 キヤノン株式会社 情報処理装置および情報処理方法
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Ｑｏｎｃｅｐｔ 動体追跡装置、動体追跡方法、動体追跡プログラム
WO2020019356A1 (zh) * 2018-07-27 2020-01-30 华为技术有限公司 一种终端切换摄像头的方法及终端
US10740637B2 (en) * 2018-09-18 2020-08-11 Yoti Holding Limited Anti-spoofing
WO2020174566A1 (ja) * 2019-02-26 2020-09-03 日本電気株式会社 監視装置、追跡方法、及び非一時的なコンピュータ可読媒体
CN110232706B (zh) * 2019-06-12 2022-07-29 睿魔智能科技（深圳）有限公司 多人跟拍方法、装置、设备及存储介质
JP7491321B2 (ja) 2020-02-03 2024-05-28 コニカミノルタ株式会社 再同定装置、再同定プログラム、および再同定方法
CN112200841B (zh) * 2020-09-30 2021-08-27 杭州海宴科技有限公司 一种基于行人体态的跨域多摄像头跟踪方法和装置
US12033390B2 (en) * 2021-10-26 2024-07-09 Hitachi, Ltd. Method and apparatus for people flow analysis with inflow estimation
WO2024071587A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 객체를 추적하는 방법 및 전자 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583712A (ja) * 1991-09-20 1993-04-02 Hitachi Ltd 画像処理システム及び監視システム
JPH06325180A (ja) * 1993-05-14 1994-11-25 Matsushita Electric Ind Co Ltd 移動体自動追跡装置
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
JP2006093955A (ja) * 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
JP2007135093A (ja) * 2005-11-11 2007-05-31 Sony Corp 映像監視システム及び方法
JP2008219570A (ja) * 2007-03-06 2008-09-18 Matsushita Electric Ind Co Ltd カメラ間連結関係情報生成装置
JP2011193187A (ja) * 2010-03-15 2011-09-29 Omron Corp 監視カメラ端末

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
JP4700477B2 (ja) * 2005-11-15 2011-06-15 株式会社日立製作所 移動体監視システムおよび移動体特徴量算出装置
JP4241763B2 (ja) * 2006-05-29 2009-03-18 株式会社東芝 人物認識装置及びその方法
JP2008035301A (ja) * 2006-07-31 2008-02-14 Hitachi Ltd 移動体追跡装置
WO2009076182A1 (en) * 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
DE112009000480T5 (de) * 2008-03-03 2011-04-07 VideoIQ, Inc., Bedford Dynamische Objektklassifikation
JP5180733B2 (ja) 2008-08-19 2013-04-10 セコム株式会社 移動物体追跡装置
JP5634266B2 (ja) 2008-10-17 2014-12-03 パナソニック株式会社 動線作成システム、動線作成装置及び動線作成方法
JP5499853B2 (ja) * 2010-04-08 2014-05-21 株式会社ニコン 電子カメラ
GB2515926B (en) * 2010-07-19 2015-02-11 Ipsotek Ltd Apparatus, system and method
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
JP2012163940A (ja) 2011-01-17 2012-08-30 Ricoh Co Ltd 撮像装置、撮像方法、及び撮像プログラム
US9781336B2 (en) 2012-01-30 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Optimum camera setting device and optimum camera setting method
JPWO2014050432A1 (ja) 2012-09-27 2016-08-22 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP6406241B2 (ja) 2013-02-15 2018-10-17 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP5506990B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506989B1 (ja) 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583712A (ja) * 1991-09-20 1993-04-02 Hitachi Ltd 画像処理システム及び監視システム
JPH06325180A (ja) * 1993-05-14 1994-11-25 Matsushita Electric Ind Co Ltd 移動体自動追跡装置
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
JP2006093955A (ja) * 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
JP2007135093A (ja) * 2005-11-11 2007-05-31 Sony Corp 映像監視システム及び方法
JP2008219570A (ja) * 2007-03-06 2008-09-18 Matsushita Electric Ind Co Ltd カメラ間連結関係情報生成装置
JP2011193187A (ja) * 2010-03-15 2011-09-29 Omron Corp 監視カメラ端末

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370412A (zh) * 2015-12-02 2018-08-03 索尼公司 控制装置、控制方法和程序
US11025808B2 (en) 2015-12-02 2021-06-01 Sony Corporartion Control apparatus and control method
CN109345748A (zh) * 2018-10-31 2019-02-15 北京锐安科技有限公司 用户设备关联方法、装置、服务端、检测设备及介质
TWI688924B (zh) * 2019-04-15 2020-03-21 勝品電通股份有限公司 追蹤辨識監控系統
CN115984318A (zh) * 2023-03-20 2023-04-18 宝略科技(浙江)有限公司 一种基于特征最大关联概率的跨摄像头行人跟踪方法
CN115984318B (zh) * 2023-03-20 2023-06-13 宝略科技(浙江)有限公司 一种基于特征最大关联概率的跨摄像头行人跟踪方法

Also Published As

Publication number Publication date
US10445887B2 (en) 2019-10-15
GB2529943A (en) 2016-03-09
JP2014192700A (ja) 2014-10-06
JP6273685B2 (ja) 2018-02-07
DE112014001658T5 (de) 2016-01-21
US20160063731A1 (en) 2016-03-03
GB201516981D0 (en) 2015-11-11
GB2529943B (en) 2019-11-06

Similar Documents

Publication Publication Date Title
JP6273685B2 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP6806188B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6555906B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10691947B2 (en) Monitoring device
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108198199B (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
JP6579950B2 (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
TWI438702B (zh) 影像環境邊界之動態設定方法及人員活動內容之即時判定方法
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
JP6803525B2 (ja) 顔検出装置およびこれを備えた顔検出システムならびに顔検出方法
US10762372B2 (en) Image processing apparatus and control method therefor
JP7188240B2 (ja) 人検出装置および人検出方法
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
JP2015194901A (ja) 追跡装置および追尾システム
JP2020106970A (ja) 人検出装置および人検出方法
US20230419500A1 (en) Information processing device and information processing method
KR20080079506A (ko) 촬영장치 및 이의 대상 추적방법
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
Liu et al. Visualization of cross-view multi-object tracking for surveillance videos in crossroad
JP6698058B2 (ja) 画像処理装置
JP6548306B2 (ja) カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法
Chang et al. Automatic cooperative camera system for real-time bag detection in visual surveillance
Wen et al. Feature-level image fusion for SAR and optical images
JP7359306B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム
JP2021033343A (ja) 人物検知装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14773970

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 1516981

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20140304

WWE Wipo information: entry into national phase

Ref document number: 1516981.6

Country of ref document: GB

Ref document number: 14780086

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120140016586

Country of ref document: DE

Ref document number: 112014001658

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14773970

Country of ref document: EP

Kind code of ref document: A1