WO2010095437A1 - 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム - Google Patents

物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム Download PDF

Info

Publication number
WO2010095437A1
WO2010095437A1 PCT/JP2010/001038 JP2010001038W WO2010095437A1 WO 2010095437 A1 WO2010095437 A1 WO 2010095437A1 JP 2010001038 W JP2010001038 W JP 2010001038W WO 2010095437 A1 WO2010095437 A1 WO 2010095437A1
Authority
WO
WIPO (PCT)
Prior art keywords
likelihood
observation
person
unit
information
Prior art date
Application number
PCT/JP2010/001038
Other languages
English (en)
French (fr)
Inventor
谷川徹
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2010800021760A priority Critical patent/CN102105811B/zh
Priority to US12/933,888 priority patent/US8527235B2/en
Priority to JP2010518663A priority patent/JP4709943B2/ja
Publication of WO2010095437A1 publication Critical patent/WO2010095437A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined

Definitions

  • the present invention relates to an object position estimation system, an object position estimation apparatus, an object position estimation method, and an object position estimation program for estimating the identification and position of an object based on a plurality of different types of sensor (observation apparatus) information.
  • a wireless tag or a camera may be used as a sensor that can detect the position of an object.
  • the wireless tag basically does not mistake the ID identification of the object (because the ID identification of the object is performed based on the ID information transmitted from the transmission tag provided with the object to be identified), but the positioning accuracy is the camera. Not good compared to. Furthermore, there is a problem that detection of a tag becomes unstable due to absorption of radio waves by moisture. Therefore, in a general environment where the environment is not maintained such as a factory, the positioning accuracy of the wireless tag cannot be expected so much. In particular, when a person or the like containing a lot of moisture owns a wireless tag, it is conceivable that the position error reaches 1 m or more, or the tag itself cannot be detected.
  • the positioning accuracy is better than that of the wireless tag, but the object ID (to identify the object ID from the image characteristics (shape, color, etc.) obtained from the camera).
  • the ID identification accuracy cannot be 100%.
  • the identification rate of objects having similar image characteristics is low. For example, it is difficult to identify objects having similar colors or shapes such as tomatoes and apples with high accuracy.
  • Non-patent Document 1 a technique for estimating the position of an object while compensating for the lack of observation accuracy of each type of sensor by combining a plurality of sensors and integrating the observation information of a plurality of different types of sensors.
  • Hirofumi Kanazaki Takehisa Yairi, Kazuo Machida, Kenji Kondo, and Yoshihiko Matsukawa, “Variational Approximation Data Association Filter”, 15th European Signal Processing Conference (EUSIPCO2007).
  • Non-Patent Document 1 has a problem that the position of an object cannot be estimated when an observation apparatus that cannot perform ID identification is included. .
  • the situation in which the preconditions of the prior art are satisfied is extremely limited and has a problem that the application range is narrow.
  • an object of the present invention is to provide an object position estimation system, an object position estimation apparatus, and an object position estimation that can estimate the position of an object even when an observation apparatus that cannot identify an object represented by a camera is included.
  • a method and an object position estimation program are provided. Specifically, the present invention calculates the numerical value corresponding to the ID likelihood of the object of the observation apparatus that cannot perform ID identification based on observation information from other than the observation apparatus that cannot perform ID identification. To solve.
  • the present invention is configured as follows.
  • an object position estimation system for estimating the position of an object
  • a first observation unit for observing the object at different times and obtaining first observation information including the position and ID of the object
  • First object position likelihood determining means for determining a first object position likelihood that is an estimated position of the object at each time based on the first observation information respectively observed by the first observation unit
  • First object ID likelihood determining means for determining a first object ID likelihood of the object at each time based on the first object position likelihood determined by the first object position likelihood determining means
  • a second observation unit that observes the object at different times to obtain second observation information including the position and feature of the object, and attaches a second observation ID to each second observation information
  • Second object position likelihood determining means for determining a second object position likelihood that is an estimated position of the object at each time based on the second observation information respectively observed by the second observation unit
  • Two pieces of the second observation information having the same feature quantity but different times are detected, and the tracking state information of the object is determined by associ
  • Object tracking status determination means Second object ID likelihood determining means for determining a second object ID likelihood of the second observation information based on the tracking state information of the object and the estimated position of the object; A first object association value is calculated based on the first object ID likelihood and the first object position likelihood of the object, and a second value is calculated based on the second object ID likelihood and the second object position likelihood.
  • An association means for calculating an object association value; The first object ID likelihood, the first object position likelihood, the first object association value, and / or the second object ID likelihood, the second object position likelihood, and the second object of the object.
  • Object position estimation means for estimating the position of the object based on the association value; An object position estimation system is provided.
  • an object position estimation method for estimating the position of an object, Observing the object at different times and obtaining first observation information including the position and ID of the object in the first observation unit, Based on the first observation information observed by the first observation unit, first object position likelihood determining means determines a first object position likelihood that is an estimated position of the object at each time. , Based on the first object position likelihood determined by the first object position likelihood determining unit, the first object ID likelihood determining unit determines the first object ID likelihood of the object at each time, Each of the objects is observed at different times, and second observation information including the position and feature amount of the object is acquired by the second observation unit, and a second observation ID is obtained for each second observation information by the second observation unit.
  • second object position likelihood determining means determines a second object position likelihood that is an estimated position of the object at each time. , Two pieces of the second observation information having the same feature quantity but different times are detected, and the tracking information of the object is tracked by associating the second observation IDs of the two second observation information detected.
  • a first object association value is calculated by an association means based on the first object ID likelihood and the first object position likelihood of the object
  • a second object association value is calculated by an association means based on the second object ID likelihood and the second object position likelihood of the object
  • the position of the object is estimated by the object position estimation means, An object position estimation method is provided.
  • a computer A function of observing the object at different times and acquiring first observation information including the position and ID of the object in the first observation unit; Based on the first observation information observed by the first observation unit, first object position likelihood determining means determines a first object position likelihood that is an estimated position of the object at each time. Function and A function of determining the first object ID likelihood of the object at each time by the first object ID likelihood determining means based on the first object position likelihood determined by the first object position likelihood determining means.
  • the second object position likelihood determining means determines a second object position likelihood that is an estimated position of the object at each time. Function and Two pieces of the second observation information having the same feature quantity but different times are detected, and the tracking information of the object is tracked by associating the second observation IDs of the two second observation information detected.
  • an object position estimation program for realizing a function of estimating the position of the object by an object position estimation means based on an association value.
  • First object position likelihood determining means for determining a first object position likelihood that is an estimated position of the object at each time;
  • First object ID likelihood determining means for determining a first object ID likelihood of the object at each time based on the first object position likelihood determined by the first object position likelihood determining means;
  • Second object position likelihood determining means for determining a second object position likelihood that is an estimated position of the object at each time; Object tracking status determination means for determining the tracking status information of the object by associating the second observation IDs of the two second observation information obtained by observing the same feature quantity at different times; Second object ID likelihood determining means for determining a second object ID likelihood of the second observation information based on the tracking state information of the object and the estimated position of the object; A first object association value based on the first object ID likelihood and the first object position likelihood of the object; a second object association value based on the second object ID likelihood and the second object position likelihood; An association means for calculating (1) The first object ID likelihood, the first object position likelihood, the first object association value of the object, (2) the second object ID likelihood, the second object position likelihood, and the Object position estimating means for estimating the position of the object based on at least one of a second object association value; An object position estimation apparatus is provided.
  • an amount corresponding to the object ID likelihood of the second observation device can be calculated based on the observation information of the first observation device capable of ID identification. Even when the function is not provided, the position of the object can be estimated.
  • the object ID likelihood based on information from other than the observation apparatus that cannot identify the object ID Can be determined. Therefore, the position of the object can be estimated even when the observation apparatus does not have an object ID identification function.
  • FIG. 1A is a block diagram showing a configuration of an object position estimation system according to the first embodiment of the present invention
  • FIG. 1B is a block diagram showing a configuration of an object position estimation apparatus according to a modification of the first embodiment of the present invention
  • FIG. 2 is a diagram illustrating an operation example of the Kalman filter used in the object position estimation system according to the first embodiment of the present invention
  • FIG. 3 is a diagram illustrating a room as a living space that is an observation target in the object position estimation system according to the first embodiment of the present invention
  • FIG. 1A is a block diagram showing a configuration of an object position estimation system according to the first embodiment of the present invention
  • FIG. 1B is a block diagram showing a configuration of an object position estimation apparatus according to a modification of the first embodiment of the present invention
  • FIG. 2 is a diagram illustrating an operation example of the Kalman filter used in the object position estimation system according to the first embodiment of the present invention
  • FIG. 3 is a diagram illustrating a room as a living space
  • FIG. 4 is a diagram showing an example of a person ID conversion table of the object position estimation system according to the first embodiment of the present invention
  • FIG. 5 is a diagram illustrating an example of an output history of the first observation device of the object position estimation system according to the first embodiment of the present invention
  • FIG. 6 is a diagram illustrating an example of an output history of the second observation apparatus of the object position estimation system according to the first embodiment of the present invention
  • FIG. 7 is a diagram showing an example of an output history of the object position estimation means of the object position estimation system according to the first embodiment of the present invention
  • FIG. 8 is a diagram showing an example of an output history of the second object ID likelihood determining means of the object position estimation system according to the first embodiment of the present invention
  • FIG. 9A is a diagram showing an example of an actual position of a person at time 2008/09 / 02_12: 00: 00 in a room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • FIG. 9B is a diagram showing an example of an actual position of a person at time 2008/09 / 02_12: 00: 01 in a room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • FIG. 9C is a diagram showing an example of the actual position of the person at the time 2008/09 / 02_12: 00: 02 in the room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • FIG. 9A is a diagram showing an example of an actual position of a person at time 2008/09 / 02_12: 00: 00 in a room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • FIG. 9B is a diagram showing an example of an actual position of
  • FIG. 10A shows an example of a person detection position (observation position) at time 2008/09 / 02_12: 00: 00 in a room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • Figure FIG. 10B shows an example of a person detection position (observation position) at time 2008/09 / 02_12: 00: 01 in a room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • Figure FIG. 10C shows an example of a person detection position (observation position) at time 2008/09 / 02_12: 00: 02 in the room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • Figure FIG. 10A shows an example of a person detection position (observation position) at time 2008/09 / 02_12: 00: 00 in a room to be observed by the object position estimation system according to the first embodiment of the present invention.
  • Figure FIG. 10B shows an example of a person detection position (observation position
  • FIG. 11A is a diagram illustrating an example of an initial position of a person (a position before application of an observation value) in a room to be observed when the object position estimation system according to the first embodiment of the present invention is activated.
  • FIG. 11B shows an estimated position of a person at the time 2008/09 / 02_12: 00: 00 in the room to be observed by the object position estimation system according to the first embodiment of the present invention (position after application of observation values).
  • FIG. 11C shows an initial position of a person at the time 2008/09 / 02_12: 00: 01 in the room to be observed by the object position estimation system according to the first embodiment of the present invention (position before application of observation values).
  • FIG. 11B shows an example of FIG. 11D shows an estimated position of a person at the time 2008/09 / 02_12: 00: 01 in the room to be observed by the object position estimation system according to the first embodiment of the present invention (position after application of observation values).
  • FIG. 11E shows the initial position of a person at the time 2008/09 / 02_12: 00: 02 in the room to be observed by the object position estimation system according to the first embodiment of the present invention (position before application of observation values).
  • FIG. 11D shows the example of FIG.
  • FIG. 11F shows an estimated position of a person at the time 2008/09 / 02_12: 00: 02 in the room to be observed by the object position estimation system according to the first embodiment of the present invention (position after application of observation values).
  • FIG. 12A is a diagram showing a distance between human detection positions at a time T in a room to be observed by the object position estimation system according to the first embodiment of the present invention
  • FIG. 12B is a diagram showing a distance between human detection positions at a time T + 1 in a room to be observed by the object position estimation system according to the first embodiment of the present invention
  • FIG. 13 is a diagram showing a human detection position at time T + 2 in a room to be observed by the object position estimation system according to the first embodiment of the present invention
  • FIG. 14 is a flowchart showing processing of the first observation apparatus in a room to be observed by the object position estimation system according to the first embodiment of the present invention
  • FIG. 15 is a flowchart showing processing of the second observation apparatus in a room to be observed by the object position estimation system according to the first embodiment of the present invention
  • FIG. 16 is a flowchart showing processing of the object position estimation system according to the first embodiment of the present invention
  • FIG. 17 is a diagram for explaining an observation state of the camera when two persons having the same color feature amount rub each other in the object position estimation system according to the first embodiment of the present invention. Yes, FIG.
  • FIG. 18 is a diagram illustrating an example of setting a reference time in the object position estimation system according to the first embodiment of the present invention.
  • FIG. 19A is a diagram showing an example of an environment map (environment map information) provided in the object position estimation means in the object position estimation system according to the first embodiment of the present invention;
  • FIG. 19B is a diagram illustrating an example of an environment map provided in the camera in the object position estimation system according to the first embodiment of the present invention.
  • an object position estimation system for estimating the position of an object
  • a first observation unit for observing the object at different times and obtaining first observation information including the position and ID of the object
  • First object position likelihood determining means for determining a first object position likelihood that is an estimated position of the object at each time based on the first observation information respectively observed by the first observation unit
  • First object ID likelihood determining means for determining a first object ID likelihood of the object at each time based on the first object position likelihood determined by the first object position likelihood determining means
  • a second observation unit that observes the object at different times to obtain second observation information including the position and feature of the object, and attaches a second observation ID to each second observation information
  • Second object position likelihood determining means for determining a second object position likelihood that is an estimated position of the object at each time based on the second observation information respectively observed by the second observation unit
  • Two pieces of the second observation information having the same feature quantity but different times are detected, and the tracking state information of the object is determined by associ
  • Object tracking status determination means Second object ID likelihood determining means for determining a second object ID likelihood of the second observation information based on the tracking state information of the object and the estimated position of the object; A first object association value is calculated based on the first object ID likelihood and the first object position likelihood of the object, and a second value is calculated based on the second object ID likelihood and the second object position likelihood.
  • An association means for calculating an object association value; The first object ID likelihood, the first object position likelihood, the first object association value, and / or the second object ID likelihood, the second object position likelihood, and the second object of the object.
  • Object position estimation means for estimating the position of the object based on the association value; An object position estimation system is provided.
  • the object tracking status determination means further includes a tracking success likelihood indicating a probability that the object tracking is successful and a tracking failure indicating a probability that the object tracking is failed.
  • Output likelihood The second object ID likelihood determining means calculates a tracking failure likelihood by a value obtained by multiplying the association value calculated at the previous detection of the object by the tracking success likelihood, and the number of all objects to be detected.
  • the object position estimation system according to the first aspect is provided, wherein the sum of the divided values is set as the second ID likelihood of the object.
  • the second tracking device detects the second observation information by detecting two pieces of the second observation information having the same feature quantity but different times.
  • the association unit detects the object detected by the second observation device based on the ID of the object and the position of the object estimated by the object position estimation unit.
  • the entrance information including the position of the entrance where the person existing in the environment enters and exits, or the blind spot information of the first observation device, or the second observation device.
  • An object position estimation system according to any one of the first to third aspects is provided, which includes an environment map (environment map information) in which the blind spot information is recorded.
  • the object tracking situation determination means further determines a probability that a plurality of overlapping objects are detected as one object.
  • An object position estimation system according to one aspect is provided.
  • an object position estimation method for estimating the position of an object, Observing the object at different times and obtaining first observation information including the position and ID of the object in the first observation unit, Based on the first observation information observed by the first observation unit, first object position likelihood determining means determines a first object position likelihood that is an estimated position of the object at each time. , Based on the first object position likelihood determined by the first object position likelihood determining unit, the first object ID likelihood determining unit determines the first object ID likelihood of the object at each time, Each of the objects is observed at different times, and second observation information including the position and feature amount of the object is acquired by the second observation unit, and a second observation ID is obtained for each second observation information by the second observation unit.
  • second object position likelihood determining means determines a second object position likelihood that is an estimated position of the object at each time. , Two pieces of the second observation information having the same feature quantity but different times are detected, and the tracking information of the object is tracked by associating the second observation IDs of the two second observation information detected.
  • a first object association value is calculated by an association means based on the first object ID likelihood and the first object position likelihood of the object
  • a second object association value is calculated by an association means based on the second object ID likelihood and the second object position likelihood of the object
  • the position of the object is estimated by the object position estimation means, An object position estimation method is provided.
  • a computer A function of observing the object at different times and acquiring first observation information including the position and ID of the object in the first observation unit; Based on the first observation information observed by the first observation unit, first object position likelihood determining means determines a first object position likelihood that is an estimated position of the object at each time. Function and A function of determining the first object ID likelihood of the object at each time by the first object ID likelihood determining means based on the first object position likelihood determined by the first object position likelihood determining means.
  • the second object position likelihood determining means determines a second object position likelihood that is an estimated position of the object at each time. Function and Two pieces of the second observation information having the same feature quantity but different times are detected, and the tracking information of the object is tracked by associating the second observation IDs of the two second observation information detected.
  • an object position estimation program for realizing a function of estimating the position of the object by an object position estimation means based on an association value.
  • First object position likelihood determining means for determining a first object position likelihood that is an estimated position of the object at each time;
  • First object ID likelihood determining means for determining a first object ID likelihood of the object at each time based on the first object position likelihood determined by the first object position likelihood determining means;
  • Second object position likelihood determining means for determining a second object position likelihood that is an estimated position of the object at each time; Object tracking status determination means for determining the tracking status information of the object by associating the second observation IDs of the two second observation information obtained by observing the same feature quantity at different times; Second object ID likelihood determining means for determining a second object ID likelihood of the second observation information based on the tracking state information of the object and the estimated position of the object; A first object association value based on the first object ID likelihood and the first object position likelihood of the object; a second object association value based on the second object ID likelihood and the second object position likelihood; An association means for calculating (1) The first object ID likelihood, the first object position likelihood, the first object association value of the object, (2) the second object ID likelihood, the second object position likelihood, and the Object position estimating means for estimating the position of the object based on at least one of a second object association value; An object position estimation apparatus is provided.
  • FIG. 1A is a diagram showing a configuration of an object position estimation system according to the first embodiment of the present invention.
  • the object position estimation system includes a first observation device 101, a second observation device 102, second object ID likelihood determination means (second object ID likelihood determination unit) 107, An object position estimation unit (object position estimation unit) 108 and an association unit (association unit) 109 are provided.
  • the first observation apparatus 101 includes a first object position likelihood determining unit (first object position likelihood determining unit) 103, a first detection unit 101a functioning as a first observation unit, and a first object ID likelihood determining unit. (First object ID likelihood determination unit) 104 and first internal storage unit 110 are provided.
  • the second observation apparatus 102 includes a second detection unit 102a that functions as a second observation unit, an image processing unit 102b, second object position likelihood determination means (second object position likelihood determination unit) 105, and object tracking.
  • a situation determining unit (object tracking situation determining unit) 106 and a second internal storage unit 111 are provided.
  • the object position estimation system according to the first embodiment of the present invention includes a first observation apparatus 101 and a second observation apparatus 102 as a modification, as shown in FIG.
  • the first detection unit 101a that includes these components individually and functions as the first observation unit, the first timer 101t, the second detection unit 102a that functions as the second observation unit, and the second Components other than the timer 102t may be configured as the object position estimation device 99.
  • the first observation apparatus 101 is configured and the image processing unit 102b is added in the same manner as the object position estimation system according to the first embodiment in FIG. 1A.
  • the two observation apparatus 102 is comprised, it can be set as the structure of the object position estimation system which concerns on 1st embodiment of FIG. 1A.
  • the object position estimating device 99 includes first object position likelihood determining means (first object position likelihood determining section) 103 and first object ID likelihood determining means (first object ID likelihood determining section). 104, second object position likelihood determining means (second object position likelihood determining section) 105, object tracking situation determining means (object tracking situation determining section) 106, and second object ID likelihood determining means (second An object ID likelihood determination unit) 107, an association unit (association unit) 109, and an object position estimation unit (object position estimation unit) 108 are provided as main components.
  • the object position estimation device 99 may include a first storage unit 110m and a second storage unit 111m.
  • the information from the first detection unit 101a functioning as the first observation unit and the first timer 101t is the first object position likelihood determining unit (first object position likelihood determining unit) 103. And may also be stored in the first storage unit 110m.
  • information from the first object position likelihood determining unit (first object position likelihood determining unit) 103 is input to the first object ID likelihood determining unit (first object ID likelihood determining unit) 104.
  • the information from the first object position likelihood determining means (first object position likelihood determining section) 103 and the information from the first object ID likelihood determining means (first object ID likelihood determining section) 104 are the first You may make it memorize
  • Information from the first object ID likelihood determining unit (first object ID likelihood determining unit) 104 is input to the object position estimating unit (object position estimating unit) 108.
  • information from the second detection unit 102a functioning as the second observation unit and the second timer 102t is input to the second object position likelihood determining unit (second object position likelihood determining unit) 105.
  • it may be stored in the second storage unit 111m.
  • information from the second object position likelihood determining unit (second object position likelihood determining unit) 105 is input to the object tracking state determining unit (object tracking state determining unit) 106.
  • Information from the second object position likelihood determining means (second object position likelihood determining section) 105 and the information from the object tracking situation determining means (object tracking situation determining section) 106 are also stored in the second storage section 111m. You may be made to do.
  • Information from the object tracking situation determination means (object tracking situation determination section) 106 includes an object position estimation means (object position estimation section) 108, an association means (association section) 109, and a second object ID likelihood determination means (second object). ID likelihood determination unit) 107.
  • the object position estimation apparatus 99 of FIG. 1B having such a configuration can also achieve the same effects as the corresponding means (corresponding part) of the object position estimation system according to the first embodiment of FIG. 1A.
  • FIG. 3 shows a concrete example of a living environment, which is an example of an environment, including a first observation device 101 and a second observation device 102 that are components of the object position estimation system according to the first embodiment of the present invention.
  • An exemplary room 301 is shown.
  • a UWB (Ultra Wide Band) tag reader 304 and a stereo camera 305 are respectively installed at different corners of the ceiling of the rectangular room 301.
  • the tag reader 304 functions as an example of the first detection unit 101a of the first observation apparatus 101
  • the stereo camera 305 functions as an example of the second detection unit 102a of the second observation apparatus 102.
  • Both the first observation apparatus 101 and the second observation apparatus 102 respectively detect a person 302 existing in a room 301 that is a specific example of a living environment.
  • the first observation device 101 includes a first detection unit 101a that functions as a first observation unit, a first object position likelihood determination unit 103, a first object ID likelihood determination unit 104, and a first internal storage unit 110. It has.
  • the first observation apparatus 101 performs first observation on the first ID likelihood (first object ID likelihood) and the first position likelihood (first object position likelihood) of the person 302 existing in the room 301. It is determined by the apparatus 101. Information on the determined first ID likelihood and first position likelihood of the person 302 can be output from the first observation apparatus 101 to the object position estimating means 108.
  • the ID likelihood in the case of the first ID likelihood and the second ID likelihood described later is the ID of the detected object (for example, the person 302 here) that is the object (for example, the person 302 here).
  • the ID likelihood is 1 and the probability of the object A being another object. Probability is zero.
  • the object A is detected by the camera, it cannot be reliably identified as a specific object as described above. For example, even when the object A is identified through the camera, there is a possibility that an object other than the object A (object B, object C) is identified.
  • the probability of ID likelihood is 0.8
  • the probability of object B is 0.1
  • the probability of object C is 0.1
  • the probability is assigned to all existing objects. It will be.
  • the first object ID likelihood determining unit 104 determines the first ID likelihood of the person 302 detected by the first detection unit 101 a of the first observation apparatus 101.
  • the camera 305 as an example of the second detection unit 102a of the second observation apparatus 102 does not have an object ID identification function.
  • the second object ID likelihood determining unit 107 different from the second observation device 102 uses the camera 305 and the image processing unit 102b which are examples of the second detection unit 102a of the second observation device 102 to detect the person 302 detected.
  • the second ID likelihood is determined.
  • the position likelihood in the case of the first position likelihood and the second position likelihood described later is based on the position of each object estimated at a certain point in time, with respect to the position of the newly observed object. This is a probabilistic representation of which ID the object seems to be. For example, it is assumed that the object A exists at the 10 position on the one-dimensional coordinate, the object B exists at the 20 position, and the object C exists at the 40 position. In this situation, it is assumed that an object is detected at position 0.
  • the position likelihood at this time is obtained by, for example, taking the reciprocal of the distance from the estimated position of each of the objects A, B, and C and performing normalization so that the probability that the object A is 0.58 and the probability that the object B is The probability that the object C is 0.28 can be calculated as 0.14.
  • the tag reader 304 can reliably identify the person ID. Therefore, the position where the person 302 (the tag 303 held by the person 302) is detected is more likely to be closer to the actual position of the person 302 than the (initial) estimated position of the person determined at random. Therefore, the second position likelihood may be obtained based on the position where the tag reader 304 detects the person 302 (the tag 303 held by the tag reader 304), not the estimated position of the object.
  • the tag reader 304 detects the person 302 (the tag 303 possessed by the person).
  • the second position likelihood may be determined based on the estimated position of the object in the Nth and subsequent observations of the camera 305.
  • the optimum value of the number N of times the second position likelihood is determined based on the position where the tag reader 304 detects the person 302 (the tag 303 held by the person 302) varies depending on the performance of the observation apparatus. For this reason, it is necessary to estimate an optimal value in advance by a preliminary experiment or the like.
  • the first position likelihood is determined by the first object position likelihood determining unit 103 of the first observation apparatus 101.
  • the second position likelihood is determined by the second object position likelihood determining unit 105 of the second observation apparatus 102.
  • a tag reader 304 can be used as the first detection unit 101a of the first observation apparatus 101.
  • the first object position likelihood determining unit 103 determines the first position likelihood (first object position likelihood) of the person 302 detected by the first detection unit 101a of the first observation apparatus 101.
  • the first object position likelihood determining unit 103 uses, for example, the principle of three-point surveying to determine the first position likelihood of the person 302. Can be determined.
  • the installation position of each wireless tag reader itself is stored in advance in the internal storage unit of the first object position likelihood determining unit 103 or the first internal storage unit 110.
  • the first object position likelihood determining means 103 draws a sphere based on the position where each wireless tag reader detects the tag 303 with each wireless tag reader around the installation position of each wireless tag reader itself. More specifically, the first object position likelihood determining means 103 draws a spherical surface having a radius calculated from the detected position and the installation position. At this time, the first object position likelihood determining means 103 sets the position where the spherical surfaces overlap most as the position where the tag 303 owned by the person 302 exists and the position where the person 302 exists.
  • 1st object ID likelihood determination means 104 determines the 1st ID likelihood (1st object ID likelihood) of the person 302 which the 1st detection part 101a of the 1st observation apparatus 101 detected.
  • the tag reader 304 When the tag reader 304 is used as the first detection unit 101 a of the first observation apparatus 101, the tag reader 304 records the ID of the person 302 recorded in the tag 303 by recording the ID of the person 302 in the tag 303. Can be read directly from. Thereby, the probability that the first ID likelihood of the person 302 is the ID of the person 302 can be 1.
  • a person ID conversion table that can determine the first ID likelihood of the person 302 from the tag ID may be used.
  • the person ID conversion table may be recorded in the first internal storage unit 110 of the first observation apparatus 101. In addition, it is recorded in an external database or the like, and the first object ID likelihood determining unit 104 acquires necessary information from the external database and determines the first ID likelihood of the person 302 as necessary. You may do it.
  • FIG. 5 An example of human detection by the first observation apparatus 101 is shown in FIG. FIG. 5 is an output example of the tag reader 304 with an observation period of 1 second.
  • the observation ID the time when the person 302 was detected, the position (xy coordinate) where the person 302 was detected, and the person 302 owned Each tag ID is output.
  • the first detection unit 101a of the first observation apparatus 101 is the tag reader 304 .
  • step S1401 the tag 303 existing in the room 301 which is a specific example of the environment is detected by the first detection unit 101a, and the ID and position of the tag 303 are detected by the first detection unit 101a. Based on the position of the tag 303, the first object position likelihood determining means 103 determines the first position likelihood.
  • step S1402 the ID of the person 302 holding the tag 303 is detected by the first detection unit 101a, and the first object ID likelihood determining unit 104 determines the person's first ID likelihood.
  • step S1403 the first ID likelihood and the first position likelihood of the person are output from the first observation device 101 to the object position estimating means 108.
  • the second observation apparatus 102 includes a second detection unit 102a that functions as a second observation unit, an image processing unit 102b, a second object position likelihood determination unit 105, an object tracking situation determination unit 106, and a second internal storage unit 111. It has.
  • the second observation device acquires the second position likelihood (second object position likelihood) of the person 302 existing in the room 301 and the tracking state information (tracking state information) of the person 302 by the second observation device 102.
  • the second observation device 102 can output to the second object ID likelihood determination means 107, the object position estimation means 108, and the association means 109, respectively.
  • a camera 305 is used as an example of the second detection unit 102a of the second observation apparatus 102.
  • the background difference method can be used in the image processing unit 102b.
  • the method is as follows.
  • the image processing unit 102b compares the environment image when the person 302 does not exist, for example, the background image data of the room 301 prepared in advance by the camera 305 with the current image data captured by the camera 305. Thereafter, an area with different pixel values is extracted as a difference area by the image processing unit 102b. Then, the image processing unit 102b detects the difference area as a person 302.
  • the image processing unit 102b can determine that the difference area is sufficiently small relative to the person 302, the difference area is not the person 302. The determination may be made by the image processing unit 102b.
  • the case where the difference area is sufficiently small with respect to the person 302 may be a case where the number of pixels in the difference area is equal to or less than a threshold value set in advance based on the minimum number of pixels that can be recognized as the person 302.
  • the second object position likelihood determining unit 105 determines the second position likelihood (second object position likelihood) of the person 302 detected by the second detection unit 102a and the image processing unit 102b of the second observation apparatus 102. To do. It is assumed that the camera 305 as an example of the second detection unit 102a of the second observation apparatus 102 is installed so as to look down on the ground vertically from the ceiling. At this time, for example, the second object position likelihood determining unit 105 can determine the second position likelihood of the person 302 based on the barycentric position of the difference area acquired by the image processing unit 102b.
  • the object tracking status determination unit 106 determines tracking status information (tracking status information) of the person 302 detected by the second detection unit 102a and the image processing unit 102b of the second observation apparatus 102.
  • tracking status information tracking status information
  • the camera 305 is used as an example of the second detection unit 102a of the second observation apparatus 102, for example, by storing the color distribution of the difference area acquired by the image processing unit 102b in the second internal storage unit 111, Tracking of the person 302 can be realized. This tracking will be described using a human detection history database stored in the second internal storage unit 111 shown in FIG. FIG.
  • the second observation information of observation ID OBS_CAM_001 represents that the camera 305 detected the person 302 at the position (150, 410) at time 2008/09 / 02_12: 00: 00. Further, red is recorded in the color feature amount, and as a result of analyzing the color distribution of the difference area by the image processing unit 102b, it indicates that the red component is the most.
  • the object tracking status determination unit 106 determines that OBS_CAM_004 is tracking status information obtained by tracking OBS_CAM_001.
  • the object tracking situation determination means 106 determines the tracking situation information that the person has been detected for the first time.
  • an RGB component ratio or the like may be used as the color feature amount. It is assumed that the second observation apparatus 102 includes a second timer 102t for acquiring observation period and time information.
  • OBS_CAM_004 could not be obtained.
  • the object tracking situation determination unit 106 may determine that OBS_CAM_007 is the first person detected. In addition, when the human detection performance of the camera 305 is low, it is determined that the human detection is missed in the previous observation in which OBS_CAM_007 is obtained, and the OBS_CAM_001 having the same color feature amount “red” in the previous observation value is further determined. The object tracking situation determination unit 106 may determine that the person is the same as OBS_CAM_007.
  • the object tracking situation determination means 106 determines that the person 302 detected by OBS_CAM_004 is the same person as the person 302 detected by OBS_CAM_001. However, even if OBS_CAM_001 and OBS_CAM_004 detect the same color feature amount, the object tracking situation determination means 106 may determine that another person has been detected from the difference in detection time and the difference in detection position. For example, when it is clear that the movement from the detection position (150, 401) of OBS_CAM_001 to the detection position (320, 390) of OBS_CAM_004 cannot be moved at the walking speed of a person during the difference in detection time, such a determination is made. Is done.
  • a judgment criterion for example, when the distance between the detection position (150, 401) and the detection position (320, 390) is larger than the walking distance that is the product of the time and the maximum walking speed of the person (for example, 5 m / s). And so on.
  • the observation ID obtained this time determines which of the observation IDs obtained previously is tracked. It cannot be determined by means 106.
  • the object tracking situation determination means 106 may consider a human motion model.
  • FIG. 17 shows the observation state of the camera 305 when two people having the same color feature amount rub each other. Originally, the observation value of the tag reader 304 should also be obtained, but it is omitted here.
  • OBS_CAM_103 is an observation value obtained by tracking OBS_CAM_101 having the same color feature amount and capable of moving within one second. This is determined by the tracking status determination means 106. Similarly, the object tracking status determination unit 106 determines that OBS_CAM_104 is an observation value obtained by tracking OBS_CAM_102 having the same color feature amount and capable of moving within one second.
  • the observation IDs can be associated with only the feature amount of the object as the tracking state information and can be handled as the tracking state information.
  • the observation ID may be associated in consideration of not only the feature quantity but also the position where the object exists every time. For example, when a person is moving to a place 100 m or more in one second, a rule such as not performing association even if the feature amount is the same is stored in advance, and the object tracking situation determination unit 106 stores the rule. Should be applicable.
  • the object tracking situation determination means 106 determines that OBS_CAM_103 proceeds in the ⁇ X direction at a speed of 2 m / s and OBS_CAM_104 travels in the + X direction at a speed of 2 m / s.
  • OBS_CAM_103 and OBS_CAM_104 which have the same color feature value and can be moved within one second as the observation values of the tracking source of OBS_CAM_105.
  • the observation history information of the OBS_CAM_103 and the OBS_CAM_104 in the human detection history database of the second internal storage unit 111 is referred to by the object tracking status determination unit 106, which observation value is the observation value of the tracking source of the OBS_CAM_105. Is determined by the object tracking situation determination means 106.
  • OBS_CAM_103 Since OBS_CAM_103 was traveling in the -X direction at a speed of 2 meters per second, it is highly possible that the next observation (observation at 12:00:03) will be obtained at coordinates (550,350). This can be determined at 106. Further, since OBS_CAM_104 was traveling in the + X direction at a speed of 2 m / s, the object tracking situation determination unit 106 can determine that the next observation is highly likely to be obtained at coordinates (450, 250).
  • OBS_CAM_105 is obtained by coordinates (550, 350), and the object tracking situation determination means 106 can determine that the observed value is obtained by tracking OBS_CAM_103. Similarly, the object tracking situation determination unit 106 can determine that OBS_CAM_106 is an observation value obtained by tracking the OBS_CAM 104.
  • the human detection history database may be recorded in the second internal storage unit 111 of the second observation apparatus 102 as described above.
  • the information may be recorded in an external database or the like, and the object tracking status determination unit 106 may acquire necessary information from an external database or the like to acquire information on the object tracking status as necessary.
  • the observation periods of the first observation apparatus 101 and the second observation apparatus 102 need not be the same.
  • the second detection unit 102a of the second observation apparatus 102 will be described as the camera 305.
  • step S1501 the person 302 existing in the room 301 which is a specific example of the environment is detected by the second detection unit 102a, and the second position likelihood is determined based on the position detected by the image processing unit 102b.
  • the position likelihood determining unit 105 determines the position.
  • step S1502 information detected by the second detection unit 102a and the image processing unit 102b is recorded in the human detection history database of the second internal storage unit 111 by the second detection unit 102a and the image processing unit 102b.
  • step S1503 the object tracking history database 106 is referred to by the object tracking status determination unit 106, and the tracking status of the person 302 detected by the second detection unit 102a and the image processing unit 102b is determined by the object tracking status determination unit 106.
  • step S1504 the second position likelihood and tracking status information described above are output from the second observation apparatus 102 to the second object ID likelihood determining means 107, the object position estimating means 108, and the association means 109, respectively.
  • the object position estimation means 108 includes the first ID likelihood and the first position likelihood of the person 302 determined (detected) by the first observation apparatus 101, and the second of the person 302 determined (detected) by the second observation apparatus 102. Based on the position likelihood and the second ID likelihood determined by the second object ID likelihood determining means 107, the position of the person 302 is estimated.
  • the association unit 109 receives the following one ID likelihood and first position likelihood as the position estimation method, the association unit 109 calculates an association value based on the first ID likelihood and the first position likelihood of the received object. I do.
  • the association unit 109 receives the first ID likelihood and the first position likelihood of the object received from the first observation apparatus 101, the second position likelihood of the object received from the second observation apparatus 102, and the second object ID likelihood. Based on the second ID likelihood of the object received from the degree determining means 107, the ID of the detected object is determined probabilistically.
  • the detection of the object is performed by the first detection unit 101a of the first observation apparatus 101, the second detection unit 102a of the second observation apparatus 102, and the image processing unit 102b.
  • the first observation device 101 and the second observation device 102 are collectively referred to as “observation device”, and the first ID likelihood and the second ID likelihood are collectively referred to as “ID likelihood”.
  • the one-position likelihood and the second-position likelihood are collectively referred to as “position likelihood”.
  • association value is a value representing the association between the information of the ID likelihood and the position likelihood observed by the observation device and the actual object (for the second ID likelihood, the second object ID likelihood determining means is an output).
  • ID likelihood and the position likelihood of the object received from the observation apparatus are values that probabilistically indicate which ID of the object is obtained by detecting the object.
  • the ID likelihood and the position likelihood of the object described above are values representing the certainty that the observation information (observation data) is information (data) obtained by observing an object. .
  • the association value is expressed as a product of the ID likelihood and the position likelihood. Note that the second ID likelihood of the object detected by the second observation device 102 used to calculate the association value by the association means 109 is not the second observation device 102 but the second object ID likelihood determination means. Calculated at 107.
  • the position of the person 302 is estimated by the object position estimation unit 108 based on the calculation result of the association unit 109 and the tracking status information of the object.
  • the end of the calculation of the association value by the association unit 109 can be determined by, for example, inputting the calculation result of the association unit 109 from the association unit 109 to the object position estimation unit 108.
  • the object position estimation unit 108 determines that the calculation of the association value is finished. Then, the position of the person 302 is estimated by the object position estimation means 108 based on the calculation result in the association means 109 and the tracking status information of the object.
  • a Bayesian estimation framework represented by a Kalman filter or the like can be used in the object position estimation means 108.
  • the position of the person 302 is estimated by the object position estimating means 108.
  • the update amount of the position of the person 302 is The association value is weighted.
  • the weighting information based on the association value is output from the association unit 109 to the object position estimation unit 108.
  • the update amount of the position of an object becomes large, so that the association value is high.
  • the contribution rate to the position update of observation data that is likely to be observation data of a certain object is high.
  • the Kalman filter is used for both information on the state of the system (for example, the position of an object in the first embodiment of the present invention) and observation data (observation information) of the first observation device 101 and the second observation device 102. Based on the assumption that noise is included, the state of a likely system is estimated. In other words, the most probable state is estimated from the possible state candidates of the system.
  • Fig. 2 shows an example of using the Kalman filter for object position estimation processing.
  • the vertical axis represents probability and the horizontal axis represents position.
  • the second observation device 102 can obtain the observed value 203 obtained by (Equation 2).
  • A represents a motion model of an object
  • x represents an object position
  • v represents process noise generated during movement
  • y represents an observation value
  • H represents an observation model that associates the object position x and the observation value y
  • w represents observation noise
  • t represents time.
  • N (0, Q) represents a Gaussian distribution with an average of 0 and a variance of Q.
  • N (0, R) similarly represents a Gaussian distribution with an average of 0 and a variance of R.
  • the prior probability distribution 201 (hereinafter referred to as “prior distribution”) relating to the position of the currently obtained object is updated by the object position estimating means 108, and the predicted probability distribution 202 (hereinafter “ This is referred to as “predictive distribution”) by the object position estimating means 108.
  • the average (position) of the predicted distribution 202 can be obtained by the object position estimating unit 108 using (Expression 5), and the variance of the predicted distribution 202 can be obtained by the object position estimating unit 108 using (Expression 6).
  • b represents an estimated value of X at time a based on the information at time b.
  • t ⁇ 1 ” in (Expression 5) represents an estimated value of the object position x at time t based on the information at time t ⁇ 1
  • P represents the distribution of the distribution.
  • the posterior distribution 204 is obtained by the object position estimating means 108 from the observed value 203 and the predicted distribution 202.
  • the average (position) of the posterior distribution can be obtained by the object position estimating means 108 in (Expression 7), and the variance of the posterior distribution can be obtained in the object position estimating means 108 by (Expression 8).
  • K is a value called Kalman gain, and is obtained by (Equation 9).
  • the Kalman gain is a value that determines the update amount. When the accuracy of the observed value is good (dispersion R is very small), the value of the Kalman gain increases to increase the update amount. On the contrary, when the accuracy of the prior distribution is good (the variance P is very small), the value of the Kalman gain is small in order to reduce the update amount.
  • the formula (9) when weighting the update amount of the position of the article A using the association value, the formula (9) may be replaced with the formula (9A) as described later.
  • “D” represents an association value for the article A.
  • FIG. 7 shows an example of the output history of the object position estimating means 108. It is assumed that the object position estimating means 108 has grasped position error characteristics such as standard deviation regarding the positions of the first observation apparatus 101 and the second observation apparatus 102. In other words, here, information on position error characteristics such as standard deviations regarding the positions of the first observation apparatus 101 and the second observation apparatus 102 is input to the object position estimation means 108 and stored in the internal storage of the object position estimation means 108. It is assumed that it is stored in the department.
  • the second object ID likelihood determining unit 107 is observed by the camera 305 and the image processing unit 102b based on the object tracking state information of the object tracking state determining unit 106 and the association value obtained by the association unit 109.
  • a second ID likelihood (second object ID likelihood) in the observed value is determined.
  • FIG. 7 shows an example of an output diagram of the estimation result of the object position estimation means 108.
  • the estimated position (estimated position) is the estimated position of the person in advance and the observation apparatus. Calculated based on observations.
  • the estimated position of the person in advance is the initial value (in this example, the center of the room), so even if you calculate including the observation value of the observation device, It is difficult to estimate the position of a person at the correct position.
  • the association value is obtained by the association means 109 based on the currently estimated person ID and person position. Ask.
  • the obtained association value is recorded in the association value database 109 a of the internal storage unit built in the association means 109.
  • FIG. 8 shows an example of the association value database 109a.
  • the association value database 109a an observation ID of a camera 305, which is an example of the second detection unit 102a of the second observation apparatus 102, and an association value for each person 302 are recorded.
  • the person detected by OBS_CAM_004 has the highest probability of being a person of HUM_001 at 0.69, followed by the probability of being a person of HUM_002 is 0.19, and the probability of being a person of HUM_003 is the lowest, 0.12. Yes.
  • association values for each person are recorded for other observation IDs.
  • the association value database 109 a may be recorded in the internal storage unit of the association unit 109.
  • the information may be recorded in an external database or the like, and the association unit 109 may obtain necessary information from the external database and calculate an association value as necessary.
  • the second object ID likelihood determining means 107 determines the previous value associated with the observed value.
  • the previous association value obtained by the association means 109 with the observed value is determined as the second ID likelihood.
  • the association means 109 obtains the current association value based on the currently estimated person ID and person position. .
  • the obtained association value is recorded in the association value database 109a by the association means 109.
  • the camera 305 outputs the observation value obtained by tracking the same object by associating the previous observation value with the current observation value, and outputs the observation value from the second observation unit 102 to the second object ID likelihood determining unit 107.
  • a random variable T that allows the camera 305 to correctly track the observed value is introduced by the second object ID likelihood determining means 107, and the second ID likelihood is determined by the second object ID likelihood determining means 107 according to (Equation 10). You may decide.
  • Equation 10 p id is the second ID likelihood, r is an association value, N is the number of people in the room 301, and t is time.
  • the object tracking situation determination unit 106 outputs a tracking success likelihood indicating the probability of successful tracking of the object and a tracking failure likelihood indicating a probability of failure of tracking the object.
  • the second object ID likelihood determining means 107 is a tracking failure likelihood based on a value obtained by multiplying the association value calculated at the previous detection of the object and the tracking success likelihood, and the number of all objects to be detected. The sum of the values obtained by dividing is used as the second ID likelihood p id of the object.
  • the tracking success likelihood is a random variable T
  • the tracking failure likelihood is (1-T).
  • the object of the ID likelihood Estimate the degree.
  • the estimated ID likelihood is assigned based on the association value of the previous observation value by the probability of the tracking success likelihood. This is (r t-1 T t ) on the left side of (Equation 10).
  • the second object ID likelihood determining means 107 is a method of obtaining the random variable T, but a preliminary experiment is performed to determine the probability of actually succeeding tracking, and the information is used as the second object ID likelihood determining means. For example, it may be stored in the internal storage unit 107. Further, when a plurality of observation values described in the object tracking method of the second observation apparatus 102 that are not identifiable by a color feature amount are dense, if the probability of tracking failure increases, second object ID likelihood determination means Processing such as lowering the value of the random variable T at 107 may be performed.
  • the second object ID likelihood determining means 107 can determine whether or not “when a plurality of observation values that cannot be identified by color feature amounts or the like are dense” is as follows, for example.
  • the second object ID likelihood determining means 107 determines that the distance is close. When all the three people have the same color feature amount, processing such as lowering the value of the random variable T can be performed.
  • FIG. 12B shows the positions of the person H1 and the person H2 detected by the camera 305 at time T + 1 and the distance between the detected positions of the person H1 and the person H2.
  • the object tracking situation determination unit 106 determines that the distance between the H1 person and the H2 person has decreased from 600 cm to 200 cm.
  • the camera 305 can track the person H1 and the person H2 by the object tracking state determination unit 106.
  • FIG. 13 shows the human detection status of the camera 305 at time T + 2. According to FIG. 13, only the person H1 is detected at time T + 2. It can be considered that the person of H2 is hidden in the blind spot caused by the presence of the person of H1.
  • the variable r in Expression 10 may be an average value of the association value of the person H1 at time T + 1 and the association value of the person H2 at time T + 1.
  • the second object ID likelihood determining means 107 determines whether or not the person H2 is hidden in the blind spot caused by the presence of the person H1 by setting a threshold value for the distance between the human detection positions. Can do. That is, regarding the detection position A of the H1 person, the second object ID likelihood determining means 107 determines that the detection position B of the H2 person is within a distance shorter than the threshold, and in this case, the H1 person is detected. If not, the second object ID likelihood determining means 107 determines that the person H1 is concealed by the person H2. The same determination is made by the second object ID likelihood determination means 107 for the person H2 or other persons.
  • FIG. 9A to 9C show actual positions of the person 302A, person 302B, and person 302C existing in the room 301.
  • FIG. FIG. 9A shows the actual positions of the person 302A, person 302B, and person 302C at the time 2008/09 / 02_12: 00: 00.
  • FIG. 9B shows the actual positions of the person 302A, person 302B, and person 302C at time 2008/09 / 02_12: 00: 01.
  • FIG. 9C shows the actual positions of the person 302A, person 302B, and person 302C at time 2008/09 / 02_12: 00: 02. According to FIG.
  • FIG. 9 is a diagram for explaining the object position estimating means 108 and the second object ID likelihood determining means 107, and the information shown in FIG. 9A is the information of the first embodiment of the present invention. It is not used in other descriptions.
  • FIG. 10A to FIG. 10C show the state of human detection by the tag reader 304 and the camera 305 in the room 301.
  • FIG. 10A shows a human detection situation at time 2008/09 / 02_12: 00: 00.
  • FIG. 10B shows a person detection situation at time 2008/09 / 02_12: 00: 01.
  • FIG. 10C shows the human detection status at time 2008/09 / 02_12: 00: 02.
  • the person 302A of the tag T7 is detected at the position of coordinates (620,100), and the person 302C of the tag T8 is detected at the position of coordinates (620,630) (see FIG. 5).
  • three camera person detection positions 1002 are also obtained, one person at the position of coordinates (150,410), one person at the position of coordinates (810,220), and one person at the position of coordinates (810,650). It has been detected (see FIG. 6).
  • FIG. 11A to 11F show the position of the person 302 estimated by the object position estimating means 108 in the room 301.
  • FIG. FIG. 11A is an initial position of the estimated position at the time of starting the object position estimating system according to the first embodiment of the present invention at time 2008/09 / 02_12: 00: 00.
  • the initial position is randomly determined, but it may be the center of the room 301 or the like.
  • the object position estimation system possesses an environment map (environment map information) describing entrance / exit information such as the entrance / exit position of the room 301, the entrance / exit of the room 301 may be set as the initial position.
  • environment map environment map information
  • the environment map may include blind spot information of the first observation device or blind spot information of the second observation device.
  • the environment map (environment map information) in which the entrance / exit information is recorded may be stored in the internal storage unit of the object position estimation means 108.
  • the environment map (environment map information) in which the camera blind spot information referred to by the object tracking situation determination unit 106 is recorded may be stored in the internal storage unit of the second observation apparatus 102.
  • the environment map includes exit / entrance environment map data in which position coordinate information of the entrance / exit is recorded as shown in FIG. 19A, and camera blind spot environment map data in which the blind spot information of the camera 305 is recorded as shown in FIG. 19B.
  • the entrance / exit environment map is stored and recorded in the internal storage unit of the object position estimation unit 108, and the camera blind spot environment map is stored and recorded in the internal storage unit of the camera 305.
  • the object position estimation unit 108 determines the initial position by referring to the entrance / exit environment map by the object position estimation unit 108. can do.
  • the blind spot of the camera 305 is expressed as a rectangle with two points recorded in the camera blind spot environment map as diagonal points.
  • the object tracking situation determination means 106 refers to the camera blind spot environment map, it can be seen that both the observed value A and the observed value B are close to “camera blind spot 1”. That is, at the time 13:00:01 and the time 13:00:02, the object tracking situation determination unit 106 can determine that there is a possibility that the observation value could not be obtained because the person entered the blind spot of the camera. Therefore, the object tracking state determination means 106 can determine that the observed value B is not the observed value observed for the first time but the observed value obtained by tracking the observed value A.
  • the object tracking situation determination means 106 can use the relationship between the observation period of the camera and the walking speed of the person. For example, assuming that the observation cycle of the camera is once per second and the walking speed of the person is 70 cm per second, the observation values observed within the range of 70 cm from the camera blind spot are observed values near the camera blind spot. And the object tracking situation determination means 106 can determine.
  • FIG. 11B shows an estimated position of a person estimated based on the person information detected by the tag reader 304 and the camera 305 at the time 2008/09 / 02_12: 00: 00.
  • FIG. 11C further shows the initial position of the estimated position at time 2008/09 / 02_12: 00: 01.
  • FIG. 11D shows the estimated position of the person estimated using the person information detected by the tag reader 304 and the camera 305 at the time 2008/09 / 02_12: 00: 01.
  • FIG. 11E shows the initial position of the estimated position at time 2008/09 / 02_12: 00: 02.
  • FIG. 11F shows the estimated position of the person estimated using the person information detected by the tag reader 304 and the camera 305 at the time 2008/09 / 02_12: 00: 02.
  • the object position estimation apparatus 120 performs operation control.
  • the second object ID likelihood determination means 107, the object position estimation means 108, and the association means 109 constitute an object position estimation device 120.
  • the object position estimation system will be described as including the object position estimation apparatus 120, a first observation apparatus 101 having a tag reader 304, and a second observation apparatus 102 having a camera 305.
  • the tag reader 304 is an example of the first detection unit 101a
  • the camera 305 is an example of the second detection unit 102a.
  • the object position estimation unit 108 sets an initial position to the estimated position of the person 302 (see FIG. 11A).
  • the object position estimation system according to the first embodiment includes a counter in the object position estimation unit 108 for grasping how many times the object position has been updated. When this counter is 0, that is, when the object position estimation system has not been updated, the position of the person 302 is set to the initial position.
  • a gate type tag reader 304d that functions as a tag reader of the first observation apparatus 101 is installed at the entrance 301D of the room 301 indicated by a one-dot chain line in FIG.
  • the gate type tag reader 304d when the person 302 enters the room 301 through the entrance 301D, all the tags of the person 302 who entered the room 301 can be read by the gate type tag reader 304d. Therefore, it is assumed that the ID of the person 302 existing in the room 301 is all known by the first observation apparatus 101. Furthermore, the ID of the person 302 existing in the room 301 may be recorded in, for example, the first internal storage unit 110 of the first observation apparatus 101 of the object position estimation system. If it is an environment where a gate type tag reader cannot be installed, the initial position of the person 302 may be set to the initial position when the tag reader 304 detects the person 302 for the first time.
  • step S1602 the object position estimation device 120 is prompted to receive outputs from the first observation device 101 and the second observation device 102, that is, observation information.
  • the person 302 is detected for the first time by the tag reader 304, the camera 305, and the image processing unit 102b (see FIG. 10A for the detection status.
  • the object position estimation apparatus 120 receives observation information.
  • Information detected by the tag reader 304 and the camera 305 is output to the object position estimation apparatus 120.
  • the observation times of the tag reader 304 and the camera 305 are both described as 2008/09 / 02_12: 00: 00, but in actuality, there is a possibility that the observation time will be shifted.
  • the reference time is set at an interval of 1 second, and all the observation values obtained within the allowable time range from the reference time, for example, ⁇ 500 msec, are the observation values obtained at the same time. The system may determine that there is.
  • FIG. 18 shows an example of setting the reference time. In the case of the observation situation in FIG.
  • the system determines that OBS_CAM_201 and OBS_TAG_201, which are observed within a range of ⁇ 500 msec from the reference time 12: 00: 01: 000, are observed at the same time.
  • OBS_CAM_202 and OBS_TAG_202 are determined by the system as OBS_CAM_203 and OBS_TAG_203 are observed at the same time.
  • the object position estimation unit 108 processes the human detection information (OBS_CAM_001, OBS_CAM_002, OBS_CAM_003) detected by the camera 305 and the image processing unit 102b of the second detection unit 102a of the second observation apparatus 102. Does not include the required second ID likelihood. Therefore, first, the person detection information is output from the second observation apparatus 102 to the second object ID likelihood determination means 107, and the second object ID likelihood determination means 107 detects the person 302 detected by the second observation apparatus 102. The second ID likelihood of is determined. Here, in step S1603, it is determined whether or not the human detection information is output from the second observation apparatus 102 to the second object ID likelihood determination means 107.
  • step S1604 If the person detection information is output from the second observation apparatus 102 to the second object ID likelihood determining means 107, the process proceeds to step S1604. On the other hand, if the person detection information is not output from the second observation apparatus 102 to the second object ID likelihood determining means 107, the process proceeds to step S1609. In this example, since the camera 305 outputs human detection information, the process proceeds in the direction of YES in step S1603, and the process proceeds to step S1604. On the other hand, if the camera 305 has not output the human detection information, such as the person 302 has entered the blind spot of the camera 305, the process proceeds to NO in step S1603, and the process proceeds to step S1609.
  • the second object ID likelihood determining means 107 determines the second ID likelihood for the person detected by the second observation apparatus 102. That is, the second object ID likelihood determining means 107 has all the information of OBS_CAM_001, OBS_CAM_002, OBS_CAM_003 based on the output from the object tracking situation determining means 106 of the second observation apparatus 102 to the second object ID likelihood determining means 107. It is determined that the detected person information is obtained by detecting a new person. The reason for this is determined by the second object ID likelihood determining means 107 as described above, for example, when there is no information for detecting these persons within a certain time before the information. can do.
  • the second object ID likelihood determining means 107 evenly assigns the probability of being a person existing in the room 301 to the second ID likelihood of the person detected by OBS_CAM_001, OBS_CAM_002, OBS_CAM_003. That is, the person detected by OBS_CAM_001 by the second object ID likelihood determining means 107 is 1/3 the probability of being a person 302A, 1/3 the probability of being a person 302B, and 1/3 the probability of being a person 302C. To do.
  • the second object ID likelihood determining means 107 assigns probabilities to OBS_CAM_002 and OBS_CAM_003 in the same manner.
  • step S1605 the association unit 109 detects the person position detected by the camera 305, the second ID likelihood of the person output by the second object ID likelihood determination unit 107, and the object position estimation shown in FIG. 11A. Using the person ID and person position estimated by the means 108, an association value is obtained. The obtained association value is recorded in the association value database 109a (see FIG. 8).
  • step S1606 the human detection information detected by the tag reader 304 of the first detection unit 101a of the first observation apparatus 101 is directly output from the first observation apparatus 101 to the object position estimation means 108.
  • the process proceeds to step S1607. If the human detection information is not output from the first observation apparatus 101 to the object position estimation unit 108, the process proceeds to step S1608.
  • the tag reader 304 since the tag reader 304 outputs the person detection information, the process proceeds to YES in step S1606, and the process proceeds to step S1607.
  • the tag reader 304 has not output the person detection information, such as the person 302 has entered the blind spot of the tag reader 304, the process proceeds to NO in step S1606, and the process proceeds to step S1608.
  • step S1609 the human detection information detected by the tag reader 304 of the first detection unit 101a of the first observation apparatus 101 is directly output from the first observation apparatus 101 to the object position estimation means 108.
  • the above-described person detection information includes the first ID likelihood and the first position likelihood that the object position estimation unit 108 requires for processing.
  • step S1609 whether or not the human detection information including the first ID likelihood and the first position likelihood is output from the first observation apparatus 101 to the object position estimation unit 108. to decide. If the person detection information is output from the first observation apparatus 101 to the object position estimation means 108, the process proceeds to step S1610, and if the person detection information is not output from the first observation apparatus 101 to the object position estimation means 108. Return to step S1602.
  • step S1609 since the tag reader 304 outputs the person detection information, the process proceeds to YES in step S1609, and the process proceeds to step S1610.
  • the tag reader 304 if the tag reader 304 has not output the person detection information, such as the person 302 has entered the blind spot of the tag reader 304, the process proceeds in the NO direction in step S1609 and returns to step S1602.
  • step S ⁇ b> 1607 the object position estimating unit 108 detects the person's first ID likelihood and person's first position likelihood detected by the tag reader 304 of the first detection unit 101 a of the first observation apparatus 101, and the second observation apparatus 102. Based on the second position likelihood of the person detected by the camera 305 of the second detection unit 102a and the second ID likelihood of the person output by the second object ID likelihood determining means 107, the position of the person is estimated. Do. Based on this position estimation, the person's ID and the person's position are updated (see FIG. 11B in which FIG. 11A is updated). In this example, since the tag reader 304 and the camera 305 output the person detection information, the process of step S1607 is performed. Thereafter, the process returns to step S1602.
  • step S1608 the object position estimation unit 108 outputs the second position likelihood of the person detected by the camera 305 of the second detection unit 102a of the second observation apparatus 102 and the second object ID likelihood determination unit 107.
  • the position of the person is estimated based on the second ID likelihood of the person who has performed. And based on this position estimation, a person's ID and a person's position are updated (refer FIG. 11B which updated FIG. 11A). Thereafter, the process returns to step S1602.
  • step S1610 the object position estimation unit 108 uses the person's first ID likelihood and the person's first position likelihood detected by the tag reader 304 of the first detection unit 101a of the first observation apparatus 101 to The position of is estimated. And based on this position estimation, a person's ID and a person's position are updated (refer FIG. 11B which updated FIG. 11A). Thereafter, the process returns to step S1602.
  • step S1602 returned from step S1607, step S1608, or step S1610, the person 302 is detected by the tag reader 304 and the camera 305 at the next time 2008/09 / 02_12: 00: 01. (See FIG. 10B for the detection status. See FIGS. 5 and 6 for the detected position coordinates.)
  • step S1603 it is determined whether or not the person detection information is output from the second observation apparatus 102 to the second object ID likelihood determining means 107. If the person detection information is output from the second observation apparatus 102 to the second object ID likelihood determining means 107, the process proceeds to step S1604. On the other hand, if the person detection information is not output from the second observation apparatus 102 to the second object ID likelihood determining means 107, the process proceeds to step S1609.
  • the second object ID likelihood determining means 107 determines the second ID likelihood for the person detected by the second observation apparatus 102. That is, similarly to the time 2008/09 / 02_12: 00: 00, at the time 2008/09 / 02_12: 00: 01, the second ID likelihood of each person detected by OBS_CAM_004, OBS_CAM_005, OBS_CAM_006 is set to the second It is necessary to obtain the object ID likelihood determining means 107. However, in this case, it is determined by the object tracking situation determination means 106 that OBS_CAM_004 is human detection information obtained by tracking OBS_CAM_001 from the identity of the color feature amount output by the object tracking situation determination means 106. Suppose.
  • the object tracking situation determination means 106 determines that OBS_CAM_005 is human detection information obtained by tracking OBS_CAM002 and OBS_CAM_006 is human detection information obtained by tracking OBS_CAM_003. Suppose that it was decided. Then, the second object ID likelihood determining unit 107 uses the association value database 109a as the association value of OBS_CAM_001 recorded in the association value database 109a based on the information of the determination by the object tracking situation determination unit 106, and the second ID of the person of OBS_CAM_004. Output as likelihood. Similarly, OBS_CAM_005 and OBS_CAM_006 are also output from the second object ID likelihood determining means 107.
  • observation ID OBS_CAM_004
  • observation ID OBS_CAM_001
  • the second object ID likelihood determining unit 107 receives the set observation ID from the object tracking situation determining unit 106
  • the two-object ID likelihood determining means 107 reads out from the association value database 109a.
  • a method for distinguishing between the observation ID for which the ID likelihood is to be obtained and the observation ID for which the association value is to be read out is required. For example, it is possible to determine that the observation value in which the association value is recorded in the association value database 109a is the observation value from which the association value is read.
  • steps S1605, S1606, and S1609 processing similar to that described above is performed.
  • step S ⁇ b> 1607 the object position estimating unit 108 detects the person's first ID likelihood and person's first position likelihood detected by the tag reader 304 of the first detection unit 101 a of the first observation apparatus 101, and the second observation apparatus 102. Based on the second position likelihood of the person detected by the camera 305 of the second detection unit 102a and the second ID likelihood of the person output by the second object ID likelihood determining means 107, the position of the person is estimated. Do. And based on this position estimation, a person's ID and a person's position are updated (refer FIG. 11D which updated FIG. 11C). Thereafter, the process returns to step S1602.
  • step S1608 the object position estimation unit 108 outputs the second position likelihood of the person detected by the camera 305 of the second detection unit 102a of the second observation apparatus 102 and the second object ID likelihood determination unit 107.
  • the position of the person is estimated based on the second ID likelihood of the person who has performed. And based on this position estimation, a person's ID and a person's position are updated (refer FIG. 11D which updated FIG. 11C). Thereafter, the process returns to step S1602.
  • step S1610 the object position estimation unit 108 uses the person's first ID likelihood and the person's first position likelihood detected by the tag reader 304 of the first detection unit 101a of the first observation apparatus 101 to The position of is estimated. And based on this position estimation, a person's ID and a person's position are updated (refer FIG. 11D which updated FIG. 11C). Thereafter, the process returns to step S1602.
  • the explanation has been given by taking the indoor space of the room 301 as an example.
  • the system can be used even outdoors. For example, by installing a gate-type tag reader at a school gate or an entrance that is located between the school building and the ground, it is possible to distinguish between students present in the school building and students present on the ground. Then, by installing a tag reader and a camera on the ground fence or school building, it is possible to estimate where the student is in the ground. If the ground area is large and one tag reader and camera cannot observe the entire ground area, the number of tag readers and cameras may be increased.
  • the association value when the object was detected last time is displayed as an image of the second detection unit 102a of the second observation device 102 this time. It can replace with the 2nd ID likelihood of the object which the process part 102b detected. Thereby, the processing of the object position estimating means 108 can be performed.
  • FIG. 11A shows the actual position of the person (FIG. 9A) because the initial values are set at random.
  • FIG. 11B shows the result of object position estimation based on the human information detected by the first observation apparatus 101 and the second observation apparatus 102 at time 2008/09 / 02_12: 00: 00.
  • the association unit 109 is detected by the second detection unit 102a and the image processing unit 102b of the second observation device 102 based on the object ID and the position of the object detected by the first detection unit 101a of the first observation device 101.
  • An association value for the selected object may be obtained.
  • the tag reader 304 is used as an example for the first detection unit 101a of the first observation apparatus 101.
  • the association unit 109 may change information used for calculation for the association value until the object position estimation result of the object position estimation unit 108 converges and after the convergence.
  • the second detection unit 102a of the second observation apparatus 102 and the image are detected based on the object ID and the object position detected by the tag reader 304.
  • An association value related to the object detected by the processing unit 102b is obtained.
  • an association related to the object detected by the second detection unit 102a and the image processing unit 102b of the second observation apparatus 102 A value may be obtained.
  • the association unit 109 determines that the average variance of all objects is less than the threshold.
  • the association unit 109 may determine that the object position has converged.
  • the association means 109 grasps in advance the object position convergence status (for example, information that the object position converges at the Nth time from the start (where N is an integer exceeding 1)) by the prior experiment, The association unit 109 may determine that the object position does not converge from the start of the position estimation system to the Nth observation.
  • the object position estimating means 108 includes a counter for grasping how many times the object position has been updated.
  • the association means 109 can obtain the association value using the output information of the first observation apparatus 101. Thereby, a more accurate association value, that is, the second ID likelihood can be calculated.
  • the first detection unit 101a that functions as the first observation unit, the first object position likelihood determination unit 103, the first object ID likelihood determination unit 104, and the second observation unit function.
  • Each, or any part of it, can itself consist of software. Therefore, for example, as a computer program having steps constituting the control operation of each embodiment of the present specification, it is stored in a recording medium such as a storage device (hard disk or the like) so as to be readable, and the computer program is temporarily stored in the computer.
  • a recording medium such as a storage device (hard disk or the like) so as to be readable
  • the computer program is temporarily stored in the computer.
  • Each function or each step described above can be executed by reading it into a device (semiconductor memory or the like) and executing it using
  • the object position estimation system, the object position estimation apparatus, the object position estimation method, and the object position estimation program according to the present invention can estimate the position of an object even when an observation apparatus without an object ID identification function is included.
  • Surveillance camera systems and the like are already in widespread use. However, it is common that the image of the monitoring area is accumulated and the subject is identified by browsing manually. If it is possible to specify a person and position without human intervention according to the present invention, automatic acquisition and management of a person's position or flow line will be realized, and a human management system having unprecedented features as a security application can be provided. Very useful. It can also be applied to a system for managing the position of an article such as a container at a distribution site.

Abstract

　物体のＩＤ尤度及び位置尤度を第一観測装置(１０１)で検出し、物体の位置尤度及び物体の追跡状況を第二観測装置(１０２)で検出し、第二観測装置で検出した物体と物体ＩＤとをアソシエーション手段(１０９)で対応付け、第二観測装置(１０２)及びアソシエーション手段(１０９)からの情報に基づき第二観測装置(１０２)が検出した物体のＩＤ尤度を第二物体ＩＤ尤度決定手段(１０７)で決定し、ＩＤ尤度及び位置尤度から物体位置を物体位置推定手段(１０８)で推定する。

Description

物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム
　本発明は、複数の異種のセンサ（観測装置）情報に基づいて、物体の識別と位置を推定する物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムに関する。
　物体の位置を検出可能なセンサとして、無線タグ又はカメラが用いられることがある。
　しかし、無線タグは、（識別対象の物体付与した送信タグが発信するＩＤ情報に基づいて物体のＩＤ識別を行うため）基本的に、物体のＩＤ識別を間違えることがない反面、測位精度がカメラに比べて良くない。更に、電波が水分に吸収されることによりタグの検出が不安定になる等の問題がある。そのため、工場等のように環境が整備されていない一般環境下においては、無線タグの測位精度はあまり期待できない。特に水分を多く含む人等が無線タグを所有していた場合、位置誤差が１ｍ以上に及ぶこと、若しくは、タグそのものを検出できないことも考えられる。
　また、カメラの場合、正しく物体の検出ができれば、無線タグと比べて測位精度は良いが、（カメラから得られる画像的な特徴（形状又は色など）から物体のＩＤを識別するため）物体のＩＤ識別精度は１００％となり得ない。特に画像的特徴が類似した物体の識別率は低くなってしまう。例えば、トマトとリンゴなど、色又は形状が似た物体を互いに高精度で識別することは難しい。
　このように、センサの種類毎に検出能力の善し悪しが異なり、１種類のセンサだけでは物体の識別と位置の決定を高精度で行うことは難しい。そこで、センサを複数組み合わせ、異種複数のセンサの観測情報を統合することで、各種類のセンサの観測精度の不足を補い合いながら物体の位置を推定する技術がある（非特許文献１）。
Hirofumi Kanazaki, Takehisa Yairi, Kazuo Machida, Kenji Kondo, and Yoshihiko Matsukawa, "Variational Approximation Data Association Filter", 15th European Signal Processing Conference(EUSIPCO2007).発行日：２００７年９月３日,p1872～p1876。
　しかしながら、前記物体位置推定の技術を使用するためには、すべての観測装置が物体のＩＤ識別を行えるということが前提となっている。しかしながら、実際に実環境において物体、あるいは、人の位置の追跡を行うことを考えた場合、すべての観測装置においてＩＤ識別が可能という前提が成り立たないケースが存在する。
　例えば、観測装置にカメラを用いて人の識別を行う場合、人は毎日着ている服が異なる、あるいは、複数の人が同じ制服を着ているといった状況が容易に想定できる。このような場合、カメラで取得した服飾の色の特徴量によって、人の識別を行うことが現実には困難であることが分かる。あるいは、人の識別に顔画像の特徴量を使用したとしても、人は常にカメラの方向に向かって歩くとは限らないため、人の識別を安定的に行えることは保証の限りではない。カメラを複数台くまなく配置することも考えられるが、システム構築及びシステム設置のコストを無闇に押し上げ、費用対効果の面で現実性に乏しい。
　一方で、色又は形状の特徴に変化が起こり難い物品のＩＤ識別は、カメラにより安定的に行えるものの、このような前提の成立が条件となると、適用できる状況が著しく限定されてしまい、実用上のボトルネックとなる。
　以上、述べたとおり、従来技術（非特許文献１）で開示されている技術は、ＩＤ識別を行うことができない観測装置を含む場合に、物体の位置推定が行えないという課題を有している。また、これと同時に、従来技術の前提条件が満たされる状況は極めて限定され応用範囲が狭いという課題も有している。
　そこで、本発明の目的は、カメラに代表される物体のＩＤ識別を行えない観測装置を含む場合においても、物体の位置を推定することのできる物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムを提供することにある。具体的には、本発明は、ＩＤ識別が行えない観測装置以外からの観測情報を基に、ＩＤ識別が行えない観測装置の物体のＩＤ尤度に相当する数値を計算することで、前記課題を解決する。
　前記目的を達成するために、本発明は以下のように構成する。
　本発明の第１態様によれば、物体の位置を推定する物体位置推定システムであって、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ取得する第一観測部と、
　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で決定する第一物体ＩＤ尤度決定手段と、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測ＩＤを付す第二観測部と、
　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を決定する第二物体ＩＤ尤度決定手段と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
　本発明の第６態様によれば、物体の位置を推定する物体位置推定方法であって、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ第一観測部で取得し、
　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で第一物体ＩＤ尤度決定手段で決定し、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測ＩＤを付し、
　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を第二物体ＩＤ尤度決定手段で決定し、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
　前記物体の前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
　本発明の第７態様によれば、コンピュータに、
　異なる時刻に物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で第一物体ＩＤ尤度決定手段で決定する機能と、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測ＩＤを付する機能と、
　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を第二物体ＩＤ尤度決定手段で決定する機能と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
　前記物体の前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
　本発明の第８態様によれば、異なる時刻に物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で決定する第一物体ＩＤ尤度決定手段と、
　異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測ＩＤを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
　同じ特徴量を、互いに異なる時刻で観測した２つの前記第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を決定する第二物体ＩＤ尤度決定手段と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
　（１）前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、（２）前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
　本構成によれば、ＩＤ識別が可能な第一観測装置の観測情報に基づいて、第二観測装置の物体ＩＤ尤度に相当する量を計算可能であり、第二観測装置に物体のＩＤ識別機能が備わっていない場合にでも物体の位置を推定することができるようになる。
　本発明の物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムによれば、物体のＩＤ識別を行うことのできない観測装置以外からの情報を基に物体のＩＤ尤度を決定することができる。そのため、観測装置に物体のＩＤ識別機能が備わっていない場合にでも物体の位置を推定することができるようになる。
　本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図１Ａは、本発明の第一実施形態に係る物体位置推定システムの構成を示すブロック図であり、 図１Ｂは、本発明の前記第一実施形態の変形例に係る物体位置推定装置の構成を示すブロック図であり、 図２は、本発明の前記第一実施形態に係る前記物体位置推定システムで使用するカルマンフィルタの動作例を示す図であり、 図３は、本発明の前記第一実施形態に係る前記物体位置推定システムでの観測対象である生活空間としての部屋を説明する図であり、 図４は、本発明の前記第一実施形態に係る前記物体位置推定システムの人ＩＤ変換テーブルの例を示す図であり、 図５は、本発明の前記第一実施形態に係る前記物体位置推定システムの第一観測装置の出力履歴の例を示す図であり、 図６は、本発明の前記第一実施形態に係る前記物体位置推定システムの第二観測装置の出力履歴の例を示す図であり、 図７は、本発明の前記第一実施形態に係る前記物体位置推定システムの物体位置推定手段の出力履歴の例を示す図であり、 図８は、本発明の前記第一実施形態に係る前記物体位置推定システムの第二物体ＩＤ尤度決定手段の出力履歴の例を示す図であり、 図９Ａは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の実際の位置の例を示す図であり、 図９Ｂは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の実際の位置の例を示す図であり、 図９Ｃは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の実際の位置の例を示す図であり、 図１０Ａは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の検出位置（観測位置）の例を示す図であり、 図１０Ｂは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の検出位置（観測位置）の例を示す図であり、 図１０Ｃは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の検出位置（観測位置）の例を示す図であり、 図１１Ａは、本発明の前記第一実施形態に係る前記物体位置推定システムの起動時における、観測対象となる部屋での人の初期位置（観測値適用前の位置）の例を示す図であり、 図１１Ｂは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:00における人の推定位置（観測値適用後の位置）の例を示す図であり、 図１１Ｃは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の初期位置（観測値適用前の位置）の例を示す図（図１１Ｂと同じ図）であり、 図１１Ｄは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:01における人の推定位置（観測値適用後の位置）の例を示す図であり、 図１１Ｅは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の初期位置（観測値適用前の位置）の例を示す図（図１１Ｄと同じ図）であり、 図１１Ｆは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻2008/09/02_12:00:02における人の推定位置（観測値適用後の位置）の例を示す図であり、 図１２Ａは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻Ｔにおける人検出位置間の距離を示す図であり、 図１２Ｂは、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻Ｔ＋１における人検出位置間の距離を示す図であり、 図１３は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での時刻Ｔ＋２における人検出位置を示す図であり、 図１４は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での第一観測装置の処理を示すフローチャートであり、 図１５は、本発明の前記第一実施形態に係る前記物体位置推定システムの観測対象となる部屋での第二観測装置の処理を示すフローチャートであり、 図１６は、本発明の前記第一実施形態に係る前記物体位置推定システムの処理を示すフローチャートであり、 図１７は、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、同じ色特徴量をそれぞれ持った２人の人が擦れ違ったときのカメラの観測状況を説明するための図であり、 図１８は、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、基準時刻の設定の一例を示す図であり、 図１９Ａは、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、物体位置推定手段に備えられる環境マップ(環境マップ情報)の一例を示す図であり、 図１９Ｂは、本発明の前記第一実施形態に係る前記物体位置推定システムにおいて、カメラに備えられる環境マップの一例を示す図である。
　以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
　以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
　本発明の第１態様によれば、物体の位置を推定する物体位置推定システムであって、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ取得する第一観測部と、
　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で決定する第一物体ＩＤ尤度決定手段と、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測ＩＤを付す第二観測部と、
　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を決定する第二物体ＩＤ尤度決定手段と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
を備えることを特徴とする物体位置推定システムを提供する。
　本発明の第２態様によれば、さらに、前記物体追跡状況決定手段は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度を出力し、
　前記第二物体ＩＤ尤度決定手段は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度を乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ＩＤ尤度とすることを特徴とする第１の態様に記載の物体位置推定システムを提供する。
　本発明の第３態様によれば、前記物体追跡状況決定手段が、時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出することにより、前記第二観測装置が検出した前記物体の追跡状況を追跡中であると決定した場合、前記アソシエーション手段は、前記物体位置推定手段が推定した前記物体のＩＤと前記物体の位置に基づいて、前記第二観測装置が検出した前記物体のＩＤを求めることを特徴とする第１又は２の何れかの態様に記載の物体位置推定システムを提供する。
　本発明の第４態様によれば、更に、前記環境内に存在する前記人が出入りする出入口の位置を含む出入口情報、又は、前記第一観測装置の死角情報と、又は、前記第二観測装置の死角情報が記録された環境マップ(環境マップ情報)を備えることを特徴とする第１～３の何れか１つの態様に記載の物体位置推定システムを提供する。
　本発明の第５態様によれば、更に、前記物体追跡状況決定手段は、重なり合った複数物体を１つの物体として検出している確率を決定することを特徴とする第１～４の何れか１つの態様に記載の物体位置推定システムを提供する。
　本発明の第６態様によれば、物体の位置を推定する物体位置推定方法であって、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ第一観測部で取得し、
　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で第一物体ＩＤ尤度決定手段で決定し、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測ＩＤを付し、
　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を第二物体ＩＤ尤度決定手段で決定し、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
　前記物体の前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、
ことを特徴とする物体位置推定方法を提供する。
　本発明の第７態様によれば、コンピュータに、
　異なる時刻に物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で第一物体ＩＤ尤度決定手段で決定する機能と、
　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測ＩＤを付する機能と、
　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を第二物体ＩＤ尤度決定手段で決定する機能と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
　前記物体の前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラムを提供する。
　本発明の第８態様によれば、異なる時刻に物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で決定する第一物体ＩＤ尤度決定手段と、
　異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測ＩＤを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
　同じ特徴量を、互いに異なる時刻で観測した２つの前記第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を決定する第二物体ＩＤ尤度決定手段と、
　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
　（１）前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、（２）前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
を備える物体位置推定装置を提供する。
　以下、本発明の実施の形態にかかる、物体位置推定システム、物体位置推定装置、物体位置推定装置又は物体位置推定システムにより実施可能な物体位置推定方法、及び、物体位置推定プログラムについて、図面を参照しながら説明する。
（第一実施形態）
＜システム構成＞
　図１Ａは、本発明の第一実施形態に係る物体位置推定システムの構成を示した図である。
　本発明の第一実施形態に係る物体位置推定システムは、第一観測装置１０１と、第二観測装置１０２と、第二物体ＩＤ尤度決定手段(第二物体ＩＤ尤度決定部)１０７と、物体位置推定手段(物体位置推定部)１０８と、アソシエーション手段(アソシエーション部)１０９とを備えるように構成されている。
　第一観測装置１０１は、第一物体位置尤度決定手段(第一物体位置尤度決定部)１０３と、第一観測部として機能する第一検出部１０１ａと、第一物体ＩＤ尤度決定手段(第一物体ＩＤ尤度決定部)１０４と、第一内部記憶部１１０とを備えている。第二観測装置１０２は、第二観測部として機能する第二検出部１０２ａと、画像処理部１０２ｂと、第二物体位置尤度決定手段(第二物体位置尤度決定部）１０５と、物体追跡状況決定手段(物体追跡状況決定部)１０６と、第二内部記憶部１１１とを備えている。
　なお、本発明の第一実施形態に係る物体位置推定システムは、１つの変形例として、図１Ｂに示すように、複数の構成要素で第一観測装置１０１及び第二観測装置１０２をそれぞれ構成する代わりに、それらの構成要素を個別に備え、かつ、第一観測部として機能する第一検出部１０１ａと、第一タイマ１０１ｔと、第二観測部として機能する第二検出部１０２ａと、第二タイマ１０２ｔとを除く構成要素を物体位置推定装置９９として構成するようにしてもよい。逆に言えば、図１Ｂの物体位置推定装置９９において、図１Ａの第一実施形態に係る物体位置推定システムと同様に、第一観測装置１０１を構成するとともに、画像処理部１０２ｂを加えて第二観測装置１０２を構成すれば、図１Ａの第一実施形態に係る物体位置推定システムの構成とすることができる。
　ここで、前記物体位置推定装置９９は、第一物体位置尤度決定手段(第一物体位置尤度決定部)１０３と、第一物体ＩＤ尤度決定手段(第一物体ＩＤ尤度決定部)１０４と、第二物体位置尤度決定手段(第二物体位置尤度決定部）１０５と、物体追跡状況決定手段(物体追跡状況決定部)１０６と、第二物体ＩＤ尤度決定手段(第二物体ＩＤ尤度決定部)１０７と、アソシエーション手段(アソシエーション部)１０９と、物体位置推定手段(物体位置推定部)１０８とを主たる構成要素として備えるようにしている。付加的構成要素として、前記物体位置推定装置９９には、第一記憶部１１０ｍと第二記憶部１１１ｍとを備えるようにしてもよい。このような構成の場合、第一観測部として機能する第一検出部１０１ａと、第一タイマ１０１ｔとからの情報は、第一物体位置尤度決定手段(第一物体位置尤度決定部)１０３に入力されると共に、第一記憶部１１０ｍにも記憶されるようにしてもよい。また、第一物体位置尤度決定手段(第一物体位置尤度決定部)１０３からの情報は第一物体ＩＤ尤度決定手段(第一物体ＩＤ尤度決定部)１０４に入力されるようにしている。さらに、第一物体位置尤度決定手段(第一物体位置尤度決定部)１０３からの情報及び第一物体ＩＤ尤度決定手段(第一物体ＩＤ尤度決定部)１０４からの情報は第一記憶部１１０ｍにも記憶されるようにしてもよい。第一物体ＩＤ尤度決定手段(第一物体ＩＤ尤度決定部)１０４からの情報は、物体位置推定手段(物体位置推定部)１０８に入力されるようにしている。同様に、第二観測部として機能する第二検出部１０２ａと、第二タイマ１０２ｔとからの情報は、第二物体位置尤度決定手段(第二物体位置尤度決定部)１０５に入力されると共に、第二記憶部１１１ｍにも記憶されるようにしてもよい。また、第二物体位置尤度決定手段(第二物体位置尤度決定部)１０５からの情報は物体追跡状況決定手段(物体追跡状況決定部)１０６に入力されるようにしている。さらに、第二物体位置尤度決定手段(第二物体位置尤度決定部)１０５からの情報及び物体追跡状況決定手段(物体追跡状況決定部)１０６からの情報は第二記憶部１１１ｍにも記憶されるようにしてもよい。物体追跡状況決定手段(物体追跡状況決定部)１０６からの情報は、物体位置推定手段(物体位置推定部)１０８とアソシエーション手段(アソシエーション部)１０９と第二物体ＩＤ尤度決定手段(第二物体ＩＤ尤度決定部)１０７とに入力されるようにしている。このような構成の図１Ｂの物体位置推定装置９９も、図１Ａの第一実施形態に係る物体位置推定システムの対応する手段（対応する部）と同様に作用効果を奏することができる。
　また、図３に、本発明の第一実施形態に係る物体位置推定システムの構成要素である第一観測装置１０１と第二観測装置１０２とを備えた、環境の一例である生活環境の具体的な例としての部屋３０１を示す。四角形の部屋３０１の天井の異なる隅には、ＵＷＢ（Ultra　Wide　Band）のタグリーダ３０４と、ステレオカメラ３０５とが、それぞれ設置されている。タグリーダ３０４は、第一観測装置１０１の第一検出部１０１ａの一例として機能し、ステレオカメラ３０５は、第二観測装置１０２の第二検出部１０２ａの一例として機能する。部屋３０１内には、タグリーダ３０４でそれぞれ検出可能な、タグ３０３Ａを所有した人３０２Ａと、タグ３０３Ｂを所有した人３０２Ｂと、タグ３０３Ｃを所有した人３０２Ｃとが存在していると仮定する。以後、部屋３０１内に存在する人３０２Ａと人３０２Ｂと人３０２Ｃとのうちの任意の人を、人３０２として代表的に説明する。同様に、部屋３０１内に存在するタグ３０３Ａとタグ３０３Ｂとタグ３０３Ｃとのうちの任意のタグを、タグ３０３として代表的に説明する。
　以下、図１Ａと図３とを用いて、各構成要素について説明する。
＜各観測装置の説明＞
　第一観測装置１０１と第二観測装置１０２とは、共に生活環境の具体的な例である部屋３０１内に存在する人３０２をそれぞれ検出する。
＜第一観測装置の説明＞
　第一観測装置１０１は、第一観測部として機能する第一検出部１０１ａと、第一物体位置尤度決定手段１０３と、第一物体ＩＤ尤度決定手段１０４と、第一内部記憶部１１０とを備えている。第一観測装置１０１は、部屋３０１内に存在する人３０２の第一ＩＤ尤度（第一物体ＩＤ尤度）と、第一位置尤度（第一物体位置尤度）と、を第一観測装置１０１で決定する。決定された人３０２の第一ＩＤ尤度と第一位置尤度との情報を、第一観測装置１０１から物体位置推定手段１０８に出力することができる。
　第一ＩＤ尤度及び後述する第二ＩＤ尤度というときのＩＤ尤度とは、検出した物体（例えば、ここでは人３０２）がどのＩＤの物体（例えば、ここでは人３０２）であるらしいか、を確率的に表したものである。例えば、（無線タグでは従来技術に記述した通り、ＩＤを確実に識別可能なので）無線タグで物体Ａのタグを検出した場合、ＩＤ尤度は物体Ａである確率が１、その他の物体である確率が０となる。一方、カメラで物体Ａを検出した場合、上述の通り特定の物体であることを確実には識別できない。例えば、カメラを通じて物体Aを識別した場合であっても、物体Ａ以外の物体（物体Ｂ，物体Ｃ）を識別した可能性がある。そのため、ＩＤ尤度は物体Ａである確率が０．８、物体Ｂである確率が０．１、物体Ｃである確率が０．１、というように、存在する物体すべてに確率の割り振りを行うこととなる。尚、これはＩＤ尤度を決定する一例であり、本発明はこれに限るものではない。本発明の第一実施形態では、第一観測装置１０１の第一検出部１０１ａが検出した人３０２の第一ＩＤ尤度は、第一物体ＩＤ尤度決定手段１０４により決定する。これに対して第二観測装置１０２の第二検出部１０２ａの一例であるカメラ３０５は、物体のＩＤ識別機能を有していない。そのため、第二観測装置１０２とは別の第二物体ＩＤ尤度決定手段１０７によって、第二観測装置１０２の第二検出部１０２ａの一例であるカメラ３０５及び画像処理部１０２ｂが検出した人３０２の第二ＩＤ尤度を、決定している。
　第一位置尤度及び後述する第二位置尤度というときの位置尤度とは、ある時点で推定されている各物体の位置に基づいて、新たに観測された物体の位置に関して、その物体がどのＩＤの物体であるらしいか、を確率的に表したものである。例えば、１次元座標上の１０の位置に物体Ａが、２０の位置に物体Ｂが、４０の位置に物体Ｃがそれぞれ存在すると推定されていたとする。この状況において、０の位置に物体を検出したとする。このときの位置尤度は、例えば、各物体Ａ，Ｂ，Ｃの推定位置からの距離の逆数を取り正規化を行うことで、物体Ａである確率が０．５８、物体Ｂである確率が０．２８、物体Ｃである確率が０．１４と算出することができる。
　ここで、物体位置推定システム起動時について考える。物体位置推定システム起動時の人の初期推定位置がランダムに決定されている場合、タグリーダ３０４は人ＩＤの識別を確実に行うことができる。そのため、ランダムに決定された人の（初期）推定位置よりも、人３０２（が所持しているタグ３０３）を検出した位置の方が、実際の人３０２の位置に近い可能性が高い。そこで、第二位置尤度は、推定されている物体の位置ではなく、タグリーダ３０４が人３０２（が所持しているタグ３０３）を検出した位置に基づいて、求めても良い。
　さらに、物体位置推定システム起動時からＮ回目（Ｎは０よりも大きな任意の整数。）のカメラ３０５の観測までは、タグリーダ３０４が人３０２（が所持しているタグ３０３）を検出した位置に基き、第二位置尤度を決定し、Ｎ回目以降のカメラ３０５の観測は、推定された物体の位置に基き、第二位置尤度を決定しても良い。ここで、タグリーダ３０４が人３０２（が所持しているタグ３０３）を検出した位置に基づいて第二位置尤度を決定する回数Ｎは、観測装置の性能によって最適な値が異なってくる。そのため、事前実験などによって、予め最適な値を見積もっておくことが必要となる。
尚、これは位置尤度を決定する一例であり、本発明はこれに限るものではない。第一位置尤度は、第一観測装置１０１の第一物体位置尤度決定手段１０３で決定される。第二位置尤度は、第二観測装置１０２の第二物体位置尤度決定手段１０５で決定される。
　第一観測装置１０１の第一検出部１０１ａには、例えばタグリーダ３０４を用いることができる。
　第一物体位置尤度決定手段１０３は、第一観測装置１０１の第一検出部１０１ａが検出した人３０２の第一位置尤度（第一物体位置尤度）を決定する。第一観測装置１０１の第一検出部１０１ａにタグリーダ３０４を一例として用いる場合、第一物体位置尤度決定手段１０３は、例えば、三点測量の原理を用いて人３０２の第一位置尤度を決定することができる。具体的には、各無線タグリーダ自体の設置位置は、第一物体位置尤度決定手段１０３の内部記憶部又は第一内部記憶部１１０などに予め記憶させておく。そして、各無線タグリーダが各無線タグリーダ自体の設置位置を中心として、各無線タグリーダでタグ３０３を検出した位置を基に、第一物体位置尤度決定手段１０３が球体を描く。より具体的には、第一物体位置尤度決定手段１０３が、この検出した位置と前記設置位置とで算出した距離を半径とした球面を描く。このとき、第一物体位置尤度決定手段１０３により、球面が最も多く重なり合った位置を人３０２が所有しているタグ３０３の存在する位置とし、人３０２が存在する位置とする。
　第一物体ＩＤ尤度決定手段１０４は、第一観測装置１０１の第一検出部１０１ａが検出した人３０２の第一ＩＤ尤度（第一物体ＩＤ尤度）を決定する。第一観測装置１０１の第一検出部１０１ａとしてタグリーダ３０４を用いる場合、タグ３０３に人３０２のＩＤを記録しておくことで、タグリーダ３０４は、タグ３０３に記録された人３０２のＩＤをタグ３０３から直接読み取ることができる。これにより、人３０２の第一ＩＤ尤度は人３０２のＩＤである確率が１とすることができる。タグ３０３に人３０２のＩＤを記録しない場合は、例えばタグＩＤから人３０２の第一ＩＤ尤度を決定できる人ＩＤ変換テーブルを用いても良い。人ＩＤ変換テーブルの例を図４に示す。図４の人ＩＤ変換テーブルでは、例えば、タグＩＤ＝Ｔ４のタグを検出した場合、人ＩＤ＝Ｈ１の人を検出したことを示している。人ＩＤ変換テーブルは、第一観測装置１０１の第一内部記憶部１１０に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、第一物体ＩＤ尤度決定手段１０４が外部のデータベースから、必要な情報を取得して人３０２の第一ＩＤ尤度を決定するようにしても良い。
　第一観測装置１０１の人検出例を図５に示す。図５は、観測周期が１秒のタグリーダ３０４の出力例であって、観測ＩＤと、人３０２を検出した時刻と、人３０２を検出した位置（ｘｙ座標）と、人３０２が所有していたタグＩＤとがそれぞれ出力されている。例えば、時刻2008/09/02_12:00:00においては、タグＩＤ＝Ｔ４を所有する人３０２を位置(150,210)で検出し、観測ＩＤ＝OBS_TAG_001の第一観測情報として出力している。タグＩＤ＝Ｔ７、Ｔ８においても同様に、観測ＩＤ＝OBS_TAG_002の第一観測情報、及び観測ＩＤ＝OBS_TAG_003の第一観測情報として出力されている（なお、以下においては、「の第一観測情報」は省略する。）。尚、第一観測装置１０１は、観測周期及び時刻の情報などを取得するための第一タイマ１０１ｔを備えているものとする。
　以下、第一観測装置１０１の第一検出部１０１ａが一例としてタグリーダ３０４である場合として説明する。
　図１４のフローチャートを参照して、タグリーダ３０４の処理内容を説明する。
　ステップＳ１４０１で、環境の具体的な例である部屋３０１内に存在するタグ３０３を第一検出部１０１ａで検出し、タグ３０３のＩＤと位置を第一検出部１０１ａで検出する。このタグ３０３の位置に基づいて第一位置尤度を第一物体位置尤度決定手段１０３により決定する。
　ステップＳ１４０２で、タグ３０３を所持している人３０２のＩＤを第一検出部１０１ａで検出し、人の第一ＩＤ尤度を第一物体ＩＤ尤度決定手段１０４により決定する。
　ステップＳ１４０３で、人の第一ＩＤ尤度と第一位置尤度を第一観測装置１０１から物体位置推定手段１０８に出力する。
＜第二観測装置の説明＞
　第二観測装置１０２は、第二観測部として機能する第二検出部１０２ａと、画像処理部１０２ｂと第二物体位置尤度決定手段１０５と物体追跡状況決定手段１０６と第二内部記憶部１１１とを備えている。第二観測装置は、部屋３０１内に存在する人３０２の第二位置尤度（第二物体位置尤度）と人３０２の追跡状況の情報（追跡状況情報）を第二観測装置１０２で取得して、第二観測装置１０２から、第二物体ＩＤ尤度決定手段１０７と物体位置推定手段１０８とアソシエーション手段１０９とにそれぞれ出力することができる。第二観測装置１０２の第二検出部１０２ａの例としては、カメラ３０５を用いる。
　カメラ３０５を用いて人３０２を検出するには、第二検出部１０２ａの一例であるカメラ３０５が取得した画像データを画像処理部１０２ｂで処理する必要がある。その方法として、例えば、背景差分法を画像処理部１０２ｂで用いることができる。その方法は次のようなものである。カメラ３０５で予め撮像して用意しておいた、人３０２が存在していないときの環境例えば部屋３０１の背景画像データと、カメラ３０５で撮像した現在の画像データを画像処理部１０２ｂで比較する。その後、画素値が異なる領域を差分領域として画像処理部１０２ｂで取り出す。そして、前記差分領域を人３０２であるとして画像処理部１０２ｂで検出する。ただし、画像データにはノイズが混じっている可能性があるため、前記差分領域が人３０２に対して十分に小さいと画像処理部１０２ｂで判断できる場合には、前記差分領域は人３０２ではないと画像処理部１０２ｂで判断しても良い。ここで、差分領域が人３０２に対して十分に小さい場合とは、前記差分領域の画素数が、人３０２と認識可能な最低画素数を基に予め設定した閾値以下である場合が考えられる。
　第二物体位置尤度決定手段１０５は、第二観測装置１０２の第二検出部１０２ａと、画像処理部１０２ｂとが検出した人３０２の第二位置尤度（第二物体位置尤度）を決定する。第二観測装置１０２の第二検出部１０２ａの一例としてのカメラ３０５は、天井から垂直に地面を見下ろすように設置されているとする。このとき、例えば、第二物体位置尤度決定手段１０５は、画像処理部１０２ｂで取得した差分領域の重心位置に基づいて、人３０２の第二位置尤度を決定することができる。
　物体追跡状況決定手段１０６は、第二観測装置１０２の第二検出部１０２ａと画像処理部１０２ｂが検出した人３０２の追跡状況の情報（追跡状況情報）を決定する。第二観測装置１０２の第二検出部１０２ａの一例としてカメラ３０５を用いる場合、例えば、画像処理部１０２ｂで取得した差分領域の色の分布を第二内部記憶部１１１に記憶しておくことで、人３０２の追跡を実現できる。この追跡について、図６に示す第二内部記憶部１１１に記憶された人検出履歴データベースを用いて説明する。図６は、観測周期が１秒のカメラ３０５の出力履歴であって、観測ＩＤと、人３０２を検出した時刻と、人３０２を検出した位置（ｘｙ座標）と、そして人３０２の色特徴量とが記録されるようになっている。観測ＩＤ＝OBS_CAM_001の第二観測情報は、時刻2008/09/02_12:00:00において、カメラ３０５が位置(150,410)で人３０２を検出したことを表している。さらに、色特徴量に赤が記録されており、差分領域の色の分布を画像処理部１０２ｂで解析した結果、赤色の成分が最も多かったことを表している。その１秒後の検出にあたる、観測ＩＤ＝OBS_CAM004の第二観測情報（以降、「観測ＩＤ＝」及び「の第二観測情報」は省略する。）における色特徴量にも赤が記録されている。このとき、色特徴量が同じであるため、OBS_CAM_004で検出した人３０２は、OBS_CAM_001で検出した人３０２と同一人であると推定される。そのため、OBS_CAM_004は、OBS_CAM_001を追跡して得られた追跡状況情報であると物体追跡状況決定手段１０６で決定する。OBS_CAM_001で検出した人３０２に関しては、以前に色特徴量が同じ観測ＩＤが存在しないため、初めて検出された人であるという追跡状況情報として物体追跡状況決定手段１０６で決定される。ここで、色特徴量には、ＲＧＢの成分比などを用いても良い。尚、第二観測装置１０２は、観測周期及び時刻の情報などを取得するための第二タイマ１０２ｔを備えているものとする。
　ここで、OBS_CAM_004が得られなかった場合について考える。
　OBS_CAM_007が得られる前回の観測では、OBS_CAM_007と同じ色特徴量「赤」を持った観測値は得られていない。カメラ３０５の人の検出性能が高い場合、OBS_CAM_007を、初めて検出された人であると物体追跡状況決定手段１０６で決定しても良い。また、カメラ３０５の人の検出性能が低い場合、OBS_CAM_007が得られる前回の観測では人の検出をミスしたと判断し、さらに前回の観測値で且つ同じ色特徴量「赤」を持つOBS_CAM_001を、OBS_CAM_007と同一人であると物体追跡状況決定手段１０６で決定しても良い。
　前記例では、OBS_CAM_004で検出した人３０２は、OBS_CAM_001で検出した人３０２と同一人である、という追跡状況情報として物体追跡状況決定手段１０６で決定している。しかし、OBS_CAM_001とOBS_CAM_004は同じ色特徴量を検出していても、検出時間の差と検出位置の差とから互いに別人を検出したと物体追跡状況決定手段１０６で判断するときがある。例えば、OBS_CAM_001の検出位置(150,401)からOBS_CAM_004の検出位置(320,390)までの移動が、検出時間の差の間に、人の歩行速度では到底移動できないことが明らかな場合に、このような判断がされる。このような判断基準として、例えば、検出位置(150,401)と検出位置(320,390)との距離が、前記時間と人の最大歩行速度（例えば秒速５ｍ）との積である歩行可能距離よりも大きい場合などが考えられる。
　また、前記例では、同じ色特徴量をそれぞれ持った２人の人が擦れ違った場合、今回得られた観測ＩＤが、以前得られた、どの観測ＩＤを追跡したものかを物体追跡状況決定手段１０６で判断することができない。
　このような場合、物体追跡状況決定手段１０６は、人の運動モデルを考慮しても良い。同じ色特徴量をそれぞれ持った２人の人が擦れ違ったときのカメラ３０５の観測状況を図１７に示す。尚、本来は、タグリーダ３０４の観測値も得られるはずであるが、ここでは省略している。
　上述した通り、時刻12:00:02において、追跡状況情報として、OBS_CAM_103は、同じ色特徴量を持ち、且つ１秒以内で移動が可能なOBS_CAM_101を追跡して得られた観測値であると物体追跡状況決定手段１０６で判断される。同様に、OBS_CAM_104は、同じ色特徴量を持ち、且つ１秒以内で移動が可能なOBS_CAM_102を追跡して得られた観測値であると物体追跡状況決定手段１０６で判断される。
　ここで、特徴量だけでなく、物体の存在する時間も考慮しているのは以下の理由による。すなわち、追跡状況情報として、物体の特徴量のみで観測ＩＤ同士を関連付けることができて、追跡状況情報として取り扱うことができれば、簡単で良い。しかしながら、実際には、特徴量が同じ物体が複数存在する場合も考えられる（例えば、同じ服を着ている人がいる場合などが考えられる）。その場合、特徴量だけでなく、時間毎に物体が存在する位置も考慮して観測ＩＤを関連付けるようにしても良い。例えば、１秒で１００ｍ以上離れた場所に人が移動している場合、特徴量が同じでも関連付けを行わない、などのルールを予め決めて記憶しておき、物体追跡状況決定手段１０６でそのルールを適用できるようにしておけばよい。
　このことから、OBS_CAM_103は、－Ｘ方向へ秒速２ｍで進行し、OBS_CAM_104は、＋Ｘ方向へ秒速２ｍで進行していると物体追跡状況決定手段１０６で判断される。
　時刻12:00:03において、OBS_CAM_105の追跡元の観測値として、同じ色特徴量を持ち且つ１秒以内で移動可能な観測値がOBS_CAM_103とOBS_CAM_104との２つ存在する。このとき、第二内部記憶部１１１の人検出履歴データベースのOBS_CAM_103とOBS_CAM_104の進行履歴の情報を物体追跡状況決定手段１０６で参照することによって、どちらの観測値がOBS_CAM_105の追跡元の観測値なのかを物体追跡状況決定手段１０６で判断する。OBS_CAM_103は、－Ｘ方向へ秒速２ｍで進行していたことから、次回の観測（時刻12:00:03での観測）は、座標(550,350)で得られる可能性が高いと物体追跡状況決定手段１０６で判断することができる。また、OBS_CAM_104は、＋Ｘ方向へ秒速２ｍで進行していたことから、次回の観測は、座標(450,250)で得られる可能性が高いと物体追跡状況決定手段１０６で判断することができる。
　ここで、OBS_CAM_105は、座標(550,350)で得られており、OBS_CAM_103を追跡して得られた観測値であると物体追跡状況決定手段１０６で判断することができる。同様に、OBS_CAM_106は、OBS_CAM104を追跡して得られた観測値であると物体追跡状況決定手段１０６で判断することができる。
　尚、人検出履歴データベースは、前記したように第二観測装置１０２の第二内部記憶部１１１に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、物体追跡状況決定手段１０６が外部のデータベースなどから必要な情報を取得して物体追跡状況の情報を取得するようにしても良い。尚、第一観測装置１０１と第二観測装置１０２の観測周期は同じである必要はない。
　以下、第二観測装置１０２の第二検出部１０２ａの一例をカメラ３０５として説明する。
　図１５のフローチャートを参照してカメラ３０５の処理内容を説明する。
　ステップＳ１５０１で、環境の具体的な例である部屋３０１内に存在する人３０２を第二検出部１０２ａで検出し、画像処理部１０２ｂで検出した位置に基づいて第二位置尤度を第二物体位置尤度決定手段１０５で決定する。
　ステップＳ１５０２で、第二検出部１０２ａと画像処理部１０２ｂとで検出した情報を、第二検出部１０２ａと画像処理部１０２ｂとにより、第二内部記憶部１１１の人検出履歴データベースに記録する。
　ステップＳ１５０３で、人検出履歴データベースを物体追跡状況決定手段１０６で参照して、第二検出部１０２ａと画像処理部１０２ｂとで検出した人３０２の追跡状況を物体追跡状況決定手段１０６で決定する。
　ステップＳ１５０４で、前述の第二位置尤度と、追跡状況情報と、を第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７と物体位置推定手段１０８とアソシエーション手段１０９とにそれぞれ出力する。
　ここで、第一観測装置１０１と第二観測装置１０２の観測周期が短いほど、物体位置推定を行う回数も増えるため、位置の推定精度は良くなる。
＜アソシエーション手段と物体位置推定手段の説明＞
　物体位置推定手段１０８は、第一観測装置１０１で決定（検出）した人３０２の第一ＩＤ尤度と第一位置尤度と、第二観測装置１０２で決定（検出）した人３０２の第二位置尤度と、第二物体ＩＤ尤度決定手段１０７で決定した第二ＩＤ尤度とを基に、人３０２の位置を推定する。
　具体的には以下の方法で行う。アソシエーション手段１０９は、その位置推定の方法として以下の一ＩＤ尤度と第一位置尤度とを受け取ると、受け取った物体の第一ＩＤ尤度と第一位置尤度と基にアソシエーション値の計算を行う。
　アソシエーション手段１０９は、第一観測装置１０１から受け取った物体の第一ＩＤ尤度と第一位置尤度と、第二観測装置１０２から受け取った物体の第二位置尤度と、第二物体ＩＤ尤度決定手段１０７から受け取った物体の第二ＩＤ尤度とを基に、検出した物体がどのＩＤの物体であるか、を確率的に求める。物体の検出は、第一観測装置１０１の第一検出部１０１ａ及び第二観測装置１０２の第二検出部１０２ａと画像処理部１０２ｂにより行われる。ここでの説明では、第一観測装置１０１及び第二観測装置１０２をまとめて「観測装置」と呼び、第一ＩＤ尤度及び第二ＩＤ尤度をまとめて「ＩＤ尤度」と呼び、第一位置尤度及び第二位置尤度をまとめて「位置尤度」と呼ぶこととする。
　ここで、アソシエーション手段１０９が求めた確率値を「アソシエーション値」と呼ぶこととする。具体的には、アソシエーション値とは、観測装置で観測されたＩＤ尤度と位置尤度との情報と実際の物体との関連付けを表す値である（第二ＩＤ尤度については、第二物体ＩＤ尤度決定手段が出力である）。つまり、観測装置から受け取った物体のＩＤ尤度と位置尤度とが、どのＩＤの物体を検出することによって得られた値であるかを確率的に表す値である。先に述べた、物体のＩＤ尤度及び位置尤度は、それぞれ、観測情報（観測データ）が、ある物体を観測して得られた情報（データ）である、という確からしさを表す値である。また、アソシエーション値は、このＩＤ尤度と位置尤度との積として表される。なお、アソシエーション手段１０９でアソシエーション値の計算を行うために用いる、第二観測装置１０２が検出した物体における、第二ＩＤ尤度は、第二観測装置１０２ではなく、第二物体ＩＤ尤度決定手段１０７で算出される。
　アソシエーション手段１０９によるアソシエーション値の計算が終わると、アソシエーション手段１０９での計算結果と前記物体の追跡状況情報とに基づき、人３０２の位置を物体位置推定手段１０８で推定する。なお、アソシエーション手段１０９によるアソシエーション値の計算の終了は、例えば、アソシエーション手段１０９での計算結果が、アソシエーション手段１０９から物体位置推定手段１０８に入力されることにより判断できる。計算結果の情報が、アソシエーション手段１０９から物体位置推定手段１０８に入力されると、物体位置推定手段１０８は、アソシエーション値の計算が終わったと判断する。そして、アソシエーション手段１０９での計算結果と前記物体の追跡状況情報とに基づき、人３０２の位置を物体位置推定手段１０８で推定する。
　その方法として、カルマンフィルタなどに代表されるベイズ推定の枠組みを物体位置推定手段１０８で用いることができる。第二観測装置１０２から得られた人３０２のＩＤ尤度と位置尤度とに基づいて、物体位置推定手段１０８で位置の推定を行うが、このとき、人３０２の位置の更新量は、前記アソシエーション値で重み付けがなされる。前記アソシエーション値での重み付けの情報は、アソシエーション手段１０９から物体位置推定手段１０８へ出力される。
　尚、アソシエーション値は、その値が高いほど物体の位置の更新量は大きくなる。言い換えれば、ある物体の観測データである可能性が高い観測データの位置更新への寄与率が高くなるということである。
＜カルマンフィルタ説明＞
　カルマンフィルタとは、システムの状態（本発明のこの第一実施形態においては、例えば、物体の位置）の情報、及び、第一観測装置１０１、第二観測装置１０２の観測データ（観測情報）双方にノイズが含まれるという仮定の基に、尤もらしいシステムの状態を推定するものである。言い換えれば、システムの取りうる状態の候補の中から、最も確率の高い状態を推定するものである。
　図２に物体位置推定処理にカルマンフィルタを利用した例を示す。縦軸は確率、横軸は位置を表す。
　物体が下記（式１）に表されるような移動を行うとき、第二観測装置１０２は（式２）で求められる観測値２０３を得ることができる。ここで、Ａは物体の運動モデル、ｘは物体位置、ｖは移動の際に生じるプロセスノイズを表している。また、ｙは観測値、Ｈは物体位置ｘと観測値ｙとを対応付ける観測モデル、ｗは観測ノイズ、ｔは時間を表している。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　ここで、プロセスノイズｖ及び観測ノイズｗは、白色ガウスノイズとすると、ｐ（ｗ）は（式３）のように表されるとともに、ｐ（ｖ）は（式４）のように表される。尚、Ｎ（０，Ｑ）は、平均０、分散Ｑのガウス分布を表している。Ｎ（０，Ｒ）も同様に、平均０、分散Ｒのガウス分布を表している。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　観測値２０３が得られると、現在得られている物体の位置に関する事前確率分布２０１（以後、「事前分布」と呼ぶ。）を物体位置推定手段１０８で更新し、予測確率分布２０２（以後、「予測分布」と呼ぶ。）を物体位置推定手段１０８で作成する。（式５）で予測分布２０２の平均（位置）を物体位置推定手段１０８で求め、（式６）で予測分布２０２の分散を物体位置推定手段１０８で求めることができる。尚、Ｘａ｜ｂは時刻ｂの情報を基にした時刻ａのＸの推定値を表す。例えば、（式５）の「ｘｔ｜ｔ-１」は時刻ｔ-１の情報を基にした時刻ｔの物体位置ｘの推定値を表しており、（式６）の「Ｐｔ｜ｔ-１」は時刻ｔ－１の情報を基にした時刻ｔのＰの推定値を表している。ここで、Ｐは分布の分散を表している。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　予測分布２０２が物体位置推定手段１０８で得られると、観測値２０３と予測分布２０２とから事後分布２０４を物体位置推定手段１０８で求める。（式７）で事後分布の平均（位置）を物体位置推定手段１０８で求め、（式８）で事後分布の分散を物体位置推定手段１０８で求めることができる。ここで、Ｋはカルマンゲインと呼ばれる値であり、（式９）にて求められる。カルマンゲインは更新量を決定する値である。観測値の精度が良い（分散Ｒが非常に小さい）場合には、更新量を大きくするため、カルマンゲインの値は大きくなる。逆に、事前分布の精度が良い（分散Ｐが非常に小さい）場合には、更新量を小さくするため、カルマンゲインの値は小さくなる。
　なお、アソシエーション値を用いて物品Ａの位置の更新量に重み付けを行う場合、後述するように、式（９）を式（９Ａ）に置き換えればよい。式（９Ａ）において、「Ｄ」は前記物品Ａに対するアソシエーション値を表す。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
 　図７に物体位置推定手段１０８の出力履歴の例を示す。尚、物体位置推定手段１０８は、第一観測装置１０１と第二観測装置１０２との位置に関する標準偏差等の位置誤差特性は把握しているものとする。言い換えれば、ここでは、第一観測装置１０１と第二観測装置１０２との位置に関する標準偏差等の位置誤差特性の情報が、物体位置推定手段１０８に入力されて、物体位置推定手段１０８の内部記憶部などに記憶されていると仮定する。
＜第二物体ＩＤ尤度決定手段の説明＞
　第二物体ＩＤ尤度決定手段１０７は、物体追跡状況決定手段１０６の物体の追跡状況情報とアソシエーション手段１０９で求められたアソシエーション値とに基づいて、カメラ３０５と画像処理部１０２ｂとが、観測した観測値における、第二ＩＤ尤度（第二物体ＩＤ尤度）を決定する。
　カメラ３０５と画像処理部１０２ｂとで観測した観測値が、初めて観測された観測値であった場合、第二物体ＩＤ尤度決定手段１０７は、部屋３０１内に存在する全ての人である可能性があると第二物体ＩＤ尤度決定手段１０７で判断する。つまり、部屋３０１内に人３０２Ａ、人３０２Ｂ、人３０２Ｃの３人の人が存在している場合、第二物体ＩＤ尤度決定手段１０７は、カメラ３０５と画像処理部１０２ｂとで観測した観測値が、前述の３人を同一確率（1/3）で観測したと判断する。より具体的には、人ＩＤ＝Ｈ１（例えば、人３０２Ａ）を検出して得られた観測値である確率が１／３、人ＩＤ＝Ｈ２（例えば、人３０２Ｂ）を検出して得られた観測値である確率が１／３、人ＩＤ＝Ｈ３（例えば、人３０２Ｃ）を検出して得られた観測値である確率が１／３として、人の第二ＩＤ尤度をそれぞれ決定する。なお、前記したように、図７は、物体位置推定手段１０８の推定結果の出力図例を示しており、推定位置（推定された位置）というものは、事前の人の推定位置と観測装置の観測値に基づいて計算される。ここで、12:00:00時の推定結果では、事前の人の推定位置は初期値（今回の例では、部屋の中心）であるため、観測装置の観測値を含めて計算しても、正しい位置に人の位置を推定することは困難である。時刻12:00:001、時刻12:00:002・・・と、観測装置の観測値が得られる度に、人の位置を逐次更新していくことで、人位置の推定精度が高まっていくことが、図７から読み取ることができる。
　以上のようにして第二物体ＩＤ尤度決定手段１０７で決定された第二ＩＤ尤度を用いて、現在推定されている人のＩＤと人の位置を基に、アソシエーション手段１０９によりアソシエーション値を求める。求められたアソシエーション値は、アソシエーション手段１０９に内蔵されている内部記憶部のアソシエーション値データベース１０９ａに記録される。
　図８にアソシエーション値データベース１０９ａの例を示す。アソシエーション値データベース１０９ａには、第二観測装置１０２の第二検出部１０２ａの一例であるカメラ３０５の観測ＩＤと、各人３０２へのアソシエーション値とが記録されている。図８によると、OBS_CAM_004で検出された人は、HUM_001の人である確率が0.69と最も高く、次いでHUM_002の人である確率が0.19であり、HUM_003の人である確率は0.12と最も低くなっている。他の観測ＩＤについても、同様に、各人に対するアソシエーション値が記録されている。尚、アソシエーション値データベース１０９ａは、アソシエーション手段１０９の内部記憶部に記録していても良い。また、外部のデータベースなどに記録しておき、必要に応じて、アソシエーション手段１０９が外部のデータベースから必要な情報を取得してアソシエーション値を計算するようにしても良い。
　カメラ３０５と画像処理部１０２ｂとで観測した観測値が、以前の観測値を追跡した観測値であった場合、第二物体ＩＤ尤度決定手段１０７は、前記観測値と対応付けられた前回の観測値でアソシエーション手段１０９で求めた前回のアソシエーション値を、第二ＩＤ尤度として決定する。そして、第二物体ＩＤ尤度決定手段１０７で決定された第二ＩＤ尤度を用いて、現在推定されている人のＩＤと人の位置を基に、アソシエーション手段１０９により現在のアソシエーション値を求める。求められたアソシエーション値は、アソシエーション手段１０９によりアソシエーション値データベース１０９ａに記録する。
　ここで、カメラ３０５が観測値の追跡に失敗する可能性について考える。カメラ３０５が、前回の観測値と今回の観測値を対応付けることによって、同一物体を追跡して得られた観測値であると第二観測部１０２から第二物体ＩＤ尤度決定手段１０７に出力したとしても、実際には、ノイズの影響などにより、初めて出現した別の人を観測することによって得られた観測値を、カメラ３０５と画像処理部１０２ｂとで検出していた可能性も考えられる。そこで、カメラ３０５が観測値を正しく追跡できる確率変数Ｔを第二物体ＩＤ尤度決定手段１０７で導入し、（式１０）に従って、第二ＩＤ尤度を第二物体ＩＤ尤度決定手段１０７で決定しても良い。
　（式１０）において、ｐｉｄは第二ＩＤ尤度、ｒはアソシエーション値、Ｎは部屋３０１内に存在する人の数、ｔは時間を表す。
　（式１０）に従うと、確率変数Ｔ＝０のとき、追跡が確実に失敗している、又は、初めて観測値を検出したと考えられ、前記観測値の第二ＩＤ尤度ｐｉｄは（式１１）となる。
　また、確率変数Ｔ＝１のとき、追跡が確実に成功していると考えられ、前記観測値の第二ＩＤ尤度ｐｉｄは（式１２）となる。
　すなわち、言い換えれば、物体追跡状況決定手段１０６は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度とを出力する。第二物体ＩＤ尤度決定手段１０７は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度とを乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ＩＤ尤度ｐｉｄとする。ここで、追跡成功尤度は確率変数Ｔであり、追跡失敗尤度は（１－Ｔ）である。
　第二物体ＩＤ尤度決定手段１０７の動作結果となる第二ＩＤ尤度ｐｉｄの求め方は、物体の追跡に成功していた場合、前回観測値のアソシエーション値に基づいて、物体のＩＤ尤度を推定する。しかしながら、実際には、物体の追跡に失敗していた可能性も考えられる。そこで、追跡成功尤度の確率分だけ、前回観測値のアソシエーション値に基づき、推定したＩＤ尤度を割り振る。これが、（式１０）の左辺の（ｒｔ－１Ｔｔ）となる。
　一方、物体の追跡に失敗していた場合、どのＩＤの物体なのか全く推定できないため、全ての物体のＩＤである可能性があるとして、確率を均等に割り振る。これは、追跡失敗尤度（１－Ｔ）分だけ、均等に割り振ることになる。これが、（式１０）の右辺の｛（１－Ｔｔ）／Ｎ｝となる（ただし、Ｎ＝物体の数）。追跡が確実に成功している場合は、確率変数Ｔ＝１となり、（式１０）の右辺の｛（１－Ｔｔ）／Ｎ｝の値は０となり、（式１０）の左辺の（ｒｔ－１Ｔｔ）の値がｒｔ－１となり、（式１２）が得られる。追跡が確実に失敗している場合は、Ｔ＝０となり、（式１０）の左辺の（ｒｔ－１Ｔｔ）の値が０となり、（式１０）の右辺の｛（１－Ｔｔ）／Ｎ｝の値は｛１／Ｎ｝となり、（式１１）が得られる。
　第二物体ＩＤ尤度決定手段１０７での確率変数Ｔの求め方であるが、事前実験を行い、実際に追跡に成功する確率を決定しておき、その情報を第二物体ＩＤ尤度決定手段１０７の内部記憶部に記憶しておくことなどが考えられる。また、第二観測装置１０２の物体追跡方法にて記載した、色特徴量などで識別できない複数の観測値が密集していた場合、追跡に失敗する確率が高まると第二物体ＩＤ尤度決定手段１０７で確率変数Ｔの値を下げるなどの処理を行っても良い。ここで、「色特徴量などで識別できない複数の観測値が密集していた場合」か否かは、例えば、以下のようにして第二物体ＩＤ尤度決定手段１０７で判断することができる。センサが１秒に１回観測を行っている場合について考えると、人が１秒間に進める距離（例えば半径３ｍの円）内に３人以上の（推定中の）人が存在していた場合、その距離内は密集していると第二物体ＩＤ尤度決定手段１０７で判断する。そして、この３人の人が全員同じ色特徴量を持っている場合に、さらに確率変数Ｔの値を下げるなどの処理を行うことができる。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　更に、２人の人がカメラ画面上で重なってしまった場合について考える。図１２Ａは、時刻Ｔにおいてカメラ３０５と画像処理部１０２ｂとが検出した人ＩＤ＝Ｈ１の人（以下、単に、「Ｈ１の人」という。）の位置と人ＩＤ＝Ｈ２の人（以下、単に、「Ｈ２の人」という。）の位置とＨ１の人とＨ２の人との検出位置間の距離とを示す。図１２Ｂは、時刻Ｔ＋１においてカメラ３０５が検出したＨ１の人の位置とＨ２の人との位置とＨ１の人とＨ２の人との検出位置間の距離とを示す。時刻Ｔから時刻Ｔ＋１にかけて、Ｈ１の人とＨ２の人との間の距離が６００ｃｍから２００ｃｍに縮まっていると物体追跡状況決定手段１０６で判断される。ここで、カメラ３０５は、物体追跡状況決定手段１０６によって、Ｈ１の人とＨ２の人とを追跡できているものとする。更に、図１３に時刻Ｔ＋２におけるカメラ３０５の人検出状況を示す。図１３によると、時刻Ｔ＋２においては、Ｈ１の人しか検出しなくなっている。これは、Ｈ２の人が、Ｈ１の人の存在によって生じる死角に隠れてしまったと考えられることができる。このとき、式１０の変数ｒを、時刻Ｔ＋１におけるＨ１の人のアソシエーション値と時刻Ｔ＋１におけるＨ２の人のアソシエーション値の平均値としてもよい。尚、Ｈ２の人が部屋３０１から出て行った可能性も考えて、Ｈ１の人の第二ＩＤ尤度に、時刻Ｔ＋１におけるＨ１の人のアソシエーション値に、重み付けを行ったＨ２の人のアソシエーション値を第二物体ＩＤ尤度決定手段１０７で加えても良い。また、人の検出位置間の距離に閾値を設けておくことで、Ｈ２の人がＨ１の人の存在によって生じる死角に隠れているか否かを第二物体ＩＤ尤度決定手段１０７で判断することができる。すなわち、Ｈ１の人の検出位置Ａに関して、閾値よりも短い距離内にＨ２の人の検出位置Ｂがあると第二物体ＩＤ尤度決定手段１０７で判断し、する場合においてＨ１の人を検出されなかった場合には、Ｈ１の人はＨ２の人によって隠蔽されていると第二物体ＩＤ尤度決定手段１０７で判断する。同様の判断を、Ｈ２の人又はその他の人に対しても第二物体ＩＤ尤度決定手段１０７で行う。
＜物体位置推定手段と第二物体ＩＤ尤度決定手段の関係についての説明＞
　図９Ａ～図１１Ｆを用いて、物体位置推定手段１０８と第二物体ＩＤ尤度決定手段１０７とについて説明する。
　図９Ａ～図９Ｃは、部屋３０１内に存在する人３０２Ａと人３０２Ｂと人３０２Ｃの実際の位置を示している。図９Ａは時刻2008/09/02_12:00:00における人３０２Ａと人３０２Ｂと人３０２Ｃとの実際の位置を示す。図９Ｂは時刻2008/09/02_12:00:01における人３０２Ａと人３０２Ｂと人３０２Ｃとの実際の位置を示す。図９Ｃは時刻2008/09/02_12:00:02における人３０２Ａと人３０２Ｂと人３０２Ｃとの実際の位置を示している。図９Ａによると、人ＩＤ＝Ｈ１（以後「人ＩＤ＝」は省略）の人３０２Ａは、時刻2008/09/02_12:00:00に座標(190,380)の位置に実際に存在していたことになる。ここで、図９は、物体位置推定手段１０８と第二物体ＩＤ尤度決定手段１０７との説明のための図であり、図９Ａに示されている情報は、本発明の第一実施形態の他の説明では使用することはない。
　図１０Ａ～図１０Ｃは、部屋３０１内でのタグリーダ３０４とカメラ３０５とによる人検出状況を示している。図１０Ａは時刻2008/09/02_12:00:00における人検出状況を示す。図１０Ｂは時刻2008/09/02_12:00:01おける人検出状況を示す。図１０Ｃは時刻2008/09/02_12:00:02における人検出状況を示している。図１０Ａによると、タグリーダ３０４による人検出位置１００１が３箇所得られており、座標(150,210)の位置にタグＩＤ＝Ｔ４（以後、「タグＩＤ＝」は省略して、単にタグと称する。）の人３０２Ａが、座標(620,100)の位置にタグＴ７の人３０２Ｂが、座標(620,630)の位置にタグＴ８の人３０２Ｃがそれぞれ検出されている（図５参照）。同様に、カメラ人検出位置１００２も３箇所得られており、座標(150,410)の位置に人が一人、座標(810,220)の位置に人が一人、座標(810,650)の位置に人が一人、それぞれ検出されている（図６参照）。
　図１１Ａ～図１１Ｆは、部屋３０１内での物体位置推定手段１０８が推定した人３０２の位置を示している。図１１Ａは、時刻2008/09/02_12:00:00における、本発明の第一実施形態の物体位置推定システムの起動時の推定位置の初期位置である。図１１Ａでは、初期位置をランダムに決定しているが、部屋３０１の中心等としても良い。部屋３０１の出入口の位置などの出入口情報等が記載された環境マップ(環境マップ情報)を物体位置推定システムが所持している場合には、部屋３０１の出入口を初期位置としても良い。環境マップ(環境マップ情報)には、このほか、前記第一観測装置の死角情報、又は、前記第二観測装置の死角情報が含まれていてもよい。ここで、初期位置を設定するための出入り口情報のみを使用する場合には、出入り口情報が記録された環境マップ(環境マップ情報)は物体位置推定手段１０８の内部記憶部に記憶すればよい。また、物体追跡状況決定手段１０６が参照するカメラ死角情報が記録された環境マップ(環境マップ情報)は、第二観測装置１０２の内部記憶部が記憶すればよい。
　図１９Ａ及び図１９Ｂに環境マップの一例をそれぞれ示す。環境マップは、図１９Ａに示すように出入り口の位置座標情報が記録された出入り口環境マップデータと、図１９Ｂに示すようにカメラ３０５の死角情報が記録されているカメラ死角環境マップデータとがある。出入り口環境マップは、物体位置推定手段１０８の内部記憶部に記憶記録され、カメラ死角環境マップは、カメラ３０５の内部記憶部に記憶記録されている。
　部屋３０１の出入り口を初期位置とする場合、前記初期位置は、出入り口環境マップを物体位置推定手段１０８が参照することによって、(x,y)=(100,0)と物体位置推定手段１０８で決定することができる。
　カメラ３０５の死角は、カメラ死角環境マップに記録されている２点を対角点とする矩形として表現されている。
　ここで、カメラ３０５の死角の利用方法について説明する。
　時刻13:00:00において、位置(x,y)=(98,99)で赤色の色特徴量を持った「観測値Ａ」が得られたとする。そして、時刻13:00:01、時刻13:00:02では赤色の色特徴量を持った観測値は得られず、時刻13:00:03で、位置(x,y)=(201,202)において赤色の色特徴量を持った「観測値Ｂ」が得られたとする。
　このような状況において、観測値ＢのＩＤ尤度を求める場合、前回の観測（13:00:02）で観測値Ｂと同じ特徴量を持つ観測値が得られていないため、観測値Ｂは初めて観測された観測値であると判断されてしまう。つまり、（式１１）に表されるように、全ての人物ＩＤでＩＤ尤度を均等に割り振ることとなる。
　ここで、カメラ死角環境マップを物体追跡状況決定手段１０６が参照してみると、観測値Ａ、観測値Ｂともに「カメラ死角１」の近くにあることが分かる。つまり、時刻13:00:01、及び時刻13:00:02では、人がカメラの死角に入ったため観測値が得られなかった可能性があると、物体追跡状況決定手段１０６で判断できる。よって、観測値Ｂを初めて観測された観測値ではなく、観測値Ａを追跡して得られた観測値であると、物体追跡状況決定手段１０６で判断することができる。
　尚、観測値がカメラ死角の近くにあるか否かの判断方法に関しては、カメラの観測周期と人の歩行速度の関係を物体追跡状況決定手段１０６で利用することができる。例えば、カメラの観測周期が１秒に１回、人の歩行速度が１秒に７０ｃｍであるとすると、カメラ死角から７０ｃｍ以内の範囲で観測された観測値を、カメラ死角の近くにある観測値と物体追跡状況決定手段１０６で判断することができる。
　図１１Ｂは、時刻2008/09/02_12:00:00に、タグリーダ３０４とカメラ３０５が検出した人情報を基に推定した人の推定位置を示している。図１１Ｃは、さらに時刻2008/09/02_12:00:01での推定位置の初期位置である。図１１Ｄは、さらに時刻2008/09/02_12:00:01に、タグリーダ３０４とカメラ３０５が検出した人情報も用いて推定した人の推定位置を示している。図１１Ｅは、さらに時刻2008/09/02_12:00:02での推定位置の初期位置である。図１１Ｆは、さらに時刻2008/09/02_12:00:02に、タグリーダ３０４とカメラ３０５が検出した人情報も用いて推定した人の推定位置を示している。
　　＜本システムの動作説明＞
　以下、図１６のフローチャートを参照しながら時間の流れに沿って詳細に説明する。なお、以下の手順については、物体位置推定装置１２０で動作制御を行う。ここで、物体位置推定システムのうちの第二物体ＩＤ尤度決定手段１０７と、物体位置推定手段１０８と、アソシエーション手段１０９とで物体位置推定装置１２０を構成するものとする。また、物体位置推定システムは、前記物体位置推定装置１２０と、タグリーダ３０４を有する第一観測装置１０１と、カメラ３０５を有する第二観測装置１０２とを備えて構成するものとして説明する。タグリーダ３０４は、第一検出部１０１ａの一例であり、カメラ３０５は、第二検出部１０２ａの一例である。
　本発明の前記第一実施形態の物体位置推定システムを起動すると、ステップＳ１６０１において、まず、物体位置推定手段１０８において、人３０２の推定位置に初期位置がセットされる（図１１Ａ参照）。尚、前記第一実施形態の物体位置推定システムは、物体位置を何回更新したかを把握するためのカウンタを物体位置推定手段１０８内に備えているものとする。このカウンタが０のとき、即ち物体位置の更新が一度も行われていない前記物体位置推定システムの起動時に、人３０２の位置が初期位置にセットされる。ここで、図３に一点鎖線で示す部屋３０１の出入口３０１Ｄには、第一観測装置１０１のタグリーダとして機能するゲート型タグリーダ３０４ｄが設置されているものとする。また、出入口３０１Ｄを通過して人３０２が部屋３０１に入るとき、ゲート型タグリーダ３０４ｄにより部屋３０１に入った人３０２のタグを全て読み取ることができる。そのため、部屋３０１内に存在する人３０２のＩＤは第一観測装置１０１で全て分かっているものとする。更に、部屋３０１内に存在している人３０２のＩＤは、前記物体位置推定システムの例えば第一観測装置１０１の第一内部記憶部１１０などに記録しておいても良い。もし、ゲート型タグリーダが設置できない環境であった場合、人３０２の初期位置は、タグリーダ３０４が初めて人３０２を検出したときに、初期位置にセットしても良い。
　次に、ステップＳ１６０２では、第一観測装置１０１及び第二観測装置１０２からの出力すなわち観測情報を物体位置推定装置１２０が受け取るように促す。ここでは、一例として、時刻2008/09/02_12:00:00において、タグリーダ３０４とカメラ３０５と画像処理部１０２ｂとによって、人３０２が初めて検出される（検出状況に関しては図１０Ａを参照。検出された位置座標に関しては図５、図６を参照。）観測情報を物体位置推定装置１２０が受け取ったとする。タグリーダ３０４とカメラ３０５とで検出された情報は、前記物体位置推定装置１２０に出力される。今回の例では、タグリーダ３０４とカメラ３０５との観測時刻はともに2008/09/02_12:00:00として説明するが、実際には、観測時刻にはズレが生じる可能性がある。このような場合、例えば基準時刻を１秒間隔に設定しておき、基準時刻から許容時間の範囲内、例えば±500msecの範囲内で得られた観測値を全て同時刻で得られた観測値であると前記システムでは判断しても良い。図１８に基準時刻の設定の一例を示す。図１８の観測状況の場合、基準時刻である12:00:01:000から±500msecの範囲内で観測されている、OBS_CAM_201とOBS_TAG_201が同時刻に観測されたものとして前記システムで判断される。同様に、OBS_CAM_202とOBS_TAG_202が、OBS_CAM_203とOBS_TAG_203がそれぞれ同時刻に観測されたものとして前記システムで判断される。
　次に、ステップＳ１６０３において、第二観測装置１０２の第二検出部１０２ａのカメラ３０５と画像処理部１０２ｂとが検出した人検出情報(OBS_CAM_001, OBS_CAM_002, OBS_CAM_003)には、物体位置推定手段１０８が処理に必要とする第二ＩＤ尤度が含まれていない。そのため、まず、第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７に前記人検出情報を出力し、第二物体ＩＤ尤度決定手段１０７にて、第二観測装置１０２で検出した人３０２の第二ＩＤ尤度を決定する。ここで、ステップＳ１６０３において、第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７に前記人検出情報が出力されているか否かを判断する。第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７に前記人検出情報が出力されていれば、ステップＳ１６０４に進む。一方、第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７に前記人検出情報が出力されていなければ、ステップＳ１６０９に進む。今回の例では、カメラ３０５は人検出情報を出力しているため、ステップＳ１６０３においてＹＥＳの方向に進み、ステップＳ１６０４に進む。一方、人３０２がカメラ３０５の死角に入ったなど、カメラ３０５が人検出情報を出力していなければ、ステップＳ１６０３においてＮＯの方向に進み、ステップＳ１６０９に進む。
　ステップＳ１６０４では、第二観測装置１０２が検出した人における、第二ＩＤ尤度を第二物体ＩＤ尤度決定手段１０７で決定する。すなわち、第二物体ＩＤ尤度決定手段１０７は、第二観測装置１０２の物体追跡状況決定手段１０６から第二物体ＩＤ尤度決定手段１０７への出力に基づき、OBS_CAM_001,OBS_CAM_002,OBS_CAM_003の情報は全て新たな人を検出して得られた人検出情報であると判断する。その理由は、例えば、先に述べたように、それらの情報以前のある時間内に、それらの人を検出した情報が無い場合などに、このように第二物体ＩＤ尤度決定手段１０７で判断することができる。そして、第二物体ＩＤ尤度決定手段１０７は、OBS_CAM_001,OBS_CAM_002,OBS_CAM_003で検出された人の第二ＩＤ尤度に、部屋３０１内に存在する人である確率を均等に割り振る。つまり、第二物体ＩＤ尤度決定手段１０７により、OBS_CAM_001で検出した人は、人３０２Ａである確率を１／３、人３０２Ｂである確率を１／３、人３０２Ｃである確率を１／３とする。第二物体ＩＤ尤度決定手段１０７によりOBS_CAM_002及びOBS_CAM_003についても、それぞれ、同様に確率を割り振る。
　次に、ステップＳ１６０５では、アソシエーション手段１０９は、カメラ３０５が検出した人位置と、第二物体ＩＤ尤度決定手段１０７が出力した人の第二ＩＤ尤度と、図１１Ａに示される物体位置推定手段１０８が推定した人ＩＤと人位置を用いてアソシエーション値を求める。求められたアソシエーション値は、アソシエーション値データベース１０９ａに記録する（図８参照）。
　次に、ステップＳ１６０６においては、第一観測装置１０１の第一検出部１０１ａのタグリーダ３０４が検出した人検出情報は、第一観測装置１０１から物体位置推定手段１０８へ直接出力される。前述の人検出情報には、物体位置推定手段１０８が処理に必要とする第一ＩＤ尤度と第一位置尤度が含まれているためである。ここで、第一観測装置１０１から物体位置推定手段１０８に前記人検出情報が出力されておれば、ステップＳ１６０７に進む。また、第一観測装置１０１から物体位置推定手段１０８に前記人検出情報が出力されていなければ、ステップＳ１６０８に進む。今回の例では、タグリーダ３０４は人検出情報を出力しているため、ステップＳ１６０６においてＹＥＳの方向に進み、ステップＳ１６０７に進む。一方、人３０２がタグリーダ３０４の死角に入ったなど、タグリーダ３０４が人検出情報を出力していなければ、ステップＳ１６０６においてＮＯの方向に進み、ステップＳ１６０８に進む。
　また、ステップＳ１６０９においては、第一観測装置１０１の第一検出部１０１ａのタグリーダ３０４が検出した人検出情報は、第一観測装置１０１から物体位置推定手段１０８へ直接出力されることになる。前述の人検出情報には、物体位置推定手段１０８が処理に必要とする第一ＩＤ尤度と第一位置尤度が含まれているためである。ここで、ステップＳ１６０９において、第一観測装置１０１から物体位置推定手段１０８に対して、前記第一ＩＤ尤度と第一位置尤度が含まれている人検出情報が出力されているか否かを判断する。第一観測装置１０１から物体位置推定手段１０８に前記人検出情報が出力されておれば、ステップＳ１６１０に進み、第一観測装置１０１から物体位置推定手段１０８に前記人検出情報が出力されていなければ、ステップＳ１６０２に戻る。今回の例では、タグリーダ３０４は人検出情報を出力しているため、ステップＳ１６０９においてＹＥＳの方向に進み、ステップＳ１６１０に進む。一方、人３０２がタグリーダ３０４の死角に入ったなど、タグリーダ３０４が人検出情報を出力していなければ、ステップＳ１６０９においてＮＯの方向に進み、ステップＳ１６０２に戻る。
　ステップＳ１６０７では、物体位置推定手段１０８は、第一観測装置１０１の第一検出部１０１ａのタグリーダ３０４が検出した人の第一ＩＤ尤度及び人の第一位置尤度と、第二観測装置１０２の第二検出部１０２ａのカメラ３０５が検出した人の第二位置尤度と、第二物体ＩＤ尤度決定手段１０７が出力した人の第二ＩＤ尤度とを基に、人の位置推定を行う。この位置推定に基づき、人のＩＤ及び人の位置を更新する（図１１Ａを更新した図１１Ｂ参照）。今回の例では、タグリーダ３０４とカメラ３０５共に人検出情報を出力しているため、ステップＳ１６０７の処理を行っている。その後、ステップＳ１６０２に戻る。
　また、ステップＳ１６０８では、物体位置推定手段１０８は、第二観測装置１０２の第二検出部１０２ａのカメラ３０５が検出した人の第二位置尤度と、第二物体ＩＤ尤度決定手段１０７が出力した人の第二ＩＤ尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のＩＤ及び人の位置を更新する（図１１Ａを更新した図１１Ｂ参照）。その後、ステップＳ１６０２に戻る。
　また、ステップＳ１６１０では、物体位置推定手段１０８は、第一観測装置１０１の第一検出部１０１ａのタグリーダ３０４が検出した人の第一ＩＤ尤度及び人の第一位置尤度を基に、人の位置推定を行う。そして、この位置推定に基づき、人のＩＤ及び人の位置を更新する（図１１Ａを更新した図１１Ｂ参照）。その後、ステップＳ１６０２に戻る。
　更に、ステップＳ１６０７又はステップＳ１６０８又はステップＳ１６１０から戻ったステップＳ１６０２においては、次の時刻2008/09/02_12:00:01に、タグリーダ３０４とカメラ３０５とによって人３０２が検出される。（検出状況に関しては図１０Ｂを参照。検出された位置座標に関しては図５、図６を参照。）
　次に、ステップＳ１６０３では、第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７に前記人検出情報が出力されているか否かを判断する。第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７に前記人検出情報が出力されていれば、ステップＳ１６０４に進む。一方で、第二観測装置１０２から第二物体ＩＤ尤度決定手段１０７に前記人検出情報が出力されていなければ、ステップＳ１６０９に進む。
　次いで、ステップＳ１６０４において、第二観測装置１０２が検出した人についての第二ＩＤ尤度を第二物体ＩＤ尤度決定手段１０７で決定する。すなわち、時刻2008/09/02_12:00:00のときと同様に、時刻2008/09/02_12:00:01において、OBS_CAM_004, OBS_CAM_005, OBS_CAM_006でそれぞれ検出された人の第二ＩＤ尤度を第二物体ＩＤ尤度決定手段１０７で求める必要がある。しかし、今回の場合、物体追跡状況決定手段１０６の出力による色特徴量の同一性から、OBS_CAM_004はOBS_CAM_001を追跡して得られた人検出情報であることが、物体追跡状況決定手段１０６で決定されたとする。また、同様にして、OBS_CAM_005はOBS_CAM002を追跡して得られた人検出情報である事と、OBS_CAM_006はOBS_CAM_003を追跡して得られた人検出情報である事とが、物体追跡状況決定手段１０６で決定されたとする。すると、第二物体ＩＤ尤度決定手段１０７は、物体追跡状況決定手段１０６での前記決定の情報を基に、アソシエーション値データベース１０９ａに記録されているOBS_CAM_001のアソシエーション値をOBS_CAM_004の人の第二ＩＤ尤度として出力する。OBS_CAM_005及びOBS_CAM_006に関しても、同様に、第二物体ＩＤ尤度決定手段１０７から出力する。
　今回の観測で観測値OBS_CAM_004が得られた場合、物体追跡状況決定手段１０６から第二物体ＩＤ尤度決定手段１０７へは、観測ＩＤ＝OBS_CAM_004と観測ＩＤ＝OBS_CAM_001の二つの観測ＩＤがセットになって出力される。第二物体ＩＤ尤度決定手段１０７がセットになった観測ＩＤを物体追跡状況決定手段１０６から受け取ると、観測ＩＤ＝OBS_CAM_004のＩＤ尤度を求めるために、観測ＩＤ=OBS_CAM_001のアソシエーション値を、第二物体ＩＤ尤度決定手段１０７がアソシエーション値データベース１０９ａから読み出す。ここで、ＩＤ尤度を求めるべき観測ＩＤと、アソシエーション値を読み出すべき観測ＩＤとを区別する方法が必要となってくる。これは、例えば、アソシエーション値データベース１０９ａにアソシエーション値が記録されている観測値が、アソシエーション値を読み出してくる観測値であると判断することができる。
　次に、ステップＳ１６０５及びステップＳ１６０６及びステップＳ１６０９では、先の説明と同様な処理を行う。
　ステップＳ１６０７では、物体位置推定手段１０８は、第一観測装置１０１の第一検出部１０１ａのタグリーダ３０４が検出した人の第一ＩＤ尤度及び人の第一位置尤度と、第二観測装置１０２の第二検出部１０２ａのカメラ３０５が検出した人の第二位置尤度と、第二物体ＩＤ尤度決定手段１０７が出力した人の第二ＩＤ尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のＩＤ及び人の位置を更新する（図１１Ｃを更新した図１１Ｄ参照）。その後、ステップＳ１６０２に戻る。
　また、ステップＳ１６０８では、物体位置推定手段１０８は、第二観測装置１０２の第二検出部１０２ａのカメラ３０５が検出した人の第二位置尤度と、第二物体ＩＤ尤度決定手段１０７が出力した人の第二ＩＤ尤度とを基に、人の位置推定を行う。そして、この位置推定に基づき、人のＩＤ及び人の位置を更新する（図１１Ｃを更新した図１１Ｄ参照）。その後、ステップＳ１６０２に戻る。
　また、ステップＳ１６１０では、物体位置推定手段１０８は、第一観測装置１０１の第一検出部１０１ａのタグリーダ３０４が検出した人の第一ＩＤ尤度及び人の第一位置尤度を基に、人の位置推定を行う。そして、この位置推定に基づき、人のＩＤ及び人の位置を更新する（図１１Ｃを更新した図１１Ｄ参照）。その後、ステップＳ１６０２に戻る。
　その後、時刻2008/09/02_12:00:02以降に関しても同様の処理を行い、人のＩＤ及び人の位置を更新する（図１１Ｅを更新した図１１Ｆ参照）。
　今回は部屋３０１という屋内空間を例にして説明を行ったが、管理したい人がタグを所持可能な空間であれば、屋外であっても、本システムは利用可能である。例えば、校舎とグラウンドとの間に位置する校門又は昇降口にゲート型タグリーダを設置することで、校舎内に存在する生徒とグラウンドに存在する生徒を識別することができる。そして、グラウンドの塀又は校舎にタグリーダとカメラとを設置することで、グラウンド内のどの位置に生徒が存在するかを推定することが可能となる。グラウンドの面積が広く、１台のタグリーダ、カメラではグラウンド全域を観測できなければ、タグリーダ数、カメラ数を増やしても良い。
　以上のような構成により、第二観測装置１０２が物体の追跡に成功している場合、前記物体を前回検出したときのアソシエーション値を、今回、第二観測装置１０２の第二検出部１０２ａと画像処理部１０２ｂが検出した物体の第二ＩＤ尤度に置き換えることができる。これにより、物体位置推定手段１０８の処理を行えるようになる。
（第二実施形態）
　ここで、物体位置推定手段１０８の推定状況について考える。図１１Ａに示した人位置は、初期値をランダムに設定してあるため、実際の人の存在位置（図９Ａ）とはまるで異なっている。時刻2008/09/02_12:00:00に、第一観測装置１０１及び第二観測装置１０２が検出した人情報を基に物体位置推定を行った結果が図１１Ｂである。実際の人の存在位置（図９Ａ）に近づいてはいるものの、未だ２ｍ近くの位置誤差がある。これは、人の初期位置を基に、人位置を更新しているためである。つまり、物体位置推定システムの稼動直後は、物体位置の推定精度は低いことになる。それに伴い、物体位置推定手段１０８の物体位置推定結果を利用するアソシエーション手段１０９のアソシエーション値の精度も低くなる。
　そこで、アソシエーション手段１０９は、第一観測装置１０１の第一検出部１０１ａが検出した物体のＩＤと物体の位置を基に、第二観測装置１０２の第二検出部１０２ａと画像処理部１０２ｂが検出した物体に関するアソシエーション値を求めても良い。第一観測装置１０１の第一検出部１０１ａにタグリーダ３０４を一例として用いる場合を考える。上述したように、タグリーダ３０４の位置検出精度は低い。そのため、アソシエーション手段１０９は、物体位置推定手段１０８の物体位置推定結果が収束するまでと収束後とでアソシエーション値に算出に用いる情報を変えても良い。具体的には、物体位置推定手段１０８の物体位置推定結果が収束するまでは、タグリーダ３０４が検出した物体のＩＤと物体の位置を基に、第二観測装置１０２の第二検出部１０２ａと画像処理部１０２ｂが検出した物体に関するアソシエーション値を求める。一方で、物体位置推定手段１０８の物体位置推定結果が収束してからは、物体位置推定結果を基に、第二観測装置１０２の第二検出部１０２ａと画像処理部１０２ｂが検出した物体に関するアソシエーション値を求めても良い。
　ここで、アソシエーション手段１０９による物体位置の収束の判断の一例を説明する。物体の位置の更新方法に上述したカルマンフィルタを一例として用いる場合、物体の推定位置は、平均と分散で表現されたガウス分布として出力される。このとき、全ての物体の平均分散が閾値未満となったとアソシエーション手段１０９で判断した時点で、物体位置が収束したとアソシエーション手段１０９で判断しても良い。また、事前実験によって物体位置の収束状況（例えば、起動時からＮ回目で物体位置が収束するという情報（ただし、Ｎは１を越える整数。））をアソシエーション手段１０９で予め把握しておき、物体位置推定システム起動時からＮ回目の観測までは物体位置は収束しない、とアソシエーション手段１０９で判断させても良い。このとき、物体位置推定手段１０８は、物体位置を何回更新したかを把握するためのカウンタを備えているものとする。
　以上のような構成により、本発明に係る物体位置推定システムの起動直後には、第一観測装置１０１の出力情報を用いてアソシエーション手段１０９がアソシエーション値を求めることができる。これにより、より正確なアソシエーション値、つまりは第二ＩＤ尤度を算出することができる。
　なお、各実施形態において、第一観測部として機能する第一検出部１０１ａと、第一物体位置尤度決定手段１０３と、第一物体ＩＤ尤度決定手段１０４と、第二観測部として機能する第二検出部１０２ａと、第二物体位置尤度決定手段１０５と、物体追跡状況決定手段１０６と、第二物体ＩＤ尤度決定手段１０７と、アソシエーション手段１０９と、物体位置推定手段１０８となどのそれぞれ、又は、そのうちの任意の一部は、それ自体がソフトウェアで構成することができる。よって、例えば、本願明細書のそれぞれの実施形態の制御動作を構成するステップを有するコンピュータプログラムとして、記憶装置（ハードディスク等）などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置（半導体メモリ等）に読み込んでＣＰＵを用いて実行することにより、前記した各機能又は各ステップを実行することができる。
　なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
　本発明に係る物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラムは、物体のＩＤ識別機能が無い観測装置を含む場合においても物体の位置推定を行うことができる。既に監視カメラシステム等の普及が進んでいるが、監視領域の画像を蓄積し、被写体の特定は人手で閲覧することで行う形態のものが一般的である。本発明により人手によらない人の特定と位置の特定が可能となれば、人の位置又は動線の自動取得と管理が実現し、セキュリティ用途として従来にない特徴をもつ人管理システムを提供でき極めて有用である。また、物流現場等でのコンテナなどの物品の位置を管理するシステムなどにも応用できる。
　本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims (8)

  1. 　物体の位置を推定する物体位置推定システムであって、
    　異なる時刻に前記物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ取得する第一観測部と、
    　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
    　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で決定する第一物体ＩＤ尤度決定手段と、
    　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ取得し、第二観測情報毎に第二観測ＩＤを付す第二観測部と、
    　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
    　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
    　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を決定する第二物体ＩＤ尤度決定手段と、
    　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値を算出し、前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値を算出するアソシエーション手段と、
    　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を推定する物体位置推定手段と、
    を備える物体位置推定システム。
  2. 　さらに、前記物体追跡状況決定手段は、物体の追跡に成功している確率を示す追跡成功尤度と、物体の追跡に失敗している確率を示す追跡失敗尤度を出力し、
    　前記第二物体ＩＤ尤度決定手段は、前記物体の前回検出時に算出されたアソシエーション値と前記追跡成功尤度を乗算した値と、検出対象としている総ての物体の数で追跡失敗尤度を除算した値の和を、前記物体の第二ＩＤ尤度とする請求項１に記載の物体位置推定システム。
  3. 　前記物体追跡状況決定手段が、時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出することにより、前記第二観測装置が検出した前記物体の追跡状況を追跡中であると決定した場合、前記アソシエーション手段は、前記物体位置推定手段が推定した前記物体のＩＤと前記物体の位置に基づいて、前記第二観測装置が検出した前記物体のＩＤを求める請求項１又は２に記載の物体位置推定システム。
  4. 　更に、前記環境内に存在する前記人が出入りする出入口の位置を含む出入口情報、又は、前記第一観測装置の死角情報と、又は、前記第二観測装置の死角情報が記録された環境マップを備える請求項１又は２に記載の物体位置推定システム。
  5. 　更に、前記物体追跡状況決定手段は、重なり合った複数物体を１つの物体として検出している確率を決定する請求項１又は２に記載の物体位置推定システム。
  6. 　物体の位置を推定する物体位置推定方法であって、
    　異なる時刻に前記物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ第一観測部で取得し、
    　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定し、
    　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で第一物体ＩＤ尤度決定手段で決定し、
    　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測ＩＤを付し、
    　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定し、
    　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定し、
    　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を第二物体ＩＤ尤度決定手段で決定し、
    　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出し、
    　前記物体の前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出し、
    前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する、物体位置推定方法。
  7. 　コンピュータに、
    　異なる時刻に物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ第一観測部で取得する機能と、
    　前記第一観測部でそれぞれ観測された前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を第一物体位置尤度決定手段で決定する機能と、
    　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で第一物体ＩＤ尤度決定手段で決定する機能と、
    　異なる時刻に前記物体をそれぞれ観測して前記物体の位置と特徴量を含む第二観測情報をそれぞれ第二観測部で取得して、前記第二観測部で第二観測情報毎に第二観測ＩＤを付する機能と、
    　前記第二観測部でそれぞれ観測された前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を第二物体位置尤度決定手段で決定する機能と、
    　時刻が異なるが前記物体の特徴量が同じ前記第二観測情報を２つ検出し、検出された前記２つの第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を物体追跡状況決定手段で決定する機能と、
    　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を第二物体ＩＤ尤度決定手段で決定する機能と、
    　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づいて第一物体アソシエーション値をアソシエーション手段で算出する機能と、
    　前記物体の前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づいて第二物体アソシエーション値をアソシエーション手段で算出する機能と、
    前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値、又は／且つ、前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値とに基づいて前記物体の位置を物体位置推定手段で推定する機能とを実現させるための物体位置推定プログラム。
  8. 　異なる時刻に物体をそれぞれ観測して前記物体の位置とＩＤとを含む第一観測情報をそれぞれ取得する第一観測部からの前記第一観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第一物体位置尤度を決定する第一物体位置尤度決定手段と、
    　前記第一物体位置尤度決定手段で決定された前記第一物体位置尤度を基に、前記物体の第一物体ＩＤ尤度をそれぞれの時刻で決定する第一物体ＩＤ尤度決定手段と、
    　異なる時刻に前記物体をそれぞれ観測して取得された前記物体の位置と特徴量を含む第二観測情報毎に第二観測ＩＤを付す第二観測部からの前記第二観測情報を基に、前記それぞれの時刻での前記物体の推定位置である第二物体位置尤度を決定する第二物体位置尤度決定手段と、
    　同じ特徴量を、互いに異なる時刻で観測した２つの前記第二観測情報の第二観測ＩＤ同士を関連付けて前記物体の追跡状況情報を決定する物体追跡状況決定手段と、
    　前記物体の前記追跡状況情報と前記物体の推定位置とに基づいて前記第二観測情報の第二物体ＩＤ尤度を決定する第二物体ＩＤ尤度決定手段と、
    　前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度に基づく第一物体アソシエーション値と、前記第二物体ＩＤ尤度と前記第二物体位置尤度に基づく第二物体アソシエーション値とを算出するアソシエーション手段と、
    　（１）前記物体の前記第一物体ＩＤ尤度と前記第一物体位置尤度と前記第一物体アソシエーション値と、（２）前記第二物体ＩＤ尤度と前記第二物体位置尤度と前記第二物体アソシエーション値と、の少なくともいずれか一方に基づいて前記物体の位置を推定する物体位置推定手段と、
    を備える物体位置推定装置。
PCT/JP2010/001038 2009-02-19 2010-02-18 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム WO2010095437A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2010800021760A CN102105811B (zh) 2009-02-19 2010-02-18 物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序
US12/933,888 US8527235B2 (en) 2009-02-19 2010-02-18 Object position estimation system, object position estimation device, object position estimation method and object position estimation program
JP2010518663A JP4709943B2 (ja) 2009-02-19 2010-02-18 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-036202 2009-02-19
JP2009036202 2009-02-19

Publications (1)

Publication Number Publication Date
WO2010095437A1 true WO2010095437A1 (ja) 2010-08-26

Family

ID=42633724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001038 WO2010095437A1 (ja) 2009-02-19 2010-02-18 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム

Country Status (4)

Country Link
US (1) US8527235B2 (ja)
JP (1) JP4709943B2 (ja)
CN (1) CN102105811B (ja)
WO (1) WO2010095437A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013072858A (ja) * 2011-09-29 2013-04-22 Panasonic Corp 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム
WO2013128852A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
JP2015527573A (ja) * 2012-06-28 2015-09-17 ノースロップ グラマン システムズ コーポレーション Ｗｉｆｉマッピング及び動き検出
JP2016024704A (ja) * 2014-07-23 2016-02-08 Kddi株式会社 ユーザ特定装置、ユーザ特定方法、およびプログラム
JPWO2020230645A1 (ja) * 2019-05-13 2020-11-19
US11210536B2 (en) 2020-01-06 2021-12-28 Toyota Jidosha Kabushiki Kaisha Moving object recognition system, moving object recognition method, and program
JP7457948B2 (ja) 2021-03-10 2024-03-29 パナソニックＩｐマネジメント株式会社 位置推定システム、位置推定方法、位置情報管理システム、位置情報管理方法及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201206192A (en) * 2010-07-23 2012-02-01 Hon Hai Prec Ind Co Ltd Detection device and method
US9077343B2 (en) * 2011-06-06 2015-07-07 Microsoft Corporation Sensing floor for locating people and devices
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
TWI474173B (zh) * 2012-02-21 2015-02-21 Hon Hai Prec Ind Co Ltd 行走輔助系統及行走輔助方法
US9820677B2 (en) * 2013-01-03 2017-11-21 St. Jude Medical, Atrial Fibrillation Division, Inc. Cointegration filter for a catheter navigation system
US9196150B2 (en) * 2013-03-15 2015-11-24 Honeywell International Inc. System and method for video monitoring of restricted areas below bucket trucks, lineworkers on power distribution poles or other elevated loads
JP5812061B2 (ja) * 2013-08-22 2015-11-11 株式会社デンソー 物標検出装置およびプログラム
JP6482844B2 (ja) * 2014-12-11 2019-03-13 株式会社メガチップス 状態推定装置、プログラムおよび集積回路
JP6770299B2 (ja) * 2015-03-25 2020-10-14 パナソニック株式会社 物体検出装置および物体検出方法
US10007991B2 (en) 2016-01-29 2018-06-26 International Business Machines Corporation Low-cost method to reliably determine relative object position
JP6730177B2 (ja) * 2016-12-28 2020-07-29 株式会社デンソーテン 画像生成装置および画像生成方法
US10304207B2 (en) * 2017-07-07 2019-05-28 Samsung Electronics Co., Ltd. System and method for optical tracking
WO2021202380A1 (en) * 2020-03-30 2021-10-07 Wiser Systems, Inc. Integrated camera and ultra- wideband location devices and related systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031955A (ja) * 2003-07-11 2005-02-03 Kddi Corp 移動体追跡システム
JP2006270456A (ja) * 2005-03-23 2006-10-05 Matsushita Electric Works Ltd 情報提示システム
WO2007074671A1 (ja) * 2005-12-28 2007-07-05 Matsushita Electric Industrial Co., Ltd. 物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラム
JP2008008684A (ja) * 2006-06-27 2008-01-17 Ezis Solutions:Kk 位置特定装置
JP2008275324A (ja) * 2007-04-25 2008-11-13 Doshisha 物体位置特定システム、物体位置特定方法、物体位置算出装置、及びコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US66513A (en) * 1867-07-09 Benjamin
US6061644A (en) * 1997-12-05 2000-05-09 Northern Digital Incorporated System for determining the spatial position and orientation of a body
CN1199054A (zh) 1998-04-20 1998-11-18 台湾塑胶工业股份有限公司 催化合成方法
US6882959B2 (en) * 2003-05-02 2005-04-19 Microsoft Corporation System and process for tracking an object state using a particle filter sensor fusion technique
JP4490076B2 (ja) 2003-11-10 2010-06-23 日本電信電話株式会社 物体追跡方法、物体追跡装置、プログラム、および、記録媒体
JP3931879B2 (ja) 2003-11-28 2007-06-20 株式会社デンソー センサフュージョンシステム及びそれを用いた車両制御装置
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
CN101052982A (zh) 2005-08-04 2007-10-10 松下电器产业株式会社 检索物品推定装置和方法、及检索物品推定装置用服务器
JP3989527B2 (ja) 2005-08-04 2007-10-10 松下電器産業株式会社 検索物品推定装置及び方法、並びに、検索物品推定装置用サーバ
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031955A (ja) * 2003-07-11 2005-02-03 Kddi Corp 移動体追跡システム
JP2006270456A (ja) * 2005-03-23 2006-10-05 Matsushita Electric Works Ltd 情報提示システム
WO2007074671A1 (ja) * 2005-12-28 2007-07-05 Matsushita Electric Industrial Co., Ltd. 物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラム
JP2008008684A (ja) * 2006-06-27 2008-01-17 Ezis Solutions:Kk 位置特定装置
JP2008275324A (ja) * 2007-04-25 2008-11-13 Doshisha 物体位置特定システム、物体位置特定方法、物体位置算出装置、及びコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Annual Conference of JSAI Ronbunshu (CD-ROM), 2007", vol. 21ST, article YOHEI SHIRASAKA: "RFID ni yoru Gazo Shikibetsu Model Parameter no Jido Gakushu", pages: 1 - 4, XP008141832 *
HIROFUMI KANAZAKI; TAKEHISA YAIRI; KAZUO MACHIDA; KENJI KONDO; YOSHIHIKO MATSUKAWA: "Variational Approximation Data Association Filter", 15TH EUROPEAN SIGNAL PROCESSING CONFERENCE, 3 September 2007 (2007-09-03), pages 1872 - 1876

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013072858A (ja) * 2011-09-29 2013-04-22 Panasonic Corp 移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラム
WO2013128852A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
JPWO2013128852A1 (ja) * 2012-02-29 2015-07-30 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
US10648803B2 (en) 2012-02-29 2020-05-12 Nec Corporation Movement line information generation system, movement line information generation method and movement line information generation program
US10895454B2 (en) 2012-02-29 2021-01-19 Nec Corporation Movement line information generation system, movement line information generation method and movement line information generation program
JP2015527573A (ja) * 2012-06-28 2015-09-17 ノースロップ グラマン システムズ コーポレーション Ｗｉｆｉマッピング及び動き検出
JP2016024704A (ja) * 2014-07-23 2016-02-08 Kddi株式会社 ユーザ特定装置、ユーザ特定方法、およびプログラム
JPWO2020230645A1 (ja) * 2019-05-13 2020-11-19
JP7384199B2 (ja) 2019-05-13 2023-11-21 日本電気株式会社 位置推定システム、位置推定方法、プログラム、及び記録媒体
US11210536B2 (en) 2020-01-06 2021-12-28 Toyota Jidosha Kabushiki Kaisha Moving object recognition system, moving object recognition method, and program
JP7457948B2 (ja) 2021-03-10 2024-03-29 パナソニックＩｐマネジメント株式会社 位置推定システム、位置推定方法、位置情報管理システム、位置情報管理方法及びプログラム

Also Published As

Publication number Publication date
JP4709943B2 (ja) 2011-06-29
CN102105811B (zh) 2013-10-16
US8527235B2 (en) 2013-09-03
US20110029278A1 (en) 2011-02-03
CN102105811A (zh) 2011-06-22
JPWO2010095437A1 (ja) 2012-08-23

Similar Documents

Publication Publication Date Title
JP4709943B2 (ja) 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム
US11386616B2 (en) Automated spatial indexing of images based on floorplan features
KR101203232B1 (ko) 이동 장치의 로케이션 역학을 결정하는 시스템 및 방법, 이동 장치를 추적하는 것을 용이하게 하는 머신 구현 시스템, 무선 장치 로케이션 시스템, 및 컴퓨터 판독가능 기록 매체
KR102297478B1 (ko) 주변 신호를 이용한 궤적 매칭
US20200142388A1 (en) Assisting execution of manual protocols at production equipment
US20080130949A1 (en) Surveillance System and Method for Tracking and Identifying Objects in Environments
US20120148102A1 (en) Mobile body track identification system
JP4677060B1 (ja) 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム
US8731829B2 (en) Flow line detection system, flow line detection method, and flow line detection program
JPWO2013128852A1 (ja) 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
EP1927947A1 (en) Computer implemented method and system for tracking objects using surveillance database
US11386151B2 (en) Image search in walkthrough videos
US11734882B2 (en) Machine learning based object identification using scaled diagram and three-dimensional model
Joseph et al. Indoor positioning using WiFi fingerprint
US20170339528A1 (en) Method and system for calculating a position of a mobile communication device within an environment
US10614436B1 (en) Association of mobile device to retail transaction
Guan et al. Towards a crowdsourced radio map for indoor positioning system
US20200068344A1 (en) Method and system for wireless localization data acquisition and calibration with image localization
Keser et al. A priori verification and validation study of RFKON database
Aung et al. Construction and management of fingerprint database with estimated reference locations for wifi indoor positioning systems
JP2008211781A (ja) ある環境において物体の移動をモデル化するためのシステムおよびコンピュータにより実施されるその方法
Palamarchuk ORCID: 0000-0002-7443-099X METHODS OF STUDENT INTERACTION WITH THE AUTOMATED ATTENDANCE SYSTEM IN HIGHER EDUCATION INSTITUTIONS
WO2012042864A1 (ja) 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び物体位置推定プログラム
CN115326071A (zh) 一种自适应融合的室内定位方法、计算机设备和可读存储介质
Papaioannou Tracking multiple mobile devices in CCTV-enabled areas

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080002176.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010518663

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12933888

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10743566

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010743566

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10743566

Country of ref document: EP

Kind code of ref document: A1