WO2011068184A1 - 移動体の測位装置 - Google Patents

移動体の測位装置 Download PDF

Info

Publication number
WO2011068184A1
WO2011068184A1 PCT/JP2010/071637 JP2010071637W WO2011068184A1 WO 2011068184 A1 WO2011068184 A1 WO 2011068184A1 JP 2010071637 W JP2010071637 W JP 2010071637W WO 2011068184 A1 WO2011068184 A1 WO 2011068184A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing device
moving body
output
moving
outputs
Prior art date
Application number
PCT/JP2010/071637
Other languages
English (en)
French (fr)
Inventor
興梠　正克
智也 石川
蔵田　武志
Original Assignee
独立行政法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 独立行政法人産業技術総合研究所 filed Critical 独立行政法人産業技術総合研究所
Priority to JP2011544301A priority Critical patent/JPWO2011068184A1/ja
Priority to US13/512,696 priority patent/US8983124B2/en
Publication of WO2011068184A1 publication Critical patent/WO2011068184A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator

Definitions

  • the present invention relates to a positioning device for a moving body using an external monitoring camera which is an indispensable element when monitoring and following the moving body.
  • Non-Patent Document 1 Pedestrian Dead Reckoning
  • the output of the self-contained sensor is analyzed in consideration of the restriction conditions of human walking motion, and the pedestrian's movement vector or movement speed vector is estimated and integrated one by one.
  • the measurement error gradually accumulates with the progress of movement.
  • the person in the video taken from the surveillance camera must be associated with the person being tracked by the PDR.
  • An object of the present invention is to solve such a problem, and provides a positioning device for a moving body using an external monitoring camera which is an indispensable element when monitoring and following the moving body. There is to do.
  • the accumulation of measurement errors due to the PDR which is the first problem, is based on the analysis result of the video of the surveillance camera installed outside and the PDR.
  • the problem is solved by correcting the measurement result of PDR by combining the measurement results. That is, the person in the video of the monitoring camera is associated with the person tracked by the PDR, and the position of the PDR is corrected to the position of the person in the video of the monitoring camera.
  • the mobile positioning device tracks the position of the person in the video by analyzing the video of the surveillance camera, Since the moving speed vector can be estimated, the individual difference parameter is estimated by analyzing the result and the PDR sensor data.
  • the association between the person in the video of the surveillance camera and the person tracked by the PDR which is the third problem, is solved by taking the following procedure. That is, first, by analyzing the video of the surveillance camera that has a known installation relationship with the floor on which the pedestrian moves, the foreground person image is cut out, focusing on the difference image from the background. Estimate the position of the person's head and feet. Next, the movement speed vector or movement vector is estimated by tracking the position of the foot step by step. By comparing this movement speed vector or movement vector with the movement speed vector or movement vector output by the PDR, the output of the PDR is associated with the person tracked by the surveillance camera.
  • a mobile body positioning device of the present invention is provided in a mobile body, and measures the movement of the mobile body and outputs it, and based on the output of the internal world observation apparatus, the mobile body
  • the positioning device for a mobile object includes a self-contained sensor group that outputs a moving speed vector of the mobile object by an acceleration sensor provided in the mobile object, and a movement based on the output of the self-contained sensor group.
  • a moving speed vector estimation processing device that measures a speed vector and outputs an output sequence of the moving speed vector together with the measured time, a monitoring camera that captures a moving body from the outside, and an image of the monitoring camera that is analyzed
  • An image analysis processing device that measures a position of a foot of a moving body, measures a moving speed vector at the position of the foot, outputs an output sequence of the moving speed vector together with the measured time
  • a moving speed vector estimation processing device A moving speed vector that collates the output sequence with the output sequence of the video analysis processing device and outputs the collation result as a TRUE (true) or FALSE (false) signal. Characterized in that it comprises a Le collation processing apparatus.
  • the mobile body positioning apparatus includes, as its configuration, a self-contained sensor group that outputs a movement vector of the mobile body by accumulating a movement speed vector by an acceleration sensor provided in the mobile body, and the self-contained sensor group.
  • the movement vector is measured based on the output of the movement vector, the movement vector estimation processing device that outputs the movement vector output sequence together with the measured time, the monitoring camera that images the moving body from the outside, and the video of the monitoring camera is analyzed.
  • An image analysis processing device that measures a position of a foot of a moving body in a video, measures a movement vector of the position of the foot, outputs an output sequence of the movement vector together with the measured time, and the movement vector estimation processing device
  • the output sequence and the output sequence of the video analysis processing device are collated, and the collation result is transferred to a mobile system that outputs a TRUE (true) or FALSE (false) signal.
  • TRUE true
  • FALSE false
  • the mobile positioning device includes, as its configuration, a self-contained sensor group that outputs a movement vector of the mobile body by integrating a moving speed vector by an acceleration sensor provided in the mobile body, and a self-contained sensor group. Based on the output, identify the movement type of the moving body, and output the identification result together with the measured time, the self-contained sensor-based movement identification processing device, the monitoring camera that captures the moving body from the outside, and the video of the monitoring camera The video analysis processing device that identifies the motion type of the moving object in the video and outputs the identification result together with the measured time, the collation processing device, the output of the self-contained sensor-based motion identification processing device and the output of the video analysis processing device And an action type collation processing apparatus that outputs a TRUE (true) or FALSE (false) signal as a collation result.
  • the moving speed vector collation processing apparatus uses the video of the surveillance camera when collating the output series from the moving speed vector estimation processing apparatus with the output series from the video analysis processing apparatus. It is also configured to perform a matching process by determining a weighting factor according to the size of the area of the unit pixel of the video of the surveillance camera projected on the floor surface at the estimated position of the foot of the moving body. This is similarly performed when the movement vector collation processing device collates the output sequence from the movement vector estimation processing device and the output sequence from the video analysis processing device. In this case, in the collation process, the weighting factor is decreased as the unit pixel area is projected larger, and the weighting factor is increased as the unit pixel area is projected smaller.
  • the mobile positioning apparatus further includes a position correction signal output device, and the position correction signal output device is configured such that the moving speed vector matching processing device is TRUE (true).
  • the position correction signal output device is configured such that the moving speed vector matching processing device is TRUE (true).
  • the position correction signal output device is configured to output a signal for correcting the position coordinates of the moving object output from the video analysis processing apparatus as the position of the moving object on which the self-contained sensor group is mounted.
  • the positioning apparatus for a moving body further includes a walking parameter estimation processing device, and the movement speed vector estimation processing device is based on a preset individual difference parameter.
  • the walking parameter estimation processing device outputs the TRUE (true) signal when the movement speed vector matching processing device outputs a TRUE (true) signal.
  • the individual difference parameter in the moving speed vector estimation processing device is reset.
  • the mobile body positioning device further includes an identification information storage / display device for storing and displaying identification information for identifying the mobile body, and the identification information storage / display device includes the moving speed vector collation process.
  • the device When the device outputs a TRUE signal, the mobile speed vector is stored and displayed as information indicating the mobile body in the video of the surveillance camera, and the identification information of the mobile body wearing the self-contained sensor is displayed.
  • the verification processing device When the verification processing device outputs a FALSE (false) signal, it is configured to store and display identification information indicating that the self-contained sensor is not mounted as information indicating the moving body in the video of the monitoring camera. Is done.
  • an image of a monitoring camera that is an external observation device, for example, an internal observation device that is a self-contained sensor group of the positioning device, for example.
  • an external observation device for example, an internal observation device that is a self-contained sensor group of the positioning device, for example.
  • a wearer of, for example, a PDR sensor which is an internal observation device and a self-contained sensor group of the positioning device, can display an image of an external observation device such as a monitoring camera.
  • an external observation device such as a monitoring camera.
  • the parameter can be estimated.
  • a calibration operation can be performed in advance based on the estimated individual difference parameter.
  • FIG. 1 is a diagram illustrating a schematic configuration of a mobile positioning device according to the present invention
  • FIG. 2 is a block diagram illustrating a configuration of basic processing elements of the mobile positioning device according to the present invention. is there.
  • an external environment observation apparatus 11 is an apparatus that can observe the movement of a plurality of moving bodies in a predetermined space (external world) such as a road, a plaza, and the sea.
  • Examples of the external observation apparatus 11 include a monitoring camera, a Z value sensor, and a laser range finder.
  • the inner world observation device 12 is a device attached to a moving body, and is a device that measures the movement of the moving body.
  • a combination of a sensor for measuring movement such as an acceleration sensor, a magnetic sensor, an angular velocity sensor, and an atmospheric pressure sensor and a timepiece may be considered.
  • a temperature sensor may be used in combination with an acceleration sensor, a magnetic sensor, an angular velocity sensor, and an atmospheric pressure sensor.
  • Examples of the moving body include pedestrians, bicycles, automobiles, airplanes, and ships.
  • the external field observation apparatus 11 is not equipped with a mobile body (in the example of this figure, which is a pedestrian and is a mobile body 2) equipped with the internal world observation apparatus 12 or an internal world observation apparatus.
  • the mobile body 1 (similarly, a pedestrian in this example) that has not transmitted the information to the outside is observed by the external field observation device 11.
  • the movement of each of the plurality of moving objects to be observed is estimated at each discrete time by using a moving speed vector, a moving vector, action identification, and the like.
  • the external field observation device 11 is a monitoring camera that captures a moving body
  • the moving body in the video of the monitoring camera is appropriately tracked and the moving speed vector is estimated based on features such as shape and color. This can be realized by a combination with a moving speed vector estimation processing device.
  • a combination with a Z value analysis device that uses a sensor that measures the depth (Z value) of the outside world as the external environment observation device 11 to detect a moving object that is an object to be photographed based on the depth and estimates the moving speed vector.
  • a sensor for measuring the Z value a depth sensor using a stereo camera can be considered as a passive sensor, and an active sensor can project a distance (Z by projecting infrared light and measuring the time required for reflection thereof.
  • a device for measuring (value) is conceivable.
  • a laser range finder that irradiates a laser beam to the outside world and measures the distance to the moving body based on the reflected light is used as the outside world observation device 11 and the measurement result of the distance.
  • LRF laser range finder
  • the inner field observation device 12 estimates the movement of the moving object equipped with this at each discrete time based on the movement speed vector, the movement vector, and the action identification.
  • the time-series data of the moving velocity vectors observed in the external world and the internal world are collected in one place by communication means (for example, using a wireless data communication network). Therefore, collation processing (A) of the time series data of the moving speed vectors of one or more moving bodies captured by the external field observation apparatus 11 and the moving speed vector output from the internal field observation apparatus 12 is performed, and the collation is successful. Then, when it can be regarded as a time series of moving velocity vectors by the same moving body, a TRUE signal is output, otherwise a FALSE signal is output.
  • FIG. 2 is a block diagram for explaining the configuration of basic processing elements of the mobile positioning apparatus according to the present invention.
  • the external observation apparatus 21 is an apparatus that detects one or more moving objects and outputs the result with time data, similarly to the external observation apparatus 11 of FIG.
  • the output data 30 differs depending on the external field observation device to be used. For example, when using a camera, it is video data with time, when using a Z value sensor, it is a set of Z values with time, and when using a laser range finder. If there is, it is a set of distance data with time.
  • the external field observation data processing device 24 is a device that detects a moving body based on the output data 30, and outputs time-series data of the moving speed vector or moving vector, and the motion identification result of the moving body.
  • a computer having a memory, a processor, and an input / output interface. This can be realized by, for example, a process of detecting a target moving body (for example, a person) based on a feature amount such as a shape and a color in video analysis.
  • the inner world observation device 22 is a device that is mounted on a moving body and measures its movement, as shown in FIG. 1, similar to the inner world observation device 21 of FIG. This can be realized, for example, by a self-contained sensor (a combination of acceleration, magnetism, angular velocity, barometric pressure, and temperature sensor) and a clock (such as a real-time clock).
  • a self-contained sensor a combination of acceleration, magnetism, angular velocity, barometric pressure, and temperature sensor
  • a clock such as a real-time clock
  • the inner field observation data processing device 23 acquires an acceleration vector fixed in the (three-dimensional) world coordinate system based on the time-accompanied output of the self-contained sensor, and integrates the acceleration integral thereof.
  • Is a device for estimating a moving velocity vector specifically a computer having a memory, a processor, and an input / output interface.
  • the inner-field observation data processing device 23 outputs time-series data (33) of the moving speed vector, the moving vector, or the movement identification result of the moving object.
  • the moving speed vector, the moving vector, or the time series data (31) of the motion identification result of the moving body obtained based on the external field observation device 21 and the inner field observation device 22 are obtained. Is compared with the time-series data (33) of the moving speed vector, the moving vector, or the moving object motion identification result obtained based on the above, and if it can be compared, a TRUE signal is output, otherwise FALSE ( A false signal is output (34).
  • the verification processing device 25 is also a computer including a memory, a processor, an input / output interface, and the like, and the data received from the external observation data processing device and the internal observation data processing device is subjected to verification processing by the processor.
  • the moving speed vector time-series data (31) and the moving speed vector time-series data (33) obtained from the inner field observation device 22 are used.
  • the distance scale between the time series data of the moving speed vector is determined in advance, and when this is below a certain threshold, it is determined that the two moving speed vectors can be collated, and a TRUE signal is output, Otherwise, a FALSE signal is output (34).
  • the distance measure described above is used by selecting one that allows a certain jitter (time difference) to exist in the time data held by the two time series data.
  • the monitoring camera 101 is installed so that the arrangement relationship with respect to the floor surface is known, and in the video taken by the monitoring camera 101, passages and open spaces that people often pass are shown. ing.
  • the self-contained sensor 102 is a group of sensors that can operate without infrastructure support from the outside. For example, an acceleration sensor, a gyro sensor, a magnetic sensor, an atmospheric pressure sensor, or the like is used.
  • the camera model including the translation / rotation movement parameter and the focal length / scale coefficient with respect to the external environment in which the monitoring camera 101 is installed is an environment model created with the scale set appropriately.
  • an environment model can be interactively created by executing a modeler application program (modeler application) using the method described in Non-Patent Document 3 or the like.
  • modeler application is used to perform a procedure for obtaining a vanishing point in the environment based on an instruction from the user (specifically, two sets of parallel lines in the environment) User selects a pair).
  • FIG. 3 it is detected that a moving pedestrian wearing the self-contained sensor 102 is reflected in the video of the monitoring camera 101, and the person in the video of the monitoring camera 101 is self-contained.
  • a process (A) for collating with a pedestrian wearing the sensor 102 is performed.
  • 201 is a surveillance camera
  • 202 is a self-contained sensor group
  • 203 is a moving speed vector estimation processing device
  • 204 is a video analysis processing device
  • 205 is a moving speed vector collation processing device.
  • the video (the frame image at each time) taken by the monitoring camera 201 is output to the video analysis processing device 204, where the candidates for the image of the moving person are selected, the position of the foot is estimated, and the time differentiation is performed.
  • a moving speed vector at each time is estimated, and an output series of moving speed vectors is output.
  • data may be acquired by using a stereo camera depth measurement device or a laser range finder, and the movement speed vector may be estimated.
  • the moving body will be described as a person.
  • 210 represents information of each frame image of the video of the surveillance camera
  • 211 represents information of the result of analyzing each frame image.
  • the analysis result information 211 outputs data representing the position coordinates on the floor of the person's feet when a person is present in the video, and data representing a signal indicating that when there is no person. Is output.
  • the output data 212 of the self-contained sensor group 202 is output to the moving speed vector estimation processing device 203, where the output data (acceleration vector, angular velocity vector, magnetic vector, and atmospheric pressure data) is output. Based on this, the moving speed vector of the wearer (person) at each time is estimated.
  • the output data 212 is output of sensor data from the sensors included in the self-contained sensor group 202 as described above.
  • the self-contained sensor group 202 has a timer, and the timer outputs an acceleration vector, angular velocity vector, magnetic vector, and atmospheric pressure data having time stamp information at the time of acquisition.
  • the calculation of the movement speed vector based on the sensor data of the output data 212 of the self-contained sensor group 202 is calculated by performing data processing by the method described in Non-Patent Document 1, for example.
  • Data 213 output from the moving speed vector estimation processing device 203 is data of an output series of moving speed vectors of a moving body (person) wearing the self-contained sensor group 202.
  • the moving speed vector collating device 205 accumulates and compares the output sequence of the moving speed vector output from the video analysis processing device 204 and the output sequence of the moving speed vector output from the moving speed vector estimation processing device 203 for a certain period of time. Judge whether to do. For example, as described in Non-Patent Document 4, the data processing of this determination is performed by calculating the sum of the magnitudes of the difference vectors between the two moving speed vectors and normalizing by the length of time or the number of samples. In the data processing, a comparison is made with a predetermined threshold value, and if it is equal to or less than the threshold value, it is regarded as a collation.
  • the output data 214 output from the moving speed vector collating device 205 includes time series data of moving speed vectors estimated by the moving speed vector estimating processing device 203 based on the sensor data of the self-contained sensor group 202, and video.
  • the analysis processing device 204 collates two movement speed vectors estimated from the position coordinates of the feet of the person in the video obtained as the analysis processing result of each frame image of the monitoring camera 201, and as a result, the collation is performed. In this case, a signal indicating TRUE (true) is output. Otherwise, a signal indicating FALSE (false) is output.
  • the mobile positioning device of the above-described embodiment performs the matching process using the output sequence of the moving speed vector, and the portion that has been checked with the moving speed vector is checked using the moving vector (that is, the relative position vector). Can also be performed. Next, an embodiment having such a configuration will be described.
  • FIG. 5 is a block diagram for explaining the configuration of another embodiment of the mobile positioning apparatus of the present invention.
  • 301 is a surveillance camera
  • 302 is a self-contained sensor group
  • 303 is a motion vector estimation processing device
  • 304 is a video analysis processing device
  • 305 is a motion vector matching processing device.
  • the monitoring camera 301 is the same as the monitoring camera 201 in FIG.
  • a frame image signal 310 is output from the monitoring camera 301.
  • the video image analysis processing device 304 receives the frame image signal 310 and determines that a person image (moving body) exists in the frame image, the video analysis processing device 304 outputs an output sequence of the movement vector 311 of the person image.
  • Output data 312 from the self-contained sensor group 302 is an output series of sensor data such as an acceleration vector, an angular velocity vector, a magnetic vector, and atmospheric pressure data to which a time stamp is added.
  • the movement vector estimation processing device 303 when the sensor data of the output data 312 is given as an input from such a self-contained sensor group 302, a wearer of a self-contained sensor ( The relative movement vector of the moving object is estimated and output.
  • data processing obtained by first order integration with respect to the time can be used. Use data processing by method.
  • the movement vector estimation processing device 303 outputs output data 313 of an output series of the obtained relative movement speed vector.
  • the movement vector collation processing device 305 includes time series data of movement vector output data 311 obtained by video analysis processing and time series data of output data 313 of relative movement vector obtained by movement vector estimation processing based on sensor data. And match. As a method for collating time series data of two movement vectors, the sum of the magnitudes of the difference vectors between the two movement vectors is calculated, normalized by the length of time or the number of samples, and A comparison process is performed, and if it is less than the threshold value, a verification process for determining that the verification has been performed is performed. The movement vector collation processing device 305 outputs a TRUE (true) signal as output data 314 when it is determined that collation is performed by such processing, and otherwise, a FALSE (false) signal. Is output.
  • TRUE true
  • the position detection accuracy based on the image when the person image appears small in the image of the surveillance camera 301 is higher than that when the person image appears large. Go down. This means that when the unit pixel of the surveillance camera is back projected onto the floor surface, the reliability changes in inverse proportion to the area.
  • the movement vector collation processing device 305 when collating the output sequence from the movement vector estimation processing device 303 with the output sequence from the video analysis processing device 304, identifies the foot of the moving object estimated from the video of the surveillance camera.
  • a matching process is performed by determining a weighting factor according to the size of the area of the unit pixel of the video of the surveillance camera projected on the floor of the position.
  • the weighting factor is decreased as the unit pixel area is projected larger, and the weighting factor is increased as the unit pixel area is projected smaller.
  • Such processing can be performed in the same manner in the embodiment of the mobile positioning apparatus described with reference to FIG. That is, in that case, the moving speed vector collation processing device 205 is estimated from the video of the surveillance camera when the output sequence from the moving speed vector estimation processing device 203 is collated with the output sequence from the video analysis processing device 204.
  • the weighting coefficient is determined according to the size of the area of the unit pixel of the image of the monitoring camera projected on the floor surface at the position of the foot of the moving body, and the matching process is performed.
  • FIG. 6 is a block diagram for explaining the configuration of another embodiment of the mobile positioning apparatus of the present invention.
  • the embodiment shown in FIG. 6 is based on the observation data from the inner field observation device and the outer field observation device, and the self-contained base operation type processing device as the inner field observation data processing device and the video analysis as the outer field observation data processing device.
  • the processing device identifies the movement type of the moving object, and collates the time-series data of the identification result in the matching processing device.
  • 3201 is a monitoring camera
  • 3202 is a self-contained sensor group
  • 3203 is a self-contained base operation type processing device
  • 3204 is a video analysis processing device (operation type processing device)
  • 3205 is an operation type collation processing device.
  • the monitoring camera 3201 corresponds to the external observation apparatus 21 in FIG. 2 and is the same as the monitoring cameras 201 and 301.
  • a video signal 3210 with time is output from the monitoring camera 3201.
  • the video analysis processing device (operation type processing device) 3204 receives the video signal 3210 as input, analyzes the motion of a moving body (such as a person) present in the video, and recognizes / identifies the motion.
  • HMM Hidden Markov Model
  • the self-contained sensor group 3202 corresponds to the inner field observation device 22 in FIG. 2 and is the same as the self-contained sensor group 202 and 302.
  • Output data 3212 from the self-contained sensor group 3202 is an output series of sensor data such as an acceleration vector, an angular velocity vector, a magnetic vector, atmospheric pressure data, and temperature data to which a time stamp is added.
  • the self-contained base action type processing device 3203 identifies and recognizes the wearer's action type based on the output data 3212.
  • Such an operation type processing device converts, for example, a feature vector in the time domain of time series data such as an acceleration vector and an angular velocity vector, which are a part of outputs of the self-contained sensor group, and Fourier transform of the time series data.
  • the feature quantity vector in the frequency domain is calculated.
  • the operation type corresponding to the combination of the two types of feature vectors in the time domain and the frequency domain can be realized by a machine learning method using a computer.
  • the input time-series sensor data is collated with a learned model or model data to give a specific identification result to the input sensor data Is possible.
  • a learned model or model data to give a specific identification result to the input sensor data Is possible.
  • the action type collation processing device 3205 corresponds to the collation processing device 25 in FIG. 2, and based on the output 3211 of the action type processing device 3204 and the output 3213 of the self-contained base action type processing device 3203, Check for time series data. At this time, a distance scale between the time-series action type recognition result data is defined, and when the distance falls below a certain threshold, the two time-series data are compared, and a TRUE (true) signal is Otherwise, a FALSE signal is output (3214).
  • FIG. 7 is a flowchart for explaining a processing flow for setting a weighting factor in the collation processing performed by the movement speed vector collation processing device or the movement vector collation processing device. This will be described with reference to FIG.
  • step S401 the position on the floor where the person exists is obtained from the video of the monitoring camera, and then in step S402, the area where the unit pixel of the monitoring camera is projected on the floor where the person exists. Ask for.
  • step S403 the weighting coefficient at that position is determined according to the obtained area size, and in step S404, the weighting coefficient on each point on the locus is stored. In this way, the weighting coefficient is determined and the matching process is performed.
  • the mobile positioning device of the present invention can be modified so as to improve the accuracy of data processing in the estimation processing by setting individual difference parameters.
  • the walking of the person wearing the self-contained sensor is performed using the moving speed vector of the person image in the video and the output series of the self-contained sensor.
  • the individual difference parameter is set so as to estimate the individual difference parameter that characterizes the motion.
  • Non-Patent Document 1 the amplitude data of the acceleration component obtained by decomposing the output of the acceleration sensor in the vertical direction and the magnitude of the moving speed vector of the person image in the video are linked, In other words, individual difference parameters (in this case, two of a slope and an intercept for determining a straight line) are estimated.
  • FIG. 8 is a block diagram for explaining the configuration of another embodiment of the mobile positioning apparatus of the present invention.
  • 201 is a surveillance camera
  • 202 is a self-contained sensor group
  • 203 is a moving speed vector estimation processing device
  • 204 is a video analysis processing device
  • 205 is a moving speed vector collation processing device.
  • the walking parameter estimation processing device 505 includes sensor data 503 output from the self-contained sensor group 202, a moving speed vector 501 at the foot position of the human image in the video output from the video analysis processing device 204, and a moving speed vector.
  • the collation processing device 205 receives the collation result (TRUE / FALSE) output signal 502 output as a result of the collation processing, and estimates and outputs the walking parameter.
  • the output of the estimated walking parameter is input to the movement speed vector estimation processing device 203, and is used when the movement speed vector estimation processing device 203 executes the movement speed vector estimation processing.
  • the walking parameter estimation processing performed by the walking parameter estimation processing device 505 is performed when the moving speed vector of the person image in the video is collated with the moving speed vector based on the sensor data of the self-contained sensor (that is, the signal 502) Is a TRUE signal), the walking parameter estimation processing device characterizes the walking motion of the wearer of the self-contained sensor based on the sensor data 503 of the self-contained sensor data and the moving speed vector 501 linked at that time.
  • the walking parameter is estimated and the walking parameter data is output.
  • the output walking parameter characterizing the individual difference is used when the moving speed vector estimation processing device 203 executes the moving speed vector estimation process.
  • the walking parameter estimation processing device 505 provided in the mobile positioning device shown in FIG. 8 performs the verification when the moving speed vector matching processing device 205 outputs a TRUE signal as the output data 214 of the matching processing.
  • the walking parameter of the individual difference parameter in the moving speed vector estimation processing device 203 is reset using the pair information of the time series data of the moving speed vector and the sensor data output series of the self-contained sensor. Accordingly, the moving speed vector estimation processing device 203 corrects and outputs the moving speed vector output series based on the set walking parameter of the individual difference parameter.
  • the mobile positioning device stores and displays the identification information of the wearer of the self-contained sensor in association with the person image in the image when the video of the surveillance camera and the output of the self-contained sensor are collated. It can also be deformed so that it can. An embodiment having such a configuration will be described with reference to FIG.
  • FIG. 9 is a block diagram for explaining the configuration of another embodiment of the mobile positioning apparatus of the present invention.
  • 201 is a surveillance camera
  • 202 is a self-contained sensor group
  • 203 is a moving speed vector estimation processing apparatus
  • 205 is a moving speed vector collation processing apparatus.
  • Reference numeral 601 denotes a wearer identification information storage device
  • 604 an identification information storage / display device
  • 605 an image analysis processing device.
  • the wearer identification information storage device 601 is a device that stores and outputs identification information (information such as individual ID and name) of the wearer of the self-contained sensor group.
  • the identification information output 603 is identification information of the wearer of the self-contained sensor group 202.
  • the video analysis processing device 605 here analyzes the video from the monitoring camera 201, estimates the moving speed vector of the position of the foot of the human image, and outputs the output data 211. Output data 602 of region information where an image exists is output.
  • the area information output data 602 is information representing the area of the human image in the video. Also, in 606, the output data 606 of the video frame image is extracted from the output data 210 from the monitoring camera 201 and input to the identification information storage / display device 604.
  • the identification information storage / display device 604 is the output of the frame image 606, the region information 602 of the person image in the image, the identification information 603 of the wearer of the self-contained sensor group 202, and the moving speed vector matching processing device 205.
  • the TRUE (false) / FALSE (false) signal 214 that is the result of the collation determination processing of the two moving speed vectors is input, and the signal of the collation determination processing result is the TRUE signal
  • the frame image 606 of the surveillance camera The area information 602 is stored in association with the wearer's identification information 603, and the identification information 603 is displayed on the image area indicated by the area information in the frame image.
  • the moving speed vector or moving vector of the person image in the video of the surveillance camera is estimated based on the sensor data based on the self-contained sensor group.
  • the identification information of the person in the video of the surveillance camera and the wearer of the self-contained sensor group can be linked and displayed.
  • the mobile positioning apparatus of this embodiment is provided with an identification information storage / display device 604 for storing and displaying identification information for identifying the mobile body, and the identification information storage / display device 604 is provided with a moving speed vector matching process.
  • the device 205 When the device 205 outputs a TRUE (true) signal, it stores and displays the identification information of the mobile object equipped with the self-contained sensor 202 as information indicating the mobile object in the video of the monitoring camera 201, and the moving speed
  • the vector verification processing device 205 outputs a FALSE (false) signal, it stores and displays identification information indicating that the self-contained sensor is not mounted as information indicating the moving body in the video of the monitoring camera 201.
  • the movement speed vector or movement vector of the person image in the video of the surveillance camera is estimated based on the sensor data based on the self-contained sensor group. It is possible to estimate with certain certainty that the wearer of the self-contained sensor group is at a position where the human image is present by video analysis of the surveillance camera.
  • the position correction signal used here is output by the position correction signal output device 702.
  • FIG. 10 is a block diagram for explaining the configuration of another embodiment of the mobile positioning apparatus of the present invention.
  • 201 is a surveillance camera
  • 202 is a self-contained sensor group
  • 203 is a moving speed vector estimation processing device
  • 204 is a video analysis processing device
  • 205 is a moving speed vector collation processing device.
  • Reference numeral 702 denotes a position correction signal output device.
  • the position correction signal output device 702 is one of the outputs of the video analysis processing device 204, the foot position information 701 of the person image in the video, and the verification result signal (TRUE / FALSE) which is the output of the moving speed verification processing device 205.
  • Signal) 214 is input and a position correction signal 703 is output.
  • the position correction signal 703 is used as a correction signal for the video analysis signal 701 output from the video analysis processing device 204.
  • the position correction signal output device 702 is configured such that when the moving speed vector matching processing device 205 outputs a TRUE signal, the position coordinates of the moving body output from the video analysis processing device 204 are displayed on the self-contained sensor group. It is output as a signal to be corrected as the position of the moving body.
  • the mobile positioning device of the present invention it becomes possible to correct the position estimation result by the internal world observation device provided in the mobile body by an external world observation device such as a surveillance camera, so that the mobile body can be moved more accurately. Since it can be measured, analyzed and estimated, it is industrially useful.

Abstract

　移動体を監視して追従する際の不可欠な要素となる外部の監視カメラを用いた移動体の測位装置を提供する。　移動体に備えられる加速度センサにより当該移動体の移動速度ベクトルを出力する自蔵センサ群と、前記自蔵センサ群の出力に基づいて移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する移動速度ベクトル推定処理装置と、外部から移動体を撮影する監視カメラと、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する映像解析処理装置と、前記移動速度ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する移動速度ベクトル照合処理装置とを備える。

Description

移動体の測位装置
　本発明は、移動体を監視して追従する際の不可欠な要素となる外部の監視カメラを用いた移動体の測位装置に関するものである。
　人の腰部やつま先などに装着された自蔵センサ（加速度・ジャイロ・磁気・気圧センサなど）を用いて、歩行者としての人の歩行動作に特化して、その位置・方位を計測する技術を歩行者デッドレコニング（ＰＤＲ＝Ｐｅｄｅｓｔｒｉａｎ　Ｄｅａｄ　Ｒｅｃｋｏｎｉｎｇ）と呼び、従来からよく研究されている（非特許文献１）。
　ＰＤＲにおいては、自蔵センサの出力を人の歩行動作の制約条件を考慮して解析し、歩行者の移動ベクトルまたは移動速度ベクトルを逐一推定して、積算する。
興梠正克、大隈隆史、蔵田武志、「歩行者ナビのための自蔵センサモジュールを用いた屋内測位システムとその評価」、シンポジウム「モバイル08」予稿集、ｐｐ．１５１－１５６，２００８ E.Foxlin,"Pedestrian　Tracking　with　Shoe-Mounted　Inertial　Sensors",IEEE　Computer　Graphics　and　Applications,　vol.25,no.6,pp.38-46,2005. 石川智也、Thangamani　Kalaivani、興梠正克、Andrew　P.Gee、ウォルテリオ・マヨール、Keechul　Jung、蔵田武志、「カメラと自蔵センサモジュールを併用したインタラクティブ3 次元屋内環境モデラ」、日本ＶＲ学会研究報告、Ｖｏｌ．１４、ＣＳ－３、ｐｐ．６５－７０、２００９ 谷口、西尾、鳥山、馬場口、萩田、「監視カメラ映像におけるＧＰＳ端末携帯ユーザの同定と追跡」、情報処理学会ＣＶＩＭ研究報告、２００６－ＣＶＩＭ－１５３，ｐｐ．３１５－３２０、２００６
　ＰＤＲの技術開発に関係して、ＰＤＲをより実用的なものとするため、更に解決されるべき課題としては、次のような課題がある。
　第１に、ＰＤＲに基づく位置・方位計測装置においては、移動の経過に伴ってその計測誤差が徐々に累積するという問題である。
　第２に、ＰＤＲにおいては、非特許文献１にも述べられているように、歩行者の個人差によって推定される移動速度の大きさにはある程度のばらつきがあり、これを適切に補正する個人差パラメータを求める必要がある。事前にキャリブレーション動作を歩行者がおこなうことで個人差パラメータを推定することは可能であるが、その手順が煩雑であり、実用上では問題となる。
　第３に、監視カメラからの映像に基づいて、第１と第２の問題を解決するにあたって、監視カメラから撮影される映像中の人物と、ＰＤＲがトラッキングしている人物を対応付けなければならないが、これまでの技術では、確実に対応づけることは困難である。
　本発明の目的は、このような問題を解決するためになされたものであり、移動体を監視して追従する際の不可欠な要素となる外部の監視カメラを用いた移動体の測位装置を提供することにある。
　上記のような目的を達成するため、本発明による移動体の測位装置において、第１の問題であるＰＤＲによる計測誤差の累積については、外部に設置された監視カメラの映像の解析結果とＰＤＲによる計測結果を組み合わせることにより、ＰＤＲの計測結果を補正することによって、その問題を解決する。すなわち、監視カメラの映像中の人物とＰＤＲがトラッキングする人物を対応づけて、監視カメラの映像中の人物の位置に、ＰＤＲの位置を補正する。
　また、第２の問題である歩行者の個人差パラメータの推定については、本発明による移動体の測位装置においては、監視カメラの映像を解析することによって、映像中の人物の位置を追跡し、その移動速度ベクトルを推定することが可能であるので、この結果とＰＤＲのセンサデータを解析することによって、個人差パラメータを推定する。
　また、本発明による移動体の測位装置においては、第３の問題である監視カメラの映像中の人物とＰＤＲがトラッキングする人物の対応付けについては、以下の手順を踏んで解決する。すなわち、まず、歩行者がその上を移動する床面との設置関係が既知である監視カメラの映像を解析することにより、背景との差分画像に着目して、前景の人物画像を切りだして、その人物の頭と足元の位置を推定する。次に、その足元の位置を逐一トラッキングすることによって、その移動速度ベクトルもしくは移動ベクトルを推定する。この移動速度ベクトルもしくは移動ベクトルを、ＰＤＲが出力する移動速度ベクトルもしくは移動ベクトルと照合することによって、ＰＤＲの出力と監視カメラが追跡する人物を対応付ける。
　本発明の構成として、本発明の移動体の測位装置は、移動体に備えられ、移動体の移動を計測して出力する内界観測装置と、内界観測装置の出力に基づいて、移動体の移動を推定する内界観測データ処理装置と、複数の移動体の移動を観測する外界観測装置と、外界観測装置の観測結果から前記移動体の移動を推定する外界観測データ処理装置と、内界観測データ処理装置からの出力と前記外界観測データ処理装置とを照合して、照合結果を、ＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する照合処理装置とを備えることを特徴とする。
　具体的には、本発明による移動体の測位装置は、移動体に備えられる加速度センサにより当該移動体の移動速度ベクトルを出力する自蔵センサ群と、前記自蔵センサ群の出力に基づいて移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する移動速度ベクトル推定処理装置と、外部から移動体を撮影する監視カメラと、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する映像解析処理装置と、前記移動速度ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する移動速度ベクトル照合処理装置とを備えることを特徴とする。
　また、本発明による移動体の測位装置は、その構成として、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群と、前記自蔵センサ群の出力に基づいて移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する移動ベクトル推定処理装置と、外部から移動体を撮影する監視カメラと、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する映像解析処理装置と、前記移動ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する移動ベクトル照合処理装置とを備えることを特徴とする。
　また、本発明による移動体の測位装置は、その構成として、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群と、自蔵センサ群の出力に基づいて移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する自蔵センサベース動作識別処理装置と、外部から移動体を撮影する監視カメラと、監視カメラの映像を解析して映像中の移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する映像解析処理装置と、照合処理装置は、自蔵センサベース動作識別処理装置の出力と映像解析処理装置の出力を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する動作種別照合処理装置であることを特徴とする。
　また、本発明による移動体の測位装置において、移動速度ベクトル照合処理装置は、移動速度ベクトル推定処理装置からの出力系列と映像解析処理装置からの出力系列を照合する場合において、監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行うようにも構成される。これは、移動ベクトル照合処理装置が、移動ベクトル推定処理装置からの出力系列と映像解析処理装置からの出力系列を照合する場合においても、同様に行われる。また、この場合に、照合の処理においては、単位画素の面積が大きく投影されるほど重み係数を小さくし、単位画素の面積が小さく投影されるほど重み係数を大きくする。
　また、別の特徴として、本発明による移動体の測位装置においては、更に、位置補正信号出力装置を備えており、前記位置補正信号出力装置は、前記移動速度ベクトル照合処理装置がＴＲＵＥ（真）信号を出力するとき、映像解析処理装置から出力される移動体の位置座標を、自蔵センサ群が装着されている移動体の位置として補正する信号を出力するように構成される。
　更に別の特徴として、本発明による移動体の測位装置においては、更に、歩行パラメータ推定処理装置を備えており、前記移動速度ベクトル推定処理装置は予め設定された個人差パラメータに基づいて移動速度ベクトルの出力系列を補正して出力し、前記歩行パラメータ推定処理装置は、前記移動速度ベクトル照合処理装置がＴＲＵＥ（真）信号を出力するとき、照合された移動速度ベクトルの時系列データと前記自蔵センサのセンサデータ出力系列のペア情報を用いて、前記移動速度ベクトル推定処理装置における個人差パラメータを再設定するように構成される。
　また、本発明による移動体の測位装置においては、更に、移動体を識別する識別情報を記憶して表示する識別情報記憶表示装置を備え、前記識別情報記憶表示装置は、前記移動速度ベクトル照合処理装置がＴＲＵＥ（真）信号を出力するとき、前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着している移動体の識別情報を記憶して表示し、前記移動速度ベクトル照合処理装置がＦＡＬＳＥ（偽）信号を出力するとき、前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着していないことを示す識別情報を記憶して表示するように構成される。
　上記のような特徴を有する本発明の移動体の測位装置を用いることにより、外界観測装置である例えば監視カメラの映像中に、内界観測装置であって測位装置の自蔵センサ群である例えばＰＤＲセンサの装着者（移動体）が入ったとき、その映像の解析結果に基づいて装着者（移動体）の位置の推定結果を補正することが可能となり、従来技術のように、ＰＤＲによる位置・方位の計測誤差が移動に伴って蓄積するということが無くなる。
　また、本発明の移動体の測位装置を用いることにより、外界観測装置である例えば監視カメラの映像に、内界観測装置であって測位装置の自蔵センサ群である例えばＰＤＲセンサの装着者が写っている場合には、その映像に基づいて装着者（移動体）の移動速度を推定することが可能であり、この結果に基づいてＰＤＲのセンサデータと対応づけることによって、装着者の個人差パラメータを推定することができる。推定した個人差パラメータにより、事前にキャリブレーション動作を行うことが可能となる。
本発明による移動体の測位装置の概略的な構成について説明する図である。 本発明による移動体の測位装置の基本的な処理要素の構成を説明するブロック図である。 本発明による移動体の測位装置の別の実施例における構成を説明する図である。 本発明による移動体の測位装置の別の実施例の構成を説明するブロック図である。 本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。 本発明による移動体の測位装置の別の実施例の構成を説明するブロック図である。 移動速度ベクトル照合処理装置または移動ベクトル照合処理装置が行う照合処理において重み係数を設定する処理フローを説明するフローチャートである。 本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。 本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。 本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。
　以下、本発明の移動体の測位装置を実施するための形態について、図面を用いて具体的に説明する。図１は、本発明による移動体の測位装置の概略的な構成について説明する図であり、図２は、本発明による移動体の測位装置の基本的な処理要素の構成を説明するブロック図である。
　図１において、外界観測装置１１は、道路や広場、海上など、所定の空間（外界）における複数の移動体の移動を観測することができる装置である。外界観測装置１１として、例えば、監視カメラやＺ値センサ、レーザレンジファインダが挙げられる。内界観測装置１２は、移動体に装着される装置であって、移動体の運動を計測する装置である。内界観測装置１２として、加速度センサや磁気センサ、角速度センサ、気圧センサといった移動を計測するセンサと時計との組み合わせが考えられる。なお、移動を計測するセンサとして加速度センサ、磁気センサ、角速度センサ、気圧センサとともに、温度センサを組み合わせて用いてもよい。移動体の例としては、歩行者や自転車、自動車、航空機、船舶などが考えられる。
　ここで、外界観測装置１１は、内界観測装置１２を装着した移動体（この図の例では歩行者であって移動体２となる）と内界観測装置を装着していないか、装着していてもその情報を外部に送出していない移動体１（同様にこの例では歩行者）とが、それぞれ外界観測装置１１によって観測される。このときに、観測対象となる複数の移動体についてそれぞれの移動を移動速度ベクトルや移動ベクトル、動作識別などにより、各離散時刻において推定する。
　例えば、外界観測装置１１が移動体を撮影する監視カメラであるときは、その形状や色などの特徴に基づいて、監視カメラの映像中の移動体を適宜追跡し、その移動速度ベクトルを推定する移動速度ベクトル推定処理装置との組み合わせによって実現可能である。
　また、外界観測装置１１として、外界の深度（Z値）を計測するセンサを用いて、その深度によって撮影対象である移動体を検出し、その移動速度ベクトルを推定するZ値解析装置との組み合わせによって実現可能である。Z値を計測するセンサとしては、パッシブなセンサとしてはステレオカメラによる深度計測装置が考えられ、アクティブなセンサとしては赤外光を投光してその反射に要する時刻を計測することで距離（Z値）を計測する装置が考えられる。
　あるいは、外界に対してレーザ光を照射してその反射光に基づいて移動体までの距離を計測するレーザレンジファインダ（Laser　Range　Finder,LRF）を外界観測装置１１として用いて、その距離の計測結果に基づいて移動体を検出して、その移動速度ベクトルを推定する解析装置との組み合わせによって実現可能である。
　一方、内界観測装置１２はこれを装着している移動体の移動を移動速度ベクトルや移動ベクトル、動作識別などにより、各離散時刻において推定する。外界と内界でそれぞれ観測された移動速度ベクトルの時系列データは、通信手段（たとえば、無線データ通信網を用いる）により一カ所に集められる。そこで、外界観測装置１１が捕捉している一つ以上の移動体の移動速度ベクトルの時系列データと内界観測装置１２が出力した移動速度ベクトルの照合処理（Ａ）が行われ、照合が成功して同一の移動体による移動速度ベクトルの時系列と見なせるとき、TRUE（真）信号を出力し、それ以外のときはFALSE（偽）信号を出力する。
　図２は、本発明による移動体の測位装置の基本的な処理要素の構成を説明するブロック図である。外界観測装置２１は、図１の外界観測装置１１と同様で一つ以上の移動体を検出してその結果を時刻データ付きで出力する装置である。出力データ３０は用いる外界観測装置によって異なり、たとえばカメラを用いた場合では時刻付き映像データであり、Z値センサを用いた場合では時刻付きZ値の集合であり、レーザレンジファインダを用いた場合であれば、時刻付き距離データの集合である。外界観測データ処理装置２４は、出力データ３０に基づいて、移動体を検出し、その移動速度ベクトル又は移動ベクトル、移動体の動作識別結果の時系列データを出力する装置であり、具体的にはメモリやプロセッサ、入出力インターフェースを有するコンピュータである。これは、たとえば、映像解析において形状や色などの特徴量に基づいて対象とする移動体（たとえば人物）を検出する処理によって実現可能である。
　内界観測装置２２は、図１の内界観測装置２１と同様で図１に示すように、移動体に装着されてその運動を計測する装置である。これはたとえば、自蔵センサ（加速度・磁気・角速度・気圧・温度センサの組み合わせ）と時計（リアルタイムクロックなど）によって実現可能である。内界観測データ処理装置２３は、たとえば、移動速度ベクトルを推定する場合、自蔵センサの時刻付き出力に基づいて、（３次元）世界座標系に固定された加速度ベクトルを取得し、その加速度積分によって移動速度ベクトルを推定する装置であり、具体的にはメモリやプロセッサ、入出力インターフェースを有するコンピュータである。また、移動体を歩行者に限定した場合には、PDR（Pedestrian　Dead　Reckoning＝歩行者デッドレコニング）の手法によって、移動速度ベクトルを推定することで、実現可能である。内界観測データ処理装置２３は、装着している移動体の移動速度ベクトル、移動ベクトル又は移動体の動作識別結果の時系列データ（３３）を出力する。
　最後に、照合処理装置２５では、外界観測装置２１に基づいて得られる一つの移動体に関する移動速度ベクトル、移動ベクトル又は移動体の動作識別結果の時系列データ（３１）と、内界観測装置２２に基づいて得られる移動速度ベクトル、移動ベクトル又は移動体の動作識別結果の時系列データ（３３）とを照合し、照合できる場合にはTRUE（真）信号を出力し、それ以外のときFALSE（偽）信号を出力する（３４）。なお、照合処理装置２５も、メモリやプロセッサ、入出力インターフェースなどを備えるコンピュータであり、外界観測データ処理装置や内界観測データ処理装置から受信したデータをプロセッサにより照合処理を行う。
　例えば、移動速度ベクトルの時系列データの照合処理の場合、移動速度ベクトルの時系列データ（３１）と、内界観測装置２２に基づいて得られる移動速度ベクトルの時系列データ（３３）に基づいて、移動速度ベクトルの時系列データ間の距離尺度を事前に定めておき、これが一定の閾値以下になるとき、二つの移動速度ベクトルを照合できると判定し、TRUE（真）信号を出力し、それ以外のときFALSE（偽）信号を出力する（３４）。なお、前述した距離尺度は、二つの時系列データが保持する時刻データに一定のジッタ（時刻差）が存在することを許容するものを選別して用いることとする。
　図３において、監視カメラ１０１が床面に対する配置関係などが既知となるように設置されており、監視カメラ１０１が撮影している映像中には、人がよく通過する通路や広場などが写されている。自蔵センサ１０２は、外部からのインフラ支援なしに動作しうるセンサの集まりであって、たとえば、加速度センサやジャイロセンサ、磁気センサ、気圧センサなどが用いられる。
　ここでは、監視カメラ１０１においては、監視カメラ１０１が設置されている外部環境に対する並進・回転移動パラメータと焦点距離・スケール係数から成るカメラパラメータは、スケールが適正に設定されて作成された環境モデルが存在するとき、次の手順によって求められる。なお、このような環境モデルは、非特許文献３において説明されている方法などを用いて、モデラーアプリケーションプログラム（モデラアプリ）を実行することにより、それを使ってインタラクティブに作成できる。非特許文献３に述べられているように、前述したモデラアプリを用いて、ユーザからの指示に基づいて環境中の消失点を求める手順を行う（具体的には環境中で平行な二組の直線のペアをユーザが選択する）。
　図３においては、自蔵センサ１０２を装着した移動体の歩行者が、監視カメラ１０１の映像中に写り込んで移動していることが検知されて、監視カメラ１０１の映像中の人物と自蔵センサ１０２を装着した歩行者とを照合する処理（Ａ）が行われる。
　図４において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０４は映像解析処理装置、２０５は移動速度ベクトル照合処理装置である。これらの処理要素の構成により、監視カメラの映像と自蔵センサの出力を照合してＴＲＵＥ／ＦＡＬＳＥ信号を出力する。
　監視カメラ２０１が撮影する映像（各時刻のフレーム画像）は映像解析処理装置２０４へ出力され、そこで移動体の人物の像の候補が選別されてその足元の位置が推定されて、その時間微分によって各時刻における移動速度ベクトルが推定され、移動速度ベクトルの出力系列が出力される。なお、監視カメラの代わりに、ステレオカメラによる深度計測装置やレーザレンジファインダを用いてデータを取得し、移動速度ベクトルの推定を行ってもよい。以下、移動体を人物として説明する。
　ここで、２１０は監視カメラの映像の各フレーム画像の情報を表しており、２１１は各フレーム画像を解析した結果の情報を表している。解析結果の情報２１１は、映像中に人物が存在している場合はその人物の足元の床面上の位置座標を表わすデータを出力しており、存在しない場合はそのことを示す信号を表わすデータを出力している。
　一方で、自蔵センサ群２０２の出力データ２１２は、移動速度ベクトル推定処理装置２０３へ出力されて、そこで自蔵センサ群２０２の出力データ（加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧のデータ）に基づいて、各時刻における装着者（人物）の移動速度ベクトルが推定される。
　出力データ２１２は、前述の通り、自蔵センサ群２０２が備えているセンサからのセンサデータの出力である。自蔵センサ群２０２はタイマを持っており、タイマにより取得時のタイムスタンプ情報を有する加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧データが出力される。自蔵センサ群２０２の出力データ２１２のセンサデータに基づく移動速度ベクトルの算出は、たとえば、非特許文献１に説明されている方法によるデータ処理を行って算出される。移動速度ベクトル推定処理装置２０３から出力されるデータ２１３は、自蔵センサ群２０２を装着している移動体（人物）の移動速度ベクトルの出力系列のデータである。
　移動速度ベクトル照合装置２０５は、映像解析処理装置２０４が出力する移動速度ベクトルの出力系列と移動速度ベクトル推定処理装置２０３が出力する移動速度ベクトルの出力系列を一定時間だけ蓄積して比較し、一致するかどうかの判定を行う。この判定のデータ処理は、たとえば、非特許文献４に記載されているように、二つの移動速度ベクトル間の差分ベクトルの大きさの総和を算出し、時間の長さもしくはサンプル数で正規化したうえで、所定の閾値との比較をおこない、その閾値以下であれば照合したものとみなすデータ処理である。
　移動速度ベクトル照合装置２０５から出力される出力データ２１４としては、自蔵センサ群２０２のセンサデータに基づいて、移動速度ベクトル推定処理装置２０３により推定処理された移動速度ベクトルの時系列データと、映像解析処理装置２０４によって、監視カメラ２０１の各フレーム画像の解析処理結果として得られた映像中の人物の足元の位置座標から推定される移動速度ベクトルの二つが照合されて、その結果、照合された場合はＴＲＵＥ（真）を、そうでない場合はＦＡＬＳＥ（偽）を表わす信号が出力される。
　上記の実施例の移動体の測位装置は、移動速度ベクトルの出力系列によって照合の処理を行っているが、この移動速度ベクトルを照合していた部分を、移動ベクトル（すなわち相対位置ベクトル）によって照合の処理を行うこともできる。このような構成の実施例について、次に説明する。
　図５は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図５において、３０１は監視カメラ、３０２は自蔵センサ群、３０３は移動ベクトル推定処理装置、３０４は映像解析処理装置、３０５は移動ベクトル照合処理装置である。監視カメラ３０１は、図４における監視カメラ２０１と同様である。監視カメラ３０１からはフレーム画像信号３１０が出力される。映像解析処理装置３０４は、フレーム画像信号３１０を入力としてフレーム画像の中に人物像（移動体）が存在すると判定されるとき、その人物像の移動ベクトル３１１の出力系列を出力する。
　一方、自蔵センサ群３０２は、図４における自蔵センサ群２０２と同様である。自蔵センサ群３０２からの出力データ３１２は、タイムスタンプが付加された加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧データなどのセンサデータの出力系列である。移動ベクトル推定処理装置３０３では、このような自蔵センサ群３０２から出力データ３１２のセンサデータが入力として与えられたとき、速度ベクトルを積算処理するなどのデータ処理によって、自蔵センサの装着者（移動体）の相対移動ベクトルを推定して出力する。このような移動ベクトルの推定処理については、たとえば、非特許文献１に説明されているように、移動速度を推定したのち、その時間に関する１階積分によって求めるデータ処理を利用することができ、この方法によるデータ処理を用いる。移動ベクトル推定処理装置３０３からは、求めた相対移動速度ベクトルの出力系列の出力データ３１３が出力される。
　移動ベクトル照合処理装置３０５は、映像解析処理によって得られた移動ベクトルの出力データ３１１の時系列データと、センサデータに基づく移動ベクトル推定処理によって得られた相対移動ベクトルの出力データ３１３の時系列データとを照合する。二つの移動ベクトルの時系列データの照合方法としては、二つの移動ベクトル間の差分ベクトルの大きさの総和を算出し、時間の長さもしくはサンプル数で正規化したうえで、所定の閾値との比較を行い、その閾値以下であれば照合したものと判定する照合処理を行う。移動ベクトル照合処理装置３０５は、出力データ３１４として、このような処理によって、照合されたと判定される場合には、ＴＲＵＥ（真）信号を出力し、それ以外の場合には、ＦＡＬＳＥ（偽）信号を出力する。
　ここでの映像解析処理装置３０４の映像解析処理において、監視カメラ３０１の映像中において、人物像が小さく写り込むときはその画像に基づく位置の検出精度は、人物像が大きく写りこむときに比べて下がる。これは、監視カメラの単位画素が床面上に逆投影されるときに、その面積に反比例して信頼度が変化することを意味する。このため、移動ベクトル照合処理装置３０５は、移動ベクトル推定処理装置３０３からの出力系列と映像解析処理装置３０４からの出力系列を照合する場合において、監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行う。
　この場合に、照合の処理においては、単位画素の面積が大きく投影されるほど重み係数を小さくし、単位画素の面積が小さく投影されるほど重み係数を大きくする。このような処理は、図４により説明した移動体の測位装置の実施例においても、同様に行うことができる。すなわち、その場合には、移動速度ベクトル照合処理装置２０５は、移動速度ベクトル推定処理装置２０３からの出力系列と映像解析処理装置２０４からの出力系列を照合する場合において、監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行う。
　図６は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図６記載の実施例は、内界観測装置や外界観測装置による観測データをもとに、内界観測データ処理装置である自蔵ベース動作種別処理装置と、外界観測データ処理装置である映像解析処理装置とが、移動体の動作種別を識別し、識別結果の時系列データを照合処理装置において照合するものである。
　図６において、３２０１は監視カメラ、３２０２は自蔵センサ群、３２０３は自蔵ベース動作種別処理装置、３２０４は映像解析処理装置（動作種別処理装置）、３２０５は動作種別照合処理装置である。監視カメラ３２０１は図２における外界観測装置２１にあたり、監視カメラ２０１や３０１と同様である。監視カメラ３２０１からは時刻付き映像信号３２１０が出力される。映像解析処理装置（動作種別処理装置）３２０４は、映像信号３２１０を入力として、映像の中に存在する移動体（人物等）の動きを解析して、その動作を認識・識別する。人物の動作種別の認識手法としては、HMM（Hidden　Markov　Model）などの画像処理・コンピュータビジョンの手法がいくつか知られており、それを用いることで実現する。また、その移動体の動作種別を識別すると、動作種別の識別結果３２１１を出力する。
　一方、自蔵センサ群３２０２は、図２における内界観測装置２２にあたり、自蔵センサ群２０２、３０２と同様である。自蔵センサ群３２０２からの出力データ３２１２は、タイムスタンプが付加された加速度ベクトル・角速度ベクトル・磁気ベクトル・気圧データ・温度データなどのセンサデータの出力系列である。
　自蔵ベース動作種別処理装置３２０３は、出力データ３２１２に基づいて、装着者の動作種別を識別・認識する。このような動作種別処理装置は、たとえば、自蔵センサ群の出力の一部である加速度ベクトルと角速度ベクトルなどの時系列データの時間領域での特徴量ベクトルと、その時系列データのフーリエ変換により変換された周波数領域での特徴量ベクトルとを算出する。この時間領域と周波数領域の２種類の特徴量ベクトルの組み合わせに対応する動作種別を、計算機を用いて機械学習させる方法により実現可能である。機械学習のフレームワークとしては、AdaBoost（Adaptive　Boosting＝適応的ブースティング）やDP（Dynamic　Programming＝動的計画法）マッチング、SVM（Support　Vector　Machine＝サポートベクタマシン）などがあり、こうしたフレームワークで事前もしくは動的に収集したデータを機械学習した結果を用いて、入力された時系列センサデータを学習済みのモデルや模範データなどと照合することで、入力センサデータに対して特定の識別結果を付与することが可能である。この手法を用いることで、動作種別の識別結果の時系列データを出力（３２１３）することが可能である。
　動作種別照合処理装置３２０５は、図２における照合処理装置２５にあたり、動作種別処理装置３２０４の出力３２１１と、自蔵ベース動作種別処理装置３２０３の出力３２１３に基づいて、二つの動作種別の認識結果の時系列データについて照合する。このとき、時系列動作種別認識結果データ間の距離尺度を定義して、その距離が一定の閾値以下になったときに、二つの時系列データは照合されたものとして、TRUE（真）信号を出力し、それ以外のときにFALSE（偽）信号を出力する（３２１４）。
　図７は、移動速度ベクトル照合処理装置または移動ベクトル照合処理装置が行う照合処理において重み係数を設定する処理フローを説明するフローチャートである。図７を参照して説明する。この処理では、ステップＳ４０１において、監視カメラの映像から人物が存在する床面上の位置を求め、次に、ステップＳ４０２において、監視カメラの単位画素が人物が存在する床面上に投影される面積を求める。そして、次のステップＳ４０３において、求めた面積の大きさに応じて、その位置での重み係数を決定し、ステップＳ４０４において、軌跡上での各点上での重み係数を記憶する。このようにして、重み係数を決定して照合の処理を行う。
　また、本発明の移動体の測位装置においては、個人差パラメータを設定して推定処理におけるデータ処理の精度を向上できるように変形できる。この場合には、監視カメラの映像と自蔵センサの出力が照合されたとき、映像中の人物像の移動速度ベクトルと自蔵センサの出力系列を用いて、自蔵センサを装着した人物の歩行動作を特徴づけるような個人差パラメータを推定するようにして、個人差パラメータを設定する。
　これは、監視カメラの映像中の人物像の移動速度ベクトルもしくは移動ベクトルが、自蔵センサ群に基づくセンサデータに基づいて推定される移動速度ベクトルもしくは移動ベクトルに結び付けられるとき、監視カメラの映像中の人物像の移動速度ベクトルの出力系列と自蔵センサ群のセンサデータの出力系列を結びつけることができる。そこで、非特許文献１にも述べられているように、たとえば、加速度センサの出力を鉛直方向に分解した加速度成分の振幅データと映像中の人物像の移動速度ベクトルの大きさを結びつけ、この人物（すなわち自蔵センサ群の装着者）の個人差パラメータ（ここでは直線を決定する傾きと切片の二つ）を推定する。
　このような実施例について、図８を参照して説明する。図８は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図８において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０４は映像解析処理装置、２０５は移動速度ベクトル照合処理装置である。これらの要素は、図２により説明したものと同様の内容である。ここでは、更に、歩行パラメータ推定処理装置５０５が設けられた構成となっている。
　歩行パラメータ推定処理装置５０５は、自蔵センサ群２０２が出力するセンサデータ５０３と、映像解析処理装置２０４が出力する映像中の人物像の足元の位置の移動速度ベクトル５０１と、更に、移動速度ベクトル照合処理装置２０５が、その照合処理の結果として出力する照合結果（ＴＲＵＥ／ＦＡＬＳＥ）の出力信号５０２とを入力として、歩行パラメータを推定して出力する。推定された歩行パラメータの出力は、移動速度ベクトル推定処理装置２０３に入力されて、移動速度ベクトル推定処理装置２０３が移動速度ベクトルの推定処理を実行する際に利用される。
　すなわち、歩行パラメータ推定処理装置５０５が処理する歩行パラメータの推定の処理は、映像中の人物像の移動速度ベクトルと自蔵センサのセンサデータに基づく移動速度ベクトルが照合されるとき（すなわち５０２の信号がＴＲＵＥ信号であるとき）、自蔵センサデータのセンサデータ５０３とそのときに結び付けられた移動速度ベクトル５０１に基づいて、歩行パラメータ推定処理装置によって、自蔵センサの装着者の歩行動作を特徴づける歩行パラメータを推定し、その歩行パラメータのデータを出力する。出力された個人差を特徴づける歩行パラメータは、前述したように、移動速度ベクトル推定処理装置２０３が移動速度ベクトルの推定処理を実行する際に利用される。
　図８に示す移動体の測位装置に備えられた歩行パラメータ推定処理装置５０５は、移動速度ベクトル照合処理装置２０５が、その照合処理の出力データ２１４として、ＴＲＵＥ（真）信号を出力するとき、照合された移動速度ベクトルの時系列データと自蔵センサのセンサデータ出力系列のペア情報を用いて、移動速度ベクトル推定処理装置２０３における個人差パラメータの歩行パラメータを再設定する。これにより、移動速度ベクトル推定処理装置２０３は設定された個人差パラメータの歩行パラメータに基づいて移動速度ベクトルの出力系列を補正して出力する。
　また、本発明による移動体の測位装置は、監視カメラの映像と自蔵センサの出力が照合されたとき、映像中の人物像に自蔵センサの装着者の識別情報を結びつけて記憶して表示することができるようにも変形できる。このような構成の実施例について、図９を参照して説明する。
　図９は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図９において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０５は移動速度ベクトル照合処理装置である。６０１は装着者識別情報記憶装置、６０４は識別情報記憶・表示装置、６０５は映像解析処理装置である。
　装着者識別情報記憶装置６０１は、自蔵センサ群の装着者の識別情報（個別ＩＤや名前などの情報）を記憶し、出力する装置である。この識別情報の出力６０３は、自蔵センサ群２０２の装着者の識別情報である。ここでの映像解析処理装置６０５は、監視カメラ２０１からの映像を解析して、人物像の足元の位置の移動速度ベクトルを推定して、その出力データ２１１を出力するとともに、その際に、人物像の存在する領域情報の出力データ６０２を出力する。
　領域情報の出力データ６０２は映像中の人物像の領域を表す情報である。また、６０６は監視カメラ２０１からの出力データ２１０から、映像のフレーム画像の出力データ６０６が取り出されて、識別情報記憶・表示装置６０４に入力される。
　識別情報記憶・表示装置６０４は、フレーム画像６０６と、画像中の人物像の領域情報６０２と、自蔵センサ群２０２の装着者の識別情報６０３と、移動速度ベクトル照合処理装置２０５の出力である二つの移動速度ベクトルの照合判定処理の結果であるＴＲＵＥ（真）／ＦＡＬＳＥ（偽）信号２１４とを入力として、照合判定処理の結果の信号がＴＲＵＥ信号であるとき、監視カメラのフレーム画像６０６の領域情報６０２について、装着者の識別情報６０３を結びつけて記憶し、また、フレーム画像中の領域情報が示す画像領域上に、識別情報６０３を表示する。
　これにより、本発明による移動体の測位装置においては、監視カメラの映像中の人物像の移動速度ベクトルもしくは移動ベクトルが、自蔵センサ群に基づくセンサデータに基づいて推定される移動速度ベクトルもしくは移動ベクトルに結び付けられるとき、監視カメラの映像中の人物と自蔵センサ群の装着者の識別情報を結びつけて、これらの情報を表示することができる。
　この実施例の移動体の測位装置においては、移動体を識別する識別情報を記憶して表示する識別情報記憶表示装置６０４が備えられており、識別情報記憶表示装置６０４は、移動速度ベクトル照合処理装置２０５がＴＲＵＥ（真）信号を出力するとき、監視カメラ２０１の映像中の移動体を指し示す情報として、自蔵センサ２０２を装着している移動体の識別情報を記憶して表示し、移動速度ベクトル照合処理装置２０５がＦＡＬＳＥ（偽）信号を出力するとき、監視カメラ２０１の映像中の移動体を指し示す情報として、自蔵センサを装着していないことを示す識別情報を記憶して表示する。
　また、本発明による移動体の測位装置においては、監視カメラの映像中の人物像の移動速度ベクトルもしくは移動ベクトルが、自蔵センサ群に基づくセンサデータに基づいて推定される移動速度ベクトルもしくは移動ベクトルに結び付けられるとき、監視カメラの映像解析によって人物像が存在する位置に、自蔵センサ群の装着者がいることを、一定の確からしさを持って推定することが可能である。
　その場合、監視カメラの映像と自蔵センサの出力が照合されたとき、自蔵センサ群の装着者の位置を映像解析結果の位置に補正されるようにする。ここで利用する位置補正信号は、位置補正信号出力装置７０２により出力される。
　図１０は、本発明の移動体の測位装置の別の実施例の構成を説明するブロック図である。図１０において、２０１は監視カメラ、２０２は自蔵センサ群、２０３は移動速度ベクトル推定処理装置、２０４は映像解析処理装置、２０５は移動速度ベクトル照合処理装置である。これらの要素については、図２により説明した移動体の測位装置の実施例の構成と同様な構成のものである。７０２は位置補正信号出力装置である。
　位置補正信号出力装置７０２は、映像解析処理装置２０４の出力の一つである映像中の人物像の足元の位置情報７０１と移動速度照合処理装置２０５の出力である照合結果の信号（ＴＲＵＥ／ＦＡＬＳＥ信号）２１４を入力として、位置補正信号７０３を出力する。位置補正信号７０３は、映像解析処理装置２０４から出力される映像解析信号７０１に対する補正信号として利用される。位置補正信号出力装置７０２は、移動速度ベクトル照合処理装置２０５がＴＲＵＥ（真）信号を出力するとき、映像解析処理装置２０４から出力される移動体の位置座標を、自蔵センサ群が装着されている移動体の位置として補正する信号として出力される。
　本発明の移動体の測位装置は、移動体に備えられる内界観測装置による位置推定結果を、監視カメラなどの外界観測装置により補正することが可能となるため、より正確に移動体の移動を計測、解析して、推定することできるので、産業上有用である。
　１１　外界観測装置
　１２　内界観測装置
　２１　外界観測装置
　２２　内界観測装置
　２３　内界観測データ処理装置
　２４　外界観測データ処理装置
　２５　照合処理装置
１０１　監視カメラ
１０２　自蔵センサ群
２０１　監視カメラ
２０２　自蔵センサ群
２０３　移動速度ベクトル推定処理装置
２０４　映像解析処理装置
２０５　移動速度ベクトル照合処理装置
３０１　監視カメラ
３０２　自蔵センサ群
３０３　移動ベクトル推定処理装置
３０４　映像解析処理装置
３０５　移動ベクトル照合処理装置
５０５　歩行パラメータ推定処理装置
６０１　装着者識別情報記憶装置
６０４　識別情報記憶・表示装置
６０５　映像解析処理装置
７０２　位置補正信号出力装置
３２０１　監視カメラ
３２０２　自蔵センサ群
３２０３　自蔵ベース動作種別処理装置
３２０４　映像解析処理装置
３２０５　動作種別照合処理装置

Claims (9)

  1. 　移動体に備えられ、移動体の移動を計測して出力する内界観測装置と、
    　前記内界観測装置の出力に基づいて、前記移動体の移動を推定する内界観測データ処理装置と、
    　複数の移動体の移動を観測する外界観測装置と、
    　前記外界観測装置の観測結果から前記移動体の移動を推定する外界観測データ処理装置と、
    　前記内界観測データ処理装置からの出力と前記外界観測データ処理装置とを照合して、照合結果を、ＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する照合処理装置と、
    を備えることを特徴とする移動体の測位装置。
  2. 　請求項１記載の移動体の測位装置であって、
    　前記内界観測装置は、移動体に備えられる加速度センサにより当該移動体の移動速度ベクトルを出力する自蔵センサ群を有し、
    　前記内界観測データ処理装置は、前記自蔵センサ群の出力に基づいて移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力する移動速度ベクトル推定処理装置であり、
    　前記外界観測装置は、外部から移動体を撮影する監視カメラを有し、
    　前記外界観測データ処理装置は、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動速度ベクトルを計測し、計測した時刻と共に移動速度ベクトルの出力系列を出力し、
    　前記照合処理装置は、前記移動速度ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号として出力する移動速度ベクトル照合処理装置である
    ことを特徴とする移動体の測位装置。
  3. 　請求項１記載の移動体の測位装置であって、
    　前記内界観測装置は、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群を有し、
    　前記内界観測データ処理装置は、前記自蔵センサ群の出力に基づいて移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する移動ベクトル推定処理装置であり、
    　前記外界観測装置は、外部から移動体を撮影する監視カメラを有し、
    　前記外界観測データ処理装置は、前記監視カメラの映像を解析して映像中の移動体の足元の位置を計測して、その足元の位置の移動ベクトルを計測し、計測した時刻と共に移動ベクトルの出力系列を出力する映像解析処理装置であり、
    　前記照合処理装置は、前記移動ベクトル推定処理装置の出力系列と前記映像解析処理装置の出力系列を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する移動速度ベクトル照合処理装置である
    ことを特徴とする移動体の測位装置。
  4. 　請求項１記載の移動体の測位装置であって、
    　前記内界観測装置は、移動体に備えられる加速度センサにより移動速度ベクトルの積算による当該移動体の移動ベクトルを出力する自蔵センサ群を有し、
    　前記内界観測データ処理装置は、前記自蔵センサ群の出力に基づいて前記移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する自蔵センサベース動作識別処理装置であり、
    　前記外界観測装置は、外部から移動体を撮影する監視カメラを有し、
    　前記外界観測データ処理装置は、前記監視カメラの映像を解析して映像中の移動体の動作種別を識別し、計測した時刻と共に識別結果を出力する映像解析処理装置であり、
    　前記照合処理装置は、前記自蔵センサベース動作識別処理装置の出力と前記映像解析処理装置の出力を照合して、照合結果をＴＲＵＥ（真）もしくはＦＡＬＳＥ（偽）信号を出力する動作種別照合処理装置である
    ことを特徴とする移動体の測位装置。
  5. 　請求項２または請求項３に記載の移動体の測位装置において、
    　前記照合処理装置は、
    　前記内界観測データ処理装置からの出力系列と前記外界観測データ処理装置からの出力系列を照合する場合において、
    　監視カメラの映像から推定された移動体の足元の位置の床面上に投影される監視カメラの映像の単位画素の面積の大きさに応じて重み係数を決定して照合の処理を行う
    ことを特徴とする移動体の測位装置。
  6. 　請求項５に記載の移動体の測位装置において、
    　照合の処理においては、単位画素の面積が大きく投影されるほど重み係数を小さくし、単位画素の面積が小さく投影されるほど重み係数を大きくする
    ことを特徴とする移動体の測位装置。
  7. 　請求項２または請求項３に記載の移動体の測位装置において、更に、
    　位置補正信号出力装置を備えており、
    　前記位置補正信号出力装置は、
    　前記照合処理装置がＴＲＵＥ（真）信号を出力するとき、前記外界観測データ処理装置から出力される移動体の位置座標を、自蔵センサ群が装着されている移動体の位置として補正する信号を出力する
    ことを特徴とする移動体の測位装置。
  8. 　請求項２または請求項３に記載の移動体の測位装置において、更に、
    　歩行パラメータ推定処理装置を備えており、
    　前記内界観測データ処理装置は予め設定された個人差パラメータに基づいて移動速度ベクトルの出力系列を補正して出力し、
    　前記歩行パラメータ推定処理装置は、
    　前記照合処理装置がＴＲＵＥ（真）信号を出力するとき、
    　照合された移動速度ベクトルの時系列データと前記自蔵センサのセンサデータ出力系列のペア情報を用いて、前記内界観測データ処理装置における個人差パラメータを再設定する
    ことを特徴とする移動体の測位装置。
  9. 　請求項２または請求項３に記載の移動体の測位装置において、更に、
    　移動体を識別する識別情報を記憶して表示する識別情報記憶表示装置を備え、
    　前記識別情報記憶表示装置は、
    　前記照合処理装置がＴＲＵＥ（真）信号を出力するとき、
    　前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着している移動体の識別情報を記憶して表示し、
    　前記照合処理装置がＦＡＬＳＥ（偽）信号を出力するとき、
    　前記監視カメラの映像中の移動体を指し示す情報として、自蔵センサを装着していないことを示す識別情報を記憶して表示する
    ことを特徴とする移動体の測位装置。
PCT/JP2010/071637 2009-12-03 2010-12-03 移動体の測位装置 WO2011068184A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011544301A JPWO2011068184A1 (ja) 2009-12-03 2010-12-03 移動体の測位装置
US13/512,696 US8983124B2 (en) 2009-12-03 2010-12-03 Moving body positioning device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009275754 2009-12-03
JP2009-275754 2009-12-03

Publications (1)

Publication Number Publication Date
WO2011068184A1 true WO2011068184A1 (ja) 2011-06-09

Family

ID=44115030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/071637 WO2011068184A1 (ja) 2009-12-03 2010-12-03 移動体の測位装置

Country Status (3)

Country Link
US (1) US8983124B2 (ja)
JP (2) JPWO2011068184A1 (ja)
WO (1) WO2011068184A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012103169A (ja) * 2010-11-11 2012-05-31 Fujitsu Ltd 移動物特定システム、移動物特定装置および移動物特定プログラム
JP2013251800A (ja) * 2012-06-01 2013-12-12 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2015041194A (ja) * 2013-08-21 2015-03-02 株式会社Ｎｔｔドコモ ユーザ観察システム
JP2015184248A (ja) * 2014-03-26 2015-10-22 大日本印刷株式会社 屋内測位サーバ、屋内測位方法、プログラム、及び、屋内測位システム
JP2017067735A (ja) * 2015-10-02 2017-04-06 株式会社電通国際情報サービス 測位システム
WO2017141375A1 (ja) * 2016-02-17 2017-08-24 三菱電機株式会社 危険予測装置、移動端末及び危険予測方法
JP2017224071A (ja) * 2016-06-14 2017-12-21 株式会社東芝 情報処理装置、および、情報処理方法
JP2018011125A (ja) * 2016-07-11 2018-01-18 カシオ計算機株式会社 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム
WO2018100679A1 (ja) * 2016-11-30 2018-06-07 株式会社オプティム コンピュータシステム、教師データ取引方法及びプログラム
JP2019045178A (ja) * 2017-08-30 2019-03-22 沖電気工業株式会社 情報処理装置、およびプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369677B2 (en) * 2012-11-30 2016-06-14 Qualcomm Technologies International, Ltd. Image assistance for indoor positioning
JP6148505B2 (ja) * 2013-03-21 2017-06-14 株式会社東芝 在室確率推定装置およびその方法、ならびにプログラム
US9984519B2 (en) * 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
JP6705972B2 (ja) 2016-05-20 2020-06-03 サイトセンシング株式会社 姿勢推定装置、姿勢推定方法、制御プログラム、および記録媒体
JP6611257B2 (ja) * 2016-07-19 2019-11-27 日本電信電話株式会社 行動認識装置、および、行動認識方法
JP6577424B2 (ja) * 2016-07-19 2019-09-18 日本電信電話株式会社 行動認識装置、および、行動認識方法
WO2018025531A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6804908B2 (ja) * 2016-09-13 2020-12-23 株式会社東芝 推定装置、推定方法及びコンピュータプログラム
JP6588413B2 (ja) * 2016-10-04 2019-10-09 日本電信電話株式会社 監視装置および監視方法
FR3069317B1 (fr) * 2017-07-21 2020-10-16 Sysnav Procede d'estimation du mouvement d'un objet evoluant dans un environnement et un champ magnetique
WO2019093934A1 (en) * 2017-11-10 2019-05-16 Telefonaktiebolaget Lm Ericsson (Publ) A radio access network node, wireless devices, methods and software for device-to-device communication
CN111542858B (zh) * 2018-01-04 2023-09-08 株式会社索思未来 动态图像解析装置、系统、方法、以及存储介质
JP2019139570A (ja) * 2018-02-13 2019-08-22 株式会社東芝 判別装置、判別方法およびプログラム
JP7078116B2 (ja) * 2018-08-02 2022-05-31 日本電気株式会社 屋内位置推定装置、ユーザー端末、屋内位置推定方法及びプログラム
JP7078117B2 (ja) * 2018-08-02 2022-05-31 日本電気株式会社 屋内位置推定装置、屋内位置推定方法及びプログラム
WO2021075004A1 (ja) * 2019-10-16 2021-04-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11682272B2 (en) * 2020-07-07 2023-06-20 Nvidia Corporation Systems and methods for pedestrian crossing risk assessment and directional warning
CN112598709B (zh) * 2020-12-25 2022-11-01 之江实验室 一种基于视频流的行人运动速度智能感知方法
JP2022112897A (ja) * 2021-01-22 2022-08-03 トヨタ自動車株式会社 情報処理装置及び情報処理方法
CN114533040B (zh) * 2022-01-12 2024-04-09 北京京仪仪器仪表研究总院有限公司 一种固定空间内人员特定活跃度的监测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096501A (ja) * 2002-08-30 2004-03-25 Ntt Advanced Technology Corp 移動体の位置検出システム、移動体の位置検出方法、及びプログラム
JP2004219332A (ja) * 2003-01-16 2004-08-05 National Institute Of Advanced Industrial & Technology 位置情報処理装置
JP2005275912A (ja) * 2004-03-25 2005-10-06 Institute Of Physical & Chemical Research 行動分析方法及びシステム
JP2008016042A (ja) * 2002-03-26 2008-01-24 Toshiba Corp 監視システム、装置および方法
JP2008026272A (ja) * 2006-07-25 2008-02-07 Kddi Corp 自らの位置を検出する移動端末、カメラ及びプログラム
WO2009007917A2 (en) * 2007-07-10 2009-01-15 Koninklijke Philips Electronics N.V. Object motion capturing system and method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892454A (en) * 1993-12-21 1999-04-06 Trimble Navigation Ltd. Hybrid monitoring of location of a site confinee
US5828306A (en) * 1996-04-15 1998-10-27 Curran; Brendan Joseph Location detector and monitor and method of using the same
US6176837B1 (en) * 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
US6474159B1 (en) * 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
US20090231436A1 (en) * 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
JP2008090861A (ja) * 2002-03-26 2008-04-17 Toshiba Corp 監視システム、装置および方法
US7123126B2 (en) * 2002-03-26 2006-10-17 Kabushiki Kaisha Toshiba Method of and computer program product for monitoring person's movements
JP2004005511A (ja) * 2002-03-26 2004-01-08 Toshiba Corp 監視システム、監視方法および監視プログラム
JP2004007496A (ja) * 2002-03-26 2004-01-08 Toshiba Corp 状態検出システム及び状態検出方法、並びに監視方法及び監視システムとコンピュータプログラム
US6873256B2 (en) * 2002-06-21 2005-03-29 Dorothy Lemelson Intelligent building alarm
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
JP2004274101A (ja) * 2003-03-05 2004-09-30 Shigeo Kaneda 移動体識別システム
US7305303B2 (en) * 2004-03-02 2007-12-04 Honeywell International Inc. Personal navigation using terrain-correlation and/or signal-of-opportunity information
JP4431513B2 (ja) * 2005-03-16 2010-03-17 株式会社日立製作所 セキュリティシステム
WO2007044301A2 (en) * 2005-10-04 2007-04-19 Intersense, Inc. Tracking objects with markers
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US20080062120A1 (en) * 2006-09-11 2008-03-13 Lorraine Wheeler Location tracking system
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US20130100268A1 (en) * 2008-05-27 2013-04-25 University Health Network Emergency detection and response system and method
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016042A (ja) * 2002-03-26 2008-01-24 Toshiba Corp 監視システム、装置および方法
JP2004096501A (ja) * 2002-08-30 2004-03-25 Ntt Advanced Technology Corp 移動体の位置検出システム、移動体の位置検出方法、及びプログラム
JP2004219332A (ja) * 2003-01-16 2004-08-05 National Institute Of Advanced Industrial & Technology 位置情報処理装置
JP2005275912A (ja) * 2004-03-25 2005-10-06 Institute Of Physical & Chemical Research 行動分析方法及びシステム
JP2008026272A (ja) * 2006-07-25 2008-02-07 Kddi Corp 自らの位置を検出する移動端末、カメラ及びプログラム
WO2009007917A2 (en) * 2007-07-10 2009-01-15 Koninklijke Philips Electronics N.V. Object motion capturing system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASAKATSU KOUROGI ET AL.: "Indoor positioning system using a self-contained sensor module for pedestrian navigation and its evaluation", MOBILE KENKYU RONBUNSHU, vol. 2008, 3 July 2008 (2008-07-03), pages 151 - 156 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012103169A (ja) * 2010-11-11 2012-05-31 Fujitsu Ltd 移動物特定システム、移動物特定装置および移動物特定プログラム
JP2013251800A (ja) * 2012-06-01 2013-12-12 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2015041194A (ja) * 2013-08-21 2015-03-02 株式会社Ｎｔｔドコモ ユーザ観察システム
JP2015184248A (ja) * 2014-03-26 2015-10-22 大日本印刷株式会社 屋内測位サーバ、屋内測位方法、プログラム、及び、屋内測位システム
JP2017067735A (ja) * 2015-10-02 2017-04-06 株式会社電通国際情報サービス 測位システム
WO2017141375A1 (ja) * 2016-02-17 2017-08-24 三菱電機株式会社 危険予測装置、移動端末及び危険予測方法
JP2017224071A (ja) * 2016-06-14 2017-12-21 株式会社東芝 情報処理装置、および、情報処理方法
JP2018011125A (ja) * 2016-07-11 2018-01-18 カシオ計算機株式会社 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム
WO2018100679A1 (ja) * 2016-11-30 2018-06-07 株式会社オプティム コンピュータシステム、教師データ取引方法及びプログラム
JPWO2018100679A1 (ja) * 2016-11-30 2019-02-28 株式会社オプティム コンピュータシステム、教師データ取引方法及びプログラム
JP2019045178A (ja) * 2017-08-30 2019-03-22 沖電気工業株式会社 情報処理装置、およびプログラム

Also Published As

Publication number Publication date
JP2016001875A (ja) 2016-01-07
US20120237086A1 (en) 2012-09-20
US8983124B2 (en) 2015-03-17
JPWO2011068184A1 (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
WO2011068184A1 (ja) 移動体の測位装置
Elloumi et al. Indoor pedestrian localization with a smartphone: A comparison of inertial and vision-based methods
US20160061582A1 (en) Scale estimating method using smart device and gravity data
US9465979B2 (en) Measurement-target-selecting device, face-shape-estimating device, method for selecting measurement target, and method for estimating face shape
Kneip et al. Closed-form solution for absolute scale velocity determination combining inertial measurements and a single feature correspondence
US10830606B2 (en) System and method for detecting non-meaningful motion
TW201425971A (zh) 圖資校正裝置、系統和方法
US20160034817A1 (en) Method and apparatus for categorizing device use case
JP5742794B2 (ja) 慣性航法装置及びプログラム
US11113894B1 (en) Systems and methods for GPS-based and sensor-based relocalization
JP4845068B2 (ja) デッドレコニング装置
CN108256563B (zh) 基于距离度量的视觉词典闭环检测方法与装置
JP3968429B2 (ja) 位置情報処理装置
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
JP6698430B2 (ja) 測定装置、測定方法およびプログラム
JP4714853B2 (ja) デッドレコニング装置
He et al. WiFi based indoor localization with adaptive motion model using smartphone motion sensors
JP7098972B2 (ja) 行動認識装置、行動認識システム、行動認識方法およびプログラム
Hnatiuc et al. Path recognition using mobile phone
WO2019087581A1 (ja) 情報処理装置と情報処理方法およびプログラム
Jiang et al. Combining passive visual cameras and active imu sensors to track cooperative people
Yuan et al. Visual Heading aided Pedestrian Navigation Method Based on Factor Graph in Indoor Environment
KR101376536B1 (ko) 센서 융합을 이용한 모바일 객체의 위치 인식방법 및 그 장치
Wang et al. Posture recognition and adaptive step detection based on hand-held terminal
JP7309097B2 (ja) 位置検知装置、位置検知方法、及び位置検知プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10834634

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13512696

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011544301

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10834634

Country of ref document: EP

Kind code of ref document: A1