WO2011101945A1 - 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム - Google Patents

物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム Download PDF

Info

Publication number
WO2011101945A1
WO2011101945A1 PCT/JP2010/007469 JP2010007469W WO2011101945A1 WO 2011101945 A1 WO2011101945 A1 WO 2011101945A1 JP 2010007469 W JP2010007469 W JP 2010007469W WO 2011101945 A1 WO2011101945 A1 WO 2011101945A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
estimated
correction
gravity
center
Prior art date
Application number
PCT/JP2010/007469
Other languages
English (en)
French (fr)
Inventor
徹 谷川
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2010800234023A priority Critical patent/CN102449427A/zh
Priority to JP2011539579A priority patent/JP4875228B2/ja
Publication of WO2011101945A1 publication Critical patent/WO2011101945A1/ja
Priority to US13/238,030 priority patent/US8401234B2/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements

Definitions

  • the present invention relates to an object position correction apparatus, an object position correction method, and an object position correction program for displaying the position of an observation target by a user.
  • a camera may be used as a sensor that can detect the position of an object.
  • the camera ID identification accuracy of the object cannot be 100% (to identify the object ID from the image characteristics (shape or color) obtained from the camera). Even if the identification result through the camera is the object A, there is a possibility that an object other than the object A (object B, object C) was actually identified. In such a case, for example, the object identified by the camera can be expressed as 80% probability of being object A, 10% probability of being object B, and 10% probability of being object C. . Furthermore, the identification rate of objects with similar image characteristics is low. For example, it is difficult to identify objects having similar colors or shapes such as tomatoes and apples with high accuracy. In addition, although there are some differences depending on the performance or arrangement of the camera, the observation position (positioning result) usually includes a certain amount of error. The identification ID and the observation position of this article are collectively called an observation value.
  • Non-Patent Document 1 There is a technology for probabilistically estimating the position of an object in the framework of Bayesian estimation while integrating a plurality of observation values of such an object identification ID or a sensor whose observation position is ambiguous while compensating for a lack of observation accuracy.
  • Non-Patent Document 1 since even a small probability (in the case of the above example, the probability that the object identified by the camera is the object B) is used for the object position estimation process, the estimation result is another sensor observation value. Will be affected. An example is shown in FIG. As a result of object identification, the observed value 1 has a probability of being an object A of 90% and a probability of being an object B of 10%. As for the observed value 2, as a result of object identification, the probability of being an object A was 10%, and the probability of being an object B was 90%. When position estimation is performed in such an observation situation, the estimated position of the object A is slightly affected by the observation value 2, and is located at a position slightly shifted from the position of the observation value 1 in the direction of the observation value 2.
  • an estimated position (for example, an average value in a Gaussian distribution) due to the positional deviation may be a position that is visually uncomfortable for the user. For example, if the observation target is a car, the estimated position of the vehicle is not on the road, and if the observation target is a person, the estimated position of the person is on the table.
  • Patent Document 1 As a technique for correcting such a deviation of the estimated position, there is a technique using map matching (Patent Document 1). Since the vehicle position information acquired by GPS (Global Positioning System) contains errors, the information presented to the user is displayed using map matching technology based on the output from the accelerator sensor, brake sensor, and turn signal sensor. It can be changed flexibly.
  • GPS Global Positioning System
  • Hirofumi Kanazaki Takehisa Yairi, Kazuo Machida, Kenji Kondo, Yoshihiko Matsusukawa, “Varial ApproximationDataFacialEsociationDataFacialIssociAssociationDataFacialIssemoAssociationDataFacialIssemoAssociationDataAssociationDataFacialIssociAssociationDataFacialEssociAssociationDataFacialEssociAssociationEffect
  • Patent Document 1 it is necessary to create a map for map matching in advance.
  • an object of the present invention is to correct an estimated position of an observation target to a position that does not cause a sense of incongruity for the user without creating a map in which environment information is recorded in advance, and an object position correction A method and an object position correction program are provided.
  • the present invention is configured as follows.
  • (1) ID likelihood, (2) observation position of each object obtained by observing a plurality of objects existing in the environment with an observation device, and at the previous observation time Represents the existence probability at the position of each object created based on the estimation result of the ID and position of each object obtained based on the acquired ID likelihood and observation position of each object (3)
  • An object position estimation unit that estimates an ID and a position of the object based on a predicted distribution to obtain an estimated position of the object; Centroid position calculating means for calculating the centroid position of the observation position;
  • Object position correcting means for correcting the estimated position of the object based on the distance and direction from the center of gravity position calculated by the center of gravity position calculating means;
  • An object position correcting apparatus is provided.
  • (1) ID likelihood, (2) observation position, and object position estimation of each object obtained by observing a plurality of objects existing in the environment with an observation device Present in the position of each object created based on the estimation result of the ID and position of each object obtained based on the ID likelihood and observation position of each object acquired during the previous observation Based on (3) the predicted distribution representing the probability, the ID and position of the object are estimated to obtain the estimated position of the object,
  • the gravity center position of the observation position is calculated by the gravity center position calculation means,
  • an object position correction method in which an estimated position of the object is corrected by an object position correction means based on a distance and a direction from the gravity center position calculated by the gravity center position calculation means.
  • a computer (1) ID likelihood and (2) observation position of each object acquired by observing a plurality of objects existing in the environment with an observation device, and the object position estimation unit acquired at the time of previous observation (3) Predictive distribution that represents the existence probability at the position of each object created based on the estimation result of the ID and position of each object obtained based on the ID likelihood and observation position of each object
  • a function for estimating an ID and position of the object based on the estimated position of the object A function of calculating the centroid position of the observation position by the centroid position calculating means;
  • An object position correction program for realizing the above is provided.
  • the estimated position of the object can be corrected based on the positional relationship of the observed positions of the object detected by the observation apparatus. Therefore, it is possible to correct the object position estimation result to a position that does not make the user feel uncomfortable without using a map in which environment information is recorded.
  • FIG. 1 is a block diagram showing a configuration of an object position correcting apparatus according to the first embodiment of the present invention.
  • FIG. 2A is a diagram for explaining an observation situation in a room as a living space that is an environment where an observation target exists in the object position correction apparatus according to the first embodiment of the present invention;
  • FIG. 2B is a block diagram illustrating a configuration of a camera that is an example of an observation device of the object position correction device according to the first embodiment;
  • FIG. 1 is a block diagram showing a configuration of an object position correcting apparatus according to the first embodiment of the present invention.
  • FIG. 2A is a diagram for explaining an observation situation in a room as a living space that is an environment where an observation target exists in the object position correction apparatus according to the first embodiment of the present invention
  • FIG. 2B is a block diagram illustrating a configuration of a camera that is an example of an observation device of the object position correction device according to the first embodiment;
  • FIG. 1 is a block diagram showing a configuration of an object
  • FIG. 3 is a diagram showing an example of the estimation history of the object position estimation means recorded in the position estimation history database of the object position correction apparatus according to the first embodiment of the present invention
  • FIG. 4 is a diagram showing a simple example of calculating the centroid position of the observed value by the centroid position calculating means in the object position correcting apparatus according to the first embodiment of the present invention
  • FIG. 5 shows an outline of the correction of the estimated position of the article by the object position correction unit based on the barycentric position calculated by the barycentric position calculation unit in the object position correction device according to the first embodiment of the present invention.
  • FIG. 5 shows an outline of the correction of the estimated position of the article by the object position correction unit based on the barycentric position calculated by the barycentric position calculation unit in the object position correction device according to the first embodiment of the present invention.
  • FIG. 5 shows an outline of the correction of the estimated position of the article by the object position correction unit based on the barycentric position calculated by the barycentric position calculation unit in the object position correction device according to
  • FIG. 6 is a diagram illustrating a state in which the estimated position (average position of the distribution) of the object is corrected based on the distance and the direction calculated in FIG. 12 in the object position correction apparatus according to the first embodiment of the present invention.
  • FIG. 7 is a flowchart showing the overall processing of the object position correcting apparatus according to the first embodiment of the present invention
  • FIG. 8 is a diagram illustrating an example of object template data recorded in the observation device of the object position correction device according to the first embodiment of the present invention
  • FIG. 9 is a diagram showing an example (sensor model related to ID) of an ID likelihood conversion table of the object position correction apparatus according to the first embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of an observation history of an article by a camera recorded in an observation history database of the object position correction apparatus according to the first embodiment of the present invention
  • FIG. 11 shows an observed value obtained at time 12:00:03 and an estimated position of each article obtained at time 12:00:02 in the object position correcting apparatus according to the first embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an operation example of the Kalman filter
  • FIG. 13 is a diagram illustrating an example of an object position estimation situation in the object position correction apparatus according to the first embodiment of the present invention
  • FIG. 14 is a diagram illustrating an example of the result of clustering in the object position correction apparatus according to the first embodiment of the present invention.
  • FIG. 15 is a graph showing an example of the result of the object position estimating means in the object position correcting apparatus according to the first embodiment of the present invention
  • FIG. 16 is a graph showing an example of the result of the object position correcting unit in the object position correcting apparatus according to the first embodiment of the present invention
  • FIG. 17 shows the true positions of the movement trajectories of the object (1, 1) and the object (1, 2) in the object position correcting apparatus according to the first embodiment of the present invention. It is a figure showing an example when the true position of each object is not known
  • FIG. 18 is a view showing a display example of the estimated position and the corrected position of the object shown in FIGS. 15 and 16 in the object position correcting apparatus according to the first embodiment of the present invention.
  • FIG. 19 is a diagram illustrating an object position estimation situation in the prior art
  • FIG. 20 is a diagram illustrating an observation state in a room as a living space, which is an environment in which a plurality of persons exist, as another example of an observation target in the object position correction apparatus according to the first embodiment of the present invention. .
  • (1) ID likelihood, (2) observation position of each object obtained by observing a plurality of objects existing in the environment with an observation device, and at the previous observation time Represents the existence probability at the position of each object created based on the estimation result of the ID and position of each object obtained based on the acquired ID likelihood and observation position of each object (3)
  • An object position estimation unit that estimates an ID and a position of the object based on a predicted distribution to obtain an estimated position of the object; Centroid position calculating means for calculating the centroid position of the observation position;
  • Object position correcting means for correcting the estimated position of the object based on the distance and direction from the center of gravity position calculated by the center of gravity position calculating means;
  • An object position correcting apparatus is provided.
  • the object position correction means calculates the estimated position of the object by a correction distance calculated by weighting the distance from the gravity center position to the estimated position of the object.
  • the object position correction device according to the first aspect is provided, wherein the object position is moved from the position of the center of gravity to a direction relative to the estimated position of the object.
  • the object position correcting means further includes an estimated position of the object by a distance obtained by adding a value obtained by weighting the number of observation values output by the observation device to the correction distance.
  • the object position correction apparatus according to the second aspect is provided in which the position of the center of gravity is moved in a direction with respect to the estimated position of the object.
  • the object position correcting means determines the weighting ratio for obtaining the correction distance based on the ID identification performance of the observation device.
  • a correction device is provided.
  • the object position correction unit determines a weighting ratio for obtaining a correction distance based on a width of a sensing area of the observation device.
  • An object position correction apparatus is provided.
  • the object position estimation unit includes: An object position estimation history database that records the estimation result of the ID and position of the object; Prediction distribution creating means for creating the prediction distribution representing the existence probability at the position of the object based on the estimation result of the ID and the position of the object;
  • An object position correcting apparatus comprising: an object position estimating unit that estimates an ID and a position of the object based on the predicted distribution, the ID likelihood, and the observation position.
  • the observation apparatus further includes the observation device that detects the plurality of objects existing in the environment and acquires the ID likelihood and the observation position of each object.
  • An object position correcting apparatus according to the sixth aspect is provided.
  • the object position correcting apparatus according to any one of the first to seventh aspects, further comprising display means for displaying a result of the object ID and the corrected position. .
  • the centroid position calculating means calculates a centroid position for each cluster of observation positions clustered based on the position.
  • the object position correction apparatus described in 1. is provided.
  • the object position correcting means further corrects the estimated position of the object based on the number of observation positions used by the gravity center position calculating means.
  • the display means displays the correction result of the object position correction means in an overlay display on the estimation result of the object position estimation means.
  • a correction device is provided.
  • (1) ID likelihood, (2) observation position, and object position estimation of each object obtained by observing a plurality of objects existing in the environment with an observation device Present in the position of each object created based on the estimation result of the ID and position of each object obtained based on the ID likelihood and observation position of each object acquired during the previous observation Based on (3) the predicted distribution representing the probability, the ID and position of the object are estimated to obtain the estimated position of the object,
  • the gravity center position of the observation position is calculated by the gravity center position calculation means,
  • an object position correction method in which an estimated position of the object is corrected by an object position correction means based on a distance and a direction from the gravity center position calculated by the gravity center position calculation means.
  • a computer (1) ID likelihood and (2) observation position of each object acquired by observing a plurality of objects existing in the environment with an observation device, and the object position estimation unit acquired at the time of previous observation (3) Predictive distribution that represents the existence probability at the position of each object created based on the estimation result of the ID and position of each object obtained based on the ID likelihood and observation position of each object
  • a function for estimating an ID and position of the object based on the estimated position of the object A function of calculating the centroid position of the observation position by the centroid position calculating means;
  • An object position correction program for realizing the above is provided.
  • FIG. 1 is a diagram showing a configuration of an object position correcting apparatus according to the first embodiment of the present invention.
  • the object position correction apparatus includes an observation apparatus 101, an observation history database 102, a position estimation history database 103, a predicted distribution creation means 104, an object position estimation means 105, and a gravity center position calculation. Means 106, object position correcting means 107, and display means 108 are provided.
  • the position estimation history database 103, the predicted distribution creation means 104, and the object position estimation means 105 may be configured as a single object position estimation unit 120.
  • FIG. 2A shows a room 201 as a specific example of a closed environment.
  • the room 201 includes one or a plurality of cameras 202 as an example of the observation apparatus 101 that is a component of the object position correction apparatus according to the first embodiment of the present invention.
  • One camera 202 is installed near the center of the ceiling of the room 201.
  • the number of cameras 202 is not limited to one, and a plurality of cameras 202 may be installed.
  • the article 203A, the article 203B, the article 203C, the article 203D, and the article 203E exist on a floor or a table as an example of an object to be observed.
  • Each article has an ID as unique identification information.
  • the article 203A is a plastic bottle
  • the article 203B is a wallet
  • the article 203C is a book
  • the article 203D is a mobile phone
  • the article 203E is a watch.
  • the camera 202 as an example of the observation apparatus 101 observes the inside of the room 201 and detects an article 203 existing in the room 201. That is, as will be described later, the camera 202 detects the article 203 by performing image processing on image data acquired by imaging the room 201 using a background subtraction method or the like.
  • an observation ID (a unique ID attached to each data or information every time data or information is obtained by observing with the camera 202, is an ID for distinguishing from other observation data or information.
  • the identification ID of the detected article 203, and the observation position are acquired and recorded in the observation history database 102.
  • the identification ID can be converted into an ID likelihood according to the ID likelihood conversion table.
  • the ID likelihood is a probabilistic representation of which ID (article) the detected object (in the present embodiment, the article 203) is likely to be.
  • the ID identification accuracy of the object of the camera 202 cannot be 100%.
  • the ID likelihood has a probability of being an object A of 0.8, a probability of being an object B is 0.1, and a probability of being an object C is 0.1. Probabilities are assigned to all objects that are present (or that may be present in the room 201). This is an example of determining the ID likelihood, and the present invention is not limited to this.
  • an observation ID is an object identification result of the object detected by the observation apparatus 101.
  • Each observation device 101 for example, the camera 202 is provided with a timer for acquiring information on the observation period and time, and the time when the article 203 is detected can be output from the camera 202.
  • the average value and variance-covariance matrix of the article 203 which is the output result of the object position estimation unit 105, and the final time when the observation value used by the object position estimation unit 105 is obtained are recorded. ing.
  • FIG. 3 shows an example of the position estimation history database 103.
  • an article with an article identification ID Obj001 is at time 2008/09 / 02_12: 00: 01
  • the predicted distribution creating means 104 estimates the probability density distribution of the position of the article 203 based on the past estimated position of the article 203 recorded in the position estimation history database 103 and sends the result to the object position estimating means 105. Output.
  • the position of the article 203 for which the probability density distribution is estimated by the predicted distribution creating means 104 is the position at the time when the observation value used by the object position estimating means 105 for estimating the position of the article 203 is obtained. Normally, the object position estimated using the previous observation value (latest estimated position) should be used, but the object position estimated using the previous observation value (latest estimated position) is earlier. It can also be estimated using the old estimated position.
  • the object position estimating means 105 estimates the ID likelihood and the observed position of the detected article 203 based on the information recorded in the observation history database 102, and the position of the article 203 based on the predicted distribution.
  • the object position estimation unit 105 includes an association unit 109 that calculates an association value.
  • the observation value of the observation device 101 such as the camera 202 and the predicted position (prediction distribution) of the object at the time when the observation device 101 observed the object are required.
  • moving the predicted position in the direction of the observed value based on the likelihood information can be said to be object position estimation processing.
  • the predicted position is calculated based on the estimated position of the object at the time when the observation apparatus 101 observed the object last time.
  • the association value is a value representing an association between an observed value (information on ID likelihood and observed position) and an actual object.
  • the ID likelihood and the observation position of the object received from the observation history database 102 are values representing the ID obtained by detecting the object of which ID.
  • the ID likelihood and the observation position of the object described above are values representing the certainty that each observation value is an observation value obtained by observing an object, and the association value is the ID likelihood. And the position likelihood.
  • the position likelihood is a value calculated based on the distance between the observed position and the average position of the predicted distribution.
  • the position likelihood increases as the distance decreases, and conversely, the position likelihood increases as the distance increases. Lower.
  • the position likelihood may be obtained based on the Mahalanobis distance considering the position error characteristic of the observation apparatus 101 and the variance-covariance matrix of the predicted distribution. Also in this case, the position likelihood increases as the Mahalanobis distance is short, and conversely, the position likelihood decreases as the Mahalanobis distance is long.
  • the gravity center position calculation means 106 calculates the gravity center position of the observation value based on the information recorded in the observation history database 102.
  • the observation value used to calculate the position of the center of gravity is only the observation value used by the object position estimation unit 105 to estimate the position of the article 203 last time. It is assumed that the information regarding the observed value used by the gravity center position calculating unit 106 is obtained from the object position estimating unit 105.
  • the object position correcting means 107 corrects the estimated position of the article 203 based on the center of gravity position calculated by the gravity center position calculating means 106 and the estimated position of the article 203 from the object position estimating means 105.
  • the corrected estimated position of the object A is CEP A
  • the corrected estimated position of the object B is CEP B.
  • the estimated position of the object B whose estimated position is the same as the center of gravity position is not corrected. More detailed contents will be described later.
  • the display unit 108 is configured by a monitor or the like that presents the estimated position corrected by the object position correcting unit 107 to the user.
  • FIG. 7 is a flowchart showing the overall processing of the object position correcting apparatus according to the first embodiment of the present invention. Hereinafter, the detailed operation of the object position correcting apparatus will be described with reference to the flowchart of FIG.
  • step S301 the interior of the room 201 is observed with the camera 202, and processing for detecting the article 203 from the image captured by the camera 202 is performed. Specific examples are described below.
  • a background difference method can be used.
  • the image is captured in advance by the imaging unit 202 a of the camera 202 and stored in the internal storage unit 202 b built in the camera 202.
  • the background image data of the room 201 when the article 203 does not exist is compared with the current image data captured by the camera 202 by the image processing unit 202 c built in the camera 202.
  • an area with different pixel values is extracted as a difference area by the image processing unit 202c. This difference area corresponds to the detected article 203.
  • the difference area is not the article 203.
  • the determination may be made by the image processing unit 202c.
  • the case where the difference area is sufficiently small with respect to the article 203 may be a case where the number of pixels in the difference area is equal to or less than a threshold set in advance based on the minimum number of pixels that can be recognized as the article 203.
  • the image processing unit 202c determines that the difference area is the detected article 203.
  • the detected observation position of the article 203 can be, for example, the barycentric position of the difference area.
  • the image processing unit 202c can identify the ID of the article detected by the camera 202. It is assumed that the template image for matching is recorded in advance in the internal storage unit 202b of the camera 202.
  • FIG. 8 shows an example of image data of the article template recorded in the internal storage unit 202b of the camera 202.
  • the information recorded in the internal storage unit 202b of the camera 202 is a template image for each of the object identification IDs Obj001 to Obj005 and the five objects whose object identification IDs are Obj001 to Obj005. If ID identification of an object is performed, ID likelihood will next be determined according to an ID likelihood conversion table.
  • the object identification ID is an ID number that can uniquely identify the object.
  • FIG. 9 shows an example of the ID likelihood conversion table.
  • the probability that the object detected by the camera 202 is the object identification ID of Obj001 is 0.80.
  • the probability that the object detected by the camera 202 is the object identification ID of Obj002 is 0.05
  • the probability that the object identification ID of Obj003 is 0.10
  • the probability that the object identification ID of Obj004 is 0.03
  • Obj005 The probability of being an object identification ID is 0.02. It is assumed that the ID likelihood conversion table is also recorded in the internal storage unit 202b of the camera 202.
  • the ID likelihood conversion table performs ID identification in advance by, for example, imaging the objects Obj001 to Obj005 with the imaging unit 202a of the camera 202 a plurality of times while changing the posture, based on the tendency of the ID identification error. create.
  • observation cycle of the camera 202 is 1 second as an example.
  • the observation period of the camera 202 is not limited to 1 second, and may be a predetermined period.
  • step S302 the process in which the image processing unit 202c of the camera 202 obtains the barycentric position of the background difference area and the process of obtaining the ID likelihood by performing ID identification of the article 203 by the template matching are shown in the flowchart of FIG. This corresponds to the processing in step S302.
  • step S303 the image processing unit 202c of the camera 202 performs a process of recording the observation position and ID likelihood of the article 203 detected by the camera 202 in the observation history database 102.
  • FIG. 10 shows an example of the observation history database 102.
  • the time when the camera 202 detects the article 203, the observation position, the identification ID of the article, and the observation ID can be recorded by the camera 202 in the observation history database 102 of FIG.
  • an object other than the article 203 such as a wall or a column
  • step S304 the predicted distribution creating means 104 creates a predicted distribution of the article 203 based on the estimated position of the article 203 recorded in the position estimation history database 103. Specific examples are described below.
  • the predicted distribution is the position estimation history. It may be the same as the Gaussian distribution recorded in the database 103.
  • an object for position estimation such as a car, an airplane, or a robot
  • a predicted distribution is created based on the equation of motion of the object. For example, assume that a toy car is moving in the + X direction at a speed of 30 cm per second in the room 201.
  • the estimated position recorded in the position estimation history database 103 is
  • the predicted distribution is a position (130, 450) in which the average position of the object is moved 30 cm in the + X direction, and the variance-covariance matrix is
  • the moving direction or speed of the position estimation target object is unknown (such as a human or animal) (the equation of motion is unknown)
  • the equation of motion is unknown
  • the prediction distribution can be created by the prediction distribution creation means 104.
  • the predicted distribution creating means 104 randomly determines the average value of the predicted distribution.
  • the dispersion is preferably set so that the distance of 1 ⁇ becomes the distance of one side of the cubic room 201.
  • step S 305 the object position estimation unit 105 performs object position estimation processing based on the observation value of the camera 202 and the predicted distribution.
  • the association means 109 When the object ID likelihood and the observation position are received from the observation history database 102, the association means 109 first calculates an association value.
  • the position of the article 203 is estimated by the association means 109 using the association value. Specifically, it is possible to estimate the position of the article 203 (update the estimated position from the previous estimated position) using a Bayesian estimation framework represented by the Kalman filter or the like. The position is updated based on the detected ID likelihood and position likelihood of the article 203. At this time, the position of the article 203 is updated using only the observed value whose association value exceeds the threshold value. Although it is necessary to set the threshold value in advance, it is necessary to estimate the threshold value from a preliminary experiment or the like. As a tendency, it is desirable to set a low threshold value when it is easy to cause an identification error due to image processing.
  • identification errors are likely to occur means that the ID likelihood of the detected object is small, and the association value tends to be small.
  • all the observed values may be used regardless of the magnitude of the association value, but in this case, it is desirable to weight the update amount of the position of the article 203 with the association value. That is, the update amount of the position of the object increases as the association value increases. This means that the contribution rate to the position update of observation data that is likely to be observation data of a certain object is increased.
  • FIG. 11 shows an example of the observed value obtained at time 12:00:03 and the estimated position of each article obtained at time 12:00:02.
  • the association value of the observation value OBS013 is 0.032
  • the other observations The value association value is less than 0.001.
  • the Kalman filter is an assumption that noise is included in both the information of the state of the object position correction device (for example, the position of the object in the first embodiment of the present invention) and the observation data (observation information) of the observation device 101. Based on the above, the state of the likely object position correcting apparatus is estimated.
  • FIG. 12 shows an example in which a Kalman filter is used for object position estimation processing.
  • the vertical axis represents the probability, and the horizontal axis represents the position of the object.
  • the observation apparatus 101 can obtain the observed value 903 obtained by (Expression 2).
  • A represents a motion model of an object
  • x represents an object position
  • v represents process noise generated during movement
  • y represents an observation value
  • H represents an observation model that associates the object position x with the observation value y
  • w represents observation noise
  • t represents time.
  • N (0, Q) represents a Gaussian distribution with an average of 0 and a variance of Q.
  • N (0, R) similarly represents a Gaussian distribution with an average of 0 and a variance of R.
  • the prior probability distribution 901 (hereinafter referred to as “prior distribution”) relating to the position of the currently obtained object is updated by the object position estimation means 105, and the predicted probability distribution 902 (hereinafter “ This is referred to as “predictive distribution”.
  • the average (position) of the prediction distribution 902 can be obtained by the object position estimation unit 105 using (Equation 5), and the variance of the prediction distribution 902 can be obtained by the object position estimation unit 105 using (Expression 6).
  • b represents an estimated value of X at time a based on the information at time b.
  • t ⁇ 1 ” in (Expression 5) represents an estimated value of the object position x at time t based on the information at time t ⁇ 1
  • P represents the distribution of the distribution.
  • the posterior distribution 904 is obtained by the object position estimating means 105 from the observed value 903 and the predicted distribution 902.
  • the average (position) of the posterior distribution can be obtained by the object position estimating means 105 in (Expression 7), and the dispersion of the posterior distribution can be obtained in the object position estimating means 105 in (Expression 8).
  • K is a value called Kalman gain, and is obtained by (Equation 9).
  • the Kalman gain is a value that determines the update amount. When the accuracy of the observed value is good (dispersion R is very small), the value of the Kalman gain increases to increase the update amount. On the contrary, when the accuracy of the prior distribution is good (the variance P is very small), the value of the Kalman gain is small in order to reduce the update amount.
  • FIG. 13 shows an example of the estimation result of the object position estimation means 105.
  • FIG. 13 shows the result of object position estimation using observation values at time 2008/1502 — 12:00:03. Comparing FIG. 13 and FIG. 10, the estimated position of the object is not estimated at the same position as the observation position of the camera 202.
  • Equation 9 When weighting the update amount of the position of the article 203 with the association value, (Equation 9) may be replaced with (Equation 10).
  • D represents an association value for the article 203.
  • the weighting information based on the association value is output from the association unit 109 to the object position estimation unit 105.
  • the position of the article 203 in the position estimation history database 103 is updated by the object position estimation means 105.
  • step S306 the center-of-gravity position calculation unit 106 obtains the center-of-gravity position of the observation value used by the object position estimation unit 105.
  • the gravity center position of the observation value is calculated by the gravity center position calculation means 106.
  • the observation value for calculating the center-of-gravity position is only the observation value used by the object position estimation means 105. It is assumed that the information regarding the observed value used by the gravity center position calculating unit 106 is obtained from the object position estimating unit 105. That is, when the estimation result of the object position estimation means 105 shown in FIG. 13 is corrected, the observation values used to obtain the center of gravity position are the five observations observed at time 2008/03/02 — 12:00:03. This is a value (OBS011 to OBS015).
  • the estimated position is affected by the observation values in the vicinity thereof, but the influence is not constant and is related to the magnitude of the association value.
  • the association value is related to the size of the position likelihood. That is, there is a high possibility that the estimated position is affected by an observation value that is present closer. Therefore, the centroid position calculation means 106 may cluster the observation values with respect to the position, and obtain the centroid position among the clustered observation values. Then, the estimated position, which will be described later, may be corrected using the position of the center of gravity that is closest to each estimated position.
  • a clustering method for example, a k-means method can be used.
  • an arbitrary number for example, two
  • the number of representative values can be, for example, the number of places where an object is likely to stay.
  • the distance to each representative value is measured. It is assumed that the representative value with the shortest distance is the cluster to which the observed value belongs.
  • the center of gravity of each cluster is set as a new representative value, and the distance to each representative value is measured for all observed values. It is assumed that the representative value with the shortest distance is the cluster to which the observed value belongs.
  • the creation and assignment of the representative value is repeated, and the process ends when there is no change in the cluster to which each observation value belongs. All of these processes are performed by the gravity center position calculation means 106.
  • FIG. 14 shows an example of the clustering result.
  • the number of representative values can be determined as 2 in advance.
  • OBS011, OBS012, and OBS013 are observed values belonging to cluster A (area 1902 in FIG. 14)
  • OBS014 and OBS015 are cluster B ( It is shown that the observed value belongs to the region 1903 in FIG.
  • step S307 the object position correcting unit 107 corrects the estimated position of the article 203 based on the number of observation values and the positional relationship.
  • the direction from the position of the center of gravity to the estimated position is determined by the object position correcting means 107 as the direction to be corrected.
  • the direction in which the estimated position of the object Obj004 is corrected is
  • the distance to be corrected is determined by the object position correction means 107 based on the distance from the center of gravity position to the estimated position.
  • the estimated position is usually affected by all observation values. For this reason, the estimated position existing near the center of gravity of the observed value is more likely to remain in the vicinity of the center of gravity as a result because the influence received from the surrounding observed values is offset.
  • the degree of influence the amount by which the estimated position deviates
  • weighting is performed by the object position correcting means 107 based on the distance from the center of gravity position to the estimated position and the number of observation values used by the object position estimating means 105 as in (Expression 11) and (Expression 12).
  • the correction distance is calculated by the object position correction means 107. That is, the object position correcting unit 107 changes the estimated position of the object from the center of gravity position to the estimated position of the object by a distance obtained by adding a value obtained by weighting the number of observation values output from the observation apparatus 101 to the correction distance. I try to move it.
  • D is a correction distance
  • A is a distance between the center of gravity position and the observation position
  • is a weighting factor.
  • the weighting factor (in other words, the weighting ratio for obtaining the correction distance) ⁇ is determined based on the size of the environment (in other words, the size of the sensing area of the observation device 101) and the object identification performance of the observation device 101. Is done. When the object identification performance of the observation apparatus 101 is high, the likelihood of being assigned to an incorrect object ID is reduced. Then, the influence of updating the estimated position of the wrong object ID is also reduced (see the description of the object position estimating means 105). That is, the higher the object identification performance of the observation apparatus 101, the smaller the value of the weighting factor ⁇ is desirable.
  • Equation 13 and (Equation 14) show how to calculate the correction distance D using the number of observation values.
  • B represents the number of observation values
  • represents a weighting coefficient.
  • the weighting factor ⁇ is determined based on the size of the environment and the object identification performance of the observation apparatus 101 as with the weighting factor ⁇ .
  • the object identification performance of the observation apparatus 101 is high, the likelihood of being assigned to an incorrect object ID is reduced. Then, the influence of updating the estimated position of the wrong object ID is also reduced (see the description of the object position estimating means 105). That is, as the object identification performance of the observation apparatus 101 is higher, it is desirable that the value of the weighting factor ⁇ is smaller.
  • the correction direction and distance are obtained for each estimated position of each object, and the estimated position is corrected by the object position correcting means 107.
  • FIG. 15 shows an example of the result of the object position estimating unit 105
  • FIG. 16 shows an example of the result of the object position correcting unit 107.
  • the history of the estimation results of the positions of the two objects, the object (1, 1) and the object (1, 2), is shown as a trajectory.
  • FIG. 17 shows the true positions of the movement trajectories of the object (1, 1) and the object (1, 2).
  • the true position of each object is shown. The location is unknown.
  • the object (1,1) and the object (1,2) are moving in parallel from the left end to the right end in FIG.
  • step S308 a process of presenting the estimated position corrected by the object position correcting unit 107 to the user on the display unit 108 is performed.
  • the display unit 108 presents the estimated position corrected by the object position correcting unit 107 to the user.
  • the covariance calculated by the object position estimating unit 105 may be simultaneously presented to the user by the display unit 108 at the estimated position. Further, the estimated position (estimated position before correction) calculated by the object position estimating means 105 may be simultaneously presented to the user on the display means 108.
  • FIG. 18 shows a display example of the estimated position and the corrected position of the object shown in FIG. 15 and FIG.
  • the obstacle 1402 a locus indicated by a solid line connecting the estimated object positions before correction, and a dotted line connecting the corrected object estimated positions by a straight line are shown.
  • the displayed track is overlaid.
  • An example of the obstacle 1402 is a bookshelf or a table, for example.
  • the estimated position of the object can be corrected based on the positional relationship and the number of observed values of the object detected by the observation apparatus 101. Accordingly, the result of the object position estimation can be corrected to a position that does not feel uncomfortable for the user without using a map in which environment information is recorded.
  • a plurality of people 212 may be observed with the camera 202 instead of the article 203.
  • each of the object position estimation unit 120, the center-of-gravity position calculation unit 106, the object position correction unit 106, or any part of them may be configured by software itself. it can. Therefore, for example, as a computer program having steps constituting the control operation of each embodiment of the present specification, it is stored in a recording medium such as a storage device (hard disk or the like) in a readable manner, and the computer program is temporarily stored in the computer.
  • a recording medium such as a storage device (hard disk or the like) in a readable manner
  • the computer program is temporarily stored in the computer.
  • Each function or each step described above can be executed by reading it into a device (semiconductor memory or the like) and executing it using a CPU.
  • the object position correction apparatus, the object position correction method, and the object position correction program according to the present invention can correct the object position estimation result to a position that does not feel uncomfortable for the user without using a map in which environment information is recorded. it can. Therefore, the present invention is particularly useful for an object monitoring, display device or method in a place where it is difficult to create a map in advance, or in a place where environmental changes may occur (in the home, office, factory, etc.)

Abstract

 観測対象の物体を検出して観測値を得る観測装置(101)と、前記物体の観測履歴を記録する観測履歴データベース(102)と、前記物体の位置の推定履歴を記録する位置推定履歴データベース(103)と、前記物体の位置における存在確率を表す予測分布を作成する予測分布作成部(104)と、前記物体のIDと位置を推定する物体位置推定部(105)と、前記観測値の重心位置を算出する重心位置算出部(106)と、前記物体の推定位置の補正を行う物体位置補正部(107)と、前記物体の補正された位置を表示する表示部(108)とを備えるように構成されている。

Description

物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム
 本発明は、観測対象の位置をユーザ表示する物体位置補正装置、物体位置補正方法、及び物体位置補正プログラムに関する。
 物体の位置を検出可能なセンサとして、カメラが用いられることがある。
 カメラは、(カメラから得られる画像的な特徴(形状又は色など)から物体のIDを識別するため)物体のID識別精度は100%となり得ない。カメラを通じた識別結果が物体Aであっても、実際には、物体A以外の物体(物体B,物体C)を識別していた可能性がある。このような場合、例えば、カメラが識別した物体は、物体Aであった確率が80%、物体Bであった確率が10%、物体Cであった確率が10%、と表現することができる。更に、画像的特徴が類似した物体の識別率は低くなってしまう。例えば、トマトとリンゴなど、色又は形状が似た物体を互いに高精度で識別することは難しい。また、カメラの性能又は配置によって多少異なるが、通常は観測位置(測位結果)にもある程度の誤差が含まれる。この物品の識別IDと観測位置をまとめて観測値と呼ぶ。
 このような、物品の識別ID又は観測位置が曖昧なセンサの観測値を複数統合することで、観測精度の不足を補い合いながら物体の位置をベイズ推定の枠組みにて確率的に推定する技術がある(非特許文献1)。
 しかし、非特許文献1では、僅かな確率(前記例の場合、カメラが識別した物体が物体Bであった確率など)でも物体位置推定の処理に利用するため、推定結果は他のセンサ観測値の影響を受けてしまう。図19に例を示す。観測値1は、物体識別の結果、物体Aである確率が90%、物体Bである確率が10%であった。観測値2は、物体識別の結果、物体Aである確率が10%、物体Bである確率が90%であった。このような観測状況において位置推定を行うと、物体Aの推定位置は、観測値2の影響も僅かながら受けてしまい、観測値1の位置から僅かに観測値2の方向にずれた位置に位置ズレしてしまうことになる(物体位置推定の詳細は後述する。)。観測値2が物体Aを観測して得られた可能性がある以上、図19の推定結果は確率的には正しい。しかしながら、前記位置ズレによる推定位置(例えば、ガウス分布における平均値)は、ユーザの視覚的には違和感のある位置となることがある。例えば、観測対象が車であれば、車の推定位置が道路上にない、また、観測対象が人であれば、人の推定位置がテーブルの上にある、などが考えられる。
 このような、推定位置のズレを補正する技術として、マップマッチングを用いる技術がある(特許文献1)。GPS(Global Positioning System)によって取得した自車位置情報には誤差が含まれているため、アクセルセンサ、ブレーキセンサ、ウインカセンサからの出力を基に、マップマッチングの技術を用いてユーザに対する提示情報を柔軟に変更可能とするものである。
特開平11-271073号公報
Hirofumi Kanazaki, Takehisa Yairi, Kazuo Machida, Kenji Kondo, Yoshihiko Matsukawa, "Variational Approximation Data Association Filter", 15th European Signal Processing Conference(EUSIPCO2007).
 しかしながら、特許文献1では、マップマッチングのためのマップを予め作成しておく必要がある。
 そこで、本発明の目的は、環境情報を記録したマップを予め作成することなく、観測対象の推定位置をユーザにとって違和感の無い位置に補正し、提示することができる物体位置補正装置、物体位置補正方法、及び物体位置補正プログラムを提供することである。
 前記目的を達成するために、本発明は以下のように構成する。
 本発明の第1態様によれば、環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置とを推定して前記物体の推定位置を求める物体位置推定部と、
 前記観測位置の重心位置を算出する重心位置算出手段と、
 前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置の補正を行う物体位置補正手段と、
を備える物体位置補正装置を提供する。
 本発明の第12態様によれば、環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、物体位置推定部により、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置を推定して前記物体の推定位置を求め、
 前記観測位置の重心位置を重心位置算出手段で算出し、
 前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置を物体位置補正手段で補正する物体位置補正方法を提供する。
 本発明の第13態様によれば、コンピュータに、
 環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、物体位置推定部により、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置を推定して前記物体の推定位置を求める機能と、
 前記観測位置の重心位置を重心位置算出手段で算出する機能と、
 前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置の補正を物体位置補正手段で行う機能と、
を実現させるための物体位置補正プログラムを提供する。
 本発明によれば、観測装置で検出された物体の観測位置の位置関係に基づいて、前記物体の推定位置を補正することができる。そのため、環境情報を記録したマップを使用することなく、物体位置推定の結果をユーザにとって違和感の無い位置に補正することができる。
 本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図1は、本発明の第1実施形態に係る物体位置補正装置の構成を示すブロック図であり、 図2Aは、本発明の前記第1実施形態に係る物体位置補正装置での観測対象が存在する環境である生活空間としての部屋における観測状況を説明する図であり、 図2Bは、前記第1実施形態に係る前記物体位置補正装置の観測装置の一例であるカメラの構成を示すブロック図であり、 図3は、本発明の前記第1実施形態に係る物体位置補正装置の位置推定履歴データベースに記録された物体位置推定手段の推定履歴の例を示す図であり、 図4は、本発明の前記第1実施形態に係る物体位置補正装置での重心位置算出手段による、観測値の重心位置を算出する簡単な例を示す図であり、 図5は、本発明の前記第1実施形態に係る物体位置補正装置において、重心位置算出手段によって算出された重心位置に基づいて、物体位置補正手段による物品の推定位置の補正の概略を示しており、重心位置から各物品の推定位置(分布の平均位置)までの距離と方角を算出している様子を表す図であり、 図6は、本発明の前記第1実施形態に係る物体位置補正装置において、図12で算出した距離と方角に基づいて物体の推定位置(分布の平均位置)を補正している様子を表す図であり、 図7は、本発明の前記第1実施形態に係る物体位置補正装置の全体処理を示すフローチャートであり、 図8は、本発明の前記第1実施形態に係る物体位置補正装置の観測装置に記録された物体テンプレートデータの例を示す図であり、 図9は、本発明の前記第1実施形態に係る物体位置補正装置のID尤度変換テーブルの例(IDに関するセンサモデル)を示す図であり、 図10は、本発明の前記第1実施形態に係る物体位置補正装置の観測履歴データベースに記録されたカメラによる物品の観測履歴の例を示す図であり、 図11は、本発明の前記第1実施形態に係る物体位置補正装置において、時刻12:00:03に得られた観測値と、時刻12:00:02時点で得られた各物品の推定位置の状況の例を示す図であり、 図12は、カルマンフィルタの動作例を示す図であり、 図13は、本発明の前記第1実施形態に係る物体位置補正装置での物体位置の推定状況の例を示す図であり、 図14は、本発明の前記第1実施形態に係る物体位置補正装置において、クラスタリングの結果の一例を示す図であり、 図15は、本発明の前記第1実施形態に係る物体位置補正装置において、物体位置推定手段の結果の一例を示すグラフであり、 図16は、本発明の前記第1実施形態に係る物体位置補正装置において、物体位置補正手段の結果の一例を示すグラフであり、 図17は、本発明の前記第1実施形態に係る物体位置補正装置において、物体(1,1)と物体(1,2)の移動軌跡の真の位置を示すが、本物体位置補正装置は各物体の真の位置は分かっていない場合の例を示す図であり、 図18は、本発明の前記第1実施形態に係る物体位置補正装置において、図15と図16で示した物体の推定位置と補正位置の表示例を示す図であり、 図19は、従来技術における物体位置の推定状況を示す図であり、 図20は、本発明の前記第1実施形態に係る物体位置補正装置での観測対象の別の例として複数の人が存在する環境である生活空間としての部屋における観測状況を説明する図である。
 以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
 本発明の第1態様によれば、環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置とを推定して前記物体の推定位置を求める物体位置推定部と、
 前記観測位置の重心位置を算出する重心位置算出手段と、
 前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置の補正を行う物体位置補正手段と、
を備える物体位置補正装置を提供する。
 本発明の第2態様によれば、前記物体位置補正手段は、前記重心位置から前記物体の推定位置までの距離に対して重み付けを行うことにより算出された補正距離分、前記物体の推定位置を、前記重心位置から前記物体の推定位置に対する方角に移動させる、第1の態様に記載の物体位置補正装置を提供する。
 本発明の第3態様によれば、前記物体位置補正手段は、更に、前記補正距離に対して、前記観測装置が出力した観測値数を重み付けした値を加えた距離分、前記物体の推定位置を、前記重心位置から前記物体の推定位置に対する方角に移動させる、第2の態様に記載の物体位置補正装置を提供する。
 本発明の第4態様によれば、前記物体位置補正手段は、補正距離を求めるための重み付けの割合を、前記観測装置のID識別性能に基づいて決定する、第2の態様に記載の物体位置補正装置を提供する。
 本発明の第5態様によれば、前記物体位置補正手段は、補正距離を求めるための重み付けの割合を、前記観測装置のセンシング領域の広さに基づいて決定する、第2の態様に記載の物体位置補正装置を提供する。
 本発明の第6態様によれば、前記物体位置推定部は、
  前記物体のIDと位置の前記推定結果を記録する物体位置推定履歴データベースと、
  前記物体のIDと位置の前記推定結果に基づいて、前記物体の位置における前記存在確率を表す前記予測分布を作成する予測分布作成手段と、
  前記予測分布と前記ID尤度と前記観測位置に基づいて、前記物体のIDと位置を推定する物体位置推定手段とを備えている、第1の態様に記載の物体位置補正装置を提供する。
 本発明の第7態様によれば、前記環境内に存在する前記複数の物体を検出して、前記各物体のID尤度と観測位置とをそれぞれ取得する前記観測装置をさらに備える、第1又は6の態様に記載の物体位置補正装置を提供する。
 本発明の第8態様によれば、前記物体のIDと補正された位置の結果を表示する表示手段をさらに備える、第1~7のいずれか1つの態様に記載の物体位置補正装置を提供する。
 本発明の第9態様によれば、前記重心位置算出手段は、位置に基づいてクラスタリングされた観測位置のクラスタ毎に重心位置を算出することを特徴とする第1~8のいずれか1つの態様に記載の物体位置補正装置を提供する。
 本発明の第10態様によれば、更に、前記物体位置補正手段は、前記重心位置算出手段が用いた前記観測位置の数に基づいて、前記物体の推定位置の補正を行うことを特徴とする第1~9のいずれか1つの態様に記載の物体位置補正装置を提供する。
 本発明の第11態様によれば、前記表示手段は、前記物体位置推定手段の推定結果に前記物体位置補正手段の補正結果をオーバーレイ表示させることを特徴とする第8の態様に記載の物体位置補正装置を提供する。
 本発明の第12態様によれば、環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、物体位置推定部により、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置を推定して前記物体の推定位置を求め、
 前記観測位置の重心位置を重心位置算出手段で算出し、
 前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置を物体位置補正手段で補正する物体位置補正方法を提供する。
 本発明の第13態様によれば、コンピュータに、
 環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、物体位置推定部により、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置を推定して前記物体の推定位置を求める機能と、
 前記観測位置の重心位置を重心位置算出手段で算出する機能と、
 前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置の補正を物体位置補正手段で行う機能と、
を実現させるための物体位置補正プログラムを提供する。
 以下、本発明の実施の形態について、図面を参照しながら説明する。
 (第1実施形態)
 図1は、本発明の第1実施形態に係る物体位置補正装置の構成を示した図である。
 本発明の第1実施形態に係る物体位置補正装置は、観測装置101と、観測履歴データベース102と、位置推定履歴データベース103と、予測分布作成手段104と、物体位置推定手段105と、重心位置算出手段106と、物体位置補正手段107と、表示手段108と、を備えるように構成されている。位置推定履歴データベース103と、予測分布作成手段104と、物体位置推定手段105とは、合わせて1つの物体位置推定部120として構成されていてもよい。
 図2Aに、閉じた環境の具体的な例として、部屋201を示す。この部屋201には、本発明の第1実施形態に係る物体位置補正装置の構成要素である観測装置101の一例として、1台又は複数台のカメラ202を備えている。部屋201の天井の中央付近には、1台のカメラ202が設置されている。カメラ202は1台に限られず、複数台設置してもよい。また、部屋201内には、観測対象である物体の一例として、物品203Aと物品203Bと物品203Cと物品203Dと物品203Eが床又はテーブルなどの上に存在していると仮定する。各物品には、それぞれ固有の識別情報としてIDを持っているものとする。
 以後、部屋201内の物品203Aと物品203Bと物品203Cと物品203Dと物品203Eとのうちの任意の物品を、物品203として代表的に説明する。なお、一例としては、物品203Aはペットボトル、物品203Bは財布、物品203Cは書籍、物品203Dは携帯電話、物品203Eは時計が図2Aに図示されている。
 以下に図1と図2Aと図2Bを用いて、本実施形態にかかる物体位置補正装置の各構成要素について説明する。
 観測装置101の一例としてのカメラ202は、部屋201内を観測し、部屋201内に存在する物品203の検出を行う。すなわち、カメラ202では、後述するように、部屋201内を撮像して取得した画像データを、背景差分法などを用いて画像処理して、物品203を検出する。物品203を検出すると、観測ID(カメラ202で観測してデータ又は情報を取得する度に各データ又は情報に付する固有のIDであって、他の観測データ又は情報と識別するためのIDである。)と、物品203が検出された時刻と、検出した物品203の識別IDと観測位置とを取得し、観測履歴データベース102に記録する。尚、識別IDは、ID尤度変換テーブルにしたがってID尤度に変換可能である。ID尤度とは、検出した物体(本実施形態では、物品203)が、どのIDの物体(物品)であるらしいかを確率的に表したものである。
 上述した通り、カメラ202の物体のID識別精度は、100%となり得ない。例えば、カメラ202を通じた識別結果が物体Aであっても、実際には物体A以外の物体(物体B,物体C)を識別していた可能性がある。そのため、ID尤度は、物体Aである確率が0.8であり、物体Bである確率が0.1であり、物体Cである確率が0.1である、というように、部屋201に存在する(又は、部屋201に存在する可能性のある)物体のすべてに確率が割り振られる。尚、これはID尤度を決定する一例であり、本発明はこれに限るものではない。
 観測履歴データベース102には、観測IDと、物品203が検出された時刻と、検出された物品203の識別IDと、物品203が検出された観測位置とが記録される。尚、識別IDとは、観測装置101が検出した物体の物体識別結果である。尚、各観測装置101、例えば、カメラ202は、観測周期及び時刻の情報などを取得するためのタイマを備えており、物品203が検出された時刻をカメラ202から出力可能としている。
 位置推定履歴データベース103には、物体位置推定手段105の出力結果である物品203の平均値と分散共分散行列と、物体位置推定手段105が使用した観測値が得られた最終時刻とが記録されている。
 図3に位置推定履歴データベース103の一例を示す。
 例えば、物品の識別ID=Obj001の物品は、時刻2008/09/02_12:00:01には
Figure JPOXMLDOC01-appb-M000001
の確率密度分布(ガウス分布)で表現される位置に存在すると推定されている。
 予測分布作成手段104は、位置推定履歴データベース103に記録されている物品203の過去の推定位置を基に、物品203の位置の確率密度分布を推定して、その結果を物体位置推定手段105に出力する。予測分布作成手段104で確率密度分布が推定される物品203の位置は、物体位置推定手段105が物品203の位置推定に使用するのに用いる観測値が得られた時刻の位置である。なお、通常は、前回観測値を用いて推定された物体位置(最新の推定位置)を使用すればよいが、前回観測値を用いて推定された物体位置(最新の推定位置)よりも以前の古い推定位置を用いて、推定することもできる。
 物体位置推定手段105は、観測履歴データベース102の記録されている情報を基に、検出した物品203のID尤度と観測位置と、そして予測分布を基に物品203の位置とを推定する。ここで、物体位置推定手段105は、アソシエーション値を算出するアソシエーション手段109を備えているものとする。この物体(例えば物品203)の位置の推定には、カメラ202などの観測装置101の観測値と、観測装置101が物体を観測した時刻における物体の予測位置(予測分布)が必要となる。言い換えれば、尤度情報に基づいて、予測位置を観測値の方向へ移動させるのが、物体位置推定の処理とも言える。この予測位置は、後述するように、観測装置101が物体を前回観測した時刻における物体の推定位置に基づいて算出される。
 アソシエーション値とは、観測値(ID尤度と観測位置との情報)と実際の物体との関連付けを表す値である。つまり、観測履歴データベース102から受け取った物体のID尤度と観測位置とが、どのIDの物体を検出することによって得られた値であるかを表す値である。前述した、物体のID尤度と、観測位置とは、それぞれの観測値が、ある物体を観測して得られた観測値であるという確からしさを表す値であり、アソシエーション値はこのID尤度と位置尤度との積で表される。
 ここで、位置尤度について説明する。位置尤度とは、観測位置と前記予測分布の平均位置との距離に基づいて算出される値であり、距離が短いほど位置尤度は高くなり、逆に、距離が長いほど位置尤度は低くなる。また、観測装置101の位置誤差特性と前記予測分布の分散共分散行列とを考慮したマハラノビス距離に基づいて、位置尤度を求めても良い。この場合も、マハラノビス距離が短いほど位置尤度は高くなり、逆に、マハラノビス距離が長いほど位置尤度は低くなる。
 重心位置算出手段106は、観測履歴データベース102の記録されている情報を基に、観測値の重心位置を算出する。ただし、重心位置を算出するのに使用する観測値は、物体位置推定手段105が、前回物品203の位置を推定するのに使用した観測値のみとする。尚、重心位置算出手段106が使用する観測値に関する情報は、物体位置推定手段105から得られるものとする。図4に簡単な例を示す。図4の例では、1次元座標中に観測値が3つ得られている。観測値1はX=10の位置、観測値2はX=30の位置、観測値3はX=50の位置でそれぞれ得られており、これら3つの観測値の重心位置は、X=30の位置となる。
 物体位置補正手段107は、重心位置算出手段106によって算出された重心位置及び物体位置推定手段105からの物品203の推定位置に基づいて、物品203の推定位置を補正する。
 推定位置の補正の概略を図5と図6を用いて説明する。
 図5は、重心位置(図4のX=30の位置)から各物品203の推定位置(分布の平均位置)までの距離と方角とを物体位置補正手段107で算出している様子を表している。その結果、重心位置(図4のX=30の位置)から物体Aの推定位置EPまでの距離は20、方角は-X方向となっている。また、重心位置(図4のX=30の位置)から物体Bの推定位置EPまでの距離は0、方角は無し(重心位置と一致しているため)となっている。重心位置(図4のX=30の位置)から物体Cの推定位置EPまでの距離は20、方角は+X方向となっている。
 図6は、図5で物体位置補正手段107により算出した距離と方角とに基づいて、物体の推定位置(分布の平均位置)を物体位置補正手段107により補正している様子を表している。すなわち、物体位置補正手段107により、重心位置から物体の推定位置までの距離に対して重み付けを行うことにより算出された補正距離分、物体の推定位置を、重心位置から物体の推定位置に対する方角に移動させるようにしている。具体的には、重心位置からの距離が離れていた物体Aと物体Cの推定位置は、距離=20に応じた重み付けがなされ、重心位置から各推定位置への方角に向けて位置が物体位置補正手段107により補正される。物体Aの補正後の推定位置はCEPであり、物体Bの補正後の推定位置はCEPである。推定位置が重心位置と同じであった物体Bの推定位置に関しては、補正されない。より詳細な内容については、後述する。
 表示手段108は、物体位置補正手段107によって補正された推定位置をユーザに提示するモニタなどで構成されている。
 図7には、本発明の前記第1実施形態に係る物体位置補正装置の全体処理を示すフローチャートを示す。以下、この図7のフローチャートに対応させながら、物体位置補正装置の詳細な動作について説明する。
 ステップS301では、部屋201内をカメラ202で観測し、カメラ202が撮像した画像から物品203を検出する処理を行う。具体例を以下に記述する。
 カメラ202を用いて物品203を検出するには、カメラ202の撮像部202aが取得した画像データを画像処理する必要がある。その方法として、例えば、背景差分法を用いることができる。図2Bに示すように、カメラ202の撮像部202aで予め撮像してカメラ202内に内蔵された内部記憶部202bに記憶しておく。そして、物品203が存在していないときの部屋201の背景画像データと、カメラ202で撮像した現在の画像データとを、カメラ202内に内蔵された画像処理部202cで比較する。その後、画素値が異なる領域を差分領域として画像処理部202cで取り出す。この差分領域が、検出した物品203に相当する。ただし、画像データにはノイズが混じっている可能性があるため、前記差分領域が物品203に対して十分に小さいと画像処理部202cで判断できる場合には、前記差分領域は物品203ではないと画像処理部202cで判断しても良い。ここで、差分領域が物品203に対して十分に小さい場合とは、前記差分領域の画素数が、物品203と認識可能な最低画素数を基に予め設定した閾値以下である場合が考えられる。逆に言えば、前記差分領域の画素数が、物品203と認識可能な最低画素数を基に予め設定した閾値を越えておれば、差分領域が、検出した物品203であると画像処理部202cで判断する。尚、検出した物品203の観測位置は、例えば前記差分領域の重心位置とすることができる。
 また、前記差分領域の画像とテンプレート画像とのマッチングを画像処理部202cで行うことで、カメラ202が検出した物品のID識別を画像処理部202cで行うことができる。尚、マッチング用のテンプレート画像は、カメラ202の内部記憶部202bに予め記録されているものとする。
 図8に、カメラ202の内部記憶部202bに記録されている物品テンプレートの画像データの例を示す。カメラ202の内部記憶部202bに記録されている情報は、Obj001からObj005までの物体の識別IDと、物体の識別IDがObj001からObj005までの5個の物体のそれぞれにおけるテンプレート画像である。物体のID識別が行われると、次に、ID尤度変換テーブルにしたがってID尤度を決定する。尚、物体の識別IDとは、物体を一意に特定することのできるID番号である。
 図9にID尤度変換テーブルの例を示す。図9のID尤度変換テーブルに従えば、ID識別の結果がObj001であった場合、カメラ202が検出した物体がObj001の物体識別IDである確率は0.80である。同様に、カメラ202が検出した物体がObj002の物体識別IDである確率は0.05、Obj003の物体識別IDである確率は0.10、Obj004の物体識別IDである確率は0.03、Obj005の物体識別IDである確率は0.02となる。尚、ID尤度変換テーブルも、カメラ202の内部記憶部202bに記録されているものとする。尚、ID尤度変換テーブルは、事前に、Obj001からObj005の物体をそれぞれカメラ202の撮像部202aで、例えば姿勢を変えながら複数回数撮像させてID識別を行い、ID識別間違いの傾向に基づいて作成する。図9に示すID尤度変換テーブルの場合、事前に撮像した画像によるID識別の結果、各物品についてObj001と識別された比率が、Obj001:Obj002:Obj003:Obj004:Obj005=0.80:0.05:0.10:0.03:0.02であることを表す。
 また、以後、カメラ202の観測周期は一例として1秒であるとして説明する。カメラ202の観測周期は1秒に限らず、所定の周期でよい。
 ここで、カメラ202の画像処理部202cが前記した背景差分領域の重心位置を求める処理、及び、前記テンプレートマッチングによる物品203のID識別を行ってID尤度を求める処理は、図7のフローチャートにおけるステップS302の処理にあたる。
 次いで、ステップS303では、カメラ202の画像処理部202cにより、カメラ202で検出した物品203の観測位置とID尤度を観測履歴データベース102に記録する処理を行う。
 図10に観測履歴データベース102の一例を示す。
 カメラ202により、図10の観測履歴データベース102に、カメラ202が物品203を検出したときの時刻と観測位置と物品の識別IDと、そして観測IDとが、記録できるようになっている。
 カメラ202の観測周期が1秒、そして、部屋201内に物品が5個存在していることから(図2A参照)、観測履歴データベース102には、1秒毎に5個の観測値がカメラ202により記録されている。例えば、時刻2008/09/02_12:00:001では、観測ID=OBS001~OBS005の5個の観測値が記録されている。尚、カメラ202がノイズ等の影響により物品203を検出ミスした場合は、5個未満の観測値しか記録されない可能性はある。同様に、物品203以外のもの(壁又は柱など)を誤って物品203であると過検出した場合には、6個以上の観測値が記録される可能性がある。
 例えば、観測ID=OBS001の観測値は、時刻2008/09/02_12:00:001に観測位置(80,500)で物品の識別ID=Obj001を検出したことを示している。観測ID=OBS001の観測値及び観測ID=OBS006の観測値は、物品の識別ID=Obj001を有する図2Aにおける物品203Aを検出して得られたものであるが、観測位置が異なっている。これは、カメラ202が撮像した画像に含まれるノイズが影響しているためである。具体的には、撮像の度にノイズの加わり方が異なるため、背景差分により切り出される差分領域も微小に変化する。それによって、観測位置となる前記差分領域の重心位置も変化してしまう。
 また、観測ID=OBS004及び観測ID=OBS009の観測値は、物品の識別ID=Obj004を有する図2Aにおける物品203Dを検出して得られたものであるが、物品の識別IDが互いに異なっている。これも、カメラ202が撮像した画像に含まれるノイズの影響による誤差が原因となっている。具体的には、撮像ごとに背景差分により切り出される差分領域内の画素がノイズにより微小に変化することによって、テンプレートとのマッチング結果も変化してしまっているため、物品の識別IDが異なって検出されている。
 次いで、ステップS304では、予測分布作成手段104が、位置推定履歴データベース103に記録されている物品203の推定位置に基づいて物品203の予測分布を作成する。具体例を以下に記述する。
 書籍又は携帯電話のように、位置推定の対象物である物体が自ら移動することのない静止物体である場合(本実施形態の例の物品203C又は物品203D場合)、予測分布は、位置推定履歴データベース103に記録されているガウス分布と同一のものとして良い。
 もし、車、又は、飛行機、又は、ロボットのように、位置推定の対象物の移動方向又は速度が既知である場合、前記対象物の運動方程式に基づいて予測分布を作成する。例えば、部屋201内で玩具の車がが+X方向に毎秒30cmの速度で移動しているとする。
位置推定履歴データベース103に記録されている推定位置が
Figure JPOXMLDOC01-appb-M000002
であって、物体位置推定手段105が使用する観測値の得られた時刻が1秒後であったとする。この場合、予測分布は、前記対象物の平均位置が+X方向に30cm移動した位置(130,450)となり、分散共分散行列は
Figure JPOXMLDOC01-appb-M000003
となる。ここで、分散共分散行列の値が大きくなる理由について説明する。例えば、玩具の車が移動する場合、秒速30cmで玩具の車が移動したとしても、玩具の車が、床面状態(板の間でのスリップ、絨毯での摩擦など)又は空気抵抗の影響を受けるため、1秒後にちょうど30cm先に玩具の車があるとは限らない。そのため、予測分布作成手段104により、分散共分散行列の値を大きくすることで、確率的な位置精度の曖昧性を高めている。
 また、人又は動物のように、位置推定の対象物の移動方向又は速度が不明である(運動方程式が未知である)場合、予測分布作成手段104により、位置推定履歴データベース103に記録されている推定位置の分散共分散行列の値のみを大きくすることで、予測分布を予測分布作成手段104により作成することができる。
 尚、位置推定履歴データベース102に物品203の推定位置が記録されていない場合、予測分布作成手段104により、予測分布の平均値はランダムに決定する。そして、分散は1σの距離が立方体の部屋201の一辺の距離になるように設定しておくことが望ましい。
 次いで、ステップS305では、カメラ202の観測値と予測分布に基づいた物体位置推定処理を物体位置推定手段105により行う。
 観測履歴データベース102から物体のID尤度と観測位置を受け取ると、先ず、アソシエーション手段109によって、アソシエーション値の計算を行う。
 次に、前記アソシエーション値を用いて物品203の位置をアソシエーション手段109によって推定する。具体的には、カルマンフィルタなどに代表されるベイズ推定の枠組みを用いて物品203の位置を推定(前回の推定位置から推定位置を更新)することができる。検出した物品203のID尤度と位置尤度とに基づいて位置の更新を行うが、このとき、物品203の位置の更新は、前記アソシエーション値が閾値を超えた観測値のみを用いる。閾値は予め設定しておく必要があるが、事前実験等から閾値を見積もっておくことが必要となる。傾向としては、画像処理による識別間違いを起こし易い場合には、閾値を低く設定しておくことが望ましい。識別間違いを起こし易いということは、検出した物体のID尤度が小さいということであり、アソシエーション値も小さくなる傾向にあるということである。また、アソシエーション値の大小に関わらず全ての観測値を用いても良いが、このときには、物品203の位置の更新量に、前記アソシエーション値で重み付けを行うことが望ましい。つまり、アソシエーション値が高いほど物体の位置の更新量は大きくなる。これは、ある物体の観測データである可能性が高い観測データの位置更新への寄与率が高くなるということである。
 ここで、図11に、時刻12:00:03に得られた観測値と、時刻12:00:02の時点で得られた各物品の推定位置の状況の例を示す。図11の例では位置の尤度を距離の逆数で与えているものとすると、物品の識別ID=Obj001に対する観測値OBS011のアソシエーション値は、ID尤度(0.08)×距離尤度(1/44.7)に正規化項を掛けた値となる。すなわち、図10の観測値OBS011には、物体IDの識別結果が識別ID=Obj003と記録されており、図9のID尤度変換テーブルによると、カメラが物体を識別ID=Obj003と識別した場合、実際には、カメラが検出していた物体は識別ID=Obj001である確率が0.08であることを意味している。他の観測値(OBS012~OBS015)についても同様に計算すると、物品の識別ID=Obj001に対する観測値OBS011のアソシエーション値が0.967となり、観測値OBS013のアソシエーション値が0.032となり、その他の観測値のアソシエーション値については0.001未満となる。ここで、物品の識別ID=Obj001の位置の更新に使用する観測値のアソシエーション値の閾値を0.01とすると、物品の識別ID=Obj001の位置の更新には、OBS011とOBS013の二つの観測値が使用されることになる。
 以下にカルマンフィルタについての説明を行う。
 カルマンフィルタとは、物体位置補正装置の状態(本発明の第1実施形態においては、例えば、物体の位置)の情報、及び、観測装置101の観測データ(観測情報)双方にノイズが含まれるという仮定のもとに、尤もらしい物体位置補正装置の状態を推定するものである。
 図12に物体位置推定処理にカルマンフィルタを利用した例を示す。縦軸は確率、横軸は物体の位置を表す。
 物体が(式1)に表されるような移動を行うとき、観測装置101は(式2)で求められる観測値903を得ることができる。ここで、Aは物体の運動モデル、xは物体位置、vは移動の際に生じるプロセスノイズを表している。また、yは観測値、Hは物体位置xと観測値yを対応付ける観測モデル、wは観測ノイズ、tは時間を表している。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 ここで、プロセスノイズv及び観測ノイズwは、白色ガウスノイズとすると、p(w)は(式3)のように表されるとともに、p(v)は(式4)のように表される。尚、N(0,Q)は、平均0、分散Qのガウス分布を表している。N(0,R)も同様に、平均0、分散Rのガウス分布を表している。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 観測値903が得られると、現在得られている物体の位置に関する事前確率分布901(以後、「事前分布」と呼ぶ。)を物体位置推定手段105で更新し、予測確率分布902(以後、「予測分布」と呼ぶ。)を物体位置推定手段105で作成する。(式5)で予測分布902の平均(位置)を物体位置推定手段105で求め、(式6)で予測分布902の分散を物体位置推定手段105で求めることができる。尚、Xa|bは時刻bの情報を基にした時刻aのXの推定値を表す。例えば、(式5)の「xt|t-1」は時刻t-1の情報を基にした時刻tの物体位置xの推定値を表しており、(式6)の「Pt|t-1」は時刻t-1の情報を基にした時刻tのPの推定値を表している。ここで、Pは分布の分散を表している。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
 予測分布902が物体位置推定手段105で得られると、観測値903と予測分布902とから事後分布904を物体位置推定手段105で求める。(式7)で事後分布の平均(位置)を物体位置推定手段105で求め、(式8)で事後分布の分散を物体位置推定手段105で求めることができる。ここで、Kはカルマンゲインと呼ばれる値であり、(式9)にて求められる。カルマンゲインは更新量を決定する値である。観測値の精度が良い(分散Rが非常に小さい)場合には、更新量を大きくするため、カルマンゲインの値は大きくなる。逆に、事前分布の精度が良い(分散Pが非常に小さい)場合には、更新量を小さくするため、カルマンゲインの値は小さくなる。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 図13に物体位置推定手段105の推定結果の例を示す。図13は、時刻2008/09/02_12:00:03における観測値を用いて物体位置推定を行った結果である。図13と図10を見比べてみると、物体の推定位置は、カメラ202の観測位置と全く同一の位置には推定されていない。この主な要因として、他の観測値の影響が考えられる。例えば、識別ID=Obj001の物品は、アソシエーション値が0.967であった観測ID=OBS011で観測された可能性が高く、物品の識別ID=Obj001は、観測ID=OBS011の観測値を基に位置の推定が行われる。しかしながら、Obj001に対するアソシエーション値は低いものの、観測ID=OBS011以外の他の観測値(観測ID=OBS012,OBS013,OBS014,OBS015)に関しても、物品の識別ID=Obj001を検出することによって得られた観測値である確率が存在する(図9参照)。
 その結果、前記他の観測値も、物品の識別ID=Obj001の物品の位置推定に影響を及ぼすこととなる。そして、全ての観測値が物品203の位置推定に影響を及ぼしていることから、物品203の推定位置は、観測値の重心位置に引き寄せられる傾向がある。
 尚、アソシエーション値で物品203の位置の更新量に重み付けを行う場合、(式9)を(式10)に置き換えれば良い。Dは物品203に対するアソシエーション値を表す。前記アソシエーション値での重み付けの情報は、アソシエーション手段109から物体位置推定手段105へ出力される。
Figure JPOXMLDOC01-appb-M000013
 以上のように、物体位置推定手段105により、位置推定履歴データベース103内の物品203の位置を更新する。全ての観測値を用いて物品203の位置を更新するには、前記処理を観測値の数の分だけ繰り返す必要がある。
 次いで、ステップS306では、物体位置推定手段105が使用した観測値の重心位置を重心位置算出手段106で求める処理を行う。
 前記重心位置に引き寄せられた物品203の推定位置を補正するために、まず、重心位置算出手段106によって観測値の重心位置を算出する。ここで、重心位置を算出する観測値は、物体位置推定手段105が使用した観測値のみとする。尚、重心位置算出手段106が使用する観測値に関する情報は、物体位置推定手段105から得られるものとする。
つまり、図13で示した物体位置推定手段105の推定結果を補正する場合、重心位置を求めるために使用する観測値は、時刻2008/09/02_12:00:03に観測された5個の観測値(OBS011~OBS015)ということになる。また、重心位置は、(x,y)=(300,310)となっている。
 また、上述したように、推定位置はその周辺の観測値の影響を受けるが、その影響力は一定ではなく、アソシエーション値の大きさに関わっている。そして、前記アソシエーション値は位置尤度の大きさに関わっている。つまり、推定位置は、より近くに存在する観測値からの影響を受けている可能性が高い。そこで、重心位置算出手段106により、観測値を位置に関してクラスタリングし、クラスタ化された観測値の中での重心位置を求めても良い。そして、各推定位置から最も近くに存在する重心位置を用いて、後述する推定位置の補正を行っても良い。クラスタリングの手法としては、例えばk-means法などを用いることができる。その手法として、先ず、複数の観測値から任意の数(例えば2個)の代表値をランダムに選択する。代表値の数は、例えば物体の滞在しやすい場所の数などとすることができる。次に、代表値以外の各観測値について、各代表値までの距離を計測する。そして、最も距離の短くなる代表値が、その観測値が属するクラスタであるとする。全ての観測値の配属が完了すると、次に、各クラスタの重心を新たな代表値とし、全ての観測値について各代表値までの距離を計測する。そして、最も距離の短くなる代表値が、その観測値が属するクラスタであるとする。以下、代表値の作成と配属を繰り返し、各観測値が属するクラスタに変化が生じなくなれば処理を終える。これらの処理は、すべて、重心位置算出手段106により行う。
 尚、クラスタリングの手法はこれに限るものではない。図14にクラスタリングの結果の一例を示す。例えば、環境が壁1901で2つの領域隔てられていることが事前に分かっていた場合、前記代表値数の数を予め2と決定しておくことができる。前記2個の代表値に基づいてk-means法を実行することにより、OBS011,OBS012,OBS013がクラスタA(図14の1902で示す領域)に属する観測値であり、OBS014,OBS015がクラスタB(図14の1903で示す領域)に属する観測値であることが示されている。
 次いで、ステップS307では、観測値の数及び位置関係に基づいて物品203の推定位置を物体位置補正手段107により補正する処理を行う。
 まず、重心位置から推定位置に向かう方向を、補正する方向として物体位置補正手段107により決定する。例えば、物体Obj004の推定位置の補正する方向は、
Figure JPOXMLDOC01-appb-M000014
となる。
 次に、補正する距離を重心位置から推定位置までの距離に基づいて、物体位置補正手段107により決定する。前述したように、推定位置は、通常、全ての観測値の影響を受ける。そのため、観測値の重心付近に存在した推定位置は、その周囲の観測値から受ける影響が相殺されることにより、結果として推定位置は重心付近に留まる傾向が強い。それに対して、観測値の端の方に存在した推定位置は、他の観測値から受ける影響の方向が同じため、その影響度(推定位置がずれる量)は大きくなる傾向が強い。以上から、重心位置から推定位置までの距離が大きいほど、補正する距離も大きくすることが望ましい。
 具体的には、(式11)及び(式12)のように重心位置から推定位置までの距離と物体位置推定手段105が使用した観測値の数に基づき、物体位置補正手段107により重み付けを行い、補正距離を物体位置補正手段107により算出する。すなわち、物体位置補正手段107は、補正距離に対して、観測装置101が出力した観測値数を重み付けした値を加えた距離分、物体の推定位置を、重心位置から物体の推定位置に対する方角に移動させるようにしている。ここで、Dは補正距離、Aは重心位置と観測位置間の距離、αは重み係数となる。重み係数(言い換えれば、補正距離を求めるための重み付けの割合)αは、前記環境の広さ(言い換えれば、観測装置101のセンシング領域の広さ)と観測装置101の物体識別性能に基づいて決定される。観測装置101の物体識別性能が高い場合、誤った物体IDに割り振られる尤度は少なくなる。すると、誤った物体IDの推定位置を更新する影響力も少なくなる(物体位置推定手段105の説明参照)。つまり、観測装置101の物体識別性能が高いほど、重み係数αの値は小さくしておくことが望ましい。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
 更に、観測値の数が多いほど、推定位置が受ける影響の数も多くなり、推定位置のずれる量も大きくなる傾向がある。以上から、物体位置推定手段105が使用した観測値の数が多いほど、補正する距離も大きくすることが望ましい。
 (式13)及び(式14)に、観測値の数を利用した補正距離Dの算出方法を示す。ここで、Bは観測値数、βは重み係数を表す。重み係数βは、重み係数αと同様に前記環境の広さと観測装置101の物体識別性能に基づいて決定される。観測装置101の物体識別性能が高い場合、誤った物体IDに割り振られる尤度は少なくなる。すると、誤った物体IDの推定位置を更新する影響力も少なくなる(物体位置推定手段105の説明参照)。つまり、観測装置101の物体識別性能が高いほど、重み係数βの値は小さくしておくことが望ましい。
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
 以上のように、各物体の推定位置毎に補正の方向と距離を求め、推定位置の補正を物体位置補正手段107により行う。
 図15に物体位置推定手段105の結果の一例を示し、図16に物体位置補正手段107の結果の一例を示す。図15の例では、物体(1,1)と物体(1,2)の2つの物体の位置の推定結果の履歴が軌跡として示されており、図16の例では、補正結果の履歴が軌跡として示されている。
説明のために、図17に物体(1,1)と物体(1,2)の移動軌跡の真の位置を示すが、この第1実施形態にかかる物体位置補正装置では、各物体の真の位置は分かっていないものとする。物体(1,1)と物体(1,2)は、200cmの間隔を保ちながら図17の左端から右端へと並走移動している。具体的には、物体(1,1)は、座標(-500,800)から座標(500,800)へ移動し、物体(1,2)は、座標(-500,600)から座標(500,600)へ移動している。尚、各物体は同時刻に移動を開始し、更に、同じ速度で移動しているものとする。図15に示された物体位置推定手段105の結果を見ると、物体位置推定は、移動開始直後から互いの観測値の影響を受け始め、200cm程進んだ地点では物体(1,1)と物体(1,2)が互いに80cm程度ずつ引き寄せられていることが分かる。それに対して、図16に示された物体位置補正手段107の結果を見てみると、物体(1,1)と物体(1,2)の物体間隔は維持されたまま物体位置の推定(補正)が行われている。尚、この例ではパラメータを、α=700,β=2と設定している。
 次いで、ステップS308では、物体位置補正手段107によって補正された推定位置をユーザに表示手段108で提示する処理を行う。
 表示手段108は、物体位置補正手段107によって補正された推定位置をユーザに提示する。尚、前記推定位置に物体位置推定手段105が算出した分散共分散を同時にユーザに表示手段108で提示しても良い。また、物体位置推定手段105が算出した推定位置(補正前の推定位置)を同時にユーザに表示手段108で提示しても良い。
 図18に、図15と図16で示した物体の推定位置と補正位置の表示例を示す。図18で示されるモニタ1401の画面内には、障害物1402と、補正前の物体推定位置を直線で結んだ実線で示される軌跡と、補正後の物体推定位置を直線で結んだ点線で示される軌跡とがオーバーレイ表示されている。障害物1402の一例としては、例えば本棚又はテーブルなどである。
 以上のような構成により、観測装置101で検出された物体の観測値の位置関係及び数に基づいて、前記物体の推定位置を補正することができる。これによって、環境情報を記録したマップを使用することなく、物体位置推定の結果をユーザにとって違和感の無い位置に補正することができる。
 なお、本発明は前記実施形態に限定されるものではなく、その他種々の態様で実施できる。
 例えば、図20に示すように、物体の他の例として、物品203に代えて、カメラ202で複数の人212を観測するようにしてもよい。
 なお、各実施形態において、物体位置推定部120と、重心位置算出手段106と、物体位置補正手段106となどのそれぞれ、又は、そのうちの任意の一部は、それ自体がソフトウェアで構成することができる。よって、例えば、本願明細書のそれぞれの実施形態の制御動作を構成するステップを有するコンピュータプログラムとして、記憶装置(ハードディスク等)などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置(半導体メモリ等)に読み込んでCPUを用いて実行することにより、前記した各機能又は各ステップを実行することができる。
 なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
 本発明に係る物体位置補正装置、物体位置補正方法、及び物体位置補正プログラムは、環境情報を記録したマップを使用することなく、物体位置推定の結果をユーザにとって違和感の無い位置に補正することができる。よって、マップを予め作成しておくことが困難な場所、環境変動の起こり得る場所(家庭内、オフィス、工場など)での物体の監視、表示装置又は方法に関して特に有用である。
 本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims (13)

  1.  環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置とを推定して前記物体の推定位置を求める物体位置推定部と、
     前記観測位置の重心位置を算出する重心位置算出手段と、
     前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置の補正を行う物体位置補正手段と、
    を備える物体位置補正装置。
  2.  前記物体位置補正手段は、前記重心位置から前記物体の推定位置までの距離に対して重み付けを行うことにより算出された補正距離分、前記物体の推定位置を、前記重心位置から前記物体の推定位置に対する方角に移動させる、請求項1に記載の物体位置補正装置。
  3.  前記物体位置補正手段は、更に、前記補正距離に対して、前記観測装置が出力した観測値数を重み付けした値を加えた距離分、前記物体の推定位置を、前記重心位置から前記物体の推定位置に対する方角に移動させる、請求項2に記載の物体位置補正装置。
  4.  前記物体位置補正手段は、補正距離を求めるための重み付けの割合を、前記観測装置のID識別性能に基づいて決定する、請求項2に記載の物体位置補正装置。
  5.  前記物体位置補正手段は、補正距離を求めるための重み付けの割合を、前記観測装置のセンシング領域の広さに基づいて決定する、請求項2に記載の物体位置補正装置。
  6.  前記物体位置推定部は、
      前記物体のIDと位置の前記推定結果を記録する物体位置推定履歴データベースと、
      前記物体のIDと位置の前記推定結果に基づいて、前記物体の位置における前記存在確率を表す前記予測分布を作成する予測分布作成手段と、
      前記予測分布と前記ID尤度と前記観測位置に基づいて、前記物体のIDと位置を推定する物体位置推定手段とを備えている、請求項1に記載の物体位置補正装置。
  7.  前記環境内に存在する前記複数の物体を検出して、前記各物体のID尤度と観測位置とをそれぞれ取得する前記観測装置をさらに備える、請求項1又は6に記載の物体位置補正装置。
  8.  前記物体のIDと補正された位置の結果を表示する表示手段をさらに備える、請求項1~7のいずれか1つに記載の物体位置補正装置。
  9.  前記重心位置算出手段は、位置に基づいてクラスタリングされた観測位置のクラスタ毎に重心位置を算出することを特徴とする請求項1~7のいずれか1つに記載の物体位置補正装置。
  10.  更に、前記物体位置補正手段は、前記重心位置算出手段が用いた前記観測位置の数に基づいて、前記物体の推定位置の補正を行うことを特徴とする請求項1~7のいずれか1つに記載の物体位置補正装置。
  11.  前記表示手段は、前記物体位置推定手段の推定結果に前記物体位置補正手段の補正結果をオーバーレイ表示させることを特徴とする請求項8に記載の物体位置補正装置。
  12.  環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、物体位置推定部により、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置を推定して前記物体の推定位置を求め、
     前記観測位置の重心位置を重心位置算出手段で算出し、
     前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置を物体位置補正手段で補正する物体位置補正方法。
  13.  コンピュータに、
     環境内に存在する複数の物体を観測装置で観測してそれぞれ取得された前記各物体の(1)ID尤度と(2)観測位置と、物体位置推定部により、前回観測時に取得された前記各物体のID尤度と観測位置に基づいて求められた前記各物体のIDと位置との推定結果に基づいて作成された、前記各物体の位置における存在確率を表す(3)予測分布とに基づいて、前記物体のIDと位置を推定して前記物体の推定位置を求める機能と、
     前記観測位置の重心位置を重心位置算出手段で算出する機能と、
     前記重心位置算出手段で算出された前記重心位置からの距離と方角とに基づいて、前記物体の推定位置の補正を物体位置補正手段で行う機能と、
    を実現させるための物体位置補正プログラム。
PCT/JP2010/007469 2010-02-19 2010-12-24 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム WO2011101945A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2010800234023A CN102449427A (zh) 2010-02-19 2010-12-24 物体位置修正装置、物体位置修正方法及物体位置修正程序
JP2011539579A JP4875228B2 (ja) 2010-02-19 2010-12-24 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム
US13/238,030 US8401234B2 (en) 2010-02-19 2011-09-21 Object position correction apparatus, object position correction method, and object position correction program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-034309 2010-02-19
JP2010034309 2010-02-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/238,030 Continuation US8401234B2 (en) 2010-02-19 2011-09-21 Object position correction apparatus, object position correction method, and object position correction program

Publications (1)

Publication Number Publication Date
WO2011101945A1 true WO2011101945A1 (ja) 2011-08-25

Family

ID=44482569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007469 WO2011101945A1 (ja) 2010-02-19 2010-12-24 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム

Country Status (4)

Country Link
US (1) US8401234B2 (ja)
JP (1) JP4875228B2 (ja)
CN (1) CN102449427A (ja)
WO (1) WO2011101945A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091202A (ja) * 2014-10-31 2016-05-23 株式会社豊田中央研究所 自己位置推定装置及び自己位置推定装置を備えた移動体
WO2020013298A1 (ja) * 2018-07-12 2020-01-16 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
WO2022239644A1 (ja) * 2021-05-12 2022-11-17 株式会社デンソー 追跡装置
DE112021001527T5 (de) 2020-03-06 2023-01-19 Sony Group Corporation Informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017392B2 (ja) * 2010-02-24 2012-09-05 クラリオン株式会社 位置推定装置および位置推定方法
TWI485421B (zh) * 2012-12-17 2015-05-21 Ind Tech Res Inst 圖資校正裝置、系統和方法
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
CN106323275B (zh) * 2015-06-17 2019-06-04 中国科学院上海高等研究院 基于贝叶斯估计和地图辅助校准的步行者室内定位方法
CN107742303B (zh) * 2017-09-29 2021-05-25 南京阿凡达机器人科技有限公司 一种基于机器人的目标图像显示处理方法及系统
CN110232713B (zh) * 2019-06-13 2022-09-20 腾讯数码(天津)有限公司 一种图像目标定位修正方法及相关设备
JP2021103347A (ja) * 2019-12-24 2021-07-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264207A (ja) * 1991-02-19 1992-09-21 Nippon Telegr & Teleph Corp <Ntt> 多視点ステレオ画像計測方法
JP2005141687A (ja) * 2003-11-10 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> 物体追跡方法、物体追跡装置、物体追跡システム、プログラム、および、記録媒体
JP2007249309A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 障害物追跡装置及びその方法
JP2007303886A (ja) * 2006-05-09 2007-11-22 Sony Corp 位置推定装置、位置推定方法及びプログラム記録媒体
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
JP2009211122A (ja) * 2008-02-29 2009-09-17 Toshiba Teli Corp 画像処理装置およびオブジェクト推定プログラム。

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499306A (en) * 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
JP3398038B2 (ja) 1998-03-19 2003-04-21 アイシン・エィ・ダブリュ株式会社 ナビゲーション出力装置
US7845560B2 (en) * 2004-12-14 2010-12-07 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
JP2006338079A (ja) 2005-05-31 2006-12-14 Nissan Motor Co Ltd 画像補正装置
JP4874607B2 (ja) 2005-09-12 2012-02-15 三菱電機株式会社 物体測位装置
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
EP2407081A4 (en) * 2009-03-10 2013-03-13 Olympus Medical Systems Corp POSITION DETECTING SYSTEM AND POSITION DETECTING METHOD
JP5114514B2 (ja) * 2010-02-25 2013-01-09 株式会社日立製作所 位置推定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264207A (ja) * 1991-02-19 1992-09-21 Nippon Telegr & Teleph Corp <Ntt> 多視点ステレオ画像計測方法
JP2005141687A (ja) * 2003-11-10 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> 物体追跡方法、物体追跡装置、物体追跡システム、プログラム、および、記録媒体
JP2007249309A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 障害物追跡装置及びその方法
JP2007303886A (ja) * 2006-05-09 2007-11-22 Sony Corp 位置推定装置、位置推定方法及びプログラム記録媒体
JP2009211122A (ja) * 2008-02-29 2009-09-17 Toshiba Teli Corp 画像処理装置およびオブジェクト推定プログラム。
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091202A (ja) * 2014-10-31 2016-05-23 株式会社豊田中央研究所 自己位置推定装置及び自己位置推定装置を備えた移動体
WO2020013298A1 (ja) * 2018-07-12 2020-01-16 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
JPWO2020013298A1 (ja) * 2018-07-12 2021-08-05 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
JP7473202B2 (ja) 2018-07-12 2024-04-23 Groove X株式会社 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
DE112021001527T5 (de) 2020-03-06 2023-01-19 Sony Group Corporation Informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
WO2022239644A1 (ja) * 2021-05-12 2022-11-17 株式会社デンソー 追跡装置

Also Published As

Publication number Publication date
US8401234B2 (en) 2013-03-19
JPWO2011101945A1 (ja) 2013-06-17
US20120008831A1 (en) 2012-01-12
JP4875228B2 (ja) 2012-02-15
CN102449427A (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
JP4875228B2 (ja) 物体位置補正装置、物体位置補正方法、及び物体位置補正プログラム
US8073200B2 (en) Information processing apparatus, information processing method, and computer program
US9927814B2 (en) System and method for localization of robots
US9989626B2 (en) Mobile robot and sound source position estimation system
KR101708061B1 (ko) 제어 장치, 제어 방법 및 기록 매체
JP5873864B2 (ja) オブジェクト追跡及び認識方法及び装置
US9576191B2 (en) Posture estimation device, posture estimation method, and posture estimation program
EP2618232A1 (en) Map generation device, map generation method, method for moving mobile body, and robot device
CN107053166B (zh) 自主移动装置、自主移动方法以及存储介质
WO2015008432A1 (ja) 物体追跡装置、物体追跡方法および物体追跡プログラム
JP4978099B2 (ja) 自己位置推定装置
JP2012163495A5 (ja)
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
WO2013032192A2 (ko) 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
WO2019225746A1 (ja) ロボットシステム及び追加学習方法
JP2007240295A (ja) 位置推定装置、位置推定方法及び位置推定プログラム
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
JPWO2011027557A1 (ja) 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム
JP2017084335A (ja) ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法
Fetzer et al. On Monte Carlo smoothing in multi sensor indoor localisation
JP6349272B2 (ja) 移動物体追跡装置
Nobre et al. Drift-correcting self-calibration for visual-inertial SLAM
KR100998709B1 (ko) 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법
CN113327270A (zh) 视觉惯导方法、装置、设备及计算机可读存储介质
JP7096176B2 (ja) 物体位置推定装置およびその方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023402.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011539579

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10846085

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10846085

Country of ref document: EP

Kind code of ref document: A1