WO2011108055A1 - 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム - Google Patents

物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム Download PDF

Info

Publication number
WO2011108055A1
WO2011108055A1 PCT/JP2010/007557 JP2010007557W WO2011108055A1 WO 2011108055 A1 WO2011108055 A1 WO 2011108055A1 JP 2010007557 W JP2010007557 W JP 2010007557W WO 2011108055 A1 WO2011108055 A1 WO 2011108055A1
Authority
WO
WIPO (PCT)
Prior art keywords
article
state
observation
state change
estimation
Prior art date
Application number
PCT/JP2010/007557
Other languages
English (en)
French (fr)
Inventor
山上 勝義
近藤 堅司
谷川 徹
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201080023414.6A priority Critical patent/CN102450006A/zh
Priority to JP2011539207A priority patent/JP4880805B2/ja
Publication of WO2011108055A1 publication Critical patent/WO2011108055A1/ja
Priority to US13/248,380 priority patent/US20120020521A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders

Definitions

  • the present invention relates to an object position estimating device, an object position estimating method, and an object position estimating method for estimating the positions of a plurality of objects existing in a space to be observed based on an observation value related to a target object from an observation device such as a sensor. It is about the program.
  • the batch estimation method is a method that batch-processes the accumulated sensor observation values, and since a series of multiple observation values obtained in a time series is batch-processed, after the observation values for a certain period are obtained,
  • the feature is that estimation is possible for the first time.
  • the calculation cost is high, there is also a feature that it is robust against a decrease in estimation accuracy due to an observation error or an outlier that may occur due to an observation error or the like.
  • An object state change determining means for determining whether or not each object in the observation space is at least in a stationary state based on When the object state change determining means determines that the presence state of the object has changed, observation is performed for a predetermined time from the time when the object state change determining means determines that the object presence state has changed.
  • Batch estimation means for estimating the identification information and position information of the object based on the value and the existence state of the object determined by the object state change determination means;
  • An object position estimation apparatus is provided.
  • a computer Each time an observation value including identification information of a plurality of objects existing in the observation space to be observed and position information of the object is sequentially obtained, the observation value including identification information and position information of each object of the plurality of objects And each object in the observation space based on a correspondence relationship between the state of the objects to be observed in the observation space and the object state information which is the latest estimated value regarding the position of each object.
  • the object position estimation apparatus 200 captures an interior of a living space, which is an example of an observation space, from the ceiling with an article image recognition sensor 209, which is an example of an observation apparatus, and performs object recognition by image recognition processing.
  • the position detection process of the article and the identification process of the article are performed, the change in the presence state of the article is determined based on the observation information including the position information and the identification information, and the article position is estimated.
  • a camera is used as an example of the article image recognition sensor 209. As shown in FIG.
  • the number of cameras constituting the camera unit 209a included in the article image recognition sensor 209 is one, but a plurality of cameras may be included.
  • a configuration in which the entire room 300 can be photographed using a plurality of cameras having a small angle of view may be used.
  • the imaging range of each camera may overlap, and the configuration may be such that the same area can be imaged from a plurality of directions.
  • the image recognition unit 209b extracts an article region image from the imaging data output by the camera unit 209a by the background subtraction method, and first specifies the position of the article. For example, as shown in FIG. 2B, the background image data of the room 300 when the article does not exist and the camera unit 209a captured in advance by the camera unit 209a and stored in the internal storage unit 209b are prepared.
  • the image processing unit 209c compares the current image data picked up in step 209 with the current image data. Thereafter, an area with different pixel values is extracted as a difference area by the image processing unit 209c. This difference area corresponds to the detected article.
  • FIG. 4 An example of the above item ID is shown.
  • the article ID 0001 is given to the cup, Assume that an article ID 0002 is assigned, an article ID 0003 is assigned to a tissue box, and an article ID 0004 is assigned to a magazine. It is arbitrary as to which ID (identifier from 0001 to 0004 in the example of FIG. 4) is specifically assigned to which article.
  • the article image recognition sensor 209 for observing the article in the room 300 is an image sensor having an image recognition function.
  • the position and type of the article to be observed can be determined. If so, a sensor other than the image sensor may be used.
  • a sensor other than the image sensor may be used.
  • an RFID, a laser distance sensor, or a combination of a plurality of different types of sensors may be used.
  • the observation value acquisition unit 201 in FIG. 2A sequentially acquires observation values from the article image recognition sensor 209 at regular time intervals, refers to the current time held by the time management unit 208, and the time and observation value at which the observation values are acquired. Are additionally recorded in the observation value accumulation table 202.
  • the observation value acquisition unit 201 acquires observation values at a predetermined cycle, for example, every 1 second.
  • the observation values acquired at one time by the observation value acquisition unit 201 are a plurality of observation values for the number of articles that can be observed.
  • Each observation value is composed of a set of an observation ID likelihood and an observation position as an observation result.
  • the observation value accumulation table 202 accumulates the observation values acquired by the observation value acquisition unit 201 together with the observation time.
  • the article state change determination unit 203 determines that “the existence state change of the article is present”, the article state change determination unit 203 displays the observation time of the observation value used for the determination and the existence state determination result of the article. 204 is additionally recorded.
  • the article position display display 210 displays the article position information at that time in the article position estimated value output unit 207.
  • the product position estimation value is received from the product position estimated value output unit 207, and the position of each product and the ID of the product carried by a person or the like are displayed in the rectangular area 801 and the rectangular area 802, respectively.
  • the association likelihood is a value representing the probability of correspondence between an actual article and an observed value, and can be mathematically formulated as a probability theory.
  • N the number of article position estimation values
  • X is a combined vector of N article position estimation values
  • y is an observation ID likelihood y ID and an observation position y pos .
  • the left side of (Expression 1) is a conditional probability that an observed value vector y is obtained when an article position estimated value vector X is given and an article j is observed.
  • the likelihood of the position of the article and the observation ID likelihood are formulated by a model independent of each other.
  • step S202 the article state change determination unit 203 compares the observed value number M and the article position estimated value number N used to calculate the likelihood in step S201, and performs conditional branching.
  • step S203 processing from step S203 to step S206 corresponding to processing when a new article is placed will be described.
  • a specific example of the process will be described based on the likelihood calculation result at time t1 shown in FIG.
  • step S207 processing from step S207 to step S209 corresponding to the case where an article is taken will be described.
  • a specific example of the process will be described based on the likelihood calculation result at time t5 shown in FIG.
  • step S208 after the article state change determination unit 203 determines the order of association likelihood in step S207, an article ID that does not have the maximum association likelihood for any observation value is specified.
  • step S209 the article having the article ID specified in step S208 is determined by the article state change determination unit 203 as “taken article”, and “the article ID is taken as an output of step S200”.
  • the article state change determination unit 203 outputs the article presence state change determination result “
  • step S300 subsequent to step S200, if the article state change determination unit 203 determines in the process of step S200 that there is a change in the article presence state, the process branches to step S400. If it is determined by the state change determination unit 203, the process returns to step S100.
  • Step S500 is a batch estimation process of the article position performed by the batch estimation unit 205 when there is a change in the article presence state.
  • step S501 in FIG. 11 first, an observation value is obtained by the observation value acquisition unit 201 for a predetermined time from the time acquired when the article state change determination unit 203 determines that the article state has changed. And the batch estimation unit 205 instructs the observation value acquisition unit 201 to record the observation value in the observation value accumulation table 202.
  • step S800 the batch estimation unit 205 records the article position estimation value for each article estimated by the batch estimation unit 205 in step S500 in the article position estimation value table 206.
  • the recorded position estimated value is as described in the description of the article position estimated value table 206.
  • each process is performed at any timing according to the change in the presence state of the article. I will briefly touch on it in a timing chart format.
  • the article position display display 210 accepts the setting of the time at which the user wants to know the position of the article. Specifically, on the screen of the article position display 210 (FIG. 8), the user operates the mouse pointer 804 and clicks or clicks the “return” button or the “forward” button in the rectangular area 803. By continuing, the time t at the right end of the rectangular area 803 is changed, and the time t displayed at the timing when the user releases the click state is set on the article position display 210 as the time when the user wants to know the article position. .
  • step S1200 the position estimation value of the article received by the article position display display 210, and information on which article is being carried are displayed in the rectangular area 801 of the display screen 210a of the article position display display 210, and Displayed in a rectangular area 802.
  • the object position estimation apparatus 200 the object position estimation method implemented by the object position estimation apparatus 200, and the object position estimation program that configures the object position estimation apparatus 200 as a program, a plurality of quasi-stationary articles
  • the position of the article is determined with high accuracy by batch estimation at the timing when the state of the article changes from moving to stationary. While there is, the highly accurate position information obtained by the batch estimation can be output as the estimation information.
  • the object position estimation method implemented by the object position estimation apparatus 200, and the object position estimation program that configures the object position estimation apparatus 200 as a program The article state change determination unit 203 determines whether the article is moving from stationary to moving, or the movement to stationary state change, so that the stationary or moving state of the article at any time during observation is determined for all of the plurality of articles. It also has the effect that it can be grasped.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

 物体状態変化手段(101)が、複数の物体に対して得られる複数の観測値と、物体状態情報記憶手段(103)に記録される最新の複数の物体状態との対応関係を計算し、物体状態の変化の有無を判定して、物体の状態変化があったときのみバッチ推定部(102)で高精度に物体の位置を推定する一方、物体の状態変化が無い間は、物体状態情報記憶手段(103)に記録されている高精度な物体の位置推定結果を物体位置推定結果として出力する。

Description

物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
 本発明は、センサなどの観測装置からの対象物体に関する観測値に基づいて、観測対象の空間内に存在する複数物体の位置を推定する物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムに関するものである。
 センサの観測値に基づいて物体の状態(例えば位置)を推定するための方式として、大きく分けて、逐次(オンライン)推定方式とバッチ(オフライン)推定方式とが存在する。
 逐次推定方式は、時系列的に得られる観測値を逐次的に処理する方式であり、観測値が得られる度に、即時、物体の状態推定値が得られ演算コストも少ないという特長がある。しかし、その反面、都度得られた観測値を頼りに推定を行うために、センサの観測誤差、あるいは、観測エラーの影響を受けやすく、外れ値が観測値として得られた場合には推定値の精度が著しく低下するという問題がある。
 一方、バッチ推定方式は、蓄積されたセンサ観測値を一括処理する方式であり、時系列的に得られた一連の複数の観測値を一括処理するため、一定期間の観測値が得られた後に始めて推定が可能になるという特徴がある。また、演算コストが大きいという問題はあるものの、観測誤差、あるいは、観測エラー等によって発生しうる外れ値による推定精度の低下に対して頑健であるという特長もある。
 センサの観測値に基づいて物体の状態を推定する従来技術として、逐次推定方式とバッチ推定方式の双方の特長を組み合わせる方式(特許文献1)がある。
 特許文献1では、逐次推定方式とバッチ推定方式の併用によって、人工衛星の位置の観測データから人工衛星の軌道を特定する装置・方法が開示されている。
 具体的には、1)バッチ推定により人工衛星の軌道を拘束する運動方程式のパラメータを推定する、2)その推定された運動方程式のパラメータを逐次推定のための初期値とする、3)逐次推定により人工衛星の位置を逐次推定する、という3つの処理ステップを基本サイクルとする。バッチ推定により推定された運動方程式のパラメータから人工衛星の推定位置に関する予測誤差が導かれるが、この予測誤差はバッチ推定が完了してからの時間経過に伴って増大する。あらかじめ定めた閾値を超えたタイミングで、前記基本サイクルを繰り返すことにより、バッチ推定の高精度推定という特長と、逐次推定の即時性という特長を組み合わせた方式である。
特開2001-153682号公報
 しかしながら、特許文献1で開示されている方式では、ある1つの運動方程式で記述される時間経過に伴い位置が連続的に移動する物体の位置推定を前提としている。このため、静止と移動をランダムに繰り返すような準静止物体の位置推定に用いた場合、静止していることが分かっている状態においても逐次推定を行い続けることになる。準静止物体の位置推定に用いる場合として、運動方程式で記述できない状態であって例えば人が持ち運びするような物体の位置推定に用いた場合などが考えられる。このため、バッチ推定によって高精度に位置情報が得られたとしても、センサの観測誤差、観測エラーの影響を受けやすい逐次推定により位置推定結果の精度が下がってしまうという課題を有するものであった。
 また、特許文献1で開示されている方式では、観測対象が単体である物体、あるいは、観測対象物体が複数であっても観測した物体と観測値との対応関係が一意に定まる状況を前提としている。このため、観測値と観測された物体との対応関係が不定となる複数物体の位置推定には適用できないという課題を有するものであった。
 従って、本発明の目的は、前記問題を解決することにあって、静止と移動とをランダムに繰り返すような準静止物体の位置推定においても、推定位置の精度を高く維持することができ、かつ、観測値と観測された物体との対応関係が不定となる複数物体の位置推定にも適用できる、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムを提供することにある。
 前記課題を解決するために、本発明は以下のように構成される。
 本発明の第1態様によれば、観測対象の観測空間に存在する1つの物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、前記物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記物体の前記観測空間内での存在状態及び前記物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定手段と、
 前記物体状態変化判定手段が、前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定手段とを備える物体位置推定装置を提供する。
 本発明の第2態様によれば、観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値観測値が逐次得られる度に、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定手段と、
 前記物体状態変化判定手段により、前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定手段と、
 を備える物体位置推定装置を提供する。
 本発明の第5態様によれば、観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、物体状態変化判定手段により、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定ステップと、
 前記物体状態変化判定ステップで前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、バッチ推定手段により、前記物体の識別情報及び位置情報の推定を行うバッチ推定ステップと、
を備える物体位置推定方法を提供する。
 本発明の第6態様によれば、コンピュータに、
 観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定機能と、
 前記物体状態変化判定機能で前記物体の存在状態に変化があったと判定されたとき、物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定機能と、
を実現させるための物体位置推定プログラムを提供する。
 本発明の物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムによれば、複数の準静止物体(例えば、静止と移動を繰り返すような物体)の観測において、移動から静止へと物体の状態が変化があったと物体状態変化判定手段で判定したときから取得された観測値と物体状態変化判定手段が決定した物体の存在状態とに基づき、バッチ推定により物体の位置を高精度で確定した後は、物体が静止している間は、バッチ推定によって得た高精度の位置情報を推定情報として出力できるという格別の効果を有する。すなわち、従来技術において、静止していると分かっている物体についても逐次推定により位置推定を行うために発生する位置誤差の問題は、本発明では発生しない。
 さらに、本発明の物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムによれば、観測対象の物体の静止から移動、あるいは、移動から静止の状態変化を物体状態変化判定手段によって判断することにより、複数の物体すべてについて、観測中の任意の時刻における物体の静止、あるいは、移動の状態を把握することができるという効果も有す。
 本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。この図面においては、
図1は、本発明の第1様態の構成を示すブロック図であり、 図2Aは、本発明の第1実施形態に係る、物体位置推定装置の構成例を示すブロック図であり、 図2Bは、前記第1実施形態に係る前記物体位置推定装置の観測装置の一例である物体画像認識センサの構成を示すブロック図であり、 図3は、本発明の前記第1実施形態に係る前記物体位置推定装置を部屋に設置した例を示す図であり、 図4は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定において、観測対象の物体の一例としての物品の例を示す図であり、 図5は、本発明の前記第1実施形態に係る前記物体位置推定装置の観測値蓄積テーブルに記録された情報の一例を示す図であり、 図6は、本発明の前記第1実施形態に係る前記物体位置推定装置の物品状態変化情報テーブルに記録された情報の一例を示す図であり、 図7は、本発明の前記第1実施形態に係る前記物体位置推定装置の物品位置推定値テーブルに記録された情報の一例を示す図であり、 図8は、本発明の前記第1実施形態に係る前記物体位置推定装置の物品位置表示ディスプレイの画面の表示例を示す図であり、 図9は、本発明の前記第1実施形態に係る前記物体位置推定装置の動作のフローチャートであり、 図10は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態変化の判定処理(ステップS200)のフローチャートであり、 図11は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理のバッチ推定処理(ステップS500)のフローチャートであり、 図12は、本発明の前記第1実施形態に係る前記物体位置推定装置の物品位置表示ディスプレイの動作のフローチャートであり、 図13は、本発明の前記第1実施形態に係る前記物体位置推定装置の観測値蓄積テーブルに記録された情報の一部を示す図であり、 図14は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態の時間変化と物体位置推定装置の動作シーケンスの変化を表したタイミングチャートであり、 図15は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態変化を判断するための尤度の計算例を示す図であり、 図16は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態変化を判断するための尤度の計算例を示す図であり、 図17は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態変化を判断するための尤度の計算例を示す図であり、 図18は、本発明の前記第1実施形態に係る前記物体位置推定装置の物品状態変化情報テーブルに記録された情報の一例を示す図であり、 図19は、本発明の前記第1実施形態に係る前記物体位置推定装置の物品位置推定値テーブルに記録された情報の一例を示す図であり、 図20は、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態変化を判断するための尤度の計算例を示す図であり、 図21は、本発明の前記第1実施形態に係る、物品存在状態変化を判定するための尤度の計算例を示す図であり、 図22Aは、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態の変化が物品位置表示ディスプレイに表示される例を示す図であり、 図22Bは、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態の変化が物品位置表示ディスプレイに表示される例を示す図であり、 図22Cは、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態の変化が物品位置表示ディスプレイに表示される例を示す図であり、 図22Dは、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態の変化が物品位置表示ディスプレイに表示される例を示す図であり、 図22Eは、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態の変化が物品位置表示ディスプレイに表示される例を示す図であり、 図22Fは、本発明の前記第1実施形態に係る前記物体位置推定装置における物体位置推定処理の物品存在状態の変化が物品位置表示ディスプレイに表示される例を示す図。
 以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
 以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。
 本発明の第1態様によれば、観測対象の観測空間に存在する1つの物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、前記物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記物体の前記観測空間内での存在状態及び前記物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定手段と、
 前記物体状態変化判定手段が、前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定手段と
を備える物体位置推定装置を提供する。
 本発明の第2態様によれば、観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値観測値が逐次得られる度に、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定手段と、
 前記物体状態変化判定手段により、前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定手段と、
を備える物体位置推定装置を提供する。
 本発明の第3態様によれば、前記物体状態変化判定手段により、前記観測対象の前記物体が前記静止状態から移動状態に変化したと判定され、その後、前記移動状態から静止状態に変化したと判定されるまでの間は、前記バッチ推定手段が、前記当該物体の識別情報及び位置情報の推定を行わないとともに、推定値の出力も行わない、
第1又は2の態様に記載の物体位置推定装置を提供する。
 本発明の第4態様によれば、前記物体状態変化判定手段により、前記観測対象の前記物体が移動状態から静止状態に変化したと判定され、その後、前記静止状態から移動状態に変化したと判定されるまでの間は、前記バッチ推定手段が、前記当該物体が前記静止状態に変化したと判定されたときに、前記当該物体の識別情報及び位置情報の推定を1度だけ行ったのち、その推定により得られた推定値を当該物体の物体状態情報として出力する、
第1又は2の態様に記載の物体位置推定装置を提供する。
 本発明の第5態様によれば、観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、物体状態変化判定手段により、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定ステップと、
 前記物体状態変化判定ステップで前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、バッチ推定手段により、前記物体の識別情報及び位置情報の推定を行うバッチ推定ステップと、
を備える物体位置推定方法を提供する。
 本発明の第6態様によれば、コンピュータに、
 観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定機能と、
 前記物体状態変化判定機能で前記物体の存在状態に変化があったと判定されたとき、物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定機能と、
を実現させるための物体位置推定プログラムを提供する。
 図1は本発明の前記第1様態にかかる物体位置推定装置の構成の一例を示すブロック図である。この第1様態にかかる物体位置推定装置は、物体観測値(物体の位置情報と識別情報)が入力される物体状態変化判定手段(物体状態変化判定部)101と、物体観測値(物体の位置情報と識別情報)と物体状態変化判定手段101からの出力情報が入力されるバッチ推定手段(バッチ推定部)102とを備えるように構成している。なお、この構成において、バッチ推定手段102からの出力情報が入力されるとともに物体状態変化判定手段101へ出力する物体状態情報記憶手段(物体状態情報記憶部)103をさらに備えるようにしてもよい。
 本構成によって、物体状態変化判定手段101において、観測対象の観測空間に存在する物体の識別情報及び前記物体の位置情報を含む観測値の一例として観測空間内において複数の物体に対して得られる各々の観測値と、物体位置推定装置内で推定される物体各々の物体状態、例えば、最新の物体各々の物体状態との対応関係を計算する。計算の結果、対応する物体の存在状態に変化が有ったと判定された観測値、例えば、対応する物体状態が存在しないと判断された観測値がある場合は、観測空間内に新たに物体が出現した(あるいは観測可能状態になった)ことが判明する。反対に、対応する観測値が存在しないと判断された物体状態がある場合は、観測空間内において物体が消滅した(あるいは観測不可能状態になった)ことが判明する。
 そして、観測空間内の物体の存在状態の変化が物体状態変化判定手段101で判定したときから取得された観測値(例えば、前記観測空間内の物体の存在状態の変化が物体状態変化判定手段101で判定されたタイミングから一定期間(一定回数)得られる複数の観測値)と、前記物体状態変化判定手段が決定した物体の存在状態とに基づきバッチ推定をバッチ推定手段102で行うことで、複数の観測値と物体との対応関係を考慮しつつ、各々の物体に関する位置推定を高精度で行うことができる。
 さらに、物体状態変化判定手段101において、物体の存在状態の変化が無いと判定されている間は、このバッチ推定により高精度に推定された推定位置を物体状態情報記憶手段103に保持し最新の物体位置情報として維持し続けることもできるので、逐次推定で問題となる静止と移動をランダムに繰り返すような準静止物体などの位置推定における、観測装置の観測誤差、あるいは、観測エラーの影響による推定位置精度の低下を回避することができる。
 以下に、本発明にかかる実施形態を図面に基づいて詳細に説明する。
  (第1実施形態)
 本発明の第1実施形態における物体位置推定装置200は、観測空間の一例である生活空間などの室内を天井から、観測装置の一例である物品画像認識センサ209で撮影し、画像認識処理により物体の一例としての物品の位置検出処理及び物品の識別処理を行い、位置情報と識別情報とを含む観測情報に基づいて、物品の存在状態の変化を判定し、物品位置を推定するというものである。本実施形態では、物品画像認識センサ209の一例としてカメラを用いている。図2Bに示すように、物品画像認識センサ209は、撮像部209aと、撮像部209aで撮像された画像を画像認識処理する画像認識処理部209bと、撮像部209aで撮像された画像及び画像認識処理部209bで処理された結果の情報などを記憶する記憶部209cとを備えている。
 図2Aは、本発明の第1実施形態における物体位置推定装置200の構成を示すブロック図である。物体位置推定装置200は、観測値取得部201と、観測値蓄積テーブル(観測値記憶部)202と、図1の物体状態変化判定手段101の一例として機能する物品状態変化判定部(物品状態変化判定手段)203と、図1の物体状態情報記憶手段103の一例として機能する物品状態変化情報テーブル(物品状態変化情報記憶部)204と、図1のバッチ推定手段102の一例として機能するバッチ推定部(バッチ推定手段)205と、図1の物体状態情報記憶手段103の一例として機能する物品位置推定値テーブル(物品位置推定値記憶部)206と、物品位置推定値出力部207と、時刻管理部208と、物品画像認識センサ209と、物品位置表示ディスプレイ(物品位置表示部)210と、物品位置表示操作用マウス(物品位置表示操作部)211とを備えるように構成される。
 図3は、本発明の前記第1実施形態の物体位置推定装置200の物品画像認識センサ209を、観測空間の一例である部屋300に設置した例を示す。図3に示すように、物品画像認識センサ209は部屋300の天井301に設置されている。なお、この部屋300における位置を記述する座標系は、図3に示すように、部屋300の床面302の北西角を原点とし、床面302の南方向にX軸、床面302の南方向にY軸、床面302の鉛直方向にZ軸をそれぞれ取る直交座標系とする。以後の説明では、この座標系を部屋300の世界座標系、又は、単に世界座標系と記述する。
 物品画像認識センサ209は、図2Bに示すように、部屋300の画像を撮影し撮影時刻毎に輝度値の2次元配列である撮像データを出力するカメラ部(撮像部)209aと、カメラ部209aにより出力された撮像データに対して画像認識処理を行う画像認識部209bとカメラ部209aで撮像された画像及び画像認識処理部209bで処理された結果の情報などを記憶する内部記憶部209cとを備えるように構成されている。カメラ部209aは、部屋300の全体を撮影できる画角を有するものとする。
 ここでは、物品画像認識センサ209が有するカメラ部209aを構成するカメラの台数は1台とするが、複数のカメラを有していてもよい。たとえば、画角の小さいカメラを複数台用いて部屋300の全体を撮影できるような構成でもよい。さらに、各カメラの撮影範囲が重複しており、同一の領域を複数方向から撮影できるような構成であってもよい。
 画像認識部209bは、カメラ部209aが出力する撮像データに対して、背景差分法により物品領域画像を抽出し、まず物品の位置を特定する。例えば、図2Bに示すように、カメラ部209aで予め撮像して内部記憶部209bに記憶して用意しておいた、物品が存在していないときの部屋300の背景画像データと、カメラ部209aで撮像した現在の画像データとを、画像処理部209cで比較する。その後、画素値が異なる領域を差分領域として画像処理部209cで取り出す。この差分領域が、検出した物品に相当する。さらに、抽出した各物品領域画像に対して、識別すべき物品毎に予め用意されたテンプレート画像と照合を画像処理部209cで行うことにより、物品の種類を画像処理部209cで識別する。照合用のテンプレート画像は、内部記憶部209cに予め記録されているものとする。なお、物品の識別ないし位置特定のための画像認識処理については、他の方法でもよい。例えばSIFT特徴量による物品識別アルゴリズムを用いることもできる。
 物品画像認識センサ209が出力する観測値は、認識された物品の観測位置と、物品の種類ごとにあらかじめ割り振られた物品IDに関して、観測した物品がどの物品であるかの確からしさである観測ID尤度とを組み合わせたデータである。
 上述の物品IDの一例を示す。例えば、図4に示すように、観測対象の物品が、コップ、リモートコントロール装置(リモコン)、ティッシュ箱、雑誌の4つであった場合、コップに対しては物品ID0001を、リモコンに対しては物品ID0002を、ティッシュ箱に対しては物品ID0003を、雑誌に対しては物品ID0004を割り当てるとする。どの物品に対して、具体的にどのID(図4の例では0001~0004までの識別子)を割り当てるかについては、任意でよい。
 図5は、後ほど説明する観測値蓄積テーブル202に記録される内容を例示したものであるが、図5で、物品画像認識センサ209の出力する観測値の例を示す。観測値の例として、ここでは、観測時刻(観測値を取得した時刻)tと観測ID尤度と観測位置(XYZ座標の値)とが記憶されている。図5の領域501(背景を灰色とした部分)のデータが、1つの物品に関する観測値(観測時間t=27秒のときの観測ID尤度と観測位置とで構成される観測値)である。左から2番目から5番目までの4つのマス(物品IDが0001、物品IDが0002、物品IDが0003、物品IDが0004)の数値が観測ID尤度、右から3つ目のマス(観測位置のX座標の値、Y座標の値、Z座標の値)の数値が世界座標系での観測位置である。この観測値における観測位置は、物品画像認識センサ209の撮像した画像データの画像座標系における位置を世界座標系に変換した位置である。
 なお、本第1実施形態では、部屋300内の物品を観測する物品画像認識センサ209として、画像認識機能を備えた画像センサとしたが、観測対象の物品の位置、及び、種類の判別が可能であれば、画像センサ以外のセンサでもよい。例えば、物品画像認識センサ209の別の例として、RFID、又は、レーザ距離センサ等、又は、複数の異種のセンサの組み合わせを用いてもよい。
 図2Aにおける観測値取得部201は、物品画像認識センサ209からの観測値を一定時間ごとに逐次取得し、時刻管理部208が保持する現在時刻を参照し、観測値を取得した時刻と観測値とを、観測値蓄積テーブル202に追加記録する。なお、本第1実施形態においては、観測値取得部201は、例えば1秒ごとのように、所定の周期で、観測値を取得するものとする。
 観測値取得部201で、一度に取得される観測値は、観測できた物品の個数分の複数の観測値である。図5において、領域502で灰色背景の領域の観測値は、時刻t=28秒に取得された複数の観測値(図5では4個の観測値)である。各観測値は、観測された結果としての観測ID尤度と観測位置との組で構成されている。
 観測値取得部201は、観測値を観測値蓄積テーブル202に記録すると同時に、物品状態変化判定部203に出力する。
 観測値蓄積テーブル202は、観測値取得部201で取得された観測値を観測時刻と共に蓄積する。図5に、蓄積された観測値のうち時刻t=27~36秒に取得された観測値を示す。
 図5は、真の位置の世界座標が、それぞれ(125,654,0),(296,362,60),(38,496,0),(321,715,70)である4個の物品ID=0001~0004を観測した結果、得られた観測値を表す。時刻の単位は秒、位置の単位はセンチメートルである。図5において、時刻t=29秒及び時刻t=34秒においては、観測値が物品数分(ここでは4個分)得られていないが、物品画像認識センサ209において物品画像抽出に失敗したなど、観測値が欠損する場合があることを示している。
 さて、物品画像認識センサ209は、画像認識により物品の識別を行うので、物品の識別誤りの可能性がある。この誤りの可能性を、「観測ID尤度」という数値で定量的に表現する。「観測ID尤度」の意味は、物品画像認識センサ209による物品の識別結果に関する物品IDごとの確からしさの分布である。言い換えると、「観測ID尤度」は、観測値がどの物品を観測したかの確率分布を意味する。
 図5の領域502の4つの観測値は、上から順に、物品ID=0001,物品ID=0002、物品ID=0003、物品ID=0004を観測した結果得られた観測値である。
 領域502の上から1番目の観測値は、物品ID=0001の観測ID尤度の値が0.4で最も高く、他の物品IDの観測ID尤度は、0.2である。観測値は、物品ID=0001を観測した観測値である確率が0.4であり、他の物品ID=0001以外の物品を観測した確率は、0.2であることを示す。
 領域502の上から3番目の観測値は、物品ID=0003の観測ID尤度の値が0.7で最も高く、他の物品IDの観測ID尤度は、0.1である。この観測値は、物品ID=0003を観測した観測値である確率が0.7であり、物品ID=0003以外の物品を観測した確率は、0.1であることを示す。
 領域502の1番目の観測値が物品ID=0001を観測した確率(0.4)よりも、3番目の観測値が物品ID=0003を観測した確率(0.7)の方が高く、物品の識別の信頼性という意味からすると、1番目の観測値よりも3番目の観測値の方が信頼性が高いということになる。
 識別する物品それぞれの画像的特徴、又は、物品間の画像的特徴の差、又は、物品を観測する空間の照明条件、又は、オクルージョンの状況(手前側に位置する物体で奥側に位置する物体が認識しにくくなっている状況)などによって、物品の認識間違いの状況は変わってしまう。そのため、理想的には、観測を行う度に、その観測条件を考慮して識別間違いの可能性を反映した観測ID尤度を算出すべきであるが、そのためには、事前にあらゆる観測条件を評価することが必要で、事実上、そのようなことは実行不可能である。
 実用上は、ある一定の(あるいは、限定した複数の)観測条件の下で、物品の識別実験を行い、物品識別の正解率から物品ごとに観測ID尤度を求めておいて、実際に物品の位置推定を行う際に、求めておいた観測ID尤度を割り当てることで近似する。本第1実施形態においても、物品画像認識センサ209が出力する観測ID尤度は、実験により予め求められているものとする。
 さて、次に、領域503に示す2つの観測値に注目すると、観測ID尤度の分布から、領域503の1番目の観測値は物品ID=0001を観測した可能性が最も高く、領域503の2番目の観測値は物品ID=0002を観測した可能性が最も高い、という結果である。
 しかし、物品の真の位置に対する観測位置の誤差範囲を考慮すれば、実際は1番目の観測値は物品ID=0002を観測し、2番目の観測値は物品ID=0001を観測したことが分かる。
 つまり、図5の領域503では、物品ID=0001と物品ID=0002とを取り違えて識別したケースを示している。ここで注意すべきことは、物品の識別間違いを含む観測値を特定する形で説明しているが、これは、物品の真の位置が分かっているとした場合のことであり、実際には、観測値だけからは物品の識別間違いが起こっているかどうかは分からないということである。
 物品状態変化判定部203は、観測対象の室内(観測空間の一例)に存在する物体の識別情報及び物体の位置情報を含む観測値が逐次得られる度に、各物体の識別情報及び位置情報を含む観測値と、観測対象の各物体の室内での存在状態及び各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、室内での物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する。具体的には、物品状態変化判定部203は、観測値取得手段201が取得した観測値と、物品位置推定値テーブル206に保持された過去の物品位置の推定値から、「物品が取られた」、又は、「物品が置かれた」という物品の存在状態変化が起こったかどうかを、観測値を受け取る度に逐次判定する。
 物品状態変化判定部203の動作については、後ほどフローチャートを用いて詳細に説明する。
 物品状態変化判定部203で「物品の存在状態変化有」と判定された場合、判定に用いた観測値の観測時刻及び物品の存在状態判定結果を物品状態変化判定部203が物品状態変化情報テーブル204に追加記録する。
 物品状態変化情報テーブル204は、物品状態変化判定部203で判定された物品状態変化情報(物品が置かれた、又は、物品が取られたなどの物品の存在状態の変化に関する情報)を、観測時刻と共に記録する。記録された情報の例を図6に示す。
 図6においては、物品IDごとに、物品が取られたことを「TAKE」 で表現し、物品が置かれたことを「PUT」で表現している。空欄については、当該の物品に関しては存在状態変化が無いことを示している。
 バッチ推定部205は、物体状態変化判定部203により、物体の存在状態に変化があったと判定されたとき、物体状態変化判定部203が物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、物体状態変化判定部203が決定した物体の存在状態とに基づき、物体の識別情報及び位置情報の推定を行う。具体的には、バッチ推定部205は、物品状態変化判定部203からの判定結果情報に基づき、物品状態変化判定部203が、「物品の存在状態変化有」と判定した時刻から、一定時間経過するまでに得られた観測値を、観測値蓄積テーブル202から受け取り、その複数時刻に渡る観測値群を入力として、バッチ推定処理を実行する。
 バッチ推定部205の動作については後で説明する。
 物品状態変化判定部203で判定された物品の存在状態変化の結果と、バッチ推定部205で推定された物品位置の結果における物品の存在状態とに矛盾があったということを、バッチ推定部205で判定した場合は、バッチ推定部205の物品位置推定結果に基づき、物品状態変化情報テーブル204の物品状態変化情報をバッチ推定部205が書き換える。バッチ推定部205で推定された、物品毎の世界座標系における推定位置は、時刻情報と共に物品位置推定値テーブル206に追加記録される。このとき、記録する時刻情報は、バッチ推定に用いた観測値群の中で最初の観測値の観測時刻を用いる。
 物品位置推定値テーブル206は、バッチ推定部205で推定された物品毎の推定位置の情報を記録する。記録された情報の例を図7に示す。図7の表中における、数値が入っていない(ハイフンで表現した)部分は、物品が人などにより持ち運ばれており、物品の位置が推定できなかったことを示している。
 物品位置推定値出力部207は、物品位置表示操作用マウス211から物品位置表示ディスプレイ210を介して、ある時刻における特定の物品の位置の情報を出力するよう要求を受けた場合に、物品位置推定値テーブル206に記録されている物品毎の位置情報の中で、当該時刻に最も近い過去の位置推定値を出力する。ただし、指定された物品の位置情報が無い場合、つまり、指定された物品が人などにより持ち運びされている状態の場合は、指定された物品の位置情報を出力する代わりに、「持ち運び中」であるという情報を物品位置推定値出力部207から出力する。
 図7に示す例のように物品の推定位置が記録されていると仮定して、物品位置表示ディスプレイ210から物品位置推定値出力部207が時刻300(sec)における物品ID=0001の位置の出力を要請された場合は、時刻300(sec)に最も近い過去の時刻251(sec)での推定位置である(125.1,653.8,0.1)を物品位置推定値出力部207から物品位置表示ディスプレイ210に出力する。物品位置表示ディスプレイ210から物品位置推定値出力部207が時刻300(sec)における物品ID=0002の位置の出力を要請された場合、時刻300(sec)に最も近い過去の時刻251(sec)において、物品ID=0002が人などにより持ち運ばれており物品ID=0002に関してその位置が推定できていないので、「人により持ち運び中」であることを物品位置推定値出力部207から物品位置表示ディスプレイ210に出力する。 物品位置表示ディスプレイ210は、物品位置表示操作用マウス211などを使用してユーザから指定された各物品の位置情報を物品位置推定値出力部207に要求し、受け取った各物品の推定位置を画面上に表示する。
 図8に物品位置表示ディスプレイ210の表示画面210aの表示例を示す。矩形領域801は、部屋300を天井301から床面302を見下ろしたときの平面座標系、すなわち、部屋300の世界座標のXY平面に対応する。矩形領域801の左上角が原点(X,Y)=(0,0)である。各物品の位置は、黒丸印「●」と物品のIDと、物品が置かれた時刻tと、物品位置のXYZ座標とで示される。ここでは、一例として、時刻300(sec)における物品位置が、図7の時刻251(sec)における各物品の推定位置に基づいて表示されている。
 矩形領域802は、人などによって運搬されている物品(位置推定ができなかった物品、言い換えれば、位置情報が無い物品)のIDを表示する。図8の例では、物品ID=0002が、人などによって運搬されており、位置情報が無いことを示す。
 矩形領域803では、ユーザが物品位置を知りたい時刻を設定する。ユーザは、物品位置表示操作用マウス211を操作し、表示画面210a内のマウスポインタ804を動かして、矩形領域803の「戻る」ボタン、あるいは、「進む」ボタンをクリックすることによって、矩形領域803の右端に表示される時刻tの値を増減させることで、物品位置を知りたい時刻を指定する。
 物品位置表示ディスプレイ210は、ユーザが、物品位置表示操作用マウス211を操作して物品位置を知りたい時刻を設定する度に、物品位置推定値出力部207に、当該時刻における物品の位置情報を要求し、物品位置推定値出力部207から物品位置推定値を受け取り、矩形領域801と矩形領域802にそれぞれ、各物品の位置と、人などによって運搬されている物品のIDとを表示する。
 以後、物体位置推定装置200の動作を、図9、図10、及び、図11のフローチャートを用いて詳細に説明する。
 これ以降の物体位置推定装置200の動作の説明では、物品の存在状態変化が図14に示すタイミングチャートの上半分のチャート14Aのように起こったとものとして説明を進める。この物品の存在状態変化のタイミングチャートであるチャート14Aの縦軸は位置を表し、横軸は時間を表す。位置に関しては、説明の簡略化のために1次元で表している。物品ID=0001から物品ID=0004までの4個の物品の真の位置を実線の矢印で表し、物品が例えば人により持ち運ばれている状態を破線の矢印で表している。
 物品は、人によって持ち運ばれるとき以外は静止しているので、チャート14Aでは、物品位置は位置軸に直交した直線で表現される。一方、物品が人によって持ち運ばれている間は任意の動きになるが、持ち運ばれている間の物品の位置は推定の対象外としているので、チャート14Aでは便宜上(破線)直線で表現している。
 チャート14Aにおいて、物品存在状態変化があった(物品が「取られた」又は「置かれた」)時刻及び位置は、白丸の「○」印で表示し、物品が置かれた場合は白丸の「○」印中に「P」を表示し、物品が持ち去られた場合は白丸の「○」印中に「T」を表示している。
 チャート14Aは、時刻t1に物品ID=0004が置かれ、時刻t5に物品ID=0004が取られ、時刻t8に物品ID=0001と物品ID=0002とが取られ、時刻t11に物品ID=0001が置かれ、時刻t14に物品ID=0004が置かれるという物品の存在状態変化を表現している。時刻t1からt16までの間、物品ID=0003は何も存在状態が変化していないことを示している。
 図14に示す物品の存在状態変化に応じて、時刻t1,t4,t5,t8,t11,t14における物品の観測値は、図13のとおり得られたものとする。
 図9は、物体位置推定装置200の動作フローを表すフローチャートである。ここでの動作の大まかな流れは、物品の観測値を得て、その観測値と物品の最新の推定位置とから、物品の存在状態変化があったかどうかを判定し、存在状態変化があった場合のみ、バッチ推定により、新たに位置の推定を行い、推定位置を記録するというものである。
 図9におけるステップS100の観測値取得処理は、図2Aの物体位置推定装置200における観測値取得部201により実行される動作に対応する。ステップS100では、観測値取得部201が、図2A及び図2Bの物品画像認識センサ209から出力される観測値を取得し、時刻管理部208から得た現在時刻を、観測時間として、この観測時間と観測値とを、観測値蓄積テーブル202に記録するとともに物品状態変化判定部203に出力する。
 次に、ステップS200の物品状態変化判定処理が、図2Aの物体位置推定装置200における物品状態変化判定部203により実行される。
 ステップS200の内部処理について、図10のフローチャートを用いて説明する。
 図10のフローチャートにおいて、ステップS201からステップS202までの処理は、新たな物品が観測されたか、あるいは、置かれている物品が観測されなかったかという基準で、物品の存在状態変化があったかどうかを物品状態変化判定部203で判定する処理である。
 ステップS203からステップS206は、物品が新たに置かれたときにどの物品が置かれたかを物品状態変化判定部203で判定する処理である。
 ステップS207からステップS209は、物品が取られたときにどの物品が取られたかを物品状態変化判定部203で判定する処理である。
 ステップS210は、物品の存在状態変化がなかったときの物品状態変化判定部203での処理である。 ステップS201では、現時刻において観測値取得部201から得られた複数の観測値と、物品位置推定値テーブル206に記録されている現時刻における最新の物品毎の物品位置推定値との、すべての組み合わせに対して、以下の(式1)で定義されるアソシエーション尤度を物品状態変化判定部203で計算する。物品位置推定値の数をNとし、得られている観測値の数をMとすると、M×N個のアソシエーション尤度を物品状態変化判定部203で計算することになる。
Figure JPOXMLDOC01-appb-M000001
 アソシエーション尤度は、実際の物品と観測値との対応の確からしさを表す値であり、確率論として数学的に定式化できる。(式1)の左辺において、物品位置推定値の数をNとすると、XはN個分の物品位置推定値の結合ベクトルであり、yは、観測ID尤度yIDと観測位置yposを結合した観測値のベクトルである。rは、yがN個の物品のうち、どの物品を観測したかを表す状態変数で、r=jの場合物品IDがjの物品を観測したということを意味する。(式1)の左辺は、ある物品位置推定値ベクトルXが与えられ、物品jを観測したとしたときに、観測値ベクトルyが得られる条件付き確率である。
 (式1)の右辺ppos(ypos|X,r=j)は、観測値ベクトルyの観測位置であるyposのj番目の物品の位置に対する尤度を表している。そして、(式1)の右辺のpID(yID|X,r=j)は、観測値のうち観測ID尤度に相当する項である。本第1実施形態では、このように(式1)の右辺で表現している通り、物品の位置の尤度と観測ID尤度とは互いに独立とするモデルにより、定式化する。
Figure JPOXMLDOC01-appb-M000002
 (式2)は、(式1)のppos(ypos|X,r=j)を定義する式である。本第1実施形態においては、物品画像認識センサ209の位置誤差特性は、3次元の正規分布で近似できるものとする。(式2)において、dは位置の座標の次元数でありd=3である。xは物品IDがjである物品の推定位置の3次元座標値、yposは観測値の観測位置の3次元座標値を表す。Σは3×3の行列で物品画像認識センサ209の位置誤差特性を表す共分散行列である。特に、各次元の位置誤差の間に相関がない場合は、対角成分が各次元の誤差の分散となる対角行列となる。このΣについては、物品画像認識センサ209で物品の位置計測実験を予め行って求めておく。
Figure JPOXMLDOC01-appb-M000003
 (式3)は(式1)のpID(yID|X,r=j)を定義する式である。ここでCは、物品画像認識センサ209の物品IDがjの物品に関する識別率である。また、Nは観測の対象となる物品の数である。本第1実施形態では、観測ID尤度が(式3)の式で定式化されているものとする。すなわち、物品IDがjの物品を観測した際には、観測ID尤度の物品IDがjに関する尤度は、Cであり、物品IDがjではない物品IDに関する尤度は、(1-C)/(N-1)で得られるとする。この定義では、物品IDがj以外の物品を観測したときに、物品IDがjの物品であると誤識別する確率は、物品IDがj以外の物品に関して、すべて同じであるとして扱っている。Cの値については、物品画像認識センサ209に関する説明で述べた通り、物品画像認識センサ209で物品の識別実験を予め行って求めておく。
 図15,図16、及び、図17にステップS201で計算したアソシエーション尤度の例を示す。
 図15は、物品ID=0004が置かれた時刻t1における計算結果である。具体的には、現時刻が時刻t1であるとすると、図13の時刻t1での観測値1301と、図19の、時刻t1における最新の時刻である時刻t0での物品位置推定値との組み合わせに関して計算される。なお、図19の時刻t0は図14のチャート14Aには記載されていないが、時刻t0は、時刻t1より前の時刻であって、物品ID=0004が取られた際にバッチ推定によって得られた物品位置推定値が記録された時刻である。
 図16は、物品の存在状態変化が無い時刻t4における計算結果である。図13の時刻t4における観測値1302と、時刻t4より前の図19の時刻t1における物品位置推定値との組み合わせに関して計算される。
 図17は、物品ID=0004が持ち去られた時刻t5における計算結果である。図13の時刻t5における観測値1303と、時刻t5より前の図19の時刻t1における物品位置推定値との組み合わせに関して計算される。
 ステップS202では、ステップS201で尤度を計算するのに用いた観測値数Mと物品位置推定値数Nとを物品状態変化判定部203で比較して、条件分岐を行う。
 条件分岐の内容は、
  1)M>Nの場合は、ステップS203に進む(新たに物品が置かれた場合)、
  2)M=Nの場合は、ステップS210に進む(物品の存在状態に変化が無い場合)、
  3)M<Nの場合は、ステップS207に進む(物品が取られた場合)、
の3つである。図14の時刻t1,t4,t5においてアソシエーション尤度を計算した結果が、それぞれ図15,図16,図17である。ステップS202において、時刻t1ではN=3,M=4で前記1)の条件分岐になり、時刻t4ではN=4,M=4で前記2)の条件分岐になり、時刻t5ではN=4,M=3で前記3)の条件分岐となる。
 次に、新たに物品が置かれた場合の処理に相当するステップS203からステップS206までの処理について説明する。処理の具体例として、図15に示す時刻t1における尤度の計算結果に基づいて説明する。
 ステップS203からステップS206までの処理の流れをまず簡単に説明すると、ステップS203とステップS204とで、現在置かれている物品には対応しない観測値が、どの観測値であるか、を物品状態変化判定部203で決定する。次に、ステップS205で、物品に対応しない観測値が、どの物品を観測したものであるか、を物品状態変化判定部203で決定し、ステップS206で物品存在状態判定結果として物品状態変化判定部203から出力する、というものである。
 ステップS203では、ステップS201で計算した尤度に対して物品位置推定値の物品IDを固定した上で、アソシエーション尤度の大きさの順序を物品状態変化判定部203で決定する。例えば、物品状態変化判定部203により、図15の尤度の計算結果の表の列方向に尤度の大きさを比較して順序を決定する。
 次いで、ステップS204では、物品状態変化判定部203により、ステップS203でアソシエーション尤度の順序を決定した後、どの物品IDに関してもアソシエーション尤度が最大とならない観測値を特定する。
 図15のアソシエーション尤度の計算結果の表では、背景が灰色の箇所1501,1502,1503が、ステップS203で順序を決定した結果、最大となったアソシエーション尤度である。ここで、観測値1は、物品ID=0001の位置推定値に関してアソシエーション尤度が最大である(図15の1501の欄参照)。観測値2は、物品ID=0002の位置推定値に関してアソシエーション尤度が最大である(図15の1502の欄参照)。観測値3は、物品ID=0003の位置推定値に関してアソシエーション尤度が最大である(図15の1503の欄参照)。しかし、観測値4は、どの物品に関しても、最大となるアソシエーション尤度がない。よって、観測値4が、ステップS204で特定される観測値となると物品状態変化判定部203により判定する。
 次いで、ステップS205では、ステップS204で特定された観測値の観測ID尤度の中で最も尤度が高い物品IDを物品状態変化判定部203により特定する。
 図15のアソシエーション尤度の計算結果に基づいて、ステップS204では観測値4が特定されている。観測値4は、図13の中の1301の観測値の上から4番目の観測値であり、観測ID尤度が最大の物品IDは0004である。従って、ステップS205では物品IDが0004と物品状態変化判定部203により特定される。
 次いで、ステップS206では、ステップS205で特定された物品IDを持つ物品が、「新たに置かれた物品である」ことが、物品状態変化判定部203により決定され、ステップS200の出力として「当該物品IDが置かれた」という物品存在状態変化判定結果を、物品状態変化判定部203が出力する。
 図15のアソシエーション尤度の計算結果に基づくと、ステップS203からステップS206の一連の処理の結果として、物品状態変化判定部203は、物品IDが0004の物品がPUTされたこと(置かれたこと)を出力する。
 次に、物品存在状態に変化が無い場合に相当するステップS210の処理について説明する。ここでは物品状態変化判定部203の出力として、物品存在状態変化なしを出力する。図14の時刻t4の時点では、物品の存在状態変化が無かったと判定される。
 次に、物品が取られた場合に相当するステップS207からステップS209までの処理について説明する。処理の具体例として、図17に示す時刻t5における尤度の計算結果に基づいて説明する。
 ステップS207からステップS209までの処理の流れをまず簡単に説明すると、ステップS207とステップS208とで、得られた観測値と対応しない物品が、どの物品か、を物品状態変化判定部203で決定する。次に、ステップS209では、ステップS208で決定した、物品IDが取られたという物品存在状態判定結果を物品状態変化判定部203から出力するというものである。
 ステップS207では、ステップS201で計算したアソシエーション尤度に対して、観測値を1つに固定した上で、アソシエーション尤度の大きさの順序を物品状態変化判定部203で決定する。例えば、物品状態変化判定部203により、図17のアソシエーション尤度の計算結果の表の行方向に尤度の大きさを比較し順序を決定する。
 次いで、ステップS208では、物品状態変化判定部203により、ステップS207でアソシエーション尤度の順序を決定した後、どの観測値に関してもアソシエーション尤度が最大とならない物品IDを特定する。
 図17の例で説明すると、背景が灰色の箇所1701,1702,1703が、ステップS207で順序を決定した結果、最大となったアソシエーション尤度である。ここで、物品ID=0001の位置推定値は、観測値1に関してアソシエーション尤度が最大である(図17の1701の欄参照)。物品ID=0002の位置推定値は、観測値2に関してアソシエーション尤度が最大である(図17の1702の欄参照)。物品ID=0003の位置推定値は、観測値3に関してアソシエーション尤度が最大である(図17の1703の欄参照)。しかし、物品ID=0004の位置推定値は、どの観測値に関しても、最大となるアソシエーション尤度がない。よって、物品IDの0004が、ステップS208で特定される物品IDとなると物品状態変化判定部203により判定する。
 次いで、ステップS209では、ステップS208で特定された物品IDを持つ物品が、「取られた物品である」と物品状態変化判定部203により決定し、ステップS200の出力として「当該物品IDが取られた」という物品存在状態変化判定結果を、物品状態変化判定部203から出力する。
 図17のアソシエーション尤度の計算結果に基づくと、ステップS207からステップS209の一連の処理の結果として、物品状態変化判定部203は、物品IDが0004の物品がTAKEされた(取られた)ことを出力する。
 以上が、ステップS200の物品状態変化判定処理の説明である。 再び、図9のフローチャートに戻り物体位置推定装置200の処理ステップの説明を続ける。
 ステップS200に続くステップS300では、ステップS200の処理で、物品存在状態の変化があると物品状態変化判定部203で判定された場合は、ステップS400へ分岐し、物品存在状態の変化がないと物品状態変化判定部203で判定されれば、ステップS100に戻る。
 ステップS400では、ステップS200で物品状態変化判定部203により決定された、物品状態変化判定部203からの物品存在状態変化の判定結果の出力に応じて、物品状態変化判定部203により物品状態変化情報テーブル204に物品存在状態の変化を記録する。記録する内容は、物品状態変化情報テーブル204の説明のとおりである。
 ステップS500は、物品存在状態に変化があった場合に、バッチ推定部205が行う物品位置のバッチ推定処理である。
 ステップS500の内部の処理フローを、図11のフローチャートで説明する。
 図11のステップS501においては、まず、物品状態変化があったと物品状態変化判定部203で判定された際に取得された時刻から、あらかじめ定められた時間の間、観測値取得部201で観測値を取得し、観測値蓄積テーブル202に観測値を記録するよう、バッチ推定部205が観測値取得部201に指令する。
 なお、ここで、観測値を取得する時間(あるいは、取得する回数)については、実験により所望の位置精度(位置に関するバラツキの上限)が予め得られるように、また、バッチ処理による位置推定処理が完了するまでの時間が、対象とする物品の状態変化の頻度上、問題とならない範囲になるように定めるものとする。
 例えば、本第1実施形態における物体位置推定装置200で、位置の推定対象とする物品に関して、物品を静止状態にした上で、物品画像認識センサ209から観測値を観測値取得部201で取得する時間を変化させた上で(あるいは、観測値を取得する回数を変化させた上で)、バッチ推定部205でバッチ推定処理を行わせ、必要とする位置精度が得られる最小の観測値の取得時間(例えば数秒、あるいは、最小の観測値の取得回数)を、一定の時間(あるいは回数)と定める。
 ステップS502では、ステップS200で物品状態変化があったことを判定した際に用いた観測値と、ステップS501で一定時間、複数回取得した観測値とを合わせて観測値蓄積テーブル202から取得し、バッチ推定部205により、バッチ推定による物品位置推定を行う。
 バッチ推定の方法としては、複数の物品と複数の観測値との対応関係を確率的に取り扱うことが可能な推定アルゴリズムを用いる。バッチ推定部205による推定アルゴリズムの一例としては、例えば(非特許文献1:Hirofumi Kanazaki,Takehisa Yairi,Junichi Shibata,Yohei Shirasaka and Kazuo Machida,"Localization and Identification of Multiple Objects with Heterogeneous Sensor Data by EM Algorithm",SICE-ICASE International Joint Conference (SICE-ICCAS) 2006)で開示されている方法を用いることができる。本第1実施形態では、物品画像認識センサ209で得られる観測値に、物品の識別に関する尤度(観測ID尤度)を含むので、前記非特許文献1で開示されているデータアソシエーションの枠組みを組み込んだEMアルゴリズムを適用することが可能である。
 ここで、非特許文献1で開示されているアルゴリズムを用いたバッチ推定処理の概要について、補足説明する。
 以下の補足説明において、XはN個分の物品位置推定値の結合ベクトルであり、xj,posは、j番目の物品推定位置とする。Yは、バッチ推定の入力となるM個の観測値の結合ベクトルであり、i番目の観測値をyiとする。yiは、観測ID尤度yIDと観測位置yposを結合した観測値のベクトルとする。さらに、rは観測値yiがどの物品を観測したかを表わす状態変数である。(例えばr=jである場合は、観測値yiは、j番目の物品を観測したという状態を表す。)なお、ここでのX,Y、rに関する定義は、本実施形態における物品位置の推定値、物品の観測値(物品ID尤度、および、観測値)、観測値がどの物品を観測したかを表す状態変数の定義と同じ意味であるので、以下説明する具体的なバッチ推定アルゴリズムを、本実施形態でのバッチ推定部205のバッチ推定方式として使えることを述べておく。
 以下説明するバッチ推定アルゴリズムは、MAP推定法(事後確率最大化推定法)と呼ばれるものであり、p(X|Y)で表される確率を最大化するXの値(X=X)を求めることにより、Xすなわち、物品位置の推定を行うものである。
Figure JPOXMLDOC01-appb-M000004
 この(式4)のMAP推定で得られるXの意味するところは、観測データYを得た時、X=Xにおいて、p(X|Y)が最大になるとすれば、Xが最も確からしいXの値であることである。すなわち、Xが物品位置として尤も確からしい位置を与えることになる。
 ベイズの定理により、p(X|Y)は、次のように変形される。
Figure JPOXMLDOC01-appb-M000005
 (式5)のように変形した上で、MAP推定をEMアルゴリズムによって行う。EMアルゴリズムは、E-Step(推定ステップ),M-Step(最大化ステップ)という2つの計算ステップを繰り返すことにより、MAP推定を実行するアルゴリズムである。X(t)を、EMアルゴリズムの繰り返し計算のt番目の計算によって得られた物品位置Xの推定値であるとする。(式5)のように変形されたp(X|Y)のMAP推定を行うEMアルゴリズムを以下に示す。
Figure JPOXMLDOC01-appb-M000006
 ここで、本実施形態の(式1)の定義から、p(y|X,r=j)=PID(yi,ID|X,r=j)・ppos(yi,pos|r=j)となるので、(式6)に代入すると、
Figure JPOXMLDOC01-appb-M000007
 となる。この変形において、N個の物品は同じ頻度で観測されるので、(式6)においてppos(ri,pos|X)=1/Nとおいた。
 (式7)のQ(X|X(t))に関して、(式6)のM-Stepすなわち、Q(X|X(t)が最大になるXを求めるために、
Figure JPOXMLDOC01-appb-M000008
を解くことで、
Figure JPOXMLDOC01-appb-M000009
を得る。
 さらに、(式6)のαに関して、
Figure JPOXMLDOC01-appb-M000010
を得る.この変形においてもppos(yi,pos|X)=1/Nとおいた。なお、(式9)の右辺は本実施形態の(式1)、(式2)、(式3)において、X=X(t+1)代入することにより得られる。ここで得られた(式8)、(式9)がX(t)からX(t+1)を求める更新式であり、この更新式に基づいた繰り返し計算により、Xを求めることができる。
 この繰り返し計算における物品推定位置の初期値は、X(0)として与える。
 前記ステップS502でバッチ推定を開始する際の、物品位置推定の初期値の与え方について説明する。
 新たに物品が置かれた場合、存在状態変化の無かった物品については、物品位置推定値テーブル206に記録されている最新の物品位置推定値を物品位置推定の初期値としてバッチ推定部205で用いる。新たに置かれた物品に関する物品位置推定処理での推定位置の初期値としては、ステップS204で特定された観測値の観測位置をバッチ推定部205で用いる。物品が取られた場合は、取られた物品以外の物品を存在状態変化が無かったとして、バッチ推定部205で扱う。
 ステップS503では、ステップS502で得られた各物品の推定位置をバッチ推定結果としてバッチ推定部205から出力する。
 以上が、ステップS500でのバッチ推定部205が行う物品位置のバッチ推定処理の説明である。
 再び、図9のフローチャートに戻る。
 ステップS500に続くステップS600は、ステップS500においてバッチ推定部205の推定結果から判明する物品の存在状態と、ステップS200において物品状態変化判定部203で判定した物品の存在状態との間に矛盾が生じているかをバッチ推定部205で判定する。
 ステップS600において、矛盾が生じているとバッチ推定部205で判定された場合は、ステップS700において、バッチ推定部205から得た推定結果に基づき、バッチ推定部205により、物品状態変化情報テーブル204内の物品の存在状態を書き換える。
 ここで、ステップS600におけるバッチ推定部205での判定処理、及び、ステップS700におけるバッチ推定部205による物品状態変化情報テーブル204内の物品の存在状態の書き換えが必要な理由を説明する。
 ステップS200において物品が追加されたときの処理フローの中のステップS205において、既に存在する物品に対応しない観測値の観測ID尤度で最大の物品IDを追加された物品のIDであると物品状態変化判定部203で特定している。このとき、一時的なオクルージョン又は観測する空間の照明の変動などの物品観測上の外乱により、物品画像認識センサ209が物品の識別誤りを起こす可能性がある。識別誤りを起こした場合は、本当に追加された物品IDではない物品IDの尤度が高くなり、その結果、ステップS200において物品状態変化判定部203は、誤った物品IDの物品が追加された物品であると誤って判定し、ステップS400において、物品状態変化情報テーブル204に誤った物品IDの物品がPUTされたと、物品状態変化判定部203により記録されてしまう。
 しかし、ステップS500において、バッチ推定部205により一定時間内の複数の観測値に基づいて物品位置の推定処理を行うので、一時的な外乱による物品の識別誤りの影響が抑えられ、最終的に正しい物品IDの物品が追加されたことがバッチ推定部205により判明する。
 したがって、ステップS600において、ステップS500のバッチ推定処理により得られた正しい物品の存在状態と、物品状態変化情報テーブル204に記録された物品の存在状態とをバッチ推定部205で比較し、両者が異なるとバッチ推定部205で判定した場合は、ステップS700において、物品状態変化情報テーブル204の内容をステップS500のバッチ推定処理の結果に基づいてバッチ推定部205が書き換える。
 ステップS600で、前記したように矛盾が発生し、ステップS700で書き換えを行う具体例については、後で詳しく説明する。
 ステップS600で矛盾がないとバッチ推定部205で判定された場合、又は、ステップS700において、物品状態変化情報テーブル204の内容をステップS500のバッチ推定処理の結果に基づいてバッチ推定部205が書き換えた後は、ステップS800に進む。
 ステップS800は、ステップS500でバッチ推定部205により推定された物品毎の物品位置推定値を、物品位置推定値テーブル206にバッチ推定部205により記録する。記録される位置推定値については、物品位置推定値テーブル206の説明で述べた通りである。ステップS800の処理の後は、一連の物体位置推定処理動作を終了するか、又は、図示のように、ステップS100へ戻る。
 ここまでで説明した、物体位置推定装置200の動作フロー(図9、図10、及び、図11)の主要な処理ステップに関して、物品の存在状態変化に応じてどのようなタイミングで各処理が行われるかについて、タイミングチャート形式で簡単に触れておく。
 図14の下半分のチャート14Bは、図9、図10、及び、図11に示した物体位置推定装置200の処理フローの主な処理ステップが動作するタイミングを示すチャートである。この物体位置推定装置200の動作シーケンスのタイミングチャートであるチャート14Bは、物品の状態変化の時間経過を表すチャート14Aと時間軸(横軸)を共有している。チャート14Bにおいて、「▲」は短時間で行われる処理ステップが動作したタイミングを表し、実線矢印は、短時間処理のステップが繰り返し行われる期間、あるいは、一定時間継続する処理ステップが動作しているタイミングを表す。
 物品の状態変化が起こっていない期間(t<t1,t3<t<t5,t7<t<t8,t10<t<t11,t13<t<t14,t16<t)は、ステップS100~ステップS300の観測値取得と物品の状態変化の判定処理とが繰り返し行われる。
 物品状態変化(物品存在状態変化)が起こったタイミング(t=t1,t5,t8,t11,t14)では、ステップS400を経てステップS500でバッチ推定部205による物品の位置推定処理が行われる。ステップS500で複数の観測値を取得し(ステップS501)、バッチ推定処理(ステップS502)が完了した後、ステップS800で、バッチ推定で得られた物品位置推定値を、物品位置推定値テーブル206に記録したのち、ステップS100に戻り、ステップS100~ステップS300の繰り返しが再開される。
 なお、図18は時刻t=t16の時点での、物品状態変化情報テーブル204の内容を表し、図19は、同じく時刻t=t16の時点での、物品位置推定値テーブル206の内容を表す。
 図14のタイミングチャートにおいて、t=t8においては、物品ID=0001、物品ID=0002の2つの物品が同時に取られるケースが生じている。この場合においても、図10のフローチャートのステップS201からステップS209に至る処理フローを通じて、次のように2つの物品が取られたことが判定される。
 t=t8において得られた1つの観測値(図13の1304)と、その時点での最新の物品位置推定値(図19のt=t5の物品位置推定値)に関して、ステップS201でアソシエーション尤度の計算が物品状態変化判定部203でなされ、ステップS202では、物品位置推定値の個数N=3に対して、観測値の個数M=1であるため、物品が取られたと物品状態変化判定部203で判定される。
 図20に時刻t8におけるアソシエーション尤度の計算結果を示す。このアソシエーション尤度に基づいて、ステップS207及びステップS204の処理において、物品ID=0001及び物品ID=0002の両方が、この1つ得られている観測値(図13の1304)に対して、尤度が最大ではないので、この2つの物品が取られたと物品状態変化判定部203で判定される。
 図14のタイミングチャートにおいて、t10<t<t11の期間では、物品ID=0001、物品ID=0002、物品ID=0004の3つが取られている状態であり、t=t11で、その内の1つ置かれた(図14では物品ID=0001が置かれた)という状況が発生している。t=t11において、物品ID=0001、物品ID=0002、物品ID=0004のうち、どの物品が置かれたかの物品状態変化判定部203での判定については、図10のフローチャートのステップS201からステップS206に至る処理フローを通じて、物品状態変化判定部203で、次のように解決される。
 まず、t=t11において得られた2つの観測値(図13の1305)と、その時点での最新の物品位置推定値(図19のt=t8の物品位置推定値)に関して、ステップS201でアソシエーション尤度の計算が物品状態変化判定部203でなされ、ステップS202では、物品位置推定値の個数N=1に対して、観測値の個数M=2であるため、物品が置かれたと物品状態変化判定部203で判定される。
 ステップS203及びステップS204の処理では、物品ID=0002の位置推定値、あるいは、と物品ID=0003の位置推定値のどちらに関しても、アソシエーション尤度が最大にならない観測値(図13の1305の上から1番目)が物品状態変化判定部203で特定される。
 ステップS205では、その特定された観測値の、観測ID尤度のうち、値が最大になる物品IDは、0001であるため、物品IDは0001と物品状態変化判定部203で特定され、物品ID=0004ではなく、物品ID=0001が置かれたことが物品状態変化判定部203で判定できる。
 ここで、図9のフローのステップS600及びステップS700の処理を具体例に基づいて補足説明する。
 図14のタイミングチャートにおいて、t=t14において、物品ID=0004が置かれている。このとき(t=t14)の物品の観測値は、図13の1306である。観測値1306の上から3つ目の観測値は、t=t14で置かれた物品ID=0004に対応するものだが、物品画像認識センサ209の物品の識別誤りにより、ID=0004ではなくID=0002の観測ID尤度が最大になっている。
 観測値1306と、その時点での最新の物品位置推定値(図19のt=t11の物品位置推定値)に関して、ステップS201でアソシエーション尤度の計算が物品状態変化判定部203でなされ、ステップS202では、物品位置推定値の個数N=2に対して、観測値の個数M=3であるため、物品が置かれたと物品状態変化判定部203で判定される。
 図21にt=t14におけるアソシエーション尤度の計算結果を示す。ステップS203、ステップS204の処理では、この図21の尤度の計算結果に基づき、物品ID=0001の位置推定値、あるいは、物品ID=0003の位置推定値のどちらに関しても、アソシエーション尤度が最大にならない観測値(図13の1306の上から3番目)が物品状態変化判定部203で特定される。ステップS205では、その特定された観測値の、観測ID尤度のうち、値が最大になる物品IDは、上述の通り、ID=0002であるため、物品IDは0002と物品状態変化判定部203で特定され、図9のステップS200では、物品ID=0002が置かれたと物品状態変化判定部203で判定される。
 そして、ステップS400では、物品状態変化情報テーブル204に、物品ID=0002がPUTされたと物品状態変化判定部203で記録される。
 次に、ステップS500のバッチ推定処理では、複数回数に渡る観測値を入力として、物品位置の推定を行うので、一時的に物品の識別誤りを含んだ観測値1306以降に得られる識別誤りのない観測値と合わせて、バッチ推定部205が推定することにより、物品ID=0004を物品ID=0002に識別誤りした観測値1306の影響は抑えられ、推定結果として物品ID=0001、物品ID=0003、物品ID=0004が存在するという推定結果がバッチ推定部205により得られる。
 そこで、ステップS600では、物品状態変化情報テーブル204に記録された物品状態変化情報をバッチ推定部205が参照し、物品ID=0002がPUTされたという情報が、バッチ推定処理結果と矛盾するというバッチ推定部205での判定になる。そのため、ステップS700において、物品状態変化情報テーブル204に記録された物品ID=0002がPUTされたという情報をバッチ推定部205で削除し、物品状態変化情報テーブル204内において物品ID=0004がPUTされたという情報にバッチ推定部205で書き換える。
 よって、物品画像認識センサ209の一時的な物品の識別情報の誤りにより、物品状態変化判定部203が、物品状態の変化の判定を誤っても、バッチ推定部205での複数観測値による物品位置推定処理により、物品状態変化情報テーブル204に記録される物品状態情報が正しく訂正される。
 最後に、物品位置表示ディスプレイ210の動作について、図12のフローチャートで説明する。なお、図9に示される処理フローと、図12の処理フローとは、互いに独立に(非同期)に動作するものとする。
 図12のステップS900では、物品位置表示操作用マウス211を使用することにより、ユーザが物品の位置を知りたい時刻の設定を物品位置表示ディスプレイ210で受け付ける。具体的には、物品位置表示ディスプレイ210の画面(図8)で、ユーザがマウスポインタ804を操作し、矩形領域803の「戻る」ボタン、あるいは、「進む」ボタンをクリックする、あるいは、クリックし続けることで、矩形領域803の右端の時刻tを変化させ、ユーザがクリック状態を解放したタイミングで表示されている時刻tを、ユーザが物品位置を知りたい時刻として物品位置表示ディスプレイ210で設定する。
 次いで、ステップS1000では、ステップS900で設定した時刻における物品位置の情報を物品位置表示ディスプレイ210から物品位置推定値出力部207に対して要求する。
 次いで、ステップS1100では、物品位置推定値出力部207が、要求された時刻における物品位置推定値の情報を、物品位置推定値テーブル206から取得し、物品位置表示ディスプレイ210に出力する。
 次いで、ステップS1200では、物品位置表示ディスプレイ210で受け取った物品の位置推定値、さらに、どの物品が持ち運び中であるかの情報を、物品位置表示ディスプレイ210の表示画面210aの矩形領域801、及び、矩形領域802に表示する。
 図14のチャート14Aに示すように物品の状態が変化した場合には、ユーザにより指定される時刻tの値により、図22A~図22Fに示すような形で物品の推定位置の表示が変化する。図22Aは時刻t<t1(例えばt=t0)のときの物品の推定位置の表示を示す画面である。図22Bは時刻t1≦t<t5のときの物品の推定位置の表示を示す画面である。図22Cは時刻t5≦t<t8のときの物品の推定位置の表示を示す画面である。図22Dは時刻t8≦t<t11のときの物品の推定位置の表示を示す画面である。図22Eは時刻t11≦t<t14のときの物品の推定位置の表示を示す画面である。図22Fは時刻t14≦tのときの物品の推定位置の表示を示す画面である。
 前記第1実施形態にかかる構成によれば、物品状態変化判定部203により、複数の物品に対して得られる複数の観測値と、物品位置推定値テーブル206に記録される最新の複数の物品状態との対応関係の確からしさをアソシエーション尤度として計算することで、どの物品が置かれたか、又は、どの物品が取られたかを物品状態変化判定部203で判定することができる。これにより、物品の存在状態の変化の有無を検知することができ、物品の存在状態の変化があった場合のみ、バッチ推定部205で高精度に物品の位置を推定し、物品の存在状態の変化が無い間は、物品位置推定テーブル206に記録されているバッチ推定による高精度な物品位置推定結果を、物品位置推定結果として出力できる。
 すなわち、前記物体位置推定装置200、及び、物体位置推定装置200により実施される物体位置推定方法、及び、物体位置推定装置200をプログラムとして構成する物体位置推定プログラムによれば、複数の準静止物品(例えば、静止と移動を繰り返すような物品)の観測において、移動から静止へと物品の状態が変化したタイミングで、バッチ推定により物品の位置を高精度で確定した後は、物品が静止している間は、バッチ推定によって得た高精度の位置情報を推定情報として出力することができるという格別の効果を有する。
 さらに、本発明の物体位置推定装置200、及び、物体位置推定装置200により実施される物体位置推定方法、及び、物体位置推定装置200をプログラムとして構成する物体位置推定プログラムによれば、観測対象の物品の静止から移動、あるいは、移動から静止の状態変化を物品状態変化判定部203によって判断することにより、複数の物品すべてについて、観測中の任意の時刻における物品の静止、あるいは、移動の状態を把握することができるという効果も有する。
 なお、本発明は前記実施形態に限定されるものではなく、その他種々の態様で実施できる。
 例えば、本第1実施形態においては、物品位置の推定結果を物品位置表示ディスプレイ210に表示するとしたが、物品の推定位置の利用形態は、物品の位置を知ることを要求する他の装置への入力とすることももちろん可能であり、本発明の範囲を限定するものではない。
 また、例えば、物体としては、前記物品に限られるものではなく、人又はペットなどの動物でもよい。要するに、本発明で対象となる物体とは、人が搬送可能な物体を意味するものである。
 なお、前記実施形態において、物体状態変化判定手段101,203と、バッチ推定手段102,205と、物体状態情報記憶手段103,204,206となどのそれぞれ、又は、そのうちの任意の一部は、それ自体がソフトウェアで構成することができる。よって、例えば、本願明細書のそれぞれの実施形態の制御動作を構成するステップを有するコンピュータプログラムとして、記憶装置(ハードディスク等)などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置(半導体メモリ等)に読み込んでCPUを用いて実行することにより、前記した各機能又は各ステップを実行することができる。
 なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
 本発明に係る物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラムは、観測対象の空間に存在し、任意のタイミングで持ち運ばれる可能性のある複数の物体(例えば複数の物品)の位置を推定する装置に利用可能である。例えば、家庭内の物品位置を管理するシステム、又は、ユーザから要求された物品を自律的に運搬する生活支援ロボットなどへの利用が可能である。
 本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims (6)

  1.  観測対象の観測空間に存在する1つの物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、前記物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記物体の前記観測空間内での存在状態及び前記物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定手段と、
     前記物体状態変化判定手段により、前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定手段と、
    を備える物体位置推定装置。
  2.  観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定手段と、
     前記物体状態変化判定手段により、前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定手段と、
    を備える物体位置推定装置。
  3.  前記物体状態変化判定手段により、前記観測対象の前記物体が前記静止状態から移動状態に変化したと判定され、その後、前記移動状態から静止状態に変化したと判定されるまでの間は、前記バッチ推定手段が、前記当該物体の識別情報及び位置情報の推定を行わないとともに、推定値の出力も行わない、
    請求項1又は2に記載の物体位置推定装置。
  4.  前記物体状態変化判定手段により、前記観測対象の前記物体が移動状態から静止状態に変化したと判定され、その後、前記静止状態から移動状態に変化したと判定されるまでの間は、前記バッチ推定手段が、前記当該物体が前記静止状態に変化したと判定されたときに、前記当該物体の識別情報及び位置情報の推定を1度だけ行ったのち、その推定により得られた推定値を当該物体の物体状態情報として出力する、
    請求項1又は2に記載の物体位置推定装置。
  5.  観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、物体状態変化判定手段により、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定ステップと、
     前記物体状態変化判定ステップで前記物体の存在状態に変化があったと判定されたとき、前記物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、バッチ推定手段により、前記物体の識別情報及び位置情報の推定を行うバッチ推定ステップと、
    を備える物体位置推定方法。
  6.  コンピュータに、
     観測対象の観測空間に存在する複数の物体の識別情報及び前記物体の位置情報を含む観測値が逐次得られる度に、複数の物体のうちの各物体の識別情報及び位置情報を含む前記観測値と、前記観測対象の前記各物体の前記観測空間内での存在状態及び前記各物体の位置に関する最新の推定値である物体状態情報との対応関係に基づいて、前記観測空間内での前記各物体が少なくとも静止状態にあるかどうかについて状態変化の有無を判定する物体状態変化判定機能と、
     前記物体状態変化判定機能で前記物体の存在状態に変化があったと判定されたとき、物体状態変化判定手段が前記物体の存在状態に変化があったと判定した時刻から所定時間の間の観測値と、前記物体状態変化判定手段が決定した物体の存在状態とに基づき、前記物体の識別情報及び位置情報の推定を行うバッチ推定機能と、
    を実現させるための物体位置推定プログラム。
PCT/JP2010/007557 2010-03-03 2010-12-27 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム WO2011108055A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080023414.6A CN102450006A (zh) 2010-03-03 2010-12-27 物体位置推定装置、物体位置推定方法及物体位置推定程序
JP2011539207A JP4880805B2 (ja) 2010-03-03 2010-12-27 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
US13/248,380 US20120020521A1 (en) 2010-03-03 2011-09-29 Object position estimation apparatus, object position estimation method, and object position estimation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-046168 2010-03-03
JP2010046168 2010-03-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/248,380 Continuation US20120020521A1 (en) 2010-03-03 2011-09-29 Object position estimation apparatus, object position estimation method, and object position estimation program

Publications (1)

Publication Number Publication Date
WO2011108055A1 true WO2011108055A1 (ja) 2011-09-09

Family

ID=44541741

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007557 WO2011108055A1 (ja) 2010-03-03 2010-12-27 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム

Country Status (4)

Country Link
US (1) US20120020521A1 (ja)
JP (1) JP4880805B2 (ja)
CN (1) CN102450006A (ja)
WO (1) WO2011108055A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8615450B1 (en) * 2011-10-20 2013-12-24 Protectovision, LLC Methods and systems for inventorying personal property and business equipment with backend business development system
US20130265423A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation Video-based detector and notifier for short-term parking violation enforcement
CN103488972B (zh) * 2013-09-09 2016-07-06 西安交通大学 基于深度信息的指尖检测方法
US9230366B1 (en) * 2013-12-20 2016-01-05 Google Inc. Identification of dynamic objects based on depth data
CN105352535A (zh) * 2015-09-29 2016-02-24 河海大学 一种基于多传感器数据融合的测量方法
JP6540531B2 (ja) * 2016-02-09 2019-07-10 オムロン株式会社 監視装置及び監視装置の制御方法
JP6672915B2 (ja) * 2016-03-15 2020-03-25 オムロン株式会社 物体検出装置、物体検出方法、及び、プログラム
JP6899668B2 (ja) * 2017-03-01 2021-07-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 自走型掃除機の制御方法、制御装置、制御プログラム及び自走型掃除機
CN107886540B (zh) * 2017-10-20 2020-12-29 青岛海尔智能技术研发有限公司 制冷设备内物品识别定位方法和制冷设备
CN108717756A (zh) * 2018-05-16 2018-10-30 上海集成电路研发中心有限公司 一种智能存储柜及其借出或存入物品的方法
WO2020054293A1 (ja) * 2018-09-14 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 判定方法、及び判定装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153682A (ja) * 1999-11-26 2001-06-08 Fujitsu Ltd 軌道計算装置および軌道計算方法
WO2006109423A1 (ja) * 2005-04-01 2006-10-19 Matsushita Electric Industrial Co., Ltd. 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム
JP2007079918A (ja) * 2005-09-14 2007-03-29 Matsushita Electric Ind Co Ltd 物品検索システム及び方法
JP2007085826A (ja) * 2005-09-21 2007-04-05 Matsushita Electric Ind Co Ltd 物品探索システム、及び、物品探索プログラム
JP2009253449A (ja) * 2008-04-02 2009-10-29 Canon Inc 監視装置及び監視方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068056B2 (en) * 2005-08-25 2011-11-29 Qualcomm Incorporated Location reporting with secure user plane location (SUPL)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153682A (ja) * 1999-11-26 2001-06-08 Fujitsu Ltd 軌道計算装置および軌道計算方法
WO2006109423A1 (ja) * 2005-04-01 2006-10-19 Matsushita Electric Industrial Co., Ltd. 物品位置推定装置、物品位置推定方法、物品検索システム、及び物品位置推定用プログラム
JP2007079918A (ja) * 2005-09-14 2007-03-29 Matsushita Electric Ind Co Ltd 物品検索システム及び方法
JP2007085826A (ja) * 2005-09-21 2007-04-05 Matsushita Electric Ind Co Ltd 物品探索システム、及び、物品探索プログラム
JP2009253449A (ja) * 2008-04-02 2009-10-29 Canon Inc 監視装置及び監視方法

Also Published As

Publication number Publication date
JPWO2011108055A1 (ja) 2013-06-20
CN102450006A (zh) 2012-05-09
US20120020521A1 (en) 2012-01-26
JP4880805B2 (ja) 2012-02-22

Similar Documents

Publication Publication Date Title
JP4880805B2 (ja) 物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
Chekhlov et al. Real-time and robust monocular SLAM using predictive multi-resolution descriptors
JP5380789B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US9420265B2 (en) Tracking poses of 3D camera using points and planes
US8755562B2 (en) Estimation apparatus, control method thereof, and program
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
JP5147036B2 (ja) 位置推定装置、位置推定方法及び位置推定プログラム
JP5480667B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、プログラム
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US20110169923A1 (en) Flow Separation for Stereo Visual Odometry
JP4669581B2 (ja) 物体位置推定システム、物体位置推定装置、物体位置推定方法、及び、物体位置推定プログラム
Belter et al. Improving accuracy of feature-based RGB-D SLAM by modeling spatial uncertainty of point features
Tomono 3-D localization and mapping using a single camera based on structure-from-motion with automatic baseline selection
Tamjidi et al. 6-DOF pose estimation of a portable navigation aid for the visually impaired
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
JP2021103168A (ja) 拡張現実装置及び位置決め方法
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN104182747A (zh) 基于多个立体相机的对象检测跟踪方法及装置
JP2016162425A (ja) 骨格姿勢推定装置、方法、及びプログラム
JP2016527574A (ja) プリミティブの組を用いてデータをレジストレーションする方法
Arnaud et al. On the fly plane detection and time consistency for indoor building wall recognition using a tablet equipped with a depth sensor
Siddiqui et al. Visual tracking using particle swarm optimization
Baligh Jahromi et al. Layout slam with model based loop closure for 3d indoor corridor reconstruction
WO2014192061A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2006285946A (ja) 画像の奥行分布推定方法及び装置及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023414.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011539207

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10846962

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10846962

Country of ref document: EP

Kind code of ref document: A1