JP4022249B2

JP4022249B2 - 物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラム

Info

Publication number: JP4022249B2
Application number: JP2007509778A
Authority: JP
Inventors: 堅司近藤; 知宣成岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-12-28
Filing date: 2006-12-18
Publication date: 2007-12-12
Anticipated expiration: 2026-12-18
Also published as: JPWO2007074671A1; WO2007074671A1; US7852217B2; CN101213476B; US20090066513A1; CN101213476A

Description

本発明は、家屋内やオフィス内等にある物体のＩＤ情報及び位置を検出する技術に係り、特に、ＲＦＩＤタグ及びカメラなどの撮像装置の連携により、物体のＩＤ情報及び位置を検出する物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラムに関する。

近年、物品を非接触で管理するためのＲＦＩＤタグ技術の進歩により、物流などの業務分野を中心に物品管理の自動化が進んでいる。

ＲＦＩＤタグを利用した物品管理の従来技術として、特許文献１が提案されている。特許文献１では、物品にＲＦＩＤタグ（以下、タグ）を付与し、環境に前記タグの読み取り装置（以下、タグリーダ）を密に設置する。物品検索を行う端末から検索対象の物品を指定すると、各タグリーダが、物品に付与されたタグと通信を行う。タグからの返信を受けたタグリーダの場所を、探している物品の場所とするものである。

また、ＲＦＩＤタグを利用した他の従来技術として、特許文献２が提案されている。特許文献２においても、物品にタグを付与し、環境にタグリーダを設置する。特許文献２では、タグリーダを疎に設置できるように、タグとタグリーダの通信距離が長い、電池内蔵型のアクティブタグを使用し、複数のタグリーダで受信した、タグからの電波の強度を利用して、空間内における物品の位置を決定するものである。

一方、画像（フレーム間差分）を利用して人が移動、放置する物体を検出する技術として、非特許文献１が提案されている。

非特許文献１では、人が物体を動かし始めてから動かし終わるまでは身体の運動が連続して行われ、動画像においてフレーム間差分が閾値以上となるフレームが継続する、と仮定している。即ち、フレーム間差分領域の増大と減少を、人が物体を移動させるイベントの開始、終了と捉える。その後、背景画像として保存した、移動イベントの開始前の画像と、移動イベントの終了後の画像との差分を計算し、移動された物体を特定する。

また、特許文献３には、人などの存在の有無を検出するＲＦＩＤと、画像認識用のカメラとを備え、かつ、ＲＦＩＤの検知範囲とカメラの撮像範囲とを互いに関係付けて、ＲＦＩＤとカメラとからの情報に基づいて、人などの通行量などを分析し、分析した情報を配信するものが提案されている。

特開平０７−１４６３６２号公報特開２０００−３５７２５１号公報特開２０００−０１１０５７号公報渡辺崇他，"人が移動，放置する物体の検出"，2005年３月７日発行、電子情報通信学会２００５総合大会の大会論文集 D-12-37, pp.187

特許文献１では、物品の設置された場所を詳細に決定しようとすると、タグリーダを空間的に密に設置する必要がある。従って、ある程度の設置コストが許容されるような、物流などの業務用途では導入し易いが、家庭用途には導入しづらい。

特許文献２では、タグに内蔵された電池の消耗を抑えるため、タグからの発信を、例えば１日１回のように設定している。このため、システムから得られる物品の位置は、最後にタグが発信を行った位置となる。最後に発信した位置から物品が移動している場合は、現在の物品の位置を正しく得ることができない。

非特許文献１では、人の移動イベントを特定するため、フレーム毎にフレーム間差分を計算する必要があり、演算コストがかかるという問題がある。加えて、フレーム間差分領域が閾値以上となる区間内で人が物体を移動させているとは限らないため、物体の移動を確実に検出する必要があるという問題がある。

特許文献３では、ＲＦＩＤとカメラとを使用しているが、ＲＦＩＤとカメラとの検知範囲を単に関係付けているだけであって、検知範囲内を移動する人の、より正確な位置を検出することはできない。

従って、本発明の目的は、前記問題を解決することにあって、タグリーダを空間的に密に設置する必要がなく、かつ、フレーム毎にフレーム間差分を計算する必要もなく、無線タグリーダの検知範囲外であっても、物体のＩＤ情報及び現在の位置を正しく確実に検出することができる物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラムを提供することにある。

前記目的を達成するために、本発明は以下のように構成する。

本発明の第１態様によれば、物体を探索する空間において、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダと、
前記空間において前記物体を取り扱う人の位置を計測する、１個以上の人位置センサと、
前記空間の一部又は全体を撮影する、１個以上の撮像装置と、
前記無線タグリーダが検知した物体ＩＤ情報に関するデータ、前記人位置センサが計測した人位置データ、及び、前記撮像装置が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段と、
前記記憶手段に蓄積した前記物体ＩＤ情報に関するデータ、前記人位置データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段とを備え、
前記物体検出手段は、前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記物体ＩＤ情報に関するデータのうち、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータと第２の物体ＩＤ情報に関するデータとが互いに異なると判断した場合、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算するとともに、この差分の際、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域について差分を計算し、次いで、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出することを特徴とする物体検出装置を提供する。

本発明の第２態様によれば、物体を探索する空間において、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダと、
前記空間において前記物体を取り扱う人の位置を計測する、１個以上の人位置センサと、
各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置と、
前記無線タグリーダが検知した物体ＩＤ情報に関するデータ、前記人位置センサが計測した人位置データ、及び、前記撮像装置が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段と、
前記記憶手段に蓄積した前記物体ＩＤ情報に関するデータ、前記人位置データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段とを備え、
前記物体検出手段は、前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータが互いに異なると判断した場合、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する前記撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有する前記撮像装置を、前記２個以上の撮像装置の中から特定し、前記特定された撮像装置によって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出することを特徴とする物体検出装置を提供する。

本発明の第３態様によれば、物体を探索する空間において、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダと、
前記空間において前記無線タグリーダの検知範囲に人が存在するか否かを検知する、１個以上の人検知センサと、
前記空間の一部又は全体を撮影する、１個以上の撮像装置と、
前記無線タグリーダが検知した物体ＩＤ情報に関するデータ、前記人検知センサが検知した人検知データ、及び、前記撮像装置が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段と、
前記記憶手段に蓄積した前記物体ＩＤ情報に関するデータ、前記人検知データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段とを備え、
前記物体検出手段は、前記人が存在することを示す前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤデータ及び第２の物体ＩＤ情報に関するデータが互いに異なると判断した場合、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算し、前記画像データにおける差分領域の位置、又は、前記差分領域の位置を前記物体を探索する前記空間における位置に変換した位置を前記物体の位置として検出する、ことを特徴とする物体検出装置を提供する。

本発明の第７態様によれば、各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記無線タグリーダの検知範囲に人が存在するか否かを検知する、１個以上の前記人検知センサが検知した人検知データと、前記物体を探索する空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、前記物体のＩＤ情報及び位置を検出する物体検出方法であって、
前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較し、
前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択し、
前記画像データ選択で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出して、
前記物体ＩＤデータ比較での前記比較の結果、前記物体ＩＤ情報に関するデータが一致していないとき、前記画像データ選択と前記物体検出とを実行することを特徴とする物体検出方法を提供する。

本発明の第８態様によれば、各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、前記空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、前記物体のＩＤ情報及び位置を検出する物体検出方法であって、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較し、
前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択し、
前記画像データ選択で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を物体の位置として検出し、前記差分の際、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域について差分を計算して、
前記物体ＩＤ比較での前記比較の結果、前記物体ＩＤ情報に関するデータが一致していないとき、前記画像データ選択と前記物体検出とを実行することを特徴とする物体検出方法を提供する。

本発明の第９態様によれば、各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置が撮影した画像データとを用いて、前記物体のＩＤ情報及び位置を検出する物体検出方法であって、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較し、
前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有する撮像装置を、前記２個以上の撮像装置の中から特定し、前記特定された撮像装置によって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択し、
前記撮像装置・画像データ選択で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出して、
前記物体ＩＤ比較での前記比較の結果、物体ＩＤ情報に関するデータが一致していないとき、前記撮像装置・画像データ選択、及び、前記物体検出とを実行することを特徴とする物体検出方法を提供する。

本発明の第１０態様によれば、各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤデータと、前記無線タグリーダの検知範囲に人が存在するか否かを検知する、１個以上の前記人検知センサが検知した人検知データと、前記物体を探索する空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、コンピュータを使用して前記物体のＩＤ情報及び位置を検出する、物体検出用コンピュータプログラムであって、
前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較する物体ＩＤ比較手段と、
前記物体ＩＤ比較手段での前記比較の結果、前記物体ＩＤ情報に関するデータ同士が一致していないとき、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択する画像データ選択手段と、
前記画像データ選択手段で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する物体検出手段と、
を備えることを特徴とする物体検出用コンピュータプログラムを提供する。

本発明の第１１態様によれば、各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、前記空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、コンピュータを使用して前記物体のＩＤ情報及び位置を検出する、物体検出用コンピュータプログラムであって、
前記コンピュータに、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較する物体ＩＤ比較手段と、
前記物体ＩＤ比較手段での前記比較の結果、物体ＩＤ情報に関するデータが一致していないとき、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択する画像データ選択手段と、
前記画像データ選択手段で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出し、前記差分の際、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域について差分を計算する物体検出手段と、
を実行させるための物体検出用コンピュータプログラムを提供する。

本発明の第１２態様によれば、各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置が撮影した画像データとを用いて、コンピュータを使用して前記物体のＩＤ情報及び位置を検出する、物体検出用コンピュータプログラムであって、
前記コンピュータに、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較する物体ＩＤ比較手段と、
前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有する撮像装置を、前記２個以上の撮像装置の中から特定し、前記特定された撮像装置によって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択する撮像装置・画像データ選択手段と、
前記撮像装置・画像データ選択手段で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する物体検出手段とを実行させるとき、
前記物体ＩＤ比較手段での前記比較の結果、物体ＩＤ情報に関するデータが一致していないとき、前記撮像装置・画像データ選択手段、及び、前記物体検出とを実行させるための物体検出用コンピュータプログラムを提供する。

本発明によると、無線タグリーダと撮像装置例えばカメラを併用することにより、無線タグリーダの設置を空間的に疎にした場合でも、画像を利用して物体の位置を決定することができる。また、異なる２つの時刻で無線タグリーダにより検知した物体ＩＤ情報が互いに異なるという情報を利用して、人が物体の取扱いを確実に行った時刻を含む時間帯を決定することができるので、撮像装置で撮像された全ての画像データのフレーム毎に差分を計算する必要がなく、演算量の削減が可能となる。

本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。

以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。

以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。

本発明の第４態様によれば、前記撮像装置はカメラであり、前記物体検出手段は、前記第１の画像データと前記第２の画像データとの差分を計算する際に、前記人検知センサの検知範囲をカメラ座標系に変換した領域を、前記第１の画像データと前記第２の画像データとの差分を計算する差分対象領域から除外して、除外された領域において、前記差分を計算することを特徴とする第３の態様に記載の物体検出装置を提供する。

本発明の第５態様によれば、前記物体検出手段は、
前記第１の時刻に基づいて、取得時刻が互いに異なる第１の画像データ及び第３の画像データを選択し、前記第２の時刻に基づいて、取得時刻が互いに異なる第２の画像データ及び第４の画像データを選択する画像データ選択部と、
前記画像データ選択部で選択された前記第１の画像データと前記第３の画像データとの差分を計算することによって、第１のマスク領域を決定し、前記画像データ選択部で選択された前記第２の画像データと前記第４の画像データとの差分を計算することによって、第２のマスク領域を決定し、前記第１の画像データと前記第２の画像データとの差分を計算する際に、前記第１のマスク領域及び前記第２のマスク領域を、差分の対象領域から除外したのち、前記第１の画像データと前記第２の画像データとの差分を計算する物体検出部とを備えることを特徴とする第３の態様に記載の物体検出装置を提供する。

本発明の第６態様によれば、前記物体検出手段は、前記第１の画像データと前記第２の画像データとの差分を計算する際、前記第１の物体ＩＤ情報に関するデータ及び前記第２の物体ＩＤ情報に関するデータにおいて、差異のある物体ＩＤ情報を特定し、差異のある前記物体ＩＤ情報に対応づけられた、物体の色、大きさ、形状の情報のうち少なくとも１つの情報を利用して前記差分を計算することを特徴とする、第１から５の態様のいずれか１つに記載の物体検出装置を提供する。

本発明の第１２態様によれば、各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置が撮影した画像データとを用いて、コンピュータを使用して前記物体のＩＤ情報及び位置を検出する、物体検出用コンピュータプログラムであって、
前記コンピュータに、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較する物体ＩＤ比較手段と、
前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有する撮像装置を、前記２個以上の撮像装置の中から特定し、前記特定された撮像装置によって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択する撮像装置・画像データ選択手段と、
前記撮像装置・画像データ選択手段で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する物体検出手段とを実行させるとき、
前記物体ＩＤ比較手段での前記比較の結果、物体ＩＤ情報に関するデータが一致していないとき、前記撮像装置・画像データ選択手段、及び、前記物体検出手段とを実行させるための物体検出用コンピュータプログラムを提供する。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１実施形態）
以下、図面を参照して本発明における第１実施形態にかかる物体検出装置及び方法を詳細に説明する。

図１Ａは、本発明の第１実施形態に係る物体検出装置の構成を示すブロック図である。部屋ＲＭは、物体検出装置を設置した部屋ＲＭを上方から透視した概略形状（この例では長方形枠）で表現している。

前記物体検出装置は、詳しくは後述するが、入出力部７００と、物体検出手段５００と、タイマ手段６００と、記憶手段４００と、撮像装置の一例としてのカメラ３００と、３個の無線タグリーダ１０１〜１０３と、３個の人検知センサ２０１〜２０３とで大略構成されている。

部屋ＲＭ内には、前記３個の無線タグリーダ１０１〜１０３、３個の無線タグリーダ１０１〜１０３の３個のアンテナ１１１〜１１３、前記３個の人検知センサ２０１〜２０３が設置されている。無線タグリーダ１０１〜１０３の検知範囲を、アンテナ１１１〜１１３をその中心とする、点線で描かれた円９０ａ、９０ｂ、９０ｃでそれぞれ表現している。特に無線タグリーダ１０１は、検知範囲が部屋ＲＭの出入口ＧＷ付近となるように設置されている。人検知センサ２０１〜２０３は、検知範囲が、それぞれ無線タグリーダ１０１〜１０３の検知範囲とほぼ等しくなるように設置されている。各々の無線タグリーダ１０１〜１０３及び人検知センサ２０１〜２０３は、１回／秒の頻度で読み取りを行い、読み取り結果を記憶手段４００に送信している。

なお、無線タグリーダ１０１〜１０３のアンテナ１１１〜１１３は、出入口ＧＷや収納庫、書棚、食器棚、サイドテーブル、冷蔵庫、又は、作業机やテーブルやキッチンシステムの前方など、人の通過頻度の大きい場所に設置することが望ましい。家具の配置などにより人の通過範囲が限定される場合には、通路となる場所に、無線タグリーダ１０１〜１０３のアンテナ１１１〜１１３を設置するとよい。アンテナ１１１〜１１３の設置場所を選ぶ際に、数日程度、人の動線（移動軌跡）を計測し、動線が集中している場所をアンテナ１１１〜１１３の設置場所としてもよい。

なお、図１Ａでは、１つのタグリーダの検知範囲が出入口ＧＷ付近になるように設置されているが、必ずしもその必要はない。図１Ｂのように出入口ＧＷ付近に無線タグリーダ１０２，１０３の検知範囲９０ｂ，９０ｃを設けなくてもよいし、図１Ｃのように２箇所存在する出入口ＧＷ１，ＧＷ２にそれぞれ無線タグリーダ１０１，１０２，１０３，１０４の検知範囲９０ａ，９０ｂ，９０ｃ，９０ｄを設けても良く、部屋ＲＭの広さ、要望する検知性能、人の動線の多様さ等に合わせて適宜設定すればよい。各部屋ＲＭの出入口ＧＷ付近のみに無線タグリーダの検知範囲を設けてもよい。

なお、読み取り頻度は毎秒１回である必要はなく、物体を移動させる人の移動速度等に合わせて、最適な頻度に設定すればよい。例えば、速い移動速度に対応させる場合、読み取り頻度を多くすればよい。

無線タグリーダ１０１〜１０４は、検知範囲９０ａ〜９０ｄ内にあるタグ付き物体全てのＩＤ情報を読み取る。無線タグリーダ１０１〜１０４としては、UHF帯(950MHz付近、電波式)のものを用いるとする。UHF帯の特徴として、電波到達距離が最大４ｍ程度と比較的大きいことが挙げられる。また、UHF帯の無線タグリーダ１０１〜１０４は、同じく電波式の2.45GHz帯と比べ、波長が長いために回折により、障害物の後方に電波が回り込み易いという利点がある。また、UHF帯の無線タグリーダ１０１〜１０４は、2.45GHz帯と比べ、水に吸収されにくいという利点がある。UHF帯の無線タグリーダ１０１〜１０４では電波の到達距離が４ｍ程度ということから、部屋ＲＭの天井裏にアンテナ１１１，１１２，１１３，１１４を設置して鉛直方向の下向きに電波を放射する、又は、部屋ＲＭの床下にアンテナ１１１，１１２，１１３，１１４を設置して鉛直方向の上向きに電波を放射することで、無線タグリーダ１０１〜１０４の下、又は、上を通過する場合、人が所有している無線タグ付物体のＩＤ情報を読み取ることができる。図１Ｄは、天井ＣＬの裏に無線タグリーダのアンテナ１１ｘを設置した例である。アンテナ１１ｘから鉛直方向の下向きに電波の放射した場合、領域ＴＡが検知範囲となる。ＦＬは床面である。

もちろん、13.56MHz帯（電磁誘導式）、2.45GHz帯（電波式）などの他のパッシブ型無線タグやアクティブ型無線タグも用いることができる。13.56MHz帯の方式の場合、読み取り距離が最大80cm程度と短いため、比較的狭い通路の側面などにアンテナを複数配置し、水平方向に磁界を発生させる等、通過する人物が所有する無線タグが安定して読み取れるような対策が必要である。2.45GHz帯の場合、読み取り距離が最大2m程度であるため、鉛直方向に電波を放射する場合、天井ＣＬと床下の両方にアンテナを設置する等の対策を講じればよい。

本発明のこの第１実施形態には、検知範囲の狭いパッシブ型無線タグを用いた場合でも、カメラと連携させることにより、パッシブ型無線タグの検知範囲外でも物体のＩＤ情報及び位置情報を検出可能という効果があるが、検知範囲の広いアクティブ型無線タグを用いた場合、アクティブ型無線タグでさえも全域を検知できないような広域の監視に用いることができる。

人検知センサ２０１〜２０３は、検知範囲９０ａ，９０ｂ，９０ｃ内における人の存在の有無を二値情報で出力する。人検知センサ２０１〜２０３の例としては、床圧力センサや、赤外線センサなどを用いることができる。予め無線タグリーダ１０１〜１０４の検知範囲を測定した後、人検知センサ２０１〜２０３の検知範囲をそれに合わせて設定しておく。図１Ｄは、無線タグリーダのアンテナ１１Ｘの検知範囲ＴＡと合わせて床圧力センサを設置した例である。円形の斜線部分は、床面ＦＬに設置された床圧力センサ（人検知センサの一例）２０Ｘの検知範囲である。

また、物体だけでなく人にもタグが付与されている場合、無線タグリーダ１０１〜１０３が人に付与されたタグを検知することで、人検知センサ２０１〜２０３の代用としてもよい。

カメラ３００は、その視野に部屋ＲＭの床面ＦＬ全体が含まれるように設置されている。例えば、図１Ｅのように、部屋ＲＭの中央付近の天井ＣＬに、光軸が鉛直方向の下向きになるように、広角カメラ３００を設置することで実現できる。カメラ３００は、例えばフレームレート３０ｆｐｓで画像を撮影し、撮影画像を記憶手段４００に送信する。

記憶手段４００は、無線タグリーダ１０１〜１０３の読み取り結果のデータと、人検知センサ２０１〜２０３の読み取り結果のデータと、カメラ３００の撮影画像のデータとを、タイマ手段６００を利用することにより、タイマ手段６００から得られた各データの取得時刻と対応づけて蓄積する。なお、記憶手段４００には、後述するように、記憶手段４００内のデータを管理する記憶手段管理部５０７を接続するようにしてもよい。

なお、カメラ３００のフレームレートは必ずしも３０ｆｐｓである必要はなく、物体を移動させる人の移動速度等に合わせて、入出力部７００を介して最適な頻度に設定すればよい。

図１Ａでは、無線タグリーダの数は３個、人検知センサの数は３個、カメラの数は１個であったが、もちろん他の数でもよい。

次に、記憶手段４００に蓄積される、無線タグリーダ１０１〜１０３と人検知センサ２０１〜２０３とカメラ３００などの各種センサの検知データについて説明する。物体を取り扱う人が、図２における、動線ＭＬのように部屋ＲＭ内を移動した場合について考える。人は、物体Ａを所持した状態で出入口ＧＷを通って部屋ＲＭ内に入室し、途中、場所Ｌ１にて物体Ａを場所Ｌ１付近のテーブルＴｂ上に置くことで手放し、その後、場所Ｌ２にて新たに物体Ｂを床から拾い、出入口ＧＷを通って部屋ＲＭから退出したとする。

この時得られた無線タグリーダ１０１，１０２，１０３及び人検知センサ２０１，２０２，２０３の出力を図３に示す。前述した通り、無線タグリーダ１０１，１０２，１０３と人検知センサ２０１，２０２，２０３は１回／秒の頻度で読み取りを行っている。図３では無線タグリーダ１０１，１０２，１０３と人検知センサ２０１，２０２，２０３の読み取りタイミングは同期しているが、必ずしも同期していなくてもよい。同期していない場合は、読み取り時刻が最も近いデータと関連付けを行えばよい。

図３では、時刻０〜２（単位：秒）の間、人検知センサ２０１により人の存在が検知され、同時に無線タグリーダ１０１により物体Ａが検知されている。

時刻１４〜１７秒の間、人検知センサ２０２により人の存在が検知されている。ここで、無線タグリーダ１０２と人検知センサ２０２の検知範囲は互いに等しくなるように設置されているため、時刻１４〜１７秒の間に人が物体Ａを所持していれば、無線タグリーダ１０２は物体Ａを検知するはずである。ところが、時刻１４〜１７秒では、物体Ａが無線タグリーダ１０２では検知されていないので、時刻１３秒以前に、人が物体Ａを手放したと解釈することができる。

その後、時刻３１〜３３秒の間、人検知センサ２０３により人の存在が検知され、同時に無線タグリーダ１０３により物体Ｂが検知されている。

時刻４１〜４２秒の間、人検知センサ２０１により人の存在が検知され、同時に無線タグリーダ１０１により物体Ｂが検知されている。よって、人が物体Ｂを持ったまま部屋ＲＭから退出したと解釈することができる。

以上から、図３のようなデータが得られた場合、人は、時刻３〜１３秒の間のある時刻に、所持していた物体Ａを手放し、時刻１８〜３０秒の間のある時刻に、部屋ＲＭのどこかから物体Ｂを拾ったと物体検出手段５００により解釈することができる。

物体検出手段５００は、記憶手段４００に蓄積された、各種センサの検知データを利用して物体を検出する。物体検出手段５００は、連続して人の存在を検知している時間帯及び時間帯の総数Ｎを特定する時間帯特定部５０１と、時間帯に対応する物体ＩＤ情報に関するデータを取得する物体ＩＤ取得部５０２と、物体ＩＤ取得部５０２で取得した物体ＩＤ情報に関するデータを比較して一致しているかどうかを判断する物体ＩＤ比較部５０３と、物体位置を検出するために用いる画像データの選択を行う画像データ選択部５０４と、画像データ選択部５０４で選択さたれ複数の画像の差分を計算して物体の位置を検出する物体検出部５０５と、インデックスの管理を行うインデックス管理部５０６とにより構成される。

図４は、本第１実施形態の物体検出装置における物体検出手段５００で行われる物体検出方法を示すフローチャートである。

以下、図４のフローチャートに従って、本第１実施形態に係る物体検出装置及び物体検出方法にかかる物体検出処理について説明する。

まず、時間帯特定部５０１により実行されるステップＳＡ０では、単一の人検知センサが、連続して人の存在を検知している時間帯及び時間帯の総数Ｎを時間帯特定部５０１により特定する。図３のデータでは、時刻０〜２秒、時刻１４〜１７秒、時刻３１〜３３秒、時刻４１〜４２秒において、それぞれ特定の人位置センサが連続して人の存在を検知していると時間帯特定部５０１により特定することができる。よって、時刻０〜２秒を時間帯ＴＺ１、時刻１４〜１７秒を時間帯ＴＺ２、時刻３１〜３３秒を時間帯ＴＺ３、時刻４１〜４２秒を時間帯ＴＺ４とする。この結果、図３のデータでは、時間帯の総数Ｎは、Ｎ＝４である。

次いで、インデックス管理部５０６により実行されるステップＳＡ１、ＳＡ２では、比較する２つの時間帯を示すインデックスｉ，ｊの初期化をそれぞれインデックス管理部５０６により行う。すなわち、ステップＳＡ１では、インデックスｉ＝１とし、ステップＳＡ２では、インデックスｊ＝ｉ＋１とする。

次いで、物体ＩＤ取得部５０２により実行されるステップＳＡ３では、時間帯ＴＺｉ、ＴＺｊ（初回は、それぞれＴＺ１及びＴＺ２）に対応する物体ＩＤ情報に関するデータ（の組み合わせ）を物体ＩＤ取得部５０２により取得する。図３のデータから、時間帯ＴＺ１において、無線タグリーダ１０１は物体ＡのＩＤ情報に関するデータ（例えば、ＩＤ情報があるというデータと、ＩＤ情報自体を意味するデータ）を検知しており、時間帯ＴＺ２において、無線タグリーダ１０２は何も検知していないという物体ＩＤ情報に関するデータ（例えば、ＩＤ情報が無いというデータ）が物体ＩＤ取得部５０２により得られる。

次いで、物体ＩＤ比較部５０３により実行されるステップＳＡ４では、ステップＳＡ３で物体ＩＤ取得部５０２により取得した２つの物体ＩＤ情報に関するデータを比較し、一致しているかどうかを物体ＩＤ比較部５０３により判断する。この場合、２つの物体ＩＤ情報に関するデータは一致していない（すなわち、２つの物体ＩＤ情報に関するデータが互いに異なる）と物体ＩＤ比較部５０３により判断されるので、画像データ選択ステップＳＡ７に進む。

もし２つの物体ＩＤに関するデータが一致していると物体ＩＤ比較部５０３により判断される場合は、時間帯ＴＺ１からＴＺ２の間に物体の取扱いがなかったとして、画像データ選択及び物体検出（ステップＳＡ７及びＳＡ８）を行わない。即ち、ステップＳＡ５において、インデックスｊがＮ以上であるかのチェックをインデックス管理部５０６により行った後、インデックスｊがＮ未満であるとインデックス管理部５０６により判断されれば、ステップＳＡ６においてインデックスｊを１だけインデックス管理部５０６によりインクリメントし（無線タグリーダの別の時間帯における検知結果を用いて）、再びステップＳＡ３及びステップＳＡ４を行う。ステップＳＡ５において、インデックスｊがＮ以上であるとインデックス管理部５０６により判断されれば、前記物体検出処理を終了する。

ステップＳＡ３で物体ＩＤ取得部５０２により取得した、物体ＩＤ情報に関するデータが複数である場合について、図５の例を用いて説明する。時間帯ＴＺｉでは、無線タグリーダは４つの物体Ａ，Ｂ，Ｃ，Ｄを検出しており、時間帯ＴＺｊでは、無線タグリーダは３つの物体Ａ，Ｂ，Ｄを検出している。この場合、物体の組み合わせが異なるとして、画像データ選択及び物体検出（ステップＳＡ７及びＳＡ８）を行う。

次いで、画像データ選択部５０４により実行されるステップＳＡ７では、物体位置を検出するために用いる画像データの選択を行う。図３のデータから、時間帯ＴＺ１において無線タグリーダ１０１は物体ＡのＩＤ情報に関するデータを検知しており、時間帯ＴＺ２において無線タグリーダ１０２は物体のＩＤ情報を何も検知していないという物体ＩＤ情報に関するデータを検知していることが物体ＩＤ比較部５０３により判断される。即ち、時間帯ＴＺ１において、無線タグリーダ１０１の検知範囲９０ａ内に置かれていた、又は、無線タグリーダ１０１の検知範囲９０ａ内で人が所持していた物体Ａが、時刻３秒から１３秒までの間に、無線タグリーダの検知範囲外に移動したと物体ＩＤ比較部５０３により推定できる。

即ち、図６Ａのように、時間帯ＴＺ１内の時刻（例えば時刻２秒）にカメラ３００により撮影された画像Ｉａでは、物体Ａ（図では、ＯＡで示す。）は人（図では、ＨＭで示す。）と共に人検知センサ２０１及び無線タグリーダ１０１の検知範囲９０ａ内に存在し、時間帯ＴＺ２内の時刻（例えば時刻１４秒）にカメラ３００により撮影された画像Ｉｂでは、物体Ａは無線タグリーダ１０１，１０２，１０３の検知範囲９０ａ，９０ｂ，９０ｃ外に存在すると物体ＩＤ比較部５０３により判断できる。ステップＳＡ７では、このような画像Ｉａ及び画像Ｉｂを、記憶手段４００の中から画像データ選択部５０４により選択する。

次いで、物体検出部５０５により実行されるステップＳＡ８では、画像Ｉａと画像Ｉｂとの差分を計算することで、物体Ａの位置を決定する。例えば、差分で得られた領域の重心を、物体Ａの位置として物体検出部５０５により決定する。カメラ３００がモノクロカメラの場合、輝度情報を用いて物体検出部５０５により差分を行う。カメラ３００がカラーカメラの場合、輝度情報を用いて差分を物体検出部５０５により行っても良いし、ＲＧＢいずれかの値を用いて差分を物体検出部５０５により行っても良い。この際、物体ＡのＩＤ情報に対応付けられた、色情報、大きさ情報、又は形状情報などがあれば、それらのいずれか１つ又は複数を利用して、差分の計算を物体検出部５０５により行っても良い。物体のＩＤ情報に対応付けられた各種情報は、例えば図６Ｂのようなテーブル形式のデータベースにて管理することができる。図６Ｂにおける「分光反射率（色）ＸＸＸ」は、例えば、図７Ｂのようなグラフを連続関数として、あるいは、離散関数として保持することで表現できる。図６Ｂにおける「形状ＹＹＹ」は、コンピュータグラフィクス等における一般的な３次元モデルを利用して表現できる。また、図６Ｂのようなテーブル形式のデータベース、言い換えれば、物体情報データベース（物体情報ＤＢ）２０００は、図６Ｃのようにインターネット、専用線、公衆回線などのネットワーク網２００１を介して前記物体検出装置１０００と接続できる。もちろん、物体検出装置１０００と物体情報ＤＢ２０００とは直接接続されていてもよい。

例えば、図７Ａのような分光感度を有したカラーカメラを前記カメラ３００として使用しており（図７Ａの符号「Ｂ」、「Ｇ」、「Ｒ」はそれぞれ青色の分光感度、緑色の分光感度、赤色の分光感度に対応。）、図７Ｂのような分光反射率を有した（緑色の）被写体を、図７Ｃのような分光反射率を有した（黄色の）背景の中から分離する場合について考える。通常の白色照明を用いた場合、カラーカメラのＢ（青色）成分又はＧ（緑色）成分を用いて物体検出部５０５により差分を行っても、輝度差があまり生じないため物体をうまく検出できないが、Ｒ（赤色）成分を用いると輝度差が生じるため物体をうまく検出できる。カラーカメラの各チャンネルにてどのような輝度で撮影されるかは、（数１）のように、照明光の分光エネルギー特性Ｅ（λ）、カラーカメラのチャンネル毎の分光感度特性Ｓ_Ｒ（λ）、Ｓ_Ｇ（λ）、Ｓ_Ｂ（λ）、被写体の分光反射特性Ｒ（λ）で決まる。

ここで、ｃは定数である。

よって、照明光の分光特性、カメラの分光感度特性、背景の分光反射率を予め取得又は計測しておき、物体のＩＤ情報とその分光反射率が予め対応付けられて記憶手段４００に記憶されていれば、検出したい物体のＩＤ情報から差分に有効なカラーチャンネルを物体検出部５０５により決定できる。

被写体上の１点の分光反射率を得たい場合には、市販の分光測色計などを用いることができる。また、被写体上の複数点の分光反射率を得たい場合には、カメラ３００を用いた、以下の方法が使用できる。

差分に有効なカラーチャンネルを決定するという本目的の場合、分光反射率の絶対値を得る必要はなく、最大が１であるような分光反射率の相対値を得ることができればよい。そのような分光反射率を得るためには、分光エネルギー特性（例えば、図８ＡのＥ（λ））が既知の光源、及び、分光感度特性（例えば、図８ＢのＳ（λ））が既知のカメラを前記カメラ３００として用いて、波長毎に被写体（ここでは部屋ＲＭの背景）の輝度を計測する。

ここで、ｋは定数である。

その結果、図８Ｃのｘ（λ）を得た後、物体検出部５０５により、（数２）のように、計測した輝度ｘ（λ）をＥ（λ）、Ｓ（λ）で除算することにより、被写体の分光反射率の相対値Ｒ（λ）を得る。波長毎に被写体の輝度を計測するには、カメラの前に、電気的に通過波長域を変化可能な液晶チューナブルフィルタ等を設置し、通過波長をシフトさせながら、使用する通過波長域の数だけ、同一被写体を撮影することによって行うことができる。

同様に、物体ＩＤ情報から実物の大きさ情報が得られる場合、カメラの設置位置及び部屋ＲＭの形状などから撮影画像に映される物体の大きさ（画素数）が推定できるので、差分により複数の物体が検出されたとき、大きさ（画素数）を用いて検出対象のＩＤ情報を有する物体を物体検出部５０５により絞り込むことができる。例えば、図９のように、テーブルＴｂの設置された部屋ＲＭに物体Ａ及び物体Ｂが置かれており、上方からカメラ３００により撮影を行っている場合を考える。図９のカメラ３００で撮影した画像の差分の例を、図１０に示す。物体検出部５０５による画像の差分により、領域ｘと領域ｙが抽出されているとする。領域ｘ、ｙの形状は、双方とも一辺５０画素の正方形とする。無線タグリーダの出力から、物体Ａ，Ｂが部屋ＲＭ内に置かれていることが判っている場合、領域ｘ、ｙと、物体Ａ，Ｂの対応付けが必要となる。ここで、図１０の差分画像だけの情報では対応付けが難しいが、部屋ＲＭの形状（テーブルＴｂの大きさ、高さ、設置位置を含む）が判っている場合（例えば、テーブルＴｂの大きさ、高さ、設置位置などの部屋ＲＭの形状のデータ、ＲＦＩＤタグに関連付けられた物体の大きさの情報、及び、物体ＩＤ情報に対応付けられた情報（例えば物体の色、大きさ、及び形状情報）などが記憶手段４００に記憶されている場合）、ＲＦＩＤタグに関連付けられた物体の大きさから画像における物体の大きさが物体検出部５０５により推定できる。床面ＦＬからの高さにより画像平面に投影される大きさが決定されるという、最も単純な近似を用いると、図９においてテーブルＴｂの高さをＨ、カメラ３００のレンズ中心ＬＣと床面ＦＬとの距離を３Ｈとしたとき、テーブルＴｂの上面に相当する領域ＲＴではその他の領域に比べて物体の大きさが１．５倍になる。例えば、実際の長さが１０ｃｍである被写体が、図１０の画像平面において、テーブルＴｂの上面に相当する領域ＲＴでは７５画素、床面ＦＬの領域では５０画素に投影される。物体ＩＤ情報に対応付けられた大きさ及び形状情報から、物体Ａの上面が一辺１５ｃｍの正方形、物体Ｂの上面が一辺１０ｃｍの正方形であるということが判った場合、領域ｘが物体Ａであり、領域ｙが物体Ｂであることが物体検出部５０５により推定できる。

同様に、物体ＩＤ情報から物体の形状情報が得られる場合、差分により複数の物体が検出されたとき、形状を用いて物体を物体検出部５０５により絞り込むことができる。この方法は、撮影画像における物体の形状が、実世界における物体の姿勢によって変化しない、球のような物体に対して、特に有効である。

なお、差分計算の際、人検知センサの検知範囲を除いて差分を物体検出部５０５により計算してもよい。差分を物体検出部５０５により計算すると、検出したい物体以外にそれを取り扱う人も検出される場合がある。部屋ＲＭの中で十分に高い場所にカメラ３００を設置し、光軸を鉛直方向の下向きにして撮影する場合、人検知センサが検知している時間帯内の画像を用いると、図６Ａのように、人は人検知センサの検知範囲内に存在する。そこで、図１１Ａ〜図１１Ｄのように、人検知センサ２０１，２０２，２０３の検知範囲９０ａ，９０ｂ，９０ｃを除いて、即ち、画像Ｉｃのマスク画像を用いて差分を物体検出部５０５により行うことで、画像Ｉｄのように物体のみを物体検出部５０５により検出できる。ここで、図１１Ａは、物体Ａ（図では、ＯＡで示す。）が人（図では、ＨＭで示す。）と共に無線タグリーダ１０１及び人検知センサ２０１の検知範囲９０ａ内に存在している画像Ｉａを示している。図１１Ｂは、物体Ａが検知範囲９０ａと検知範囲９０ｂとの間の床面に放置され、人のみが無線タグリーダ１０２及び人検知センサ２０２の検知範囲９０ｂ内に存在している画像Ｉｂを示している。図１１Ｃは、人検知センサ２０１，２０２，２０３の検知範囲９０ａ，９０ｂ，９０ｃ（図１１Ｃの黒色部分）をマスクした画像Ｉｃを示す。図１１Ｄは、画像Ｉｃの黒色部分であるマスク領域を利用して得られた、画像Ｉａと画像Ｉｂとの差分画像Ｉｄであって、物体Ａのみを検出している画像を示している。

なお、人検知センサの検知範囲９０ａ，９０ｂ，９０ｃを除いて差分を物体検出部５０５により計算する代わりに以下の処理を物体検出部５０５により行ってもよい。

差分計算の際、図１２Ａ〜図１２Ｃのように、時間帯ＴＺ１から取得時刻が互いに異なる２個の画像Ｉａ，Ｉｃを選択した後、両者の差分により変化領域を物体検出部５０５により求めることにより、第１のマスク領域ＭＲ１を物体検出部５０５により決定する。ここで、図１２Ａは、物体Ａ（図では、ＯＡで示す。）が人（図では、ＨＭで示す。）と共に無線タグリーダ１０１及び人検知センサ２０１の検知範囲９０ａ内に存在している画像Ｉａを示している。図１２Ｂは、物体Ａ（図では、ＯＡで示す。）が人（図では、ＨＭで示す。）と共に無線タグリーダ１０１及び人検知センサ２０１の検知範囲９０ａ内に存在している画像Ｉｃを示している。図１２Ｃは、画像Ｉａと画像Ｉｃとの差分により得られた第１マスク領域ＭＲ１（マスク部分（図１２Ａの物体Ａと人の部分及び図１２Ｂの物体Ａと人の部分）を黒色で示す。）を示す。

また、図１３Ａ〜図１３Ｃのように、時間帯ＴＺ２から取得時刻が互いに異なる２個の画像Ｉｂ，Ｉｄを選択した後、両者の差分により変化領域を物体検出部５０５により求めることにより、第２のマスク領域ＭＲ２を物体検出部５０５により決定する。ここで、図１３Ａは、物体Ａ（図では、ＯＡで示す。）が検知範囲９０ａと検知範囲９０ｂとの間の床面に放置され、人（図では、ＨＭで示す。）のみが無線タグリーダ１０２及び人検知センサ２０２の検知範囲９０ｂ内に存在している画像Ｉｂを示している。図１３Ｂは、物体Ａが検知範囲９０ａと検知範囲９０ｂとの間の床面に放置され、人のみが無線タグリーダ１０２及び人検知センサ２０２の検知範囲９０ｂ内に存在している画像Ｉｄを示している。図１３Ｃは、画像Ｉｂと画像Ｉｄとの差分により得られた第２マスク領域ＭＲ２（マスク部分（図１３Ａの人の部分及び図１３Ｂの人の部分）を黒色で示す。）を示す。

画像Ｉａ（又はＩｃ）と画像Ｉｂ（又はＩｄ）の差分を計算する際、第１のマスク領域ＭＲ１及び第２のマスク領域ＭＲ２を除外して差分を物体検出部５０５により計算することで、物体Ａのみを検出できる。

ステップＳＡ９では、インデックスｊがＮ以上であるかどうかのチェックをインデックス管理部５０６により行い、インデックスｊがＮ以上であるとインデックス管理部５０６により判断されれば、前記物体検出処理を終了する。

インデックスｊがＮ未満であるとインデックス管理部５０６により判断されれば、ステップＳＡ１０にて、インデックスｉの値を現在のインデックスｊの値にインデックス管理部５０６によりセットし、再度ステップＳＡ２を行う。このようにして、ステップＳＡ０にて特定した全ての時間帯について、前記物体検出処理を行う。

なお、物体検出ステップＳＡ８を終えた時点で、時間帯ＴＺｊより前の時刻のセンサデータを記憶手段管理部５０７により記憶手段４００から消去してもよい。各センサデータが物体のＩＤ情報及び位置を特定する目的のみに用いられる場合、物体検出部５０５による物体検出を終えた後、処理済のセンサデータを記憶手段管理部５０７により記憶手段４００から消去することで、記憶手段４００の容量を削減できる。特に、画像データのような情報量が多いデータを扱う場合に有効である。

入出力部７００は、操作者と本物体検出装置とのインタフェースとして利用される。操作者がある物体例えばある物品の位置を探したい場合には、キーボード、マウス、又はマイク（音声認識）などにより、その物品の名前を入力する。また、物体検出手段５００にて検出された物品の位置は、ディスプレイモニタ、又はスピーカーなどにより、操作者に通知される。また、将来、家庭内に自走式ロボットが導入された場合は、前記ロボットに物品の位置情報を送信し、ロボットが部屋ＲＭ内を走行して、操作者の元に、探している物品を搬送するというようなサービスも可能となる。

以上のように、第１実施形態の物体検出装置及び方法によれば、物体を探索する空間において、無線タグが付与された物体ＯＡの物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダ１０１〜１０４と、前記空間において前記無線タグリーダ１０１〜１０４の検知範囲９０ａ、９０ｂ、９０ｃ、９０ｄに人ＨＭが存在するか否かを検知する、１個以上の人検知センサ２０１〜２０３と、前記空間の一部又は全体を撮影するカメラ３００と、前記無線タグリーダ１０１〜１０４が検知した物体ＩＤ情報に関するデータ、前記人検知センサ２０１〜２０３が検知した人検知データ、及び、前記カメラ３００が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段４００と、前記記憶手段４００に蓄積した前記物体ＩＤ情報に関するデータ、前記人検知データ、及び、前記画像データに基づき、前記物体ＯＡのＩＤ情報及び位置を検出する物体検出手段５００とを備えている。そして、前記物体検出手段５００は、前記人ＨＭが存在することを示す前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤデータ及び第２の物体ＩＤ情報に関するデータが互いに異なると判断した場合、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算し、前記画像データにおける差分領域の位置、又は、前記差分領域の位置を前記物体ＯＡを探索する前記空間における位置に変換した位置を前記物体ＯＡの位置として検出するように構成している。従って、無線タグリーダ１０１〜１０４の検知範囲外にある物体ＯＡであっても、物体ＯＡのＩＤ情報及び位置を決定することができる。また、人検知センサ２０１〜２０３及び無線タグリーダ１０１〜１０４の出力を基にして、差分を行う画像を物体検出手段５００により選択するため、全ての画像に対して差分を行う必要はなく、演算量を削減できる。

なお、本発明者らは、以下のような技術も同時に提案中であるが、以下のような課題が残されている。

図１４のように、物体のＩＤ情報を識別する無線タグリーダＴＧＲを、居間、書斎、寝室、浴室、トイレなどの各部屋ＲＭの出入口ＧＷ及び玄関である出入口ＧＷに設け、ＲＦＩＤタグを付与した物体を所持した人が各部屋ＲＭの出入口ＧＷを通過する場合、物体のＩＤ情報に関するデータと検出時刻をデータベース（例えば記憶手段４００）に記録する。また、物体の取扱いを行う人の位置を検出する人検知センサ２０１〜２０３により、家屋内での人の移動軌跡を、図１５の（ｂ）のように得ると同時に、人の単位時間あたりの移動距離、すなわち、速度の情報も図１５の（ａ）のように得る。

例えば、ＲＦＩＤタグを付与した物体Ａを所持した人が図１５の（ｂ）の部屋ＲＭに入室する場合、入室時には出入口ＧＷに設置されたタグリーダＴＧＲにて物体Ａが検知される。その後、しばらく部屋ＲＭに留まった後、退室し、退出時には、タグリーダＴＧＲにて物体Ａが検知されなかったとする。この場合、物体Ａは部屋ＲＭの中のどこかに置かれたと判断することが可能である。

物体の置かれた場所は人の移動軌跡付近であり、人が物体の取扱いをする場合、人の移動速度が小さくなり、その場付近に留まる時間が長くなるという仮定を用いれば、図１５にて物体Ａが置かれた可能性が大きい場所は、本棚ＢＳの前、又は、冷蔵庫Ｒｆ・キッチンシステムＫＳの前であると推定できる。同時に、物体の取扱いを行った時刻も推定できる。

しかしながら、以上の技術では、物体の置かれた場所及び時刻を特定できず、物体の置かれた可能性の大きい場所及び時刻を推定することしかできない。このことに対し、物体検索を行う環境を撮影する撮像装置の一例としてのカメラ３００と、カメラ３００で撮影された画像情報を蓄積する画像データベースの一例としての記憶手段４００をさらに備え、前述の通り推定された物体の場所及び時刻に基づいて、記憶手段４００の中から対応する画像を検索し、その画像を表示し、物体を検索している人に物体の有無の判断を委ねるという更なる対策をとることが考えられている。しかし、この場合でも、人が画像を目視により確認する必要があり、手間がかかるという課題が残っている。

そこで、本発明の前記第１実施形態では、前記物体検出手段５００により、前記人ＨＭが存在することを示す前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤデータ及び第２の物体ＩＤ情報に関するデータが互いに比較して異なると判断した場合、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算し、前記画像データにおける差分領域の位置、又は、前記差分領域の位置を前記物体ＯＡを探索する前記空間における位置に変換した位置を前記物体ＯＡの位置として検出することにより、前記残された前記課題も解決することができる。

（第２実施形態）
以下、図面を参照して本発明における第２実施形態にかかる物体検出装置及び方法を詳細に説明する。

図１６は、本発明の第２実施形態に係る物体検出装置の構成を示すブロック図である。部屋ＲＭは、物体検出装置を設置した部屋ＲＭを上方から透視した概略形状（この例では長方形枠）で表現している。

前記物体検出装置は、入出力部７００と、物体検出手段５００と、タイマ手段６００と、記憶手段４００と、カメラ３００と、３個の無線タグリーダ１０１〜１０３と、人位置センサ２１０とで大略構成されている。第１実施形態と大きく異なる点は、人検知センサ２０１〜２０３の代わりに人位置センサ２１０を備えていることである。

第１実施形態と同様に、部屋ＲＭ内には、前記３個の無線タグリーダ１０１〜１０３及び３個の無線タグリーダ１０１〜１０３の３個のアンテナ１１１〜１１２が設置されている。無線タグリーダ１０１〜１０３の検知範囲を、点線で描かれた円９０ａ、９０ｂ、９０ｃで表現している。特に無線タグリーダ１０１は、検知範囲９０ａが部屋ＲＭの出入口ＧＷ付近となるように設置されている。無線タグリーダ１０１〜１０３及びアンテナ１１１〜１１２については、第１実施形態と同様であるので、詳細な説明を省略する。

人位置センサ２１０は、部屋ＲＭ内に存在する人の２次元位置（又は３次元位置）を検出する。人位置センサ２１０の例として、超音波センサや床圧力センサを利用することができる。超音波センサの場合、図１７のように人ＨＭが携行した超音波発信機９３ａから発する超音波９３ｂを、天井ＣＬ等に備えられた３個以上の超音波受信機９３ｃで受信し、到達時間を利用した３点測量を行うことにより、人ＨＭの３次元位置を計測する。床圧力センサの場合、図１８Ａのように圧力センサユニット９４を２次元アレイ状に複数並べたものを床面ＦＬに設置し、圧力を検知した圧力センサユニット９４の２次元アレイにおける位置により、人ＨＭの２次元位置を計測する。無線タグリーダ１０１〜１０３、及び、人位置センサ２１０としての多数の超音波受信機９３ｃ及び超音波発信機９３ａを備えた部屋ＲＭの様子を図１８Ｂに示す。無線タグリーダ１０１〜１０３、及び、人位置センサ２１０としての多数の床圧力センサユニット９４を備えた部屋ＲＭの様子を図１８Ｃに示す。第１実施形態における人検知センサ２０１〜２０３は、検知範囲内に人が存在するか否かの二値情報の時系列データを出力していたが、本第２実施形態における人位置センサ２１０は、人の２次元位置（又は３次元位置）の時系列データを出力する。本第２実施形態では、人位置センサ２１０として超音波センサを利用する。超音波センサのデータ取得は１回／秒の頻度で行われ、読み取り結果は記憶手段４００に送信される。超音波センサの発信機９３ａは、例えば人ＨＭの腰など、人の体の中心付近に固定するものとする。超音波センサを利用すると、発信機９３ａの、世界座標系における３次元位置（Ｘ，Ｙ，Ｚ）が取得できる。ただし、本第２実施形態では、そのうちのＸ座標値及びＹ座標値を記憶手段４００に送信するものとする。座標系の取り方は図１９の通りである。すなわち、Ｘ方向と、Ｘ方向と直交するＹ方向により床面を定義し、Ｘ方向とＹ方向の両方向と直交するＺ方向により高さ方向を定義する。

なお、読み取り頻度は秒１回である必要はなく、物体を移動させる人の移動速度等に合わせて、最適な頻度に設定すればよい。例えば、速い移動速度に対応させる場合、読み取り頻度を多くすればよい。

カメラ３００については、第１実施形態と同様であるので、詳細な説明を省略する。

記憶手段４００は、無線タグリーダ１０１〜１０３の読み取り結果のデータと、人位置センサ２１０の読み取り結果のデータと、カメラ３００の撮影画像のデータとを、タイマ手段６００を利用することにより、タイマ手段６００から取得された各データの取得時刻と対応づけて蓄積する。

次に、記憶手段４００に蓄積される、無線タグリーダ１０１〜１０３、人位置センサ２１０、カメラ３００などの各種センサの検知データについて説明する。物体を取り扱う人が、図２０における、動線ＭＬのように部屋ＲＭ内を移動した場合について考える。人は、物体Ａを所持した状態で出入口ＧＷを通って部屋ＲＭ内に入室し、途中、場所Ｌ１にて物体Ａを付近のテーブル上に置くことで物体Ａを手放し、その後、場所Ｌ２にて新たに物体Ｂを床から拾い、出入口ＧＷを通って部屋ＲＭから退出したとする。

この時、得られた無線タグリーダ１０１〜１０３及び人位置センサ２１０の出力を図２１に示す。人位置センサ２１０の出力は図１９の座標系におけるＸ，Ｙ座標値であり、原点は図２０のように部屋ＲＭを表す矩形の左上点とする。単位はｍｍである。

前述した通り、無線タグリーダ１０１〜１０３と人位置センサ２１０は１回／秒の頻度で読み取りを行っている。図２１では、無線タグリーダ１０１〜１０３と人位置センサ２１０の読み取りタイミングは同期しているが、必ずしも同期していなくてもよい。同期していない場合は、読み取り時刻が最も近いデータ同士の関連付けを行えばよい。

物体検出手段５００は、記憶手段４００に蓄積された、各種センサの検知データを利用して物体を検出する。物体検出手段５００は、前記第１実施形態と同様に、人位置センサ２１０の出力座標値が、無線タグリーダ１０１〜１０３の検知範囲９０ａ，９０ｂ，９０ｃ内に連続して含まれる時間帯ＴＺｎ及び時間帯の総数Ｎを特定する時間帯特定部５０１と、物体ＩＤ取得部５０２と、物体ＩＤ比較部５０３と、画像データ選択部５０４と、物体検出部５０５とより構成される。図２２は、本第２実施形態の物体検出装置における物体検出手段５００で行われる物体検出方法を示すフローチャートである。

以下、図２２のフローチャートに従って、本第２実施形態に係る物体検出装置及び物体検出方法にかかる物体検出処理について説明する。

まず、時間帯特定部５０１により実行されるステップＳＢ０では、人位置センサ２１０の出力座標値が、無線タグリーダ１０１〜１０３の検知範囲９０ａ，９０ｂ，９０ｃ内に連続して含まれる時間帯ＴＺｎ及び時間帯の総数Ｎを時間帯特定部５０１により特定する。人位置センサ２１０の出力座標値が無線タグリーダ１０１〜１０３の検知範囲９０ａ，９０ｂ，９０ｃ内に含まれるかどうかは、図２３のように予め計測しておいた各無線タグリーダ１０１〜１０３の検知範囲９０ａ，９０ｂ，９０ｃと、人位置センサ２１０の出力座標値を用いることにより判断できる。なお、図２４のように、検知範囲９０ａ，９０ｂ，９０ｃが円で近似できる場合、無線タグリーダ１０１〜１０３のアンテナの設置位置（Ｘ_０，Ｙ_０）と検知距離（円の半径）Ｒを利用して、前記判断を時間帯特定部５０１により行ってもよい。ここで、人位置センサ２１０の出力座標値を（x, y）とすると、

のときは、(x, y)は無線タグリーダの検知範囲に含まれる。

のときは、 (x, y)は無線タグリーダの検知範囲に含まれない。

ステップＳＢ０で得られた結果を図２１のデータと併記したものを図２５に示す。図２５では、人位置センサ２１０の出力座標値が、無線タグリーダ１０１〜１０３の検知範囲９０ａ，９０ｂ，９０ｃ内に含まれる場合に○印を付与している。そして、人位置センサ２１０の出力座標値が無線タグリーダ１０１〜１０３の検知範囲９０ａ，９０ｂ，９０ｃ内に連続して含まれる時間帯を特定する。図２５のデータでは、時刻０〜２秒を時間帯ＴＺ１、時刻１４〜１７秒を時間帯ＴＺ２、時刻３１〜３３秒を時間帯ＴＺ３、時刻４１〜４２秒を時間帯ＴＺ４とする。この結果、図２５のデータでは、時間帯の総数Ｎは、Ｎ＝４である。

次のステップＳＡ１からＳＡ６までは第１実施形態のステップＳＡ１からＳＡ６までと同様であるので説明を省略する。

画像データ選択部５０４により実行されるステップＳＡ７では、物体位置を検出するために用いる画像データの選択を行う。図２５のデータから、時間帯ＴＺ１において無線タグリーダ１０１は物体ＡのＩＤ情報に関するデータを検知しており、時間帯ＴＺ２において無線タグリーダ１０２は物体のＩＤ情報を何も検知していないという物体ＩＤ情報に関するデータを検知していることが画像データ選択部５０４により判断される。即ち、時間帯ＴＺ１において、無線タグリーダ１０１の検知範囲９０ａ内に置かれていた、又は、無線タグリーダ１０１の検知範囲９０ａ内で人（図では、ＨＭで示す。）が所持していた物体Ａが、時刻３から１３秒までの間に、無線タグリーダの検知範囲外に移動したと画像データ選択部５０４により推定できる。

即ち、図２６のように、時間帯ＴＺ１内の時刻（例えば時刻２秒）にカメラ３００により撮影された画像Ｉａでは、物体Ａ（図では、ＯＡで示す。）は無線タグリーダ１０１の検知範囲９０ａ内に存在し、時間帯ＴＺ２内の時刻（例えば時刻１４秒）にカメラ３００により撮影された画像Ｉｂでは、物体Ａは無線タグリーダの検知範囲外に存在すると画像データ選択部５０４により判断できる。ステップＳＡ７では、このような画像Ｉａ及び画像Ｉｂを、記憶手段４００の中から画像データ選択部５０４により選択する。

次いで、物体検出部５０５により実行されるステップＳＢ８では、画像Ｉａ及び画像Ｉｂの差分を物体検出部５０５により計算することで、物体Ａの位置を物体検出部５０５により決定する。例えば、物体検出部５０５により差分で得られた領域の重心を、物体Ａの位置として決定する。本第２実施形態では、人位置センサ２１０により各時刻における人ＨＭの位置が得られているため、人位置センサ２１０の出力座標値をカメラ座標系に物体検出部５０５により変換することで、図２７Ａ及び図２７Ｂのように撮影画像Ｉａ、Ｉｂにおいて人ＨＭが写っている位置を物体検出部５０５により計算することができる。人ＨＭの大きさが既知である場合、撮影画像Ｉａ、Ｉｂに写っている人ＨＭの領域も物体検出部５０５により推定できる。

具体的には、人ＨＭの世界座標系での２次元位置（Ｘ_ＨＭ，Ｙ_ＨＭ）を、カメラ座標系での位置（ｘ_ＨＭ，ｙ_ＨＭ）に変換した後、撮影画像において、位置（ｘ_ＨＭ，ｙ_ＨＭ）の周囲にて予め定めた領域を、人ＨＭの領域であると、物体検出部５０５により推定する。前記予め定めた領域としては、例えば、位置（ｘ_ＨＭ，ｙ_ＨＭ）を中心として所定半径の円の領域を用いることができる。なお、人位置センサ２１０の出力座標値（世界座標系）をカメラ座標系に物体検出部５０５により変換するためには、カメラ３００が校正済である必要がある。カメラ３００が校正済であるとは、カメラ３００の３次元位置及び３次元姿勢などの外部パラメータ、及び、焦点距離などの内部パラメータが求められて、記憶手段４００などに記憶されていることである。撮影画像において人ＨＭの領域が推定できれば、次に説明する方法にて差分計算対象の領域を求めた後、人ＨＭの領域を除いて差分を物体検出部５０５により行えばよい。

また、時刻２秒と時刻１４秒の間に物体Ａを部屋ＲＭ内に置いたということが物体検出部５０５により推定できており、かつ、人位置センサ２１０により各時刻における人ＨＭの位置が得られているため、人ＨＭが物体を操作可能な距離Ｄを予め仮定して記憶手段４００などに記憶しておくと、人ＨＭの移動軌跡（動線ＭＬ）から物体Ａの存在する領域を物体検出部５０５により推定できる。例えば、この第２実施形態のように、部屋ＲＭの中央付近の天井ＣＬに、その光軸が鉛直方向下向きになるようにカメラ３００が設置されている場合は、図２８のように、人ＨＭの移動軌跡（動線ＭＬ）の進行方向に直交する長さ２Ｄの線分が通過する領域として、簡易的に、物体の存在する領域を定義することができる。人ＨＭが物体を操作可能な距離Ｄは、例えば人ＨＭの手の長さを基に決定することができ、図２８の場合、一例として、Ｄ＝７０（ｃｍ）とする。以上の処理から、物体検出部５０５により、差分計算対象の領域が図２９のように得られる。

以上の例では、位置情報として２次元情報を用いた簡易的な計算方法について示している。以下に、３次元情報を用いた例について説明する。

前提条件として、部屋ＲＭの３次元形状は既知、カメラ３００は校正済であるとする。ここで、部屋ＲＭ内に存在し位置が固定されている家具等も部屋ＲＭの３次元形状に含まれるものとする。また、カメラ３００が校正済であるとは、カメラ３００の３次元位置及び３次元姿勢などの外部パラメータ、焦点距離などの内部パラメータが求められて、記憶手段４００などに記憶されていることである。

まず、ある時刻における人ＨＭの３次元位置を基にした、人が物体を操作する（置く、又は、取る）ことが可能な３次元領域を定義して記憶手段４００などに記憶する。３次元領域の例として、円柱領域を設定して記憶手段４００などに記憶する場合について説明する。なお、以下の説明において単位は全て［ｃｍ］である。図３７のように、人ＨＭの世界座標系における３次元位置の位置座標を（Ｘ_ＨＭ，Ｙ_ＨＭ，Ｚ_ＨＭ）とすると、中心の位置座標を（Ｘ_ＨＭ，Ｙ_ＨＭ，０）、半径をＤとする円を底面とし、かつ、Ｚ方向にＨの高さを持つ円柱領域を、ある一時刻において位置（Ｘ_ＨＭ，Ｙ_ＨＭ，Ｚ_ＨＭ）に存在する人ＨＭが、物体を操作可能な領域であると定義して記憶手段４００などに記憶する。ここで半径Ｄは人ＨＭの手の長さを基に決定され、高さＨは人ＨＭの身長を基に決定されるとする。ここで、人ＨＭは上方に手を伸ばせば、身長よりも高い位置に手が届くため、高さＨは人ＨＭの身長よりも大きい値を設定して記憶手段４００などに記憶する。

次に、時刻２秒と時刻１４秒の間に移動する人ＨＭの３次元位置を結んだ曲線（若しくは、折れ線）を考え、その曲線（若しくは、折れ線）上の複数点を基準として前記説明した円柱領域をそれぞれ考え、それらの複数の円柱領域（内部領域も含む）の和の領域を、物体操作可能空間ＶＯとして図３８のように定義して記憶手段４００などに記憶する。人位置のサンプリング間隔が十分に密である場合は、前記複数点として、計測点を物体検出部５０５によりそのまま利用すればよい。人位置のサンプリング間隔が粗である場合は、物体検出部５０５により、計測点を補間した後、補間後の曲線（若しくは、折れ線）上の点を、計測点と合わせて物体検出部５０５により使用すればよい。

実際には物体が宙に浮いて存在していることは無いため、前記物体操作可能空間ＶＯに含まれる水平面を、物体存在候補領域ＡＯとして物体検出部５０５により決定する。物体操作空間ＶＯ内に、テーブル及び棚の一部が含まれている場合の物体存在候補領域ＡＯの例を、それぞれ、図３９、図４０に示す。物体操作空間ＶＯ内に家具などの立体物が無い場合は、物体存在候補領域ＡＯは床面のみとなる。

なお、人が物体を操作することが可能な３次元領域の別の例として、人ＨＭの世界座標系における３次元位置座標（Ｘ_ＨＭ，Ｙ_ＨＭ，Ｚ_ＨＭ）を基に計算した３次元位置を中心とした、所定半径の球を定義して記憶手段４００などに記憶するようにしてもよい。３次元位置座標（Ｘ_ＨＭ，Ｙ_ＨＭ，Ｚ_ＨＭ）は人位置センサが検出した人の位置である。人位置センサとして、超音波発信機９３ａを利用する場合は、検出した人の位置は、超音波発信機９３ａの位置となる。超音波発信機９３ａを人がその腰に携帯する場合は、腰の位置から両肩を結ぶ中点への変換関数を予め作成して記憶手段４００などに記憶させておき、計測した３次元位置（Ｘ_ＨＭ，Ｙ_ＨＭ，Ｚ_ＨＭ）に前記変換関数を物体検出部５０５により適用して計算し、計算により求められた３次元位置を中心として球を定義し、定義された球を、人が物体を操作することが可能な３次元領域として、記憶手段４００などに記憶させればよい。

物体存在候補領域ＡＯを３次元世界座標系において求めた後は、この物体存在候補領域ＡＯを、２次元カメラ座標系に物体検出部５０５により投影する。投影は、物体検出部５０５により、部屋ＲＭの３次元形状（３次元モデル）及び２次元カメラの外部パラメータ及び内部パラメータを用いて、コンピュータグラフィックスにおけるレンダリング技術を用いて実現できる。２次元カメラ座標系に投影後の物体存在候補領域をＡＯ´で表す。この第２実施形態のように、部屋ＲＭの中央付近の天井ＣＬに、その光軸が鉛直方向下向きになるようにカメラ３００が設置されている場合、物体存在候補領域ＡＯ´は図４１のようになる。

同様な方法で、人ＨＭによって隠蔽される領域についても物体検出部５０５により求めることができる。その目的は、画像Ｉａ（撮影された時刻：２秒）及び画像Ｉｂ（撮影された時刻：１４秒）の差分計算を、物体存在候補領域ＡＯ´に関して行う際、さらに、人ＨＭによって隠蔽されている可能性がある領域を差分計算対象領域から除外することである。撮影画像における人ＨＭの領域を物体検出部５０５により推定するためには、物体存在候補領域ＡＯ´を求めた場合と同様、３次元世界座標系において人の３次元モデルを設定して記憶手段４００などに記憶しておき、物体検出部５０５により、２次元カメラ座標系に投影（レンダリング）すればよい。ここでは、人の３次元モデルを図４２のように円柱形状で表現する。人位置センサによる計測値が（Ｘ_ＨＭ，Ｙ_ＨＭ，Ｚ_ＨＭ）である場合、中心（Ｘ_ＨＭ，Ｙ_ＨＭ，０）かつ半径Ｒ_ＨＭである円を底面とし、かつ、Ｚ方向への高さがＨ_ＨＭである円柱とする。ここで、パラメータである半径Ｒ_ＨＭ及び高さＨ_ＨＭは、人の平均的なサイズ（平均的な手の長さ及び平均的な身長）から予め求めて記憶手段４００などに記憶させておけばよい。また、人毎にパラメータの値を設定して記憶手段４００などに記憶しておき、人のＩＤに応じて異なった値をパラメータとして物体検出部５０５により用いてもよい。

図４１の物体存在候補領域ＡＯ´から、人により隠蔽される領域を除いた領域を図４３に示す。以後は、撮影画像Ｉａ及びＩｂにおいて、図４３の領域に対して差分を物体検出部５０５により計算すればよい。

この第２実施形態では、カメラの数は１個であり、かつ、カメラは天井ＣＬにその光軸が鉛直方向下向きになるように設置されているため、物体の存在候補領域ＡＯ´と、人により隠蔽される領域とが重なっていても、物体の存在候補領域ＡＯ´から人により隠蔽される領域を除外するしか、対処方法はない。しかし、複数のカメラが存在する場合は、物体存在候補領域ＡＯ及び人ＨＭの領域を、３次元世界座標系にてそれぞれ物体検出部５０５により求めた後、カメラ毎のカメラ座標系にそれらを物体検出部５０５によりレンダリングすることで、撮影画像において、物体存在候補領域と人領域が重なっているか否かを物体検出部５０５により判断することができる。これにより、両者が重なっていない、又は、重なりが少ないカメラを物体検出部５０５により選択することにより、物体位置が高精度に検出できるようになる。また、天井にカメラが１台だけ備えられている場合は、図３９におけるテーブル下の物体存在候補領域ＡＯはカメラで撮影することができないが、複数のカメラが存在し、かつ、テーブルの真上以外から撮影しているカメラが存在する場合は、テーブル下の物体存在候補領域ＡＯが、カメラ座標系にレンダリング可能なカメラを物体検出部５０５により選択することで、テーブル下に置かれた物体も検出可能である。

複数のカメラを用いる場合については次の第３実施形態にて説明を行う。

なお、人ＨＭの身につける超音波発信機のＩＤ情報に関するデータから人ＨＭが特定できる場合には、人毎に手の長さのデータベース（例えば記憶手段４００又は記憶手段４００とは別の記憶手段）を用意しておき、特定された人の手の長さを物体検出部５０５により用いて、人毎に物体の存在領域を物体検出部５０５により決定することができる。もちろん、人位置センサ２１０の例として床圧力センサを使用する場合でも、人の歩行情報を解析することで人が特定できるならば、人毎に歩行情報のデータベース（例えば記憶手段４００又は記憶手段４００とは別の記憶手段）を用意しておき、物体検出部５０５によりデータベースに記憶された歩行情報を用いて人を特定し、特定された人の手の長さを用いて物体の存在領域を物体検出部５０５により決定してもよい。

よって、図２９のように、物体検出部５０５による差分計算の際、人の領域を物体検出部５０５により確実に除外することができると共に、差分を計算する領域を物体検出部５０５により限定することができて、演算量を少なくすることができる。さらに、カメラ３００の視野内において他の人物が存在しており他の人物が他の物体を動かしている場合でも、差分を計算する領域を物体検出部５０５により限定することで、他の人物や動かされた他の物体が差分領域として抽出される影響を回避又は軽減することができる。

この際、物体ＡのＩＤ情報に対応付けられた、色情報、大きさ情報、形状情報などがあれば、それを利用して差分を物体検出部５０５により行っても良い。これらの利用については、第１実施形態のステップＳＡ８で述べているため、説明を省略する。

次いで、ステップＳＡ９では、インデックスｊがＮ以上であるかどうかのチェックをインデックス管理部５０６により行い、インデックスｊがＮ以上であるとインデックス管理部５０６により判断されれば、前記物体検出処理を終了する。

インデックスｊがＮ未満であるとインデックス管理部５０６により判断されれば、ステップＳＡ１０にて、インデックスｉの値を現在のインデックスｊの値にインデックス管理部５０６によりセットし、再度ステップＳＡ２を行う。このようにして、ステップＳＢ０にて特定した全ての時間帯について、前記物体検出処理を行う。

なお、入出力部７００については、第１実施形態と同様であるので説明を省略する。

以上のように、本第２実施形態の物体検出装置及び方法によれば、物体ＯＡを探索する空間において、無線タグが付与された物体ＯＡの物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダ１０１〜１０３と、前記空間において前記物体ＯＡを取り扱う人ＨＭの位置を計測する、１個以上の人位置センサ２１０と、前記空間の一部又は全体を撮影する、撮像装置の一例としてのカメラ３００と、前記無線タグリーダ１０１〜１０４が検知した物体ＩＤ情報に関するデータ、前記人位置センサ２１０が計測した人位置データ、及び、前記カメラ３００が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段４００と、前記記憶手段４００に蓄積した前記物体ＩＤ情報に関するデータ、前記人位置データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段５００とを備えている。そして、前記物体検出手段５００は、前記人位置センサ２１０が計測した人位置が前記無線タグリーダ１０１〜１０４の検知範囲に含まれる、前記物体ＩＤ情報に関するデータのうち、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータと第２の物体ＩＤ情報に関するデータとが互いに異なると前記物体検出手段５００により判断した場合、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算するとともに、この差分の際、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域について差分を計算し、次いで、画像データにおける前記差分領域の位置、又は、前記位置を前記物体ＯＡを探索する空間における位置に変換した位置を物体ＯＡの位置として検出するように構成している。従って、無線タグリーダ１０１〜１０３の検知範囲外にある物体であっても、物体のＩＤ情報及び位置を決定することができる。また、人位置センサ２１０及び無線タグリーダ１０１〜１０３の出力を基にして、差分を行う画像を画像データ選択部５０４により選択するため、全ての画像データに対して（言い換えれば、毎フレームごとに）差分を物体検出部５０５により行う必要はなく、演算量を削減できる。また、物体検出部５０５による差分計算の際、人位置センサ２１０の出力を基にして、人ＨＭの領域を確実に除外することができると共に、差分を計算する領域を限定できるため、演算量を少なくすることができる。

（第３実施形態）
以下、図面を参照して本発明における第３実施形態にかかる物体検出装置及び方法を詳細に説明する。

図３０は、本発明の第３実施形態に係る物体検出装置の構成を示すブロック図である。部屋ＲＭは、物体検出装置を設置した部屋ＲＭを上方から透視した概略形状（この例では長方形枠）で表現している。

前記物体検出装置は、入出力部７００と、物体検出手段５００と、タイマ手段６００と、記憶手段４００と、複数個のカメラ３０１、３０２、３０３、…と、３個の無線タグリーダ１０１〜１０３と、人位置センサ２１０とで大略構成されている。第２実施形態と大きく異なる点は、カメラ３００の代わりに複数個のカメラ３０１、３０２、３０３、…を備えていることである。

第１実施形態と同様に、部屋ＲＭ内には、前記３個の無線タグリーダ１０１〜１０３、３個の無線タグリーダ１０１〜１０３の３個のアンテナ１１１〜１１２、人位置センサ２１０、及び複数個のカメラ３０１、３０２、３０３、…が設置されている。これらの無線タグリーダ１０１〜１０３、人位置センサ２１０、カメラ３０１、３０２、３０３、…などのセンサから出力されたデータは、タイマ手段６００を利用することにより、タイマ手段６００から取得された各データの取得時刻と対応づけられて記憶手段４００に蓄積される。

また、物体検出手段５００は、記憶手段４００に蓄積されかつセンサから出力されたデータを利用して、部屋ＲＭ内に存在する物体ＯＡのＩＤ情報及び位置を検出する。無線タグリーダ１０１〜１０３及び人位置センサ２１０については、第２実施形態と同様であるため説明を省略する。第２実施形態との差異は、カメラ３０１、３０２、３０３、…が複数個、設置されていることであり、図３０におけるそれぞれのカメラ３０１、３０２、３０３、…の位置と部屋ＲＭとの位置関係は、実際の位置関係を反映させたものではない。位置関係については、以下で説明する。

複数のカメラ３０１、３０２、３０３、…は、複数又は単体で部屋ＲＭ全体を見渡せるように設置される。前者の例として、図３１Ｂのように、９台のカメラ３０１、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３０９の光軸を鉛直方向の下向きとして、天井ＣＬに分散設置した場合について考える。このとき、部屋ＲＭの床面ＦＬは、図３１Ａのように９台のカメラ３０１、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３０９の視野（１）〜（９）で覆われる。

なお、カメラの台数は９台以外の任意の台数であってもよいし、カメラの視野の重複を許してもよい。特に、図３１Ｂ（図３１Ａ）のように部屋ＲＭの床面ＦＬにおいて視野の重複がない場合は、床面ＦＬから上方に離れると、どのカメラの視野にも含まれない領域が生じる。よって、テーブルや家具など床面ＦＬから離れた場所に物体を置く場合は、物体を置く可能性がある場所について死角がないように隣接配置するカメラの視野を重複させるなどして設定することが望ましい。

図３２は、本第３実施形態の物体検出装置における物体検出手段５００で行われる物体検出方法を示すフローチャートである。

以下、図３２のフローチャートに従って、本第３実施形態に係る物体検出装置及び物体検出方法にかかる物体検出処理について説明する。

ステップＳＢ０、ＳＡ１からＳＡ６までの処理は第２実施形態と同様であるため、説明を省略し、ステップＳＣ７から以降について説明する。

画像データ選択部５０４により実行されるステップＳＣ７では、物体位置を検出するために適した画像を撮影しているカメラ３０１〜３０９、及び、物体位置を検出するための画像の選択を行う。第２実施形態と同じ図２１のセンサからのデータが得られている場合、第２実施形態と同様の処理を行うことで図２９のように、物体Ａの存在領域を限定する。本第３実施形態では、部屋ＲＭを図３１Ａのように９個のカメラ３０１〜３０９で撮影を行っている。よって、図２９の物体ＯＡの存在領域と各カメラ３０１〜３０９の視野領域との関係から、物体ＯＡを検出するためには、視野（１）、（２）、（３）を有する３個のカメラ３０１、３０２、３０３を画像データ選択部５０４により選択すればよいことが判る。カメラ３０１、３０２、３０３を画像データ選択部５０４により選択すれば、第２実施形態と同様な方法を用いて、記憶手段４００から、選択したカメラ３０１、３０２、３０３における時刻２秒と時刻１４秒の画像データを画像データ選択部５０４により選択する。

この例では、平面状の物体の存在領域を、単一のカメラにてカバーすることができないため、３個のカメラを選択している。それ以外の例として、第２実施形態にて説明した図３９、図４０のように、物体の存在領域（物体存在候補領域ＡＯ）が平面でない場合に、単一のカメラからは隠蔽が生じる場合がある。このような場合でも、複数のカメラがさまざまな位置／角度から部屋内を撮影している場合であれば、物体存在候補領域ＡＯの全ての領域をカバーするように複数のカメラを物体検出部５０５により選択することで、隠蔽にロバストな物体検出を行うことが可能となる。

物体検出部５０５により実行されるステップＳＢ８では、ステップＳＣ７で画像データ選択部５０４により選択された画像データを利用し、差分を行うことで物体の位置を検出する。選択されたカメラが複数であれば、カメラ毎に２個の画像データ間の差分を物体検出部５０５により行い、差分領域が検出されたカメラの結果を採用する。また、物体検出部５０５により差分を計算する際、第２実施形態と同様、図２９の斜線領域を利用して、物体検出部５０５により、人の領域を確実に除外することができると共に、差分を計算する領域を限定できる。

以上のように、本第３実施形態の物体検出方法及び装置によれば、物体ＯＡを探索する空間において、無線タグが付与された物体ＯＡの物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダ１０１〜１０３と、前記空間において前記物体ＯＡを取り扱う人ＨＭの位置を計測する、１個以上の人位置センサ２１０と、各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置の一例としてのカメラ３０１〜３０９と、前記無線タグリーダ１０１〜１０３が検知した物体ＩＤ情報に関するデータ、前記人位置センサ２１０が計測した人位置データ、及び、前記カメラ３０１〜３０９が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段４００と、前記記憶手段４００に蓄積した前記物体ＩＤ情報に関するデータ、前記人位置データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段５００とを備えている。そして、前記物体検出手段５００は、前記人位置センサ２１０が計測した人位置が前記無線タグリーダ１０１〜１０３の検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータが互いに異なると判断した場合、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有するカメラ（カメラ３０１〜３０９のいずれか１つのカメラ又は複数のカメラ）を特定し、前記特定されたカメラによって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する。従って、無線タグリーダ１０１〜１０３の検知範囲外にある物体ＯＡであっても、物体のＩＤ情報及び位置を決定することができる。また、人位置センサ２０１及び無線タグリーダ１０１〜１０３の出力を基にして、カメラを特定し、かつ、前記特定されたカメラにより各時刻に撮影された画像データ中から差分を行う対象画像データを画像データ選択部５０４により選択する。よって、全てのカメラ３０１〜３０９で全ての時刻に撮影された各画像データに対して差分を物体検出部５０５により行う必要はなく、演算量を削減できる。また、物体検出部５０５による差分計算の際、人位置センサ２１０の出力を基にして、人の領域を確実に除外することができると共に、差分を計算する領域を限定できる。

（第３実施形態の変形例）
本第３実施形態の変形例では、前記第３実施形態と同様に、図３０のブロック図、図３２のフローチャートを用いる。図３０のブロック図については、第３実施形態と同様であるため説明を省略する。

第３実施形態の変形例においては、図３１Ｂ（図３１Ａ）のように、９台のカメラ３０１〜３０９の視野（１）〜（９）を合わせて部屋ＲＭの床面ＦＬ全域を覆うようにカメラ３０１〜３０９を設置したが、本第３実施形態の変形例においては、図３３のように４台のカメラ３０１〜３０４を天井ＣＬの四隅にそれぞれ配置する。すなわち、部屋ＲＭの天井ＣＬの四隅上方に４台のカメラ３０１〜３０４を設置し、各カメラ３０１〜３０４から、部屋ＲＭの床面ＦＬの全領域を撮影可能なように設置している。

以下、図３２のフローチャートに従って、本第３実施形態の変形例に係る物体検出装置及び物体検出方法にかかる物体検出処理について説明する。

画像データ選択部５０４により実行されるステップＳＣ７では、４台のカメラ３０１〜３０４の中から、物体位置を検出するために適した画像を撮影しているカメラ、及び、物体位置を検出するための画像データの選択を画像データ選択部５０４により行う。第２実施形態と同じ図２１のセンサからのデータが得られている場合、第２実施形態と同様の処理を行うことで図２９のように、物体Ａの存在領域を限定する。ここで、カメラ３０２の、時刻２秒及び時刻１４秒における撮影画像を図３４Ａ及び図３４Ｂにそれぞれ示す。このカメラ位置の場合、時刻１４秒に撮影した画像では、図２９における物体Ａの存在領域と人の姿が重なってしまっており、差分を計算する際の障害になる。一方、カメラ３０４の、時刻２秒及び時刻１４秒における撮影画像を図３５Ａ及び図３５Ｂにそれぞれ示す。このカメラ位置では、図２９における物体ＯＡの存在領域と人ＨＭの姿が重なることがなく、差分計算が問題なく実施できる。人位置センサ２１０により人の位置が計測されている場合、人の３次元形状を画像データ選択部５０４により仮定することで撮影画像データにおける人の領域が画像データ選択部５０４により計算可能であり、このことを利用して、図２９で示すような物体の存在領域が人により隠蔽されていない、カメラ（視点）の位置を画像データ選択部５０４により選択できる。物体の存在領域が人により隠蔽されているか否かに関しては、第２実施形態で説明した通り、部屋の３次元形状モデル、人の３次元形状モデル、及び、校正済のカメラを用いて物体検出部５０５により判定することが可能である。そして、カメラを画像データ選択部５０４により選択すれば、第２実施形態と同様の方法を用いて、記憶手段４００から、選択したカメラにおける時刻２秒と時刻１４秒の画像を画像データ選択部５０４により選択する。

物体検出部５０５により実行されるステップＳＢ８では、ステップＳＣ７で画像データ選択部５０４により選択された画像を利用し、前記第３実施形態で説明したように差分を行うことで物体ＯＡの位置を検出する。

また、カメラ（視点）の位置を変えるのではなく、撮影された時刻を変えるように画像データ選択部５０４により選択することにより、物体の存在領域が人により隠蔽されていない撮影画像を、物体検出部５０５による差分に用いてもよい。図２５のデータからは、物体Ａが、時刻３秒から時刻１３秒の間に、前記時刻間に人が存在した位置付近（物体存在候補領域）のどこかに置かれたことを示している。時刻１４秒以降の時刻においても、前記物体存在候補領域に人が再度近づく前の時刻であれば、物体Ａの位置は動かされることはないため、差分に用いることができる。図３６は、カメラ３０２の、時刻２３秒における撮影画像である。この撮影時刻では、図２９における物体の存在位置と人の姿が重なっておらず、かつ、この撮影時刻は人が物体存在候補領域に再度近づく前である。よって、図３４Ａで表される画像と図３６で表される画像データを画像データ選択部５０４により選択して、これらの画像データの差分を物体検出部５０５により計算することにより、物体Ａの位置を検出することができる。

以上のように、本第３実施形態の変形例の物体検出方法及び装置によれば、９台のカメラ３０１〜３０９の視野（１）〜（９）を合わせて部屋ＲＭの床面ＦＬ全域を覆うようにカメラ３０１〜３０９を設置する代わりに、部屋ＲＭの床面ＦＬの全領域をそれぞれ撮影可能な４台のカメラ３０１〜３０４を設置して、カメラ（視点）の位置を変えることにより画像データを画像データ選択部５０４で選択して、物体の存在領域が人により隠蔽されていない撮影画像を物体検出部５０５による差分に用いるように構成している。又は、カメラ（視点）の位置を変えるのではなく、撮影された時刻を変えるように画像データを画像データ選択部５０４で選択して、物体の存在領域が人により隠蔽されていない撮影画像を、物体検出部５０５による差分に用いるように構成している。従って、無線タグリーダ１０１〜１０３の検知範囲外にある物体ＯＡであっても、物体のＩＤ情報及び位置を決定することができる。また、人位置センサ２１０及び無線タグリーダ１０１〜１０３の出力を基にして、カメラを特定し、かつ、前記カメラの撮影画像の中から差分を行う画像を選択するため、全てのカメラで全ての時刻に撮影した画像に対して差分を行う必要はなく、演算量を削減できる。また、差分計算の際、人位置センサ２１０の出力を基にして、人の領域を確実に除外することができると共に、差分を計算する領域を限定できる。

なお、本発明は前記種々の実施形態に限定されるものではなく、その他種々の態様で実施できる。

例えば、前記第１，２，３実施形態の物体検出処理のそれぞれのステップを有するコンピュータプログラムとして、記憶装置（ハードディスク等）などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置（半導体メモリ等）に読み込んでＣＰＵを用いて実行することにより、前記した各処理を実行することができる。

なお、前記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

本発明に係る物体検出装置、物体検出方法及び物体検出用コンピュータプログラムは、一般家屋やオフィス内などにある物体を管理するための装置、方法、プログラムを提供できる。特に一般家屋内に存在する日用品や、オフィスで使用する各種物体のＩＤ情報及び位置を無線タグ技術などを用いて管理することができ、ユーザが探し物を問い合わせた時に前記探し物の位置を適切に提示したり、ロボットに前記探し物を搬送させるなどの生活／業務支援が可能となる。

本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形や修正は明白である。そのような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。
図１Ａは、本発明の第１実施形態に係る物体検出装置の構成例を示すブロック図である。図１Ｂは、本発明の第１実施形態に係る物体検出装置の無線タグリーダ設置例を示す図である。図１Ｃは、本発明の第１実施形態に係る物体検出装置の無線タグリーダ設置の他の例を示す図である。図１Ｄは、本発明の第１実施形態の物体検出装置において、無線タグリーダのアンテナ及び人検知センサの設置を示す図である。図１Ｅは、本発明の第１実施形態の物体検出装置において、カメラの設置を示す図である。図２は、本発明の第１実施形態に係る物体検出装置との関係で、人の動線（移動履歴）を示す図である。図３は、本発明の第１実施形態に係る物体検出装置において、人検知センサの出力及び無線タグリーダの出力を示す図である。図４は、本発明の第１実施形態の物体検出装置の物体検出手段で行われる物体検出方法を示すフローチャートである。図５は、無線タグリーダで取得した物体ＩＤ情報に関するデータが複数の場合の、無線タグリーダの出力例を示す図である。図６Ａは、本発明の第１実施形態において、時刻２秒及び時刻１４秒に撮影された画像Ｉａ，Ｉｂを示す図である。図６Ｂは、本発明の第１実施形態の物体検出装置が利用する、物体のＩＤ情報に対応づけられた各種情報を格納するデータベースのエントリを示す図である。図６Ｃは、本発明の第１実施形態の物体検出装置が利用する、物体のＩＤ情報に対応づけられた各種情報を格納するデータベースと物体検出装置との接続を示す図である。図７Ａは、カラーカメラの分光感度、被写体の分光反射率、及び、背景の分光反射率を示すグラフである。図７Ｂは、カラーカメラの分光感度、被写体の分光反射率、及び、背景の分光反射率を示すグラフである。図７Ｃは、カラーカメラの分光感度、被写体の分光反射率、及び、背景の分光反射率を示すグラフである。図８Ａは、分光反射率を算出するために必要な、複数の波長特性を示すグラフである。図８Ｂは、分光反射率を算出するために必要な、複数の波長特性（センサの分光感度特性（色フィルタの透過率込み。正規化後））を示すグラフである。図８Ｃは、分光反射率を算出するために必要な、複数の波長特性（背景上の１点を、図８Ｂの分光感度を持つセンサにより計測した輝度の分光特性）を示すグラフである。図９は、床面とテーブルの上にそれぞれ設置された物体を上方から撮影する様子を示した図である。図１０は、図９のカメラが撮影した画像の差分を表す図である。図１１Ａは、人検知センサの検知範囲をマスク領域として、差分画像を計算する様子を示す図である。図１１Ｂは、人検知センサの検知範囲をマスク領域として、差分画像を計算する様子を示す図である。図１１Ｃは、人検知センサの検知範囲をマスク領域として、差分画像を計算する様子を示す図である。図１１Ｄは、人検知センサの検知範囲をマスク領域として、差分画像を計算する様子を示す図である。図１２Ａは、時間帯ＴＺ１から取得時刻が異なる２枚の画像を利用して人の領域を検出する方法を示す図である。図１２Ｂは、時間帯ＴＺ１から取得時刻が異なる２枚の画像を利用して人の領域を検出する方法を示す図である。図１２Ｃは、時間帯ＴＺ１から取得時刻が異なる２枚の画像を利用して人の領域を検出する方法を示す図である。図１３Ａは、時間帯ＴＺ２から取得時刻が異なる２枚の画像を利用して人の領域を検出する方法を示す図である。図１３Ｂは、時間帯ＴＺ２から取得時刻が異なる２枚の画像を利用して人の領域を検出する方法を示す図である。図１３Ｃは、時間帯ＴＺ２から取得時刻が異なる２枚の画像を利用して人の領域を検出する方法を示す図である。図１４は、発明者らが提案中の別手法における、タグリーダの配置を示す図である。図１５は、発明者らが提案中の別手法における、人の時間あたりの移動距離と人の動線（移動履歴）を示す図である。図１６は、本発明の第２実施形態に係る画像処理装置の構成例を示すブロック図である。図１７は、超音波センサにより人の位置を計測する様子を示す図である。図１８Ａは、床圧力センサにより人の位置を計測する様子を示す図である。図１８Ｂは、本発明の第２実施形態の物体検出装置において、無線タグリーダのアンテナ及び人検知センサ（超音波センサ）の設置を示す図である。図１８Ｃは、本発明の第２実施形態の物体検出装置において、無線タグリーダのアンテナ及び人検知センサ（床圧力センサ）の設置を示す図である。図１９は、世界座標系の取り方を示す図である。図２０は、本発明の第２実施形態に係る、人の動線（移動履歴）を示す図である。図２１は、本発明の第２実施形態に係る、人位置センサの出力及び無線タグリーダの出力を示す図である。図２２は、本発明の第２実施形態の物体検出手段で行われる物体検出方法を示すフローチャートである。図２３は、人位置センサの出力座標値が、実測した無線タグリーダの検知範囲に含まれるか否かを判断する様子を示した図である。図２４は、人位置センサの出力座標値が、円でモデル化した無線タグリーダの検知範囲に含まれるか否かを判断する様子を示した図である。図２５は、図２１のセンサ出力に、人位置センサの出力座標値が実測した無線タグリーダの検知範囲に含まれるか否かの判断結果を併記した図である。図２６は、本発明の第２実施形態において、時刻２秒及び時刻１４秒に撮影された画像Ｉａ，Ｉｂを示す図である。図２７Ａは、人位置センサの出力から、撮影画像において、人が存在する位置を推定する様子を示した図である。図２７Ｂは、人位置センサの出力から、撮影画像において、人が存在する位置を推定する様子を示した図である。図２８は、物体の存在する領域を推定する方法の例を示す図である。図２９は、撮影画像において、差分を計算する領域を示す図である。図３０は、本発明の第３実施形態に係る画像処理装置の構成例を示すブロック図である。図３１Ａは、本発明の第３実施形態において使用する９個のカメラの視野を示す図である。図３１Ｂは、本発明の第３実施形態の物体検出装置において、９台のカメラを天井に分散配置した様子を示す図である。図３２は、本発明の第３実施形態の物体検出手段で行われる物体検出方法を示すフローチャートである。図３３は、本発明の第３実施形態の変形例において使用する４個のカメラの配置を示す図である。図３４Ａは、図３３のカメラ３０２の、時刻２秒及び時刻１４秒における撮影画像を示す図である。図３４Ｂは、図３３のカメラ３０２の、時刻２秒及び時刻１４秒における撮影画像を示す図である。図３５Ａは、図３３のカメラ３０４の、時刻２秒及び時刻１４秒における撮影画像を示す図である。図３５Ｂは、図３３のカメラ３０４の、時刻２秒及び時刻１４秒における撮影画像を示す図である。図３６は、図３３のカメラ３０２の、時刻２３秒における撮影画像を示す図である。図３７は、人ＨＭが物体を操作可能な領域の一例としての円柱領域の説明図である。図３８は、人ＨＭが移動するときの物体操作可能空間ＶＯの説明図である。図３９は、図３８の物体操作空間ＶＯ内にテーブルの一部が含まれている場合の物体存在候補領域ＡＯの例を示す図である。図４０は、図３８の物体操作空間ＶＯ内に棚の一部が含まれている場合の物体存在候補領域ＡＯの例を示す図である。図４１は、部屋ＲＭの中央付近の天井ＣＬに、その光軸が鉛直方向下向きになるようにカメラが設置されている場合の、物体存在候補領域ＡＯ´を示す説明図である。図４２は、人ＨＭによって隠蔽される領域を求めるとき、人の３次元モデルを示す一例としての円柱形状の説明図である。図４３は、図４１の物体存在候補領域ＡＯ´から、人により隠蔽される領域を除いた領域を示す説明図である。

Claims

物体を探索する空間において、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダと、
前記空間において前記物体を取り扱う人の位置を計測する、１個以上の人位置センサと、
前記空間の一部又は全体を撮影する、１個以上の撮像装置と、
前記無線タグリーダが検知した物体ＩＤ情報に関するデータ、前記人位置センサが計測した人位置データ、及び、前記撮像装置が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段と、
前記記憶手段に蓄積した前記物体ＩＤ情報に関するデータ、前記人位置データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段とを備え、
前記物体検出手段は、前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記物体ＩＤ情報に関するデータのうち、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータと第２の物体ＩＤ情報に関するデータとが互いに異なると判断した場合、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算するとともに、この差分の際、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域について差分を計算し、次いで、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する物体検出装置。
物体を探索する空間において、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダと、
前記空間において前記物体を取り扱う人の位置を計測する、１個以上の人位置センサと、
各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置と、
前記無線タグリーダが検知した物体ＩＤ情報に関するデータ、前記人位置センサが計測した人位置データ、及び、前記撮像装置が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段と、
前記記憶手段に蓄積した前記物体ＩＤ情報に関するデータ、前記人位置データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段とを備え、
前記物体検出手段は、前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータが互いに異なると判断した場合、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する前記撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有する前記撮像装置を、前記２個以上の撮像装置の中から特定し、前記特定された撮像装置によって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する物体検出装置。
物体を探索する空間において、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダと、
前記空間において前記無線タグリーダの検知範囲に人が存在するか否かを検知する、１個以上の人検知センサと、
前記空間の一部又は全体を撮影する、１個以上の撮像装置と、
前記無線タグリーダが検知した物体ＩＤ情報に関するデータ、前記人検知センサが検知した人検知データ、及び、前記撮像装置が撮影した画像データを、前記データの各々の取得時刻と関連づけて蓄積する記憶手段と、
前記記憶手段に蓄積した前記物体ＩＤ情報に関するデータ、前記人検知データ、及び、前記画像データに基づき、前記物体のＩＤ情報及び位置を検出する物体検出手段とを備え、
前記物体検出手段は、前記人が存在することを示す前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤデータ及び第２の物体ＩＤ情報に関するデータが互いに異なると判断した場合、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データとの差分を計算し、前記画像データにおける差分領域の位置、又は、前記差分領域の位置を前記物体を探索する前記空間における位置に変換した位置を前記物体の位置として検出する、物体検出装置。
前記撮像装置はカメラであり、前記物体検出手段は、前記第１の画像データと前記第２の画像データとの差分を計算する際に、前記人検知センサの検知範囲をカメラ座標系に変換した領域を、前記第１の画像データと前記第２の画像データとの差分を計算する差分対象領域から除外して、除外された領域において、前記差分を計算する請求項３に記載の物体検出装置。
前記物体検出手段は、
前記第１の時刻に基づいて、取得時刻が互いに異なる第１の画像データ及び第３の画像データを選択し、前記第２の時刻に基づいて、取得時刻が互いに異なる第２の画像データ及び第４の画像データを選択する画像データ選択部と、
前記画像データ選択部で選択された前記第１の画像データと前記第３の画像データとの差分を計算することによって、第１のマスク領域を決定し、前記画像データ選択部で選択された前記第２の画像データと前記第４の画像データとの差分を計算することによって、第２のマスク領域を決定し、前記第１の画像データと前記第２の画像データとの差分を計算する際に、前記第１のマスク領域及び前記第２のマスク領域を、差分の対象領域から除外したのち、前記第１の画像データと前記第２の画像データとの差分を計算する物体検出部とを備える請求項３に記載の物体検出装置。
前記物体検出手段は、前記第１の画像データと前記第２の画像データとの差分を計算する際、前記第１の物体ＩＤ情報に関するデータ及び前記第２の物体ＩＤ情報に関するデータにおいて、差異のある物体ＩＤ情報を特定し、差異のある前記物体ＩＤ情報に対応づけられた、物体の色、大きさ、形状の情報のうち少なくとも１つの情報を利用して前記差分を計算する、請求項１から５のいずれか１つに記載の物体検出装置。
各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記無線タグリーダの検知範囲に人が存在するか否かを検知する、１個以上の前記人検知センサが検知した人検知データと、前記物体を探索する空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、前記物体のＩＤ情報及び位置を検出する物体検出方法であって、
前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較し、
前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択し、
前記画像データ選択で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出して、
前記物体ＩＤデータ比較での前記比較の結果、前記物体ＩＤ情報に関するデータが一致していないとき、前記画像データ選択と前記物体検出とを実行する物体検出方法。
各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、前記空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、前記物体のＩＤ情報及び位置を検出する物体検出方法であって、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較し、
前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択し、
前記画像データ選択で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を物体の位置として検出し、前記差分の際、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域について差分を計算して、
前記物体ＩＤ比較での前記比較の結果、前記物体ＩＤ情報に関するデータが一致していないとき、前記画像データ選択と前記物体検出とを実行する物体検出方法。
各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置が撮影した画像データとを用いて、前記物体のＩＤ情報及び位置を検出する物体検出方法であって、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較し、
前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有する撮像装置を、前記２個以上の撮像装置の中から特定し、前記特定された撮像装置によって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択し、
前記撮像装置・画像データ選択で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出して、
前記物体ＩＤ比較での前記比較の結果、物体ＩＤ情報に関するデータが一致していないとき、前記撮像装置・画像データ選択、及び、前記物体検出とを実行する物体検出方法。
各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤデータと、前記無線タグリーダの検知範囲に人が存在するか否かを検知する、１個以上の前記人検知センサが検知した人検知データと、前記物体を探索する空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、コンピュータを使用して前記物体のＩＤ情報及び位置を検出する、物体検出用コンピュータプログラムであって、
前記人検知データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較する物体ＩＤ比較手段と、
前記物体ＩＤ比較手段での前記比較の結果、前記物体ＩＤ情報に関するデータ同士が一致していないとき、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択する画像データ選択手段と、
前記画像データ選択手段で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する物体検出手段と、
を備える、物体検出用コンピュータプログラム。
各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、前記空間の一部又は全体を撮影する、１個以上の撮像装置が撮影した画像データとを用いて、コンピュータを使用して前記物体のＩＤ情報及び位置を検出する、物体検出用コンピュータプログラムであって、
前記コンピュータに、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較する物体ＩＤ比較手段と、
前記物体ＩＤ比較手段での前記比較の結果、物体ＩＤ情報に関するデータが一致していないとき、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択する画像データ選択手段と、
前記画像データ選択手段で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出し、前記差分の際、前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域について差分を計算する物体検出手段と、
を実行させるための物体検出用コンピュータプログラム。
各々の取得時刻と関連づけて蓄積された、無線タグが付与された物体の物体ＩＤ情報に関するデータを検知する、１個以上の無線タグリーダが検知した物体ＩＤ情報に関するデータと、前記物体を取り扱う人の位置を計測する、１個以上の人位置センサが計測した人位置データと、各々が前記空間の一部又は全体を撮影する、２個以上の撮像装置が撮影した画像データとを用いて、コンピュータを使用して前記物体のＩＤ情報及び位置を検出する物体検出用コンピュータプログラムであって、
前記コンピュータに、
前記人位置センサが計測した人位置が前記無線タグリーダの検知範囲に含まれる、前記人位置データを取得した第１の時刻及び第２の時刻にそれぞれ対応する、第１の物体ＩＤ情報に関するデータ及び第２の物体ＩＤ情報に関するデータとを比較する物体ＩＤ比較手段と、
前記第１の時刻から前記第２の時刻までの前記人位置データに基づいて決定した領域を撮影視野として有する撮像装置、又は、前記第１の時刻及び前記第２の時刻にそれぞれ対応する第１の画像データ及び第２の画像データのそれぞれにおいて、前記領域が人を含む他の物体により隠蔽されないような、視点を有する撮像装置を、前記２個以上の撮像装置の中から特定し、前記特定された撮像装置によって撮影された、前記第１の時刻及び前記第２の時刻にそれぞれ対応する、第１の画像データと第２の画像データを選択する撮像装置・画像データ選択手段と、
前記撮像装置・画像データ選択手段で選択された、前記第１の画像データと前記第２の画像データとの差分を計算し、画像データにおける前記差分領域の位置、又は、前記位置を前記物体を探索する空間における位置に変換した位置を前記物体の位置として検出する物体検出手段とを実行させるとき、
前記物体ＩＤ比較手段での前記比較の結果、物体ＩＤ情報に関するデータが一致していないとき、前記撮像装置・画像データ選択手段、及び、前記物体検出手段とを実行させるための物体検出用コンピュータプログラム。