JP4422792B1 - 物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラム - Google Patents

Abstract

物品と物品を運ぶときの持ち方を対応付けて登録した持ち方登録データベース(１１２)と、人が対象物品を運んでいるとき、前記対象物品をどのように持っているかを判定する持ち方判定処理手段(１０７)と、前記持ち方登録データベース(１１２)に登録された物品の中から、前記持ち方判定処理手段(１０７)によって判定された持ち方が登録されている物品を候補物品として抽出する第１物品候補抽出手段(１１４)、を備えるようにする。
【選択図】図１Ａ

Description

本発明は、家庭又はオフィスなどの生活空間において、ユーザが取り扱う日用品又はオフィス用品などの物品を推定する物品推定装置、及び、推定された物品の位置を求める物品位置推定装置、物品推定方法、並びに、物品推定プログラムに関するものである。

家庭又はオフィスなどの生活空間（以下、環境空間とする。）にある日用品又はオフィス用品などの物品は、日常、机の上又は棚の中など様々な場所に置かれている。このような場所の物品を、例えば、画像センサで検出しようとすると、他の物品又は家具によって対象物品の一部、又は全部が隠されてしまい、正しく識別できないという問題が発生する。

そこで、このような問題に対処可能である、従来の物品を検出する技術としては、対象物品を掴もうとする指の動きに基づいて識別する技術がある（特許文献１）。図４１は、前記特許文献１に記載された従来の物体識別装置の構成図である。

動き検出部１にて、対象物品を掴もうとするときの指の動きを検出する。特徴抽出部２にて、動き検出部１で検出した指の動きデータから特徴量を抽出する。ニューラルネットワーク部３にて、あらかじめ定めた教示データを用いて、特徴抽出部２で抽出した特徴量を学習する。判別部４にて、前記ニューラルネットワーク部３の学習結果に基づいて対象物品の識別を行うものである。

これは、人は対象物品を掴もうとするとき、対象物品の形状に応じて手の形を準備するプレシェイピングと呼ばれる動作を行うことを利用している。

特開平７−１６０６６５号公報

しかし、家庭又はオフィスなどの生活空間にある日用品又はオフィス用品などの物品は多種多様である。このような状況において前記従来の技術を適用すると、指の動きを検出して、対象物品の形状に基づいて識別しているので、同一形状の物品が多数存在する場合には、対象物品の候補が多数存在してしまうという課題を有している。

本発明は、前記従来の課題を解決するもので、対象物品の一部又は全部が隠されてしまい、かつ、多数の同一形状の物品が存在する場合においても、対象物品を推定することができる物品推定装置、及び、その対象物品の位置を求めることができる物品位置推定装置、物品推定方法、並びに、物品推定プログラムを提供することを目的とする。

前記目的を達成するために、本発明は以下のように構成する。
本発明の第１態様によれば、環境空間中に存在する複数の物品の位置の情報を検出する物品センシング手段と、
前記環境空間中に存在する人の手の位置の情報を検出する手センシング手段と、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出された前記物品の位置の情報と前記手の位置の情報との位置関係を、前記手による前記物品の持ち方として判定する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると推定する物品推定手段とを、
備える物品推定装置を提供する。
本発明の第２態様によれば、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を物品検出履歴データベースに登録する物品センシング手段と、
前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を手検出履歴データベースに登録する手センシング手段と、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると推定する物品推定手段とを
備える物品推定装置を提供する。

本発明の第９態様によれば、環境空間中に存在する複数の物品の位置の情報を物品センシング手段で検出し、
前記環境空間中に存在する人の手の位置の情報を手センシング手段で検出し、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出された前記物品の位置の情報と前記手の位置の情報との位置関係を、前記手による前記物品の持ち方として持ち方判定処理手段で判定し、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると物品推定手段で推定する、
ことを備える物品推定方法を提供する。
本発明の第１０態様によれば、物品センシング手段により、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を物品検出履歴データベースに登録し、
手センシング手段により、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を手検出履歴データベースに登録し、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を持ち方判定処理手段で判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに持ち方判定処理手段で登録し、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として第１物品候補抽出手段で抽出し、
前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると、物品推定手段で推定する、
ことを備える物品推定方法を提供する。

本発明の第１１態様によれば、物品センシング手段により、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、物品検出履歴データベースに登録し、
手センシング手段により、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、手検出履歴データベースに登録し、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを持ち方判定処理手段で判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに持ち方判定処理手段で登録し、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として第１物品候補抽出手段で抽出し、
シーン判定手段により、前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得し、
第２物品候補抽出手段により、前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が運ぶ前に対象物品が置かれていた移動元の位置に存在する、第２候補物品を抽出し、
前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と、物品推定手段で推定する、
ことを備える物品推定方法を提供する。

本発明の第１２態様によれば、物品センシング手段で検出された環境空間中に存在する複数の物品の位置の情報と、手センシング手段で検出された前記環境空間中に存在する人の手の位置の情報との位置関係を、前記手による前記物品の持ち方として判定する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると推定する物品推定手段、
としてコンピュータを機能させる物品推定プログラムを提供する。
本発明の第１３態様によれば、物品センシング手段により検出された、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報が登録された物品検出履歴データベースと、手センシング手段により検出された、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報が登録された手検出履歴データベースとにそれぞれ登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると推定する物品推定手段、
としてコンピュータを機能させる物品推定プログラムを提供する。

本発明の第１４態様によれば、物品センシング手段により検出された、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を、検出した時刻の情報と対応付けて、登録された物品検出履歴データベースと、手センシング手段により検出された、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を、検出した時刻の情報と対応付けて、登録された手検出履歴データベースとにそれぞれ登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得するシーン判定手段と、
前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が運ぶ前に対象物品が置かれていた移動元の位置に存在する、第２候補物品を抽出する第２物品候補抽出手段と、
前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と推定する物品推定手段、
としてコンピュータを機能させる物品推定プログラムを提供する。

本発明によれば、対象物品の一部又は全部が隠されてしまい、かつ、多数の同一形状の物品が存在する場合においても、人が対象物品を運ぶときの持ち方を判定することにより、対象物品の識別候補を絞り込んでその物品を推定することができるようになり、さらに、その推定結果を用いて物品の位置を推定することができるようになる。

本発明のこれらと他の目的と特徴は、添付された図面についての好ましい実施形態に関連した次の記述から明らかになる。
図１Ａは、本発明の第１実施形態にかかる物品推定装置及び物品位置推定装置における機能ブロック図である。 図１Ｂは、本発明の第１実施形態にかかる物品推定装置及び物品位置推定装置における持ち方判定処理手段の機能ブロック図である。 図２は、本発明の前記第１実施形態における全体の処理フローを説明する図である。 図３は、本発明の前記第１実施形態における生活空間としてのキッチン環境空間を説明する図である。 図４は、本発明の前記第１実施形態における座標系を説明する図である。 図５Ａは、本発明の前記第１実施形態における環境空間内の時刻ｔ１１の物品の状況の例を示す平面図である。 図５Ｂは、本発明の前記第１実施形態における環境空間内の時刻ｔ９９の物品の状況の例を示す平面図である。 図６Ａは、本発明の前記第１実施形態における画像センサの処理における背景画像を説明する図である。 図６Ｂは、本発明の前記第１実施形態における画像センサの処理における撮像画像を説明する図である。 図６Ｃは、本発明の前記第１実施形態における画像センサの処理における差分画像を説明する図である。 図７は、本発明の前記第１実施形態における登録物品データベースの例を示す図である。 図８は、本発明の前記第１実施形態における物品検出履歴データベースの例を示す図である。 図９Ａは、本発明の前記第１実施形態における超音波タグセンサの処理を説明する斜視図である。 図９Ｂは、本発明の前記第１実施形態の変形例における超音波タグセンサの処理を説明する斜視図である。 図１０は、本発明の前記第１実施形態における登録人物データベースの例を示す図である。 図１１は、本発明の前記第１実施形態における手検出履歴データベースの例を示す図である。 図１２Ａは、本発明の前記第１実施形態における手とその周辺領域を手の甲側から撮像した撮像画像の例を示す図である。 図１２Ａは、本発明の前記第１実施形態における手とその周辺領域を手の平側から撮像した撮像画像の例を示す図である。 図１３は、本発明の前記第１実施形態における持ち方判定処理手段の処理フローを説明する図である。 図１４Ａは、本発明の前記第１実施形態における手の領域とその手に持っている物品の領域を図１２Ａから抽出した画像の例を示す図である。 図１４Ｂは、本発明の前記第１実施形態における手の領域とその手に持っている物品の領域を図１２Ｂから抽出した画像の例を示す図である。 図１５Ａは、本発明の前記第１実施形態における手領域と物品領域を検出した画像の例を示す図である。 図１５Ｂは、本発明の前記第１実施形態における手領域と物品領域を検出した画像の例を示す図である。 図１５Ｃは、本発明の前記第１実施形態における手領域と物品領域を検出した画像の例を示す図である。 図１５Ｄは、本発明の前記第１実施形態における手領域と物品領域を検出した画像の例を示す図である。 図１６は、本発明の前記第１実施形態における持ち方登録データベースの例を示す図である。 図１７Ａは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１７Ｂは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１７Ｃは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１７Ｄは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１７Ｅは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１７Ｆは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１７Ｇは、本発明の前記第１実施形態における、図１７Ａの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１７Ｈは、本発明の前記第１実施形態における、図１７Ｂの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１７Ｉは、本発明の前記第１実施形態における、図１７Ｃの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１７Ｊは、本発明の前記第１実施形態における、図１７Ｄの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１７Ｋは、本発明の前記第１実施形態における、図１７Ｅの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１７Ｌは、本発明の前記第１実施形態における、図１７Ｆの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１８Ａは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１８Ｂは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１８Ｃは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１８Ｄは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１８Ｅは、本発明の前記第１実施形態における、手による物品の持ち方を撮像した撮像画像の例を示す図である。 図１８Ｆは、本発明の前記第１実施形態における、図１８Ａの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１８Ｇは、本発明の前記第１実施形態における、図１８Ｂの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１８Ｈは、本発明の前記第１実施形態における、図１８Ｃの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１８Ｉは、本発明の前記第１実施形態における、図１８Ｄの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１８Ｊは、本発明の前記第１実施形態における、図１８Ｅの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図１９は、本発明の前記第１実施形態における持ち方判定結果履歴データベースの例を示す図である。 図２０Ａは、本発明の前記第１実施形態における移動軌跡の例を示す平面図である。 図２０Ｂは、本発明の前記第１実施形態における移動軌跡の例をテーブル形式で示す図である。 図２１は、本発明の前記第１実施形態における単位時間あたりの移動量のグラフの例を示す図である。 図２２は、本発明の前記第１実施形態におけるシーン判定結果履歴データベースの例を示す図である。 図２３Ａは、本発明の前記第１実施形態における本を運ぶシーンを撮像した撮像画像の例を示す図である。 図２３Ｂは、本発明の前記第１実施形態における本を運ぶシーンを撮像した撮像画像の例を示す図である。 図２３Ｃは、本発明の前記第１実施形態における、図２３Ａの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図２３Ｄは、本発明の前記第１実施形態における、図２３Ｂの撮像画像から手の領域と物品の領域とをそれぞれ抽出した画像の例を示す図である。 図２４は、本発明の前記第１実施形態におけるシーン判定結果の情報と持ち方判定結果の情報の例を示す図である。 図２５は、本発明の前記第１実施形態における物品持ち方対応データベースの例を示す図である。 図２６は、本発明の前記第１実施形態における第２物品候補抽出手段の考え方を説明する図である。 図２７は、本発明の前記第１実施形態における物品推定結果履歴データベースの例を示す図である。 図２８Ａは、本発明の前記第１実施形態における物品位置推定手段の統合方法を説明する図である。 図２８Ｂは、本発明の前記第１実施形態における物品位置推定手段の統合方法を説明する図である。 図２９Ａは、本発明の前記第１実施形態における物品位置推定手段の統合方法を説明する図である。 図２９Ｂは、本発明の前記第１実施形態における物品位置推定手段の統合方法を説明する図である。 図３０は、本発明の前記第１実施形態における物品位置推定結果履歴データベースの例を示す図である。 図３１は、本発明の前記第１実施形態における表示画面の例を示す図である。 図３２Ａは、本発明の第２実施形態にかかる物品推定装置及び物品位置推定装置における環境空間内の物品の状況の例を示す図である。 図３２Ｂは、本発明の前記第２実施形態における環境空間内の物品の状況の例を示す図である。 図３２Ｃは、本発明の前記第２実施形態における環境空間内の物品の状況の例を示す図である。 図３３は、本発明の前記第２実施形態における物品検出履歴データベースの例を示す図である。 図３４は、本発明の前記第２実施形態におけるシーン判定結果の情報と持ち方判定結果の情報の例を示す図である。 図３５Ａは、本発明の前記第２実施形態における物品持ち方対応データベースの例を示す図である。 図３５Ｂは、本発明の前記第２実施形態における物品持ち方対応データベースの例を示す図である。 図３６Ａは、本発明の第３実施形態にかかる物品推定装置及び物品位置推定装置における環境空間内の物品の状況の例を示す図である。 図３６Ｂは、本発明の前記第３実施形態における環境空間内の物品の状況の例を示す図である。 図３７は、本発明の前記第３実施形態における無線ＩＣタグセンサの処理を説明する図である。 図３８は、本発明の前記第３実施形態における物品検出履歴データベースの例を示す図である。 図３９は、本発明の前記第３実施形態におけるシーン判定結果の情報と持ち方判定結果の情報の例を示す図である。 図４０は、本発明の前記第３実施形態における更新された物品持ち方対応データベースの例を示す図である。 図４１は、従来の物体識別装置の説明図である。 図４２は、本発明の前記第１実施形態において、第２物品候補抽出手段の具体的な物品候補の情報の抽出方法について説明するフローチャートである。 図４３は、本発明の前記第１実施形態の変形例におけるシーン判定結果の情報と持ち方判定結果の情報の別の例を示す図である。 図４４は、本発明の前記第１実施形態の変形例にかかる物品推定装置及び物品位置推定装置における機能ブロック図である。 図４５は、本発明の前記第１実施形態の変形例における物品推定結果履歴データベースの例を示す図である。 図４６は、本発明の前記第１実施形態の変形例における物品推定装置における機能ブロック図である。 図４７は、図４６の物品位置推定装置の処理フローを説明するフローチャートである。 図４８は、本発明の前記第１実施形態において、エリア分割を行った環境空間の例を示す説明図である。

以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。

本発明の第１態様によれば、環境空間中に存在する複数の物品の位置の情報を検出する物品センシング手段と、
前記環境空間中に存在する人の手の位置の情報を検出する手センシング手段と、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出された前記物品の位置の情報と前記手の位置の情報との位置関係を、前記手による前記物品の持ち方として判定する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると推定する物品推定手段とを、
備える物品推定装置を提供する。
本発明の第２態様によれば、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を物品検出履歴データベースに登録する物品センシング手段と、
前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を手検出履歴データベースに登録する手センシング手段と、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると推定する物品推定手段とを
備える物品推定装置を提供する。

本発明の第３態様によれば、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、物品検出履歴データベースに登録する物品センシング手段と、
前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、手検出履歴データベースに登録する手センシング手段と、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得するシーン判定手段と、
前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が前記手で持って前記物品を運ぶ前にその物品が置かれていた移動元の位置に存在する、第２候補物品を抽出する第２物品候補抽出手段と、
前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と推定する物品推定手段と、
を備える物品推定装置を提供する。

本発明の第４態様によれば、前記物品センシング手段及び前記手センシング手段の少なくともいずれか１つは、前記環境空間中に存在する前記複数の物品及び前記人の手を含む画像情報を撮像する画像センサと、前記画像センサで撮像された画像情報を基に、画像認識処理を行う画像認識手段とで構成され、
前記画像認識手段は、前記複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出して、前記物品検出履歴データベースに登録する前記物品センシング手段としての機能か、又は、前記人のＩＤの情報及び前記人の手の位置の情報を検出して、前記手検出履歴データベースに登録する前記手センシング手段としての機能のいずれかを有する第２又は３の態様に記載の物品推定装置を提供する。

本発明の第５態様によれば、前記シーン判定手段は、前記手検出履歴データベースを参照して、取得した時間区間の情報における前記手の位置の情報とその手の位置の情報を検出した時刻の情報から、単位時間当たりの前記手の移動量を算出し、算出した前記手の移動量が予め設定された閾値以下となる時間区間の情報を複数個抽出し、抽出した時間区間のうち最も時刻の情報が早い時間区間の情報を、物品を取るシーンと判定し、前記抽出した時間区間のうち最も時刻の情報が遅い時間区間の情報を、物品を置くシーンと判定し、前記物品を取るシーンと前記物品を置くシーンとの間の時間区間を、物品を運ぶシーンと判定し、前記判定の結果をシーン判定結果履歴データベースにそれぞれ登録し、
さらに、前記人が前記物品の持ち方を、前記複数の物品のＩＤの情報毎及び前記物品を前記人が運ぶときの持ち方の情報をシーン毎に、前記物品と前記人の手との位置関係として登録した物品持ち方対応データベースを備え、
前記第１物品候補抽出手段は、前記シーン判定結果履歴データベースに登録されたシーンにおいて、前記物品持ち方対応データベースに登録された物品の中から、前記シーン判定手段によって判定されたシーンにおいて、前記持ち方判定処理手段によって判定された持ち方が登録されている物品を候補物品として抽出する、第３の態様に記載の物品推定装置を提供する。

本発明の第６態様によれば、前記手で持って前記物品を運ぶ前記人、又は、前記手で持って前記物品を前記人が運んでいる場所に応じて、前記持ち方登録データベース及び前記物品持ち方対応データベースの前記第１物品候補抽出手段が参照するデータを切り替えるデータベース切替手段、
をさらに備える第５の態様に記載の物品推定装置を提供する。

本発明の第７態様によれば、第２〜６のいずれか１つの態様に記載の前記物品推定装置と、
前記物品検出履歴データベースを参照し、前記物品推定手段が推定した前記物品のＩＤの情報に対応する前記物品のＩＤの位置の情報を推定位置とする物品位置推定手段と、
を備える物品位置推定装置を提供する。

本発明の第８態様によれば、前記物品の探索要求を受付け、前記物品位置推定手段で推定した前記物品のＩＤの位置の情報において、前記探索要求を受けた前記物品のＩＤの情報と対応する前記物品の位置の情報を出力する入出力手段と、
をさらに備えることを特徴とする第７の態様に記載の物品位置推定装置を提供する。
本発明の第９態様によれば、環境空間中に存在する複数の物品の位置の情報を物品センシング手段で検出し、
前記環境空間中に存在する人の手の位置の情報を手センシング手段で検出し、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出された前記物品の位置の情報と前記手の位置の情報との位置関係を、前記手による前記物品の持ち方として持ち方判定処理手段で判定し、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると物品推定手段で推定する、
ことを備える物品推定方法を提供する。

本発明の第１０態様によれば、物品センシング手段により、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を物品検出履歴データベースに登録し、
手センシング手段により、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を手検出履歴データベースに登録し、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を持ち方判定処理手段で判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに持ち方判定処理手段で登録し、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として第１物品候補抽出手段で抽出し、
前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると、物品推定手段で推定する、
ことを備える物品推定方法を提供する。

本発明の第１１態様によれば、物品センシング手段により、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、物品検出履歴データベースに登録し、
手センシング手段により、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、手検出履歴データベースに登録し、
前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを持ち方判定処理手段で判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに持ち方判定処理手段で登録し、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として第１物品候補抽出手段で抽出し、
シーン判定手段により、前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得し、
第２物品候補抽出手段により、前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が運ぶ前に対象物品が置かれていた移動元の位置に存在する、第２候補物品を抽出し、
前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と、物品推定手段で推定する、
ことを備える物品推定方法を提供する。
本発明の第１２態様によれば、物品センシング手段で検出された環境空間中に存在する複数の物品の位置の情報と、手センシング手段で検出された前記環境空間中に存在する人の手の位置の情報との位置関係を、前記手による前記物品の持ち方として判定する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると推定する物品推定手段、
としてコンピュータを機能させる物品推定プログラムを提供する。

本発明の第１３態様によれば、物品センシング手段により検出された、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報が登録された物品検出履歴データベースと、手センシング手段により検出された、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報が登録された手検出履歴データベースとにそれぞれ登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると推定する物品推定手段、
としてコンピュータを機能させる物品推定プログラムを提供する。

本発明の第１４態様によれば、物品センシング手段により検出された、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を、検出した時刻の情報と対応付けて、登録された物品検出履歴データベースと、手センシング手段により検出された、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を、検出した時刻の情報と対応付けて、登録された手検出履歴データベースとにそれぞれ登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得するシーン判定手段と、
前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が運ぶ前に対象物品が置かれていた移動元の位置に存在する、第２候補物品を抽出する第２物品候補抽出手段と、
前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と推定する物品推定手段、
としてコンピュータを機能させる物品推定プログラムを提供する。

以下本発明の実施の形態について、図面を参照しながら説明する。

（第１実施形態）
図１Ａは、本発明の第１実施形態にかかる物品推定装置及び物品位置推定装置における機能ブロック図である。

この物品推定装置は、時刻取得手段（時刻取得部）１００と、物品センシング手段（物品センシング部）１０１と、物品検出履歴データベース（物品検出履歴ＤＢ）１０２と、手センシング手段（手センシング部）１０３と、手検出履歴データベース（手検出履歴ＤＢ）１０４と、持ち方判定処理手段（持ち方判定処理部）１０７と、持ち方判定結果履歴データベース（持ち方判定結果履歴ＤＢ）１０８と、シーン判定手段（シーン判定部）１０９と、シーン判定結果履歴データベース（シーン判定結果履歴ＤＢ）１１０と、データベース切替手段（データベース切替部）１１１と、持ち方登録データベース（持ち方登録ＤＢ）１１２と、物品持ち方対応データベース（物品持ち方対応ＤＢ）１２３と、登録物品データベース（登録物品ＤＢ）１１３と、第１物品候補抽出手段（第１物品候補抽出部）１１４と、第２物品候補抽出手段（第２物品候補抽出部）１１５と、物品推定手段（物品推定部）１１６と、物品推定結果履歴データベース（物品推定結果履歴ＤＢ）１１７と、入出力手段（入出力部）１２０と、データベース更新手段（データベース更新部）１２１とを備えて構成されて、人が取り扱う物品を推定することができる。

また、前記第１実施形態にかかる物品位置推定装置は、前記物品推定装置に、さらに、物品位置推定手段１１８と、物品位置推定結果履歴データベース（物品位置推定結果履歴ＤＢ）１１９とを備えて、前記推定結果の情報を用いて物品の位置を推定することができる。

《各構成要素の簡単な説明》
以下、各構成要素を簡単に説明する。
時刻取得手段１００は、現在時刻の情報を取得し、出力するものである。
物品センシング手段１０１は、家庭又はオフィスなどの生活空間（以下、環境空間とする。）９１にある日用品又はオフィス用品などの物品のＩＤの情報及び位置の情報を検出するものである。物品センシング手段１０１は、検出した時刻の情報を前記時刻取得手段１００から取得し、その時刻の情報と物品のＩＤの情報及び位置の情報とを合わせて物品検出履歴データベース１０２に登録する。

物品検出履歴データベース１０２は、前記物品センシング手段１０１により検出された物品のＩＤの情報及び位置の情報と、前記時刻取得手段１００から取得した時刻の情報とを対応付けて蓄積するものである。

手センシング手段１０３は、環境空間９１で活動している人のＩＤの情報及び人の手の位置の情報を検出するものである。手センシング手段１０３は、検出した時刻の情報を前記時刻取得手段１００から取得し、その時刻の情報と人のＩＤの情報及び人の手の位置の情報とを合わせて手検出履歴データベース１０４に登録する。

手検出履歴データベース１０４は、前記手センシング手段１０３により検出された手の位置の情報と、前記時刻取得手段１００から取得した時刻の情報とを対応付けて蓄積するものである。

持ち方判定処理手段１０７は、物品検出履歴データベース１０２に登録された物品のＩＤの情報及び位置の情報と前記手検出履歴データベース１０４に登録された人のＩＤの情報及びその人の手の位置の情報を参照して、手及びその周辺領域の情報から、人が物品をどのようにして持っているか、又は何も持っていないか、を判定する。判定結果の情報を、時刻の情報と合わせて物品のＩＤの情報毎に持ち方判定結果履歴データベース１０８に登録する。

持ち方判定結果履歴データベース１０８は、前記持ち方判定処理手段１０７により判定された物品の持ち方と時刻の情報とを対応付けて物品のＩＤ毎に蓄積するものである。

シーン判定手段１０９は、前記手検出履歴データベース１０４に登録された手の位置を時系列に参照して、人が物品を移動するときの手の移動軌跡を求める。さらに、その手の移動軌跡に基づいてシーンをシーン判定手段１０９により判定する。ここで、「シーン」とは、人が物品を移動するときに、置かれている物品を人が取り上げている状況（取るシーン）、取り上げた物品を人が運んでいる状況（運ぶシーン）、持っている物品を人が置いている状況（置くシーン）、のいずれかの状況を示すものとする。移動軌跡と判定結果の情報を、時刻の情報と合わせて、シーン判定結果履歴データベース１１０にシーン判定手段１０９により登録する。

シーン判定結果履歴データベース１１０は、前記シーン判定手段１０９により求められた手の移動軌跡とシーン判定結果の情報と、時刻の情報とを対応付けて蓄積するものである。

データベース切替手段１１１は、前記手検出履歴データベース１０４に登録された人のＩＤの情報及び手の位置の情報を参照して、持ち方登録データベース１１２の複数のデータの中から状況に適したデータに切り替え、そのデータが第１物品候補抽出手段１１４に参照されるようにするものである。また、データベース切替手段１１１は、物品持ち方対応データベース１２３についても、状況に適したデータに切り替え、そのデータが第１物品候補抽出手段１１４に参照されるようにするものである。

持ち方登録データベース１１２は、物品の持ち方を分類し、それぞれの持ち方の判定条件を登録したデータが登録されている。前記データは、人のＩＤの情報毎、位置の情報毎、にそれぞれ記述し、前記データベース切替手段１１１によって状況に適したデータに切り替えられる。

物品持ち方対応データベース１２３は、登録物品データベース１１３に記録された各物品の情報に対して、そのシーン毎の持ち方を記述したデータを登録している。前記データは、人のＩＤの情報毎、位置の情報毎、にそれぞれ記述し、前記データベース切替手段１１１によって、状況に適したデータに切り替えられる。

登録物品データベース１１３は、環境空間９１にある日用品又はオフィス用品などの取り扱い対象となる物品の情報を登録したものである。少なくとも、物品のＩＤの情報、物品の品名の情報、前記物品センシング手段１０１により物品のＩＤの情報及び位置の情報を検出するために用いられる情報（例えば、テンプレート画像情報、色情報など）を持つ。

第１物品候補抽出手段１１４は、前記持ち方判定結果履歴データベース１０８と前記シーン判定結果履歴データベース１１０を参照して、各シーンで対象物品をどのような持ち方をしていたかを比較することにより、前記持ち方登録データベース１１２又は／及び物品持ち方対応データベース１２３に登録されているデータから対象物品の第１物品候補の情報を抽出するものである。

第２物品候補抽出手段１１５は、前記物品検出履歴データベース１０２と前記シーン判定結果履歴データベース１１０を参照して、対象物品の移動軌跡の移動元において検出されていた物品の情報を第２物品候補の情報として抽出するものである。

物品推定手段１１６は、前記第１物品候補抽出手段１１４と前記第２物品候補抽出手段１１５において共通に抽出された対象物品の候補の情報を、対象物品の推定結果の情報とするものである。推定結果の情報を、時刻の情報と合わせて物品推定結果履歴データベース１１７に物品推定手段１１６により登録する。

物品推定結果履歴データベース１１７は、前記物品推定手段１１６により推定された物品推定結果の情報と、時刻の情報とを対応付けて蓄積するものである。

物品位置推定手段１１８は、前記物品検出履歴データベース１０２と前記物品推定結果履歴データベース１１７を参照して、対象物品の位置を推定するものである。推定結果の情報を、時刻の情報と合わせて物品位置推定結果履歴データベース１１９に物品位置推定手段１１８により登録する。

物品位置推定結果履歴データベース１１９は、前記物品位置推定手段１１８により推定された物品位置推定結果の情報と、時刻の情報とを対応付けて蓄積するものである。

入出力手段１２０は、ユーザからの物品探索要求の情報を受付けるとともに、物品探索要求の情報を受付けたとき、探索要求された物品について前記物品位置推定結果履歴データベース１１９を参照し、物品の位置情報を出力するものである。また、入出力手段１２０を使用することにより、本発明の任意のデータベースに対して適宜アクセスして、データベースに登録している情報を追加又は更新することもできる。

データベース更新手段１２１は、前記物品検出履歴データベース１０２と前記持ち方判定結果履歴データベース１０８と前記シーン判定結果履歴データベース１１０を参照して、前記持ち方登録データベース１１２又は／及び物品持ち方対応データベース１２３の内容を更新するものである。

登録人物データベース（登録人物ＤＢ）１２２は、環境空間９１で活動している人の情報を登録したものである。人の情報としては、少なくとも人のＩＤの情報、及び、人の名前の情報を持つ。

《全体の処理フロー》
次に、本発明の第１実施形態における物品位置推定装置の全体の処理フローについて、図２を参照して説明する。

ステップＳ２０１で、環境空間９１内の複数の物品のＩＤの情報及び位置の情報と、人の手の位置の情報とその手を有する人のＩＤの情報とをそれぞれセンシング手段で検出し、それぞれ、データベース１０２，１０４に登録する。具体的には、物品センシング手段１０１は、環境空間９１に存在する日用品又はオフィス用品などの複数の物品のＩＤの情報及び位置の情報を検出し、検出した時刻の情報と対応付けて、物品検出履歴データベース１０２に登録する。手センシング手段１０３は、環境空間９１に存在する人の手の位置の情報及びその手を有する人のＩＤの情報を検出し、検出した時刻の情報と対応付けて、手検出履歴データベース１０４に登録する。

次いで、ステップＳ２０２で、持ち方判定処理手段１０７は、物品検出履歴データベース１０２と手検出履歴データベース１０４を参照し、物品と手との位置関係を取得し、その位置関係と持ち方登録データベース１１２のデータ（分類された物品の持ち方の判定条件を登録したデータ）とから、人が物品をどのようにして持っているか、又は、何も持っていないか、を判定し、判定結果の情報を、物品のＩＤ毎に持ち方判定結果履歴データベース１０８に登録する。

次いで、ステップＳ２０３で、シーン判定手段１０９は、手検出履歴データベース１０４の手の位置の情報を時系列に参照し、手の移動軌跡を求め、その移動軌跡に基づいてシーン（「取るシーン」、「運ぶシーン」、又は、「置くシーン」）を判定し、判定したシーンの情報とそのシーンを判定した時刻の情報とを対応付けて、シーン判定結果履歴データベース１１０に登録する。また、手検出履歴データベース１０４を参照し、移動している手に対応する「人のＩＤ」の情報を特定し、シーン判定結果履歴データベース１１０に登録する。さらに、特定した人のＩＤの情報に対応する人の手の位置の情報と、その位置の情報を検出した時刻の情報とを対応付けた手の移動軌跡として登録する。

次いで、ステップＳ２０４で、第２物品候補抽出手段１１５は、ステップＳ２０３において判定されてシーン判定結果履歴データベース１１０に登録された結果の情報から、物品を「置くシーン」が終了したか否かを判定し、物品を「置くシーン」の終了以前であったと第２物品候補抽出手段１１５で判定されるならば、ステップＳ２０１のセンシングから繰り返す一方、物品を「置くシーン」が終了したと第２物品候補抽出手段１１５で判定されているならば、以下のステップＳ２０５以降の物品推定のための処理を開始する。

ステップＳ２０５で、データベース更新手段１２１は、物品検出履歴データベース１０２と前記持ち方判定結果履歴データベース１０８とシーン判定結果履歴データベース１１０とを参照し、シーン判定結果履歴データベース１１０に登録された手の移動軌跡と同様に移動する物品を、物品センシング手段１０１が唯１つに特定しているとき、その物品の持ち方について、ステップＳ２０２で判定された持ち方の情報に、持ち方登録データベース１１２又は／及び物品持ち方対応データベース１２３を更新する。

次いで、ステップＳ２０６で、データベース切替手段１１１は、シーン判定結果履歴データベース１１０に登録された人のＩＤの情報２２０３と手検出履歴データベース１０４を参照して取得する、その人の手が存在する位置の情報と、その人のＩＤの情報とに基づいて、持ち方登録データベース１１２に登録された複数のデータの中から、状況に対応するデータに切り替えて、その切り替えられたデータを第１物品候補抽出手段１１４が次のステップで参照可能となるようにする。例えば、人のＩＤの情報に基づいて、手領域及び物品領域位置関係におけるＩＤを切り替えることができて、具体的には、大人と子供で物品の持ち方が異なる場面などに対応することができる。

次いで、ステップＳ２０７で、前記第１物品候補抽出手段１１４は、持ち方判定結果履歴データベース１０８とシーン判定結果履歴データベース１１０とに登録された人のＩＤの情報とシーンの情報とを参照して、各シーンでの物品の持ち方に基づいて、持ち方登録データベース１１２又は／及び物品持ち方対応データベース１２３に登録されているデータから第１物品候補の情報を抽出する。

次いで、ステップＳ２０８で、第２物品候補抽出手段１１５により、前記物品検出履歴データベース１０２と前記シーン判定結果履歴データベース１１０を参照して、前記シーン判定結果履歴データベース１１０に登録されている手の移動軌跡に基づいて、物品が移動される前の位置（以下、「移動元」と言います。）において、推定されていた物品の情報を第２物品候補の情報として抽出する。

次いで、ステップＳ２０９で、物品推定手段１１６は、第１物品候補抽出手段１１４と前記第２物品候補抽出手段１１５において抽出した第１物品候補の情報と第２物品候補の情報に共通する物品の情報を、物品の推定結果の情報とする。物品推定手段１１６は、物品推定手段１１６により推定された物品推定結果の情報と、時刻の情報とを対応付けて、物品推定結果履歴データベース１１７に蓄積する。前記物品推定装置としては、この状態で物品の推定結果の情報をステップＳ２１１で出力すればよい。前記物品推定位置装置では、ステップＳ２１１の前に、以下のステップＳ２１０の動作を行う。

次いで、ステップＳ２１０で、物品位置推定手段１１８は、物品検出履歴データベース１０２と物品推定結果履歴データベース１１７を参照して、対象物品の位置を推定する。

次いで、ステップＳ２１１で、前記入出力手段１２０により、推定結果の情報を出力して、処理を終了する。

《各手段の説明》
次に、前述の各手段について、具体的な処理内容を説明する。ここでは、図３に示したようなキッチンの環境空間９１においてキッチン用品を取り扱うシーンを例に説明する。本発明は、環境空間９１としてキッチンに限定されるものではなく、リビング又はダイニングなどの他の空間にも適用することができるものであるが、理解しやすくするため、キッチンを例にとって、以下、説明する。

センサの一例としてカメラ３０１がキッチンの環境空間９１の天井９１ａに設置されており、環境空間９１内をセンシングしている。システムキッチン上には、システムキッチンの一端のコンロの奥側に収納ラック３０２が置かれており、システムキッチンの他端の側部に収納ラック３０３が置かれており、これらの収納ラック３０２又は３０３により、前記カメラ３０１でキッチン用品をセンシングしようとするとき、キッチン用品の隠蔽などの問題が発生する。また、表示出力用のモニタ３０４もシステムキッチンの調理台の奥側に設置されている。人３０５は、この環境空間９１内を動きながら、作業を行う。以降において、図４に示したように、左上隅を原点とした座標系を考えることとする。

この環境空間９１において、マグカップ３２０３の一部が収納ラック３０２に隠されるようにマグカップ３２０３が収納ラック３０２に置かれている。花子は、時刻ｔ１１にこのマグカップ３２０３を収納ラック３０２から取り出し、運び、時刻ｔ９９に、別の収納ラック３０３の、マグカップ３２０３の一部が隠されるような位置に、マグカップ３２０３を置く。このとき、モニタ３０４の前方のよく見える位置にも、マグカップ３２０４が置かれている。以上のような状況を考える。図５Ａ及び図５Ｂに、時刻ｔ１１の物品の状況３２０１、時刻ｔ９９の物品の状況３２０２をそれぞれ示す。時刻ｔ１１の物品の状況３２０１では、円形のマグカップ３２０３の半分が収納ラック３０２に隠されるように、マグカップ３２０３が収納ラック３０２に置かれており、マグカップ３２０３の半円形の斜線領域のみが収納ラック３０２から露出して見えているとともに、モニタ３０４の前方のよく見える位置にも、円形の斜線領域で示すマグカップ３２０４が見えている状況を示している。時刻ｔ９９の物品の状況３２０２では、円形のマグカップ３２０３の半分が別の収納ラック３０３に隠されるように、マグカップ３２０３が収納ラック３０３に置かれており、マグカップ３２０３の半円形の斜線領域のみが収納ラック３０３から露出して見えているとともに、モニタ３０４の前方のよく見える位置にも、円形の斜線領域で示すマグカップ３２０４が見えている状況を示している。

《センシング手段》
センシング手段は、物品センシング手段１０１と手センシング手段１０３とで構成されている。物品センシング手段１０１と手センシング手段１０３とは、別々の装置又は手段などで構成してもよいが、共通の装置又は手段（例えば、画像センサなど）で構成してもよい。

この実施形態では、物品センシング手段１０１は、一例として、環境空間９１に存在する複数の物品の情報（複数の物品のＩＤの情報及び前記複数の物品の位置の情報）を取得する情報取得装置と、情報取得装置により得られた情報から物品を特定する特定手段（特定部）とを備えて構成されている。情報取得装置の一例としては、物品の形状及び色情報などを取得可能な公知の画像センサなどのカメラ３０１が使用できる。特定手段の一例としては、公知の画像認識手段３００などが使用できる。よって、環境空間９１中に存在する複数の物品を画像センサ３０１で撮像して、撮像した画像に基づいて、複数の物品のＩＤの情報及び前記複数の物品の位置の情報を画像認識手段３００で検出して、物品検出履歴データベース１０２に登録することで、物品センシング手段１０１として機能することができる。なお、手センシング手段１０３も、この物品センシング手段１０１と同様に、環境空間９１中に存在する複数又は単数の人及びその人の手を画像センサ３０１で撮像して、撮像した画像に基づいて、複数又は単数の人のＩＤの情報及び前記人の位置の情報及び手の位置の情報を画像認識手段３００で検出して、手検出履歴データベース１０４に登録するように構成することもできる。

物品センシング手段１０１は、環境空間９１に存在する複数の物品の情報から、環境空間９１にある複数の日用品又はオフィス用品などの複数の物品のＩＤの情報及び位置の情報を検出する。

以下に、図６Ａ〜図６Ｃを参照して、画像センサ３０１を用いて、環境空間９１に存在する複数の物品の情報を物品センシング手段１０１で取得した場合の動作の例を説明する。

図３に示したように、物品センシング手段１０１の画像センサの一例としてのカメラ３０１がキッチン環境空間９１の天井９１ａに設置されていたとき、あらかじめ検出したい物品が無い状態の画像を背景画像５０１（図６Ａ参照）をカメラ３０１により撮像して登録物品データベース１１３に保持しておく。そして、検出したい物品が環境空間９１に存在するとき、カメラ３０１により環境空間９１を撮像して、そのときの環境空間９１に存在する複数の物品を含む画像情報を取得し、背景画像５０１と、カメラ３０１により撮像した環境空間９１の画像との差分を画像認識手段３００により算出して、物品のＩＤ及び位置を検出する。ここで、図６Ｂに示すように、収納ラック３０２に一部が隠されてしまうような位置に物品９０を置いたとすると、物品９０が置かれたときの入力画像５０２（図６Ｂ参照）と前記背景画像５０１（図６Ａ参照）との差を画像認識手段３００により求めることにより、差分画像５０３（図６Ｃ参照）が得られる。前記差分画像５０３で抽出された斜線部の領域５０４の重心位置を、検出物品９０の位置とする。

一方、登録物品データベース１１３には、あらかじめ、物品を検出するために用いられる情報を入出力手段１２０などを使用して登録しておく。ここでは、テンプレート画像情報と色情報とを物品のＩＤの情報及び品名の情報とに対応付けて、登録物品データベース１１３に登録した例を図７に示す。すなわち、図７において、登録物品データベース１１３には、各物品に対して、ＩＤの情報６０１と、品名の情報６０２と、テンプレート画像情報６０３と、色情報６０４が対応付けて登録されている。テンプレート画像情報６０３は、実際には様々な方向から取得した画像（例えば、上面、下面、左側面、右側面、正面、裏面の６方向の画像）が登録されているが、簡略化するため、ここでは、上方から取得した画像の例のみを記載している。

登録物品データベース１１３に登録された情報を画像認識手段３００により参照し、背景画像５０１とカメラ３０１により撮像した環境空間９１の画像とから画像認識手段３００により算出された差分画像と、差分画像に対応するテンプレート画像情報６０３などの情報から、物品のＩＤの情報を画像認識手段３００により検出する。

例えば、図６Ｃの差分画像５０３から抽出された斜線部の領域５０４と、テンプレート画像情報６０３とを照合することにより、物品のＩＤを識別する。前記のように、物品の一部が隠されてしまっているような場合、物品の全部が見えていても撮像画像が粗くテンプレートとの照合が正確にできない場合、及び、同一形状の物品が多数登録されている場合など、１つの物品に特定することは困難である。そこで、領域５０４とテンプレート画像情報６０３の類似度が、あらかじめ設定した閾値以上の複数の物品を候補の情報として、当該複数の物品のＩＤの情報を物品検出履歴データベース１０２に登録する。ここで、類似度には、例えば撮像画像とテンプレート画像とのマッチングの比率を用いることができる。

また、色情報６０４を利用する場合、抽出した領域５０４の色と物品の色情報６０４とを画像認識手段３００により比較することで、物品を識別して物品のＩＤの情報を画像認識手段３００により取得する。前記テンプレート画像情報６０３を利用する場合と同様に１つの物品に特定することが困難である場合、複数の物品のＩＤの情報を候補の情報として、物品検出履歴データベース１０２に画像認識手段３００により登録する。物品の検出及び識別はここで述べた方法に限るものではないが、多くの場合において、同様に１つの物品を特定することが困難であることが発生すると考えられるので、複数の候補のＩＤの情報が物品検出履歴データベース１０２に画像認識手段３００により登録される。

図８に、物品センシング手段１０１による結果の情報が登録された物品検出履歴データベース１０２の例を示す。物品検出履歴データベース１０２には、物品センシング手段１０１により物品を検出した時刻７０１と、物品を検出した位置の情報（例えばＸＹ座標）７０２と、検出した物品の候補の情報（例えば、検出した物品の候補である、複数の物品のＩＤの情報）７０３が登録されている。図８は、一例として、時刻ｔ１１に検出した結果の情報と、時刻ｔ９９に検出した結果の情報を位置の情報毎に示している。

手センシング手段１０３は、環境空間９１で活動している人３０５のＩＤの情報及び手の位置の情報を検出する。一例として、図９Ａを参照して、人３０５の手首に装着可能な腕時計型の超音波タグセンサ８０２を用いた場合の動作の例を説明する。なお、図９Ｂには、別の例として、人３０５の服に装着可能な超音波タグセンサ８０２Ｂを用いた場合を示すが、動作的には図９Ａと同じであるため、以下の説明では、図９Ａの超音波タグセンサ８０２を基に行なう。天井９１ａ又は壁などに複数の超音波受信機８０１を設置しておき、人３０５の手首に腕時計型の超音波発信器８０２を装着して人３０５に超音波発信器８０２を携帯させる。超音波発信器８０２が発信する超音波を、複数の超音波受信機８０１が受信し、前記超音波の到達時間の差により超音波発信器８０２の３次元位置を求めることができ、この位置を人３０５の手の位置とする。また、超音波発信器８０２に人３０５のＩＤをあらかじめ登録しておくことにより、登録人物データベース１２２を手センシング手段１０３が参照することで、検出した人３０５が誰であるかを識別できる。すなわち、手センシング手段１０３が登録人物データベース１２２を用いて人のＩＤまで識別する。そして、人のＩＤが分かると、人毎の物品の持ち方の違い等が、物品持ち方対応データベース１２３などを手センシング手段１０３が参照することによって分かるようになる。

図１０に、登録人物データベース１２２の例を示す。図１０において、登録人物データベース１２２には、ＩＤの情報９０１と、人物名の情報９０２が登録されている。人３０５の手の位置検出する別の例として、前記画像センサ３０１を使用して撮像を行い（又は、物品センシング手段１０１で撮像した撮像画像を使用して）、撮像画像中の肌色領域を画像認識手段３００で抽出し、追跡することにより実現することもできる。例えば、特開２００７−１４８６６３号公報などに示されている方法を用いても良い。

以上のような処理により得られた結果の情報を手検出履歴データベース１０４に登録する。

図１１に、前記結果の情報が登録された手検出履歴データベース１０４の例を示す。手検出履歴データベース１０４には、検出した時刻の情報１１０１と、検出した手のＩＤの情報１１０２（その手を有する人３０５のＩＤの情報と対応する。）と、検出した位置の情報１（ＸＹ座標）１０３が登録されている。

《センシング制御手段》
センシング制御手段１２２０は、例えば、図３に示すように、画像センサの一例としてのカメラ３０１を上下方向沿いのレール１２２１に沿って移動装置１２２２で移動するように制御し、カメラ３０１の３次元位置を変化させて、異なる位置からカメラ３０１で撮像して、取得する環境空間９１に存在する物体（物品及び人）の画像情報を変えることによって、物品センシング手段１０１及び手センシング手段１０３等を構成する画像認識手段３００で用いる画像情報を制御する。これによって、後述する持ち方登録データベース１１２及び物品持ち方対応データベース１２３の登録された物品と手との位置関係に対応するように、様々な角度の画像情報（画像センサ３０１と物体との間に障害物がない場合には、物体の３６０度の全ての方向から見た画像情報）を得ることができる。具体的な制御は、後述するが、例えば、手センシング手段１０３で検出した手の高さに、画像センサ３０１の位置を変化させて、環境空間に存在する物体の画像情報を得る。

《持ち方判定処理手段》
持ち方判定処理手段１０７は、前記手検出履歴データベース１０４に登録された手の位置を参照し、さらに物品検出履歴データベース１０２を参照して、手とその周辺に存在する物品との位置情報から、人が物品をどのようにして持っているか、又は何も持っていないか、を判定する。

判定は、センシング制御手段１２２０により複数のカメラ３０１を制御することにより得られた、手とその周辺領域の画像を比較することで行う。図１２Ａは手の甲側から撮像した撮像画像、図１２Ｂは手の平側から撮像した撮像画像を示す。なお、人が動き回ることで多方向から撮影された画像が取得できれば、カメラ３０１は必ずしも複数台設置しなくても良い。また、手の甲側の画像か、手の平側の画像かの区別は、一例として、２つの画像を取得したのち、手の領域が多い方の画像を手の甲側の画像として取り扱い、手の領域が少ない方の画像を手の平側の画像として取り扱うことができる。

図１３を参照して、持ち方判定処理手段１０７による持ち方判定処理の処理内容を説明する。

まず、ステップＳ１３００で、センシング制御手段１２２０が、カメラ３０１の高さ位置を制御する。例えば、手センシング手段１０３で検出した手の高さ方向に対応する位置に、カメラ３０１が位置するように移動装置１２２２を駆動制御してカメラ３０１の高さを制御し、人３０５の手及びその手の周辺の領域の画像情報をカメラ３０１で撮像して取得する。ここで、例えば、人３０５の手、及び、手で把持された物品の撮像画像を得ることができる。

次いで、ステップＳ１３０１で、カメラ３０１で取得した、手及びその手の周辺の領域の画像情報から、物品センシング手段１０１と手センシング手段１０３の画像認識手段３００を用いて、人の手とその手の周辺に存在する物品（人３０５の手が持っていると推定させる物品）を検出する。手センシング手段１０３により、画像センサ３０１の撮像画像を処理する画像認識手段３００を用いた肌色検出等で手の検出を行う。検出した手の位置を中心に、あらかじめ設定した領域（例えば、手の位置を中心とした直径５０ｃｍの球の領域）を対象として、あらかじめ取得した背景画像との差分領域を画像認識手段３００で抽出することで、手とその手の周辺に存在する物品を画像認識手段３００により検出する。

ここでは、センシング制御手段１２２０で、２台のカメラ３０１の高さ位置を制御し、１つの手の両側（手の甲側と手の平側）から同時に撮影するように制御している。得られた手の画像情報から画像認識手段３００により画像認識処理を行い、肌色領域が多い方向から撮像した画像情報を「手の甲側画像」（図１２Ａ参照）と呼び、肌色領域が少ない方向から撮像した画像情報を手の平側から撮影された画像を「手の平側画像」（図１２Ｂ参照）と呼ぶことにする。図１４Ａ及び図１４Ｂに、「手の甲側画像」（図１２Ａ参照）及び「手の平側画像」（図１２Ｂ参照）から抽出した画像の例を示す。図１４Ａ及び図１４Ｂにおいて、白い楕円形の部分Ｗは手の部分であり、黒い円柱部分Ｂは物品（この例ではコップ）の部分である。

次いで、ステップＳ１３０２で、手領域と物品領域を分割し、それぞれの領域のサイズを求める。具体的には、前記ステップＳ１３０１で画像認識手段３００により画像認識処理を行って検出した領域の中で、肌色領域を手領域とし、肌色以外の領域を物品領域とする。そして、それぞれの領域の面積を、持ち方判定処理手段１０７の一部を構成する演算部１０７Ａ（図１Ｂ参照）により求める。図１５Ａ〜図１５Ｄに、それぞれ、手の甲側の画像と手の平側の画像の手領域１５０１と、手の甲側の画像と手の平側の画像の物品領域１５０２を示す。図１５Ｃでは、物品領域１５０２が複数の連結成分に分かれている状態を示している。

次いで、ステップＳ１３０３で、物品領域１５０２のサイズが０（ゼロ）であるか否かを持ち方判定処理手段１０７の一部を構成する判定部１０７Ｂ（図１Ｂ参照）により判定する。手の甲側画像及び手の平側画像ともに物品領域１５０２のサイズが０であると、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃ（図１Ｂ参照）により判定されれば、ステップＳ１３０８で人の手は何も持っていないとステップＳ１３０８で判定し、判定結果の情報を持ち方判定結果履歴データベース１０８に登録して、持ち方判定処理を終了する。また、ステップＳ１３０３で、物品領域１５０２のサイズが０でないと、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃにより判定されれば、次のステップＳ１３０４へ進む。
なお、手検出履歴データベース１０４を参照し、一定時間連続で手の位置が腰の高さより高い位置にある場合、人は手に収まる小さな物品を持っていると判断しても良い。

ステップＳ１３０４で、手領域１５０１のサイズを手の甲側画像と手の平側画像とを、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃで比較する。

手の甲側画像の手領域１５０１のサイズと手の平側画像の手領域１５０１のサイズがほぼ等しいと、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃで判定すれば、「タイプＡ１」であるとし、手の甲側画像の手領域１５０１のサイズの方が、手の平側画像の手領域１５０１のサイズより大きいと、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃで判定すれば、「タイプＡ２」であるとする。

次いで、ステップＳ１３０５で、物品領域１５０２のサイズを手の甲側画像と手の平側画像と、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃで比較する。手の甲側画像の物品領域サイズと手の平側画像の物品領域サイズがほぼ等しいと、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃで判定すれば、「タイプＢ１」であるとし、手の甲側画像の物品領域サイズの方が、手の平側画像の物品領域サイズより小さいと、持ち方判定処理手段１０７の一部を構成する手領域比較判定部１０７Ｃで判定すれば、「タイプＢ２」であるとする。ここでは、物品を手で持つときは、通常、手の甲側の画像の物品領域のサイズの方が、手の平側の画像の物品領域のサイズより小さくなるはずであると、仮定している。

次いで、ステップＳ１３０６で、手領域１５０１と物品領域１５０２との位置関係を、持ち方判定処理手段１０７の一部を構成する位置関係算出部１０７Ｄ（図１Ｂ参照）で求める。すなわち、具体的には、位置関係は、手領域１５０１と物品領域１５０２とのそれぞれの領域の重心の位置を、持ち方判定処理手段１０７の一部を構成する位置関係算出部１０７Ｄで求め、求められたそれぞれの領域の重心の位置の関係から、持ち方判定処理手段１０７の一部を構成する位置関係算出部１０７Ｄで求める。それぞれの領域が複数の連結成分に分かれている場合（例えば、図１５Ｄのように物品領域１５０２が複数の連結成分に分かれている場合）は、それぞれの連結成分についての重心位置を用いる。詳細は、後述する具体的な持ち方の判定において説明する。

次いで、ステップＳ１３０７で、持ち方の判定を、持ち方判定処理手段１０７の一部を構成する持ち方判定部１０７Ｅ（図１Ｂ参照）で行う。持ち方登録データベース１１２を、持ち方判定処理手段１０７の一部を構成する持ち方判定部１０７Ｅで参照し、その判定条件に基づいて持ち方を、持ち方判定処理手段１０７の一部を構成する持ち方判定部１０７Ｅで判定し、判定結果の情報を持ち方判定結果履歴データベース１０８に、持ち方判定処理手段１０７の一部を構成する持ち方判定部１０７Ｅで登録して、持ち方判定処理を終了する。ここで、持ち方判定結果履歴データベース１０８に登録される判定結果の情報とは、持ち方のＩＤの情報と、判定のときに時刻取得手段１００から取得した時刻と、人のＩＤの情報を含むものである（図１９参照）。

図１６に前記持ち方登録データベース１１２の例を示す。人のＩＤの情報１６００と、持ち方のＩＤの情報１６０１と、持ち方の判定条件として、ステップＳ１３０４での手領域１５０１のサイズ比較結果の情報１６０２と、物品領域１５０２のサイズ比較結果の情報１６０３と、手領域１５０１と物品領域１５０２との位置関係の情報１６０４とが登録されている。手領域１５０１と物品領域１５０２との位置関係の情報１６０４において、左側を人の体側とし、丸は手領域１５０１の重心を表し、四角は物品領域１５０２の重心を表す。

図１６の前記持ち方登録データベース１１２の上から２段目の持ち方ＩＤ＝Ｃ００１は、手領域のサイズ比較結果＝Ａ１（タイプＡ１を意味する。）、物品領域のサイズ比較結果＝Ｂ１（タイプＢ１を意味する。）、手領域と物品領域との位置関係は、手領域の前方に物品領域が存在するものである。これは、例えば、マグカップの取っ手部分を手で握るような持ち方（図１７Ａの１７０１及び図１７Ｇの１７０１Ａにそれぞれ例示）である。又は、これは、皿を手前側から手で摘むように持ち上げる持ち方（図１７Ｂの１７０２及び図１７Ｈの１７０２Ａにそれぞれ例示）である。なお、図１７Ａ〜図１７Ｆは手で物品を持っているときの状態を撮像した撮像画像であり、図１７Ｇ〜図１７Ｌは、それぞれ、図１７Ａ〜図１７Ｆの撮像画像１７０１，１７０２，１７０３，１７０４，１７０５，１７０６から手の領域と物品の領域とをそれぞれ抽出した画像１７０１Ａ，１７０２Ａ，１７０３Ａ，１７０４Ａ，１７０５Ａ，１７０６Ａの例を示す。図１７Ｇ〜図１７Ｌにおいて、白い楕円形の部分Ｗは手の部分であり、黒い円柱部分Ｂは物品（この例ではコップ）の部分である。

図１６の前記持ち方登録データベース１１２の上から３段目の持ち方ＩＤ＝Ｃ００２は、手領域のサイズ比較結果＝Ａ１、物品領域のサイズ比較結果＝Ｂ１、手領域と物品領域との位置関係は、手領域の下方に物品領域が存在するものである。これは、例えば、急須の取っ手部分を手で握るような持ち方（図１７Ｃの１７０３及び図１７Ｉの１７０３Ａにそれぞれ例示）である。又は、これは、コップ上部を上から手で掴むような持ち方（図１７Ｄの１７０４及び図１７Ｊの１７０４Ａにそれぞれ例示）である。

図１６の前記持ち方登録データベース１１２の上から４段目の持ち方ＩＤ＝Ｃ００３は、手領域のサイズ比較結果＝Ａ１、物品領域のサイズ比較結果＝Ｂ１、手領域と物品領域との位置関係は、手領域の上方に物品領域が存在するものである。これは、例えば、ナイフの柄の端部分を手で握るような持ち方（図１７Ｅの１７０５及び図１７Ｋの１７０５Ａにそれぞれ例示）である。又は、これは、小さな皿を下から手で支えるような持ち方（図１７Ｆの１７０６及び図１７Ｌの１７０６Ａにそれぞれ例示）である。

図１６の前記持ち方登録データベース１１２の上から５段目の持ち方ＩＤ＝Ｃ００４は、手領域のサイズ比較結果＝Ａ１、物品領域のサイズ比較結果＝Ｂ１、手領域と物品領域との位置関係は、手領域の上方と下方に物品領域が存在するものである。これは、例えば、フォークの柄の中央部分を手で握るような持ち方（図１８Ａの１８０１及び図１８Ｆの１８０１Ａにそれぞれ例示）である。なお、図１８Ａ〜図１８Ｅは手で物品を持っているときの状態を撮像した撮像画像であり、図１８Ｆ〜図１８Ｊは、それぞれ、図１８Ａ〜図１８Ｅの撮像画像１８０１，１８０２，１８０３，１８０４，１８０５から手の領域と物品の領域とをそれぞれ抽出した画像１８０１Ａ，１８０２Ａ，１８０３Ａ，１８０４Ａ，１８０５Ａの例を示す。図１８Ｆ〜図１８Ｊにおいて、白い楕円形の部分Ｗは手の部分であり、黒い円柱部分Ｂは物品（この例ではコップ）の部分である。

図１６の前記持ち方登録データベース１１２の上から６段目の持ち方ＩＤ＝Ｃ００５は、手領域のサイズ比較結果＝Ａ２、物品領域のサイズ比較結果＝Ｂ１、手領域と物品領域との位置関係は、手の甲側画像においては手領域の奥側に物品領域が存在し、手の平側画像においては手領域の手前側に物品領域が存在するものである。これは、例えば、皿を横から、手ですくうように持つ持ち方（図１８Ｂの１８０２及び図１８Ｇの１８０２Ａにそれぞれ例示）である。

図１６の前記持ち方登録データベース１１２の上から７段目の持ち方ＩＤ＝Ｃ００６は、手領域のサイズ比較結果＝Ａ２、物品領域のサイズ比較結果＝Ｂ２、手領域と物品領域との位置関係は、手の甲側画像においては手領域の上方と下方に物品領域が存在し、手の平側画像においては手領域の前方に物品領域が存在するものである。これは、例えば、コップを横から手で持つような持ち方（図１８Ｃの１８０３及び図１８Ｈの１８０３Ａにそれぞれ例示）である。

図１６の前記持ち方登録データベース１１２の上から８段目の持ち方ＩＤ＝Ｃ００７は、手領域のサイズ比較結果＝Ａ２、物品領域のサイズ比較結果＝Ｂ２、手領域と物品領域との位置関係は、手の甲側画像においては手領域の前方に物品領域が存在し、手の平側画像においても手領域の前方に物品領域が存在するものである。これは、例えば、お椀を横から手で持つような持ち方（図１８Ｄの１８０４及び図１８Ｉの１８０４Ａにそれぞれ例示）である。

図１６の前記持ち方登録データベース１１２の上から９段目の持ち方ＩＤ＝Ｃ００８は、手領域のサイズ比較結果＝Ａ２、物品領域のサイズ比較結果＝Ｂ２、手領域と物品領域との位置関係は、手の甲側画像においては手領域の下方に物品領域が存在し、手の平側画像においても手領域の下方に物品領域が存在するものである。これは、例えば、スポンジを上から手で握るように持ち上げる持ち方（図１８Ｅの１８０５及び図１８Ｊの１８０５Ａにそれぞれ例示）である。

図１６の前記持ち方登録データベース１１２の上から１０段目の持ち方ＩＤ＝Ｃ００９は、手領域のサイズ比較結果＝Ａ２、物品領域のサイズ比較結果＝Ｂ２、手領域と物品領域との位置関係は、手の甲側画像においては手領域の前方と後方に物品領域が存在し、手の平側画像においても手領域の前方と後方に物品領域が存在するものである。これは、例えば、本を手で抱えるような持ち方（図２３Ａの２３０１に例示）である。

次に、図１９に、判定結果の情報がステップＳ１３０７で登録された持ち方判定結果履歴データベース１０８の例を示す。持ち方判定結果履歴データベース１０８には、時刻の情報１９０１と、判定された持ち方をした人のＩＤの情報１９０２と、判定された持ち方のＩＤの情報１９０３が登録されている。前記持ち方判定処理手段１０７によりステップＳ１３０８で「何も持っていない」と判定された場合、持ち方のＩＤの情報１９０３にはＣ０００を登録するものとする。図１９では、時刻ｔ１から時刻ｔ１０までが持ち方のＩＤ１９０３にはＣ０００が登録され、時刻ｔ１１から時刻ｔ９９までが持ち方のＩＤ１９０３にはＣ００１が登録され、時刻ｔ１００から持ち方のＩＤ１９０３にはＣ０００が登録されている。よって、図１９は、ＩＤ＝Ｂ００１の人（花子）が時刻ｔ１１に、ＩＤ＝Ｃ００１の持ち方をする物品、例えば、マグカップを取り上げ、運び、時刻ｔ９９に別の場所に置いたときの検出結果の情報を示しており、時刻ｔ１１からｔ９９までの間、ＩＤ＝Ｂ００１の人（花子）が、ＩＤ＝Ｃ００１の持ち方をしていたことが分かる。

《シーン判定手段》
シーン判定手段１０９は、手検出履歴データベース１０４に登録された手の位置の情報を時系列に参照して、移動している手に対応する手のＩＤ（すなわち、人のＩＤ）毎に、手の位置の情報とその手を検出した時刻の情報とを対応付けて、人が物品を移動するときの手の移動軌跡を算出する。さらに、その移動軌跡に基づいてシーンをシーン判定手段１０９で判定する。前述の通り、「シーン」とは、人が物品を移動するときに、置かれている物品を人が取り上げている状況（取るシーン）、取り上げた物品を人が運んでいる状況（運ぶシーン）、持っている物品を人が置いている状況（置くシーン）、のいずれかの状況を示すものとしているので、図１９の持ち方判定結果履歴データベース１０８を参照して、人が何らかの物品を持っているとシーン判定手段１０９で判定されている期間、つまり、Ｃ０００以外の持ち方ＩＤが登録されている時刻のデータにおいてのみ、シーン判定をシーン判定手段１０９で実施すれば良い。ただし、後に説明する第２の閾値時間以内の間に、持ち方ＩＤがＣ０００からＣ０００以外に変わった場合は、Ｃ０００以外の持ち方ＩＤが登録されている時刻データ（つまり、持ち方が判定された時刻データ）として、シーン判定をシーン判定手段１０９で実施する。

シーン判定手段１０９で実行されたシーンの判定結果の情報をシーン判定結果履歴データベース１１０に登録する。

人が何らかの物品を持っているとシーン判定手段１０９で判定されている期間（持ち方ＩＤがＣ０００以外）に、あらかじめ設定した一定時間だけ前後に幅を持たせた期間（例えば、「取るシーン」の場合は１秒前から、「置くシーン」の場合は１秒後まで）の、手検出履歴データベース１０４に登録された手の位置データをシーン判定手段１０９で抽出し、時系列にシーン判定手段１０９で参照することで、手の移動軌跡をシーン判定手段１０９で得ることができる。具体的には、持ち方判定結果履歴データベース１０８をシーン判定手段１０９で参照して、持ち方ＩＤがＣ０００からＣ０００以外に変わった時刻から、次に持ち方ＩＤがＣ０００以外からＣ０００になった時刻が一定時間以上続く時刻までの時刻データをシーン判定手段１０９で取得する。そして、手検出履歴データベース１０４をシーン判定手段１０９で参照して、取得した時刻データに対応する手の位置データを手のＩＤ毎にシーン判定手段１０９で切り出し、時系列に手の位置が動いているとして、手の移動軌跡をシーン判定手段１０９で得る。図２０Ａには、シーン判定手段１０９で求めた移動軌跡の例２００１をキッチンの平面図に点線で示している。図２０Ｂには、前記移動軌跡の例をテーブル形式で２００２として示している。テーブル２００２では、時刻とＸＹ座標の位置とで前記移動軌跡を表している。

移動軌跡を抽出した手の位置データを用いて、単位時間あたりの移動量をシーン判定手段１０９で算出することにより、シーンをシーン判定手段１０９で判定する。すなわち、人が物品を取ったり置いたりするときには、自然と手の移動速度が遅くなる時間が一定時間以上続くと考えられるので、これに基づいてシーン判定手段１０９で判定する。

シーン判定手段１０９でシーン判定に用いるとして切り出したデータにおいて、単位時間あたりの移動量をシーン判定手段１０９で算出し、第１の閾値時間以上（たとえば、３秒以上）の間、算出した移動量があらかじめ設定した閾値以下（例えば、０．０５ｍ／ｓ）になる時間区間をシーン判定手段１０９で抽出する。そして、抽出された複数の時間区間の中で、最も時刻が早い時間区間を「取るシーン」とシーン判定手段１０９で判定する。「取るシーン」であるとシーン判定手段１０９で判定された時刻以降に、第２の閾値時間以上（例えば、３秒以上）の間、算出した移動量があらかじめ設定した閾値以下（例えば、０．０５ｍ／ｓ）になる時間区間をシーン判定手段１０９で抽出する。そして、抽出された複数の時刻区間の中で、最も時刻の遅い時刻区間を「置くシーン」とシーン判定手段１０９で判定する。そして、「取るシーン」と「置くシーン」との間の時間区間を「運ぶシーン」であるとシーン判定手段１０９で判定する。

図２１に、算出した単位時間あたりの移動量のグラフの例を示す。単位時間あたりの移動量のグラフ２１０１に対して、設定した閾値ＴＨ（図２１で２１０２で示す。）以下となる期間をシーン判定手段１０９で抽出し、一番早い時間帯（時刻ｔ１１からｔ１９）を「取るシーン」２１０３とシーン判定手段１０９で判定し、一番遅い時間帯（時刻ｔ９１からｔ９９）を「置くシーン」２１０５とシーン判定手段１０９で判定し、「取るシーン」２１０３と「置くシーン」２１０５の間を「運ぶシーン」２１０４とシーン判定手段１０９で判定する。

ここで、「運ぶシーン」と判定した２１０４においても、移動量が閾値以下の時間が存在する。この時間は、持ちづらい物品を運ぶとき、重い物品を運ぶとき又は熱い飲み物が入った物品を運ぶときに、人が物品の持ち方を変える場合を想定している。物品の持ち方を変える場合は、一度、物品を置く、又は、物品の持ち方を変えて物品を取る、又は、再度物品を運ぶというように、物品を取る場合より動作が多くなり、時間がかかる。したがって、その時間をシーン判定手段１０９で考慮して、第１の閾値時間より長い第２の閾値時間よりも後の時間とし、その後の時間における物品の持ち方ＩＤもシーン判定手段１０９で用いることにより、物品の持ち方を変えて運ぶ場合と物品を置く場合と区別して、シーン判定手段１０９で判定することできる。

図２２に、判定結果の情報が登録されたシーン判定結果履歴データベース１１０の例を示す。シーン判定結果履歴データベース１１０には、時刻の情報２２０１と、人の情報ＩＤ２２０３と、シーン判定結果の情報２２０２が登録されている。

なお、「運ぶシーン」と判定されたシーンにおいて、さらに、手検出履歴データベース１０４をシーン判定手段１０９で参照することにより、その人自身が歩行中か、停止中であるかをシーン判定手段１０９で取得し、シーン判定手段１０９で、その人が歩行中か、又は、停止中かに分類するようにしても良い。例えば、図２３Ａ〜図２３Ｄに示すように、本を人が歩行中に「運ぶシーン」では、図２３Ａの２３０１及び図２３Ｃの２３０１Ａにそれぞれ示すように手で本を抱えるように本を持ち、人の停止中に「運ぶシーン」では、図２３Ｂの２３０２及び図２３Ｄの２３０２Ａにそれぞれ示すように手で本を掴むように本を持つという違いがある。これにより、人が歩行中と停止中で持ち方が変化する物品に対して、より正確な推定結果の情報をシーン判定手段１０９で得ることができるようになる。なお、図２３Ｃ及び図２３Ｄにおいて、白い楕円形の部分Ｗは手の部分であり、黒い円柱部分Ｂは物品（この例では本）の部分である。

《第１物品候補抽出手段》
第１物品候補抽出手段１１４は、前記持ち方判定結果履歴データベース１０８と前記シーン判定結果履歴データベース１１０を参照して、各シーンで対象物品をどのような持ち方をしていたかを比較することにより、前記物品持ち方対応データベース１２３に登録されているデータから対象物品の候補の情報を抽出する。

第１物品候補抽出手段１１４では、シーン判定結果履歴データベース１１０の「取るシーン」と「運ぶシーン」と「置くシーン」とのそれぞれのシーンの時刻と同じ時間帯における、持ち方判定結果履歴データベース１０８の持ち方判定結果の情報の中から、最も多く判定されている持ち方を、そのシーンの持ち方とする。例えば、図２４に示したようなシーン判定結果の情報２４０１と持ち方判定結果の情報２４０２であった場合、「取るシーン」の持ち方はＩＤ＝Ｃ００６、「運ぶシーン」の持ち方はＩＤ＝Ｃ００９、「置くシーン」の持ち方はＩＤ＝Ｃ００６、となる。

この結果の情報と、物品持ち方対応データベース１２３に登録されている持ち方を第１物品候補抽出手段１１４で比較して、シーンと持ち方の対応がすべて同一である物品を、対象物品の候補の情報として第１物品候補抽出手段１１４で抽出する。

図２５に、物品持ち方対応データベース１２３の例を示す。物品持ち方対応データベース１２３には、人のＩＤの情報２５００と、物品のＩＤの情報２５０１と、品名の情報２５０２と、その物品の持ち方の情報２５０３とがシーン毎に登録されている。物品のＩＤの情報２５０１は、登録物品データベース１１３と共通に用いる。また、持ち方は必ずしも一意ではなく、複数の持ち方をする物品に対しては、複数の持ち方を物品持ち方対応データベース１２３に登録する。

図２４と図２５に示した例の場合、図２４では、持ち方ＩＤがＣ００６とＣ００９の両方が存在するので、図２５の物品持ち方対応データベース１２３の中で、持ち方ＩＤがＣ００６とＣ００９の両方存在する物品を第１物品候補抽出手段１１４で抽出すると、対象物品の候補の情報として、ＩＤ＝Ａ００２、Ａ０１２、Ａ０１３が抽出される。

《第２物品候補抽出手段》
第２物品候補抽出手段１１５は、前記物品検出履歴データベース１０２と前記シーン判定結果履歴データベース１１０を参照して、対象物品の移動軌跡の移動元において検出されていた物品を候補の情報として抽出する。

図２６に候補抽出の考え方を示す。まず、時刻ｔ１にカメラ３０１が位置（３０，３０）に物品２６０１を検出し、画像認識手段３００での画像認識処理の結果、物品Ａ００１又はＡ００２又はＡ０１３のいずれかであるとして、結果の情報を画像認識手段３００から出力する。一方、時刻ｔ１からｔ９９までの間に、人は何らかの物品を位置（３０，３０）から（２７０，５０）まで運んだという移動軌跡２６０２がシーン判定手段１０９で得られる。すると、位置（２７０，５０）の様子を直接検出できない場合でも、位置（２７０，５０）に物品Ａ００１又はＡ００２又はＡ０１３のいずれかが存在する、と第２物品候補抽出手段１１５で推定することができる。

図４２のフローチャートを用いて、第２物品候補抽出手段１１２５の具体的な物品候補の抽出方法について、説明する。

まず、ステップＳ１４０１では、ステップＳ２０２（図２参照）のシーン判定の際にも用いた、シーン判定結果履歴データベース１１０を第２物品候補抽出手段１１２５で参照し、時刻毎のシーン判定結果の情報と、移動している手に対応する人のＩＤとを第２物品候補抽出手段１１２５で取得する。

次いで、Ｓ１４０２では、取得したシーン判定結果の情報から「取るシーン」と判定された時刻を第２物品候補抽出手段１１２５で取得し、手検出履歴データベース１０４に登録されている時刻の中で、特定した時刻の直前の時刻を第２物品候補抽出手段１１２５で特定する。手検出履歴データベース１０４を第２物品候補抽出手段１１２５で参照し、特定した時刻とＳ１４０１で取得した人のＩＤとに対応する、手の位置を第２物品候補抽出手段１１２５で取得する。

次いで、Ｓ１４０３では、物品検出履歴データベース１０２を第２物品候補抽出手段１１２５で参照し、Ｓ１４０２で特定した時刻における手の位置付近に存在する物品を第２物品候補抽出手段１１２５で取得する。手の位置付近は、手の位置を中心として、直径５０ｃｍの球の領域とする等、第２物品候補抽出手段１１２５内に予め設定しておく。手の位置に対して、物品検出履歴データベース１０２に登録されている全ての方向に対して±２５ｃｍの範囲にある物品を第２物品候補の情報と第２物品候補抽出手段１１２５で決定して、第２物品候補抽出手段１１２５による物品候補の情報の抽出処理を終了する。

《物品推定手段》
物品推定手段１１６は、前記第１物品候補抽出手段１１４と前記第２物品候補抽出手段１１５において、共通に抽出された対象物品の候補の情報を、対象物品の推定結果の情報とする。推定結果の情報を、物品推定結果履歴データベース１１７に登録する。

前述の例の場合、位置（２７０，５０）に置かれた物品は、第１物品候補抽出手段１１４の抽出結果の情報のＩＤ＝Ａ００２、Ａ０１２、Ａ０１３と、第２物品候補抽出手段１１５の抽出結果の情報のＩＤ＝Ａ００１、Ａ００２、Ａ０１３とのうちの共通物品である、ＩＤ＝Ａ００２とＩＤ＝Ａ０１３とのいずれかであると物品推定手段１１６で推定される。

図２７に、物品推定結果履歴データベース１１７の例を示す。物品推定結果履歴データベース１１７には、時刻の情報２７０１と、位置の情報２７０２と、物品推定結果の情報２７０３が登録されている。この例は、時刻ｔ９９に、位置（２７０，５０）に置かれた物品は、ＩＤ＝Ａ００２、Ａ０１３のいずれかであると物品推定手段１１６で推定されたことを示している。

《物品位置推定手段》
物品位置推定手段１１８は、前記物品検出履歴データベース１０２（図８参照）と前記物品推定結果履歴データベース１１７（図２７参照）を参照して、対象物品の位置を推定する。推定結果の情報を、物品位置推定結果履歴データベース１１９に物品位置推定手段１１８で登録する。

物品検出履歴データベース１０２と物品推定結果履歴データベース１１７に登録された同じ時間帯に検出及び推定された結果の情報を物品位置推定手段１１８で統合して、登録物品データベース１１３に登録された一つ以上の物品の位置を物品位置推定手段１１８で推定する。

図２８Ａ及び図２８Ｂを用いて、統合方法の１つの例を説明する。時刻ｔ９９における物品検出履歴データベース１０２の物品候補の情報２８０１と、物品推定結果履歴データベース１１７の物品推定結果の情報２８０２が得られたとする。物品推定結果の情報２８０２を物品位置推定手段１１８で参照すると、位置（２７０，５０）には物品ＩＤ＝Ａ００２、Ａ０１３のいずれかが存在すると推定されている。一方、物品候補の情報２８０１を物品位置推定手段１１８で参照すると、位置（１００，７０）には物品ＩＤ＝Ａ００２のみが存在すると検出されている。１つの位置において物品の候補の情報が１つしか存在しないということは、それだけ確からしいと考えられるので、逆に、物品ＩＤ＝Ａ００２は位置（２７０，５０）に存在する可能性は低いと考えられる。つまり、位置（２７０，５０）に存在する物品はＩＤ＝Ａ０１３であると考えられる。よって、物品位置推定手段１１８で統合の結果、位置（２７０，５０）に複数の物品ＩＤが存在すると検出されている場合よりも、位置（１００，７０）には物品ＩＤ＝Ａ００２のみが存在すると検出されている場合を物品位置推定手段１１８で推定結果の情報として抽出し、位置（１００，７０）には物品ＩＤ＝Ａ００２が存在し、位置（２７０，５０）には物品ＩＤ＝Ａ０１３が存在するという推定結果の情報が物品位置推定手段１１８で得られる。すなわち、物品位置推定手段１１８により、物品候補の情報２８０１と物品推定結果の情報２８０２とを比較して、１つの位置において物品の候補の情報が１つのみ存在する場合（例えば、１つの位置（１００，７０）には１つの物品ＩＤ＝Ａ００２のみが存在する場合）を推定結果の情報として抽出し、抽出された物品（例えば、物品ＩＤ＝Ａ００２）を物品推定結果の情報２８０２から除いた残りの物品推定結果の情報２８０２と物品候補の情報２８０１とをさらに比較して、１つの位置において物品の候補の情報が１つしか存在しない場合（例えば、１つの位置（２７０，５０）には１つの物品ＩＤ＝Ａ０１３のみが存在する場合）があれば、その場合も推定結果の情報として抽出して、その推定結果の情報を出力する。

図２９Ａ及び図２９Ｂを用いて、物品位置推定手段１１８による統合方法の別の例を説明する。時刻ｔ９９における物品検出履歴データベース１０２の物品候補の情報２９０１と、物品推定結果履歴データベース１１７の物品推定結果の情報２９０２が得られたとする。物品候補の情報２９０１を参照すると、位置（２７０，５０）には、物品ＩＤ＝Ａ００３，Ａ００４，Ａ００５，Ａ０１３が存在すると検出されている。一方、物品推定結果の情報２９０２を参照すると、前記と同じ位置（２７０，５０）には、物品ＩＤ＝Ａ００２、Ａ０１３のいずれかが存在すると推定されている。両方とも同じ位置に物品を検出しているので、単純に合わせると、位置（２７０，５０）には、物品ＩＤ＝Ａ００２，Ａ００３，Ａ００４，Ａ００５，Ａ０１３のいずれかが存在するという結果が得られることになる。ここで、両方で出力されている同じ物品が両方で出力されている場合には、その物品が前記位置に存在する可能性が高いと考えられる。この考えに基づくと、統合の結果、位置（２７０，５０）には、物品ＩＤ＝Ａ００２，Ａ００３，Ａ００４，Ａ００５，Ａ０１３のいずれかが存在するが、物品ＩＤ＝Ａ０１３が存在する可能性が高い、という結果を得ることができるようになる。このような判定動作を物品位置推定手段１１８に行わせる。すなわち、物品位置推定手段１１８により、物品候補の情報２９０１と物品推定結果の情報２９０２とを比較して、同一位置（例えば、位置（２７０，５０））において重複して登録されている物品（例えば、物品ＩＤ＝Ａ０１３）を抽出し、抽出された物品（例えば、物品ＩＤ＝Ａ０１３）がその位置（例えば、位置（２７０，５０））に存在する可能性が高いと推定して、その推定結果の情報を出力する。

以上、物品位置推定手段１１８による２通りの簡単な統合方法を説明したが、さらに別の例として、物品候補の情報又は物品推定結果の情報にそれぞれの物品である確率の情報を持たせて、確率的に物品を推定しても良い。例えば、第１物品候補抽出手段１１４が、ＩＤ＝Ａ００１である確率を６０％、ＩＤ＝Ａ００２である確率を３０％、ＩＤ＝Ａ００３である確率を１０％として物品候補をそれぞれ抽出し、第２物品候補抽出手段１１５が、ＩＤ＝Ａ００１である確率を４０％、ＩＤ＝Ａ００２である確率を４０％、ＩＤ＝Ａ００３である確率を２０％として物品候補をそれぞれ抽出したとする。このとき、人によって操作された物品の確率の比は、（ＩＤ＝Ａ００１）：（ＩＤ＝Ａ００２）：（ＩＤ＝Ａ００３）＝６０×４０：３０×４０：１０×２０となる。正規化すると、ＩＤ＝Ａ００１が操作された確率が６３％、ＩＤ＝Ａ００２が操作された確率が３２％、ＩＤ＝Ａ００３が操作された確率が５％となる。以上から、人によって操作された物品を、確率の最も高いＩＤ＝Ａ００１の物品であると決定する。尚、第１物品候補を抽出するときの確率の求め方は、各物品の持ち方を識別したときの識別誤りの傾向から算出することができる。また、第２物品候補を抽出するときの確率の求め方は、前回物品が操作されたときに推定した各物品らしさの確率とすることができる。つまり、次回、この位置から人が物品操作を開始したとすると、第２物品候補はＩＤ＝Ａ００１である確率が６３％、ＩＤ＝Ａ００２である確率が３２％、ＩＤ＝Ａ００３である確率が５％として物品候補をそれぞれ抽出することとなる。

図３０に、前記物品位置推定手段１１８による推定結果の情報が登録された物品位置推定結果履歴データベース１１９の例を示す。物品位置推定結果履歴データベース１１９には、時刻の情報３００１と、位置の情報３００２と、物品推定結果の情報３００３が登録されている。すなわち、図２８Ａ及び図２８Ｂを用いた物品位置推定手段１１８による前記統合方法の前記最初の例における推定結果の情報として、時刻ｔ９９において、位置（１００，７０）には物品ＩＤ＝Ａ００２が存在するとともに、位置（２７０，５０）には物品がＩＤ＝Ａ０１３存在するという推定結果の情報が登録されていることを示している。また、図２９Ａ及び図２９Ｂを用いた物品位置推定手段１１８による前記統合方法の前記２番目の例における推定結果の情報として、時刻ｔ９９において、位置（２７０，５０）には物品がＩＤ＝Ａ０１３存在するという推定結果の情報が登録されていることを示している。

《入出力手段》
入出力手段１２０は、ユーザからの物品探索要求を入力し、前記物品位置推定結果履歴データベース１１９を参照し、物品の位置情報を出力する。また、入出力手段１２０を他のデータベース又は他の手段と接続して、あらかじめ、物品を検出するために用いられる物品又は人の情報を入力して、それぞれのデータベース又は他の手段の内部記憶部に登録することもできる。入出力手段１２０は、インターネットなどを介して他のデータベースなどの情報を取り込むように構成することもできる。

図３１に、入出力手段１２０の一例としての出力装置の例としてのモニタ３０４における、物品探索のための表示画面の例を示す。出力装置の例としてのモニタ３０４に「探したい物品名を入力してください」と表示され、ユーザは、入出力手段１２０の別の例としての入力装置の例としてのキーボードなどを使用して、物品名（例えば、ティーポット）を入力する。入力された物品名に基づき、入出力手段１２０により、図７の登録物品データベース１１３を参照して、ティーポットのＩＤはＡ００８であることを検出したのち、図３０に示した物品位置推定結果履歴データベース１１９を参照し、最新の時刻のＡ００８の位置を求め、モニタ３０４に出力する（図４４参照）。

前記第１実施形態では、第１物品候補と第２物品候補で重複している物品を、物品推定手段１１６が対象物品と推定するようにしているが、これに限られるものではなく、前記第１実施形態の簡略版として、第２物品候補抽出手段を省略し、第１物品候補をそのまま、物品推定手段１１６が対象物品と推定するようにしてもよい。以下、そのような第１実施形態の変形例にかかる第１物品候補抽出手段１１４及び物品推定手段１１６の動作について、図４４を参照しながら説明する。

《第１物品候補抽出手段》
第１物品候補抽出手段１１４は、前記持ち方判定結果履歴データベース１０８と前記シーン判定結果履歴データベース１１０を参照して、各シーンで対象物品をどのような持ち方をしていたかを比較することにより、前記物品持ち方対応データベース１２３に登録されているデータから対象物品の候補の情報を抽出する。

第１物品候補抽出手段１１４では、シーン判定結果履歴データベース１１０の「取るシーン」と「運ぶシーン」と「置くシーン」とのそれぞれのシーンの時刻と同じ時間帯における、持ち方判定結果履歴データベース１０８の持ち方判定結果の情報の中から、最も多く判定されている持ち方を、そのシーンの持ち方とする。例えば、図４３に示したようなシーン判定結果の情報２４０１と持ち方判定結果の情報２４０２であった場合、「取るシーン」の持ち方はＩＤ＝Ｃ００２、「運ぶシーン」の持ち方はＩＤ＝Ｃ００６、「置くシーン」の持ち方はＩＤ＝Ｃ００２、となる。

この結果の情報と、物品持ち方対応データベース１２３に登録されている持ち方を第１物品候補抽出手段１１４で比較して、シーンと持ち方の対応がすべて同一である物品を、対象物品の候補の情報として第１物品候補抽出手段１１４で抽出する。

図２５に、物品持ち方対応データベース１２３の例を示す。物品持ち方対応データベース１２３には、物品のＩＤの情報２５０１と、品名の情報２５０２と、その物品の持ち方の情報２５０３とがシーン毎に登録されている。物品のＩＤの情報２５０１は、登録物品データベース１１３と共通に用いる。また、持ち方は必ずしも一意ではなく、複数の持ち方をする物品に対しては、複数の持ち方を登録する。

図４３と図２５とに示した例の場合、対象物品の候補として、ＩＤ＝Ａ００１が抽出される。

《物品推定手段》
物品推定手段１１６は、前記第１物品候補抽出手段１１４において抽出された物品の情報を、対象物品の推定結果の情報とする。物品推定手段１１６は、推定結果の情報を、物品推定結果履歴データベース１１７に登録する。

前述の例の場合、位置（２７０，５０）に置かれた物品は、第１物品候補抽出手段１１４の抽出結果の情報からＩＤ＝Ａ００１であると物品推定手段１１６で推定される。

図４５に、物品推定結果履歴データベース１１７の例を示す。物品推定結果履歴データベース１１７には、時刻の情報４４０１と、位置の情報４４０２と、物品推定結果の情報４４０３が登録されている。この例は、時刻ｔ９９に、位置（２７０，５０）に置かれた物品は、ＩＤ＝Ａ００１であると物品推定手段１１６で推定されたことを示している。

次に、センシング制御手段１２２０を用いない場合の処理について説明する。カメラと人の位置関係によって、カメラから見た手と物品の位置関係が実際の手と物品の位置関係と異なる場合がある。そのため、環境空間９１を複数のエリアに分割し、分割したエリア毎に物品持ち方対応データベース１２３を作成しても良い。このとき、物品持ち方対応データベース１２３は、カメラの設置位置に基づいて作成する。尚、エリア分割の例としては、環境空間９１をＸ軸方向とＹ軸方向に対してＮ（ｍ）間隔に正方形のメッシュで区切る等が考えられる。図４８にエリア分割を行った環境空間９１の例を示す。図４８の４８０１は、分割された正方形のエリアを示す。尚、環境空間９１においては、人はＸＹ平面(床面)上しか移動できないため、エリア分割はＸ軸方向とＹ軸方向にしか行っていない。
次いで、各エリア４８０１の間隔寸法Ｎ（ｍ）の設定方法について説明する。低い天井にカメラが設置されている場合、人の移動に対する手と物品の見え方の変化が大きいため、Ｎは小さめに設定する方が良い。また、高い天井にカメラが設置されている場合、人の移動に対する手と物品の見え方の変化は小さいため、Ｎは大きめに設定しておいても良い。
また、人の向きによっても、カメラに映る手と物品の位置関係が実際の手と物品の位置関係と異なる場合がある。そのため、（上述したエリア毎に）θ度刻みで３６０／θ分の物品持ち方対応データベース１２３を作成しても良い。このとき、物品持ち方対応データベース１２３は、カメラの設置位置に基づいて作成する。尚、人の向きは、例えば人の進行方向の向きとして考えることができる。人の進行方向は、例えばタグの検出位置の履歴を用いることで推測可能である。
また、エリア又は人の向き毎に物品持ち方対応データベース１２３を作成するのが困難な場合、物品を把持している状態の手と物品の三次元形状モデルを予め作成しておく方法が考えられる。
図１２Ａを、人がコップを把持したときの三次元形状モデルとして説明する。ここで、三次元形状モデルとは、手の位置、カメラの設置位置、及びカメラの撮影方向との情報を用いて、カメラに映る手と物品の位置関係である物品持ち方対応データベース１２３を作成するための規則である。
ここで、三次元形状モデルは、例えばＣＡＤなどを用いて作成することができる。三次元形状モデルを用いると、人の位置（向き）とカメラの設置位置に基づいて、手と物品の見え方である物品持ち方対応データベース１２３を予め作成することができる。 例えば、図１２Ａは、人の位置（向き）が（ｘ，y，z，θ）＝（０，０，０，０）であるとともに、カメラの設置位置が（ｘ，ｙ，ｚ，仰角,方位角）＝（１００，０，１００，３π／２，π／２）であるときの結果である。図１２Ｂは、人の位置（向き）が（ｘ，ｙ，ｚ，θ）＝（０，０，０，０）であるとともに、カメラの設置位置が（ｘ，ｙ，ｚ，仰角,方位角）＝（−１００，０，１００，π／２，π／２）であるときの結果である。このように人の位置（向き）に応じて、その場で手と物品の位置関係を算出することにより、エリア又は人の向き毎に、物品持ち方対応データベース１２３を予め作成する必要はなくなる。
また、作成した三次元形状モデルが、人の位置（向き）に対してどの位置（向き）に存在するかを予め設定しておいても良い。仮にカメラが足元の座標を出力するセンサであった場合、手に持っている物品は、出力された人位置に対して高さ（Ｚ座標）が高くなっているはずである。例えば、人の位置（向き）が、（ｘ，ｙ，ｚ，θ）＝（０，０，０，０）の場合、作成した三次元形状モデルは、人の位置に対して、（０，０，＋５０，０）の位置に存在すると設定しておく。そして、三次元形状モデルの位置（向き）とカメラの設置位置に基づいて、カメラから見た手と物品の位置関係を求める。
物品持ち方対応データベース１２３の作成は、物品持ち方対応データベース作成手段１２４で行うことができる。一例として、後述する図４６の物品の推定を行うための最低限必要な構成例に物品持ち方対応データベース１２３を追加する場合を点線で示す。物品持ち方対応データベース作成手段１２４により物品持ち方対応データベース１２３を予め作成しておき、物品の推定を行なうときには、物品持ち方対応データベース１２３のみを使用するようにしてもよい。
物品持ち方対応データベース作成手段１２４は、物品毎に、カメラに映る手と物品の位置関係である物品持ち方対応データベース１２３を作成するための規則である三次元形状モデルを保持している。
一例として、物品持ち方対応データベース作成手段１２４は、カメラ３０１から人の位置（向き）を取得し、予め保持するカメラ３０１の設置位置とカメラ３０１で取得した人の位置（向き）とに基づき、物品持ち方対応データベース１２３を作成する。よって、図４６の構成に対応する図４７のフローでは、図４７のフローの前段階で、手センシングとしてカメラ３０１から人の位置（向き）を取得したのち、物品持ち方対応データベース作成手段１２４で物品持ち方対応データベース１２３の作成を行なったのち、図４７のフローを実行する。
なお、一例として、図４６及び図４７に物品持ち方対応データベース作成手段１２４を図示したが、同様に、他の構成図及びフロー図にも追加可能である。

以上のような前記第１実施形態又はその変形例の構成により、対象物品の一部又は全部が収納ラックなど他の物品又は家具などの設備などにより隠されてしまい、かつ、多数の同一形状の物品が存在する場合においても、人が対象物品を運ぶときの持ち方を持ち方判定処理手段１０７で判定することにより、対象物品の識別候補の情報を絞り込んで推定することができるようになり、さらに、その結果を用いて物品の位置を、第１物品候補抽出手段１１４と第２物品候補抽出手段１１５とで、又は、第１物品候補抽出手段１１４で、推定することができるようになる。また、シーン毎に物品の持ち方をシーン判定手段１０９などで判定することで、より正確に物品を推定できるようになる。
また、物品の推定を行うための最低限必要な構成例を図４６に示す。
図４６に示した物品推定装置は、物品センシング手段（物品センシング部）１０１と、手センシング手段（手センシング部）１０３と、持ち方判定処理手段（持ち方判定処理部）１０７と、物品推定手段（物品推定部）１１６と、物品持ち方対応データベース（物品持ち方対応ＤＢ）１２３とを備えて構成されて、人が取り扱う物品を推定することができる。尚、各構成要素の機能は上述した内容と同等である。
図４６の構成を用いたときの物品位置推定装置の処理フローについて、図４７を参照して説明する。
ステップＳ４７０１で、物品センシング手段１０１は、環境空間９１に存在する日用品又はオフィス用品などの複数の物品の位置の情報を検出する。
ステップＳ４７０２で、手センシング手段１０３は、環境空間９１内の人の手の位置の情報を検出する。
ステップＳ４７０３で、持ち方判定処理手段１０７は、物品センシング手段１０１及び手センシング手段１０３から複数の物品の位置の情報と人の手の位置の情報とに基づいて物品と手の位置関係を取得し、人が物品をどのようにして持っているか、又は、何も持っていないか、を判定する。
ステップＳ４７０４で、物品推定手段１１６は、物品持ち方対応データベース１２３を参照し、Ｓ４７０３で持ち方判定処理手段１０７により判定した持ち方が物品持ち方対応データベース１２３に登録されている物品を、人が持っている物品であると推定する。

（第２実施形態）
ここでは、対象物品が全部隠されてしまう状況と、人によって物品の持ち方が異なっている状況について説明する。

最初に、図３２Ａに示すように、フォーク３３０４が収納ラック３０２に一部が隠されるように置かれている。１つ目の状況は、花子は、時刻ｔ１１に、このフォーク３３０４を取り、運び、時刻ｔ９９に、収納ラック３０３に全部が隠されるような位置に置いた（図３２Ｂ参照）。２つ目の状況は、花子は、時刻ｔ１１にこのフォーク３３０４を取り、運び、時刻ｔ９９に、ダイニングテーブルの花瓶３３０５に全部が隠されるような位置に置いた（図３２Ｃ参照）。図３２時刻ｔ１１の物品の状況３３０１を図３２Ａに示し、前記１つ目の状況における時刻ｔ９９の物品の状況３３０２を図３２Ｂに示し、前記２つ目の状況における時刻ｔ９９の物品の状況３３０３を図３２Ｃに示す。

以下、前記の図２の全体の処理フローに従って処理を行うとき、前記した説明とは異なる点についてのみ、説明を行う。

図３３に、物品センシング手段１０１の検出結果の情報が登録された物品検出履歴データベース１０２の例を示す。時刻ｔ１１において、１つの物品が検出されているが、時刻ｔ９９においては、物品は全部が隠されてしまっている状態であるので、検出結果の情報は得られていない。

図３４に、シーン判定結果の情報３５０１と持ち方判定結果の情報３５０２の例を示す。物品は時刻ｔ９９まで運ばれているが、最後（この例では時刻ｔ９２以降）は収納ラック３０３に隠されてしまっているので、持ち方判定処理手段１０７によって、この時間帯は何も持っていないと判定される。よって、シーン判定結果の情報３５０１では、時刻ｔ９２以降の情報は無い。また、物品を置くときも、置いた物品が収納ラック３０３に隠されてしまっていることになるので、シーン判定手段１０９によって、「置くシーン」として判定されないため、シーン判定結果の情報３５０１では、「置くシーン」が登録されていない。

前記の図２の全体の処理フローのステップＳ２０４で、「置くシーン」が終了したら物品推定のための処理を開始することになっていたが、この場合、「置くシーン」が存在しなくなるので、そのままでは適用できないため、その代わりに、「運ぶシーン」が終了したら、物品推定のための処理を開始することになる。すなわち、シーン判定手段１０９は、「取るシーン」及び「運ぶシーン」が存在しかつ「置くシーン」が無い場合には、「運ぶシーン」が終了したら、ステップＳ２０４において物品を「置くシーン」が終了したと判定して、ステップＳ２０５以降の物品推定のための処理を開始するようにする。

ステップＳ２０６を経て、ステップＳ２０７で、前記第１物品候補抽出手段１１４により第１物品候補の情報を抽出するとき、以下のように行う。

まず、前記１つ目の状況の場合、図３４の持ち方判定結果の情報３５０２より、「取るシーン」の持ち方は、持ち方ＩＤ＝Ｃ００４となり、「運ぶシーン」の持ち方は、持ち方ＩＤ＝Ｃ００４となる。「置くシーン」は存在しないので、第１物品候補抽出手段１１４は、ステップＳ２０７で「取るシーン」と「運ぶシーン」のみを比較して、対象物品の候補の情報を抽出する。図２５に示した物品持ち方対応データベース１２３の例を参照すると、対象物品の候補の情報として、ＩＤ＝Ａ００９、Ａ０１０、Ａ０１１が第１物品候補抽出手段１１４で抽出される。

次いで、ステップＳ２０８では、第２物品候補抽出手段１１５が、図３３の物品検出履歴データベース１０２を参照して、ＩＤ＝Ａ００９、Ａ０１０、Ａ０１１が対象物品の候補の情報として第２物品候補抽出手段１１５で抽出される。ただし、対象物品が置かれた位置は、収納ラック３０３で隠されてしまっており、どの位置か不明であるため、ここでは、対象物品を隠していると想定される収納ラック３０３の重心位置（２９０，５０）を置かれたとする。よって、第２物品候補抽出手段１１５では、データベースを適宜参照して、図３４の持ち方判定結果の情報３５０２の「運ぶシーン」の最後の情報である時刻９１における手の位置を抽出し、抽出された位置には収納ラック３０３が位置していることを取得し、取得した収納ラック３０３の重心位置（２９０，５０）を対象物品の候補の位置の情報として抽出する。

ここで、物品が隠蔽されているか否かの判断方法について説明する。「運ぶシーン」が終了したときに、手の位置の付近に対象物品が検出できなかった場合、対象物品は、別の物品により隠蔽されるようにして配置されたと、第２物品候補抽出手段１１５により判断することができる。この例の場合、「運ぶシーン」が終了したときの人の手の位置が収納ラック３０３の位置にあったため、対象物品は、収納ラック３０３により隠蔽されていると、第２物品候補抽出手段１１５により判断することができる。なお、収納ラック３０３の重心位置は、登録物品データベース１１３に記録されているものとする。

この結果、ステップＳ２０９において、物品推定手段１１６は、前記第１物品候補抽出手段１１４により抽出された候補の情報と、前記第２物品候補抽出手段１１５により抽出された候補の情報から、位置（２９０，５０）に置かれた物品は、ＩＤ＝Ａ００９、Ａ０１０、Ａ０１１のいずれかであると推定し、物品推定結果履歴データベース１１７に推定された物品のＩＤ（この例では、ＩＤ＝Ａ００９，ＩＤ＝Ａ１１０，ＩＤ＝Ａ０１１）を登録する。

さらに、ステップＳ２１０において、物品位置推定手段１１８は、図８の前記物品検出履歴データベース１０２と図２７の前記物品推定結果履歴データベース１１７を参照して、物品の位置を推定するが、この場合、対象物品は収納ラック３０３に全部が隠されており前記物品検出履歴データベース１０２には参照すべきデータが存在しないので、前記物品推定結果履歴データベース１１７の結果の情報を採用し、位置（２９０，５０）には、ＩＤ＝Ａ００９、Ａ０１０、Ａ０１１のいずれかが存在するという推定結果の情報を得る。

以上のような構成により、対象物品が全部隠されてしまう状況においても、物品及びその位置を推定することができるようになる。

《データベース切替手段》
次に、前記２つ目の状況の場合、持ち方判定処理手段１０７とシーン判定手段１０９の処理（ステップＳ２０１〜Ｓ２０４）までは、前記１つ目の状況と同様に行い、図３４に示した結果の情報が得られたとする。

このとき、物品持ち方対応データベース１２３を場所又は人毎に複数登録しておくことで、対象物品を運ぶ場所又は人に応じて、第１物品候補抽出手段１１４が参照するデータを、データベース切替手段１１１により切り替えることができる。具体的には、シーン判定結果履歴データベース１１０に登録した人のＩＤに対応するデータ、又は、手の移動軌跡として登録した手の位置を場所として、その場所に対応するデータに、ステップＳ２０６でデータベース切替手段１１１により切り替える。

図３５Ａ及び図３５Ｂに物品持ち方対応データベース１２３の例を示す。物品持ち方対応データベース１２３には、物品ＩＤの情報、品名の情報、シーン毎の物品の持ち方の情報に加えて、人のＩＤの情報３６０１と、場所の情報３６０２とが登録されている。人のＩＤの情報３６０１と、場所の情報３６０２には、それぞれのデータを適用する人と場所のＩＤ又は名称を物品持ち方対応データベース１２３に登録しておく。すなわち、人のＩＤと（人の居る）場所の情報は、センシング手段１０１にて検出を行う。また、図３５Ａ及び図３５Ｂの物品持ち方対応データベース１２３は、予め用意しておくものであり、各手段から、逐次記録されるものではない。センシング手段１０１によって、人のＩＤと場所が判断できれば、図３５Ａ及び図３５Ｂの物品持ち方対応データベース１２３の中から、判断された人のＩＤと場所に対応するデータベースを選択して物品の候補を抽出することができる。

図３５Ａには人ＩＤ＝Ｂ００１の場所＝キッチンにおける第１のデータ３６０３の一部を示しているとともに、図３５Ｂには人ＩＤ＝Ｂ００１の場所＝リビング、ダイニングにおける第２のデータ３６０４の一部を示している。

図３５Ａ及び図３５Ｂに示した例では、物品ＩＤ＝Ａ００９（ナイフ）の物品の持ち方が第１のデータ３６０３と第２のデータ３６０４で異なっている。これは、キッチンでは、ナイフを洗うときに、持ち方Ｃ００４、すなわち、ナイフの柄の中央部分を持つこともあるので、第１のデータ３６０３ではＣ００４が物品持ち方対応データベース１２３に登録されているが、リビング又はダイニングでは危ないので、持ち方Ｃ００３、すなわちナイフの柄の端部分を持つ持ち方しかしていないので、第２のデータ３６０４ではＣ００３のみが物品持ち方対応データベース１２３に登録されていることを意味している。

また、図示はしていないが、大人と子供などのように、人によっても、持ち方が異なることも考えられるので、その場合には、同様に、異なる持ち方を物品持ち方対応データベース１２３に登録することができる。

前記２つ目の状況では、対象物品をダイニングテーブルに人が運んでいるので、この場所（ダイニングテーブル）に従って、データベース切替手段１１１は、図３５Ｂの第２のデータ３６０４を選択する。図３４より、「取るシーン」の持ち方はＩＤ＝Ｃ００４、「運ぶシーン」の持ち方はＩＤ＝Ｃ００４となる。「置くシーン」は存在しないので、第１物品候補抽出手段１１４は、ステップＳ２０７で「取るシーン」と「運ぶシーン」のみを比較して、対象物品の候補の情報を抽出する。第１物品候補抽出手段１１４が、図３５Ｂに示した物品持ち方対応データベース１２３のデータ３６０４を参照してＩＤ＝Ｃ００４の物品を検索すると、対象物品の候補の情報として、ＩＤ＝Ａ０１０、Ａ０１１が第１物品候補抽出手段１１４により抽出される。

ステップＳ２０８では、第２物品候補抽出手段１１５により、前記１つ目の状況と同様に、図３３の物品検出履歴データベース１０２を参照して、ＩＤ＝Ａ００９、Ａ０１０、Ａ０１１が、対象物品の候補の情報として抽出される。

この結果、ステップＳ２０９では、物品推定手段１１６は、前記第１物品候補抽出手段１１４により抽出された候補の情報と、前記第２物品候補抽出手段１１５により抽出された候補の情報から、位置（２９０，５０）に置かれた物品は、ＩＤ＝Ａ０１０、Ａ０１１のいずれかであるの推定し、物品推定結果履歴データベース１１７に登録する。さらに、ステップＳ２１０では、物品位置推定手段１１８は、前記物品検出履歴データベース１０２と前記物品推定結果履歴データベース１１７を参照して、物品の位置を推定し、位置（２９０，５０）には、ＩＤ＝Ａ０１０、Ａ０１１のいずれかが存在するという推定結果の情報を得る。

以上のような構成により、物品持ち方対応データベース１２３を場所又は人毎に複数登録しておき、対象物品を運ぶ場所又は人に応じて、第１物品候補抽出手段１１４により参照するデータをデータベース切替手段１１１により切り替えることで、より正確に物品及びその位置を推定することができるようになる。

（第３実施形態）
ここでは、物品持ち方対応データベース１２３の更新方法について説明する。
最初に、図３６Ａに示すように、マグカップ３７０３がモニタ３０４の前方に置かれているとする。花子は、時刻ｔ１１にこのマグカップ３７０３を取り、運び、図３６Ｂに示すように、時刻ｔ９９に収納ラック３０３の前方に置いたとする。このとき、マグカップ３７０３の取っ手部分３７０３ａではなく、マグカップ３７０３の本体部分３７０３ｂを普通のコップと同じように手で持ったとする。また、モニタ３０４の前方には、物品センシング手段１０１の一例として無線ＩＣタグセンサ３７０４が設置されている。図３６Ａに時刻ｔ１１の物品の状況３７０１を示し、図３６Ｂに時刻ｔ９９の物品の状況３７０２を示す。

ここで、無線ＩＣタグセンサ３７０４について図３７を参照して説明する。物品を検出したい領域が検出範囲となるように、読み取りアンテナ３８０１を設置し、物品には、無線ＩＣタグ３８０２を貼り付ける。読み取りアンテナ３８０１の検出範囲内に、無線ＩＣタグ３８０２が貼り付けられた物品が置かれると、この物品の無線ＩＣタグ３８０２の情報を読み取りアンテナ３８０１で読み取ることで、物品の位置を検出することができる。ただし、読み取りアンテナ３８０１の検出範囲内のどこにあるかまでは分からないので、検出位置の精度は、読み取りアンテナ３８０１の検出範囲のサイズに依存する。また、無線ＩＣタグ３８０２に取り扱う物品のＩＤの情報をあらかじめ登録しておくことにより、検出した物品が何であるかを識別することができる。

以下、前記の図２の全体の処理フローに従って処理を行う。
ステップＳ２０１で、物品センシング手段１０１は、前述の通り無線ＩＣタグセンサ３７０４が設置されているので、物品のＩＤは一意に特定することができる。図３８に、検出結果の情報が登録された物品検出履歴データベース１０２の例を示す。時刻ｔ１１において、１つの物品が検出されており、物品ＩＤ＝Ａ００４と、１つの物品に特定されている。

《データベース更新手段》
前記の図２の全体の処理フローのステップＳ２０４で、「置くシーン」が終了したら物品推定のための処理を開始する。ここで、前述の通り、前記物品センシング手段１０１によって、対象物品が１つに特定されているので、データベース更新手段１２１の処理をステップＳ２０５で行う。

図３９に、シーン判定結果の情報４００１と持ち方判定結果の情報４００２の例を示す。この結果、「取るシーン」の持ち方は、持ち方ＩＤ＝Ｃ００６となり、「運ぶシーン」の持ち方は、持ち方ＩＤ＝Ｃ００６、「置くシーン」の持ち方は、持ち方ＩＤ＝Ｃ００６となる。

そこで、物品持ち方対応データベース１２３を第１物品候補抽出手段１１４が参照し、物品ＩＤ＝Ａ００４に対応する物品（マグカップ２）の持ち方の項目に、「取るシーン」の持ち方に「持ち方ＩＤ＝Ｃ００６」を追加し、「運ぶシーン」の持ち方に「持ち方ＩＤ＝Ｃ００６」を追加し、「置くシーン」の持ち方に「持ち方ＩＤ＝Ｃ００６」を追加する。図２５に示した物品持ち方対応データベース１２３の例に対して、データベース更新手段１２１で物品持ち方対応データベース１２３を更新した結果を図４０に示す。

更新前の物品持ち方対応データベース１２３において、既に、持ち方が登録されていた場合、このデータベース更新手段１２１による更新の前後で、物品持ち方対応データベース１２３の内容は変化しない。しかし、例えば、データベース更新手段１２１で更新された回数をデータベース更新手段１２１自体でカウントしておき、その回数によってデータベース更新手段１２１により重み付けをし、その重み付けの情報を物品推定処理のときに参照することにより、人の運び方の傾向を物品の推定に反映させるようにしても良い。

以降の処理は、前述の例と同様である。
以上のような構成により、物品持ち方対応データベース１２３をデータベース更新手段１２１で適切に更新することで、より正確に物品及びその位置を推定することができるようになる。

なお、前記したセンシング手段を除く手段及びデータベースは、それぞれをコンピュータで機能させることにより、物品推定プログラム又は物品位置推定プログラムとしても利用可能である。例えば、前記した各処理フローのそれぞれのステップを有するコンピュータプログラムとして、記憶装置（ハードディスク等）などの記録媒体に読み取り可能に記憶させ、そのコンピュータプログラムをコンピュータの一時記憶装置（半導体メモリ等）に読み込んでＣＰＵを用いて実行することにより、前記した各動作又は処理を実行することで、物品推定装置又は物品位置推定装置と同様な作用効果を奏することができる。

なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。

本発明にかかる物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラムは、環境空間において、ユーザが取り扱う日用品又はオフィス用品などの物品を人が運ぶときの持ち方を持ち方判定処理手段で判定することにより、対象物品の識別候補の情報を絞り込んで推定することができるようになり、さらに、その結果の情報を用いて物品を物品推定手段で推定し、さらに物品の位置までを物品位置推定手段で推定することができるようになる。これにより、人が所望の物品の所在を探索するときに用いられる物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラムとして有用である。また、物品の位置を利用するサービス、アプリケーション全般にも応用できる。

本発明は、添付図面を参照しながら好ましい実施形態に関連して充分に記載されているが、この技術の熟練した人々にとっては種々の変形又は修正は明白である。そのような変形又は修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。

Claims (14)

1. 環境空間中に存在する複数の物品の位置の情報を検出する物品センシング手段と、
   前記環境空間中に存在する人の手の位置の情報を検出する手センシング手段と、
   前記物品センシング手段及び前記手センシング手段でそれぞれ検出された前記物品の位置の情報と前記手の位置の情報との位置関係を、前記手による前記物品の持ち方として判定する持ち方判定処理手段と、
   前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると推定する物品推定手段とを、
   備える物品推定装置。
2. 環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を物品検出履歴データベースに登録する物品センシング手段と、
   前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を手検出履歴データベースに登録する手センシング手段と、
   前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
   前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
   前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると推定する物品推定手段とを、
   備える物品推定装置。
3. 環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、物品検出履歴データベースに登録する物品センシング手段と、
   前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、手検出履歴データベースに登録する手センシング手段と、
   前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
   前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
   前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得するシーン判定手段と、
   前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が前記手で持って前記物品を運ぶ前にその物品が置かれていた移動元の位置に存在する、第２候補物品を抽出する第２物品候補抽出手段と、
   前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と推定する物品推定手段と、
   を備える物品推定装置。
4. 前記物品センシング手段及び前記手センシング手段の少なくともいずれか１つは、前記環境空間中に存在する前記複数の物品及び前記人の手を含む画像情報を撮像する画像センサと、前記画像センサで撮像された画像情報を基に、画像認識処理を行う画像認識手段とで構成され、
   前記画像認識手段は、前記複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出して、前記物品検出履歴データベースに登録する前記物品センシング手段としての機能か、又は、前記人のＩＤの情報及び前記人の手の位置の情報を検出して、前記手検出履歴データベースに登録する前記手センシング手段としての機能のいずれかを有する請求項２又は３に記載の物品推定装置。
5. 前記シーン判定手段は、前記手検出履歴データベースを参照して、取得した時間区間の情報における前記手の位置の情報とその手の位置の情報を検出した時刻の情報から、単位時間当たりの前記手の移動量を算出し、算出した前記手の移動量が予め設定された閾値以下となる時間区間の情報を複数個抽出し、抽出した時間区間のうち最も時刻の情報が早い時間区間の情報を、物品を取るシーンと判定し、前記抽出した時間区間のうち最も時刻の情報が遅い時間区間の情報を、物品を置くシーンと判定し、前記物品を取るシーンと前記物品を置くシーンとの間の時間区間を、物品を運ぶシーンと判定し、前記判定の結果をシーン判定結果履歴データベースにそれぞれ登録し、
   さらに、前記人が前記物品の持ち方を、前記複数の物品のＩＤの情報毎及び前記物品を前記人が運ぶときの持ち方の情報をシーン毎に、前記物品と前記人の手との位置関係として登録した物品持ち方対応データベースを備え、
   前記第１物品候補抽出手段は、前記シーン判定結果履歴データベースに登録されたシーンにおいて、前記物品持ち方対応データベースに登録された物品の中から、前記シーン判定手段によって判定されたシーンにおいて、前記持ち方判定処理手段によって判定された持ち方が登録されている物品を候補物品として抽出する、
   請求項３に記載の物品推定装置。
6. 前記手で持って前記物品を運ぶ前記人、又は、前記手で持って前記物品を前記人が運んでいる場所に応じて、前記持ち方登録データベース及び前記物品持ち方対応データベースの前記第１物品候補抽出手段が参照するデータを切り替えるデータベース切替手段、
   をさらに備える請求項５に記載の物品推定装置。
7. 請求項２〜３,５〜６のいずれか１つに記載の前記物品推定装置と、
   前記物品検出履歴データベースを参照し、前記物品推定手段が推定した前記物品のＩＤの情報に対応する前記物品のＩＤの位置の情報を推定位置とする物品位置推定手段と、
   を備える物品位置推定装置。
8. 前記物品の探索要求を受付け、前記物品位置推定手段で推定した前記物品のＩＤの位置の情報において、前記探索要求を受けた前記物品のＩＤの情報と対応する前記物品の位置の情報を出力する入出力手段と、
   をさらに備える請求項７に記載の物品位置推定装置。
9. 環境空間中に存在する複数の物品の位置の情報を物品センシング手段で検出し、
   前記環境空間中に存在する人の手の位置の情報を手センシング手段で検出し、
   前記物品センシング手段及び前記手センシング手段でそれぞれ検出された前記物品の位置の情報と前記手の位置の情報との位置関係を、前記手による前記物品の持ち方として持ち方判定処理手段で判定し、
   前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると物品推定手段で推定する、
   ことを備える物品推定方法。
10. 物品センシング手段により、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を物品検出履歴データベースに登録し、
    手センシング手段により、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を手検出履歴データベースに登録し、
    前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を持ち方判定処理手段で判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに持ち方判定処理手段で登録し、
    前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として第１物品候補抽出手段で抽出し、
    前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると、物品推定手段で推定する、
    ことを備える物品推定方法。
11. 物品センシング手段により、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、物品検出履歴データベースに登録し、
    手センシング手段により、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を検出し、検出した情報を検出した時刻の情報と対応付けて、手検出履歴データベースに登録し、
    前記物品センシング手段及び前記手センシング手段でそれぞれ検出されて前記物品検出履歴データベースと前記手検出履歴データベースに登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを持ち方判定処理手段で判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに持ち方判定処理手段で登録し、
    前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として第１物品候補抽出手段で抽出し、
    シーン判定手段により、前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得し、
    第２物品候補抽出手段により、前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が運ぶ前に対象物品が置かれていた移動元の位置に存在する、第２候補物品を抽出し、
    前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と、物品推定手段で推定する、
    ことを備える物品推定方法。
12. 物品センシング手段で検出された環境空間中に存在する複数の物品の位置の情報と、手センシング手段で検出された前記環境空間中に存在する人の手の位置の情報との位置関係を、前記手による前記物品の持ち方として判定する持ち方判定処理手段と、
    前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって判定した前記持ち方の情報に対応する物品のＩＤを、前記人が持っている物品であると推定する物品推定手段、
    としてコンピュータを機能させる物品推定プログラム。
13. 物品センシング手段により検出された、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報が登録された物品検出履歴データベースと、手センシング手段により検出された、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報が登録された手検出履歴データベースとにそれぞれ登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方を判定し、判定された持ち方の情報を前記物品のＩＤ毎に持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
    前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
    前記第１物品候補抽出手段で抽出された前記第１候補物品を、前記人が運んでいる物品であると推定する物品推定手段、
    としてコンピュータを機能させる物品推定プログラム。
14. 物品センシング手段により検出された、環境空間中に存在する複数の物品のＩＤの情報及び前記複数の物品の位置の情報を、検出した時刻の情報と対応付けて、登録された物品検出履歴データベースと、手センシング手段により検出された、前記環境空間中に存在する人のＩＤの情報及び前記人の手の位置の情報を、検出した時刻の情報と対応付けて、登録された手検出履歴データベースとにそれぞれ登録された前記物品の位置の情報と前記手の位置の情報との位置関係から、前記手による前記物品の持ち方、又は、前記物品を前記手で持っていないかを判定し、前記物品センシング手段及び前記手センシング手段でそれぞれ検出した情報に対応付けられて前記物品検出履歴データベースと前記手検出履歴データベースに登録された時刻の情報と対応付けてその判定の結果の情報を、持ち方判定結果履歴データベースに登録する持ち方判定処理手段と、
    前記人の前記物品の持ち方が、前記物品のＩＤ毎に、前記物品と前記人の前記手との位置関係として登録されている持ち方登録データベースから、前記持ち方判定処理手段によって取得した前記持ち方の情報に対応する物品のＩＤを第１候補物品として抽出する第１物品候補抽出手段と、
    前記持ち方判定結果履歴データベースを参照して、前記物品の持ち方が判定された時刻が含まれる時間区間の情報を取得するシーン判定手段と、
    前記手検出履歴データベースを参照し、前記シーン判定手段が取得した前記時間区間の直前の時刻の情報における前記手の位置を取得し、前記取得した手の位置の情報と前記直前の時刻の情報とに基づいて前記物品検出履歴データベースを参照し、前記人が運ぶ前に対象物品が置かれていた移動元の位置に存在する、第２候補物品を抽出する第２物品候補抽出手段と、
    前記第１物品候補抽出手段で抽出された前記第１候補物品と前記第２物品候補抽出手段で抽出された前記第２候補物品とに共通する物品を、前記人が運んでいる物品と推定する物品推定手段、
    としてコンピュータを機能させる物品推定プログラム。

Images