JP6775467B2 - 物品収納装置及び物品管理システム - Google Patents

Description

本発明は、常備物品の在庫を管理することができる物品収納装置及び物品収納装置を含む物品管理システムに関する。

通常、冷蔵庫及び収納棚などのような収納庫（物品収納装置）には、使用者が常に収納しておきたいと考える物品である常備物品が収納されている。冷蔵庫における常備物品（すなわち、常備食品）は、例えば、牛乳、卵、ヨーグルト、納豆などである。しかし、補充をし忘れて、冷蔵庫に常備食品が収納されていない場合がある。この場合、使用者は、習慣となっている食生活を送ることができない。

この対策として、特許文献１は、冷蔵庫に収納されている食品の在庫を検出し、在庫情報を記憶し、常備食品に該当する品目が不足しているか否かを検出し、該当する品目が不足している場合に、購入指示を出力する装置を提案している。この装置では、取得された食品の画像（画像データ）の特徴と基準情報（すなわち、データベース）とのマッチング演算を行う処理によって食品が特定される例が示されている。

また、特許文献２は、冷蔵庫内の予め設定されている位置である特定位置に貯蔵される食材（食品）である特定食材の貯蔵量を取得し、取得した特定食材の貯蔵量が予め設定されている基準貯蔵量以上であるか否かを判定し、基準貯蔵量未満であると判定された特定食材（不足食材）に関する情報を報知する冷蔵庫を提案している。

特開２０１３−２５０６９８号公報（段落００２１、００２２） 特開２０１４−７０７４０号公報（要約）

しかしながら、冷蔵庫に収納される可能性のある食品について必要な基準情報は、膨大な量のデータであり、そのデータベースの準備には莫大なコストがかかる。また、取得された画像の特徴と膨大なデータベースとのマッチングを行うためには、高性能な演算処理部が必要となり、装置のコストが上昇する。

また、特許文献２では、予め設定された収納室内の特定位置に貯蔵される特定食材が在庫管理の対象であるため、管理することができる食材と収納位置が限定されている。特定食材及び収納位置の設定を変更するためには設定操作が必要であり、使用者にとって非常に不便である。

本発明は、上記課題を解決するためになされたものであり、その目的は、コストを削減することができ、煩わしい設定操作を必要とせず、収納されている常備物品の在庫管理を行うことができる物品収納装置及び物品管理システムを提供することである。

本発明の一態様に係る物品収納装置は、物品を収納する収納室内を撮影することで画像を取得する画像取得部と、前記画像から前記物品の画像特徴量を抽出し、前記画像特徴量を示す画像特徴量情報と前記画像特徴量が検出された検出エリアを示す検出エリア情報とを提供する画像特徴量抽出部と、前記画像特徴量抽出部から提供された前記画像特徴量情報と前記検出エリア情報とを紐付けすることで得られる画像特徴情報を履歴データとして記憶する特徴量検出履歴記憶部と、前記特徴量検出履歴記憶部に記憶されている前記履歴データから、予め決められた同一物品判定用閾値を用いて互いに類似していると判定された画像特徴量が、前記画像中の同じ検出エリア内に繰り返し現れている場合に、前記画像特徴量を前記収納室内に常備されている常備物品の画像特徴量と決定する常備物品特徴決定部と、前記常備物品の画像特徴量を記憶する常備物品特徴管理部と、前記画像取得部によって取得された前記画像から前記画像特徴量抽出部によって抽出された最新の画像特徴量と前記常備物品特徴管理部に記憶されている前記常備物品の画像特徴量とが類似しているか否かに応じて、前記収納室内に常備物品が収納されているか否かを判定する常備物品検出部と、を有することを特徴とする。

本発明の他の態様に係る物品管理システムは、上記物品収納装置と、携帯端末と、を具備し、前記携帯端末は、前記物品収納装置と通信を行う端末通信部と、前記物品収納装置から取得した在庫の情報を表示する表示操作部とを有することを特徴とする。

本発明によれば、使用者が煩わしい設定操作を行わなくても、常備物品を自動的に見つけ出し、常備物品の在庫管理を行うことができるという効果がある。

また、本発明によれば、膨大なデータベースの準備及びマッチング処理が不要であるので、コストを削減することができる。

本発明の実施の形態１に係る物品収納装置である冷蔵庫及び冷蔵庫を含む物品管理システムの構成を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、実施の形態１に係る冷蔵庫が行う処理を示すフローチャートである。 （Ａ）から（Ｃ）は、実施の形態１に係る冷蔵庫の冷蔵室内における物品の配置例及び物品の特徴点の検出位置の例を示す図である。 （Ａ）から（Ｅ）は、実施の形態１に係る冷蔵庫の冷蔵室内における物品の配置及び物品の特徴点の検出位置の例、並びに画像特徴量検出履歴の例を示す図である。 実施の形態１に係る冷蔵庫における常備物品特徴管理部が行う処理を示すフローチャートである。 実施の形態１に係る冷蔵庫における常備物品の状態遷移を示す状態遷移図である。 本発明の実施の形態２に係る物品収納装置である冷蔵庫及び冷蔵庫を含む物品管理システムの構成を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、実施の形態２に係る冷蔵庫が行う処理を示すフローチャートである。 （Ａ）から（Ｅ）は、実施の形態２に係る冷蔵庫の冷蔵室内における物品の配置及び物品の特徴点の検出位置の例、並びに画像特徴量検出履歴の例を示す図である。 本発明の実施の形態３に係る物品収納装置である冷蔵庫及び冷蔵庫を含む物品管理システムの構成を概略的に示すブロック図である。 本発明の実施の形態１から３の変形例に係る物品収納装置のハードウェア構成の一例を示す図である。

以下に、本発明の実施の形態に係る物品収納装置及び物品管理システムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

《１》実施の形態１．
《１−１》構成
図１は、本発明の実施の形態１に係る冷蔵庫１及び冷蔵庫１を含む物品管理システムの構成を概略的に示すブロック図である。実施の形態１に係る物品管理システムは、物品収納装置の一例としての冷蔵庫１と、携帯端末４とを有している。冷蔵庫１と携帯端末４とは、無線通信などにより通信可能である。冷蔵庫１と携帯端末４との通信は、インターネットなどの通信網を経由した通信であってもよい。物品収納装置は、冷却機能を持たない収納庫であってもよい。携帯端末４は、例えば、スマートフォン、携帯電話、タブレット式情報端末、又はパーソナルコンピュータなどである。

冷蔵庫１は、物品としての食品を収納する収納室（貯蔵室）である冷蔵室内を撮影することで冷蔵室内の画像（すなわち、画像データ）を取得するカメラなどの画像取得部１１と、取得された画像から物品の画像特徴量（一般には、局所特徴量）を抽出し、この画像特徴量を示す画像特徴量情報と画像特徴量が検出された物品が存在する領域を示す検出エリア情報とを提供する画像特徴量抽出部１２と、画像特徴量抽出部１２から提供された画像特徴量情報と検出エリア情報とを紐付けすることで得られる画像特徴情報を特徴量検出履歴（履歴データ）のデータベースとして記憶する特徴量検出履歴記憶部１３とを有している。

また、冷蔵庫１は、特徴量検出履歴記憶部１３に記憶されている履歴データから抽出された画像特徴量が互いに類似しているか否かの判定を行い、予め決められた同一物品判定用閾値を用いて互いに類似していると判定された画像特徴量が、画像取得部１１によって取得された画像中の同じ検出エリア内に繰り返し現れている場合に、予め決められた期間又は予め決められた撮影回数において、予め決められた基準割合以上の出現割合で繰り返し現れる画像特徴量を冷蔵室内に常備されている常備物品の画像特徴量であると決定する常備物品特徴決定部１４と、常備物品の画像特徴量を記憶する常備物品特徴管理部１６とを有している。

さらに、冷蔵庫１は、画像取得部１１が取得した画像から画像特徴量抽出部１２によって抽出された最新の画像特徴量と常備物品特徴管理部１６に記憶されている過去の画像特徴量である常備物品の画像特徴量とが類似しているか否かに応じて、冷蔵室内に常備物品が収納されているか否かを判定する常備物品検出部１５と、常備物品検出部１５による判定の結果に基づいて、冷蔵室内の常備物品の在庫を管理する常備物品在庫管理部１７と、冷蔵室内に以前保存されていた常備物品が無くなった旨を外部装置としての携帯端末４に通知する通信部１８とを有している。なお、最新の画像特徴量と常備物品の画像特徴量とが類似しているか否かの判定には、同一物品判定用閾値が用いられる。

なお、冷蔵庫１は、常備物品が無くなった旨を使用者に知らせることができる表示部又は音声出力部を備えてもよい。

携帯端末４は、冷蔵庫１との通信を行う端末通信部４１と、冷蔵庫１から通知された内容を表示し、また使用者の操作を受け付ける表示操作部４２とを有している。表示操作部４２は、例えば、タッチパネルである。ただし、表示操作部４２は、液晶パネルなどの表示部と操作ボタンなどの操作入力部とから構成されてもよい。携帯端末４を所持する使用者は、冷蔵庫１の冷蔵室内に常備物品が無くなったことを携帯端末４によって知ることができる。

《１−２》動作
図２（Ａ）及び（Ｂ）は、実施の形態１に係る物品収納装置である冷蔵庫１が行う処理を示すフローチャートである。図２（Ａ）は、在庫管理処理を示し、図２（Ｂ）は、常備物品の特徴の更新処理を示す。図２（Ａ）の在庫管理処理は、主に、画像特徴量抽出部１２、常備物品検出部１５、常備物品在庫管理部１７、及び通信部１８によって実行される。図２（Ｂ）の常備物品の特徴の更新処理は、主に、画像特徴量抽出部１２、特徴量検出履歴記憶部１３、常備物品特徴決定部１４、及び常備物品特徴管理部１６によって実行される。

〈図２（Ａ）、ステップＳ１０１〉
まず、冷蔵庫１の画像取得部１１は、冷蔵室のドアが閉められたことをトリガとして、冷蔵室内を撮影することで画像（画像データ）を取得する（ステップＳ１０１）。画像取得部１１は、例えば、冷蔵室のドアに冷蔵室内を撮影する方向に設置された広角カメラである。ドアの開閉は、冷蔵室のドアの開閉検知器の出力によって検知されることができる。冷蔵室のドアの開閉検知器は、ドアの閉め忘れ防止用に備えられているものであってもよい。冷蔵室のドアが閉まっている間は、冷蔵室内の食品の出し入れ及び移動は行われないので、ドアが閉められたときに冷蔵室内の最新の状態の画像を取得することが望ましい。撮影の際には、冷蔵室内に備え付けられている庫内灯、又は、画像取得部１１に備え付けられたライトを点灯することが望ましい。また、広角カメラによる撮影で取得された画像は、歪みが発生しているので、歪み補正処理を行うことが望ましい。ただし、撮影のタイミングは、冷蔵室のドアが閉められたときに限定されず、例えば、物品の出し入れが可能な一定時間以上ドアが開いていた後にドアが閉められたとき、又は、ドアが閉められた後の一定時間経過後に撮影を行うようにしてもよい。

〈図２（Ａ）、ステップＳ１０２〉
続いて、画像特徴量抽出部１２は、冷蔵室内の画像から画像特徴量（一般には、局所特徴量）を取得する（ステップＳ１０２）。図２（Ａ）に示されるように、画像特徴量を取得した後に、画像特徴量抽出部１２による画像特徴量の抽出（ステップＳ１０２）、常備物品検出部１５による常備物品の検出（ステップＳ１２１）、常備物品在庫管理部１７による在庫情報の更新及び判定（ステップＳ１２２，Ｓ１２３）、及び通信部１８による通知（ステップＳ１２４）が実行される。また、図２（Ｂ）に示されるように、画像特徴量抽出部１２による画像特徴量の抽出（ステップＳ１０２）と並列的に常備物品の特徴の更新処理が行われる。

画像特徴量は、例えば、画素の集合を、認識又は識別するためのベクトルに変換したものである。画像特徴量は、特に、画像の拡大縮小、画像の回転などの変形に強い点（拡大縮小、回転、及び変形による影響を受け難い点）である特徴点を検出し、その周辺から取得した局所特徴量である。代表的な局所特徴量としては、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）又はＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などがある。ＳＩＦＴは、回転及びスケール変化に強い画像特徴量である。ＨＯＧは、輪郭のような抽出し易い画像特徴量である。以降の説明では、画像特徴量として局所特徴量を用いた例を説明する。

なお、実施の形態１においては、物品の画像特徴量を抽出するために、冷蔵室内の壁面及び収納棚が存在する領域などは、画像特徴量の抽出の対象外とする。そのため、例えば、空の状態の冷蔵室内の画像（背景画像）をベース画像（ベース画像データ）として予めメモリに記憶し、ベース画像と新規撮影した冷蔵室内の画像との差分を算出することで、背景領域（差分が基準値より小さい領域）と食品（差分が基準値より大きい領域）とを区別することができる。

図３（Ａ）から（Ｃ）は、実施の形態１に係る冷蔵庫１の冷蔵室１ａ内における物品（食品）の配置例及び物品の特徴点の検出位置の例を示す図である。冷蔵庫１の冷蔵室１ａ内には、４段の棚があり、上から１段目には、左から物品Ａ、牛乳、他の牛乳が収納されており、上から２段目には、左から物品Ｂ、物品Ｃが収納されており、上から３段目には、物品Ｄが収納されており、上から４段目には物品Ｅが収納されている。実施の形態１では、１段目に収納されている２つの牛乳は同じ銘柄である場合を説明する。図３（Ａ）の例では、常備物品は、ある銘柄の牛乳であり、それは、冷蔵庫１の１段目の右側に収納されることが多い場合を説明する。実施の形態１においては、このように冷蔵庫１の冷蔵室１ａ内で常備物品が同じ場所に置かれることが多いという特性を利用している。使用者（例えば、家庭）ごとに冷蔵室１ａ内において常備物品の置かれる場所は異なるが、実施の形態１に係る冷蔵庫１は、使用者ごとの常備物品の保存場所を学習して常備物品を検出する。

図３（Ａ）の画像の特徴点は、例えば、図３（Ｂ）において円で囲まれた領域として検出される。どのような特徴点が検出されるかは、検出手法により異なるが、例えば、輝度の分布、色の分布、又はエッジの分布などに特徴がある箇所が特徴点として用いられる。特徴点の周辺の画素などから画像特徴量を算出することで、特徴点が検出された領域の特徴的な部分をパラメータ化することができる。

〈図２（Ｂ）、ステップＳ１１１〜Ｓ１１３〉
図２（Ｂ）のステップＳ１１１〜Ｓ１１３の処理は、例えば、画像特徴量抽出部１２による画像特徴量の抽出（ステップＳ１０２）と並列的に行われる。先ず、特徴量検出履歴記憶部１３は、例えば、画像特徴量（実施の形態１では、局所特徴量）と、特徴点の検出の日時と、冷蔵室１ａ内における特徴点の検出エリアと、特徴点周辺の画像とを紐付けすることで得られる画像特徴情報を履歴データとして保存する（ステップＳ１１１）。ここで、特徴点周辺の画像とは、その物品が何であるかを十分に視認することができる程度の大きさの画像を示す。例えば、特徴点を中心とする予め決められた半径の円の範囲内が特徴点周辺の画像としてもよい。

例えば、冷蔵室１ａ内の上から１段目〜４段目の収納空間の各々を右半分と左半分に分割した領域を検出エリアとした場合、画像の特徴点の検出エリアと画像特徴量とを紐付けすることで得られた画像特徴情報を、図３（Ｃ）に示されるような形式で、常備物品の履歴データとして記録することができる。なお、画像取得部１１は、冷蔵庫１に備え付けられたカメラであり、その撮影範囲は、一定であるので、画像中のどの部分が棚であり、どの部分が検出エリアであるかといった情報は、特徴量検出履歴記憶部１３に予め保持してもよい。

図３（Ｃ）に示されるように、画像特徴量は、複数次元のベクトルで表現される。この例では、１段目の右側（すなわち、冷蔵室１ａの右上）に配置された２つの同じ銘柄の牛乳の特徴を示す「牛乳の特徴１」と「牛乳の特徴２」は、類似したベクトルになり、類似した特徴を持っている。なお、ベクトル同士の類似性は、例えば、ベクトル間の直線距離を示すユークリッド距離の大きさにより示すことができる。「特徴が類似している」とは、例えば、比較対象の２つの特徴ベクトルのユークリッド距離がある閾値（同一物品判定用閾値）以下であることで判断することができる。

図３（Ｃ）の左列の項目である検出エリアは、一例であり、より細かく（例えば、３分割以上に）分割された検出エリアを使用してもよいし、検出エリア同士が部分的に重なり合っていてもよい。また、より広く（例えば各段ごとに）分割された検出エリアを使用してもよい。

図４（Ａ）から（Ｅ）は、実施の形態１に係る冷蔵庫１の冷蔵室１ａ内における物品の配置及び物品の特徴点の検出位置の例、並びに画像特徴量検出履歴の例を示す図である。画像特徴量は、特徴量検出履歴記憶部１３に一定期間、保存される。例えば、物品の配置と特徴点の検出位置が、図４（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の順に変わる場合、図４（Ｅ）に示されるように、どのような画像特徴量がどの検出エリアで検出されたかの履歴データが特徴量検出履歴記憶部１３に記録される。図４（Ｅ）に示される履歴データは、画像特徴量検出履歴とも言う。なお、図４（Ａ）から（Ｄ）に示される牛乳は、全て同じ銘柄の牛乳であり、牛乳から抽出された画像特徴量「牛乳の特徴１〜５」は、いずれも類似した画像特徴量である場合を説明する。

続いて、常備物品特徴決定部１４は、特徴量検出履歴記憶部１３に蓄積された画像特徴量検出履歴から、どの画像特徴量が常備物品の画像特徴量であるかを決定する（ステップＳ１１２）。常備物品特徴決定部１４は、常備物品の画像特徴量であるかどうかを、類似した特徴が、ある定められた期間中に、一定以上の割合で出現しているかどうかに基づいて判断する。

常備物品特徴決定部１４は、図４（Ｅ）の例においては、「牛乳の特徴１〜５」は、同じ物品の同じ位置の画像特徴量であるため類似していると判断する。類似した特徴が、ある定められた期間（例えば、過去４回の検出を含む期間）中、一定の閾値（例えば、閾値は７５％）以上の出現割合で出現している。つまり、図４（Ａ）、（Ｂ）、（Ｄ）で「牛乳の特徴」が出現し、図４（Ｃ）では「牛乳の特徴」が出現しないので、出現割合は３／４＝７５％である。このため、「牛乳の特徴１〜５」の代表ベクトルを、常備物品の画像特徴量として決定する。なお、代表ベクトルとは、画像特徴量の平均ベクトルを意味する。

常備物品特徴決定部１４は、図４（Ａ）から（Ｅ）の例では、「物品Ｂの特徴」、「物品Ｈの特徴」、「物品Ｉの特徴」も、同じ検出エリア内に複数回現れているが、ある定められた期間（例えば、過去４回の検出）の出現割合が５０％であり、一定以上の割合（例えば、閾値は７５％以上）未満であるため、常備物品の画像特徴量とはみなさない。

なお、ある定められた期間である「４回の検出」及び出現割合の閾値である「７５％以上」は、設定の一例であり、より長い期間を採用してもよいし、閾値として７５％以外の割合を採用してもよい。また、ある定められた期間を、撮影した回数を基準に設定するのではなく、実際の日数及び時間を用いて出現割合を設定してもよい。例えば、常備物品特徴決定部１４は、過去１カ月において、同じ検出エリア内で２０日以上類似した特徴が現れた場合に常備物品の特徴であると判断することもできる。

続いて、常備物品特徴管理部１６は、常備物品の特徴を記憶したデータベースを更新する（ステップＳ１１３）。データベースには、常備物品の画像特徴量に加えて、常備物品の最新の検出の日時、位置、特徴点周辺の画像など（以下「常備物品の最新の検出情報」と言う）が記録されている。

図５は、実施の形態１に係る冷蔵庫１における常備物品特徴管理部１６が行う処理を示すフローチャートである。

常備物品特徴管理部１６は、常備物品特徴決定部１４がステップＳ１１２で決定した常備物品（新規常備物品）の特徴と、過去に常備物品として決定された常備物品（既存常備物品）との特徴とを比較する（ステップＳ２０２）。

常備物品特徴管理部１６は、新規常備物品の特徴が、既に記憶されている既存常備物品の特徴と類似している場合には、新規常備物品と既存常備物品とは同一物品であるとみなし、常備物品のデータベース中の既存常備物品の画像特徴量を、新規常備物品と既存常備物品の画像特徴量の平均値に更新する（ステップＳ２０３）。このようにすれば、常備物品特徴管理部１６は、使用者による冷蔵庫１の冷蔵室１ａ内の物品の置き方が徐々に変わったとしても、その変化に追随して、新規常備物品の特徴と既存常備物品の特徴との類似判定を適切に行うことができる。また、常備物品特徴管理部１６は、常備物品の最新の検出情報も併せて更新する。

常備物品特徴管理部１６は、新規常備物品の特徴に類似する特徴を持つ既存常備物品が無かった場合には、新規常備物品の特徴と最新の検出情報とを新規に登録する（ステップＳ２０４）。

常備物品特徴管理部１６は、複数の新規常備物品が存在する場合には、複数の新規常備物品のそれぞれに対してステップＳ２０２〜Ｓ２０４の処理を行う。

以上の処理により、常備物品特徴管理部１６は、画像特徴量が表す物品の名称が何であるかを特定せずに、画像取得部１１によって取得された画像において、冷蔵室１ａ内のいずれかの場所に繰り返し現れる物品の画像特徴量から、常備物品の画像特徴量を決定することができる。

〈図２（Ａ）、ステップＳ１２１〉
次に、常備物品を管理するための処理について説明する。常備物品検出部１５は、冷蔵室１ａ内の画像から画像特徴量（例えば、局所特徴量）を抽出（ステップＳ１０２）した後、冷蔵室１ａ内の画像から抽出した画像特徴量と常備物品特徴管理部１６に記憶された常備物品の画像特徴量とを比較し、常備物品の特徴に類似した特徴があれば、常備物品を検出したと判断する（ステップＳ１２１）。

ステップＳ１２１では、常備物品検出部１５は、検出エリアを考慮せずに、冷蔵室１ａ内の画像から抽出された画像特徴量と、全ての検出エリアの常備物品の画像特徴量との比較を行ってもよい。このようにすれば、常備物品が冷蔵庫１の冷蔵室１ａ内で異なる検出エリアに移動された場合であっても、常備物品が無くなったと誤検知することを防ぐことができる。

ただし、実施の形態１においては、常備物品は、同じ検出エリアに置かれる場合について説明している。このため、常備物品が頻繁に置かれる検出エリアについては、常備物品の特徴の類似の範囲が広くなるように、類似性判定に用いる閾値を大きい値に設定し、検出エリアから離れるエリアであるほど、常備物品の特徴の類似の範囲が狭くなるように類似性判定に用いる閾値を小さい値に設定してもよい。

以上の処理により、常備物品検出部１５は、画像特徴量が表す物品の名称が何であるかを特定せずに、常備物品が冷蔵室１ａ内にあるか否かを判定することができる。

〈図２（Ａ）、ステップＳ１２２〉
続いて、常備物品在庫管理部１７は、常備物品検出部１５が抽出した冷蔵室１ａ内の常備物品の情報に基づいて、常備物品の在庫情報を更新する（ステップＳ１２２）。

常備物品在庫管理部１７は、冷蔵庫１の冷蔵室１ａ内の常備物品の状態と最新の検出情報を管理する。図６は、実施の形態１に係る冷蔵庫１における常備物品の状態の遷移を示す状態遷移図である。常備物品検出部１５で検出された常備物品は、状態を「有（状態１）」とする。今まで状態が「有」だったが、今回検出されなかった常備物品は、状態を「保留（状態２）」とする。状態が「保留」の状態で一定期間検出されなかった常備物品は、状態を「無（状態３）」とする。一定期間「保留」の状態で待つのは、一時的に使用するために冷蔵庫１の冷蔵室１ａの外に出した常備物品及び一時的に他の物品の陰に隠れて画像特徴量が抽出されなくなった常備物品を、在庫が無くなったと誤検知しないようにするためである。

〈図２（Ａ）、ステップＳ１２３、Ｓ１２４〉
常備物品在庫管理部１７において今まで状態が「保留」であった常備物品が、状態が「無」になった場合（ステップＳ１２３においてＹＥＳ）は、常備物品が無くなったと判断し、通信部１８は、携帯端末４にその旨を通知する（ステップＳ１２４）。通知には、常備物品の最新の検出情報、冷蔵庫１の冷蔵室１ａ内の画像も含める。通知を行う通信経路は、例えば、無線規格であるＷｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などを用いた無線通信による通信経路であってもよいし、公衆回線網を使用する通信経路であってもよい。

携帯端末４の端末通信部４１は、通信部１８からの通知を受信すると、その内容を表示操作部４２に提供し、表示操作部４２は通知の内容を表示する。常備物品の最新の検出情報に含まれる直近に検出された検出エリアを冷蔵室１ａ内の画像中で図示したり、直近に検出された特徴点付近の画像（すなわち、常備物品画像）をユーザに提示したりすることで、使用者は、常備物品の名称が提示されなくても、どの常備物品が無くなったのかを把握することができる。つまり、使用者は、冷蔵室１ａ内に常備物品が無くなったという事実を知ることができる。

《１−３》効果
以上に説明したように、実施の形態１に係る冷蔵庫１及び物品管理システムにおいては、画像取得部１１によって取得された画像において、冷蔵室１ａ内におけるいずれかの場所に繰り返し現れる物品の画像特徴量から、常備物品の画像特徴量を決定し、常備物品を自動的に見つけ出して、管理することができる。つまり、冷蔵庫１及び物品管理システムは、冷蔵室１ａ内にある物品の名称を特定しないが、物品の内のどの物品が常備物品であるかを見つけ出して（決定して）及び常備物品の在庫を管理することができる。

したがって、実施の形態１に係る冷蔵庫１及び物品管理システムによれば、予め多くの物品の特徴データをデータベースとして用意することなく、常備物品を見つけ出すことができるので、データベースを利用した画像解析に必要な高性能なプロセッサ、大記憶容量のメモリなどが不要であり、コストを削減できる。また、冷蔵庫１及び物品管理システムは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）タグのような高コストな部品を使用せずに常備物品の在庫管理を行うことができる。

また、実施の形態１に係る冷蔵庫１及び物品管理システムによれば、冷蔵室１ａ内において、常備物品が概ね同じ場所に置かれることが多いという特性を利用して常備物品を自動的に検出することができる。このため、常備物品が保存される場所に制限はなく、また、使用者が常備物品の貯蔵場所を予め設定する必要はない。

さらに、常備物品の特徴を決定する際の比較対象を、同じ検出エリアの物品に限定した場合には、画像中の全ての物品を比較対象にした場合に比べて、検出精度の向上及び計算コストの削減を図ることができる。

また、画像特徴量を用いて常備物品の判定を行うと、異なる物品であるが、偶然に類似した画像特徴量が検出された場合に、誤った判定を行う可能性がある。しかし、実施の形態１においては、画像取得部１１によって取得された画像において、同じ検出エリアに繰り返し現れるという条件を設定しているため、より正確に常備物品であるか否かを判定することができる。

また、実施の形態１に係る冷蔵庫１及び物品管理システムによれば、冷蔵庫１の冷蔵室１ａ内において常備物品を検出できなくなった際に、その旨を、使用者の携帯端末４に送信するので、使用者は、外出中であっても、冷蔵庫１の冷蔵室１ａ内から常備物品が無くなったことを知ることができる。

《１−４》変形例
実施の形態１においては、画像取得部１１が、冷蔵庫１の冷蔵室１ａ内の画像を取得する広角カメラである場合を説明したが、異なる方法を用いてもよい。例えば、画像取得部１１が、並べて設置された複数のカメラと画像合成装置とを具備し、複数のカメラが取得した画像を合成して冷蔵室１ａの画像を生成してもよい。このようにすれば、カメラが増えることにより製造コストが増えるが、歪みの少ない高品質な画像を取得することができる。

また、実施の形態１に係る冷蔵庫１及び物品管理システムおいては、常備物品が無くなったことを携帯端末４に通知したが、それ以外の形態で使用者に通知してもよい。例えば、冷蔵庫１に備え付けられたＬＥＤランプの点灯又は点滅で通知したり、近接センサで使用者の接近を検知し、使用者が近づいたときに音声で通知したりしてもよい。

また、実施の形態１に係る冷蔵庫１及び物品管理システムおいては、常備物品が無くなったと判断した際に通信部１８から通知を送信したが、対象の常備物品が再び検知されるまで一定期間繰り返し通知してもよい。このようにすれば、常備物品が無くなった通知を受けたにも関わらず、使用者がそのことを忘れてしまうことを防ぐことができる。

さらに、通知を受けた使用者が、繰り返し通知を受けるかどうかを携帯端末４で選択することができるようにしてもよい。このようにすれば、使用者が不必要だと判断した通知を繰り返し受けないようにすることができる。

また、実施の形態１に係る冷蔵庫１及び物品管理システムおいては、常備物品が無くなったと判断した際に通信部１８から通知を送っていたが、常備物品の在庫情報を一定期間ごとに送信するようにしてもよい。このようにすれば、使用者は、冷蔵庫１の冷蔵室１ａ内の常備物品の在庫を定期的に把握することができるので、計画的に常備物品の補充を行うことができる。

また、実施の形態１に係る冷蔵庫１及び物品管理システムおいては、冷蔵庫１の通信部１８から携帯端末４に向けて通知を行っていたが、携帯端末４の端末通信部４１から常備物品の在庫状態を問い合わせることでも同様の効果を得られる。例えば、携帯端末４において、表示操作部４２は、使用者による在庫の問い合せ対象の常備物品の入力操作を受け付け、端末通信部４１は、入力された常備物品の在庫の問い合わせ情報を冷蔵庫１に送信し、冷蔵庫１において、常備物品在庫管理部１７は在庫の問い合せに対する回答を通信部１８から送信する。また、表示操作部４２で過去に受信した常備物品画像を記憶しておき、その中から使用者が選択した常備物品の有無を冷蔵庫１に問い合わせてもよい。このようにすれば、通信回数を減らしながら、使用者が知りたいタイミングで在庫を確認することが可能である。

また、実施の形態１に係る冷蔵庫１及び物品管理システムおいては、冷蔵庫１を例に説明したが、特定のものを特定の場所に収納する物品収納装置であれば、冷蔵庫以外の装置にも本発明を適用可能である。例えば、米又は乾麺などを保存する食品棚などにも本発明を適用可能である。

また、実施の形態１に係る冷蔵庫１及び物品管理システムおいては、冷蔵庫１の冷蔵室１ａ内の棚の位置は、既知のものとして検出エリアの大きさを定めたが、冷蔵室１ａ内の画像から棚の位置を検出して検出エリアの縦の大きさを定めてもよい。棚を検出する方法としては、例えば、画像から直線を検出するハフ変換などの手法を利用することができる。棚の位置に応じて検出エリアを変更可能とすることで、棚の大きさが異なる複数の機種に１つのプログラムで対応できたり、棚の高さを変えられる冷蔵庫１にも対応できたりする利点がある。

また、同一物品で２つ以上の特徴点が検出される場合もあるが、毎回類似した位置関係で検出される画像特徴量を１つの物品としてみなすことで、同一物品から検出される複数の画像特徴量を別々の常備物品として扱わないようにすることができる。

また、常備物品特徴管理部１６は、常備物品検出部１５で一定期間検知されなかった常備物品をデータベースから削除してもよい。このようにすれば、使用者が冷蔵庫１に入れなくなった常備物品に対して繰り返し画像特徴量の類似度を判定し続けるという無駄な処理を減らし、計算負荷を減らすことができる。

また、常備物品特徴決定部１４は、常備物品として現れ易い基準画像特徴量を予め保持しておき、この基準画像特徴量にある程度類似すると判定された特徴に対してのみ、処理を行うようにしてもよい。常備物品として現れ易い基準画像特徴量は、例えば、飲料品の缶の画像特徴量、牛乳などの紙パックの画像特徴量などである。このように常備物品特徴決定部１４による処理対象を減らすことにより、対応可能な物品の種類は減るが、夕食の残りが入った食器又は保存用プラスチック容器など、常備物品として管理することが望ましくない物品を常備物品から確実に除外することができる。また、特定の形状の食器又は保存用プラスチック容器の画像特徴量を基準画像特徴量として予め保持しておき、基準画像特徴量にある程度類似する特徴を持つ物品を、処理対象から外すようにしても同様の効果が得られる。

《２》実施の形態２．
《２−１》構成
実施の形態２に係る物品収納装置としての冷蔵庫２及び物品管理システムは、画像取得部１１によって取得された画像において、冷蔵室２ａ内の同じ検出エリアに画像撮影の度に繰り返し現れる複数の常備物品を、これら複数の常備物品が属する常備物品グループとして管理する点が、上記実施の形態１に係る冷蔵庫１及び物品管理システムと異なる。

図７は、本発明の実施の形態２に係る冷蔵庫２及び冷蔵庫２を含む物品管理システムの構成を概略的に示すブロック図である。実施の形態２に係る物品管理システムは、物品収納装置の一例としての冷蔵庫２と、携帯端末４とを有している。図７において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態２に係る冷蔵庫２は、常備物品グループ分類部２１を備えている点、及び常備物品検出部１５が常備物品グループに属する常備物品が無くなったか否かを判定する点が、上記実施の形態１に係る冷蔵庫１と異なる。

常備物品グループ分類部２１は、同一物品判定用閾値を用いて常備物品特徴管理部１６に記憶されている常備物品の画像特徴量に類似していると判定された画像特徴量、又は、予め決められた同一グループ判定用閾値を用いて互いに類似していると判定された画像特徴量が、画像取得部１１によって取得された画像中の同じ検出エリア内に繰り返し現れている場合に、繰り返し画像特徴量が検出される１つ以上の常備物品を同じ常備物品グループとしてみなす。常備物品検出部１５は、常備物品グループに属する常備物品が無くなったか否かを判定する。常備物品在庫管理部２２は、常備物品検出部１５の判定結果が常備物品グループに属する常備物品が無くなったことを示す際に、判定結果を示す情報を通信部１８から外部装置としての携帯端末４に送信する。

《２−２》動作
図８（Ａ）及び（Ｂ）は、実施の形態２に係る冷蔵庫２が行う処理を示すフローチャートである。図８（Ａ）は、在庫管理処理を示し、図８（Ｂ）は、常備物品の特徴の更新処理及び常備物品グループの分類の更新処理を示す。図８（Ａ）及び（Ｂ）において、図２（Ａ）及び（Ｂ）に示される処理ステップと同一又は対応する処理ステップには、図２（Ａ）及び（Ｂ）に示される符号と同じ符号が付される。実施の形態２に係る冷蔵庫２は、常備物品グループを更新する処理（図８（Ｂ）におけるステップＳ３０１）を行う点、及び常備物品グループに属する常備物品がなくなったか否かを判定する処理（図８（Ａ）におけるステップＳ３０２）を行う点が、図２（Ａ）及び（Ｂ）に示される実施の形態１の処理と異なる。図８（Ａ）の在庫管理処理は、主に、画像特徴量抽出部１２、常備物品検出部１５、常備物品在庫管理部２２、及び通信部１８によって実行される。図８（Ｂ）の常備物品の特徴の更新処理及び常備物品グループの分類の更新処理は、主に、画像特徴量抽出部１２、特徴量検出履歴記憶部１３、常備物品特徴決定部１４、常備物品特徴管理部１６、及び常備物品グループ分類部２１によって実行される。

図８（Ｂ）に示されるように、実施の形態２においては、ステップＳ１０２において、画像特徴量抽出部１２が画像特徴量を抽出したときに、特徴量検出履歴記憶部１３による画像特徴の保存、常備物品特徴決定部１４による常備物品の特徴の決定、常備物品特徴管理部１６による常備物品の特徴の更新（図５に示される）を行った後に、常備物品グループ分類部２１が常備物品グループを更新する（ステップＳ３０１）。

次に、常備物品グループ分類部２１の処理を説明する。図９（Ａ）から（Ｅ）は、実施の形態２に係る冷蔵庫２の冷蔵室２ａ内における物品の配置及び物品の特徴点の検出位置の例、並びに画像特徴量検出履歴の例を示す図である。図９（Ａ）から（Ｅ）は、物品の配置と特徴点の検出位置が図９（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）の順に変わる場合を示している。実施の形態２では、図４（Ａ）から（Ｅ）に示される実施の形態１の場合と異なり、「牛乳Ａ」と「牛乳Ｂ」は、異なる銘柄である場合を説明する。「牛乳Ａ」と「牛乳Ｂ」は、銘柄は異なるが、使用者にとっては「牛乳」という同じグループに属する食品であるため、いずれの牛乳も冷蔵室２ａ内の右上の領域に置かれている。

「牛乳Ａ」と「牛乳Ｂ」から検出される画像特徴量は、牛乳パックの形状において、類似しているため、検出される画像特徴量もある程度（同一物品とはみなされない程度）類似している。しかしながら、銘柄が異なるため、牛乳パックに印刷された模様などが互いに異なり、画像特徴量には、同一物品とはみなされない程度の差が生じる。そこで、常備物品グループ分類部２１は、画像取得部１１によって取得された画像において、画像特徴量がある程度類似した常備物品が繰り返し同じ領域に出現する場合に、それらは、同じ常備物品グループに属すると判定する。つまり、同一物品であると判定されるために許容される差分（例えば、比較対象の２つの特徴ベクトルのユークリッド距離）を示す同一物品判定用閾値は、同一グループ物品であると判定されるために許容される差分（例えば、比較対象の２つの特徴ベクトルのユークリッド距離）を示す同一グループ判定用閾値よりも小さい。つまり、次式の通りである。
（同一物品判定用閾値）＜（同一グループ判定用閾値）
言い換えれば、２つの物品が同一物品であると判定されたときの画像特徴量の類似の程度は高く、互いに類似する２つの物品の画像特徴量の差は、同一物品判定用閾値以下でなければならない。これに対し、２つの物品が同一グループに属すると判定されたときの画像特徴量の類似の程度は比較的低く、互いに同一グループに属する２つの物品の画像特徴量の差は、同一グループ判定用閾値以下であれば十分である。

常備物品グループ分類部２１は、画像取得部１１によって取得された画像において、同じ検出エリアに繰り返し現れる複数の常備物品間で、画像特徴量の差が同一物品判定用閾値より大きいが、同一グループ判定用閾値以下である場合に、それら複数の常備物品が同一グループであるとみなす。常備物品グループ分類部２１は、どの常備物品を同一グループであると判定したかを記憶する。

一方で、実施の形態２においては、常備物品の在庫情報を更新（ステップＳ１２２）した後、常備物品グループに属する常備物品が無くなった場合（ステップＳ３０２においてＹＥＳ）に、常備物品が無くなったことを通知する（ステップＳ１２４）。通信部１８は、常備物品グループに属する常備物品のうち、最新の検出の日時がより新しい常備物品の最新の検出情報を送信する。ここで、他の常備物品と同一グループであると判定されていない常備物品は、その常備物品単独で常備物品グループを構成する。つまり、その常備物品が無くなれば、常備物品グループに属する常備物品が無くなる。

図９（Ａ）から（Ｅ）の例においては、常備物品グループ分類部２１は、常備物品として「牛乳Ａ」と「牛乳Ｂ」が検出され、画像取得部１１によって取得された画像において、それらが同じ場所に現れることから、同じ常備物品グループとしてみなしている。よって、「牛乳Ａ」と「牛乳Ｂ」のいずれもが無くなったならば、すなわち、冷蔵室２ａ内に牛乳が無くなったらば、その旨を通知する。

冷蔵庫２の使用者が知りたいことは、「牛乳Ａ」が無くなったことではなく、冷蔵室２ａに牛乳が無くなったことである。実施の形態２においては、使用者は、「牛乳Ａ」が無くなったとき又は「牛乳Ｂ」が無くなったときではなく、牛乳というグループに属する物品である牛乳が無くなったときに、通知を受けるので、使用者は、より適切なタイミングで通知を受けることができる。

《２−３》効果
以上に説明したように、実施の形態２に係る冷蔵庫２及び物品管理システムにおいては、画像取得部１１によって取得された画像において、同一領域に繰り返し現れる常備物品を同じ常備物品グループとみなし、常備物品グループを構成する常備物品が無くなったことを通知するので、冷蔵庫２の使用者は、より適切なタイミングで常備物品が無くなったことの通知を受けることができる。

また、実施の形態２に係る冷蔵庫２及び物品管理システムにおいては、画像特徴量が抽出された物品の名称が分からなくても、画像取得部１１によって取得された画像において、繰り返し同じ場所に置かれるという特徴を利用することで、同一グループに属する常備物品であるか否かを判定することができる。

また、実施の形態２に係る冷蔵庫２及び物品管理システムにおいては、同一グループに属するか否かの判定に、検出位置だけでなく常備物品の画像特徴量間の類似度も利用しているので、例えば、牛乳とビール等、偶然に近い場所に置かれているだけで、同一グループに属さない常備物品を同一グループとみなす誤判定を減らすことができる。

なお、実施の形態２に係る冷蔵庫２及び物品管理システムにおいては、冷蔵庫２から携帯端末４に、最新の検出の日時が、より新しい常備物品の最新の検出情報を送信したが、常備物品グループに属する複数の常備物品の最新の検出情報を送信してもよい。このようにすれば、送信されるデータ量は増えるが、使用者は、どのような常備物品が無くなったのかをより具体的に知ることができる。

なお、上記以外の点において、実施の形態２は上記実施の形態１と同じである。

《３》実施の形態３．
実施の形態３に係る物品収納装置としての冷蔵庫３及び物品管理システムは、常備物品についての情報を、外部の物品情報特定部５１から取得する点が、上記実施の形態１及び２に係る冷蔵庫１，２及び物品管理システムと異なる。

図１０は、本発明の実施の形態３に係る冷蔵庫３及び冷蔵庫を含む物品管理システムの構成を概略的に示すブロック図である。実施の形態３に係る物品管理システムは、物品収納装置の一例としての冷蔵庫３と、携帯端末４とを有し、冷蔵庫３はサーバコンピュータであるＷｅｂサーバ５と通信可能に構成されている。図１０において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態３に係る冷蔵庫３は、Ｗｅｂサーバ５から常備物品の物品情報を取得する常備物品情報取得部３１を備えている点が、実施の形態１に係る冷蔵庫１と異なる。なお、常備物品情報取得部３１を実施の形態２に係る冷蔵庫２に備えることも可能である。

実施の形態３におけるＷｅｂサーバ５は、冷蔵庫３から送信された常備物品画像に基づき物品情報を特定する物品情報特定部５１と、特定された物品情報を蓄積する記憶装置としての物品情報蓄積部５２とを備える。

実施の形態３においては、常備物品特徴管理部１６に記憶された常備物品の画像特徴量の中で常備物品情報が設定されていない常備物品の特徴点周辺の画像（以下「常備物品画像」と記す）を、検出した画像特徴量、その特徴点の検出エリアの情報などと共に常備物品情報取得部３１がＷｅｂサーバ５に送信する。冷蔵庫３の冷蔵室内の画像取得の回数に比べて、常備物品が追加される回数は非常に少ないため、この処理は、冷蔵室内の画像取得の度に行う必要はない。この処理は、例えば、１週間に１度くらいの頻度であってもよい。

Ｗｅｂサーバ５の物品情報特定部５１は、常備物品情報取得部３１から送信された常備物品画像を元に、その物品が何であるかを特定（すなわち、物品情報を特定）する。ここで、物品情報特定部５１は、物品情報蓄積部５２に蓄積されている物品情報と画像特徴量との対応から物品情報を特定してもよいし、常備物品画像を人の目で見て物品名を特定してもよい。

物品情報特定部５１は、物品情報を特定し、まだ物品情報蓄積部５２に蓄積されていない情報があれば物品情報蓄積部５２へ登録し、特定された物品情報を冷蔵庫３の常備物品情報取得部３１に送信する。

特定された物品情報を受信した冷蔵庫３は、通信部１８から、携帯端末４に具体的な物品名を知らせることができるので、使用者は無くなった常備物品をより具体的に知ることができる。

また、物品情報特定部５１は、受信した常備物品画像に写っているものが常備物品として適さないものである場合は、その旨を冷蔵庫３に返信するようにしてもよい。常備物品として適さないものとしては、夕飯の残り物が入った鍋又は容器、誤って検出された冷蔵庫３の壁面（背景領域）などが挙げられる。常備物品情報取得部３１は、物品情報特定部５１から常備物品として適さないとの応答を受けた場合は、常備物品特徴管理部１６から該当の常備物品を削除することで、常備物品として適さない画像特徴量を誤って常備物品の画像特徴量として管理すること無くすることができる。

また、物品情報蓄積部５２に物品情報を蓄積することで、冷蔵室内で撮影された画像を元に常備物品のデータベースを作ることができ、将来的に物品情報の特定をデータベースを用いて自動で行うことが可能となる。

なお、実施の形態３においてＷｅｂサーバに蓄積されるデータベースは、物品情報蓄積部５２に自動的に蓄積されたデータに基づくものであり、以下のような特徴を持つ。

実施の形態３に係る冷蔵庫３は、おいてＷｅｂサーバ５に蓄積されるデータベースは、
冷蔵庫３のドアが開閉される度にＷｅｂサーバ５に冷蔵室内で撮影された画像を送信する必要はなく、予め決められた期間が経過する度に（例えば、週に１度ずつ）送信してもよい。また、Ｗｅｂサーバ５は、受信した常備物品画像に対して物品名を付けるだけであってもよい。このため、データベース作成のコストは大幅に削減される。

実施の形態３においては、データベースとして蓄積される画像は、冷蔵庫３の冷蔵室内の撮影で得られた画像であり、また、検出エリアも既知であるので、検出エリアごとの物品の写り方（画像特徴量）に応じたデータベースを構築することができ、冷蔵室内の画像から取得した画像特徴量とデータベースに蓄積された画像特徴量とが一致しないという問題は生じにくい。

また、実施の形態３で構築されるデータベースは、常備物品に限定したものであるので、冷蔵庫３の冷蔵室内に入る可能性のある物品全般を対象にしたデータベースに比べて、小規模なデータベースである。したがって、実施の形態３においては、類似した物品の検索処理を高速に行うことができる。

なお、上記以外の点において、実施の形態３は上記実施の形態１又は２と同じである。

《４》変形例．
図１１は、実施の形態１から３の変形例に係る物品収納装置としての冷蔵庫１〜３のハードウェア構成の一例を示す図である。図１に示される構成要素１２〜１７、図７に示される構成要素１２〜１６，２１，２２、及び図１０に示される構成要素１２〜１７，３１は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ６２と、メモリ６２に格納されたプログラムを実行する情報処理部としてのプロセッサ６１とを用いて（例えば、コンピュータにより）実現することができる。なお、図１に示される構成要素の一部を、図１１に示されるメモリ６２と、プログラムを実行するプロセッサ６１とによって実現してもよい。

１，２，３ 冷蔵庫（物品収納装置）、 １ａ，２ａ 冷蔵室（収納室）、 ４ 携帯端末（外部装置）、 ５ Ｗｅｂサーバ（サーバコンピュータ）、 １１ 画像取得部、 １２ 画像特徴量抽出部、 １３ 特徴量検出履歴記憶部、 １４ 常備物品特徴決定部、 １５ 常備物品検出部、 １６ 常備物品特徴管理部、 １７，２２ 常備物品在庫管理部、 １８ 通信部、 ２１ 常備物品グループ分類部、 ３１ 常備物品情報取得部、 ４１ 端末通信部、 ４２ 表示操作部、 ５１ 物品情報特定部、 ５２ 物品情報蓄積部。

Claims (9)

1. 物品を収納する収納室内を撮影することで画像を取得する画像取得部と、
   前記画像から前記物品の画像特徴量を抽出し、前記画像特徴量を示す画像特徴量情報と前記画像特徴量が検出された検出エリアを示す検出エリア情報とを提供する画像特徴量抽出部と、
   前記画像特徴量抽出部から提供された前記画像特徴量情報と前記検出エリア情報とを紐付けすることで得られる画像特徴情報を履歴データとして記憶する特徴量検出履歴記憶部と、
   前記特徴量検出履歴記憶部に記憶されている前記履歴データから、予め決められた同一物品判定用閾値を用いて互いに類似していると判定された画像特徴量が、前記画像中の同じ検出エリア内に繰り返し現れている場合に、前記画像特徴量を前記収納室内に常備されている常備物品の画像特徴量と決定する常備物品特徴決定部と、
   前記常備物品の画像特徴量を記憶する常備物品特徴管理部と、
   前記画像取得部によって取得された前記画像から前記画像特徴量抽出部によって抽出された最新の画像特徴量と前記常備物品特徴管理部に記憶されている前記常備物品の画像特徴量とが類似しているか否かに応じて、前記収納室内に常備物品が収納されているか否かを判定する常備物品検出部と、
   を有することを特徴とする物品収納装置。
2. 前記類似していると判定された前記画像特徴量が前記画像中の同じ検出エリア内に繰り返し現れている場合は、予め決められた期間又は予め決められた撮影回数において、前記類似していると判定された前記画像特徴量が予め決められた基準割合以上の出現割合で現れている場合であることを特徴とする請求項１に記載の物品収納装置。
3. 外部装置と通信を行う通信部と、
   前記常備物品検出部の判定結果を示す情報を、前記通信部によって前記外部装置に提供する常備物品在庫管理部と、
   をさらに有することを特徴とする請求項１又は２に記載の物品収納装置。
4. 前記常備物品在庫管理部は、前記常備物品検出部の判定結果が、常備物品が無くなったことを示す際に、前記判定結果を示す情報を前記通信部から前記外部装置に送信させることを特徴とする請求項３に記載の物品収納装置。
5. 前記同一物品判定用閾値を用いて前記常備物品の画像特徴量に類似していると判定された画像特徴量、又は、予め決められた同一グループ判定用閾値を用いて互いに類似していると判定された画像特徴量が、前記画像中の同じ検出エリア内に繰り返し現れている場合に、繰り返し画像特徴量が検出される１つ以上の常備物品を同じ常備物品グループとしてみなす常備物品グループ分類部をさらに有し、
   前記常備物品在庫管理部は、前記常備物品検出部の判定結果が前記常備物品グループに属する常備物品が無くなったことを示す際に、前記判定結果を示す情報を前記通信部から前記外部装置に送信させる
   ことを特徴とする請求項３に記載の物品収納装置。
6. サーバコンピュータに常備物品として検出した物品の画像を送信することで、前記サーバコンピュータから前記常備物品の情報を取得する常備物品情報取得部をさらに有することを特徴とする請求項１から５のいずれか１項に記載の物品収納装置。
7. 前記画像取得部は、前記物品収納装置のドアが開閉される度に、前記画像を取得し、
   前記常備物品特徴決定部は、前記特徴量検出履歴記憶部に記憶されている前記履歴データから、互いに類似している画像特徴量が、前記画像中の同じ検出エリア内に現れる場合に、前記画像特徴量を前記収納室内に常備されている常備物品の画像特徴量と決定する
   ことを特徴とする請求項１から６のいずれか１項に記載の物品収納装置。
8. 請求項１から７のいずれか１項に記載の物品収納装置と、
   携帯端末と、
   を具備し、
   前記携帯端末は、前記物品収納装置と通信を行う端末通信部と、前記物品収納装置から取得した在庫の情報を表示する表示操作部とを有する
   ことを特徴とする物品管理システム。
9. 前記携帯端末において、前記表示操作部は、使用者による在庫の問合せ対象の常備物品の入力操作を受け付け、前記端末通信部は、前記問合せ対象の常備物品の在庫の問い合わせ情報を前記物品収納装置に送信し、
   前記物品収納装置は、前記在庫の問い合せに対する回答を前携帯端末に送信する
   ことを特徴とする請求項８に記載の物品管理システム。

Images