JP2024058085A - 物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラム - Google Patents

Abstract

【課題】貯蔵庫に収容される物品を精度良く管理できる物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラムを提供する。【解決手段】物品管理システムは、貯蔵庫に収容される物品を管理する物品管理システムであって、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、を備え、前記管理部は、管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる。【選択図】図５

Description

本開示は、物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラムに関する。

特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。

特開２０１９－０７０４７６号公報

本開示は、貯蔵庫に収容される物品を精度良く管理できる物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラムを提供する。

本開示における物品管理システムは、貯蔵庫に収容される物品を管理する物品管理システムであって、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、を備え、前記管理部は、管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる。

また、本開示における物品管理システムの制御方法は、貯蔵庫に収容される物品を管理する物品管理システムの制御方法であって、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識し、認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理し、前記物品の管理においては、管理中の前記物品と、新たな前記撮影画像から認識された新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる。

また、本開示における物品管理装置は、貯蔵庫に収容される物品を管理する物品管理装置であって、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、を備え、前記管理部は、管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる。

また、本開示におけるプログラムは、貯蔵庫に収容される物品を管理する物品管理装置のプロセッサを、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、して機能させ、前記管理部は、管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる。

本開示における物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラムは、管理中の物品と新規認識物品とが同じエリアに属し且つ同種の物品である場合、新規認識物品を管理中の物品として管理できる。よって、貯蔵庫に収容される物品を精度良く管理できる。

実施の形態１における物品管理システムの構成を示す図 実施の形態１における冷蔵庫及び撮影装置を前方から見た平面図 実施の形態１における冷蔵庫及び撮影装置を右方から見た平面図 実施の形態１における撮影装置の構成を示すブロック図 実施の形態１における端末装置及び物品管理サーバの構成を示すブロック図 実施の形態１における物品管理ＤＢが格納する１件のレコードの一例を示す図 実施の形態１における管理外ＤＢの一例を示す図 実施の形態１における撮影装置の動作を示すフローチャート 実施の形態１における撮影装置、及び物品管理データの動作を示すフローチャート 実施の形態１における生成処理における撮影装置の動作を示すフローチャート 実施の形態１におけるエリア判定を説明するための図 実施の形態１における管理処理における物品管理サーバの動作を示すフローチャート 実施の形態１における管理部の管理を具体的に説明するための図 実施の形態１における端末装置、及び物品管理サーバの動作を示すフローチャート 実施の形態１における野菜室画面の一例を示す図 実施の形態１における詳細画面の一例を示す図 実施の形態２における物品管理システムの構成を示す図 実施の形態２における冷蔵庫の構成を示すブロック図

（本開示の基礎となった知見等）
発明者らが本開示に想到するに至った当時、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理するという技術があった。しかしながら、従来の技術では、貯蔵庫内で物品の収容位置が変わった場合、収容位置が変わった物品を新規に入庫された物品として管理し得る。そのため、従来の技術では、例えば貯蔵庫内で転がったなどで物品の収容位置が少しだけ変わった場合でも、収容位置が変わった物品を新規で入庫された物品として管理してしまう可能性があり、物品の管理精度の向上に改善の余地があると言う課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、貯蔵庫に収容される物品を精度良く管理できる物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラムを提供する。

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

（実施の形態１）
［１－１．構成］
［１－１－１．物品管理システムの構成］
図１は、実施の形態１における物品管理システム１の構成を示す図である。
物品管理システム１は、冷蔵庫２に収容される物品を管理するシステムである。本実施形態の物品は、食品である。本実施の形態の物品管理システム１は、物品の名称（以下、「物品名」という）や、物品が冷蔵庫２に収容開始された日時（以下、「収容開始日時」という）、物品の画像（以下、「物品画像」といい「ＦＧ」の符号を付す）などを管理する。本実施の形態では、物品管理システム１が野菜室２５に収容される物品を管理する場合を例示する。
冷蔵庫２は、本開示の「貯蔵庫」に相当する。

物品管理システム１は、冷蔵庫２を備える。
冷蔵庫２は、前面が開口した主箱体２０を備える。主箱体２０には、冷蔵室２１、製氷室２２、新鮮凍結室２３、冷凍室２４、及び野菜室２５が形成されている。これらの収容室は、冷気で冷却されている。冷蔵室２１の前面の開口部２０１には、回転式のドア２１Ａが設置されている。ドア２１Ａは、回転式の右ドア２１Ｂと回転式の左ドア２１Ｃとを含む。製氷室２２、新鮮凍結室２３、冷凍室２４、及び野菜室２５の各々には、物品を収容可能な引出２２Ａ、２３Ａ、２４Ａ、２５Ａがそれぞれ設置されている。引出２２Ａ～２５Ａの各々は、設置状態において上面が開口している。本実施の形態の引出２５Ａには、収容ケースＣＡが設けられている。
以下、引出２２Ａ、２３Ａ、２４Ａ、２５Ａを区別せずに総称する場合、「２６Ａ」の符号を付して、「引出２６Ａ」と表現する。

物品管理システム１は、撮影装置３を備える。撮影装置３は、冷蔵庫２の主箱体２０の天面２０Ａに設けられ、冷蔵庫２を撮影する。

物品管理システム１は、端末装置４を備える。端末装置４は、スマートフォンなどの携帯型のコンピュータである。端末装置４は、冷蔵庫２が収容する物品の管理に係わるアプリケーションプログラムがインストールされており、このアプリケーションプログラムの機能によって物品管理サーバ５と通信する。
以下の説明では、このアプリケーションプログラムを、「物品管理アプリ」といい「４１１」の符号を付す。
物品管理サーバ５は、本開示の「物品管理装置」に相当する。

図１では、在宅するユーザＰを実線で示し、自宅Ｈから外出したユーザＰを点線で示している。端末装置４は、在宅するユーザＰに使用される場合、通信装置６を介して、或いは通信装置６を介さずに、物品管理サーバ５と通信する。また、端末装置４は、自宅Ｈから外出したユーザＰに使用され、且つ、通信装置６と通信接続を確立できない場合、通信装置６を介すことなく物品管理サーバ５と通信する。

通信装置６は、公衆回線網などで構成されたネットワークＮＷに接続し、ネットワークＮＷを介して物品管理サーバ５と通信する。通信装置６は、冷蔵庫２、撮影装置３、及び端末装置４をネットワークＮＷに接続するためのインターフェイス装置として機能する。通信装置６は、自宅Ｈにローカルネットワークを構築する。

物品管理システム１は、物品管理サーバ５を備える。物品管理サーバ５は、冷蔵庫２が収容する物品を管理する装置である。物品管理サーバ５は、ネットワークＮＷに接続する。なお、各図では、物品管理サーバ５を、１つのブロックによって表現するが、これは必ずしも物品管理サーバ５が単一の装置により構成されることを意味していない。

［１－１－２．撮影装置の構成］
図２－図４を参照して撮影装置３について説明する。
図２－図３では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示し、また、冷蔵庫２及び撮影装置３の幅方向を示す。Ｙ軸は前後方向を示し、また、冷蔵庫２及び撮影装置３の奥行き方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。

図２は、冷蔵庫２と冷蔵庫２に取り付けられた撮影装置３とを前方からみた平面図である。図２に示す冷蔵庫２は、ドア２１Ａが開状態である。図３は、冷蔵庫２と冷蔵庫２に取り付けられた撮影装置３とを右方からみた平面図である。図３に示す冷蔵庫２は、引出２５Ａが、開状態、すなわち引き出された状態である。

撮影装置３は、本体３０と、本体３０から前方に延在する撮影部材３１とを備える。撮影装置３は、広角カメラ３０１及び狭角カメラ３０２を備える。広角カメラ３０１及び狭角カメラ３０２は、撮影部材３１の底面３１Ａの前端部に設置される。広角カメラ３０１及び狭角カメラ３０２は、撮影装置３が冷蔵庫２に取り付けられた状態であって且つドア２１Ａが閉状態である場合に、ドア２１Ａの前方に位置する。
狭角カメラ３０２は、本開示の「カメラ」に相当する。

広角カメラ３０１は、狭角カメラ３０２より広角のカメラである。広角カメラ３０１は、撮影装置３が冷蔵庫２に取り付けられた状態において、冷蔵庫２の前上方から冷蔵室２１を撮影する。
例えば、広角カメラ３０１の撮影範囲は、冷蔵庫２の前方からみて、図２に示す範囲Ａ１を含む。範囲Ａ１は、右ドア２１Ｂ及び左ドア２１Ｃが最大開度で開状態である場合に、右ドア２１Ｂ及び左ドア２１Ｃのドアポケット２１Ｅ、及び冷蔵室２１の開口部２０１を含む範囲である。また、広角カメラ３０１の撮影範囲は、冷蔵庫２の右方からみて、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態の右ドア２１Ｂ及び左ドア２１Ｃの前端部から棚２１Ｆの前端部までを含む範囲であり、且つ、上下方向において、冷蔵室２１の開口部２０１を含む範囲である。

狭角カメラ３０２は、広角カメラ３０１より狭角のカメラである。狭角カメラ３０２は、撮影装置３が冷蔵庫２に取り付けられた状態において、冷蔵庫２の前上方から引出２６Ａを撮影する。
例えば、狭角カメラ３０２の撮影範囲は、冷蔵庫２の前方からみて、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫２の前方からみて、引出２６Ａを含む範囲である。また、例えば、狭角カメラ３０２の撮影範囲は、冷蔵庫２の右方からみて、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出２６Ａを含む範囲である。

撮影装置３は、第１フォトセンサ３０３、及び第２フォトセンサ３０４を備える。第１フォトセンサ３０３、及び第２フォトセンサ３０４は、本体３０に設置される。
第１フォトセンサ３０３は、右ドア２１Ｂの開閉を検知するためのセンサである。第１フォトセンサ３０３は、反射型のフォトセンサである。第１フォトセンサ３０３は、撮影装置３が冷蔵庫２に取り付けられた状態において、右ドア２１Ｂの所定箇所に投光する。そして、第１フォトセンサ３０３は、受光量を示す信号を出力する。
第２フォトセンサ３０４は、左ドア２１Ｃの開閉を検知するためのセンサである。第２フォトセンサ３０４は、反射型のフォトセンサである。第２フォトセンサ３０４は、撮影装置３が冷蔵庫２に取り付けられた状態において、左ドア２１Ｃの所定箇所に投光する。そして、第２フォトセンサ３０４は、受光量を示す検出値を出力する。

撮影装置３は、サーモパイル３０５を備える。サーモパイル３０５は、引出２６Ａの開閉を検知するためのセンサである。サーモパイル３０５は、撮影部材３１の底面３１Ａの前端部に設置される。サーモパイル３０５は、検出した温度を示す検出値を出力する。

撮影装置３は、人感センサ３０６を備える。人感センサ３０６は、赤外線式のセンサでも超音波式のセンサでもよい。人感センサ３０６は、検出値を出力する。人感センサ３０６は、撮影部材３１の底面３１Ａの前端部に設置される。

撮影装置３は、照度センサ３０７を備える。照度センサ３０７は、広角カメラ３０１及び狭角カメラ３０２の露出を調整するためのセンサである。照度センサ３０７は、検出値を出力する。照度センサ３０７は、撮影部材３１の前端部に設置される。

撮影装置３は、第１ＬＥＤ３０８、及び第２ＬＥＤ３０９を備える。第１ＬＥＤ３０８は、撮影部材３１の底面３１Ａの右前端部に設置される。第２ＬＥＤ３０９は、撮影部材３１の底面３１Ａの左前端部に設置される。第１ＬＥＤ３０８、及び第２ＬＥＤ３０９は、撮影装置３が取り付けられた冷蔵庫２を上方から照らす。

図４は、撮影装置３の構成を示すブロック図である。
図４に示すように、撮影装置３は、第１制御基板３１１を備える。第１制御基板３１１は、撮影装置３が具備する各種センサ、及び撮影装置３の電源を制御する基板である。第１制御基板３１１は、撮影装置３の内部に設置される。第１制御基板３１１には、第１フォトセンサ３０３、第２フォトセンサ３０４、サーモパイル３０５、人感センサ３０６、照度センサ３０７、第１ＬＥＤ３０８、及び第２ＬＥＤ３０９が接続する。そして、第１制御基板３１１は、これらデバイスを制御する。

第１制御基板３１１は、ＣＰＵ（Central Processing Unit）などの第１プロセッサ３２０、第１メモリ３３０、第１通信モジュール３４０、及び他の装置やセンサ類が接続されるインターフェイス回路を備える。

第１メモリ３３０は、第１プロセッサ３２０が実行するプログラムやデータを記憶する記憶装置である。第１メモリ３３０は、例えばＲＯＭ（Read Only Memory）などの不揮発性の記憶装置により構成される。第１メモリ３３０は、例えばＲＡＭ（Random Access Memory）などの、第１プロセッサ３２０のワークエリアを構成する揮発性の記憶装置を含んでもよい。第１メモリ３３０は、第１プロセッサ３２０により処理されるデータや、第１プロセッサ３２０が実行する制御プログラム３３１を記憶する。

第１通信モジュール３４０は、所定の有線通信規格に従った通信回路やコネクタなどのハードウェアを備え、第１プロセッサ３２０の制御に従って第２制御基板３１２と通信する。

第１プロセッサ３２０は、制御プログラム３３１を読み出して実行することにより、図示せぬ電源ボタンの操作に応じて、撮影装置３の電源のオンオフを行う。
また、第１プロセッサ３２０は、制御プログラム３３１を読み出して実行することにより、第１ＬＥＤ３０８、及び第２ＬＥＤ３０９の点灯及び消灯を行う。
また、第１プロセッサ３２０は、制御プログラム３３１を読み出して実行することにより、第１制御基板３１１に接続する各センサが出力した検出値を、第１通信モジュール３４０を介して第２制御基板３１２に送信する。

図４に示すように、撮影装置３は、第２制御基板３１２を備える。第２制御基板３１２は、広角カメラ３０１と狭角カメラ３０２を制御し、また、第１無線通信モジュール３１３を制御する基板である。第２制御基板３１２には、広角カメラ３０１、狭角カメラ３０２、及び第１無線通信モジュール３１３が接続する。

第２制御基板３１２は、ＣＰＵなどの第２プロセッサ３５０、第２メモリ３６０、第２通信モジュール３７０、及び他の装置やセンサ類が接続されるインターフェイス回路を備える。

第２メモリ３６０は、第２プロセッサ３５０が実行するプログラムやデータを記憶する記憶装置である。第２メモリ３６０は、例えばＲＯＭなどの不揮発性の記憶装置により構成される。また、第２メモリ３６０は、例えばＲＡＭなどの、第２プロセッサ３５０のワークエリアを構成する揮発性の記憶装置を含んでもよい。第２メモリ３６０は、第２プロセッサ３５０により処理されるデータや、第２プロセッサ３５０が実行する制御プログラム３６１や撮影装置ＩＤ（Identification）３６２を記憶する。
撮影装置ＩＤ３６２は、撮影装置３を一意に特定する情報である。

第２通信モジュール３７０は、所定の有線通信規格に従った通信回路やコネクタなどのハードウェアを備え、第２プロセッサ３５０の制御に従って第１制御基板３１１と通信する。

第２プロセッサ３５０は、第２メモリ３６０に記憶された制御プログラム３６１を読み出して実行することにより、第１通信制御部３５１、第２通信制御部３５２、開閉判定部３５３、撮影制御部３５４、録画制御部３５５、及び生成部３５６として機能する。
生成部３５６は、本開示の「切出部」及び「分割部」に相当する。

第１通信制御部３５１は、第１無線通信モジュール３１３を介して、物品管理サーバ５と通信する。

第２通信制御部３５２は、第２通信モジュール３７０を介して、第１制御基板３１１と通信する。第２通信制御部３５２は、第１制御基板３１１に接続される各種センサの検出値を第１制御基板３１１から受信する。

開閉判定部３５３は、第２通信制御部３５２が受信する第１フォトセンサ３０３の検出値に基づいて、右ドア２１Ｂが開状態か閉状態かを判定する。開閉判定部３５３は、閉状態に対応する検出値と異なる検出値を、第２通信制御部３５２が受信した場合、右ドア２１Ｂが開状態であると判定する。一方、開閉判定部３５３は、閉状態に対応する検出値を第２通信制御部３５２が受信した場合、右ドア２１Ｂが閉状態であると判定する。

開閉判定部３５３は、右ドア２１Ｂについての判定と同様に、第２通信制御部３５２が第２フォトセンサ３０４の検出値に基づいて、左ドア２１Ｃが開状態か閉状態かを判定する。

開閉判定部３５３は、第２通信制御部３５２が受信するサーモパイル３０５の検出値に基づいて、引出２６Ａが開状態か閉状態かを判定する。開閉判定部３５３は、所定温度以下の温度を示すサーモパイル３０５の検出値を、第２通信制御部３５２が受信した場合、引出２６Ａが開状態であると判定する。一方、開閉判定部３５３は、所定温度を上回る温度を示すサーモパイル３０５の検出値を第２通信制御部３５２が受信した場合、引出２６Ａが閉状態であると判定する。

撮影制御部３５４は、ドア２１Ａ又は引出２６Ａが開状態になったと開閉判定部３５３が判定した場合、広角カメラ３０１及び狭角カメラ３０２に撮影を開始させる。なお、第２通信制御部３５２は、撮影制御部３５４が広角カメラ３０１及び狭角カメラ３０２に撮影を開始させると、第１制御基板３１１に点灯要求情報を送信する。点灯要求情報は、第１ＬＥＤ３０８及び第２ＬＥＤ３０９の点灯を要求する情報である。第１プロセッサ３２０は、点灯要求情報を受信すると、第１ＬＥＤ３０８及び第２ＬＥＤ３０９を点灯させ、撮影を開始したことをユーザＰに通知する。

撮影制御部３５４は、ドア２１Ａ及び引出２６Ａが閉状態になったと開閉判定部３５３が判定した場合、広角カメラ３０１及び狭角カメラ３０２に撮影を終了させる。なお、第２通信制御部３５２は、撮影制御部３５４が広角カメラ３０１及び狭角カメラ３０２に撮影を終了させると、第１制御基板３１１に消灯要求情報を送信する。消灯要求情報は、第１ＬＥＤ３０８及び第２ＬＥＤ３０９の消灯を要求する情報である。第１プロセッサ３２０は、消灯要求情報を受信すると、第１ＬＥＤ３０８及び第２ＬＥＤ３０９を消灯させ、撮影を終了したことをユーザＰに通知する。

録画制御部３５５は、ドア２１Ａ又は引出２６Ａが開状態になったと開閉判定部３５３が判定した場合、広角カメラ３０１及び狭角カメラ３０２の撮影結果の録画を開始する。すなわち、録画制御部３５５は、第２メモリ３６０に対して、広角カメラ３０１の撮影結果を示す第１録画データ３６３と、狭角カメラ３０２の撮影結果を示す第２録画データ３６４との記録を開始する。第１録画データ３６３と第２録画データ３６４とは、動画像のデータである。

録画制御部３５５は、ドア２１Ａ及び引出２６Ａが閉状態になったと開閉判定部３５３が判定した場合、広角カメラ３０１及び狭角カメラ３０２の撮影結果の録画を終了する。

生成部３５６は、管理用データＤ１を生成する。管理用データＤ１は、物品管理サーバ５に送信されるデータである。第１通信制御部３５１は、生成部３５６が生成した管理用データＤ１を物品管理サーバ５に送信する。

［１－１－３．物品管理サーバの構成］
図５は、端末装置４及び物品管理サーバ５の構成を示すブロック図である。
物品管理サーバ５は、ＣＰＵなどのプロセッサであるサーバプロセッサ５０、サーバメモリ５１、及びサーバ通信モジュール５２を備える。サーバプロセッサ５０には、サーバメモリ５１及びサーバ通信モジュール５２が接続される。

サーバメモリ５１は、サーバプロセッサ５０が実行するプログラムやデータを記憶する記憶装置である。サーバメモリ５１は、不揮発性の記憶装置により構成される。また、サーバメモリ５１は、サーバプロセッサ５０のワークエリアを構成する不揮発性の記憶装置を含んでもよい。サーバメモリ５１は、サーバプロセッサ５０により処理されるデータや、サーバプロセッサ５０が実行する制御プログラム５１１、物品管理ＤＢ（database）５１２、及び管理外ＤＢ５１３を記憶する。
物品管理ＤＢ５１２は、収容ケースＣＡに収容される物品を管理するデータベースである。
管理外ＤＢ５１３は、管理から外れた物品に係わるデータベースである。

図６は、物品管理ＤＢ５１２が格納する１件のレコードＲＡの一例を示す図である。
図６に示すように、レコードＲＡは、ユーザＩＤ５１２１、撮影装置ＩＤ３６２、収容ケース画像データ５１２２、及びサブレコードＳＲを有する。

ユーザＩＤ５１２１は、物品管理アプリ４１１のユーザを一意に特定する情報である。
収容ケース画像データ５１２２は、収容ケースＣＡの画像である収容ケース画像ＣＡＧの画像データである。なお、収容ケース画像ＣＡＧは、収容ケースＣＡの開口の上方から収容ケースＣＡを写した画像である。

１件のレコードＲＡは、１又は複数のサブレコードＳＲを有する。
サブレコードＳＲは、エリア情報５１２３、物品画像データ５１２４、及び物品関連情報５１２５を有する。これら情報及びデータは、サブレコードＳＲにおいて対応付けられている。

エリア情報５１２３は、物品が収容されているエリアＡＲを示す情報である。エリアＡＲの詳細については後述する。
物品画像データ５１２４は、物品画像ＦＧの画像データである。

物品関連情報５１２５は、収容開始日時情報５１２６、物品名情報５１２７、第１ＩＤ５１２８、第２ＩＤ５１２９、及びメモ情報５１３０を有する。

収容開始日時情報５１２６は、収容開始日時を示す情報である。
物品名情報５１２７は、物品名を示す情報である。
第１ＩＤ５１２８は、物品を一意に特定する情報である。第１ＩＤ５１２８は、後述の認識部５０２が認識した物品が何であるかを物品管理サーバ５が保持するためのＩＤである。
第２ＩＤ５１２９は、物品を一意に特定する情報である。第２ＩＤ５１２９は、認識部５０２の誤認識を得るための情報でもある。このことについては後述する。
メモ情報５１３０は、ユーザＰが入力したメモを示す情報である。ユーザＰがメモを入力していない場合、メモ情報５１３０は、ブランクを示す。図６では、ブランクを「－」で示している。

図７は、管理外ＤＢ５１３の一例を示す図である。図７に示すように、管理外ＤＢ５１３は、サブレコードＳＲを格納する。管理外ＤＢ５１３が格納するサブレコードＳＲは、管理から外された物品のサブレコードＳＲである。管理外ＤＢ５１３に格納されたサブレコードＳＲは、管理外ＳＢ５１３に格納されたときから所定期間（例えば、３日間）が経過すると、管理外ＤＢ５１３から消去されてもよい。なお、管理外ＤＢ５１３から消去する際に用いる管理外ＤＢ５１３に格納されたときからの所定期間は、後述する物品関連情報５１２５を引き継がせる際に用いる管理から外した物品の管理からはずした日時からの所定期間よりも長いことが好ましい。これによれば、管理外ＤＢ５１３の物品関連情報５１２５を引き継がせる前に管理外ＤＢ５１３から消去されることを抑制できる。

図５の説明に戻り、サーバ通信モジュール５２は、所定の通信規格に従った通信回路やコネクタなどを備え、ネットワークＮＷを介して冷蔵庫２、撮影装置３、及び端末装置４と通信する。

サーバプロセッサ５０は、サーバメモリ５１が記憶する制御プログラム５１１を読み出して実行することにより、サーバ通信制御部５０１、認識部５０２、及び管理部５０３として機能する。

サーバ通信制御部５０１は、サーバ通信モジュール５２を介して冷蔵庫２、撮影装置３、及び端末装置４と通信する。

認識部５０２は、収容ケースＣＡに収容された物品を認識する。認識部５０２は、物品画像ＦＧに基づいて物品を認識する。物品認識に必要なデータは、サーバメモリ５１などの所定の記憶領域に記憶されている。

本実施の形態において、物品の認識は、物品名情報５１２７、第１ＩＤ５１２８、及び第２ＩＤ５１２９を取得することを示すとする。
例えば、認識部５０２は、以下のように物品の認識を行う。
認識部５０２は、認識対象の物品画像ＦＧと最も一致度の高い物品画像ＦＧを示す物品画像データ５１２４を、所定のデータベースから特定する。この所定のデータベースは、物品ごとに、物品画像データ５１２４、物品名情報５１２７、第１ＩＤ５１２８、及び第２ＩＤ５１２９が格納されたデータベースである。この所定のデータベースは、物品管理サーバ５が記憶してもよく、物品管理サーバ５と通信可能な別のサーバが記憶していてもよい。なお、一致度は、例えば形状や色等の特徴量に基づいて判断される。認識部５０２は、特定した物品画像データ５１２４に紐付く物品名情報５１２７、第１ＩＤ５１２８、及び第２ＩＤ５１２９を所定のデータベースから取得する。

なお、認識部５０２は、ＡＩ（Artificial Intelligence）によって物品を認識してもよい。例えば教師用の物品画像ＦＧから物品の色や形状等の特徴量を学習する機械学習処理を行い、学習済みモデルを構築しておく。この学習済みモデルは、サーバメモリ５１などの所定の記憶領域に記憶させておく。認識部５０２は、認識対象の物品画像データ５１２４を入力データとして学習済みモデルを参照し、学習済みモデルから物品名情報５１２７、第１ＩＤ５１２８、及び第２ＩＤ５１２９を取得する。ここで、この学習済みモデルがネットワークＮＷに接続する物品管理サーバ５以外の機器に記憶させ、物品管理サーバ５と当該機器とが通信することによって物品の認識が行われる構成でもよい。

管理部５０３は、収容ケースＣＡに収容される物品を管理する。管理部５０３は、物品管理ＤＢ５１２のレコードＲＡの内容変更などを行うことで、物品を管理する。また、管理部５０３は、物品管理ＤＢ５１２のサブレコードＳＲを管理外ＤＢ５１３に格納することで、物品を管理から外す。

［１－１－４．端末装置の構成］
次に、端末装置４の構成について説明する。
端末装置４は、ＣＰＵなどのプロセッサである端末プロセッサ４０、端末メモリ４１、端末通信モジュール４２、及びタッチパネル４３を備える。

端末メモリ４１は、端末プロセッサ４０が実行するプログラムやデータを不揮発的に記憶する記憶装置である。端末メモリ４１は、不揮発性記憶装置により構成される。また、端末メモリ４１は、端末プロセッサ４０のワークエリアを構成するＲＡＭを含んでもよい。端末メモリ４１は、端末プロセッサ４０により処理されるデータや、端末プロセッサ４０が実行する制御プログラム、物品管理アプリ４１１を記憶する。

端末通信モジュール４２は、所定の通信規格に従った通信回路やコネクタなどを備え、端末プロセッサ４０の制御に従って物品管理サーバ５と通信する。
タッチパネル４３は、表示パネルと、表示パネルに重ねて或いは一体に設けられたタッチセンサとを備える。

端末プロセッサ４０は、アプリ実行部４００として機能する。
アプリ実行部４００は、端末通信モジュール４２を介して、物品管理サーバ５と通信する。
アプリ実行部４００は、冷蔵庫２が収容する物品の管理に係るユーザーインターフェースを、タッチパネル４３に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「４０１」の符号を付す。
アプリ実行部４００は、アプリＵＩ４０１を介して各種入力をユーザＰから受け付ける。

［１－２．動作］
次に、物品管理システム１の各部の動作について説明する。

［１－２－１．録画に係わる動作］
まず、録画に係わる撮影装置３の動作について説明する。
図８は、撮影装置３の動作を示すフローチャートＦＡである。

開閉判定部３５３は、ドア２１Ａ又は引出２６Ａが開状態になったか否かを判定する（ステップＳＡ１）。

開閉判定部３５３が、ドア２１Ａ又は引出２６Ａが開状態になっていないと判定した場合（ステップＡ１：ＮＯ）、第２プロセッサ３５０は、処理をステップＳＡ１に戻す。

開閉判定部３５３が、ドア２１Ａ又は引出２６Ａが開状態になったと判定した場合（ステップＳＡ１：ＹＥＳ）、撮影制御部３５４は、広角カメラ３０１及び狭角カメラ３０２に撮影を開始させる（ステップＳＡ２）。

次いで、録画制御部３５５は、広角カメラ３０１及び狭角カメラ３０２の撮影結果の録画を開始する（ステップＳＡ３）。

次いで、開閉判定部３５３は、ドア２１Ａ及び引出２６Ａが閉状態になったか否か判定する（ステップＳＡ４）。開閉判定部３５３は、ドア２１Ａ及び引出２６Ａが閉状態になっていないと判定した場合（ステップＳＡ４：ＮＯ）、再度、ステップＳＡ４の判定を行う。

一方、ドア２１Ａ及び引出２６Ａが閉状態になったと判定した場合（ステップＳＡ４：ＹＥＳ）、録画制御部３５５は、撮影結果の録画を終了する（ステップＳＡ５）。これにより、第２メモリ３６０には、第１録画データ３６３及び第２録画データ３６４が生成される。

次いで、撮影制御部３５４は、広角カメラ３０１及び狭角カメラ３０２に撮影を終了させる（ステップＳＡ６）。

［１－２－２．物品の管理に係わる動作］
次に、物品の管理に係わる動作について説明する。
図９は、撮影装置３、及び物品管理サーバ５の動作を示すフローチャートである。
図９において、フローチャートＦＢは撮影装置３の動作を示し、フローチャートＦＣは物品管理サーバ５の動作を示す。

生成部３５６は、第２メモリ３６０に、第２録画データ３６４が記憶されたか否かを判定する（ステップＳＢ１）。生成部３５６は、第２録画データ３６４が記憶されていないと判定した場合（ステップＳＢ１：ＮＯ）、再度、ステップＳＢ１の判定を行う。

一方、生成部３５６は、第２録画データ３６４が記憶されたと判定した場合（ステップＳＢ１：ＹＥＳ）、第２メモリ３６０が記憶する第２録画データ３６４が示す動画像から、検出用画像を選定する（ステップＳＢ２）。

ステップＳＢ２について詳述する。
検出用画像は、閉状態の引出度合いを０％とし最も開いた状態の引出度合いを１００％とした場合において、引出度合いがα％以上の収容ケースＣＡが写る撮影画像である。なお、引出度合いとは、引き出された度合いのことを指す。また、検出用画像は、ユーザＰの写り込みが最も少ない撮影画像である。α％は、例えば８０％である。

生成部３５６は、収容ケースＣＡに付されているマーカーＭＫが写る撮影画像を、第２録画データ３６４が示す動画像から選定する。マーカーＭＫは、収容ケースＣＡがα％以上引き出された場合に、狭角カメラ３０２の撮影結果に写るように付されている。次いで、生成部３５６は、選定した撮影画像からユーザＰの映り込みが最も少ない撮影画像を検出用画像として選定する。
マーカーＭＫは、本開示の「特徴部」に相当する。

フローチャートＦＢの説明に戻り、生成部３５６は、検出用画像を選定できたか否かを判定する（ステップＳＢ３）。

生成部３５６は、検出用画像を選定できなかったと判定した場合（ステップＳＢ３：ＮＯ）、ステップＳＢ７処理を行う。

一方、生成部３５６は、検出用画像を選定できたと判定した場合（ステップＳＢ３：ＹＥＳ）、生成処理を実行する（ステップＳＢ４）。生成処理は、管理用データＤ１を生成する処理である。

図１０は、生成処理における撮影装置３の動作を示すフローチャートＳＢＢである。
生成部３５６は、検出用画像から収容ケース画像ＣＡＧを切り出す（ステップＳＢＢ１）。収容ケース画像ＣＡＧは、収容ケースＣＡを示す画像である。生成部３５６は、パターンマッチングや、色差、収容ケースＣＡに付されたマーカーＭＫの位置などに基づいて、検出用画像から収容ケース画像ＣＡＧを切り出す。収容ケース画像ＣＡＧの切り出しに必要なデータは、第２メモリ３６０などの記憶領域に記憶されている。

次いで、生成部３５６は、ステップＳＢＢ１で切り出した収容ケース画像ＣＡＧから、物品を検出する（ステップＳＢＢ２）。ステップＳＢＢ２において、生成部３５６は、形状や色差などの特徴量に基づいて物品を検出する。物品検出に必要なデータは、第２メモリ３６０などの、生成部３５６が参照可能な記憶領域に記憶されている。

生成部３５６は、収容ケース画像ＣＡＧから物品を検出できたか否かを判定する（ステップＳＢＢ３）。

生成部３５６は、収容ケース画像ＣＡＧから物品を検出できなかったと判定した場合（ステップＳＢＢ３：ＮＯ）、生成処理を終了する。

一方、生成部３５６は、収容ケース画像ＣＡＧから物品を検出できたと判定した場合（ステップＳＢＢ３：ＹＥＳ）、検出した物品ごとに、エリア判定を行う（ステップＳＢＢ４）。エリア判定とは、収容ケース画像ＣＡＧを分割したエリアＡＲのうち、検出した物品がどのエリアＡＲに属するかを判定する処理である。

図１１は、エリア判定を説明するための図である。
図１１に示すように、生成部３５６は、収容ケース画像ＣＡＧの画像領域を、第１エリアＡＲ１、第２エリアＡＲ２、第３エリアＡＲ３、第４エリアＡＲ４の４つのエリアＡＲに分割する。図１１に示すように、生成部３５６は、収容ケース画像ＣＡＧの画像領域を格子状に４つのエリアＡＲに分割する。生成部３５６は、収容ケースＣＡに付されたマーカーＭＫを基準に４つのエリアＡＲを分割する。例えば、生成部３５６は、収容ケース画像ＣＡＧの短手方向において、収容ケース画像ＣＡＧに写るマーカーＭＫの中心から収容ケースＣＡの前端に向かった距離Ｌの位置に、第１エリアＡＲ１と第３エリアＡＲ３の境界、及び第２エリアＡＲ２と第４エリアＡＲ４の境界が位置するように、分割する。

なお、マーカーＭＫを基準とした分割態様は、上述の例に限定されず、マーカーＭＫを基準とした態様であればよい。例えば、生成部３５６は、収容ケース画像ＣＡＧの短手方向において、収容ケース画像ＣＡＧに写るマーカーＭＫの下端或いは上端から収容ケースＣＡの前端に向かった所定距離の位置に、第１エリアＡＲ１と第３エリアＡＲ３の境界、及び第２エリアＡＲ２と第４エリアＡＲ４の境界が位置するように、分割してもよい。また、例えば、生成部３５６は、収容ケース画像ＣＡＧの長手方向において、収容ケース画像ＣＡＧに写るマーカーＭＫの右端或いは左端から物品が写る方向に向かった所定距離の位置に、第１エリアＡＲ１と第２エリアＡＲ２の境界、及び第３エリアＡＲ３と第４エリアＡＲ４の境界が位置するように、分割してもよい。

生成部３５６は、収容ケース画像ＣＡＧを４つのエリアＡＲに分割すると、検出した物品ごとに、検出した物品がどのエリアＡＲに属するかを判定する。生成部３５６は、検出した物品ごとに、物品画像ＦＧに対応する矩形領域を定める。生成部３５６は、例えば色差に基づいて矩形領域を定める。そして、生成部３５６は、設定した矩形領域の中心ＣＰがどのエリアＡＲに属するか判定することで、検出した物品がどのエリアＡＲに属するかを判定する。図１１では、生成部３５６が、収容ケース画像ＣＡＧから第１物品Ｆ１と第２物品Ｆ２と第３物品Ｆ３とを検出した場合を例示している。図１１の場合、生成部３５６は、第１物品Ｆ１が第２エリアＡＲ２に属し、第２物品Ｆ２が第３エリアＡＲ３に属し、第３物品Ｆ３が第４エリアＡＲ４に属すると判定する。

図１０のフローチャートの説明に戻り、生成部３５６は、エリア判定を行うと、ステップＳＢＢ２で検出した物品ごとに、物品画像ＦＧを切り出す（ステップＳＢＢ５）。ステップＳＢＢ５において、生成部３５６は、エリア判定の際に定めた矩形領域を物品画像ＦＧの画像領域として、物品画像ＦＧを切り出す。

次いで、生成部３５６は、管理用データＤ１を生成する（ステップＳＢＢ６）。

管理用データＤ１は、第２メモリ３６０が記憶する撮影装置ＩＤ３６２を含む。
管理用データＤ１は、ステップＳＢＢ２で切り出された収容ケース画像ＣＡＧを示す収容ケース画像データ５１２２を含む。
管理用データＤ１は、ステップＳＢＢ２で検出された物品ごとに、ステップＳＢＢ４で判定されたエリアを示すエリア情報５１２３と、ステップＳＢＢ５で切り出された物品画像ＦＧを示す物品画像データ５１２４と、第２録画データ３６４の記録が終了した撮影日時を示す撮影日時情報と、の組み合わせを有する。なお、第２録画データ３６４には、撮影日時情報が対応付いている。

図９に示すフローチャートＦＢの説明に戻り、生成部３５６は、生成処理において管理用データＤ１を生成したか否かを判定する（ステップＳＢ５）。

生成部３５６は、生成処理において管理用データＤ１を生成しなかったと判定した場合（ステップＳＢ５：ＮＯ）、ステップＳＢ７の処理を行う。

生成部３５６が、生成処理において管理用データＤ１を生成したと判定した場合（ステップＳＢ５：ＹＥＳ）、第１通信制御部３５１は、生成部３５６が生成した管理用データＤ１を物品管理サーバ５に送信する（ステップＳＢ６）。

次いで、生成部３５６は、ステップＳＢ２以降で処理対象とした第２録画データ３６４を第２メモリ３６０から消去する（ステップＳＢ７）。

フローチャートＦＣで示すように、サーバ通信制御部５０１は、撮影装置３から管理用データＤ１を受信したか否かを判定する（ステップＳＣ１）。サーバ通信制御部５０１が、管理用データＤ１を受信したと判定した場合（ステップＳＣ１：ＹＥＳ）、サーバプロセッサ５０は、受信した管理用データＤ１に基づいて管理処理を行う（ステップＳＣ２）。管理処理とは、物品の管理に係わる処理である。

図１２は、管理処理における物品管理サーバ５の動作を示すフローチャートＳＣＣである。
管理部５０３は、受信された管理用データＤ１が含む撮影装置ＩＤ３６２のレコードＲＡを、物品管理ＤＢ５１２から特定する（ステップＳＣＣ１）。

次いで、管理部５０３は、ステップＳＣＣ１で特定したレコードＲＡの収容ケース画像データ５１２２を、受信された管理用データＤ１が含む収容ケース画像データ５１２２に変更する（ステップＳＣＣ２）。

認識部５０２は、管理用データＤ１が含む組み合わせごとに、当該組み合わせの物品画像データ５１２４が示す物品画像ＦＧに基づいて物品を認識する（ステップＳＣＣ３）。

ステップＳＣＣ３で認識対象とされる物品画像ＦＧは、狭角カメラ３０２の撮影により得られた撮影画像の一部である。そして、ステップＳＣＣ３の認識は、狭角カメラ３０２が撮影した新たな撮影画像に対して行われる認識である。以下では、ステップＳＣＣ３で認識された物品を「新規認識物品」という。

次いで、管理部５０３は、管理用データＤ１が含む組み合わせごとに、処理用データ群を生成する（ステップＳＣＣ４）。処理用データ群とは、ステップＳＣＣ５以降に処理されるデータ群を示す。
処理用データ群は、対応する組み合わせが有するエリア情報５１２３を有する。
処理用データ群は、対応する組み合わせが有する物品画像データ５１２４を有する。
処理用データ群は、対応する組み合わせが有する撮影日時情報を有する。
処理用データ群は、ステップＳＣＣ３の物品認識において取得された物品名情報５１２７を有する。
処理用データ群は、ステップＳＣＣ３の物品認識において取得された第１ＩＤ５１２８を有する。
処理用データ群は、ステップＳＣＣ３の物品認識において取得された第２ＩＤ５１２９を有する。

次いで、管理部５０３は、ステップＳＣＣ５で生成された処理用データ群に対応しないサブレコードＳＲを、ステップＳＣＣ１で特定したレコードＲＡから管理外ＤＢ５１３に移動させる（ステップＳＣＣ５）。処理用データ群に対応しないサブレコードＳＲとは、処理用データ群のエリア情報５１２３及び第１ＩＤ５１２８を有さないサブレコードＳＲを指す。ステップＳＣＣ５の処理によって、収容ケース画像ＣＡＧに写らない物品が管理から外される。この場合、管理外ＤＢ５１３に移動したサブレコードＳＲには、管理から外した日時の情報として撮影日時情報が紐付く。

次いで、管理部５０３は、ステップＳＣＣ５で生成された処理用データ群から１つの処理用データ群を特定する（ステップＳＣＣ６）。ステップＳＣＣ７～ステップＳＣＣ１３の処理は、ステップＳＣＣ６で特定された処理用データ群に基づいて行われる。

次いで、管理部５０３は、管理中の物品のうち、新規認識物品と同種で且つ同じエリアＡＲに属する物品があるか否かを判定する（ステップＳＣＣ７）。ここで、管理中の物品とは、ステップＳＣＣ５の処理後において、ステップＳＣＣ１で特定されたレコードＲＡが有するサブレコードＳＲに対応する物品を指す。

ステップＳＣＣ７について詳述する。
管理部５０３は、ステップＳＣＣ６で特定された処理用データ群の第１ＩＤ５１２８及びエリア情報５１２３を有するサブレコードＳＲを、ステップＳＣＣ１で特定したレコードＲＡが有するか否かを判定する。
管理部５０３は、ステップＳＣＣ１で特定したレコードＲＡがこのサブレコードＳＲを有さないと判定した場合、ステップＳＣＣ７で否定判定する。
一方、管理部５０３は、ステップＳＣＣ１で特定したレコードＲＡがこのサブレコードＳＲを有すると判定した場合、ステップＳＣＣ７で肯定判定する。

管理部５０３は、ステップＳＣＣ７で肯定判定した場合（ステップＳＣＣ７：ＹＥＳ）、新規認識物品と同種で且つ同じエリアＡＲに属する管理中の物品の物品関連情報５１２５を、新規認識物品に引き継がせる（ステップＳＣＣ８）。

ステップＳＣＣ８について詳述する。
管理部５０３は、ステップＳＣＣ６で特定された処理用データ群の第１ＩＤ５１２８及びエリア情報５１２３を有するサブレコードＳＲを、ステップＳＣＣ１で特定したレコードＲＡから特定する。次いで、管理部５０３は、特定したサブレコードＳＲの物品画像データ５１２４を、ステップＳＣＣ６で特定した処理用データ群の物品画像データ５１２４に変更する。

管理部５０３は、ステップＳＣＣ７において否定判定した場合（ステップＳＣＣ７：ＮＯ）、管理を外してから所定期間が経過していない物品のうち、新規認識物品と同種で且つ同じエリアＡＲに属する物品があるか否かを判定する（ステップＳＣＣ９）。

ステップＳＣＣ９について詳述する。
管理部５０３は、ステップＳＣＣ６で特定された処理用データ群の第１ＩＤ５１２８及びエリア情報５１２３を有するサブレコードＳＲが、管理外ＤＢ５１３に格納されているか否かを判定する。
管理部５０３は、このサブレコードＳＲが、管理外ＤＢ５１３に格納されていないと判定した場合、ステップＳＣＣ９で否定判定する。
一方、管理部５０３は、このサブレコードＳＲが、管理外ＤＢ５１３に格納されていると判定した場合、ステップＳＣＣ９で肯定判定する。

管理部５０３は、ステップＳＣＣ９において肯定判定した場合（ステップＳＣＣ９：ＹＥＳ）、新規認識物品と同種で且つ同じエリアＡＲに属する管理外の物品の管理から外した日時が、現在から所定期間内であるか否かを判定する（ステップＳＣＣ１０）。

ステップＳＣＣ１０について詳述する。
管理部５０３は、ステップＳＣＣ６で特定された処理用データ群の第１ＩＤ５１２８及びエリア情報５１２３を有するサブレコードＳＲを、管理外ＤＢ５１３から特定する。次いで、管理部５０３は、特定したサブレコードＳＲの管理から外した日時が、現在日時から所定期間（例えば、１日間）内であるか否か（現在日時から所定期間（例えば、１日）経過したか否か）を判定する。

管理部５０３は、ステップＳＣＣ１０で肯定判定した場合（ステップＳＣＣ１０：ＹＥＳ）、新規認識物品と同種で且つ同じエリアＡＲに属する管理外の物品の物品関連情報５１２５を、新規認識物品に引き継がせる（ステップＳＣＣ１１）。この場合、新規認識物品と同種で且つ同じエリアＡＲに属する管理外の物品を管理外ＤＢ５１３から削除し、新規認識物品と同種で且つ同じエリアＡＲに属する管理外の物品の物品関連情報５１２５に引き継がれた新規認識物品を物品管理ＤＢ５１２に追加される。なお、新規認識物品を物品管理ＤＢ５１２に追加後、管理外ＤＢ５１３から削除してもよい。

ステップＳＣＣ１１について詳述する。
管理部５０３は、ステップＳＣＣ６で特定された処理用データ群の第１ＩＤ５１２８及びエリア情報５１２３を有するサブレコードＳＲを、管理外ＤＢ５１３から取得する。次いで、管理部５０３は、取得したサブレコードＳＲの物品画像データ５１２４を、ステップＳＣＣ６で特定した処理用データ群の物品画像データ５１２４に変更する。そして、管理部５０３は、変更を行ったサブレコードＳＲを、ステップＳＣＣ１で特定したレコードＲＡに追加する。

管理部５０３は、ステップＳＣＣ９において否定判定した場合（ステップＳＣＣ９：ＮＯ）、又は、ステップＳＣＣ１０において否定判定した場合（ステップＳＣＣ１０：ＮＯ）、新規認識物品を新たに入庫された物品として管理を開始する（ステップＳＣＣ１２）。

ステップＳＣＣ１２について詳述する。
管理部５０３は、ステップＳＣＣ６で特定した処理用データ群に対応するサブレコードＳＲを生成し、生成したサブレコードＳＲをステップＳＣＣ１で特定したレコードＲＡに追加する。
ステップＳＣＣ１２で追加されるサブレコードＳＲのエリア情報５１２３は、ステップＳＣＣ６で特定された処理用データ群のエリア情報５１２３である。
また、ステップＳＣＣ１２で追加されるサブレコードＳＲの物品画像データ５１２４は、ステップＳＣＣ６で特定した処理用データ群の物品画像データ５１２４である。
また、ステップＳＣＣ１２で追加されるサブレコードＳＲの収容開始日時情報５１２６は、ステップＳＣＣ６で特定した処理用データ群の撮影日時情報である。
また、ステップＳＣＣ１２で追加されるサブレコードＳＲの物品名情報５１２７は、ステップＳＣＣ６で特定した処理用データ群の物品名情報５１２７である。
また、ステップＳＣＣ１２で追加されるサブレコードＳＲの第１ＩＤ５１２８及び第２ＩＤ５１２９は、ステップＳＣＣ６で特定した処理用データ群の第１ＩＤ５１２８及び第２ＩＤ５１２９である。
また、ステップＳＣＣ１２で追加されるサブレコードＳＲのメモ情報５１２９は、ブランクを示す情報である。

管理部５０３は、ステップＳＣＣ４で生成した処理用データ群の全てを、ステップＳＣＣ６で特定したか否かを判定する（ステップＳＣＣ１３）。

管理部５０３は、全ての処理用データ群を特定していないと判定した場合（ステップＳＣＣ１３：ＮＯ）、処理をステップＳＣＣ６に戻し、未特定の処理用データ群をステップＳＣＣ６で１つ特定して、再度、ステップＳＣＣ７以降の処理を行う。

一方、管理部５０３は、全ての処理用データ群を特定したと判定した場合（ステップＳＣＣ１３：ＹＥＳ）、管理処理を終了する。

図１３を参照して、管理部５０３の管理を具体的に説明する。
図１３は、管理部５０３の管理を具体的に説明するための図である。

図１３では、撮影日時が「２０２２／３／３／１９：００：１１」の収容ケース画像ＣＡＧから林檎ＡＰ１及びタマネギＯＮ１が検出され、林檎ＡＰ１及びタマネギＯＮ１が新規に入庫された物品として管理が開始された場合を示している。

また、図１３では、撮影日時が「２０２２／３／４／１５：０２：３４」の収容ケース画像ＣＡＧから林檎ＡＰ２及びタマネギＯＮ２が検出された場合を示している。
この場合では、管理部５０３は、林檎ＡＰ２が、林檎ＡＰ１と同種の物品であり且つ同じエリアＡＲに属する物品であるとして、林檎ＡＰ１の物品関連情報５１２５を林檎ＡＰ２に引き継がせる。これにより、林檎ＡＰ２は、新規で入庫された物品ではなく、既に入庫されている林檎ＡＰ１として管理されることになる。
一方、タマネギＯＮ２とタマネギＯＮ１とは同種の物品であるがエリアＡＲが異なるため、管理部５０３は、新規に入庫された物品として、タマネギＯＮ２の管理を開始する。

また、図１３では、撮影日時が「２０２２／３／５／２０：０５：１０」の収容ケース画像ＣＡＧからタマネギＯＮ３が検出された場合を示している。
この場合では、前回検出された林檎ＡＰ２（ＡＰ１）が検出されていない。管理部５０３は、林檎ＡＰ２（ＡＰ１）の物品関連情報５１２５を含むサブレコードＳＲを、管理外ＤＢ５１３に移動させる。
一方、タマネギＯＮ３とタマネギＯＮ２とは同種の物品であり且つ同じエリアＡＲに属する物品であるとして、タマネギＯＮ２の物品関連情報５１２５をタマネギＯＮ３に引き継がせる。これにより、タマネギＯＮ３は、新規で入庫された物品ではなく、既に入庫されているタマネギＯＮ２として管理されることになる。

また、図１３では、撮影日時が「２０２２／３／８／１４：０９：２１」の収容ケース画像ＣＡＧから林檎ＡＰ３及びタマネギＯＮ４が検出された場合を示している。
この場合では、林檎ＡＰ２（ＡＰ１）の管理から外した日時が現在から所定期間経過している。そのため、管理部５０３は、林檎ＡＰ３と林檎ＡＰ２（ＡＰ１）とが同種であり且つ同じエリアＡＲに属するが、林檎ＡＰ２（ＡＰ１）の物品関連情報５１２５を林檎ＡＰ３に引き継がせない。これにより、林檎ＡＰ３と林檎ＡＰ２（ＡＰ１）とは同じ物品であるかもしれないが、管理部５０３は、林檎ＡＰ３を、新たに入庫された物品として管理する。一方、管理部５０３は、タマネギＯＮ４が、タマネギＯＮ３（ＯＮ２）と同種であり且つ同じエリアＡＲに属する物品であるとして、タマネギＯＮ３（ＯＮ２）の物品関連情報５１２５をタマネギＯＮ４に引き継がせる。これにより、タマネギＯＮ４は、新規で入庫された物品ではなく、既に入庫されているタマネギＯＮ３（ＯＮ２）として管理されることになる。

［１－２－３．アプリＵＩに係わる動作］
アプリＵＩ４０１においては、物品関連情報５１２５を修正可能である。
以下、アプリＵＩ４０１に係わる動作について説明する。

［１－２－３－１．アプリＵＩの表示に係わる動作］
次に、アプリＵＩ４０１に係わる物品管理システム１の動作について説明する。
図１４は、端末装置４、及び物品管理サーバ５の動作を示すフローチャートである。図１４において、フローチャートＦＤは端末装置４の動作を示し、フローチャートＦＥは物品管理サーバ５の動作を示す。

フローチャートＦＤで示すように、アプリ実行部４００は、物品管理ＤＢ５１２に格納されているレコードＲＡを要求するか否かを判定する（ステップＳＤ１）。例えば、端末通信制御部４０１は、物品管理アプリ４１１が立ち上がった場合に、ステップＳＤ１において肯定判定する。

アプリ実行部４００は、レコードＲＡを要求すると判定した場合（ステップＳＤ１：ＹＥＳ）、レコードＲＡを要求する要求データを物品管理サーバ５に送信する（ステップＳＤ２）。要求データには、ユーザＩＤ５１２１が含まれる。なお、端末装置４は、所定のタイミングでユーザＩＤ５１２１を取得している。

フローチャートＦＥで示すように、サーバ通信制御部５０１は、要求データを受信する（ステップＳＥ１）。次いで、サーバ通信制御部５０１は、サーバ通信制御部５０１が受信した要求データに含まれるユーザＩＤ５１２１のレコードＲＡを、物品管理ＤＢ５１２から取得する（ステップＳＥ２）。次いで、サーバ通信制御部５０１は、取得したレコードＲＡを、要求データの応答として、端末装置４に送信する（ステップＳＥ３）。

フローチャートＦＤを参照して、アプリ実行部４００は、レコードＲＡを物品管理サーバ５から受信する（ステップＳＤ３）。次いで、アプリ実行部４００は、ステップＳＤ３で受信されたレコードＲＡに基づいてアプリＵＩをタッチパネル４３に表示させる（ステップＳＤ４）。

［１－２－３－２．野菜室に係わる画面］
本実施の形態のアプリＵＩ４０１は、野菜室２５に係わる画面（以下、「野菜室画面」といい「４０２」の符号を付す）を表示する。

図１５は、野菜室画面４０２の一例を示す図である。
野菜室画面４０２は、収容ケース画像ＣＡＧを表示する表示領域４０３を有する。表示領域４０３が表示する収容ケース画像ＣＡＧは、受信されたレコードＲＡが有する収容ケース画像データ５１２２が示す収容ケース画像ＣＡＧである。

野菜室画面４０２においては、表示領域４０３が表示する収容ケース画像ＣＡＧに写る物品ごとに、タッチ操作を受け付ける。表示領域４０３においてタッチ操作を受け付けると、アプリＵＩ４０１は、野菜室画面４０２において詳細画面４０４を重畳表示する。

図１６は、詳細画面４０４の一例を示す図である。
図１６は、図１５に示す収容ケース画像ＣＡＧにおいてトマトＦ４がタッチ操作された場合の詳細画面４０４を示している。

詳細画面４０４は、収容開始日時情報５１２６、物品画像ＦＧ、物品名情報５１２７、メモ情報５１３０、第１メモ入力ボタンＢ１、戻りボタンＢ２、第２メモ入力ボタンＢ３、メモ保存ボタンＢ４、メモ削除ボタンＢ５、収納開始日時変更ボタンＢ６、及び物品削除ボタンＢ７を有する。

詳細画面４０４の収容開始日時情報５１２６は、野菜室画面４０２でタッチ操作された物品の収容開始日時を示す。より詳細には、詳細画面４０４の収容開始日時情報５１２６は、ステップＳＤ３で受信されたレコードＲＡが有するサブレコードＳＲのうち、野菜室画面４０２でタッチ操作された物品に対応するサブレコードＳＲの収容開始日時情報５１２６である。

詳細画面４０４の物品画像ＦＧは、野菜室画面４０２でタッチ操作された物品の画像である。より詳細には、詳細画面４０４の物品画像ＦＧは、ステップＳＤ３で受信されたレコードＲＡが有するサブレコードＳＲのうち、野菜室画面４０２でタッチ操作された物品に対応するサブレコードＳＲの物品画像データ５１２４が示す物品画像ＦＧである。

詳細画面４０４の物品名情報５１２７は、野菜室画面４０２でタッチ操作された物品の物品名を示す。より詳細には、詳細画面４０４の物品名情報５１２７は、ステップＳＤ３で受信されたレコードＲＡが有するサブレコードＳＲのうち、野菜室画面４０２でタッチ操作された物品に対応するサブレコードＳＲの物品名情報５１２７である。

詳細画面４０４のメモ情報５１３０は、野菜室画面４０２でタッチ操作された物品について入力されたメモを示す。より詳細には、詳細画面４０４のメモ情報５１３０は、ステップＳＤ３で受信されたレコードＲＡが有するサブレコードＳＲのうち、野菜室画面４０２でタッチ操作された物品に対応するサブレコードＳＲのメモ情報５１３０である。

第１メモ入力ボタンＢ１は、任意のメモを詳細画面４０４に入力するためのソフトウェアボタンである。なお、第１メモ入力ボタンＢ１は、物品名を直接入力（修正）するためのソフトウェアボタンとしてもよい。
戻るボタンＢ２は、詳細画面４０４の表示を取り止めるソフトウェアボタンである。
第２メモ入力ボタンＢ３は、定型のメモを詳細画面４０４に入力するためのソフトウェアボタンである。
メモ保存ボタンＢ４は、詳細画面４０４に入力されたメモを保存するためのソフトウェアボタンである。
メモ削除ボタンＢ５は、メモを削除するソフトウェアボタンである。
収容開始日時変更ボタンＢ６は、詳細画面４０４の収容開始日時情報５１２６が示す収容開始日を変更するためのソフトウェアボタンである。
物品削除ボタンＢ７は、野菜室画面４０４でタッチ操作された物品を管理から外すためのソフトウェアボタンである。

［１－２－３－３．物品名に変更があった場合］
次に、詳細画面４０４において物品名の変更があった場合の物品管理システム１の動作について説明する。
詳細画面４０４においては、詳細画面４０４が表示する物品名を修正可能である。アプリ実行部４００は、詳細画面４０４において物品名情報５１２７がタッチ操作されると、物品名の一覧リストを詳細画面４０４において表示する。アプリ実行部４００は、物品名の一覧リストから１つの物品名が選択された場合、物品名の変更を要求する第１要求情報を物品管理サーバ５に送信する。第１要求情報には、選択された物品名を示す物品名情報５１２７、選択された物品名に対応する第２ＩＤ５１２９、及び、ステップＳＤ３で受信されたレコードＲＡの撮影装置ＩＤ３６２が含まれる。なお、物品名の一覧リストは、類似物品がリスト化されたものでもよい。

サーバ通信制御部５０１は、第１要求情報を受信する。管理部５０３は、受信された第１要求情報に含まれる撮影装置ＩＤ３６２のレコードＲＡを、物品管理ＤＢ５１２から特定する。次いで、管理部５０３は、特定したレコードＲＡの物品名情報５１２７を、第１要求情報の物品名情報５１２７に変更する。さらに、管理部５０３は、特定したレコードＲＡの第２ＩＤ５１２９を、第１要求情報の第２ＩＤ５１２９に変更する。

このように、物品名に修正があった場合には、物品管理サーバ５が管理するレコードＲＡにおいては、第２ＩＤ５１２９が変更される。これにより、物品管理サーバ５は、第２ＩＤ５１２９が変更されたかどうかによって、どの物品に誤認識があったかを判断できるようになるため、物品の管理精度を向上させることができる。

［１－２－３－４．メモに変更があった場合］
次に、詳細画面４０４においてメモの変更があった場合の物品管理システム１の動作について説明する。
詳細画面４０４においては、詳細画面４０４が表示するメモを変更可能である。アプリ実行部４００は、詳細画面４０４において新たなメモが入力されメモ保存ボタンＢ４がタッチ操作されると、メモの変更を要求する第２要求情報を物品管理サーバ５に送信する。第２要求情報には、変更後のメモを示すメモ情報５１３０、及び、ステップＳＤ３で受信されたレコードＲＡの撮影装置ＩＤ３６２が含まれる。

サーバ通信制御部５０１は、第２要求情報を受信する。管理部５０３は、受信された第２要求情報に含まれる撮影装置ＩＤ３６２のレコードＲＡを、物品管理ＤＢ５１２から特定する。次いで、管理部５０３は、特定したレコードＲＡのメモ情報５１３０を、第２要求情報のメモ情報５１３０に変更する。

［１－２－３－５．メモの削除があった場合］
次に、詳細画面４０４においてメモの削除があった場合の物品管理システム１の動作について説明する。
詳細画面４０４においては、物品に対して設定するメモを削除可能である。アプリ実行部４００は、メモ削除ボタンＢ５がタッチ操作されると、メモの削除を要求する第３要求情報を物品管理サーバ５に送信する。第３要求情報には、ステップＳＤ３で受信されたレコードＲＡの撮影装置ＩＤ３６２が含まれる。

サーバ通信制御部５０１は、第３要求情報を受信する。管理部５０３は、受信された第３要求情報に含まれる撮影装置ＩＤ３６２のレコードＲＡを、物品管理ＤＢ５１２から特定する。次いで、管理部５０３は、特定したレコードＲＡのメモ情報５１３０を、ブランクの情報に変更する。

［１－２－３－６．収容開始日時に変更があった場合］
次に、詳細画面４０４において収容開始日時の変更があった場合の物品管理システム１の動作について説明する。
詳細画面４０４においては、収容開始日時を変更可能である。アプリ実行部４００は、詳細画面４０４において収容開始日時変更ボタンＢ６がタッチ操作されて収容開始日時が変更された場合、収容開始日時の変更を要求する第４要求情報を物品管理サーバ５に送信する。第４要求情報には、変更後の収容開始日時を示す収容開始日時情報５１２６、及び、ステップＳＤ３で受信されたレコードＲＡの撮影装置ＩＤ３６２が含まれる。

サーバ通信制御部５０１は、第４要求情報を受信する。管理部５０３は、受信された第４要求情報に含まれる撮影装置ＩＤ３６２のレコードＲＡを、物品管理ＤＢ５１２から特定する。次いで、管理部５０３は、特定したレコードＲＡの収容開始日時情報５１２６を、第４要求情報の収容開始日時情報５１２６に変更する。

［１－２－３－７．物品の削除があった場合］
アプリ実行部４００は、詳細画面４０４において、物品削除ボタンＢ７が押下された場合、第５要求情報を生成する。第５要求情報は、詳細画面４０４に対応する物品の第２ＩＤ５１２９、及び、ステップＳＤ３で受信されたレコードＲＡの撮影装置ＩＤ３６２を含む。

サーバ通信制御部５０１は、第５要求情報を受信する。管理部５０３は、第５要求情報が受信されると、第５要求情報に含まれる撮影装置ＩＤ３６２を含むレコードＲＡを物品管理ＤＢ５１２から特定する。次いで、管理部５０３は、特定したレコードＲＡが有するサブレコードＳＲのうち、第５要求情報に含まれる第２ＩＤ５１２９を有するサブレコードＡＲを削除する。なお、この削除では、管理外ＤＢ５１３にサブレコードＳＲが移動しない。

［１－３．効果等］
以上、説明したように、物品管理システム１は、冷蔵庫２に収容される物品を管理する。物品管理システム１は、冷蔵庫２の収容ケースＣＡを撮影する狭角カメラ３０２の撮影画像から物品を認識する認識部５０２と、認識部５０２が認識した物品ごとに、物品が収容される収容ケースＣＡのエリアＡＲと、物品に関する物品関連情報５１２５とを対応付けて物品を管理する管理部５０３と、を備える。管理部５０３は、管理中の物品と、認識部５０２が新たな撮影画像から認識した新規認識物品とが、同じエリアＡＲに属し且つ同種の物品である場合、新規認識物品が管理中の物品であるとして、管理中の物品の物品関連情報５１２５を新規認識物品に引き継がせる。

これによれば、管理中の物品と新規認識物品とが同じエリアＡＲに属し且つ同種の物品である場合、新規認識物品を管理中の物品として管理できる。よって、冷蔵庫２に収容される物品を精度良く管理できる。

管理部５０３は、管理中の物品が属するエリアＡＲと新規認識物品が属するエリアＡＲとが異なる場合、又は、管理中の物品と新規認識物品とが異種の物品である場合、管理中の物品の物品関連情報５１２５を新規認識物品に引き継がせることなく、新規認識物品を新たに冷蔵庫２に入庫された物品として管理する。

これによれば、管理中の物品と新規認識物品とが同じエリアＡＲに属さず又は異種の物品である場合、新規認識物品を管理中の物品として管理せず、新たに入庫された物品として管理する。よって、新規認識物品を適切に管理できるため、冷蔵庫２に収容される物品を精度良く管理できる。

管理部５０３は、管理を外してから所定期間が経過していない物品の中に、新規認識物品と同じエリアＡＲに属し、且つ新規認識物品と同種の物品がある場合、この場合に該当する管理から外した物品の物品関連情報５１２５を、新規認識物品に引き継がせる。

これによれば、誤って管理から外れてしまった物品を、再度、適切に管理できるようになる。よって、冷蔵庫２に収容される物品をより精度良く管理できる。

管理部５０３は、物品関連情報５１２５に修正があった場合、修正された物品関連情報５１２５とエリアＡＲとを対応付けて物品を管理する。

これによれば、修正された物品関連情報５１２５を管理に反映させることができるため、ユーザＰの意図を反映して物品を管理できる。よって、冷蔵庫２に収容される物品を適切に且つ精度良く管理できる。

物品管理サーバ５は、収容ケースＣＡの画像を撮影画像から切り出し、切り出した収容ケースＣＡの画像が含むマーカーＭＫを基準として収容ケースＣＡの画像を複数のエリアＡＲに分割する生成部３５６を備える。管理部５０３は、生成部３５６が分割したエリアＡＲと物品関連情報５１２５とを対応付けて物品を管理する。

これによれば、マーカーＭＫを基準にしてエリアＡＲが分割されるため、収容ケースＣＡの画像に写る収容ケースＣＡの引き出し度合いによって分割されるエリアＡＲが異なってしまうことを防止できる。よって、収容ケースＣＡの画像に写る収容ケースＣＡの引き出し度合いよることなく、新規認識物品が管理中の物品であるか否かを適切に判定できるようになるため、冷蔵庫２に収容される物品をより精度良く管理できる。

物品管理システム１の制御方法は、冷蔵庫２の収容ケースＣＡを撮影する狭角カメラ３０２の撮影画像から物品を認識し、認識した物品ごとに、物品が収容される収容ケースＣＡのエリアＡＲと、物品に関する物品関連情報５１２５とを対応付けて物品を管理する。物品管理システム１の制御方法は、物品の管理においては、管理中の物品と、新たな撮影画像から認識された新規認識物品とが、同じエリアＡＲに属し且つ同種の物品である場合、新規認識物品が管理中の物品であるとして、管理中の物品の物品関連情報５１２５を新規認識物品に引き継がせる。

これによれば、上述した物品管理システム１の作用効果と同様の作用効果を奏する。

物品管理サーバ５は、冷蔵庫２の収容ケースＣＡを撮影する狭角カメラ３０２の撮影画像から物品を認識する認識部５０２と、認識部５０２が認識した物品ごとに、物品が収容される収容ケースＣＡのエリアＡＲと、物品に関する物品関連情報５１２５とを対応付けて物品を管理する管理部５０３と、を備える。管理部５０３は、管理中の物品と、認識部５０２が新たな撮影画像から認識した新規認識物品とが、同じエリアＡＲに属し且つ同種の物品である場合、新規認識物品が管理中の物品であるとして、管理中の物品の物品関連情報５１２５を新規認識物品に引き継がせる。

これによれば、上述した物品管理システム１の作用効果と同様の作用効果を奏する。

制御プログラム５１１は、冷蔵庫２に収容される物品を管理する物品管理サーバ５のサーバプロセッサ５０を、冷蔵庫２の収容ケースＣＡを撮影する狭角カメラ３０２の撮影画像から物品を認識する認識部５０２と、認識部５０２が認識した物品ごとに、物品が収容される収容ケースＣＡのエリアＡＲと、物品に関する物品関連情報５１２５とを対応付けて物品を管理する管理部５０３と、して機能させる。管理部５０３は、管理中の物品と、認識部５０２が新たな撮影画像から認識した新規認識物品とが、同じエリアＡＲに属し且つ同種の物品である場合、新規認識物品が管理中の物品であるとして、管理中の物品の物品関連情報５１２５を新規認識物品に引き継がせる。

これによれば、上述した物品管理システム１の作用効果と同様の作用効果を奏する。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２の説明では、実施の形態１の物品管理システム１の各部の構成要素と同じ構成要素については、同一の符号を付して詳細な説明を適宜に省略する。

［２－１．構成］
図１７は、実施の形態２における物品管理システム１Ａの構成を示す図である。
本実施の形態における物品管理システム１Ａは、冷蔵庫２Ａ、物品管理サーバ５、及び端末装置４を備える。上述した実施の形態１の冷蔵庫２と撮影装置３とは、別体であったが、実施の形態２における冷蔵庫２Ａは、撮影装置３Ａを備える。すなわち、本実施の形態における冷蔵庫２Ａと撮影装置３Ａとは、別体ではない。
冷蔵庫２Ａは、本開示の「貯蔵庫」に相当する。

図１８は、本実施の形態における冷蔵庫２Ａの構成を示すブロック図である。
冷蔵庫２Ａは、第３制御基板２２０を備える。第３制御基板２２０は、ＣＰＵなどの第３プロセッサ２３０、第３メモリ２４０、第３通信モジュール２５０、及び他の装置やセンサ類が接続されるインターフェイス回路を備える。

第３メモリ２４０は、第３プロセッサ２３０が実行するプログラムやデータを記憶する記憶装置である。第３メモリ２４０は、不揮発性の記憶装置により構成される。また、第３メモリ２４０は、第３プロセッサ２３０のワークエリアを構成する揮発性の記憶装置を含んでもよい。第３メモリ２４０は、第３プロセッサ２３０により処理されるデータや、第３プロセッサ２３０が実行する制御プログラム２４１を記憶する。

第３通信モジュール２５０は、所定の有線通信規格に従った通信回路やコネクタなどの通信ハードウェアを備え、第３プロセッサ２３０の制御に従って第１制御基板３１１Ａと通信する。

第３制御基板２２０には、第２無線通信モジュール２０６、冷却部２０７、第１開閉センサ２０８、第２開閉センサ２０９、第３開閉センサ２１０、第４開閉センサ２１１、第５開閉センサ２１２、及び第６開閉センサ２１３が接続する。

冷却部２０７は、圧縮機や、凝縮器、キャピラリーチューブ、冷却器、冷却器が生成した冷気を各収容室に送る冷却ファン、及び、冷却ファンにより送られる冷気を分流するダンパー等の冷蔵庫２Ａの各収容室を冷却する機構を備える。冷却部２０７は、第３制御基板２２０の制御に従って、冷蔵庫２Ａの各収容室を冷却する。

第１開閉センサ２０８～第６開閉センサ２１３は、例えばホールＩＣで構成される。
第１開閉センサ２０８は、右ドア２１Ｂの開閉センサを検出するためのセンサである。
第２開閉センサ２０９は、左ドア２１Ｃの開閉センサを検出するためのセンサである。
第３開閉センサ２１０は、引出２２Ａの開閉センサを検出するためのセンサである。
第４開閉センサ２１１は、引出２３Ａの開閉センサを検出するためのセンサである。
第５開閉センサ２１２は、引出２４Ａの開閉センサを検出するためのセンサである。
第６開閉センサ２１３は、引出２５Ａの開閉センサを検出するためのセンサである。
各開閉センサは、検出値を第３制御基板２２０に出力する。

第３プロセッサ２３０は、制御プログラム２４１を読み出して実行することにより、第２無線通信モジュール２０６を介して、外部機器と通信する。
また、第３プロセッサ２３０は、制御プログラム２４１を読み出して実行することにより、冷却部２０７によって冷蔵庫２Ａの各収容室を冷却する。
また、第３プロセッサ２３０は、制御プログラム２４１を読み出して実行することにより、第１開閉センサ２０８～第６開閉センサ２１３の各々が出力した検出値を第１制御基板３１１Ａに送信する。

冷蔵庫２Ａは、撮影装置３Ａを備える。撮影装置３Ａは、撮影装置３と比較して、第１フォトセンサ３０３、第２フォトセンサ３０４、サーモパイル３０５、人感センサ３０６、第１ＬＥＤ３０８、及び第２ＬＥＤ３０９を備えていない。

実施の形態２の撮影装置３Ａは、第１制御基板３１１の代わりに第１制御基板３１１Ａを備える。第１制御基板３１１Ａには、図示せぬ電源ボタンや照度センサ３０７が接続する。また、実施の形態２における撮影装置３Ａは、第２制御基板３１２の代わりに第２制御基板３１２Ａを備える。第２制御基板３１２Ａには、広角カメラ３０１、狭角カメラ３０２、及び第１無線通信モジュール３１３が接続する。

第１制御基板３１１Ａは、ＣＰＵなどの第１プロセッサ３２０Ａ、第１メモリ３３０Ａ、第１通信モジュール３４０Ａ、及び他の装置やセンサ類が接続されるインターフェイス回路を備える。

第１メモリ３３０Ａは、第１メモリ３３０と同様のメモリである。第１メモリ３３０Ａは、第１プロセッサ３２０Ａにより処理されるデータや、第１プロセッサ３２０Ａが実行する制御プログラム３３１Ａを記憶する。

第１通信モジュール３４０Ａは、所定の有線通信規格に従った通信回路やコネクタなどの通信ハードウェアを備え、ケーブルを介して第２制御基板３１２Ａ及び第３制御基板２２０と通信する。

第１プロセッサ３２０Ａは、制御プログラム３３１Ａを読み出して実行することにより、電源ボタンの操作に応じて撮影装置３Ａの電源のオンオフを行う。
第１プロセッサ３２０Ａは、制御プログラム３３１Ａを読み出して実行することにより、第１通信モジュール３４０Ａを介して、照度センサ３０７が出力した検出値を、第２制御基板３１２Ａに送信する。
第１プロセッサ３２０Ａは、制御プログラム３３１Ａを読み出して実行することにより、第１通信モジュール３４０Ａを介して、第３制御基板２２０から受信した第１開閉センサ２０８～第６開閉センサ２１３の検出値を、第２制御基板３１２Ａに送信する。

第２制御基板３１２Ａは、ＣＰＵなどの第２プロセッサ３５０Ａ、第２メモリ３６０Ａ、第２通信モジュール３７０Ａ、及び他の装置やセンサ類が接続されるインターフェイス回路を備える。

第２メモリ３６０Ａは、第１メモリ３３０と同様のメモリである。第２メモリ３６０Ａは、第２プロセッサ３５０Ａにより処理されるデータや、第２プロセッサ３５０Ａが実行する制御プログラム３６１Ａを記憶する。

第２通信モジュール３７０Ａは、所定の通信規格に従った通信回路やコネクタなどの通信ハードウェアを備え、第２プロセッサ３５０Ａの制御に従って第１制御基板３１１Ａと通信する。

第２プロセッサ３５０Ａは、第２メモリ３６０Ａに記憶された制御プログラム３６１Ａを読み出して実行することにより、第１通信制御部３５１、第２通信制御部３５２Ａ、開閉判定部３５３Ａ、撮影制御部３５４、録画制御部３５５、及び生成部３５６として機能する。

第２通信制御部３５２Ａは、第２通信モジュール３７０Ａを介して、第１制御基板３１１Ａと通信する。第２通信制御部３５２Ａは、各種センサの検出値を第１制御基板３１１Ａから受信する。

開閉判定部３５３Ａは、第２通信制御部３５２Ａが受信する第１開閉センサ２０８の検出値に基づいて、右ドア２１Ｂが開状態か閉状態かを判定する。開閉判定部３５３は、閉状態に対応する検出値と異なる検出値を、第２通信制御部３５２Ａが受信した場合、右ドア２１Ｂが開状態であると判定する。一方、開閉判定部３５３Ａは、閉状態に対応する検出値を第２通信制御部３５２Ａが受信した場合、右ドア２１Ｂが閉状態であると判定する。

開閉判定部３５３Ａは、右ドア２１Ｂについての判定と同様に、第２通信制御部３５２Ａが第２開閉センサ２０９の検出値に基づいて、左ドア２１Ｃが開状態か閉状態かを判定する。

開閉判定部３５３Ａは、第２通信制御部３５２Ａが受信する第３開閉センサ２１０～第６開閉センサ２１３の検出値に基づいて、引出２６Ａが開状態か閉状態かを判定する。開閉判定部３５３Ａは、右ドア２１Ｂの判定と同様に判定を行う。

［２－２．動作］
本実施の形態のおける物品管理システム１Ａの各部の動作は、実施の形態１の物品管理システム１の各部の動作と同じである。

［２－３．効果等］
上述した実施の形態２によれば、実施の形態１と同様の効果を奏する。

（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上述した実施の形態では、本開示の「貯蔵庫」として冷蔵庫２を例示した。しかしながら、本開示の「貯蔵庫」は、冷蔵庫２に限定されず、例えばオフィス等に設置される倉庫や、冷凍庫、常温保存庫などの他の貯蔵庫でもよい。

上述した実施の形態１、２では、野菜室２５に設けられる１段の収容ケースＣＡに収容される物品を管理する構成である。他の実施の形態では、野菜室２５が複数段の収容ケースＣＡを備えており、物品管理システム１が、複数の収容ケースＣＡの各々について収容される物品を管理する構成としてもよい。この構成の場合、野菜室画面４０４は、野菜室２５が備える収容ケースＣＡごとに、収容ケース画像ＣＡＧを表示する。この構成における野菜室画面４０４では、複数の収容ケース画像ＣＡＧが重畳されて表示される。例えば、野菜室２５が上下２段の収容ケースＣＡを備える場合、野菜室画面４０２は、下段ケースに対応する収容ケース画像ＣＡＧに対して、上段ケースに対応する収容ケース画像ＣＡＧを重畳表示する。また、この場合の野菜室画面４０２は、上段ケースに対応する収容ケース画像ＣＡＧをスクロール操作で所定方向に移動可能に表示する。

上述した実施の形態１、２では、野菜室２５に収容される物品を管理する場合を例示した。しかしながら、物品管理システム１が管理する物品は、野菜室２５に収容される物品に限定されず、製氷室２２に収容される物品でもよいし、新鮮凍結室２３に収容される物品でもよいし、冷凍室２４に収容される物品でもよいし、冷蔵室２１のチルド室に収容される物品でもよい。

他の実施の形態では、生成部３５６の機能のうち、管理用データＤ１の送信以外の機能の一部或いは全てをサーバプロセッサ５０が行ってよい。例えば、他の実施の形態では、サーバプロセッサ５０が、収容ケース画像ＣＡＧの切り出し、物品の検出、エリア判定、及び物品画像ＦＧの切り出しを行ってもよい。この場合、生成部３５６が生成する管理用データＤ１は、検出用画像の画像データ、及び、第２メモリ３６０が記憶する撮影装置ＩＤ３６２を含む。また、例えば、他の実施の形態では、サーバプロセッサ５０が、物品の検出、エリア判定、及び物品画像ＦＧの切り出しを行ってもよい。この場合、生成部３５６が生成する管理用データＤ１は、収容ケース画像データ５１２２、及び、第２メモリ３６０が記憶する撮影装置ＩＤ３６２を含む。

上述した実施の形態では、図２に示すように、撮影部材３１の前端部において、第２ＬＥＤ３０９、照度センサ３０７、人感センサ３０６、広角カメラ３０１、狭角カメラ３０２、サーモパイル３０５、及び第１ＬＥＤ３０８がこの順並んでいる。しかしながら、この並び順はあくまで一例であって、これらデバイスの並び順は実施の形態に限定されない。

上述した実施の形態２では、第１フォトセンサ３０３、第２フォトセンサ３０４、サーモパイル３０５、人感センサ３０６、第１ＬＥＤ３０８、及び第２ＬＥＤ３０９を備えていない構成である。実施の形態２に係わる他の実施の形態では、これらデバイスのうち任意のデバイスを備えていてもよい。

上述した実施の形態１、２では、右ドア２１Ｂと左ドア２１Ｃとの幅が異なる場合を例示した。他の実施の形態では、右ドア２１Ｂと左ドア２１Ｃとの幅は同じでもよいし、右ドア２１Ｂの幅より左ドア２１Ｃの幅のほうが長くてもよい。

上述した実施の形態１、２では、第１ＬＥＤ３０８と第２ＬＥＤ３０９とを撮影装置３、３Ａが具備する構成である。他の実施の形態では、第１ＬＥＤ３０８及び第２ＬＥＤ３０９が一つのＬＥＤで構成されてもよい。

上述した実施の形態２では、第１開閉センサ２０８～第６開閉センサ２１３がホールＩＣで構成される場合を例示した。しかしながら、第１開閉センサ２０８、及び第２開閉センサ２０９は、測距センサや、角度センサ、カメラ、温度センサなどの他のセンサでもよい。また、第３開閉センサ２１０～第６開閉センサ２１３は、加速度センサや、機械式スイッチ、角度センサ、カメラ、温度センサなどの他のセンサでもよい。

上述した実施の形態１、２では、本開示の「特徴部」としてマーカーＭＫを例示した。しかしながら、本開示の「特徴部」は、マーカーＭＫに限定されず、例えば収容ケースＣＡの特徴的な所定箇所でもよい。

他の実施の形態では、図１２のステップＳＣＣ１０において、管理部５０３は、特定したサブレコードＳＲが所定回数（例えば、５回）連続して管理外ＤＢ５１３に残っているか否かを判定してもよい。管理部５０３は、否定判定した場合、ステップＳＣＣ１１に処理を進めて、新規認識物品と同種で且つ同じエリアＡＲに属する管理外の物品の物品関連情報５１２５を、新規認識物品に引き継がせてもよい。一方で、管理部５０３は、肯定判定した場合、ステップＳＣＣ１２に処理を進めて、新規認識物品を新たに入庫された物品として管理を開始してもよい。

図１２のステップＳＣＣ８やステップＳＣＣ１１において、物品関連情報を引き継がせる際に、管理部５０３はユーザに物品関連情報５１２５を引き継がせるか否かを問合せしてもよい。管理部５０３が問合せ結果（引き継がせる）を受信した場合、物品関連情報５１２５を引き継がせてもよい。一方で、管理部５０３は問合せ結果（引き継がせない）を受信した場合、物品関連情報５１２５を引き継がせなくてもよい。
また、図１２のステップＳＣＣ５において、管理外ＤＢ５１３に移動させる際に、管理部５０３はユーザに管理外ＤＢに移動させるか否かを問合せしてもよい。また、管理部５０３は、管理外ＤＢ５１３に移動させる物品に関してユーザに通知してもよい。

他の実施の形態では、図１２のステップＳＣＣ９とＳＣＣ１０を入れ替えて構成されてもよい。これによれば、管理から外した物品の管理から外した日時が現在から所定期間内である物品のうち、新規認識物品と同種で且つ同じエリアに属する物品がある場合に、管理から外した物品の物品関連情報５１２５を新規認識物品に引き継がせることができる。したがって、誤って管理から外してしまった物品を、再度、適切に管理できるようになり、冷蔵庫２に収容される物品をより精度良く管理できる。

他の実施の形態では、実施の形態１における第２プロセッサ３５０の各機能部に加えて、第２プロセッサ３５０は人物存在判定部として機能してもよい。人物存在判定部は、人感センサ３０６の検出値に基づいて、冷蔵庫２の周辺に人が存在するか否かを判定する。より具体的に、人物存在判定部は、人感センサ３０６の検出値が人が存在することに対応する検出値の場合、冷蔵庫２の周辺に人が存在すると判定し、そうでない場合、冷蔵庫２の周辺に人が存在しないと判定する。第２プロセッサ３５０が人物存在判定部として機能する場合、撮影制御部３５４は、人が存在すると人物存在判定部が判定した場合に、広角カメラ３０１及び狭角カメラ３０２に撮影を開始させ、人が存在しないと人物存在判定部が判定した場合に、広角カメラ３０１及び狭角カメラ３０２に撮影を終了させる。また、第２プロセッサ３５０が人物存在判定部として機能する場合、録画制御部３５５は、人が存在すると人物存在判定部が判定した場合に、録画を開始し、人が存在しないと人物存在判定部が判定した場合に、録画を終了する。これにより、開閉判定部３５３が誤判定した場合でも、適切に広角カメラ３０１及び狭角カメラ３０２の撮影結果を録画できる。

他の実施の形態では、冷蔵庫２、２Ａの主箱体２０に形成される部屋は、上述した５種以外の収容室があってもよいし少なくてもよい。また、他の実施の形態では、冷蔵室２１の開口部２０１に設けられるドアの数は、１つでもよい。

第１プロセッサ３２０、３２０Ａ、第２プロセッサ３５０、３５０Ａ、サーバプロセッサ５０、及び端末プロセッサ４０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。これらプロセッサは、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、これらプロセッサは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成されてもよい。

図４、図５、及び図１８に示した撮影装置３、冷蔵庫２Ａ、端末装置４、及び物品管理サーバ５の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。

図８、図９、図１０、図１２、及び図１４に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、動作が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本開示の趣旨に支障のない範囲で適宜に入れ替えてもよい。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

（付記）
以上の実施の形態の記載により、下記の技術が開示される。

（技術１）貯蔵庫に収容される物品を管理する物品管理システムであって、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、を備え、前記管理部は、管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、物品管理システム。

これによれば、管理中の物品と新規認識物品とが同じエリアに属し且つ同種の物品である場合、新規認識物品を管理中の物品として管理できる。よって、貯蔵庫に収容される物品を精度良く管理できる。

（技術２）前記管理部は、管理中の前記物品が属する前記エリアと前記新規認識物品が属する前記エリアとが異なる場合、又は、管理中の前記物品と前記新規認識物品とが異種の前記物品である場合、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせることなく、前記新規認識物品を新たに前記貯蔵庫に入庫された前記物品として管理する、技術１に記載の物品管理システム。

これによれば、管理中の物品と新規認識物品とが同じエリアに属さず又は異種の物品である場合、新規認識物品を管理中の物品として管理せず、新たに入庫された物品として管理する。よって、新規認識物品を適切に管理できるため、貯蔵庫に収容される物品を精度良く管理できる。

（技術３）前記管理部は、管理を外してから所定期間が経過していない前記物品の中に、前記新規認識物品と同じ前記エリアに属し、且つ前記新規認識物品と同種の物品がある場合、この場合に該当する管理から外した前記物品の前記物品関連情報を、前記新規認識物品に引き継がせる、技術１又は技術２に記載の物品管理システム。

これによれば、誤って管理から外してしまった物品を、再度、適切に管理できるようになる。よって、貯蔵庫に収容される物品をより精度良く管理できる。

（技術４）前記管理部は、前記物品関連情報に修正があった場合、修正された前記物品関連情報と前記エリアとを対応付けて前記物品を管理する、技術１から技術３のいずれか一つに記載の物品管理システム。

これによれば、修正された物品関連情報を管理に反映させることができるため、ユーザの意図を反映して物品を管理できる。よって、貯蔵庫に収容される物品を適切に且つ精度良く管理できる。

（技術５）前記収容ケースの画像を前記撮影画像から切り出す切出部と、切り出した前記収容ケースの画像が含む特徴部を基準として前記収容ケースの画像を複数の前記エリアに分割する分割部と、を備え、前記管理部は、前記分割部が分割した前記エリアと前記物品関連情報とを対応付けて前記物品を管理する、技術１から技術４のいずれか一つに記載の物品管理システム。

これによれば、特徴部を基準にしてエリアが分割されるため、収容ケースの画像に写る収容ケースの引き出し度合いによって分割されるエリアが異なってしまうことを防止できる。よって、収容ケースの画像に写る収容ケースの開度に依ることなく、新規認識物品が管理中の物品であるか否かを適切に判定できるようになるため、貯蔵庫に収容される物品をより精度良く管理できる。

（技術６）貯蔵庫に収容される物品を管理する物品管理システムの制御方法であって、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識し、認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理し、前記物品の管理においては、管理中の前記物品と、新たな前記撮影画像から認識された新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、物品管理システムの制御方法。

これによれば、技術１の物品管理システムと同様の効果を奏する。

（技術７）貯蔵庫に収容される物品を管理する物品管理装置であって、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、を備え、前記管理部は、管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、物品管理装置。

これによれば、技術１の物品管理システムと同様の効果を奏する。

（技術８）貯蔵庫に収容される物品を管理する物品管理装置のプロセッサを、前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、して機能させ、前記管理部は、管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、プログラム。

これによれば、技術１の物品管理システムと同様の効果を奏する。

以上のように、本発明に係る物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラムは、貯蔵庫に収容される物品を管理する用途に利用可能である。

１、１Ａ 物品管理システム
２、２Ａ 冷蔵庫（貯蔵庫）
３、３Ａ 撮影装置
４ 端末装置
５ 物品管理サーバ（物品管理装置）
５０ サーバプロセッサ（プロセッサ）
５１ サーバメモリ
５２ サーバ通信モジュール
３０２ 狭角カメラ（カメラ）
３５６ 生成部（切出部、分割部）
４０３ 認識部
５０１ サーバ通信制御部
５０２ 認識部
５０３ 管理部
５１１ 制御プログラム（プログラム）
５１２５ 物品関連情報
ＡＲ エリア
ＣＡ 収容ケース
ＣＡＧ 収容ケース画像
Ｄ１ 管理用データ
ＭＫ マーカー（特徴部）

Claims (8)

1. 貯蔵庫に収容される物品を管理する物品管理システムであって、
   前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、
   前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、を備え、
   前記管理部は、
   管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、
   物品管理システム。
2. 前記管理部は、
   管理中の前記物品が属する前記エリアと前記新規認識物品が属する前記エリアとが異なる場合、又は、管理中の前記物品と前記新規認識物品とが異種の前記物品である場合、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせることなく、前記新規認識物品を新たに前記貯蔵庫に入庫された前記物品として管理する、
   請求項１に記載の物品管理システム。
3. 前記管理部は、
   管理を外してから所定期間が経過していない前記物品の中に、前記新規認識物品と同じ前記エリアに属し、且つ前記新規認識物品と同種の物品がある場合、この場合に該当する管理から外した前記物品の前記物品関連情報を、前記新規認識物品に引き継がせる、
   請求項１又は２に記載の物品管理システム。
4. 前記管理部は、
   前記物品関連情報に修正があった場合、修正された前記物品関連情報と前記エリアとを対応付けて前記物品を管理する、
   請求項１又は２に記載の物品管理システム。
5. 前記収容ケースの画像を前記撮影画像から切り出す切出部と、
   切り出した前記収容ケースの画像が含む特徴部を基準として前記収容ケースの画像を複数の前記エリアに分割する分割部と、を備え、
   前記管理部は、前記分割部が分割した前記エリアと前記物品関連情報とを対応付けて前記物品を管理する、
   請求項１に記載の物品管理システム。
6. 貯蔵庫に収容される物品を管理する物品管理システムの制御方法であって、
   前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識し、
   認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理し、
   前記物品の管理においては、
   管理中の前記物品と、新たな前記撮影画像から認識された新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、
   物品管理システムの制御方法。
7. 貯蔵庫に収容される物品を管理する物品管理装置であって、
   前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、
   前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、を備え、
   前記管理部は、
   管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、
   物品管理装置。
8. 貯蔵庫に収容される物品を管理する物品管理装置のプロセッサを、
   前記貯蔵庫の収容ケースを撮影するカメラの撮影画像から前記物品を認識する認識部と、
   前記認識部が認識した前記物品ごとに、前記物品が収容される前記収容ケースのエリアと、前記物品に関する物品関連情報とを対応付けて前記物品を管理する管理部と、して機能させ、
   前記管理部は、
   管理中の前記物品と、前記認識部が新たな前記撮影画像から認識した新規認識物品とが、同じ前記エリアに属し且つ同種の前記物品である場合、前記新規認識物品が管理中の前記物品であるとして、管理中の前記物品の前記物品関連情報を前記新規認識物品に引き継がせる、
   プログラム。

Images