JP7475000B2 - 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 - Google Patents

Description

本開示は、入出庫管理装置、入出庫管理システム、及び、入出庫管理方法に関する。

従来、物体が収納される収納庫に関する技術が提案されている。特許文献１には、冷蔵庫の入出庫管理システムが開示されている。特許文献１に開示された入出庫管理システムは、学習モデルを用いて冷蔵庫への物体の入出庫を判定する。この学習モデルは、冷蔵庫に設けられたセンサにより取得された情報が入力されると入出庫の判定結果を出力する。

特開２０２０－４１７６１号公報

本開示は、収納庫への物体の入出庫の判定精度の向上を図ることができる入出庫管理装置、入出庫管理システム、及び、入出庫管理方法を提供する。

本開示の一態様に係る入出庫管理装置は、本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定部と、前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備える。

本開示の一態様に係る入出庫管理システムは、本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定部と、前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備える。

本開示の一態様に係る入出庫管理方法は、本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像ステップと、前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定ステップと、前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定ステップとを含む。

本開示の一態様に係る入出庫管理装置、入出庫管理システム、及び、入出庫管理方法は、収納庫への物体の入出庫の判定精度の向上を図ることができる。

図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。 図２は、実施の形態に係る入出庫管理システムが備える冷蔵庫及び入出庫管理装置の外観図である。 図３は、実施の形態に係る入出庫管理システムの動作例１のフローチャートである。 図４は、撮像部によって撮像される動画、及び、動画内で設定される境界線の一例を示す図である。 図５は、撮像部によって撮像される動画、及び、動画内で設定される境界線の別の一例を示す図である。 図６は、設定情報の一例を示す図である。 図７は、食品管理情報の一例を示す図である。 図８は、ドアポケットにマーカが設けられている場合に撮像部によって撮像される動画の一例を示す図である。 図９は、実施の形態に係る入出庫管理システムの動作例２のシーケンス図である。 図１０は、食品管理情報の内容を示す表示画面の一例を示す図である。 図１１は、実施の形態に係る入出庫管理システムの動作例３のシーケンス図である。 図１２は、通知画面の一例を示す図である。 図１３は、変形例に係る入出庫管理システムの機能構成を示すブロック図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

（実施の形態）
［構成］
まず、実施の形態に係る入出庫管理システムの構成について説明する。図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。

図１に示される入出庫管理システム１０は、冷蔵庫２０内に収納された食品を管理するためのシステムである。入出庫管理システム１０は、冷蔵庫２０と、入出庫管理装置３０と、サーバ装置４０と、情報端末５０とを備える。

冷蔵庫２０は、収納庫の一例であり、ユーザの自宅などに設置され、食品を冷蔵する。図２は、冷蔵庫２０（及び入出庫管理装置３０）の外観図である。図２に示されるように、冷蔵庫２０は、本体部２１と、本体部２１内の第一収納室２３へアクセスするためのドア２２と、第一収納室２３に設けられた複数の棚２４と、引き出し２５とを備える。ドア２２が開けられれば、冷蔵庫２０は、複数の棚２４のそれぞれに食品を載置する（つまり、第一収納室２３に食品を収納する）ことができる状態となる。また、ドア２２が開けられれば、冷蔵庫２０は、ドア２２の内側に設けられたドアポケット２２ａに食品を収納することができる状態となる。また、引き出し２５が開けられれば、冷蔵庫２０は、引き出し２５内の第二収納室２６に食品を収納することができる状態となる。図２の例では、冷蔵庫２０は、第一収納室２３を覆うドア２２を２つ備えているが、第一収納室２３を覆うドア２２は１つであってもよい。

入出庫管理装置３０は、例えば、冷蔵庫２０の上面に取り付けられ、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。入出庫管理装置３０は、例えば、既存の冷蔵庫２０に後付けされるが、冷蔵庫２０に内蔵されてもよい。つまり、入出庫管理装置３０は、冷蔵庫２０と別体の装置であってもよいし、冷蔵庫２０と一体的に製造された装置であってもよい。図１に示されるように、入出庫管理装置３０は、撮像部３１と、測距部３２と、情報処理部３３と、記憶部３４と、通信部３５と、報知部３６とを備える。

撮像部３１は、冷蔵庫２０へ食品が出し入れされるときの様子を示す動画を、冷蔵庫２０の上方から撮像する。つまり、撮像部３１は、例えば、ドア２２が開いた状態の冷蔵庫２０の動画を、冷蔵庫２０の上方から撮像する。動画には、ドア２２、ドアポケット２２ａ、第一収納室２３、棚２４、引き出し２５、及び、冷蔵庫２０の前方の室内空間の床などが撮像対象として含まれる。撮像部３１は、例えば、魚眼レンズを有するカメラによって実現されるが、通常のレンズを有するカメラによって実現されてもよい。

なお、撮像部３１は、冷蔵庫２０へ物体が出し入れされるときの様子を、あらかじめ設定された時間間隔で撮像することで複数の画像（静止画）を生成してもよく、必ずしも動画を撮像する必要はない。また、撮像部３１は、入出庫管理装置３０の筐体に取り付けられているが、入出庫管理装置３０の筐体から離れて冷蔵庫２０に取り付けられてもよい。つまり、撮像部３１は、冷蔵庫２０に後付けされてもよい。この場合、撮像部３１は、冷蔵庫２０に後付け可能な構造として、磁石、吸盤、または、クリップなどを有する。

測距部３２は、冷蔵庫２０の上部において、測距部３２からドア２２までの距離を計測する。つまり、測距部３２は、ドア２２の開き具合を計測する。測距部３２は、例えば、赤外線測距センサによって実現される。測距部３２は、測距部３２から右側のドア２２までの距離、及び、測距部３２から左側のドア２２までの距離を個別に計測することができる。

なお、後述のように、測距部３２は、ドア２２の開き具合を計測するために使用される。入出庫管理装置３０は、測距部３２に代えて、角度センサなどの、ドア２２の開き具合（開き角度）を計測する他のセンサを備えてもよい。また、ドア２２の開き具合を計測するセンサは、冷蔵庫２０によって備えられてもよく、この場合、入出庫管理装置３０はドア２２の開き具合を計測するセンサを備えていなくてもよい。

情報処理部３３は、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。情報処理部３３は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部３３は、機能的な構成要素として、設定部３７、判定部３８、及び、追尾部３９を有する。設定部３７、判定部３８、追尾部３９の機能は、例えば、情報処理部３３を構成するマイクロコンピュータ等が記憶部３４に記憶されたコンピュータプログラムを実行することにより実現される。設定部３７、判定部３８、及び、追尾部３９の機能の詳細については後述される。

記憶部３４は、情報処理部３３が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報（後述の設定情報、及び、食品管理情報など）が記憶される記憶装置である。記憶部３４は、例えば、半導体メモリによって実現される。

通信部３５は、入出庫管理装置３０がサーバ装置４０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部３５は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。通信部３５が行う通信の通信規格については特に限定されない。

報知部３６は、冷蔵庫２０に出し入れされる食品の種別が判定不可能である場合に報知を行う。報知部３６は、例えば、スピーカまたはブザーなどによって実現され、出音により報知を行うが、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光素子によって実現され、発光により報知行ってもよい。

サーバ装置４０は、冷蔵庫２０が設置された施設外に位置するコンピュータであり、具体的には、クラウドサーバである。サーバ装置４０は、冷蔵庫２０内に収納された食品に関する情報を提示するための情報処理を行う。また、サーバ装置４０は、通知装置の一例であり、冷蔵庫２０内に収納された食品に関する情報を通知するための情報処理を行う。サーバ装置４０は、通信部４１と、情報処理部４２と、記憶部４３とを備える。

通信部４１は、サーバ装置４０が入出庫管理装置３０及び情報端末５０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部３５は、例えば、有線通信を行う有線通信回路であるが、無線通信を行う無線通信回路であってもよい。通信部４１が行う通信の通信規格については特に限定されない。

情報処理部４２は、冷蔵庫２０内に収納された食品に関する情報を提示または通知するための情報処理を行う。情報処理部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部４２は、機能的な構成要素として、提示部４４及び通知部４５を有する。提示部４４及び通知部４５の機能は、例えば、情報処理部４２を構成するマイクロコンピュータ等が記憶部４３に記憶されたコンピュータプログラムを実行することにより実現される。提示部４４及び通知部４５の機能の詳細については後述される。

記憶部４３は、情報処理部４２が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報が記憶される記憶装置である。記憶部４３は、例えば、半導体メモリによって実現される。

情報端末５０は、ユーザが所有する情報端末である。ユーザはサーバ装置４０から通知を受けるために情報端末５０を使用する。情報端末５０は、例えば、スマートフォンまたはタブレット端末などの携帯型の情報端末であるが、パーソナルコンピュータなどの据え置き型の情報端末であってもよい。

［動作例１］
次に、入出庫管理システム１０の動作例１として、食品の入庫または出庫の管理動作について説明する。図３は、入出庫管理システム１０の動作例１のフローチャートである。

まず、判定部３８は、測距部３２の計測結果に基づいて、２つのドア２２の少なくとも一方が開いたと判定すると（Ｓ１１）、撮像部３１を起動し、撮像部３１による動画の撮像を開始する（Ｓ１２）。図４は、撮像部３１によって撮像される動画の一例を示す図である。図４に示されるように、撮像部３１の撮像範囲には、本体部２１の一部（言い換えれば、第一収納室２３の一部）と、２つのドア２２の一部とが含まれる。なお、図４には、食品の入庫判定、または、食品の出庫判定に用いられる境界線（太線）も合わせて図示されているが、この境界線は撮像部３１によって撮像されるものではなく、仮想的なものである。

次に、設定部３７は、動画において本体部２１及びドア２２の輪郭に沿う境界線を設定する（Ｓ１３）。本体部２１及びドア２２の輪郭に沿う境界線とは、厳密な意味ではなく、おおむね本体部２１及びドア２２の輪郭に沿うことを意味する。例えば、図４に示されるように、ユーザから見て右側のドア２２に対して、点Ｒ１、点Ｒ２、及び、点Ｒ３の３点が規定され、ユーザから見て左側のドア２２に対して境界線は、点Ｌ１、点Ｌ２、及び、点Ｌ３が規定される。境界線は、これら６つの点を結んだ折れ線に設定される。境界線は、動画内における冷蔵庫２０と床面との境界を示しているともいえる。

なお、設定部３７は、ドア２２の開き具合に応じて境界線を動的に変更する。図５は、図４よりもドア２２が大きく開いているときの境界線を示す図である。このようにドア２２の開き具合に応じて境界線を動的に変更するために、記憶部３４には、境界線を設定するための設定情報があらかじめ記憶される。図６は、設定情報の一例を示す図である。図６の設定情報中の数値は、説明のための仮の数値である。

図６の設定情報においては、測距部３２から右側のドア２２までの距離と、点Ｒ１、点Ｒ２、及び、点Ｒ３の座標とが対応付けられ、測距部３２から左側のドア２２までの距離と点Ｌ１、点Ｌ２、及び、点Ｌ３の座標とが対応付けられている。設定部３７は、設定情報において、測距部３２の計測結果に該当する点Ｒ１、点Ｒ２、点Ｒ３、点Ｌ１、点Ｌ２、及び、点Ｌ３の座標を特定し、特定した座標を結んだ折れ線を境界線として設定することができる。なお、図６の設定情報においては、ドア２２の開き具合が４段階に区分されているが、５段階以上に区分されていてもよいし、３段階以下に区分されていてもよい。

このように、設定部３７は、ドア２２の開き具合に応じて、設定情報によってあらかじめ定められた複数の境界線候補のうちの１つを境界線として設定することができる。なお、設定部３７は、例えば、直近のＮ個（Ｎは自然数）の計測結果（データ）の平均値及び分散を求め、分散が所定値以下の場合のみ、その平均値を有効な距離として採用する。

次に、追尾部３９は、動画に映る食品を検出し（Ｓ１４）、検出した食品を追尾する（Ｓ１５）。食品の検出には、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などの既存の各種アルゴリズムが用いられる。追尾部３９は、例えば、ステップＳ１４で検出された食品（以下、追尾対象とも記載される）が映るフレーム（以下、前フレームとも記載される）の次のフレーム（現フレームとも記載される）においても食品を検出する。追尾部３９は、現フレームに映る食品のうち、前フレームにおける追尾対象の位置に対して最も近い場所にある食品を追尾対象の移動先として決定する。このような処理を繰り返すことにより、追尾部３９は、ステップＳ１４において検出された食品を追尾することができる。

なお、追尾部３９は、さらに、ステップＳ１４で検出された食品の画像特徴量を抽出し、画像特徴量を補助的な情報として用いて食品の追尾を行ってもよい。追尾部３９は、例えば、現フレームにおいて検出された食品の追尾対象からの距離、及び、現フレームにおいて検出された画像特徴量の追尾対象との類似度に基づいて、追尾対象の移動先を決定してもよい。これにより、食品の追尾精度の向上を図ることができる。

また、このような食品の追尾の方法は一例であり、食品の追尾には、既存の他のアルゴリズムが用いられてもよい。

次に、判定部３８は、食品の入庫判定、または、食品の出庫判定を行う（Ｓ１６）。判定部３８は、動画において、追尾中の食品が冷蔵庫２０側から室内側へ移動して境界線を越えた場合に、当該食品が出庫されたと判定する。また、判定部３８は、動画において、追尾中の食品が室内側から冷蔵庫２０側へ移動して境界線を越えた場合に、当該食品が入庫されたと判定する。

なお、冷蔵庫２０の右側のドア２２が閉じている場合、追尾中の食品が右側のドア２２に対して定められた境界線を越えることはないので、右側のドア２２に対して定められた境界線を用いた判定は行われない。冷蔵庫２０の左側のドア２２が閉じている場合、追尾中の食品が左側のドア２２に対して定められた境界線を越えることはないので、右側のドア２２に対して定められた境界線を用いた判定は行われない。

次に、判定部３８は、入庫または出庫された食品の種別を判定する（Ｓ１７）。判定部３８は、例えば、機械学習モデルを用いて食品の種別を判定する。食品の種別とは、例えば、飲料、野菜、食肉などであるが、これよりも細かい種別であってもよい。なお、食品の種別は、ステップＳ１４における食品の検出時に合わせて判定されてもよく、この場合、ステップＳ１７は省略可能である。

次に、判定部３８は、ステップＳ１６及びステップＳ１７の判定結果に基づいて、記憶部３４に記憶された食品管理情報を更新する（Ｓ１８）。図７は、食品管理情報の一例を示す図である。食品管理情報は、冷蔵庫２０内に収納されている食品の内訳を示す情報である。図７に示されるように、食品管理情報においては、例えば、食品の種別と、数量とが対応付けられている。判定部３８は、例えば、ステップＳ１６及びステップＳ１７において飲料が出庫されたと判定した場合には、食品管理情報における飲料の数量を１つ減らす。また、判定部３８は、ステップＳ１６及びステップＳ１７において野菜が入庫されたと判定した場合には、食品管理情報における野菜の数量を１つ増やす。

その後、測距部３２の計測結果に基づいて、判定部３８により２つのドア２２の両方が閉じたと判定されると（Ｓ１９）、動作は終了となる。

以上説明したように、入出庫管理システム１０（入出庫管理装置３０）は、動画において本体部２１及びドア２２の輪郭に沿う境界線を設定し、動画に映る食品が設定された境界線を超えるか否かに基づいて、食品の冷蔵庫２０へ入出庫（食品の冷蔵庫２０への入庫、または、食品の冷蔵庫２０からの出庫）を判定する。入出庫管理システム１０は、本体部２１及びドア２２の輪郭に沿う境界線を設定することで、輪郭に無関係な境界線が設定される場合に比べて、食品の冷蔵庫２０への入出庫の判定精度を向上することができる。入出庫管理システム１０は、特に、ドアポケット２２ａに対する食品の入出庫を正確に判定することができる。

なお、本体部２１及びドア２２の輪郭に沿う境界線の設定方法は、上述の方法に限定されない。例えば、設定部３７は、動画に対して画像処理を行うことにより、境界線を設定してもよい。設定部３７は、具体的には、動画に対してエッジ検出を行うことで本体部２１及びドア２２の輪郭を抽出し、抽出した輪郭を境界線として使用することができる。

あるいは、図８に示されるように、ドア２２もしくはドアポケット２２ａの撮像部３１の撮像領域に入る部分にマーカ２７が設けられていれば、設定部３７は、マーカ２７の移動する軌跡及び停止位置を検出することで、ドア２２の開き具合を検出することができる。図８は、ドアポケット２２ａにマーカ２７が設けられている場合に撮像部３１によって撮像される動画の一例を示す図である。この場合、設定部３７は、検出したドア２２の開き具合に応じて、設定情報によってあらかじめ定められた複数の境界線候補のうちの１つを境界線として設定することができる。

また、ステップＳ１７において食品の種別の判定に失敗した場合、つまり、食品の種別が判定不可能である場合に、判定部３８は、報知部３６を用いて食品の種別が判定不可能であることを報知してもよい。例えば、報知部３６がスピーカによって実現される場合、報知部３６は、食品の種別が判定不可能であることを示す音声メッセージ等を出力する。報知部３６が発光素子によって実現される場合、報知部３６は、発光により食品の種別が判定不可能であることを報知する。

このように、食品の種別の判定に失敗した場合にその旨が報知されれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。

［動作例２］
次に、入出庫管理システム１０の動作例２として、冷蔵庫２０内に収納された食品の提示動作について説明する。図９は、入出庫管理システム１０の動作例２のシーケンス図である。

入出庫管理装置３０の通信部３５は、食品管理情報をサーバ装置４０へ送信する（Ｓ２１）。サーバ装置４０の通信部４１は、食品管理情報を受信し、提示部４４は、受信された食品管理情報を記憶部４３に記憶する（Ｓ２２）。入出庫管理装置３０の通信部３５は、例えば、食品の入庫判定または出庫判定が行われるごとに食品管理情報をサーバ装置４０へ送信する。あるいは、入出庫管理装置３０の通信部３５は、開いたドア２２が閉じられるごとに食品管理情報をサーバ装置４０へ送信する。これにより、最新の食品管理情報がサーバ装置４０の記憶部４３に記憶される。なお、食品管理情報は、所定時間に１回など定期的に入出庫管理装置３０からサーバ装置４０へ送信されてもよい。

一方、ユーザは、外出先などから情報端末５０に対して冷蔵庫２０内に収納された食品（食品管理情報の内容）を確認するための所定の操作を行うと、情報端末５０はこのような所定の操作を受け付け（Ｓ２３）、受け付けられた所定の操作に基づいて、提示要求をサーバ装置４０へ送信する（Ｓ２４）。

サーバ装置４０の通信部４１は、提示要求を受信する。提示部４４は、受信された提示要求に基づいて、記憶部４３に記憶された食品管理情報の内容を提示するための提示情報を情報端末５０へ送信する（Ｓ２５）。提示情報の送信は、より具体的には、通信部４１によって行われる。

情報端末５０は、提示情報を受信し、受信した提示情報に基づいて、食品管理情報の内容を示す表示画面を情報端末５０が備える表示部に表示する（Ｓ２６）。図１０は、食品管理情報の内容を示す表示画面の一例を示す図である。

このように、入出庫管理システム１０のユーザは、外出先などから自宅の冷蔵庫２０に収納された食品を確認することができる。

［動作例３］
次に、入出庫管理システム１０の動作例３として、ユーザが自宅に不在時に冷蔵庫２０へ食品の入出庫が行われたことの通知動作について説明する。図１１は、入出庫管理システム１０の動作例３のシーケンス図である。

入出庫管理装置３０の通信部３５は、例えば、食品の入庫判定または出庫判定が行われるごとに入出庫情報をサーバ装置４０へ送信する（Ｓ３１）。入出庫情報は、冷蔵庫２０へ食品が出し入れされたことを示す情報の一例である。

サーバ装置４０の通信部４１は、入出庫情報を受信し、通知部４５は、ユーザが自宅に不在であるか否かを判定する（Ｓ３２）。言い換えれば、通知部４５は、ユーザが冷蔵庫２０の周辺に不在である期間に入出庫情報が受信されたか否かを判定する。

例えば、情報端末５０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールなどの位置計測部を有し、定期的に位置情報をサーバ装置４０へ送信する。この場合、通知部４５は、受信された位置情報に基づいて、ユーザが自宅に不在であるか否かを判定することができる。なお、ユーザの自宅の位置（座標）は、あらかじめ記憶部４３に登録される。

また、位置情報を使用する方法に代えて、ユーザは、情報端末５０を操作することによりサーバ装置４０に自宅に不在であることを申告してもよい。この場合、通知部４５は、上記申告に基づく不在モードの動作中であることを、ユーザが自宅に不在であるとみなすことができる。

通知部４５は、ユーザが自宅に不在であると判定すると、通知情報を情報端末５０へ送信する（Ｓ３３）。通知情報の送信は、より具体的には、通信部４１によって行われる。

情報端末５０は、通知情報を受信し、受信した通知情報に基づいて通知画面を表示する（Ｓ３４）。図１２は、通知画面の一例を示す図である。一方、ステップＳ３２においてユーザが自宅にいる（不在ではない）と判定された場合、ステップＳ３３及びステップＳ３４の処理は行われない。

このように、入出庫管理システム１０は、ユーザが冷蔵庫２０の周辺に不在である期間に、冷蔵庫２０へ物体が入庫されたこと、または、冷蔵庫から物体が出庫されたことを示す入出庫情報が受信された場合に、ユーザが所有する情報端末５０へ通知を行う。これにより、ユーザは、冷蔵庫２０の周辺に不在である期間に冷蔵庫２０へ食品が出し入れされたことを認識することができる。

［変形例］
上記実施の形態では、境界線の設定（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理は、入出庫管理装置３０によって行われたが、サーバ装置４０によって行われてもよい。図１３は、このような変形例に係る入出庫管理システムの機能構成を示すブロック図である。

図１３に示されるように、入出庫管理システム１０ａは、冷蔵庫２０と、入出庫管理装置３０ａと、サーバ装置４０ａと、情報端末５０とを備える。入出庫管理システム１０との違いは、入出庫管理装置３０ａではなく、サーバ装置４０ａ（より詳細には情報処理部４２）が設定部４６、判定部４７、及び、追尾部４８を備えている点である。設定部４６は、設定部３７と実質的に同一の機能を有する構成要素であり、判定部４７は、判定部３８と実質的に同一の機能を有する構成要素であり、追尾部４８は、追尾部３９と実質的に同一の機能を有する構成要素である。

このような入出庫管理システム１０ａにおいては、サーバ装置４０ａは、測距部３２の計測結果、及び、撮像部３１によって撮像された動画などを入出庫管理装置３０ａから取得することで、境界線の設定（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理を行うことができる。

なお、境界線の設定（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理は、一部が入出庫管理装置３０ａによって行われ、他の一部がサーバ装置４０ａによって行われてもよい。

［その他の変形例］
上記実施の形態において、冷蔵庫２０は、一般家庭用の冷蔵庫であってもよいし、コンビニエンスストアなどの小売店で用いられる商品展示用の冷蔵庫であってもよいし、その他の業務用の冷蔵庫であってもよい。

また、冷蔵庫２０内に単一種別の食品が収納されるような場合には、食品の種別の判定は行われなくてもよい。

また、冷蔵庫２０は、収納庫の一例であり、本開示は、冷蔵機能を有しない他の収納庫としても実現できる。また、収納庫に収納される物品（言い換えれば、物体）は、食品に限定されず、その他の物品であってもよい。冷蔵庫２０に食品以外の物品が収納されるような場合も考えられる。

［効果等］
以上説明したように、入出庫管理装置３０は、本体部２１、及び、本体部２１に取り付けられたドア２２を有する冷蔵庫２０のドア２２が開いた状態の複数の画像を冷蔵庫２０の上方から撮像する撮像部３１と、複数の画像において本体部２１及びドア２２の輪郭に沿う境界線を設定する設定部３７と、複数の画像に映る物体が設定された境界線を超えて移動したか否かに基づいて、物体の冷蔵庫２０への入庫または物体の冷蔵庫からの出庫を判定する判定部３８とを備える。冷蔵庫２０は、収納庫の一例である。

このような入出庫管理装置３０は、本体部２１及びドア２２の輪郭に無関係な境界線が設定される場合に比べて、物体の冷蔵庫２０への入出庫の判定精度の向上を図ることができる。

また、例えば、設定部３７は、ドア２２の開き具合に応じて、あらかじめ定められた複数の境界線候補のうちの１つを境界線として設定する。

このような入出庫管理装置３０は、あらかじめ定められた複数の境界線候補のうちの１つを境界線として設定することができる。

また、例えば、設定部３７は、複数の画像に対して画像処理を行うことにより、境界線を設定する。

このような入出庫管理装置３０は、複数の画像に対して画像処理を行うことにより、境界線を設定することができる。

また、例えば、判定部３８は、さらに、物体の種別を判定する。入出庫管理装置３０は、さらに、物体の種別が判定不可能である場合に報知を行う報知部３６を備える。

このような入出庫管理装置３０の報知によれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。

また、例えば、撮像部３１は、冷蔵庫２０に後付け可能な構造を有する。

このような撮像部３１は、冷蔵庫２０に後付けすることができる。

また、入出庫管理システム１０は、入出庫管理装置３０と、サーバ装置４０とを備える。サーバ装置４０は、冷蔵庫２０へ物体が入庫されたこと、または、冷蔵庫２０から物体が出庫されたことを示す入出庫情報を入出庫管理装置３０から受信する通信部４１と、冷蔵庫２０のユーザが冷蔵庫２０の周辺に不在である期間に入出庫情報が受信された場合に、ユーザが所有する情報端末５０へ通知を行う通知部４５とを備える。

このような入出庫管理システム１０の通知によれば、ユーザは、冷蔵庫２０の周辺に不在である期間に冷蔵庫２０へ食品が出し入れされたことを認識することができる。

また、入出庫管理システム１０は、本体部２１、及び、本体部２１に取り付けられたドア２２を有する冷蔵庫２０のドア２２が開いた状態の複数の画像を冷蔵庫２０の上方から撮像する撮像部３１と、複数の画像において本体部２１及びドア２２の輪郭に沿う境界線を設定する設定部３７と、複数の画像に映る物体が設定された境界線を超えて移動したか否かに基づいて、物体の冷蔵庫２０への入庫または物体の冷蔵庫からの出庫を判定する判定部３８とを備える。入出庫管理システム１０ａのように、設定部３７及び判定部３８（設定部４６及び判定部４７）は、サーバ装置４０ａによって備えられる場合もある。

このような入出庫管理システム１０は、本体部２１及びドア２２の輪郭に無関係な境界線が設定される場合に比べて、物体の冷蔵庫２０への入出庫の判定精度の向上を図ることができる。

また、入出庫管理システム１０などのコンピュータが実行する入出庫管理方法は、本体部２１、及び、本体部２１に取り付けられたドア２２を有する冷蔵庫２０のドア２２が開いた状態の複数の画像を冷蔵庫２０の上方から撮像する撮像ステップと、複数の画像において本体部２１及びドア２２の輪郭に沿う境界線を設定する設定ステップと、複数の画像に映る物体が設定された境界線を超えて移動したか否かに基づいて、物体の冷蔵庫２０への入庫または物体の冷蔵庫からの出庫を判定する判定ステップとを含む。

このような入出庫管理方法は、本体部２１及びドア２２の輪郭に無関係な境界線が設定される場合に比べて、物体の冷蔵庫２０への入出庫の判定精度の向上を図ることができる。

（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。

例えば、上記実施の形態では、入出庫管理システムは、複数の装置によって実現されたが、単一の装置によって実現されてもよい。例えば、入出庫管理システムは、上記実施の形態の入出庫管理装置に相当する単一の装置として実現されてもよいし、サーバ装置に相当する単一の装置として実現されてもよい。入出庫管理システムが複数の装置によって実現される場合、入出庫管理システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。

また、例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置が介在してもよい。また、上記実施の形態で説明された情報の伝達経路は、シーケンス図に示される伝達経路に限定されない。

例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

例えば、本開示は、コンピュータによって実行される物体の入出庫管理方法として実現されてもよいし、入出庫管理方法をコンピュータに実行させるためのプログラムとして実現されてもよい。本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

１０、１０ａ 入出庫管理システム
２０ 冷蔵庫（収納庫）
２１ 本体部
２２ ドア
２２ａ ドアポケット
２３ 第一収納室
２４ 棚
２６ 第二収納室
３０、３０ａ 入出庫管理装置
３１ 撮像部
３２ 測距部
３３、４２ 情報処理部
３４、４３ 記憶部
３５、４１ 通信部
３６ 報知部
３７、４４ 設定部
３８、４７ 判定部
３９、４８ 追尾部
４０、４０ａ サーバ装置（通知装置）
４４ 提示部
４５ 通知部
５０ 情報端末
６０ 広域通信ネットワーク

Claims (10)

1. 本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、
   前記複数の画像において境界線を設定する設定部と、
   前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備え、
   前記設定部は、前記本体部及び前記ドアの輪郭に沿う線を前記境界線として設定し、
   前記境界線には、前記ドアの輪郭に沿う折れ線が含まれる、
   入出庫管理装置。
2. 前記設定部は、少なくとも３つの点を規定し、前記少なくとも３つの点を結んだ線を前記折れ線として設定する、
   請求項１に記載の入出庫管理装置。
3. 前記設定部は、前記ドアの開き具合に応じて、あらかじめ定められた複数の境界線候補のうちの１つを前記境界線として設定する、
   請求項１または２に記載の入出庫管理装置。
4. 前記設定部は、前記複数の画像に対して前記ドアの輪郭を抽出する画像処理を行い、抽出された前記輪郭に基づいて前記境界線を設定する、
   請求項１に記載の入出庫管理装置。
5. 前記設定部は、前記画像処理としてエッジ検出処理を用いて前記輪郭を抽出する、
   請求項４に記載の入出庫管理装置。
6. 前記判定部は、さらに、前記物体の種別を判定し、
   前記入出庫管理装置は、さらに、前記物体の種別が判定不可能である場合に報知を行う報知部を備える、
   請求項１～５のいずれか１項に記載の入出庫管理装置。
7. 請求項１～６のいずれか１項に記載の入出庫管理装置と、
   通知装置と、を備え、
   前記通知装置は、
   前記収納庫へ前記物体が入庫されたこと、または、前記収納庫から前記物体が出庫されたことを示す情報を前記入出庫管理装置から受信する通信部と、
   前記収納庫のユーザが前記収納庫の周辺に不在である期間に前記情報が受信された場合に、前記ユーザが所有する情報端末へ通知を行う通知部とを備える、
   入出庫管理システム。
8. 本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、
   前記複数の画像において境界線を設定する設定部と、
   前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備え、
   前記設定部は、前記本体部及び前記ドアの輪郭に沿う線を前記境界線として設定し、
   前記境界線には、前記ドアの輪郭に沿う折れ線が含まれる、
   入出庫管理システム。
9. 本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像ステップと、
   前記複数の画像において境界線を設定する設定ステップと、
   前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定ステップとを含み、
   前記設定ステップでは、前記本体部及び前記ドアの輪郭に沿う線を前記境界線として設定し、
   前記境界線には、前記ドアの輪郭に沿う折れ線が含まれる、
   入出庫管理方法。
10. 請求項９に記載の入出庫管理方法をコンピュータに実行させるためのプログラム。

Images