JP7482410B2 - 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 - Google Patents

入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 Download PDF

Info

Publication number
JP7482410B2
JP7482410B2 JP2023502415A JP2023502415A JP7482410B2 JP 7482410 B2 JP7482410 B2 JP 7482410B2 JP 2023502415 A JP2023502415 A JP 2023502415A JP 2023502415 A JP2023502415 A JP 2023502415A JP 7482410 B2 JP7482410 B2 JP 7482410B2
Authority
JP
Japan
Prior art keywords
storage
unit
food
door
storage structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023502415A
Other languages
English (en)
Other versions
JPWO2022181573A5 (ja
JPWO2022181573A1 (ja
Inventor
渉 須田
拓 仮屋崎
和寛 持永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2022181573A1 publication Critical patent/JPWO2022181573A1/ja
Publication of JPWO2022181573A5 publication Critical patent/JPWO2022181573A5/ja
Application granted granted Critical
Publication of JP7482410B2 publication Critical patent/JP7482410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Description

本開示は、入出庫管理装置、入出庫管理システム、及び、入出庫管理方法に関する。
従来、物体が収納される収納庫に関する技術が提案されている。特許文献１には、冷蔵庫の入出庫管理システムが開示されている。特許文献１に開示された入出庫管理システムは、学習モデルを用いて冷蔵庫への物体の入出庫を判定する。この学習モデルは、冷蔵庫に設けられたセンサにより取得された情報が入力されると入出庫の判定結果を出力する。
特開２０２０－４１７６１号公報
本開示は、収納庫内の物体の収納位置を管理することができる入出庫管理装置、入出庫管理システム、及び、入出庫管理方法を提供する。
本開示の一態様に係る入出庫管理装置は、第一収納構造、及び、前記第一収納構造と上下方向の位置が異なる第二収納構造を有する収納庫へ物体が出し入れされるときの様子を示す複数の画像であって前記第一収納構造及び前記第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を前記収納庫の上方から撮像する撮像部と、前記複数の画像における前記マーカの見え隠れに基づいて、前記物体の収納位置を判定する判定部とを備える。
本開示の一態様に係る入出庫管理システムは、第一収納構造、及び、前記第一収納構造と上下方向の位置が異なる第二収納構造を有する収納庫へ物体が出し入れされるときの様子を示す複数の画像であって前記第一収納構造及び前記第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を前記収納庫の上方から撮像する撮像部と、前記複数の画像における前記マーカの見え隠れに基づいて、前記物体の収納位置を判定する判定部とを備える。
本開示の一態様に係る入出庫管理方法は、第一収納構造、及び、前記第一収納構造と上下方向の位置が異なる第二収納構造を有する収納庫へ物体が出し入れされるときの様子を示す複数の画像であって前記第一収納構造及び前記第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を前記収納庫の上方から撮像する撮像ステップと、前記複数の画像における前記マーカの見え隠れに基づいて、前記物体の収納位置を判定する判定ステップとを含む。
本開示の一態様に係る入出庫管理装置、入出庫管理システム、及び、入出庫管理方法は、収納庫内の物体の収納位置を管理することができる。
図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。 図２は、実施の形態に係る入出庫管理システムが備える冷蔵庫及び入出庫管理装置の外観図である。 図３は、実施の形態に係る入出庫管理システムの動作例１のフローチャートである。 図４は、撮像部によって撮像される動画の一例を示す図である。 図５は、食品管理情報の一例を示す図である。 図６は、上の棚に食品が入庫される場合の判定方法を説明するための図である。 図７は、下の棚に食品が入庫される場合の判定方法を説明するための図である。 図８は、撮像部によって撮像される、冷蔵庫の引き出しが引き出された状態の動画を示す図である。 図９は、実施の形態に係る入出庫管理システムの動作例２のシーケンス図である。 図１０は、食品管理情報の内容を示す表示画面の一例を示す図である。 図１１は、実施の形態に係る入出庫管理システムの動作例３のシーケンス図である。 図１２は、通知画面の一例を示す図である。 図１３は、変形例に係る入出庫管理システムの機能構成を示すブロック図である。 図１４は、領域マーカの設定例を示す図である。 図１５は、ドアポケットに収納容器に入った食品が収納された状態を示す図である。 図１６は、冷蔵庫のドアが開いた状態を示す第一の図である。 図１７は、冷蔵庫のドアが開いた状態を示す第二の図である。 図１８は、設定情報の一例を示す図である。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
（実施の形態）
［構成］
まず、実施の形態に係る入出庫管理システムの構成について説明する。図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。
図１に示される入出庫管理システム１０は、冷蔵庫２０内に収納された食品を管理するためのシステムである。入出庫管理システム１０は、冷蔵庫２０と、入出庫管理装置３０と、サーバ装置４０と、情報端末５０とを備える。
冷蔵庫２０は、収納庫の一例であり、ユーザの自宅などに設置され、食品を冷蔵する。図２は、冷蔵庫２０（及び入出庫管理装置３０）の外観図である。図２に示されるように、冷蔵庫２０は、本体部２１と、本体部２１内の第一収納室２３へアクセスするためのドア２２と、第一収納室２３に設けられた複数の棚２４と、引き出し２５とを備える。ドア２２が開けられれば、冷蔵庫２０は、複数の棚２４のそれぞれに食品を載置する（つまり、第一収納室２３に食品を収納する）ことができる状態となる。また、ドア２２が開けられれば、冷蔵庫２０は、ドア２２の内側に設けられたドアポケット２２ａに食品を収納することができる状態となる。また、引き出し２５が開けられれば、冷蔵庫２０は、引き出し２５内の第二収納室２６に食品を収納することができる状態となる。図２の例では、冷蔵庫２０は、第一収納室２３を覆うドア２２を２つ備えているが、第一収納室２３を覆うドア２２は１つであってもよい。
入出庫管理装置３０は、例えば、冷蔵庫２０の上面に取り付けられ、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。入出庫管理装置３０は、例えば、既存の冷蔵庫２０に後付けされるが、冷蔵庫２０に内蔵されてもよい。つまり、入出庫管理装置３０は、冷蔵庫２０と別体の装置であってもよいし、冷蔵庫２０と一体的に製造された装置であってもよい。図１に示されるように、入出庫管理装置３０は、撮像部３１と、測距部３２と、情報処理部３３と、記憶部３４と、通信部３５と、報知部３６とを備える。
撮像部３１は、冷蔵庫２０へ食品が出し入れされるときの様子を示す動画を、冷蔵庫２０の上方から撮像する。つまり、撮像部３１は、例えば、ドア２２が開いた状態の冷蔵庫２０の動画を、冷蔵庫２０の上方から撮像する。動画には、ドア２２、ドアポケット２２ａ、第一収納室２３、棚２４、引き出し２５、及び、冷蔵庫２０の前方の室内空間の床などが撮像対象として含まれる。撮像部３１は、例えば、魚眼レンズを有するカメラによって実現されるが、通常のレンズを有するカメラによって実現されてもよい。
なお、撮像部３１は、冷蔵庫２０へ物体が出し入れされるときの様子を、あらかじめ設定された時間間隔で撮像することで複数の画像（静止画）を生成してもよく、必ずしも動画を撮像する必要はない。また、撮像部３１は、入出庫管理装置３０の筐体に取り付けられているが、入出庫管理装置３０の筐体から離れて冷蔵庫２０に取り付けられてもよい。つまり、撮像部３１は、冷蔵庫２０に後付けされてもよい。この場合、撮像部３１は、冷蔵庫２０に後付け可能な構造として、磁石、吸盤、または、クリップなどを有する。
測距部３２は、冷蔵庫２０の上部において、測距部３２からドア２２までの距離を計測する。つまり、測距部３２は、ドア２２の開き具合を計測する。測距部３２は、例えば、赤外線測距センサによって実現される。測距部３２は、測距部３２から右側のドア２２までの距離、及び、測距部３２から左側のドア２２までの距離を個別に計測することができる。
なお、後述のように、測距部３２は、ドア２２の開閉を判定するために使用される。入出庫管理装置３０は、測距部３２に代えて、角度センサなどの、ドア２２の開閉を判定するための他のセンサを備えてもよい。また、ドア２２の開閉を判定するためのセンサは、冷蔵庫２０によって備えられてもよく、この場合、入出庫管理装置３０はドア２２の開閉を判定するためのセンサを備えていなくてもよい。
情報処理部３３は、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。情報処理部３３は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部３３は、機能的な構成要素として、判定部３７、追尾部３８、及び、設定部３９を有する。判定部３７、追尾部３８、及び、設定部３９の機能は、例えば、情報処理部３３を構成するマイクロコンピュータ等が記憶部３４に記憶されたコンピュータプログラムを実行することにより実現される。判定部３７、追尾部３８、及び、設定部３９の機能の詳細については後述される。
記憶部３４は、情報処理部３３が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報（後述の設定情報、及び、食品管理情報など）が記憶される記憶装置である。記憶部３４は、例えば、半導体メモリによって実現される。
通信部３５は、入出庫管理装置３０がサーバ装置４０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部３５は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。通信部３５が行う通信の通信規格については特に限定されない。
報知部３６は、冷蔵庫２０に出し入れされる食品の種別が判定不可能である場合に報知を行う。報知部３６は、例えば、スピーカまたはブザーなどによって実現され、出音により報知を行うが、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光素子によって実現され、発光により報知を行ってもよい。
サーバ装置４０は、冷蔵庫２０が設置された施設外に位置するコンピュータであり、具体的には、クラウドサーバである。サーバ装置４０は、冷蔵庫２０内に収納された食品に関する情報を提示するための情報処理を行う。また、サーバ装置４０は、通知装置の一例であり、冷蔵庫２０内に収納された食品に関する情報を通知するための情報処理を行う。サーバ装置４０は、通信部４１と、情報処理部４２と、記憶部４３とを備える。
通信部４１は、サーバ装置４０が入出庫管理装置３０及び情報端末５０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部４１は、例えば、有線通信を行う有線通信回路であるが、無線通信を行う無線通信回路であってもよい。通信部４１が行う通信の通信規格については特に限定されない。
情報処理部４２は、冷蔵庫２０内に収納された食品に関する情報を提示または通知するための情報処理を行う。情報処理部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部４２は、機能的な構成要素として、提示部４４及び通知部４５を有する。提示部４４及び通知部４５の機能は、例えば、情報処理部４２を構成するマイクロコンピュータ等が記憶部４３に記憶されたコンピュータプログラムを実行することにより実現される。提示部４４及び通知部４５の機能の詳細については後述される。
記憶部４３は、情報処理部４２が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報が記憶される記憶装置である。記憶部４３は、例えば、半導体メモリによって実現される。
情報端末５０は、ユーザが所有する情報端末である。ユーザはサーバ装置４０から通知を受けるために情報端末５０を使用する。情報端末５０は、例えば、スマートフォンまたはタブレット端末などの携帯型の情報端末であるが、パーソナルコンピュータなどの据え置き型の情報端末であってもよい。
［動作例１］
次に、入出庫管理システム１０の動作例１として、食品の入庫または出庫の管理動作について説明する。図３は、入出庫管理システム１０の動作例１のフローチャートである。
まず、判定部３７は、測距部３２の計測結果に基づいて、２つのドア２２の少なくとも一方が開いたと判定すると（Ｓ１１）、撮像部３１を起動し、撮像部３１による動画の撮像を開始する（Ｓ１２）。図４は、撮像部３１によって撮像される動画の一例を示す図である。図４に示されるように、撮像部３１の撮像範囲には、本体部２１（第一収納室２３）と、２つのドア２２の内側（ドアポケット２２ａ）と、第一収納室２３に設けられた上の棚２４ａ及び下の棚２４ｂとが含まれる。なお、図４には、食品の入庫判定、または、食品の出庫判定に用いられる境界線（破線）も合わせて図示されている。この境界線は、撮像部３１によって撮像されるものではなく、仮想的なものである。
次に、追尾部３８は、動画に映る食品を検出し（Ｓ１３）、検出した食品を追尾する（Ｓ１４）。食品の検出には、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などの既存の各種アルゴリズムが用いられる。追尾部３８は、例えば、ステップＳ１３で検出された食品（以下、追尾対象とも記載される）が映るフレーム（以下、前フレームとも記載される）の次のフレーム（現フレームとも記載される）においても食品を検出する。追尾部３８は、現フレームに映る食品のうち、前フレームにおける追尾対象の位置に対して最も近い場所にある食品を追尾対象の移動先として決定する。このような処理を繰り返すことにより、追尾部３８は、ステップＳ１３において検出された食品を追尾することができる。
なお、追尾部３８は、さらに、ステップＳ１３で検出された食品の画像特徴量を抽出し、画像特徴量を補助的な情報として用いて食品の追尾を行ってもよい。追尾部３８は、例えば、現フレームにおいて検出された食品の追尾対象からの距離、及び、現フレームにおいて検出された画像特徴量の追尾対象との類似度に基づいて、追尾対象の移動先を決定してもよい。これにより、食品の追尾精度の向上を図ることができる。
また、このような食品の追尾の方法は一例であり、食品の追尾には、既存の他のアルゴリズムが用いられてもよい。
次に、判定部３７は、食品の入庫判定、または、食品の出庫判定を行う（Ｓ１５）。判定部３７は、動画において、追尾中の食品が冷蔵庫２０側から室内側へ移動して境界線を越えた場合に、当該食品が出庫されたと判定する。また、判定部３７は、動画において、追尾の食品が室内側から冷蔵庫２０側へ移動して境界線を越えた場合に、当該食品が入庫されたと判定する。なお、境界線は、経験的または実験的にあらかじめ定められる。
次に、判定部３７は、入庫または出庫された食品の種別を判定する（Ｓ１６）。判定部３７は、例えば、機械学習モデルを用いて食品の種別を判定する。食品の種別とは、例えば、飲料、野菜、食肉などであるが、これよりも細かい種別であってもよい。なお、食品の種別は、ステップＳ１３における食品の検出時に合わせて判定されてもよく、この場合、ステップＳ１６は省略可能である。
次に、判定部３７は、食品の収納位置を判定する（Ｓ１７）。図４に示されるように、判定部３７は、動画に映る、複数の第一マーカ２７ａ、複数の第二マーカ２７ｂ、及び、複数の第三マーカ２７ｃの見え隠れに基づいて、食品の収納位置を判定する。複数の第一マーカ２７ａは、上の棚２４ａに設けられており、複数の第二マーカ２７ｂは、下の棚２４ｂに設けられており、複数の第三マーカ２７ｃは、ドアポケット２２ａの底部に設けられている。ステップＳ１７における食品の収納位置の判定方法の詳細については後述する。
次に、判定部３７は、ステップＳ１５～ステップＳ１７の判定結果に基づいて、記憶部３４に記憶された食品管理情報を更新する（Ｓ１８）。図５は、食品管理情報の一例を示す図である。食品管理情報は、冷蔵庫２０内に収納されている食品の内訳を示す情報である。図５に示されるように、食品管理情報は、例えば、複数の収納位置のそれぞれにおける食品の種別と数量とを示す情報である。判定部３７は、例えば、ステップＳ１５～ステップＳ１７において上の棚２４ａから飲料が出庫されたと判定した場合には、食品管理情報における上の棚２４ａの飲料の数量を１つ減らす。また、判定部３７は、ステップＳ１５～ステップＳ１７において下の棚２４ｂに野菜が入庫されたと判定した場合には、食品管理情報における下の棚２４ｂの野菜の数量を１つ増やす。
その後、測距部３２の計測結果に基づいて、判定部３７により２つのドア２２の両方が閉じたと判定されると（Ｓ１９）、動作は終了となる。
以上説明したように、入出庫管理システム１０（入出庫管理装置３０）は、動画に映る食品が設定された境界線を超えるか否かに基づいて、食品の冷蔵庫２０へ入出庫（食品の冷蔵庫２０への入庫、または、食品の冷蔵庫２０からの出庫）を判定することができる。
なお、ステップＳ１６において食品の種別の判定に失敗した場合、つまり、食品の種別が判定不可能である場合に、判定部３７は、報知部３６を用いて食品の種別が判定不可能であることを報知してもよい。例えば、報知部３６がスピーカによって実現される場合、報知部３６は、食品の種別が判定不可能であることを示す音声メッセージ等を出力する。報知部３６が発光素子によって実現される場合、報知部３６は、発光により食品の種別が判定不可能であることを報知する。
このように、食品の種別の判定に失敗した場合にその旨が報知されれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。
［収納位置の判定方法の詳細１］
次に、上記ステップＳ１７における食品の収納位置の判定方法の詳細について説明する。まず、第一マーカ２７ａ、第二マーカ２７ｂ、及び、第三マーカ２７ｃについて説明する。
第一マーカ２７ａは、第一収納室２３の上の棚２４ａの上面に設けられた二次元コードである。複数の第一マーカ２７ａは、棚２４ａのユーザ側（冷蔵庫２０の前方側）に、冷蔵庫２０の幅方向に沿って並んで配置される。判定部３７は、動画を画像処理することで複数の第一マーカ２７ａをデジタルデータとして認識することができる。複数の第一マーカ２７ａは、例えば、互いに異なるデジタルデータを示すが、同一のデジタルデータを示してもよい。
第二マーカ２７ｂは、第一収納室２３の下の棚２４ｂの上面に設けられた二次元コードである。複数の第二マーカ２７ｂは、棚２４ｂのユーザ側（冷蔵庫２０の前方側）に、冷蔵庫２０の幅方向に沿って並んで配置される。判定部３７は、動画を画像処理することで複数の第二マーカ２７ｂをデジタルデータとして認識することができる。複数の第二マーカ２７ｂは、例えば、互いに異なるデジタルデータを示すが、同一のデジタルデータを示してもよい。
第三マーカ２７ｃは、ドアポケット２２ａの底部に設けられた二次元コードである。第三マーカ２７ｃは、１つのドアポケット２２ａに１つ設けられてもよいし、１つのドアポケット２２ａに複数設けられてもよい。判定部３７は、動画を画像処理することで複数の第三マーカ２７ｃをデジタルデータとして認識することができる。複数の第三マーカ２７ｃは、例えば、互いに異なるデジタルデータを示す。例えば、第三マーカ２７ｃは、ドア２２ごとに異なるデジタルデータを示してもよい。つまり、右側のドア２２に設けられた第三マーカ２７ｃと左側のドア２２に設けられた第三マーカ２７ｃとが異なるデジタルデータを示してもよい。また、第三マーカ２７ｃは、ドアポケット２２ａごとに異なるデジタルデータを示してもよい。
このような複数の第一マーカ２７ａ、複数の第二マーカ２７ｂ、及び、複数の第三マーカ２７ｃの配置は、あらかじめ記憶部３４に記憶されている。
次に、このような複数の第一マーカ２７ａ、複数の第二マーカ２７ｂ、及び、複数の第三マーカ２７ｃの見え隠れに基づく食品の収納位置の判定方法について説明する。図６は、上の棚２４ａに食品が入庫される場合の判定方法を説明するための図である。図６は、撮像部３１によって撮像された動画を示す図である。
図６に示されるように、上の棚２４ａに食品が入庫される場合には、上の棚２４ａに設けられた複数の第一マーカ２７ａのいずれかが少なくとも一時的に食品に隠れて見えなくなる。そこで、判定部３７は、食品が入庫されるときに第一マーカ２７ａが隠れた場合に、食品の収納位置が棚２４ａ上であると判定する。判定部３７は、食品が棚２４ａに載置された後に第一マーカ２７ａが見えていても、食品が入庫される過程で第一マーカ２７ａが見えなくなったことに基づいて、入庫された食品の収納位置が棚２４ａ上であると判定する。判定部３７は、第二マーカ２７ｂが隠れたか否かに関わらず、第一マーカ２７ａが隠れた場合に、食品の収納位置が棚２４ａ上であると判定する。また、判定部３７は、複数の第一マーカ２７ａのいずれが隠れたかに基づいて、食品の収納位置が、棚２４ａ上のどの領域であるかを判定することもできる。
図示されないが、上の棚２４ａから食品が出庫される場合も同様である。判定部３７は、食品が出庫されるときに第一マーカ２７ａが隠れた場合に、食品の収納位置が棚２４ａ上であると判定する。判定部３７は、食品が出庫される過程で第一マーカ２７ａが見えなくなったことに基づいて、出庫された食品の収納位置が棚２４ａ上であったと判定する。
一方、図７は、下の棚２４ｂに食品が入庫される場合の判定方法を説明するための図である。図７は、撮像部３１によって撮像された動画を示す図である。図７に示されるように、下段の棚２４ｂに食品が入庫される場合には、上の棚２４ａに設けられた複数の第一マーカ２７ａは見えたままで、下段の棚２４ｂに設けられた複数の第二マーカ２７ｂのいずれかが少なくとも一時的に食品に隠れて見えなくなる。そこで、判定部３７は、食品が入庫されるときに第一マーカ２７ａが隠れず、かつ、第二マーカ２７ｂが隠れた場合に、食品の収納位置が棚２４ｂ上であると判定する。判定部３７は、食品が棚２４ｂに載置された後に第二マーカ２７ｂが見えていても、食品が入庫される過程で第二マーカ２７ｂが見えなくなったことに基づいて、入庫された食品の収納位置が棚２４ｂ上であると判定する。また、判定部３７は、複数の第二マーカ２７ｂのいずれが隠れたかに基づいて、食品の収納位置が、棚２４ｂ上のどの領域であるかを判定することもできる。
図示されないが、下段の棚２４ｂから食品が出庫される場合も同様である。判定部３７は、食品が出庫されるときに第一マーカ２７ａが隠れず、かつ、第二マーカ２７ｂが隠れた場合に、食品の収納位置が棚２４ｂ上であると判定する。判定部３７は、食品が出庫される過程で第二マーカ２７ｂが見えなくなったことに基づいて、出庫された食品の収納位置が棚２４ｂ上であったと判定する。
次に、ドアポケット２２ａに食品が入庫される場合の判定方法について説明する。ドアポケット２２ａに食品が入庫される場合、当該ドアポケット２２ａに設けられた第三マーカ２７ｃが食品に隠れて見えなくなる。そこで、判定部３７は、食品が入庫されるときに第三マーカ２７ｃが隠れた場合に、入庫された食品の収納位置が、隠れた第三マーカ２７ｃに対応するドアポケット２２ａであると判定する。上述のように、第三マーカ２７ｃがドア２２ごと、または、ドアポケット２２ａごとに異なるデジタルデータを示せば、判定部３７は、食品の収納位置をより詳細に判定することができる。
一方、ドアポケット２２ａから食品が出庫される場合、当該ドアポケット２２ａに設けられた第三マーカ２７ｃであって食品に隠れて見えなくなっていた第三マーカ２７ｃが出現する。そこで、判定部３７は、食品が出庫されるときに第三マーカ２７ｃが出現した場合に、出庫された食品の収納位置が、出現した第三マーカ２７ｃに対応するドアポケット２２ａであったと判定する。
以上説明したように、判定部３７は、動画におけるマーカの見え隠れに基づいて、食品の収納位置を判定することができる。判定部３７は、具体的には、食品の収納位置が棚２４ａ、棚２４ｂ、及び、ドアポケット２２ａのいずれであるかを判定することができる。
なお、予期しないパターンでマーカが見え隠れした場合には、判定部３７は、収納位置の判定に失敗する場合がある。そこで、報知部３６は、ステップＳ１７における食品の収納位置の判定に失敗した場合に報知を行ってもよい。このような報知によれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。
［収納位置の判定方法の詳細２］
判定部３７は、食品の収納位置が、ドア２２に覆われた第一収納室２３であるか、引き出し２５内の第二収納室２６であるかを判定することもできる。図８は、撮像部３１によって撮像される、冷蔵庫２０の引き出し２５が引き出された状態の動画を示す図である。
図８に示されるように、第四マーカ２７ｄは、引き出し２５の前板の上面に設けられた二次元コードである。複数の第四マーカ２７ｄは、冷蔵庫２０の幅方向に沿って並んで配置される。判定部３７は、動画を画像処理することで複数の第四マーカ２７ｄをデジタルデータとして認識することができる。複数の第四マーカ２７ｄは、例えば、互いに異なるデジタルデータを示すが、同一のデジタルデータを示してもよい。
判定部３７は、例えば、このような複数の第四マーカ２７ｄ、及び、複数の第二マーカ２７ｂの見え隠れに基づいて、食品の収納位置が、第一収納室２３であるか第二収納室２６であるかを判定することができる。なお、下記の判定方法の説明においては、複数の第二マーカ２７ｂは、第一収納室２３の底部（より具体的には、底面）に設けられているものとして説明が行われる。第二マーカ２７ｂは、第一収納室２３の底部の近くに設けられていればよく、例えば、上述のように棚２４ｂに設けられていてもよい。
例えば、第一収納室２３に食品が入庫される場合には、第一収納室２３の底面に設けられた複数の第二マーカ２７ｂのいずれかが少なくとも一時的に食品に隠れて見えなくなる。そこで、判定部３７は、食品が入庫されるときに第二マーカ２７ｂが隠れた場合に、食品の収納位置が第一収納室２３であると判定する。判定部３７は、食品が第一収納室２３に収納された後に第二マーカ２７ｂが見えていても、食品が入庫される過程で第二マーカ２７ｂが見えなくなったことに基づいて、入庫された食品の収納位置が第一収納室２３であると判定する。判定部３７は、第四マーカ２７ｄが隠れたか否かに関わらず、第二マーカ２７ｂが隠れた場合に、食品の収納位置が第一収納室２３であると判定する。また、判定部３７は、複数の第二マーカ２７ｂのいずれが隠れたかに基づいて、食品の収納位置が、第一収納室２３内のどの領域であるかを判定（推定）することもできる。
なお、第一収納室２３から食品が出庫される場合も同様である。判定部３７は、食品が出庫されるときに第二マーカ２７ｂが隠れた場合に、食品の収納位置が第一収納室２３であると判定する。判定部３７は、食品が出庫される過程で第二マーカ２７ｂが見えなくなったことに基づいて、出庫された食品の収納位置が第一収納室２３であったと判定する。
一方、第二収納室２６に食品が入庫される場合には、複数の第二マーカ２７ｂは見えたままで、複数の第四マーカ２７ｄのいずれかが少なくとも一時的に食品に隠れて見えなくなる。そこで、判定部３７は、食品が入庫されるときに第二マーカ２７ｂが隠れず、かつ、第四マーカ２７ｄが隠れた場合に、食品の収納位置が第二収納室２６であると判定する。判定部３７は、第二収納室２６に収納された後に第四マーカ２７ｄが見えていても、食品が入庫される過程で第四マーカ２７ｄが見えなくなったことに基づいて、入庫された食品の収納位置が第二収納室２６であると判定する。また、判定部３７は、複数の第四マーカ２７ｄのいずれが隠れたかに基づいて、食品の収納位置が、第二収納室２６内のどの領域であるかを判定（推定）することもできる。
なお、第二収納室２６から食品が出庫される場合も同様である。判定部３７は、食品が出庫されるときに第二マーカ２７ｂが隠れず、かつ、第四マーカ２７ｄが隠れた場合に、食品の収納位置が第二収納室２６であると判定する。判定部３７は、食品が出庫される過程で第四マーカ２７ｄが見えなくなったことに基づいて、出庫された食品の収納位置が第二収納室２６であったと判定する。
以上説明したように、判定部３７は、動画におけるマーカの見え隠れに基づいて、食品の収納位置が第一収納室２３であるか第二収納室２６であるかを判定することもできる。
［動作例２］
次に、入出庫管理システム１０の動作例２として、冷蔵庫２０内に収納された食品の提示動作について説明する。図９は、入出庫管理システム１０の動作例２のシーケンス図である。
入出庫管理装置３０の通信部３５は、食品管理情報をサーバ装置４０へ送信する（Ｓ２１）。サーバ装置４０の通信部４１は、食品管理情報を受信し、提示部４４は、受信された食品管理情報を記憶部４３に記憶する（Ｓ２２）。入出庫管理装置３０の通信部３５は、例えば、食品の入庫判定または出庫判定が行われるごとに食品管理情報をサーバ装置４０へ送信する。あるいは、入出庫管理装置３０の通信部３５は、開いたドア２２が閉じられるごとに食品管理情報をサーバ装置４０へ送信する。これにより、最新の食品管理情報がサーバ装置４０の記憶部４３に記憶される。なお、食品管理情報は、所定時間に１回など定期的に入出庫管理装置３０からサーバ装置４０へ送信されてもよい。
一方、ユーザは、外出先などから情報端末５０に対して冷蔵庫２０内に収納された食品（食品管理情報の内容）を確認するための所定の操作を行うと、情報端末５０はこのような所定の操作を受け付け（Ｓ２３）、受け付けられた所定の操作に基づいて、提示要求をサーバ装置４０へ送信する（Ｓ２４）。
サーバ装置４０の通信部４１は、提示要求を受信する。提示部４４は、受信された提示要求に基づいて、記憶部４３に記憶された食品管理情報の内容を提示するための提示情報を情報端末５０へ送信する（Ｓ２５）。提示情報の送信は、より具体的には、通信部４１によって行われる。
情報端末５０は、提示情報を受信し、受信した提示情報に基づいて、食品管理情報の内容を示す表示画面を情報端末５０が備える表示部に表示する（Ｓ２６）。図１０は、食品管理情報の内容を示す表示画面の一例を示す図である。
このように、入出庫管理システム１０のユーザは、外出先などから自宅の冷蔵庫２０に収納された食品を確認することができる。
［動作例３］
次に、入出庫管理システム１０の動作例３として、ユーザが自宅に不在時に冷蔵庫２０へ食品の入出庫が行われたことの通知動作について説明する。図１１は、入出庫管理システム１０の動作例３のシーケンス図である。
入出庫管理装置３０の通信部３５は、例えば、食品の入庫判定または出庫判定が行われるごとに入出庫情報をサーバ装置４０へ送信する（Ｓ３１）。入出庫情報は、冷蔵庫２０へ食品が出し入れされたことを示す情報の一例である。
サーバ装置４０の通信部４１は、入出庫情報を受信し、通知部４５は、ユーザが自宅に不在であるか否かを判定する（Ｓ３２）。言い換えれば、通知部４５は、ユーザが冷蔵庫２０の周辺に不在である期間に入出庫情報が受信されたか否かを判定する。
例えば、情報端末５０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールなどの位置計測部を有し、定期的に位置情報をサーバ装置４０へ送信する。この場合、通知部４５は、受信された位置情報に基づいて、ユーザが自宅に不在であるか否かを判定することができる。なお、ユーザの自宅の位置（座標）は、あらかじめ記憶部４３に登録される。
また、位置情報を使用する方法に代えて、ユーザは、情報端末５０を操作することによりサーバ装置４０に自宅に不在であることを申告してもよい。この場合、通知部４５は、上記申告に基づく不在モードの動作中であることを、ユーザが自宅に不在であるとみなすことができる。
通知部４５は、ユーザが自宅に不在であると判定すると、通知情報を情報端末５０へ送信する（Ｓ３３）。通知情報の送信は、より具体的には、通信部４１によって行われる。
情報端末５０は、通知情報を受信し、受信した通知情報に基づいて通知画面を表示する（Ｓ３４）。図１２は、通知画面の一例を示す図である。一方、ステップＳ３２においてユーザが自宅にいる（不在ではない）と判定された場合、ステップＳ３３及びステップＳ３４の処理は行われない。
このように、入出庫管理システム１０は、ユーザが冷蔵庫２０の周辺に不在である期間に、冷蔵庫２０へ物体が入庫されたこと、または、冷蔵庫から物体が出庫されたことを示す入出庫情報が受信された場合に、ユーザが所有する情報端末５０へ通知を行う。これにより、ユーザは、冷蔵庫２０の周辺に不在である期間に冷蔵庫２０へ食品が出し入れされたことを認識することができる。
［変形例１］
上記実施の形態では、食品の検出（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理は、入出庫管理装置３０によって行われたが、サーバ装置４０によって行われてもよい。図１３は、このような変形例１に係る入出庫管理システムの機能構成を示すブロック図である。
図１３に示されるように、入出庫管理システム１０ａは、冷蔵庫２０と、入出庫管理装置３０ａと、サーバ装置４０ａと、情報端末５０とを備える。入出庫管理システム１０との違いは、入出庫管理装置３０ａではなく、サーバ装置４０ａ（より詳細には情報処理部４２）が判定部４６及び追尾部４７を備えている点である。判定部４６は、判定部３７と実質的に同一の機能を有する構成要素であり、追尾部４７は、追尾部３８と実質的に同一の機能を有する構成要素である。
このような入出庫管理システム１０ａにおいては、サーバ装置４０ａは、測距部３２の計測結果、及び、撮像部３１によって撮像された動画などを入出庫管理装置３０ａから取得することで、食品の検出（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理を行うことができる。
なお、食品の検出（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理は、一部が入出庫管理装置３０ａによって行われ、他の一部がサーバ装置４０ａによって行われてもよい。
［変形例２］
上記実施の形態では、食品の上下方向の位置が棚２４ａに設けられた第一マーカ２７ａ、棚２４ｂに設けられた第二マーカ２７ｂ、及び、引き出し２５に設けられた第四マーカ２７ｄに基づいて、食品の上下方向の収納位置の判定が行われた。しかしながら、マーカに代えて、棚２４ａのエッジ、棚２４ｂのエッジ、及び、引き出し２５のエッジを用いて、食品の上下方向の収納位置の判定が行われてもよい。ここでのエッジは、冷蔵庫２０の開口部側（冷蔵庫２０の前に立つユーザ寄り）のエッジである。
エッジは、例えば、設定部３９が動画を画像処理することによって検出（設定）することができる。エッジの検出には、既存のどのようなアルゴリズムが用いられてもよい。また、エッジ（より具体的には、動画におけるエッジに相当する画素の位置）は、入出庫管理装置３０（撮像部３１）と冷蔵庫２０との位置関係が確定した後に、ユーザによって設定されてもよい。この場合、例えば、情報端末５０がユーザインタフェースとして用いられる。なお、情報端末５０は、広域通信ネットワーク６０を介して入出庫管理装置３０と通信するものとして説明されているが、ユーザインタフェースとして用いられる場合には、入出庫管理装置３０と局所通信ネットワークを介して通信してもよい。なお、エッジの検出（設定）に関する情報処理は、設定部３９によって行われる。
エッジを用いた食品の上下方向の収納位置の判定方法は、上記実施の形態で説明した方法と同様である。上記実施の形態における「マーカ」は、適宜、「エッジ」に読み替えられてよい。
つまり、入出庫管理装置３０は、第一収納構造、及び、第一収納構造と上下方向の位置が異なる第二収納構造を有する冷蔵庫２０へ物体が出し入れされるときの様子を示す複数の画像であって第一収納構造及び第二収納構造のそれぞれの冷蔵庫２０の開口部側のエッジが撮像対象として含まれる複数の画像を収納庫の上方から撮像する撮像部３１と、複数の画像におけるエッジの見え隠れに基づいて、物体の収納位置を判定する判定部３７とを備える。第一収納構造及び第二収納構造のそれぞれは、例えば、棚２４ａ、棚２４ｂ、及び、引き出し２５のいずれかである。
このような入出庫管理装置３０は、冷蔵庫２０内の物体の収納位置を管理することができる。
［変形例３：概要］
入出庫管理システム１０（入出庫管理装置３０）は、動画において本体部２１及びドア２２の輪郭に沿う境界線を設定し、動画に映る食品が設定された境界線を超えるか否かに基づいて、食品の冷蔵庫２０へ入出庫（食品の冷蔵庫２０への入庫、または、食品の冷蔵庫２０からの出庫）を判定してもよい。入出庫管理システム１０は、本体部２１及びドア２２の輪郭に沿う境界線を設定することで、輪郭に無関係な境界線が設定される場合に比べて、食品の冷蔵庫２０への入出庫の判定精度を向上することができる。入出庫管理システム１０は、特に、ドアポケット２２ａに対する食品の入出庫を正確に判定することができる。なお、境界線は、経験的または実験的にあらかじめ定められる。
同様に、入出庫管理システム１０（入出庫管理装置３０）は、動画において２つのドア２２の内側に設けられたドアポケット２２ａの底面を所定の領域に分割する領域マーカ２２ａ１、２２ａ２、２２ａ３を設定してもよい。図１４は、領域マーカ２２ａ１、２２ａ２、２２ａ３の設定例を示す図である。なお、図１４は、ドアポケット２２ａの底部を３つに分割した場合を示しているが、これに限定されない。
また、入出庫管理システム１０（入出庫管理装置３０）は、２つのドア２２の内側に設けられたドアポケット２２ａの底面を所定の領域に分割する領域マーカ２２ａ１、２２ａ２、２２ａ３を予め設定しておくこともできるが、ユーザにより設定することもできる。ユーザにより設定される場合、例えば、情報端末５０がユーザインタフェースとして用いられる。なお、情報端末５０は、広域通信ネットワーク６０を介して入出庫管理装置３０と通信するものとして説明されているが、ユーザインタフェースとして用いられる場合には、入出庫管理装置３０と局所通信ネットワークを介して通信してもよい。領域マーカ２２ａ１、２２ａ２、２２ａ３の設定に関する情報処理は、設定部３９によって行われる。なお、この領域マーカ２２ａ１、２２ａ２、２２ａ３は、撮像部３１によって撮像されるものではなく、仮想的なものである。
以下、領域マーカ２２ａ１、２２ａ２、２２ａ３を用いた動作例について説明する。動作例１のステップＳ１１及びステップＳ１２と同様に、判定部３７は、測距部３２の計測結果に基づいて、２つのドア２２の少なくとも一方が開いたと判定すると、撮像部３１を起動し、撮像部３１による動画の撮像を開始する。ここで、測距部３２は、例えば、赤外線測距センサによって実現される。測距部３２は、測距部３２から右側のドア２２までの距離、及び、測距部３２から左側のドア２２までの距離を個別に計測することができる。
上記図１４は、撮像部３１によって撮像される動画の一例を示す図でもあるが、図１４に示されるように、撮像部３１の撮像範囲には、本体部２１（第一収納室２３）と、２つのドア２２の内側（ドアポケット２２ａ）とが含まれる。食品の入庫判定、または、食品の出庫判定に用いられる境界線（破線）も合わせて図示されている。この境界線は、撮像部３１ によって撮像されるものではなく、仮想的なものである。
次に、動作例１のステップＳ１７と同様に、判定部３７は、食品の収納位置を判定する。図１４に示されるように、判定部３７は、動画に映る、ドアポケット２２ａの底部に設定された複数の領域マーカ２２ａ１、２２ａ２、２２ａ３の見え隠れ（領域マーカ上に食品が重なっているか否か）に基づいて、食品の収納位置を判定する。
図１５は、ドアポケット２２ａに収納容器に入った食品７０が収納された状態を示す図である。ドアポケット２２ａの底面には３つの領域マーカ２２ａ１、２２ａ２、２２ａ３が設定されているが、食品７０が領域マーカ２２ａ２に重なって収納される。判定部３７は、動画に映る、ドアポケット２２ａの底部の状態から領域マーカ２２ａ１、２２ａ３は見えるが、領域マーカ２２ａ２は隠れたことに基づき、領域マーカ２２ａ２の位置に食品７０が収納されたと判定することができる。
［変形例３：食品の高さの影響］
なお、図１５で食品の高さによっては領域マーカ２２ａ３に置かれた食品（不図示）が撮像部３１の画像で視認できない場合がある。しかし、ドアの開き角度が小さくなるにしたがって領域マーカ２２ａ３に置かれた食品が視認できるようになる。そこで、判定部３７は、食品の収納位置を判定する際、複数のドアの開き角度で収納位置を判定するようにしてもよい。
［変形例３：ドアの開閉に伴う領域マーカの位置補正について］
また、設定部３９は、ドア２２の開き具合に応じて領域マーカ２２ａ１、２２ａ２、２２ａ３を動的に変更してもよい。図１６、及び、図１７は、ドア２２を開いた状態を示す図である。ここで、図１７は、図１６よりもドア２２が大きく開いている状態を示す図である。このようにドア２２の開き具合に応じて領域マーカ２２ａ１、２２ａ２、２２ａ３を動的に変更するために、例えば、左右のドアの開き角度を検出すればよい。
［変形例３：ドアの開き角度を測距部で測定］
例えば、記憶部３４には、領域マーカを設定するための設定情報があらかじめ記憶される。図１８は、設定情報の一例を示す図である。図１８の設定情報中の数値は、説明のための仮の数値としている。
図１８の設定情報においては、測距部３２から右側のドア２２までの距離と、右側のドア２２に設定した点Ｒの座標とが対応付けられ、測距部３２から左側のドア２２までの距離と左側のドア２２に設定した点Ｌの座標とが対応付けられている。設定部３９は、設定情報において、測距部３２の計測結果に該当する点Ｒ、点Ｌの座標を特定し、特定した座標に基づき、ドア２２の開き角度を特定し、ドア２２の開き角度に応じて領域マーカ２２ａ１、２２ａ２、２２ａ３の位置を設定することができる。なお、図１８の設定情報においては、ドア２２の開き具合が４段階に区分されているが、５段階以上に区分されていてもよいし、３段階以下に区分されていてもよい。
なお、本実施の形態では、ユーザから見て右側のドア２２に点Ｒを１点規定し、ユーザから見て左側のドア２２に点Ｌを１点規定した。しかしながら、ドアの開き具合が特定されればよく、計測対象とする点の位置、及び、個数は必要に応じて決定することができる。
［変形例３：ドアの開き角度を角度センサで測定］
あるいは、入出庫管理装置３０は、測距部３２に代えて、角度センサなどの、ドア２２の開き具合（開き角度）を計測する他のセンサを備えてもよい。また、ドア２２の開き具合を計測するセンサは、冷蔵庫２０によって備えられてもよく、この場合、入出庫管理装置３０はドア２２の開き具合を計測するセンサを備えていなくてもよい。
上記で説明したように、設定部３９は、ドア２２の開き具合に応じて、設定情報によって領域マーカ２２ａ１、２２ａ２、２２ａ３を設定することができる。なお、設定部３９は、例えば、直近のＮ個（Ｎは自然数）の計測結果（データ）の平均値及び分散を求め、分散が所定値以下の場合のみ、その平均値を有効な距離として採用する。
［その他の変形例］
上記実施の形態において、冷蔵庫２０は、一般家庭用の冷蔵庫であってもよいし、コンビニエンスストアなどの小売店で用いられる商品展示用の冷蔵庫であってもよいし、その他の業務用の冷蔵庫であってもよい。
また、冷蔵庫２０内に単一種別の食品が収納されるような場合には、食品の種別の判定は行われなくてもよい。
また、冷蔵庫２０は、収納庫の一例であり、本開示は、冷蔵機能を有しない他の収納庫としても実現できる。また、収納庫に収納される物品（言い換えれば、物体）は、食品に限定されず、その他の物品であってもよい。冷蔵庫２０に食品以外の物品が収納されるような場合も考えられる。
［効果等］
以上説明したように、入出庫管理装置３０は、第一収納構造、及び、第一収納構造と上下方向の位置が異なる第二収納構造を有する冷蔵庫２０へ物体が出し入れされるときの様子を示す複数の画像であって第一収納構造及び第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を冷蔵庫２０の上方から撮像する撮像部３１と、複数の画像におけるマーカの見え隠れに基づいて、物体の収納位置を判定する判定部３７とを備える。第一収納構造及び第二収納構造のそれぞれは、例えば、棚、引き出し、ドアポケットのいずれかである。マーカは、具体的には、第一マーカ２７ａ、第二マーカ２７ｂ、第三マーカ２７ｃ、または、第四マーカ２７ｄなどである。冷蔵庫２０は、収納庫の一例である。
このような入出庫管理装置３０は、冷蔵庫２０内の物体の収納位置を管理することができる。
また、例えば、第一収納構造及び前記第二収納構造のそれぞれは、同一の収納室（例えば、第一収納室２３）に設けられた棚（例えば、棚２４ａまたは棚２４ｂ）である。判定部３７は、複数の画像におけるマーカの見え隠れに基づいて、物体の収納位置が棚２４ａ上であるか棚２４ｂ上であるかを判定する。
このような入出庫管理装置３０は、冷蔵庫２０内の物体の収納位置が棚２４ａ上であるか棚２４ｂ上であるかを管理することができる。
また、例えば、第一収納構造は、第一収納室２３を形成し、第二収納構造は、第一収納室と上下方向の位置が異なる第二収納室２６を形成する。判定部３７は、複数の画像におけるマーカの見え隠れに基づいて、物体の収納位置が第一収納室２３であるか第二収納室２６であるかを判定する。
このような入出庫管理装置３０は、冷蔵庫２０内の物体の収納位置が第一収納室２３であるか第二収納室２６であるかを管理することができる。
また、例えば、第一収納構造及び第二収納構造のそれぞれは、冷蔵庫２０が有するドア２２に設けられたドアポケット２２ａである。
このような入出庫管理装置３０は、冷蔵庫２０内の物体の収納位置が第一収納室２３であるか第二収納室２６であるかを管理することができる。
また、例えば、第一収納構造は、第二収納構造よりも上方に位置する。判定部３７は、複数の画像において第一収納構造に設けられたマーカが隠れた場合に、物体の収納位置が第一収納構造に対応する位置であると判定する。判定部３７は、複数の画像において第一収納構造に設けられたマーカが隠れず、かつ、第二収納構造に設けられたマーカが隠れた場合に、物体の収納位置が第二収納構造に対応する位置であると判定する。
このような入出庫管理装置３０は、冷蔵庫２０内の物体の収納位置を管理することができる。
また、例えば、第一収納構造、及び、第二収納構造のそれぞれには、複数のマーカが設けられる。
このような入出庫管理装置３０は、複数のマーカのいずれが隠れたかに基づいて、物体の収納位置をさらに詳細に管理することができる。
また、例えば、判定部３７は、さらに、物体の種別を判定する。入出庫管理装置３０は、さらに、物体の種別が判定不可能である場合に報知を行う報知部３６を備える。
このような入出庫管理装置３０の報知によれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。
また、例えば、撮像部３１は、冷蔵庫２０に後付け可能な構造を有する。
このような撮像部３１は、冷蔵庫２０に後付けすることができる。
また、入出庫管理システム１０は、入出庫管理装置３０と、サーバ装置４０とを備える。サーバ装置４０は、冷蔵庫２０へ物体が入庫されたこと、または、冷蔵庫２０から物体が出庫されたことを示す入出庫情報を入出庫管理装置３０から受信する通信部４１と、冷蔵庫２０のユーザが冷蔵庫２０の周辺に不在である期間に入出庫情報が受信された場合に、ユーザが所有する情報端末５０へ通知を行う通知部４５とを備える。
このような入出庫管理システム１０の通知によれば、ユーザは、冷蔵庫２０の周辺に不在である期間に冷蔵庫２０へ食品が出し入れされたことを認識することができる。
また、入出庫管理システム１０は、第一収納構造、及び、第一収納構造と上下方向の位置が異なる第二収納構造を有する冷蔵庫２０へ物体が出し入れされるときの様子を示す複数の画像であって第一収納構造及び第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を冷蔵庫２０の上方から撮像する撮像部３１と、複数の画像におけるマーカの見え隠れに基づいて、物体の収納位置を判定する判定部３７とを備える。入出庫管理システム１０ａのように、判定部３７は、サーバ装置４０ａによって備えられる場合もある。
このような入出庫管理システム１０は、冷蔵庫２０内の物体の収納位置を管理することができる。
また、入出庫管理システム１０などのコンピュータが実行する入出庫管理方法は、第一収納構造、及び、第一収納構造と上下方向の位置が異なる第二収納構造を有する冷蔵庫２０へ物体が出し入れされるときの様子を示す複数の画像であって第一収納構造及び第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を冷蔵庫２０の上方から撮像する撮像ステップと、複数の画像におけるマーカの見え隠れに基づいて、物体の収納位置を判定する判定ステップとを含む。
このような入出庫管理方法は、冷蔵庫２０内の物体の収納位置を管理することができる。
（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。
例えば、上記実施の形態では、マーカは二次元コードであると説明されたが、マーカは二次元コードである必要は無く、図形であってもよいし、冷蔵庫の幅方向に延びるライン状であってもよい。また、冷蔵庫内に設けられた他の用途のために設けられた模様（例えば、棚に設けられた溝によって現れる模様など）がマーカとして使用されてもよい。マーカの具体的態様については特に限定されない。
また、マーカの収納構造への取り付け方法は、特に限定されない。例えば、マーカは、マーカが印刷されたシールを収納構造へ貼り付けることにより、収納構造に取り付けられてもよい。これにより、入出庫管理システムは、元々マーカが取り付けられていない収納庫（冷蔵庫）に収納された物品を管理することができるようになる。
また、上記実施の形態では、入出庫管理システムは、複数の装置によって実現されたが、単一の装置によって実現されてもよい。例えば、入出庫管理システムは、上記実施の形態の入出庫管理装置に相当する単一の装置として実現されてもよいし、サーバ装置に相当する単一の装置として実現されてもよい。入出庫管理システムが複数の装置によって実現される場合、入出庫管理システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
また、例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置が介在してもよい。また、上記実施の形態で説明された情報の伝達経路は、シーケンス図に示される伝達経路に限定されない。
例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
例えば、本開示は、コンピュータによって実行される物体の入出庫管理方法として実現されてもよいし、入出庫管理方法をコンピュータに実行させるためのプログラムとして実現されてもよい。本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
１０、１０ａ 入出庫管理システム
２０ 冷蔵庫（収納庫）
２１ 本体部
２２ ドア
２２ａ ドアポケット
２３ 第一収納室
２４ 棚
２４ａ 上の棚
２４ｂ 下の棚
２６ 第二収納室
２７ａ 第一マーカ
２７ｂ 第二マーカ
２７ｃ 第三マーカ
２７ｄ 第四マーカ
３０、３０ａ 入出庫管理装置
３１ 撮像部
３２ 測距部
３３、４２ 情報処理部
３４、４３ 記憶部
３５、４１ 通信部
３６ 報知部
３７、４６ 判定部
３８、４７ 追尾部
３９ 設定部
４０、４０ａ サーバ装置（通知装置）
４４ 提示部
４５ 通知部
５０ 情報端末
６０ 広域通信ネットワーク

Claims (11)

  1. 第一収納構造、及び、前記第一収納構造と上下方向の位置が異なる第二収納構造を有する収納庫へ物体が出し入れされるときの様子を示す複数の画像であって前記第一収納構造及び前記第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を前記収納庫の上方から撮像する撮像部と、
    前記複数の画像における前記マーカの見え隠れに基づいて、前記物体の収納位置を判定する判定部とを備え、
    前記第一収納構造及び前記第二収納構造のそれぞれは、前記収納庫が有するドアに設けられたドアポケットであって、
    前記マーカは、前記画像において、前記第一収納構造及び前記第二収納構造のうち少なくとも一方の前記ドアポケットの底面を所定の領域に分割して設定された複数の領域マーカである、
    入出庫管理装置。
  2. 前記領域マーカは、前記ドアの開き角度に応じて変更可能であって、
    前記判定部は、
    前記ドアの開き角度に応じて設定された前記領域マーカを用いて前記物体の収納位置を判定する、
    請求項１に記載の入出庫管理装置。
  3. 前記入出庫管理装置は、さらに、前記ドアまでの距離を計測する測距部を有し、
    前記ドアの開き角度は、
    前記測距部が計測した、前記測距部から前記ドアまでの距離を用いて特定され、
    前記判定部は、
    特定された前記ドアの開き角度に応じて設定された前記領域マーカを用いて前記物体の収納位置を判定する、
    請求項２に記載の入出庫管理装置。
  4. 前記入出庫管理装置は、さらに、前記領域マーカを設定する設定部を有し、
    前記設定部は、
    前記測距部が前記ドアまでの距離を所定回数について計測した結果を用いて、前記ドアの開き角度を特定するために用いる距離を決定する、
    請求項３に記載の入出庫管理装置。
  5. 前記入出庫管理装置は、さらに、前記ドアの開き角度を計測するセンサを有し、
    前記判定部は、
    前記センサが計測した前記ドアの開き角度に応じて設定された前記領域マーカを用いて前記物体の収納位置を判定する、
    請求項２に記載の入出庫管理装置。
  6. 前記判定部は、前記複数の領域マーカが設定された前記ドアポケットにおいて、前記複数の画像における前記領域マーカの見え隠れに基づいて、前記物体の収納位置がどの領域マーカ上であるかを判定する、
    請求項１～５のいずれか１項に記載の入出庫管理装置。
  7. 前記判定部は、さらに、前記物体の種別を判定し、
    前記入出庫管理装置は、さらに、前記物体の種別が判定不可能である場合に報知を行う報知部を備える、
    請求項１～６のいずれか１項に記載の入出庫管理装置。
  8. 請求項１～７のいずれか１項に記載の入出庫管理装置と、
    通知装置とを備え、
    前記通知装置は、
    前記収納庫へ前記物体が入庫されたこと、または、前記収納庫から前記物体が出庫されたことを示す情報を前記入出庫管理装置から受信する通信部と、
    前記収納庫のユーザが前記収納庫の周辺に不在である期間に前記情報が受信された場合に、前記ユーザが所有する情報端末へ通知を行う通知部とを備える、
    入出庫管理システム。
  9. 第一収納構造、及び、前記第一収納構造と上下方向の位置が異なる第二収納構造を有する収納庫へ物体が出し入れされるときの様子を示す複数の画像であって前記第一収納構造及び前記第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を前記収納庫の上方から撮像する撮像部と、
    前記複数の画像における前記マーカの見え隠れに基づいて、前記物体の収納位置を判定する判定部とを備え、
    前記第一収納構造及び前記第二収納構造のそれぞれは、前記収納庫が有するドアに設けられたドアポケットであって、
    前記マーカは、前記画像において、前記第一収納構造及び前記第二収納構造のうち少なくとも一方の前記ドアポケットの底面を所定の領域に分割して設定された複数の領域マーカである、
    入出庫管理システム。
  10. 第一収納構造、及び、前記第一収納構造と上下方向の位置が異なる第二収納構造を有する収納庫へ物体が出し入れされるときの様子を示す複数の画像であって前記第一収納構造及び前記第二収納構造のそれぞれに設けられたマーカが撮像対象として含まれる複数の画像を前記収納庫の上方から撮像する撮像ステップと、
    前記複数の画像における前記マーカの見え隠れに基づいて、前記物体の収納位置を判定する判定ステップとを含み、
    前記第一収納構造及び前記第二収納構造のそれぞれは、前記収納庫が有するドアに設けられたドアポケットであって、
    前記マーカは、前記画像において、前記第一収納構造及び前記第二収納構造のうち少なくとも一方の前記ドアポケットの底面を所定の領域に分割して設定された複数の領域マーカである、
    入出庫管理方法。
  11. 請求項１０に記載の入出庫管理方法をコンピュータに実行させるためのプログラム。
JP2023502415A 2021-02-25 2022-02-22 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 Active JP7482410B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021028414 2021-02-25
JP2021028414 2021-02-25
PCT/JP2022/007100 WO2022181573A1 (ja) 2021-02-25 2022-02-22 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法

Publications (3)

Publication Number Publication Date
JPWO2022181573A1 JPWO2022181573A1 (ja) 2022-09-01
JPWO2022181573A5 JPWO2022181573A5 (ja) 2023-08-18
JP7482410B2 true JP7482410B2 (ja) 2024-05-14

Family

ID=83048102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023502415A Active JP7482410B2 (ja) 2021-02-25 2022-02-22 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法

Country Status (4)

Country Link
US (1) US20240095674A1 (ja)
JP (1) JP7482410B2 (ja)
CN (1) CN116829888A (ja)
WO (1) WO2022181573A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024058082A (ja) * 2022-10-14 2024-04-25 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、及び冷蔵庫
JP2024058083A (ja) * 2022-10-14 2024-04-25 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、及び冷蔵庫

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042626A (ja) 2001-07-26 2003-02-13 Toshiba Corp 冷蔵庫
JP2015081762A (ja) 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
JP2015125535A (ja) 2013-12-26 2015-07-06 ソフトバンクモバイル株式会社 管理システム及びプログラム
JP2016023854A (ja) 2014-07-18 2016-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 判定装置、および、判定方法
JP2017009203A (ja) 2015-06-23 2017-01-12 シャープ株式会社 庫内撮影装置
JP2017215067A (ja) 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法
WO2018016068A1 (ja) 2016-07-22 2018-01-25 株式会社日立製作所 収容庫の在庫管理システムおよび在庫管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003042626A (ja) 2001-07-26 2003-02-13 Toshiba Corp 冷蔵庫
JP2015081762A (ja) 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
JP2015125535A (ja) 2013-12-26 2015-07-06 ソフトバンクモバイル株式会社 管理システム及びプログラム
JP2016023854A (ja) 2014-07-18 2016-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 判定装置、および、判定方法
JP2017009203A (ja) 2015-06-23 2017-01-12 シャープ株式会社 庫内撮影装置
JP2017215067A (ja) 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法
WO2018016068A1 (ja) 2016-07-22 2018-01-25 株式会社日立製作所 収容庫の在庫管理システムおよび在庫管理方法

Also Published As

Publication number Publication date
CN116829888A (zh) 2023-09-29
WO2022181573A1 (ja) 2022-09-01
JPWO2022181573A1 (ja) 2022-09-01
US20240095674A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
JP7482410B2 (ja) 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法
US11974077B2 (en) Action detection during image tracking
US11205277B2 (en) Multi-camera image tracking on a global plane
US11430222B2 (en) Sensor mapping to a global coordinate system using a marker grid
US9697429B2 (en) Method and apparatus for image processing to avoid counting shelf edge promotional labels when counting product labels
US11176686B2 (en) Image-based action detection using contour dilation
US11625918B2 (en) Detecting shelf interactions using a sensor array
US11721041B2 (en) Sensor mapping to a global coordinate system
US11756216B2 (en) Object re-identification during image tracking
JP2018147160A (ja) 情報処理装置、情報処理方法及びプログラム
US11676289B2 (en) Sensor mapping to a global coordinate system using homography
US11659139B2 (en) Determining candidate object identities during image tracking
US11062147B2 (en) Object assignment during image tracking
US11308630B2 (en) Auto-exclusion zone for contour-based object detection
US11847688B2 (en) Detecting and identifying misplaced items using a sensor array
US11720952B2 (en) Identifying non-uniform weight objects using a sensor array
KR102003691B1 (ko) 소품 등록 시스템
JP2017174272A (ja) 情報処理装置及びプログラム
US11335010B2 (en) Methods for viewing and tracking stored items
CN110348926B (zh) 门店系统、展示柜、物品信息展示方法及装置
JP7475000B2 (ja) 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法
JP6176563B2 (ja) 商品販売装置
JP7130945B2 (ja) 在庫検出プログラム、在庫検出方法及び在庫検出装置
CN111488831B (zh) 一种食材联想识别方法及冰箱
JP2021033636A (ja) 什器制御サーバ、方法、システムおよびプログラム、ならびに可動什器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240412

R150 Certificate of patent or registration of utility model

Ref document number: 7482410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150