JP6938116B2 - Inventory management device and inventory management method - Google Patents
Inventory management device and inventory management method Download PDFInfo
- Publication number
- JP6938116B2 JP6938116B2 JP2016107766A JP2016107766A JP6938116B2 JP 6938116 B2 JP6938116 B2 JP 6938116B2 JP 2016107766 A JP2016107766 A JP 2016107766A JP 2016107766 A JP2016107766 A JP 2016107766A JP 6938116 B2 JP6938116 B2 JP 6938116B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- item
- warehousing
- hand
- refrigerator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、貯蔵庫の在庫を管理する在庫管理装置および在庫管理方法に関する。 The present invention relates to an inventory management device and an inventory management method for managing inventory in a storage.
例えば、冷蔵庫や冷凍庫などの貯蔵庫において、食品などの品物の在庫管理を行う技術が従来知られている。例えば、特許文献１には、冷蔵庫の庫内に設置されたカメラが、所定時間間隔で冷蔵庫開口部を通過する対象物を撮影し、これにより得らえた複数の画像に対して画像演算処理を施して、食物の入出庫判定を行う冷蔵庫が開示されている。あるいは、特許文献２には、食品が収納された位置を検出するとともに、該食品の重量を検出し、食品に取り付けられたＩＣタグから該食品の情報を取得して、食品の在庫管理を行う食物貯蔵庫が開示されている。
For example, a technique for managing the inventory of food or other items in a storage such as a refrigerator or a freezer has been conventionally known. For example, in
しかしながら、上述のような従来技術は、装置に要求される処理能力またはユーザの利便性という観点から、実用に適さないという問題がある。 However, the above-mentioned conventional techniques have a problem that they are not suitable for practical use from the viewpoint of the processing power required for the device or the convenience of the user.
なおこの問題は、冷却機能を備えた貯蔵庫に限らず、食物などの品物を常温で貯蔵するパントリー（貯蔵室）、または、保温機能を備えた貯蔵庫などにおいても同様に生じる。 It should be noted that this problem occurs not only in a storage having a cooling function but also in a pantry (storage room) for storing food and other items at room temperature, or a storage having a heat retaining function.
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、実用に適した在庫管理装置および在庫管理方法を実現することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to realize an inventory management device and an inventory management method suitable for practical use.
上記の課題を解決するために、本発明の一態様に係る在庫管理装置は、貯蔵庫のドアの開閉に基づいてカメラを制御して、当該貯蔵庫の、品物を入出庫するための開口部の画像を取得する画像取得部と、上記画像に基づいて、品物の入出庫を判定する入出庫判定部とを備え、上記画像取得部は、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得するものであり、上記入出庫判定部は、上記第１画像に品物が写っており、上記第２画像に物品が写っていない場合に該物品の入庫と判定し、上記第１画像に品物が写っておらず、上記第２画像に物品が写っている場合に該物品の出庫と判定する。
In order to solve the above problems, stock management device according to one embodiment of the present invention controls the camera based on the opening and closing of the reservoir of the door, of the reservoir, the image of the opening for entry and leaving goods The image acquisition unit is provided with an image acquisition unit for acquiring the image and a warehousing / delivery determination unit for determining the warehousing / delivery of the item based on the image. Based on the sensor value of the sensor to be detected, the first image showing the hand moving from the outside to the inside of the refrigerator and the second image showing the hand moving from the inside to the outside of the refrigerator are acquired. When the goods are shown in the first image and the goods are not shown in the second image, the delivery determination unit determines that the goods are in stock, and the goods are not shown in the first image. 2 When an article is shown in the image, it is determined that the article has been delivered .
上記の課題を解決するために、本発明の一態様に係る在庫管理方法は、貯蔵庫のドアの開閉に基づいてカメラを制御して、当該貯蔵庫の、品物を入出庫するための開口部の画像を取得する画像取得ステップと、上記画像に基づいて、品物の入出庫を判定する入出庫判定ステップとを含み、上記画像取得ステップでは、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得し、上記入出庫判定ステップでは、上記第１画像に品物が写っており、上記第２画像に物品が写っていない場合に該物品の入庫と判定し、上記第１画像に品物が写っておらず、上記第２画像に物品が写っている場合に該物品の出庫と判定する。
In order to solve the above problem, the inventory management method according to one aspect of the present invention controls the camera based on the opening and closing of the door of the storage, and images of the opening of the storage for loading and unloading the goods. Including the image acquisition step of acquiring the image and the warehousing / delivery determination step of determining the warehousing / delivery of the item based on the above image, in the image acquisition step, the passage of the hand carrying the item provided in the warehousing is passed. Based on the sensor value of the sensor to be detected, the first image showing the hand moving from the outside to the inside of the refrigerator and the second image showing the hand moving from the inside to the outside of the refrigerator are acquired, and the above-mentioned warehousing / delivery determination step Then, when the item is shown in the first image and the article is not shown in the second image, it is determined that the item is in stock, and the item is not shown in the first image, and the second image shows the item. When an article is shown, it is determined that the article has been delivered .
本発明の一態様によれば、実用に適した在庫管理装置および在庫管理方法を実現できるという効果を奏する。 According to one aspect of the present invention, it is possible to realize an inventory management device and an inventory management method suitable for practical use.
〔実施形態１〕
（発明が解決しようとする課題および発明の目的）
特許文献１の技術では、ドアの開閉時に連続して撮影された多数の画像に対してベクトル演算を施す必要があるため、冷蔵庫に処理能力の高いプロセッサを搭載しなければならない。画像に対する演算処理をクラウドサーバなどの外部装置に担わせるにしても、冷蔵庫からクラウドサーバに対して短時間に多数の画像を転送する必要がある。このように、冷蔵庫に搭載する装置に対して高い処理能力、あるいは、高性能な通信機能および通信環境が要求されるため、冷蔵庫そのものの製造コスト、または、通信環境を整えるための初期コストが増大し、実用的ではない。実施形態１では、多数の画像を短時間で処理することなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定することが可能な在庫管理装置または在庫管理システムを実現する。
[Embodiment 1]
(Problems to be Solved by the Invention and Purpose of the Invention)
In the technique of
（在庫管理システムの概要）
図２は、本発明の実施形態１および２に係る在庫管理システム１００の概要を示す図である。本発明の一実施形態において、本発明の在庫管理装置は、食品などの品物の貯蔵を行う冷蔵庫の在庫管理を行う在庫管理装置であって、該在庫管理装置は、冷蔵庫１として実現される。なお、本発明の在庫管理装置にて在庫管理の対象となる品物は、食品に限定されず、医薬品、化粧品など、貯蔵庫にて貯蔵され得るあらゆる品物が想定されている。本実施形態では、冷蔵庫１は、在庫管理システム１００の一部を構成している。
(Overview of inventory management system)
FIG. 2 is a diagram showing an outline of the
在庫管理システム１００は、食品の貯蔵を行う冷蔵庫１、１ａ、１ｂ、・・・と、冷蔵庫１と広域通信ネットワーク４を介して通信するクラウドサーバ２とを含む。在庫管理システム１００は、必要に応じて、さらに、ユーザが携帯する小型の通信端末３を含んでいてもよい。通信端末３は、例えば、スマートフォン、タブレット端末、携帯電話などであり、ユーザによって携帯されている。クラウドサーバ２、通信端末３、および、冷蔵庫１は、広域通信ネットワーク４を介して接続するよう構成されている。なお、冷蔵庫１および通信端末３について、数や種類は限定されず、個別に説明する必要のない場合は、総称として冷蔵庫１と通信端末３とを用いる。また、クラウドサーバ２によって管理されるユーザ宅の数も限定されない。
The
なお、冷蔵庫１のそれぞれには、図示しない家電アダプタが接続されており、家電アダプタは、通信部の一部を構成し、冷蔵庫１を広域通信ネットワーク４に接続させる。これによって、冷蔵庫１を、いわゆるネットワーク家電にすることができ、冷蔵庫１は、クラウドサーバ２などの外部装置から、必要な情報を受信することができるし、また、ローカルに保存された情報を冷蔵庫１からクラウドサーバ２に送信することもできる。なお、ここでは、広域通信ネットワーク４としてインターネットを含む構成を例示しているが、電話回線網、移動体通信網、ＣＡＴＶ（CAble TeleVision）通信網、衛星通信網などを利用することもできる。
A home appliance adapter (not shown) is connected to each of the
また、広域通信ネットワーク４を介して、クラウドサーバ２と通信端末３とが通信可能になっている。通信端末３と広域通信ネットワーク４におけるインターネットとの間は、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）や、宅内あるいは公衆のＷｉ−Ｆｉ（登録商標）アクセスポイントなどを利用して接続される。
Further, the
本実施形態に係る在庫管理システム１００において、冷蔵庫１は、品物の入出庫判定機能および在庫管理機能を担い、これを実行する。クラウドサーバ２は、冷蔵庫１が上記各機能を実行する上で必要な情報を適宜冷蔵庫１に提供する。また、クラウドサーバ２は、必要に応じて、冷蔵庫１の情報（在庫の情報など）を収集し、冷蔵庫１のユーザの通信端末３に対して収集した情報を配信する。
In the
なお、本実施形態では、クラウドサーバ２は、クライアント（ユーザ宅）ごとに、冷蔵庫１および通信端末３を個々に登録して管理している。したがって、クラウドサーバ２は、データを受信するときは、どの冷蔵庫１または通信端末３から送信されたデータであるのかを把握することが可能であり、データを送信するときは、どの冷蔵庫１または通信端末３宛てであるかを指定して送信することが可能である。
In the present embodiment, the
（冷蔵庫の概観）
図３の（ａ）は、冷蔵庫１の冷蔵室１ｃのドア部１ｄを開いた状態の正面図であり、（ｂ）は、冷蔵庫１の冷蔵室ドア部を開いた状態の上面図である。なお、図３の（ｂ）では、食品の出し入れが容易に理解できるように、冷蔵室１ｃの天板を除いて示している。また、冷蔵庫１を示した各図は、明瞭化と簡略化のために適宜に変更された模式図である。すなわち、各図に示された冷蔵庫１各部のサイズ（長さ、大きさ、幅）、サイズ比率、および、形状などは、実際の冷蔵庫１のものと異なる。また、各図は、発明と無関係な細部を描写することを省略している。その他の冷蔵庫１または冷蔵庫３０１の図についても同様である。
(Overview of the refrigerator)
FIG. 3A is a front view of the
図３の（ａ）に示すとおり、冷蔵庫１は、一例として、３つの貯蔵庫からなり、各庫は、上から順に、冷蔵室１ｃ、冷凍室１ｆ、および、野菜室１ｖを構成する。冷蔵庫１の各庫の構成は、上記に限定されず、さらに、製氷室またはチルド室を有していてもよいし、冷蔵庫１は、冷蔵室１ｃのみ、冷凍室１ｆのみで構成されていてもよい。また、各庫の位置は、上下逆でも構わない。
As shown in FIG. 3A, the
冷凍室１ｆおよび野菜室１ｖは、引き出し型の貯蔵スペースを有し、ユーザは、取っ手を手前に引くことで、冷凍室１ｆおよび野菜室１ｖの庫内に手をのばすことができる。一方、冷蔵室１ｃは、観音開き型の２枚の扉からなるドア部１ｄを有し、ユーザは、取っ手を手前に引いて片方または両方のドア部１ｄを開くことで、冷蔵室１ｃの庫内に手をのばすことができる。なお、冷蔵室１ｃのドア部１ｄは、片開き型の１枚の扉によって構成されてもよい。
The freezing
冷蔵室１ｃの貯蔵スペースは、さらに、一例として、３枚の棚板１ｒによって、４つの段に区切られていてもよい。なお、棚板１ｒの数は、上記に限定されず、０枚であってもよいし、３枚より少なくても、多くてもよい。
The storage space of the
図３の（ａ）および（ｂ）に示すとおり、冷蔵室１ｃ内の天井面には、センサ１３およびカメラ１４が備えられている。センサ１３は、ユーザの手（および、手が品物を把持している場合はその品物も）が、冷蔵室１ｃの所定の場所を通過したか否かを検知するためのものである。センサ１３の数および設置位置は、センサ１３の種類、性能、および、通過を検知したい場所に応じて適宜決定される。センサ１３としては、例えば、赤外線センサ、温度センサ、（ドア部１ｄの）開閉センサ、または、照度センサなどが採用される。
As shown in FIGS. 3A and 3B, a
例えば、センサ１３が赤外線センサであって、冷蔵室１ｃの開口部を手が通過したか否かを検知したい場合、センサ１３は、図３の（ａ）および（ｂ）に示すとおり、冷蔵室１ｃの天井面の開口側端部に所定の間隔で配置される。とりわけ、各センサ１３は、開口部または開口部によって形成される開口領域に障害物がない場合に、冷蔵室１ｃの底面の開口側端部にまで赤外線が届くように配置される。このように天井面の開口側端部に配置されたセンサ１３を以下では、フロントセンサ１３ｆ（第１センサ）と称する。また、開口部よりさらに奥、棚板１ｒにまで手がのばされたか否かを検知したい場合、センサ１３は、図３の（ｂ）に示すとおり、棚板１ｒの開口側端部と対向する、冷蔵室１ｃの天井面の領域に所定の間隔で配置される。とりわけ、各センサ１３は、最下段の貯蔵スペースにまで赤外線が届くように配置される。このように棚板１ｒの開口側端部と対向する天井面に配置されたセンサ１３を以下では、バックセンサ１３ｂ（第２センサ）と称する。
For example, when the
カメラ１４は、ユーザの手が冷蔵室１ｃの庫内に出入りする様子を静止画として撮像するためのものである。カメラ１４の設置位置は、カメラ１４（またはカメラ１４のレンズ）の種類または性能に応じて適宜決定される。カメラ１４は、少なくとも、冷蔵室１ｃの開口部および棚板１ｒの開口側端部が撮像範囲に含まれるように配置される。本実施形態では、カメラ１４は、一例として、天井面の開口側端部の中央付近（または、中央のフロントセンサ１３ｆと設置位置が重なる場合は、それより少し奥）に設置される。その結果、本実施形態では、撮像範囲は、図３の（ｂ）に示す破線枠のとおりとなる（撮像範囲１４ａ）。
The
さらに、図４に示すとおり、カメラ１４は、冷凍室１ｆまたは野菜室１ｖに設けられてもよい。この場合、カメラ１４は、冷凍室１ｆまたは野菜室１ｖの貯蔵スペースの内面の最上部（一例として、取っ手が付いている部分の裏側あたり）に、冷凍室１ｆまたは野菜室１ｖの開口部全体を撮像範囲１４ａとするように設置される。これにより、上記開口部によって形成される開口領域全体を撮像範囲１４ａに収めることができる。
Further, as shown in FIG. 4, the
（冷蔵庫の構成）
図１は、本発明の実施形態１および２に係る冷蔵庫１の要部構成を示すブロック図である。該ブロック図は、冷蔵庫１のブロック図ではあるが、本図において、本発明に直接関係の無い部分、例えば、冷却または冷凍機能を実現する部分などの記載を省略した。冷蔵庫１は、図１に示すように、少なくとも、制御部１０、記憶部１１、センサ１３およびカメラ１４を備えている構成であり、必要に応じてさらに、通信部１２、マイク１５、スピーカ１６およびディスプレイ１７を備えていてもよい。通信部１２は、上述の家電アダプタを含み、広域通信ネットワーク４を介してクラウドサーバ２と相互通信を行う。マイク１５は、ユーザが制御部１０に対して入力する音声を取得する。マイク１５によって取得された音声は、図示しない音声制御部によって入力音声データとして処理される。スピーカ１６は、上記音声制御部によって処理された出力音声データを、ユーザが聴取する音声として出力する。ディスプレイ１７は、記憶部１１に記憶されている各種データをユーザが視認可能なように表示するものであり、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬＤ（エレクトロルミネセンスディスプレイ）などの表示装置で構成される。
(Composition of refrigerator)
FIG. 1 is a block diagram showing a main configuration of the
センサ１３は、上述したとおり、手の通過を検知するためのフロントセンサ１３ｆおよびバックセンサ１３ｂを含む。さらに好ましくは、センサ１３は、ドア部１ｄの開閉を検知するための開閉センサ１３ｄを含む。開閉センサ１３ｄは、ドアが開けられたこと（開ドア）、または、閉じられたこと（閉ドア）を検知し、検知結果を画像取得部２０に出力する。なお、開閉センサ１３ｄは、照度センサ、接触センサなど適宜のセンサで実現される。
As described above, the
制御部１０は、冷蔵庫１の各部の動作を統括的に制御する。制御部１０は、例えば、ＣＰＵや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部１０は、機能ブロックとして、少なくとも、画像取得部２０および入出庫判定部２２を含み、より好ましくは、必要に応じて、特徴量抽出部２１、品物識別部２３および在庫管理部２４を含んでいる。
The
記憶部１１は、冷蔵庫１が処理する各種データを記憶する。例えば、記憶部１１は、撮像された画像のパターンマッチングに使用するパターン画像（予め学習した画像）を記憶するためのパターン記憶部３０を含む。また、記憶部１１は、カメラ１４によって撮像された画像、および、特徴量抽出部２１によって画像処理された処理結果のデータを記憶するための画像記憶部３１を含む。また、記憶部１１は、冷蔵庫１の各庫内に貯蔵されている品物の一覧表である在庫表を記憶する在庫表記憶部３２を含む。
The
画像取得部２０は、カメラ１４を制御して画像を取得するものである。具体的には、画像取得部２０は、センサ１３から供給されるセンサ値に基づいて、静止画を得るべき撮像タイミングを特定し、その撮像タイミングで撮像を実行するようにカメラ１４を制御する。これにより、入出庫判定に必要なシーンを写した画像が取得される。こうして画像取得部２０によって取得された画像は、記憶部１１の画像記憶部３１に記憶される。
The
特徴量抽出部２１は、撮像された画像（以下、原画像）を処理して、該画像の特徴量を抽出する。抽出された特徴量は、原画像と紐付けて、画像記憶部３１に格納される。
The feature
入出庫判定部２２は、原画像または原画像から抽出された特徴量に基づいて、品物の入出庫判定を行う。本実施形態において、入出庫判定とは、原画像が捉えた１回の手の出し入れにつき、品物が入庫されたのか、品物が出庫されたのか、品物の入庫および出庫が両方なされたのか、または、品物は移動せず手の出し入れのみなされたのかを判定することである。入出庫判定部２２は、判定結果を記憶部１１に記憶してもよいし、下流の機能ブロック（品物識別部２３または在庫管理部２４）に通知してもよい。
The warehousing /
品物識別部２３は、入庫または出庫されたと判定された品物を特定し、特定した品物を識別するための品物識別情報を生成する。品物識別情報は、品物の名称を表すテキストデータであってもよいし、品物に一意に割り当てられている意味内容を持たない文字の羅列であってもよいし、一目みてその品物と分かるイラストの画像データまたはアイコンデータあってもよいし、単に原画像から品物の領域をトリミングした画像データであってもよいし、原画像そのものであってもよい。品物識別部２３によって生成された品物識別情報は、在庫管理部２４に引き渡される。
The
在庫管理部２４は、品物の入出庫判定結果および品物の品物識別情報に基づいて、在庫表を更新し、冷蔵庫１の在庫を管理する。具体的には、入庫された品物のレコードを在庫表に登録したり、出庫された品物のレコードを在庫表から削除したり、その他状態に変化があった品物のレコードを更新したりする。上述の各機能ブロックによって実行される各種処理について、図を参照して後に詳述する。
The
（画像取得部２０による撮像制御処理）
画像取得部２０は、１回の手の出し入れにつき、少なくとも、２枚の静止画を取得することを特徴とする。２枚の静止画を、１回の手の出し入れのどのタイミングで取得するのかについて説明する。
(Image control processing by the image acquisition unit 20)
The
図５に、ユーザによって品物（例えば、りんご）が入庫されたケース１において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。ユーザは、りんごを冷蔵庫１に入れるために、まず、ドア部１ｄを開ける。シーンＳＣ１−１は、この時の様子を示す。開閉センサ１３ｄによって、ドア部１ｄが開けられたこと（以下、「開ドア」と記載）が検知されると、その後に、手の出し入れが発生する可能性が高いので、画像取得部２０は、カメラ１４を起動する。このように、冷蔵庫１に開閉センサ１３ｄが設けられている場合、冷蔵庫１のドア部１ｄが開けられている間だけ、カメラ１４の電源を入れておくことができ、閉じられており手の出し入れが起こり得ない（カメラ１４の電源を入れておく必要がない）期間に、カメラ１４が無駄に電力を消費することを回避できる。
FIG. 5 shows a plurality of scenes seen in
さらに、開ドアが検知されたタイミングで、画像取得部２０は、シーンＳＣ１−１をカメラ１４に撮像させることが好ましい。シーンＳＣ１−１のように、まだ手の出し入れが起こる前の状態（手も品物も写らない状態）を写した画像を、以下では参照画像と称する。この参照画像を撮像することの利点は、後に詳述する。参照画像は、ドア部１ｄの開閉１回につき１枚撮像されればよく、手の出し入れごとに撮影する必要はない。
Further, it is preferable that the
次に、ユーザは、りんごを冷蔵庫１に入れようと、りんごを手に持って冷蔵室１ｃ内に手を差し入れる。手は必ず冷蔵室１ｃの開口部を通過する。シーンＳＣ１−２は、この時の様子を示す。ここで、フロントセンサ１３ｆは、手が冷蔵庫１の開口部にさしかかったことを検知する。具体的には、フロントセンサ１３ｆは、手が入れられたことによって、フロントセンサ１３ｆの赤外線照射部から照射される赤外線が遮られ、フロントセンサ１３ｆの赤外線受光部にて受光されなくなったことに基づいて、オンの信号からオフの信号に切り替えて、該信号を画像取得部２０に出力する。画像取得部２０は、バックセンサ１３ｂがオン（通過非検知）のままである一方で、フロントセンサ１３ｆがオン（通過非検知）からオフ（通過検知）に切り替わったタイミングで、カメラ１４に第１画像を撮像させる。このタイミングでは、冷蔵室１ｃの貯蔵スペースに手を入れる前のユーザの手がちょうど撮像範囲１４ａに収まり、冷蔵庫１内に入れる前のユーザの手の様子が写っている第１画像が得られる。
Next, the user holds the apple in his / her hand and inserts his / her hand into the
次に、ユーザは、りんごを所望の段の所望の位置に置くために、りんごを持った手をさらに奥に差し入れる。手は必ずいずれかの棚板１ｒの最前列（開口側端部）か、最前列を通過してそれよりも奥に入る。シーンＳＣ１−３は、この時の様子を示す。ここで、バックセンサ１３ｂは、ユーザの手が棚板１ｒの最前列より奥に到達し、赤外線が遮断されたことに基づいて、オンからオフに切り替えて信号を出力する。フロントセンサ１３ｆは、当然、オフを保っている。画像取得部２０は、フロントセンサ１３ｆがオフ（通過検知）のままである一方で、バックセンサ１３ｂがオン（通過非検知）からオフ（通過検知）に切り替わったタイミングでは、撮像対象の手が冷蔵室１ｃ庫内にあって、撮像範囲１４ａにないと判断し、カメラ１４に撮像を実行させずに待機させる。画像取得部２０は、再び、撮像対象が撮像範囲１４ａに入るまでこの待機状態を維持させる。
The user then inserts his hand holding the apple further in order to place the apple in the desired position on the desired stage. The hand always passes through the front row (opening side end) of either
次に、ユーザは、りんごを所望の位置に置いた後、手ぶらの状態の手を引き抜く。この場合、手は、必ず、開口部を通過する前に、棚板１ｒの最前列を通過する。シーンＳＣ１−４は、この時の様子を示す。ここで、バックセンサ１３ｂは、ユーザの手が棚板１ｒの最前列を通過し終わって、赤外線が再び受光されたことに基づいてオフからオンに信号を切り替えて出力する。手は開口部をまだ通過していないので、フロントセンサ１３ｆは、オフを保っている。画像取得部２０は、フロントセンサ１３ｆがオフ（通過検知）のままである一方で、バックセンサ１３ｂがオフ（通過検知）からオン（通過非検知）に切り替わったタイミングで、カメラ１４に第２画像を撮像させる。このタイミングでは、冷蔵室１ｃの貯蔵スペースから引き抜かれようとする手がちょうど撮像範囲１４ａに収まり、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている第２画像が得られる。
The user then places the apple in the desired position and then pulls out the empty hand. In this case, the hand always passes through the front row of the
ユーザは、手を引き抜いた後、特に用事がなければ、最後にドア部１ｄを閉める。シーンＳＣ１−５は、この時の様子を示す。開閉センサ１３ｄによって、ドア部１ｄが閉められたこと（以下、「閉ドア」と記載）が検知されると、画像取得部２０は、カメラ１４を停止する。
After pulling out the hand, the user finally closes the
図６に、ユーザによって品物（例えば、りんご）が出庫されたケース２において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。ユーザは、りんごを冷蔵庫１から取り出すために、まず、ドア部１ｄを開ける。シーンＳＣ２−１は、この時の様子を示す。入庫時と同様に、画像取得部２０は、開ドアが開閉センサ１３ｄによって検知されたタイミングでカメラ１４を起動し、より好ましくは参照画像を撮像させる。
FIG. 6 shows a plurality of scenes seen in the
次に、ユーザは、りんごを取り出すために、何も持たない手を冷蔵室１ｃ内に差し入れる。手は必ず冷蔵室１ｃの開口部を通過する。シーンＳＣ２−２は、この時の様子を示す。画像取得部２０は、入庫時と同様に、バックセンサ１３ｂがオンのままである一方で、フロントセンサ１３ｆがオンからオフに切り替わったタイミングで、カメラ１４に第１画像を撮像させる。このタイミングでは、入庫時と同様に、冷蔵庫１内に入れる前のユーザの手の様子が写っている第１画像が得られる。
Next, the user inserts an empty hand into the
次に、ユーザは、目的のりんごが置かれている位置まで、手をさらに奥に差し入れる。手は必ずいずれかの棚板１ｒの最前列か、最前列を通過してそれよりも奥に入る。シーンＳＣ２−３は、この時の様子を示す。画像取得部２０は、入庫時と同様に、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオンからオフに切り替わったタイミングでは、カメラ１４に撮像を実行させずに待機させる。画像取得部２０は、再び、撮像対象が撮像範囲１４ａに入るまでこの待機状態を維持させる。
The user then inserts his hand further back to the position where the desired apple is placed. The hand always passes through the front row of one of the
次に、ユーザは、りんごを手に取ってその手を引き抜く。この場合、手は、必ず、開口部を通過する前に、棚板１ｒの最前列を通過する。シーンＳＣ２−４は、この時の様子を示す。画像取得部２０は、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオフからオンに切り替わったタイミングで、カメラ１４に第２画像を撮像させる。このタイミングでは、入庫時と同様に、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている第２画像が得られる。
The user then picks up the apple and pulls it out. In this case, the hand always passes through the front row of the
ユーザは、手を引き抜いた後、特に用事がなければ、最後にドア部１ｄを閉める。シーンＳＣ２−５は、この時の様子を示す。閉ドアが検知されると、画像取得部２０は、カメラ１４を停止する。
After pulling out the hand, the user finally closes the
図７に、１回の手の出し入れで入庫と出庫とが同時に行われるケース３において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。ユーザは、りんごを冷蔵庫１に入れて、牛乳を冷蔵庫１から取り出すために、まず、ドア部１ｄを開ける。シーンＳＣ３−１は、この時の様子を示す。上述と同様に、画像取得部２０は、開ドアが検知されたタイミングでカメラ１４を起動し、より好ましくは参照画像を撮像させる。
FIG. 7 shows a plurality of scenes seen in
次に、ユーザは、まずはりんごを入れるために、りんごを持った手を冷蔵室１ｃ内に差し入れる。手は必ず冷蔵室１ｃの開口部を通過する。シーンＳＣ３−２は、この時の様子を示す。画像取得部２０は、上述と同様に、バックセンサ１３ｂがオンのままである一方で、フロントセンサ１３ｆがオンからオフに切り替わったタイミングで、カメラ１４に第１画像を撮像させる。このタイミングでは、上述と同様に、冷蔵庫１内に入れる前のユーザの手の様子が写っている第１画像が得られる。
Next, the user first inserts the hand holding the apple into the
次に、ユーザは、りんごを所望の位置に置いて、牛乳を手にするために手をさらに奥に差し入れる。手は必ずいずれかの棚板１ｒの最前列か、最前列を通過してそれよりも奥に入る。シーンＳＣ３−３は、この時の様子を示す。画像取得部２０は、上述と同様に、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオンからオフに切り替わったタイミングでは、カメラ１４に撮像を実行させずに待機させる。画像取得部２０は、再び、撮像対象が撮像範囲１４ａに入るまでこの待機状態を維持させる。
The user then places the apple in the desired position and inserts his hand further back to get the milk. The hand always passes through the front row of one of the
次に、ユーザは、牛乳を手に取ってその手を引き抜く。この場合、手は、必ず、開口部を通過する前に、棚板１ｒの最前列を通過する。シーンＳＣ３−４は、この時の様子を示す。画像取得部２０は、フロントセンサ１３ｆがオフのままである一方で、バックセンサ１３ｂがオフからオンに切り替わったタイミングで、カメラ１４に第２画像を撮像させる。このタイミングでは、上述と同様に、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている第２画像が得られる。
The user then picks up the milk and pulls it out. In this case, the hand always passes through the front row of the
ユーザは、手を引き抜いた後、特に用事がなければ、最後にドア部１ｄを閉める。シーンＳＣ３−５は、この時の様子を示す。閉ドアが検知されると、画像取得部２０は、カメラ１４を停止する。
After pulling out the hand, the user finally closes the
図８に、手の出し入れは起こったが、品物の入出庫が起こらなかったケース４において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。画像取得部２０による撮像制御処理は、上述と同様に、実行される。
FIG. 8 shows a plurality of scenes seen in the case 4 in which the goods were taken in and out but the goods were not taken in and out, the contents of the image pickup control process of the
すなわち、シーンＳＣ４−１において、「開ドア」が検知されると、画像取得部２０は、カメラ１４を起動して、参照画像を撮像させる。シーンＳＣ４−２において、バックセンサ１３ｂがオンのまま、フロントセンサ１３ｆがオンからオフに切り替わると、カメラ１４に第１画像を撮像させる。シーンＳＣ４−３において、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオンからオフに切り替わった後、次に、バックセンサ１３ｂがオンに切り替わるまでの間、カメラ１４を待機させる。シーンＳＣ４−４において、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオンに切り替わると、カメラ１４に第２画像を撮像させる。シーンＳＣ４−５において、「閉ドア」が検知されると、画像取得部２０は、カメラ１４を停止する。
That is, when the "open door" is detected in the scene SC4-1, the
以上のとおり、画像取得部２０がセンサ１３が出力するセンサ値に基づいて、カメラ１４の撮像タイミングを制御することにより、少なくとも、第１画像および第２画像の２枚の静止画が取得される。上述のとおり、第１画像には、冷蔵庫１内に入れる前のユーザの手の様子が写っており、第２画像には、冷蔵庫１内に入れた後に戻ってくるユーザの手の様子が写っている。
As described above, by controlling the imaging timing of the
図９は、画像取得部２０によって実行される撮像制御処理の流れを示すフローチャートである。なお、フローチャートを参照して以下に開示された方法において、特定の順序で実行される特定のステップが示されているが、これは、単なる例示の目的であって、本発明に係る処理の方法を限定する意図はない。フローチャートにおいて連続的に記載された各ステップは、本発明の方法と等価な方法を達成するために、実施形態が開示または示唆する内容から逸脱しない範囲で、組み合わせて１つのステップを実現してもよいし、さらに、さらに詳細なステップに分割されてもよいし、各ステップは並行して実行されてもよいし、開示されたものと異なる順序で実行されてもよいし、必須でないステップは省略されてもよい。すなわち、各ステップに付されたステップ番号は、処理が実行される実際の順番を示しているのではない。その他のフローチャートにおいても同様である。
FIG. 9 is a flowchart showing the flow of the imaging control process executed by the
開閉センサ１３ｄによって開ドアが検知されると（Ｓ１０１でＹＥＳ）、画像取得部２０は、カメラ１４を起動し、参照画像を撮像させる（Ｓ１０２）。画像取得部２０は、ドア部１ｄの開閉１回につき１つの参照画像を取得する。画像取得部２０は、ドア開閉回数をカウントし、取得した参照画像を、ドアの開閉１回分（例えば、ドア開閉回ＩＤ）に紐付けて画像記憶部３１に格納する。これ以後、画像取得部２０は、閉ドアが検知されるまでの間、手の出し入れ回数をカウントし、手の出し入れ１回ごとに、２枚の画像（手の入りの画像、および、手の出しの画像）を取得する。ドア開閉回数ＩＤと、手の出し入れ回数ＩＤと、手の入りか出しかの２値とを組み合わせて、これを画像の識別情報とし、画像のファイル名に採用することが好ましい。
When the open /
フロントセンサ１３ｆのみがオンからオフになると（Ｓ１０３でＹＥＳ）、画像取得部２０は、カメラ１４に第１画像を撮像させる（Ｓ１０４）。その後、バックセンサ１３ｂもオンからオフになり（Ｓ１０５でＹＥＳ）、そこからさらに、バックセンサ１３ｂのみがオフからオンに戻ると（Ｓ１０７でＹＥＳ）、画像取得部２０は、カメラ１４に第２画像を撮像させる（Ｓ１０８）。最後に、フロントセンサ１３ｆもオフからオンに戻ると（Ｓ１０９でＹＥＳ）、これで、１回の手の出し入れが確定し、画像取得部２０は、その回の手の出し入れに紐付けて、取得した第１画像および第２画像を対にして、画像記憶部３１に記憶する（Ｓ１１０）。
When only the
一方、Ｓ１０９において、フロントセンサ１３ｆがオフからオンに戻らないうちに、バックセンサ１３ｂが再びオンからオフに戻ると（Ｓ１０９でＮＯ）、これは、ユーザの手が出きらずに再び冷蔵室１ｃの奥に差し入れられたことになる。この場合において、さらに、再び、バックセンサ１３ｂのみがオフからオンに戻ると（Ｓ１０７でＹＥＳ）、このタイミングが、当該１回の手の出し入れにおける、最新の「手の出し」であると認識し、画像取得部２０は、当該最新の「手の出し」を写す第２画像を撮像する。ここで、先のＳ１０８において撮像された第２画像は、破棄されるか、上記最新の第２画像に上書きされる。そして、Ｓ１０９でＹＥＳの場合に、１回の手の出し入れが確定し、画像取得部２０は、上述したのと同様に、第１画像および最新の第２画像を対にして、画像記憶部３１に保存する（Ｓ１１０）。
On the other hand, in S109, if the
一方、Ｓ１０４の後、Ｓ１０５において、バックセンサ１３ｂもオンからオフにならないうちに（Ｓ１０５でＮＯ）、フロントセンサ１３ｆがオンからオフになった場合（Ｓ１１１でＹＥＳ）、これは、ユーザの手が、開口部まで差し入れられたものの、冷蔵室１ｃの奥に入ることなく、すなわち、品物が置かれたり取り出されたりすることのないまま、引き抜かれたことを意味する。この場合、手が差し入れられたときの第１画像は撮像されるが、その対となる第２画像が撮像されぬまま、１回の手の出し入れが終了してしまう。そこで、画像取得部２０は、Ｓ１１０にて、当該手の出し入れ回数に紐付けて、第１画像のみを画像記憶部３１に記憶してもよい。あるいは、第１画像を第２画像として複製して、内容が同じ第１画像および第２画像を対にして画像記憶部３１に記憶してもよい。いずれの記憶方法であっても、入出庫判定部２２において、当該手の出し入れにおいて品物の入出庫は起こらなかった（在庫変動なし）と正しく判定できるように入出庫判定部２２を構成する。
On the other hand, after S104, in S105, when the
１回の手の出し入れが確定（終了）し、撮像された画像を画像記憶部３１に保存すると、画像取得部２０は、閉ドアが検知されないうちは（Ｓ１１２でＮＯ）、手の出し入れ回数を１つインクリメントし、Ｓ１０３以降の処理を繰り返す。
When one hand insertion / removal is confirmed (finished) and the captured image is saved in the
（画像データベースについて）
図１０は、画像記憶部３１に記憶される画像データベースのデータ構造の一例を示す図である。なお、図１０において、画像のデータベースをデータ構造をテーブル形式にて示したことは一例であって、当該データ構造を、テーブル形式に限定する意図はない。以降、データ構造を説明するためのその他の図においても同様である。
(About the image database)
FIG. 10 is a diagram showing an example of the data structure of the image database stored in the
本実施形態では、一例として、カメラ１４によって撮像された画像は、ドア開閉回数ＩＤと、手の出し入れ回数ＩＤと、手の入れ時の画像か手の出し時の画像かを示す２値の符号との組み合わせによって一意に識別される。なお、参照画像については、ドア開閉回数ＩＤによって一意に識別される。
In the present embodiment, as an example, the image captured by the
図１０に示すとおり、１回のドア開閉の１回の手の出し入れに紐付けて、２枚の画像が格納される（「第１画像」のカラムおよび「第２画像」のカラム）。画像取得部２０は、画像のファイル名として、「ドア開閉回数ＩＤ_手の出し入れ回数ＩＤ_手の入りか出しかを示す２値.jpg」を設定する。例えば、ファイル名「01_01_0.jpg」は、１回目のドア開閉時の１回目の手の出し入れの、手の入り時の画像であることを意味する。なお、５行目のレコードにおいて、第２画像のカラムに示されている「ｎｕｌｌ」は、第２画像が撮像されていないことを意味する。これにより、５回目の手の出し入れでは、手が冷蔵室１ｃ庫内に入れられることなく引き抜かれたことが分かる。
As shown in FIG. 10, two images are stored in association with one hand insertion / removal of one door opening / closing (column of "first image" and column of "second image"). The
画像データベースは、さらに、第１画像および第２画像のそれぞれに対して、特徴量抽出部２１が画像処理を施した結果得られた特徴量を格納するためのカラムを有していてもよい（「第１画像の特徴量」のカラムおよび「第２画像の特徴量」のカラム）。画像データベースは、必要に応じて、さらに、中間画像を格納するためのカラムを有していてもよい（「中間画像」のカラム）。中間画像については、実施形態２にて詳述する。
The image database may further have a column for storing the feature amount obtained as a result of the feature
手の出し入れ１回ごとに、「第１画像」のカラムおよび「第２画像」のカラムのそれぞれに格納された画像対、または、該画像対のそれぞれの特徴量は、入出庫判定部２２によって読み出され、入出庫判定処理を実行するために利用される。
Each time the hand is taken in and out, the image pair stored in each of the "first image" column and the "second image" column, or the feature amount of each of the image pairs is determined by the warehousing /
（特徴量抽出部２１による画像処理）
図１１および図１２は、特徴量抽出部２１によって実行される画像処理の一例を説明する図である。まず、特徴量抽出部２１は、処理対象のドア開閉回の参照画像（例えば、図１０に示す「ref01.jpg」）と、処理対象の手の出し入れ回の第１画像および第２画像を画像記憶部３１から読み出す。そして、特徴量抽出部２１は、参照画像と第１画像との差分、および、参照画像と第２画像との差分を抽出する。これにより、参照画像に写っていなかった前景（ユーザの手および手に把持された品物）領域が特定される。
(Image processing by feature extraction unit 21)
11 and 12 are diagrams illustrating an example of image processing executed by the feature
図１１の（ａ）および（ｂ）に示すとおり、特徴量抽出部２１は、第１画像および第２画像のそれぞれについて、前景領域か、それ以外の非前景領域（すなわち背景領域）かを２値で表現した２値化画像を生成する。図１１の（ａ）は、品物を何も持たない手のシーンを写した原画像に基づいて、特徴量抽出部２１が生成した、２値化画像の一例を示す図である。図１１の（ｂ）は、りんごを手に持ったシーンを写した原画像に基づいて、特徴量抽出部２１が生成した、２値化画像の一例を示す図である。同図に示す例では、前景領域（りんごおよび手）の各ピクセルは、「１（黒色）」で表現されている。特徴量抽出部２１は、このようにして生成した第１画像および第２画像の２値化画像を図１０に示す画像データベースに格納する（「第１画像の特徴量」のカラムおよび「第２画像の特徴量」のカラム）。入出庫判定部２２および品物識別部２３は、２値化画像を参照することにより、冷蔵庫１の所定の場所を通過した撮像対象物の形状を把握することが可能となる。
As shown in FIGS. 11A and 11B, the feature
あるいは、特徴量抽出部２１は、図１１の（ｃ）および（ｄ）に示すとおり、第１画像および第２画像のそれぞれの前景領域について、画像ヒストグラムを作成してもよい。図１１の（ｃ）は、りんごを手に持ったシーンの前景領域について、特徴量抽出部２１が生成した、画像ヒストグラムの一例を示す図である。図１１の（ｂ）は、品物を何も持たない手のシーンの前景領域について、特徴量抽出部２１が生成した、画像ヒストグラムの一例を示す図である。ヒストグラムの横軸は、所定の分類方式によって区分された色成分の区間を示し、縦軸はその区間に属する色を持つ画素の度数を示す。特徴量抽出部２１は、第１画像の前景領域の画像ヒストグラムを、図１０に示す画像データベースの「第１画像の特徴量」のカラムに、第２画像の前景領域の画像ヒストグラムを、「第２画像の特徴量」のカラムにそれぞれ格納する。入出庫判定部２２および品物識別部２３は、画像ヒストグラムを参照することにより、冷蔵庫１の所定の場所を通過した撮像対象物の色成分を把握することが可能となる。
Alternatively, the feature
あるいは、特徴量抽出部２１は、図１２の（ａ）および（ｂ）に示すとおり、第１画像および第２画像のそれぞれの前景領域について、事前に学習しておいた手（肌）の色に近い成分領域をマスキングしてもよい。図１２の（ａ）は、品物を何も持たない手のシーンを写した前景領域に基づいて、特徴量抽出部２１が生成した、マスキング画像の一例を示す図である。図１２の（ｂ）は、りんごを手に持ったシーンを写した前景領域に基づいて、特徴量抽出部２１が生成した、マスキング画像の一例を示す図である。マスキング画像では、手の領域がマスクされ、手以外の領域（すなわち、品物の領域）が特定される。特徴量抽出部２１は、第１画像および第２画像それぞれの前景領域のマスキング画像を、図１０に示す画像データベースの「第１画像の特徴量」のカラムおよび「第２画像の特徴量」のカラムにそれぞれ格納する。入出庫判定部２２および品物識別部２３は、マスキング画像を参照することにより、冷蔵庫１の所定の場所を通過した撮像対象物について、手以外（品物）の領域がある場合に、それを把握することが可能となる。
Alternatively, as shown in FIGS. 12A and 12B, the feature
あるいは、特徴量抽出部２１は、パターン記憶部３０において事前に学習されている手のパターン画像と、前景領域とのマッチングを行い、手のパターン画像とマッチする領域を取り除くことにより、手の領域と品物の領域とを区別してもよい。または、パターン記憶部３０において、冷蔵庫１に貯蔵することが想定されているあらゆる品物のパターン画像を学習しておき、パターン画像と前景領域とのマッチングを行って、いずれかの品物のパターン画像とマッチする領域を特定してもよい。なお、パターン記憶部３０は、マッチング精度を高めるために膨大な量のパターン画像を学習しておくことが想定される。そこで、パターン記憶部３０を、クラウドサーバ２に設けて、冷蔵庫１は、第１画像および第２画像をクラウドサーバ２に送信してマッチング結果を要求する構成としてもよい。冷蔵庫１は、クラウドサーバ２からマッチング結果を含む応答を受信し、特徴量抽出部２１が、マッチング結果に基づいて、前景領域の品物の領域を検出する。
Alternatively, the feature
あるいは、冷蔵庫１に、さらにサーモカメラを、撮像範囲１４ａを写すように取り付ける。そして、画像取得部２０が、該サーモカメラを制御して、撮像範囲１４ａの表面温度分布画像を、カメラ１４が撮像するのとほぼ同様のタイミングで取得する。そして、特徴量抽出部２１は、表面温度分布画像から人の体温と同じ領域を特定して、その領域を第１画像および第２画像の前景領域から取り除くことにより、手の領域と品物の領域とを区別してもよい。
Alternatively, a thermo camera is further attached to the
以上の説明から、参照画像を用いることの利点は明らかになった。すなわち、参照画像を用いることにより、背景領域（手および品物以外の領域）を事前に省くことができるので、特徴量抽出部２１は、画像処理の対象を前景領域に限定することができる。これにより、特徴量抽出部２１は、手の領域と品物の領域を区別するための上述の各種処理を効率よく実施することが可能となる。
From the above explanation, the advantage of using the reference image has been clarified. That is, by using the reference image, the background area (the area other than the hand and the article) can be omitted in advance, so that the feature
（入出庫判定部２２による入出庫判定処理）
画像取得部２０によって取得された画像対（第１画像および第２画像）、または、特徴量抽出部２１によって抽出された各画像の特徴量に基づいて、入出庫判定部２２は、入出庫判定処理を実行する。図１３は、入出庫判定部２２によって実行される入出庫判定処理の流れを示すフローチャートである。なお、本フローチャートには、品物識別部２３によって実行される品物識別処理、および、在庫管理部２４によって実行される在庫管理処理も含まれている。
(The warehousing / delivery determination process by the warehousing / delivery determination unit 22)
Based on the image pair (first image and second image) acquired by the
まず、入出庫判定部２２は、処理対象の手の出し入れ回における画像対、または、該画像対の特徴量を画像記憶部３１（図１０の画像データベース）から読み出す（Ｓ２０１）。ここで、処理対象レコードの第２画像またはその特徴量がｎｕｌｌで読み出せない場合（Ｓ２０２でＮＯ）、手が冷蔵室１ｃの奥まで入らなかったので、品物の入出庫は行われず、したがって、入出庫判定部２２は、在庫に変動はないと判定する（Ｓ２１６）。
First, the warehousing /
一方、画像を対で読み出した場合には（Ｓ２０２でＹＥＳ）、まず、入出庫判定部２２は、第１画像に品物が写っているか否かを判定する。画像における品物の有無は、特徴量抽出部２１によって抽出された画像の特徴量を参照することにより判定することができる。例えば、入出庫判定部２２は、画像に含まれる前景領域の形状が、手以外の何かを含んだ形状である場合（図１１の（ｂ））に、品物ありと判定し、手の形状のみである場合（図１１の（ａ））に、品物なしと判定する。
On the other hand, when the images are read out in pairs (YES in S202), the warehousing /
入出庫判定部２２は、第１画像に品物が写っていると判定した場合（Ｓ２０３でＹＥＳ）、次に、入出庫判定部２２は、第２画像の品物の有無を判定する。なお、制御部１０が品物識別部２３を有している場合、品物識別部２３は、Ｓ２０３でＹＥＳと判定された後の任意のタイミングで、Ｓ２０３にてありと判定された品物を識別してもよい。具体的には、該品物を識別するための品物識別情報を生成する（Ｓ２０４）。第１画像に写っている品物を以下では、仮に「品物１」と称する。
When the warehousing /
入出庫判定部２２が、第２画像に品物が写っていると判定した場合（Ｓ２０５でＹＥＳ）、品物識別部２３は、第２画像に写る品物（以下、「品物２」）を識別する（Ｓ２０６）。ここで、入出庫判定部２２は、品物１が入庫され、品物２が出庫されたと判定する（Ｓ２０７）。
When the warehousing /
そこで、在庫管理部２４は、品物１の入庫に対応するように、品物１の新規レコードを在庫表記憶部３２に記憶されている在庫表に登録する（Ｓ２０８）。在庫表に入庫日時を格納する場合、在庫管理部２４は、例えば、品物１が写っている第１画像の撮像日時を、入庫日時として扱ってもよい。併せて、在庫管理部２４は、品物２の出庫に対応するように、品物２のレコードを上記在庫表から削除する（Ｓ２０９）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。
Therefore, the
上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物１の入庫と品物２の出庫が行われたことが把握される。そして、その事実と整合するように、在庫表が更新される。
According to the above method, it can be grasped from the two images that the
一方、Ｓ２０５において、入出庫判定部２２が、第２画像に品物が写っていないと判定した場合（Ｓ２０５でＮＯ）、入出庫判定部２２は、品物１が入庫されたと判定する（Ｓ２１０）。そこで、在庫管理部２４は、Ｓ２０８と同様に、品物１の新規レコードを上記在庫表に登録する（Ｓ２１１）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物１の入庫が行われたことが把握される。そして、その事実と整合するように、在庫表が更新される。
On the other hand, in S205, when the warehousing /
一方、Ｓ２０３において、入出庫判定部２２が、第１画像に品物が写っていないと判定した場合（Ｓ２０３でＮＯ）、次に、入出庫判定部２２は、第２画像の品物の有無を判定する。ここで、入出庫判定部２２は、第２画像に品物が写っていると判定した場合（Ｓ２１２でＹＥＳ）、品物識別部２３は、第２画像に写る品物２を識別する（Ｓ２１３）。ここで、入出庫判定部２２は、品物２が出庫されたと判定する（Ｓ２１４）。そこで、在庫管理部２４は、Ｓ２０９と同様に、品物２のレコードを上記在庫表から削除する（Ｓ２１５）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物２の出庫が行われたことが把握される。そして、その事実と整合するように、在庫表が更新される。
On the other hand, in S203, when the warehousing /
一方、Ｓ２１２において、入出庫判定部２２が、第２画像に品物が写っていないと判定した場合（Ｓ２１２でＮＯ）、いずれの画像にも品物が写っていないため、品物の入出庫は行われていないと判定する。すなわち、入出庫判定部２２は、在庫に変動はないと判定する（Ｓ２１６）。これで、処理対象の手の出し入れ１回につき、一連の在庫管理が完了する。上記方法によれば、２枚の画像から、１回の手の出し入れにおいて、品物の入出庫が行われなかったことが把握される。この場合、在庫管理部２４によって、在庫表の更新は実施されない。
On the other hand, in S212, when the warehousing /
（品物識別部２３による品物識別処理）
品物識別部２３は、入出庫判定部２２によって品物ありと判定された画像について、該画像に含まれる品物を識別するものである。具体的には、ありと判定された上記品物を在庫管理するために、該品物を識別するための品物識別情報を生成する。
(Item identification process by item identification unit 23)
The
品物ありと判定された画像については、特徴量抽出部２１によって、あらかじめ抽出されている特徴量に基づいて、品物の領域が特定されている。したがって、品物識別部２３は、上記品物の領域の特徴量とマッチする、品物のパターン画像をパターン記憶部３０から検索することができる。そして、品物識別部２３は、検索したパターン画像に対応付けられている品物の名称を読み出して、これを上記品物の品物識別情報として採用する。例えば、図１２の（ｂ）に示すりんごの領域と、パターン画像とを比較し、りんごのパターン画像を検索することができた場合、品物識別部２３は、該パターン画像に関連付けられているテキストデータ「りんご」を、上記品物ありと判定された画像に対応付けて、在庫管理部２４に対して通知する。
For the image determined to have an item, the feature
あるいは、品物識別部２３は、品物の領域のみを抽出した品物のトリミング画像を、品物識別情報として取り扱い、上記品物ありと判定された画像と、上記トリミング画像との対応付けを在庫管理部２４に対して通知する。あるいは、品物識別部２３は、パターンマッチングや、品物の領域のトリミングがうまくいかなかった場合に、上記品物ありと判定された画像そのものを品物識別情報として採用してもよい。この場合、上記品物ありと判定された画像を品物識別情報として扱うように、在庫管理部２４に対して通知する。
Alternatively, the
（在庫管理部２４による在庫管理処理）
図１４（ａ）〜（ｃ）は、在庫表記憶部３２に記憶される在庫表の具体例を示す図である。在庫表は、少なくとも、品物識別情報のカラムと入庫日時のカラムとを含む。後述するが、在庫表は、さらに、出庫日時のカラムを含んでいてもよい。
(Inventory management process by the inventory management unit 24)
14 (a) to 14 (c) are diagrams showing a specific example of the inventory table stored in the inventory
在庫管理部２４は、入出庫判定部２２によって入庫と判定された場合に、品物が写っている画像と、該画像に写る品物について品物識別部２３から通知された品物識別情報とに基づいて、該品物の新規レコードを作成し、在庫表に登録する。
The
例えば、品物識別部２３によって品物の名称のテキストデータが提供された場合、在庫管理部２４は、図１４の（ａ）に示すとおり、該テキストデータを品物識別情報のカラムに格納し、入庫判定された上記画像の撮像日時を入庫日時のカラムに格納する。あるいは、品物識別部２３から、品物の領域のトリミング画像が提供された場合には、在庫管理部２４は、図１４の（ｂ）に示すとおり、上記トリミング画像を品物識別情報のカラムに格納する。あるいは、品物識別部２３から、入庫判定された画像をそのまま品物識別情報として扱うように通知を受けた場合には、在庫管理部２４は、図１４の（ｃ）に示すとおり、入庫判定された画像を品物識別情報のカラムに格納する。
For example, when the
一方、在庫管理部２４は、入出庫判定部２２によって出庫と判定された場合には、品物が写っている画像と、該画像に写る品物について品物識別部２３から通知された品物識別情報とに基づいて、出庫された品物のレコードを在庫表から特定し、該レコードを削除する。例えば、品物識別部２３からテキストデータ「りんご」が通知された場合、在庫管理部２４は、品物識別情報が「りんご」であるレコードを在庫表から特定し、該レコードを削除する。
On the other hand, when the warehousing /
上記構成および方法によれば、１回の手の出し入れについて取得された２枚の画像を処理するだけで、入出庫の判定を正しく行うことができる。さらに、入出庫された品物を上記画像から特定して、判定した入出庫の事実と整合するように、在庫表を管理することが可能である。しかも、ユーザは、品物の出し入れに伴って特別な動作や操作を行うことを強いられない。結果として、高性能のプロセッサを必要とすることなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定することが可能な在庫管理装置または在庫管理システムを実現することができる。 According to the above configuration and method, it is possible to correctly determine the warehousing / delivery only by processing the two images acquired for one hand in / out. Further, it is possible to identify the goods that have been received and delivered from the above image and manage the inventory table so as to be consistent with the facts of the determined receipt and delivery. Moreover, the user is not forced to perform any special operation or operation when the item is taken in and out. As a result, it is possible to realize an inventory management device or an inventory management system capable of determining the receipt / delivery of goods without requiring a high-performance processor and without impairing the convenience of the user.
〔実施形態２〕
本発明の他の実施形態について、図１５〜図２１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 2]
Other embodiments of the present invention will be described below with reference to FIGS. 15 to 21. For convenience of explanation, the same reference numerals will be added to the members having the same functions as the members described in the first embodiment, and the description thereof will be omitted.
実施形態１では、手を入れたときおよび出したときの２枚の画像によって、品物の入出庫を判定する冷蔵庫１について説明した。実施形態２では、冷蔵庫１は、手を入れてから出すまでの間に３枚目の画像（中間画像）を撮像する。これによって、品物が入出庫された場所（棚の段数）をさらに特定することができる。
In the first embodiment, the
（冷蔵庫の概観）
図１５の（ａ）は、実施形態２に係る冷蔵庫１の、ドア部１ｄを開いた状態の上面図であり、（ｂ）は、冷蔵室１ｃ内部の斜視図である。図１６の（ａ）は、冷蔵室１ｃのドア部１ｄを除いた部分の概略側面図であり、（ｂ）は、他の例における冷蔵室１ｃ内部の斜視図である。
(Overview of the refrigerator)
FIG. 15A is a top view of the
なお、図１５の（ａ）では、食品の出し入れが容易に理解できるように、冷蔵室１ｃの天板を除いて示している。また、図１５の（ｂ）および図１６の（ｂ）では、３枚の棚板１ｒの位置関係が容易に理解できるように、冷蔵室ｃのドア部１ｄ、天板、および右側壁を除いて示している。また、図１６の（ａ）では、３枚の棚板１ｒの位置関係が容易に理解できるように、冷蔵室ｃのドア部１ｄおよび右側壁を除いて示している。
In addition, in FIG. 15A, the top plate of the refrigerating
図１５の（ａ）および（ｂ）に示すとおり、実施形態２では、３枚の棚板１ｒ−１、棚板１ｒ−２および棚板１ｒ−３が設けられる。これらの３枚の棚板１ｒは、色、形状、サイズ、質感または模様など、外観デザインが互いに異なるように設けられる。これは、撮像範囲１４ａに収まる３枚の棚板１ｒの一部が、それぞれどの棚板であるのかを静止画から識別可能なようにするためである。例えば、図１５の（ａ）に示すとおり、棚板１ｒの奥行を上の板ほど短くすると、カメラ１４の位置から（真上から）３枚の棚板１ｒを見た時に、棚板１ｒの縁がずれる。これにより、カメラ１４が撮像範囲１４ａを捉えた時、その画像に写る棚板１ｒの一部が、どの棚板１ｒであるのかを識別することができる。
As shown in FIGS. 15A and 15B, in the second embodiment, three
さらに、図１５の（ｂ）に示すとおり、それぞれの棚板１ｒの縁に、参照線Ｌを付すことが好ましい。これにより、カメラ１４によって撮像された画像に写る３枚の棚板１ｒを、より明確に識別することが可能となる。
Further, as shown in FIG. 15B, it is preferable to attach a reference line L to the edge of each
さらに、棚板１ｒを透明の素材を用いて構成することにより、下の様子を透過するので、棚板１ｒのデザインの自由度が向上する。例えば、図１６の（ａ）に示すとおり、上の棚板１ｒの奥行を、下の棚板１ｒの奥行よりも長くしても、棚板１ｒが透明であれば、下の棚板１ｒの縁を透過するので、撮像された画像において、３枚の棚板１ｒを識別することが可能となる。
Further, by constructing the
あるいは、参照線Ｌは、線である必要はなく、一定の間隔が配列された点の集合であってもよい。あるいは、参照線Ｌは、直線以外にも、破線、波線、二重線などであってもよい。さらに、図１６の（ｂ）に示すとおり、棚板１ｒごとに、参照線Ｌのデザインを異ならせてもよい。カメラ１４がカラー画像を撮像する場合には、棚板１ｒごとに参照線Ｌの色を変えてもよいし、棚板１ｒ自体の色を変えてもよい。
Alternatively, the reference line L does not have to be a line and may be a set of points arranged at regular intervals. Alternatively, the reference line L may be a broken line, a wavy line, a double line, or the like, in addition to the straight line. Further, as shown in FIG. 16B, the design of the reference line L may be different for each
（画像取得部２０による撮像制御処理）
図１７に、実施形態２の冷蔵庫１に対してユーザが手を出し入れするケース５において見られる複数のシーンと、シーンごとの画像取得部２０の撮像制御処理の内容およびそのトリガを示す。実施形態１に係る撮像制御処理と異なる点は、冷蔵庫１は、手を入れてから出すまでの間のシーンＳＣ５−３において、３枚目の画像を撮像する点である。具体的には、シーンＳＣ５−２において、ユーザが冷蔵室１ｃ開口部に手を差し入れた後、シーンＳＣ５−４において、ユーザが手を引き抜くまでの間に、ユーザが手を冷蔵室１ｃ庫内に手をのばすシーンＳＣ５−３が起こることが想定される。画像取得部２０は、シーンＳＣ５−３の発生を、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオフからオンに切り替わったことによって、検知することができる。画像取得部２０は、このタイミングでカメラ１４を制御して画像を撮像させる。以下では、ユーザが手を入れて出すまでの間の中間のシーンＳＣ５−３で撮像された画像を中間画像と称する。中間画像には、ユーザが手を冷蔵室１ｃの奥まで差し入れたときの様子が写っており、該中画像により、ユーザの手が、どの棚板１ｒの下または上に差し入れられたのかが判別できる。
(Image control processing by the image acquisition unit 20)
FIG. 17 shows a plurality of scenes seen in the
画像取得部２０は、撮像した中間画像を、第１画像および第２画像と同様に、図１０に示す画像データベースに格納する。より具体的には、画像取得部２０は、ドア開閉回数ＩＤおよび手の出し入れ回数ＩＤに対応付けて、「中間画像」のカラムに、上記中間画像を格納する。なお、画像取得部２０は、中間画像のファイル名として、「ドア開閉回数ＩＤ_手の出し入れ回数ＩＤ_中間画像であることを示す値.jpg」を設定することが好ましい。例えば、ファイル名「01_01_m.jpg」は、１回目のドア開閉時の１回目の手の出し入れの、中間画像であることを意味する。さらに、特徴量抽出部２１は、上記中間画像の特徴量を抽出して、これを、図１０に示す画像データベースに格納してもよい。
The
図１８は、実施形態２に係る画像取得部２０によって実行される撮像制御処理の流れを示すフローチャートである。図１８に示す、実施形態２の撮像制御処理において、図９に示す実施形態１の撮像制御処理と異なる点は、Ｓ１０６のステップが含まれている点である。具体的には、Ｓ１０５にて、フロントセンサ１３ｆがオフのまま、バックセンサ１３ｂがオンからオフに切り替わったとき（Ｓ１０５でＹＥＳ）、画像取得部２０は、カメラ１４を制御して、中間画像を撮像させる（Ｓ１０６）。そして、実施形態１と同様にＳ１１０まで処理が進み、画像取得部２０は、撮像した画像（第１画像、第２画像および中間画像）を、ドア開閉回数ＩＤおよび手の出し入れ回数ＩＤに紐付けて、画像記憶部３１に格納する（Ｓ１１０）。
FIG. 18 is a flowchart showing a flow of imaging control processing executed by the
（入出庫判定部２２による入庫先判定処理）
入出庫判定部２２は、図１３の入出庫判定処理において品物が入庫されたことを判定した場合（Ｓ２０７またはＳ２１０）、さらに、中間画像を分析して、上記品物の入庫先を判定する。なお、図１５の（ｂ）に示す例では、冷蔵室１ｃの空間を仕切る棚板１ｒは、３枚設けられているので、冷蔵室１ｃには、貯蔵スペースが合計４つ、すなわち、入庫先が計４段、形成される。以下では、仕切られた４つの入庫先を上から順に、１段目（または最上段）、２段目（または上から２段目）、３段目（または下から２段目）、４段目（または最下段）と称する。
(Receiving destination determination processing by the warehousing / delivery determination unit 22)
When the warehousing /
図１９（ａ）〜（ｄ）は、カメラ１４によって撮像された中間画像のいくつかの具体例を示す図である。図１９の（ａ）に示す中間画像において、すべての棚板１ｒの参照線Ｌが部分的に前景領域（手）に隠れている。したがって、一番上の棚板１ｒ−１よりも上に手があることが分かるので、入庫先が最上段であると特定できる。図１９の（ｂ）に示す中間画像において、一番上に写っている棚板１ｒ−１の参照線Ｌは手に隠れず、２番目の棚板１ｒ−２および３番目の棚板１ｒ−３の参照線Ｌは手に隠れている。したがって、棚板１ｒ−１と棚板１ｒ−２との間に手があることが分かるので、入庫先が上から２段目であると特定できる。図１９の（ｃ）に示す中間画像において、一番上に写っている棚板１ｒ−１、および、２番目の棚板１ｒ−２の参照線Ｌは手に隠れず、３番目の棚板１ｒ−３の参照線Ｌは手に隠れている。したがって、棚板１ｒ−２と棚板１ｒ−３との間に手があることが分かるので、入庫先が下から２段目であると特定できる。図１９の（ｄ）に示す中間画像において、すべての棚板１ｒの参照線Ｌが手に隠れていない。したがって、３番目の棚板１ｒ−３よりも下に手があることが分かるので、入庫先が最下段であると特定できる。
19 (a) to 19 (d) are diagrams showing some specific examples of the intermediate images captured by the
図２０は、実施形態２に係る入出庫判定部２２によって実行される入庫先判定処理の流れを示すフローチャートである。まず、入出庫判定部２２は、処理対象の手の出し入れ回における中間画像、または、該画像の特徴量を画像記憶部３１（図１０の画像データベース）から読み出す（Ｓ３０１）。
FIG. 20 is a flowchart showing the flow of the warehousing destination determination process executed by the warehousing /
一部が前景領域に隠れている参照線が１本もない場合（Ｓ３０２でＮＯ）、入出庫判定部２２は、品物の入庫先は、最下段であると判定する（Ｓ３０３）。一方、一部が前景領域に隠れている参照線がある場合（Ｓ３０２でＹＥＳ）、入出庫判定部２２は、手に隠れている参照線の本数によって入庫先を判定する。具体的には、手に隠れている参照線が、一番下の棚板１ｒ−３の参照線１本のみである場合（Ｓ３０４でＹＥＳ）、入出庫判定部２２は、品物の入庫先は、下から２段目と判定する（Ｓ３０５）。次に、手に隠れている参照線が、一番下の棚板１ｒ−３の参照線と、２番目の棚板１ｒ−２の参照線との２本のみである場合（Ｓ３０４でＮＯ、Ｓ３０６でＮＯ）、入出庫判定部２２は、品物の入庫先は、上から２段目と判定する（Ｓ３０７）。次に、手に隠れている参照線が、一番下の棚板１ｒ−３の参照線と、２番目の棚板１ｒ−２の参照線と、３番目の棚板１ｒ−３の参照線とである場合、すなわち、すべての参照線が手に隠れている場合（Ｓ３０６でＹＥＳ）、入出庫判定部２２は、品物の入庫先は、最上段と判定する（Ｓ３０８）。
When there is no reference line partially hidden in the foreground region (NO in S302), the warehousing /
なお、入出庫判定部２２は、品物が出庫されたときにも、中間画像を分析して出庫元を判定してもよい。これにより、在庫管理部２４は、判定された出庫元が入庫先となっているレコードを抽出し、出庫された品物のレコード検索をより効率良く実施することが可能となる。
The warehousing /
（在庫管理部２４による在庫管理処理）
図２１は、実施形態２に係る在庫表記憶部３２に記憶される在庫表の具体例を示す図である。実施形態２の在庫表の、実施形態１の在庫表（図１４の（ａ）〜（ｄ））と異なる点は、さらに、在庫表がさらに入庫先のカラムを含んでいる点である。在庫管理部２４は、入庫先のカラムに、入出庫判定部２２によって判定された、品物の入庫先を格納する。なお、品物識別情報は、実施形態１と同様に、テキストデータであってもよいし、品物の領域のトリミング画像であってもよいし、第１画像そのものであってもよい。
(Inventory management process by the inventory management unit 24)
FIG. 21 is a diagram showing a specific example of the inventory table stored in the inventory
上記構成および方法によれば、１回の手の出し入れについて取得された２枚の画像を処理するだけで、入出庫の判定を正しく行うことができ、さらに、手の出し入れの中間のタイミングで撮像したもう１枚の画像を処理することにより、入庫先（貯蔵場所）を把握することが可能である。結果として、高性能のプロセッサを必要とすることなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定し、その貯蔵位置を把握することが可能な在庫管理装置または在庫管理システムを実現することができる。 According to the above configuration and method, it is possible to correctly determine the warehousing / delivery by processing the two images acquired for one hand in / out, and further, the image is taken at the intermediate timing of the hand in / out. By processing the other image, it is possible to grasp the storage destination (storage location). As a result, an inventory management device or an inventory management system capable of determining the warehousing / delivery of goods and grasping the storage position of the goods without requiring a high-performance processor and without impairing the convenience of the user. It can be realized.
（実施形態１および実施形態２の変形例）
なお、図１４および図２１に例示されたように、実施形態１および２において、在庫表は、出庫日時のカラムを含んでいてもよい。この場合、在庫管理部２４は、入出庫判定部２２によって出庫と判定された品物のレコードをすぐに削除しない。その代わりに、在庫管理部２４は、出庫された品物のレコードの出庫日時のカラムに、第２画像、すなわち、品物が取り出されるときの様子が写っている画像の撮像日時を出庫日時として格納する。
(Modified Examples of
As illustrated in FIGS. 14 and 21, in the first and second embodiments, the inventory table may include a column for the date and time of delivery. In this case, the
そして、在庫管理部２４は、同一の品物の入庫判定がなされないまま、上記出庫日時から一定時間が経過した場合に、該品物のレコードを削除する。また、在庫管理部２４は、一定時間以内に同一の品物の入庫判定がなされた場合に、該品物のレコードにおいて、出庫日時をクリアし、レコード自体は在庫表に維持する。なお、入庫日時を再入庫時の日時に更新してしまうと、正確に鮮度管理ができないことから、当該レコードにおいて、一番初めの入庫日時の記録を残しておくことが好ましい。
Then, the
上記構成によれば、ユーザが冷蔵庫１から取り出した品物の一部を消費して残りをすぐに元に戻す場合に、在庫表のレコードの削除および新規登録を無駄に実施することを回避し効率的な在庫管理を行うことができる。
According to the above configuration, when a user consumes a part of the items taken out from the
〔実施形態３〕
本発明の他の実施形態について、図２２〜図２９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１および２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 3]
Other embodiments of the present invention will be described below with reference to FIGS. 22 to 29. For convenience of explanation, the same reference numerals will be added to the members having the same functions as the members described in the first and second embodiments, and the description thereof will be omitted.
（発明が解決しようとする課題および発明の目的）
特許文献２の技術では、ユーザが、食物情報を定義してＩＣタグを製作し、該ＩＣタグを食物に取り付ける必要がある。冷蔵庫に食物を収納する際に、このような煩わしい作業をユーザに行わせることは、実用的ではない。実施形態３では、入出庫時にユーザに煩わしい作業を強いることなく品物の在庫管理を実施する在庫管理装置または在庫管理システムを実現する。
(Problems to be Solved by the Invention and Purpose of the Invention)
In the technique of
（在庫管理システムの概要）
図２は、本発明の実施形態３に係る在庫管理システム３００の概要を示す図である。本発明の一実施形態において、本発明の在庫管理装置は、食品などの品物の貯蔵を行う冷蔵庫の在庫管理を行う在庫管理装置であって、該在庫管理装置は、冷蔵庫３０１として実現される。なお、本発明の在庫管理装置にて在庫管理の対象となる品物は、食品に限定されず、医薬品、化粧品など、貯蔵庫にて貯蔵され得るあらゆる品物が想定されている。本実施形態では、冷蔵庫３０１は、在庫管理システム３００の一部を構成している。
(Overview of inventory management system)
FIG. 2 is a diagram showing an outline of the inventory management system 300 according to the third embodiment of the present invention. In one embodiment of the present invention, the inventory management device of the present invention is an inventory management device that manages the inventory of a refrigerator that stores items such as food, and the inventory management device is realized as a
在庫管理システム３００は、食品の貯蔵を行う冷蔵庫３０１、３０１ａ、３０１ｂ、・・・と、冷蔵庫３０１と広域通信ネットワーク４を介して通信するクラウドサーバ３０２とを含む。在庫管理システム３００は、必要に応じて、さらに、ユーザが携帯する小型の通信端末３を含んでいてもよい。通信端末３は、例えば、スマートフォン、タブレット端末、携帯電話などであり、ユーザによって携帯されている。クラウドサーバ３０２、通信端末３、および、冷蔵庫３０１は、広域通信ネットワーク４を介して接続するよう構成されている。なお、冷蔵庫３０１および通信端末３について、数や種類は限定されず、個別に説明する必要のない場合は、総称として冷蔵庫３０１と通信端末３とを用いる。また、クラウドサーバ３０２によって管理されるユーザ宅の数も限定されない。在庫管理システム３００に係るその他の説明は、実施形態１および２に係る在庫管理システム１００とほぼ同様であるので説明を省略する。
The inventory management system 300 includes
（冷蔵庫の概観）
図２２は、冷蔵庫３０１の冷蔵室３０１ｃのドア部３０１ｄを開いた状態の一部透過斜視図である。図２２に示すとおり、冷蔵庫３０１は、一例として、３つの貯蔵庫からなり、各庫は、上から順に、冷蔵室３０１ｃ、冷凍室３０１ｆ、および、野菜室３０１ｖを構成する。冷蔵庫３０１の各庫の構成は、上記に限定されず、さらに、製氷室またはチルド室を有していてもよいし、冷蔵庫３０１は、冷蔵室３０１ｃのみ、冷凍室３０１ｆのみで構成されていてもよい。また、各庫の位置は、上下逆でも構わない。
(Overview of the refrigerator)
FIG. 22 is a partially transparent perspective view in a state where the
冷凍室３０１ｆおよび野菜室３０１ｖは、引き出し型の貯蔵スペースを有し、ユーザは、取っ手を手前に引くことで、冷凍室３０１ｆおよび野菜室３０１ｖの庫内に手をのばすことができる。一方、冷蔵室３０１ｃは、片開き型の１枚の扉によって構成されるドア部３０１ｄを有し、ユーザは、取っ手を手前に引いてドア部３０１ｄを開くことで、冷蔵室３０１ｃの庫内に手をのばすことができる。なお、冷蔵室３０１ｃのドア部３０１ｄは、観音開き型の２枚の扉によって構成されてもよい。
The freezing
冷蔵室３０１ｃの貯蔵スペースは、さらに、一例として、１枚の棚板３０１ｒによって、２段に区切られていてもよい。なお、棚板３０１ｒの数は、上記に限定されず、０枚であってもよいし、１枚より少なくても、多くてもよい。
The storage space of the refrigerating
図２２に示すとおり、冷蔵庫３０１内の各貯蔵スペースの床面には、該貯蔵スペース内に置かれた品物の重量を測定する１以上の重量センサ３１４が設けられる。図２２に示す例では、重量センサ３１４は、一例としてマトリクス状に配列された圧力センサの集合で実現されており、個々の圧力センサは、マトリクス状に一定の間隔で、床面一面に敷き詰められる。この圧力センサの集合は、１つのグループを形成し、これが、１つの重量センサ３１４に対応する。重量センサ３１４には、圧力センサの個々のグループを識別するために、番地が割り当てられており、貯蔵スペースには、１以上の重量センサ３１４が設けられる。
As shown in FIG. 22, one or
図２２に示す例では、冷蔵室３０１ｃの貯蔵スペース１段につき、２個の重量センサ３１４が設けられている。具体的には、上段の床面には、番地Ａおよび番地Ｂが割り当てられた重量センサ３１４が、下段の床面には、番地Ｃおよび番地Ｄが割り当てられた重量センサ３１４が、それぞれ設けられている。冷凍室３０１ｆの床面には、番地Ｅが割り当てられた重量センサ３１４が設けられ、野菜室３０１ｖの床面には、番地Ｆが割り当てられた重量センサ３１４が設けられている。また、ドア部３０１ｄのドアポケット上段には、番地Ｇが割り当てられた重量センサ３１４が設けられ、ドアポケット下段には、番地Ｈが割り当てられた重量センサ３１４が設けられている。冷蔵室３０１ｃの各段のように、各貯蔵スペースの床面における重量センサ３１４の数は、１より多い任意の数で構わない。また、棚板３０１ｒを複数設けて貯蔵スペースが増える場合には、各段の床面に重量センサ３１４を設ける。すなわち、品物を置くことが可能なすべての床面における重量を把握するために、適宜の数および位置にて重量センサ３１４を設ける。
In the example shown in FIG. 22, two
（冷蔵庫の構成）
図２３は、本発明の実施形態３に係る冷蔵庫３０１の要部構成を示すブロック図である。該ブロック図は、冷蔵庫３０１のブロック図ではあるが、本図において、本発明に直接関係の無い部分、例えば、冷却または冷凍機能を実現する部分などの記載を省略した。冷蔵庫３０１は、図２３に示すように、少なくとも、制御部３１０、記憶部３１１、重量センサ３１４およびマイク３１５を備えている構成であり、必要に応じてさらに、通信部３１２、センサ３１３、スピーカ３１６およびディスプレイ３１７を備えていてもよい。通信部３１２は、上述の家電アダプタを含み、広域通信ネットワーク４を介してクラウドサーバ３０２と相互通信を行う。マイク３１５は、ユーザが制御部３１０に対して入力する音声を取得する。マイク３１５によって取得された音声は、図示しない音声制御部によって入力音声データに変換され、音声認識部３２０によって、音声認識処理される。スピーカ３１６は、上記音声制御部によって処理された出力音声データを、ユーザが聴取する音声として出力する。ディスプレイ３１７は、記憶部３１１に記憶されている各種データをユーザが視認可能なように表示するものであり、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬＤ（エレクトロルミネセンスディスプレイ）などの表示装置で構成される。
(Composition of refrigerator)
FIG. 23 is a block diagram showing a main configuration of the
センサ３１３は、ドア部３０１ｄの開閉を検知するための開閉センサである。開閉センサとしてのセンサ３１３は、ドアが開けられたこと、または、閉じられたことを検知し、検知結果を音声認識部３２０および測定部３２１に出力する。なお、センサ３１３は、照度センサ、接触センサなど適宜のセンサで実現される。重量センサ３１４は、上述したとおり、貯蔵スペースに置かれた品物の重量を検知するものである。重量センサ３１４が取得したセンサ値（重量値）は、測定部３２１に供給される。
The
制御部３１０は、冷蔵庫３０１の各部の動作を統括的に制御する。制御部３１０は、例えば、ＣＰＵや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部３１０は、機能ブロックとして、少なくとも、音声認識部３２０、測定部３２１および在庫管理部３２４を含み、より好ましくは、必要に応じて、入出庫判定部３２２および品物識別部３２３を含んでいる。
The
記憶部３１１は、冷蔵庫３０１が処理する各種データを記憶する。例えば、記憶部３１１は、音声認識部３２０によって認識された音声の認識結果を記憶するための認識結果記憶部３３０を含む。また、記憶部３１１は、重量センサ３１４が検知したセンサ値（重量値）および該センサ値から得られた測定結果を記憶するための測定結果記憶部３３１を含む。また、記憶部３１１は、冷蔵庫３０１の各庫内に貯蔵されている品物の一覧表である在庫表を記憶する在庫表記憶部３３２を含む。
The
音声認識部３２０は、マイク３１５を制御して、ユーザが発した音声を認識する。より好ましくは、音声認識部３２０は、センサ３１３によって開ドアが検知されてから閉ドアが検知されるまでの間、マイク３１５を起動する。そして、ユーザが品物を入庫するタイミングで発した音声を、テキストデータに変換し、該テキストデータを音声取得日時とともに、認識結果記憶部３３０に記憶する。ここで、ユーザは、品物を入庫するタイミングで品物の名称を発するだけである。これにより、入庫された品物名が認識結果記憶部３３０に記憶され、在庫管理部３２４が在庫管理を実施する際に利用することができる。
The
測定部３２１は、重量センサ３１４（各圧力センサ）からのセンサ値に基づいて、重量変化量（貯蔵スペース床面における負荷の変化量）および重量（負荷）が変化した位置（以下、変化位置）を測定する。貯蔵スペースに品物が入庫されたり、出庫されたりして、重量に変化があれば、測定部３２１が、変化前後のセンサ値の差分から重量変化量を求める。また、センサ値が変化した重量センサ３１４の番地および圧力センサの座標に基づいて、重量変化が起きた変化位置を特定する。
Based on the sensor values from the weight sensor 314 (each pressure sensor), the measuring
在庫管理部３２４は、音声認識部３２０による音声認識結果および測定部３２１による測定結果に基づいて、在庫表を更新し、冷蔵庫３０１の在庫を管理する。具体的には、入庫された品物のレコードを在庫表に登録したり、出庫された品物のレコードを在庫表から削除したり、その他状態に変化があった品物のレコードを更新したりする。
The
入出庫判定部３２２は、測定部３２１が測定する重量変化量に応じて、入出庫判定を行う。入出庫判定部３２２は、重量が増加したことによって品物が入庫されたと判定し、重量が減少したことによって品物が出庫されたと判定する。とりわけ、入出庫判定部３２２は、品物が出庫されてから所定時間以内に、出庫時と同じ位置に、上記出庫された品物の重量以下の品物が入庫された場合に、入庫された品物が、出庫された品物と同一であると判定し、品物が再入庫されたことを在庫管理部３２４に通知する。
The warehousing /
なお、入出庫判定部３２２は、さらに、出入庫された品物の異同の判定精度を高めるために、ユーザに品物の異同を確認する構成であってもよい。具体的には、入出庫判定部３２２は、「先ほど取り出した○○ですか？」という確認メッセージを生成し、図示しない発話制御部を利用して、該メッセージの出力音声データをスピーカ３１６から出力させるか、あるいは該メッセージのテキストデータをディスプレイ３１７に表示させる。なお、メッセージ内の「○○」の部分には、出庫された品物のレコードから品物識別情報を読み出して挿入すればよい。上記メッセージに対して同一である旨の回答が、ユーザによって制御部３１０に入力された場合に、入出庫判定部３２２は、品物が再入庫されたと判定する。なお、ユーザは、同一である旨の回答を入力するために、図示しない操作部を操作して、ディスプレイ３１７に表示された「はい」のボタンを押下してもよいし、マイク３１５に向かって「はい」と発話してもよい。
The warehousing /
なお、重量が増加したことによって入庫を判定し、重量が減少したことによって出庫を判定する簡易な処理のみを実行する入出庫判定部３２２は、制御部３１０の構成から省略されても構わない。この場合、在庫管理部３２４を、重量が増加した場合に新規レコードを登録し、重量が減少した場合に該当レコードを削除するように構成する。
The warehousing /
品物識別部３２３は、重量変化が起こったタイミング（負荷に変化が生じた時点）で、音声が入力されなかった場合、または、音声の認識に失敗した場合などに、その重量変化に関与している品物について、仮の品物識別情報を作成してもよい。仮の品物識別情報は、任意の意味を持たない文字列であってよいし、重量変化量、変化位置、変化日時などの意味がある文字列であってもよい。このようにして作成された仮の品物識別情報は、在庫管理部３２４によって利用される。上述の各機能ブロックによって実行される各種処理について、図を参照して後に詳述する。
The
（測定部３２１による測定処理）
図２４は、１つの重量センサ３１４にマトリクス状に配置された圧力センサの一例を示す図である。同図に示す例では、重量センサ３１４は、計６４個の圧力センサからなり、圧力センサは、ｘ軸方向に８列、ｙ軸方向に８列でマトリクス状に配置されている。
(Measurement processing by measurement unit 321)
FIG. 24 is a diagram showing an example of pressure sensors arranged in a matrix on one
この重量センサ３１４に、ある品物（例えば、りんご）が置かれると、重量値が増加する方向に変化する。図２４には、説明の目的で、重量の増加を検知した圧力センサのセル内に、「＋数字」の記号を付す。数字は、重量増加前の重量との比較で相対的な増加量を表しており、実際の増加重量を表しているわけではない。
When an item (for example, an apple) is placed on the
測定部３２１は、１以上の圧力センサのセンサ値が変動し、変化後のセンサ値で安定すると、変化前に安定していたセンサ値と比較してセンサ値の差分が生じた圧力センサを特定する。図２４に示す例では、「＋数字」の記号が付された圧力センサを特定する。そして、測定部３２１は、特定したすべての圧力センサのセンサ値の差分を合計し、これを、重量変化量として出力する。この重量変化量が、すなわち、入庫されたりんごの重量として扱われる。
When the sensor value of one or more pressure sensors fluctuates and stabilizes at the changed sensor value, the measuring
さらに、測定部３２１は、センサ値が変化した位置である変化位置を特定する。位置の特定精度は特に限定されない。例えば、測定部３２１は、センサ値が変化した重量センサ３１４に割り当てられている番地（Ａ〜Ｈ）を、そのまま、変化位置として採用してもよい。例えば、図２４に示す重量センサ３１４の番地が「Ａ」であれば、測定部３２１は、変化位置「Ａ」を出力する。変化位置「Ａ」は、入庫されたりんごの貯蔵位置（貯蔵スペース）として扱われる。
Further, the measuring
あるいは、測定部３２１は、センサ値が変化した圧力センサをすべて含む外接矩形３１４ｋを定義し、外接矩形３１４ｋの座標情報を変化位置として採用してもよい。例えば、図２４に示す外接矩形３１４ｋに基づく変化位置は、外接矩形３１４ｋの最左下の圧力センサ３１４ｓの座標情報と、最右上の圧力センサ３１４ｅの座標情報との組み合わせにより、表現される。例えば、重量センサ３１４の番地が「Ａ」であり、圧力センサ３１４ｓの座標情報が「ｘ１、ｙ１」であり、圧力センサ３１４ｅの座標情報が「ｘ２、ｙ２」である場合、変化位置は、「Ａ、（ｘ１、ｙ１）、（ｘ２、ｙ２）」と表現され得る。変化位置「Ａ、（ｘ１、ｙ１）、（ｘ２、ｙ２）」は、入庫されたりんごの貯蔵位置として扱われる。
Alternatively, the measuring
なお、重量センサ３１４の構成は、上記に限定されない。例えば、重量センサ３１４は、貯蔵スペースの床面の四隅に配置された４つの圧力センサの組み合わせによって実現されてもよい。図２５の（ａ）は、床面（例えば、棚板３０１ｒ）の四隅に圧力センサ３１４ａを持つ重量センサ３１４の斜視図であり、図２５の（ｂ）は、該重量センサ３１４の正面図である。図２５に示すとおり、棚板３０１ｒと、該棚板３０１ｒを支持する棚受け１ｒｒとの間に、４つの圧力センサ３１４ａを配置する。４つの圧力センサ３１４ａは、棚板３０１ｒのおよそ四隅に接触する位置に設けられて、その四隅から棚板３０１ｒを支持する。棚板３０１ｒにかかる負荷は、４つの圧力センサ３１４ａに分散して伝達され、それぞれの圧力センサ３１４ａのセンサ値に基づいて、棚板３０１ｒにかかる負荷、すなわち、重量が計測される。
The configuration of the
４つの圧力センサ３１４ａからなる重量センサ３１４を採用した場合、測定部３２１は、重量変化量および変化位置を、例えば、以下のようにして特定する。図２６を参照して、棚板３０１ｒのサイズを、幅Ｌｘ＊奥行Ｌｙとし、品物Ｏｂの重量をＷとし、品物Ｏｂの貯蔵位置を（ｘ、ｙ）とする。この場合、四隅に配置された各圧力センサ３１４ａにかかる負荷（センサ値）Ｗ１、Ｗ２、Ｗ３およびＷ４は、それぞれ、以下のように計測される。
Ｗ１＝Ｗ ＊ （Ｌｘ−ｘ）／Ｌｘ ＊ （Ｌｙ−ｙ）／Ｌｙ
Ｗ２＝Ｗ ＊ ｘ／Ｌｘ ＊ （Ｌｙ−ｙ）／Ｌｙ
Ｗ３＝Ｗ ＊ （Ｌｘ−ｘ）／Ｌｘ ＊ ｙ／Ｌｙ
Ｗ４＝Ｗ ＊ ｘ／Ｌｘ ＊ ｙ／Ｌｙ
したがって、各圧力センサ３１４ａから、センサ値Ｗ１〜Ｗ４が得られた場合、測定部３２１は、品物Ｏｂの重量Ｗ（品物Ｏｂが置かれたときの重量変化量Ｗ）を以下のようにして求める。
Ｗ＝Ｗ１＋Ｗ２＋Ｗ３＋Ｗ４
Ｗが正の値であれば、入庫と判断され、Ｗが負の値であれば出庫と判断される。
When the
W1 = W * (Lx-x) / Lx * (Ly-y) / Ly
W2 = W * x / Lx * (Ly-y) / Ly
W3 = W * (Lx-x) / Lx * y / Ly
W4 = W * x / Lx * y / Ly
Therefore, when the sensor values W1 to W4 are obtained from each
W = W1 + W2 + W3 + W4
If W is a positive value, it is determined to be warehousing, and if W is a negative value, it is determined to be warehousing.
さらに、測定部３２１は、重量の変化位置（品物Ｏｂの貯蔵位置）を以下のようにして求める。
ｘ＝Ｌｘ ＊ （Ｗ２＋Ｗ４）／Ｗ
ｙ＝Ｌｙ ＊ （Ｗ３＋Ｗ４）／Ｗ
すなわち、ここでは、変化位置は、棚板３０１ｒの最左下端を原点とし、棚板３０１ｒの幅をｘ軸、奥行きをｙ軸とする座標系におけるｘ座標およびｙ座標（変化位置（ｘ、ｙ））によって表される。
Further, the measuring
x = Lx * (W2 + W4) / W
y = Ly * (W3 + W4) / W
That is, here, the change position is the x-coordinate and the y-coordinate (change position (x, y) in a coordinate system in which the leftmost lower end of the
（在庫管理部２４による在庫管理処理）
図２７は、在庫管理部３２４によって実行される入庫時の在庫管理処理の流れを示すフローチャートである。図２８は、在庫管理部３２４によって実行される出庫時または再入庫時の在庫管理処理の流れを示すフローチャートである。なお、上述の各フローチャートには、入出庫判定部３２２によって実行される入出庫判定処理も含まれている。
(Inventory management process by the inventory management unit 24)
FIG. 27 is a flowchart showing the flow of inventory management processing at the time of warehousing executed by the
センサ３１３によって開ドアが検知されると（Ｓ４０１でＹＥＳ）、音声認識部３２０は、マイク３１５を起動する。そして、マイク３１５を介して音声が入力されると（Ｓ４０２でＹＥＳ）、音声認識部３２０は、入力された音声を認識し、その認識結果（品物名のテキストデータ）を、音声入力日時とともに認識結果記憶部３３０に記憶する（Ｓ４０３）。
When the opening of the door is detected by the sensor 313 (YES in S401), the
測定部３２１は、重量センサ３１４から供給されるセンサ値の変動を監視し、センサ値に変化があれば（Ｓ４０４でＹＥＳ）、センサ値が変化した変化日時、重量変化量、および、変化位置を特定する（Ｓ４０５）。測定部３２１は、これらの特定した内容を、測定結果記憶部３３１に記憶する。
The measuring
上記重量変化量が正の値である、すなわち、センサ値（重量値）が変化前と比較して増加している場合（Ｓ４０６でＹＥＳ）、次に、入出庫判定部３２２は、既出の品物の再入庫の可能性を判断する。すなわち、入出庫判定部３２２は、上記変化位置が、先に出庫された品物の貯蔵位置とほぼ同一で、かつ、上記重量変化量（増加量）は、上記出庫された品物の重量以下である場合に（Ｓ４０７でＹＥＳ）、品物が再入庫された可能性があると判断し、図２８に示すＳ４１７のステップに移行する。
When the weight change amount is a positive value, that is, the sensor value (weight value) is increased as compared with that before the change (YES in S406), then the warehousing /
一方、重量が増加した変化位置が上記貯蔵位置とは異なっていたり、または、増加量が上記品物の重量を超えている場合は（Ｓ４０７でＮＯ）、在庫管理部３２４は、新規の品物が入庫されたと判断し、該品物の新規レコードを在庫表に登録する（Ｓ４０８）。具体的には、在庫管理部３２４は、入庫された品物の品物識別情報、入庫日時、貯蔵位置および重量を、上記在庫表のそれぞれのカラムに格納する。在庫管理部３２４は、Ｓ４０５にて特定された変化日時に最も近い音声入力日時が対応付けられているテキストデータを、上記品物の品物識別情報として認識結果記憶部３３０から取得する。在庫管理部３２４は、上記変化日時を入庫日時として測定結果記憶部３３１から取得する。在庫管理部３２４は、Ｓ４０５にて特定された変化位置を貯蔵位置として測定結果記憶部３３１から取得する。在庫管理部３２４は、上記重量変化量を、上記品物の重量として測定結果記憶部３３１から取得する。
On the other hand, if the change position where the weight is increased is different from the storage position, or the increase amount exceeds the weight of the above item (NO in S407), the
なお、在庫管理部３２４は、品物の名称を認識結果記憶部３３０から取得できなかった場合には、「先ほど入れたものは何ですか？」などの確認メッセージを生成し、上記発話制御部を利用して、該メッセージの音声をスピーカ３１６から出力してもよい。センサ３１３によって閉ドアが検知されないうちは（Ｓ４０９でＮＯ）、冷蔵庫３０１の制御部３１０は、Ｓ４０２に戻り以降の処理を繰り返す。
If the
一方、Ｓ４０６にて、センサ値が変化前と比較して減少している場合（Ｓ４０６でＮＯ）、図２８を参照して、在庫管理部３２４は、品物が出庫されたと判断し（Ｓ４１１）（Ｓ４１１では、あるいは、入出庫判定部３２２が品物が出庫されたと判定してもよい）、出庫された品物のレコードを在庫表から検索する（Ｓ４１２）。具体的には、在庫管理部３２４は、貯蔵位置がセンサ値の変化位置にほぼ合致するレコード、かつ、重量変化量（減少量）が、重量にほぼ合致するレコードを特定する。
On the other hand, in S406, when the sensor value decreases as compared with that before the change (NO in S406), the
在庫管理部３２４は、特定した上記レコードにおいて、出庫された品物の出庫日時を記録する（Ｓ４１３）。出庫日時は、Ｓ４０５にて特定された変化日時とする。ここで、図示しないタイマ部により、出庫日時からの経過時間が計測されてもよい。
The
その後、出庫された品物と同じ貯蔵位置、かつ、該出庫された品物の重量以下で、センサ値が増加した場合（Ｓ４１４でＹＥＳ）、入出庫判定部３２２は、再入庫の可能性がある判断し、Ｓ４１４にて入庫された品物が、Ｓ４１１にて出庫された品物と同一か否かを確認するメッセージを出力する（Ｓ４１７）。
After that, if the sensor value increases at the same storage position as the delivered item and less than the weight of the delivered item (YES in S414), the warehousing /
上記メッセージに対して、ユーザより、品物が同一である旨の回答が入力されると（Ｓ４１８でＹＥＳ）、入出庫判定部３２２は、出庫された品物が再入庫されたと判定する（Ｓ４１９）。この場合、在庫管理部３２４は、再入庫と判定された品物のレコードにおいて、重量を、Ｓ４１４にて計測されたものに更新する（Ｓ４２０）。一方、記メッセージに対して、ユーザより、品物が同一でない旨の回答が入力されると（Ｓ４１８でＮＯ）、在庫管理部３２４は、「じゃあ、何を入れたの？教えて」など、品物名の入力を促すメッセージを出力し、ユーザの入力を受け付ける（Ｓ４２１）。該メッセージに対してユーザが、音声またはキーボード操作によって品物名を入力する。
When the user inputs a reply to the above message that the items are the same (YES in S418), the warehousing /
在庫管理部３２４は、出庫された品物の貯蔵位置に別の品物が入庫されたことに伴い、該貯蔵位置から出庫されたとしてこれまで管理されていた品物のレコードを削除する（Ｓ４２２）。そして、上記別の品物について、在庫表に新規レコードを登録する（Ｓ４２３）。なお、在庫管理部３２４は、品物識別情報として、Ｓ４２１にてユーザから入力された品物名を採用することができる。
The
一方、Ｓ４１４の条件に合致するセンサ値の増加がないまま、Ｓ４１３にて記録された出庫日時から所定時間が経過した場合（Ｓ４１４でＮＯ、かつ、Ｓ４１５でＹＥＳ）、出庫された品物が再入庫される可能性は低いとして、在庫管理部３２４は、出庫された品物のレコード（出庫日時から所定時間が経過したレコード）を在庫表から削除する（Ｓ４１６）。上述の一連の在庫管理が完了すると、冷蔵庫３０１の制御部３１０は、Ｓ４０９に戻り、センサ３１３によって閉ドアが検知されないうちは（Ｓ４０９でＮＯ）、Ｓ４０２に戻り以降の処理を繰り返す。
On the other hand, if a predetermined time elapses from the delivery date and time recorded in S413 (NO in S414 and YES in S415) without an increase in the sensor value that matches the condition of S414, the delivered item is restocked. The
図２９は、実施形態３に係る在庫表記憶部３３２に記憶される在庫表の具体例を示す図である。実施形態３の在庫表において、実施形態１および２の在庫表と異なる点は、在庫表が、貯蔵位置、重量および出庫日時のカラムを含んでいる点である。在庫管理部３２４は、品物が入庫されたときに、品物識別情報、入庫日時、貯蔵場所および重量のカラムにそれぞれ適切な値を入れてレコードを作成する。そして、品物が出庫されたときに、出庫日時のカラムに、重量が減少したときの日時を格納してレコードを更新する。そして、出庫日時から所定時間以内に同一の品物が再入庫された場合には、在庫管理部３２４は、出庫日時の値をクリアして、上記品物のレコードを維持する。一方、再入庫されずに、出庫日時から所定時間が経過した場合には、上記レコードを在庫表から削除する。なお、品物識別情報は、実施形態１と同様に、テキストデータであってもよいし、冷蔵庫３０１がカメラ１４にて品物の画像を撮像している場合には、品物識別情報は、品物の領域のトリミング画像であってもよいし、第１画像そのものであってもよい。
FIG. 29 is a diagram showing a specific example of the inventory table stored in the inventory
〔実施形態４〕
本発明の他の実施形態について、図３０〜図３２に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１〜３にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
[Embodiment 4]
Other embodiments of the present invention will be described below with reference to FIGS. 30 to 32. For convenience of explanation, the same reference numerals will be added to the members having the same functions as the members described in the first to third embodiments, and the description thereof will be omitted.
本実施形態では、上述の各実施形態における冷蔵庫１（または、冷蔵庫３０１）が、貯蔵されている品物の使用期限を管理し、使用期限が迫っている品物が貯蔵されていることについて、適切にユーザに通知する。 In the present embodiment, the refrigerator 1 (or the refrigerator 301) in each of the above-described embodiments manages the expiration date of the stored item, and appropriately determines that the item whose expiration date is approaching is stored. Notify the user.
本実施形態では、クラウドサーバ２（または、クラウドサーバ３０２）は、貯蔵期間リストを保持している。貯蔵期間リストとは、冷蔵庫において品質を保ちつつ貯蔵が可能な期間を品物ごとに対応付けてリストにしたものである。貯蔵期間リストの一例を図３０の（ａ）に示す。貯蔵期間リストは、例えば、品物識別情報のカラムと、貯蔵期間のカラムとを有する。貯蔵期間のカラムには、その品物が冷蔵室において品質を保ちつつ貯蔵が可能な期間が格納される。貯蔵期間の値は、冷蔵室における貯蔵可能期間と、冷凍室における貯蔵可能期間との２種類が格納されていてもよい。 In the present embodiment, the cloud server 2 (or the cloud server 302) holds the storage period list. The storage period list is a list of items that can be stored in a refrigerator while maintaining quality. An example of the storage period list is shown in FIG. 30 (a). The storage period list has, for example, a column of item identification information and a column of storage period. The storage period column stores the period during which the item can be stored in the refrigerator while maintaining its quality. Two types of storage period values, a storage period in the refrigerating room and a storage period in the freezing room, may be stored.
在庫管理部２４（または、在庫管理部３２４）は、入庫された品物について新規レコードを在庫表に登録すると、該品物の品物識別情報をクラウドサーバ２に送信して、該品物の貯蔵期間を問い合わせる。クラウドサーバ２は、送信された品物識別情報に対応付けられた貯蔵期間を、冷蔵庫１に返信する。
When the inventory management unit 24 (or the inventory management unit 324) registers a new record for the received item in the inventory table, the inventory management unit 24 (or the inventory management unit 324) transmits the item identification information of the item to the
在庫管理部２４は、上記品物の入庫日時に、クラウドサーバ２から受信した貯蔵期間を足した日時（または、日だけでもよい）を、使用期限として算出する。そして、算出した使用期限を、上記品物のレコードにおける使用期限のカラムに格納する。図３０の（ｂ）は、実施形態４における在庫表の一例を示す図である。同図に示すとおり、実施形態１〜３に係る在庫表と比較して、実施形態４の在庫表は、さらに、使用期限のカラムを含む。
The
在庫管理部２４は、現在日時から所定日（例えば、１日）後に上記使用期限が迫っているレコードが在庫表に存在する場合に、当該レコードの品物の使用期限が迫っていることを通知するための使用期限警告メッセージを、ユーザに対して出力する。使用期限警告メッセージの出力方法は、特に限定されない。例えば、冷蔵庫１（または冷蔵庫３０１）が、音声出力機能（スピーカ１６またはスピーカ３１６）を備えている場合には、在庫管理部２４は、スピーカ１６から、「〇〇の使用期限が迫っているよ、在庫を確認してね！」などの音声メッセージを出力してもよい。あるいは、冷蔵庫１が情報表示機能（ディスプレイ１７またはディスプレイ３１７）を備えている場合には、在庫管理部２４は、使用期限が迫っている品物の一覧をディスプレイ１７に表示してもよい。あるいは、冷蔵庫１が通信機能（通信部１２または通信部３１２）を備えている場合には、在庫管理部２４は、使用期限警告メッセージを、ユーザの通信端末３に送信してもよい。
When a record whose expiration date is approaching exists in the inventory table after a predetermined date (for example, one day) from the current date and time, the
図３１は、在庫管理部２４または在庫管理部３２４によって実行される使用期限管理処理の流れを示すフローチャートである。在庫管理部２４は、在庫表にレコードが新規登録された品物の貯蔵期間を、クラウドサーバ２から取得する（Ｓ５０１）。在庫管理部２４は、上記品物の入庫日時と、取得した上記貯蔵期間とに基づいて使用期限を算出し、上記在庫表の使用期限のカラムに格納する（Ｓ５０２）。
FIG. 31 is a flowchart showing the flow of the expiration date management process executed by the
在庫管理部２４は、現在日時から所定日数後に、使用期限が迫っているレコードが在庫表にある場合に（Ｓ５０３でＹＥＳ）、使用期限警告メッセージをユーザに対して出力する（Ｓ５０４）。
The
〔変形例〕
（実施形態１および２について）
冷蔵庫１に適用された、本発明に係る在庫管理装置は、クラウドサーバ２によって実現されてもよい。すなわち、特徴量抽出部２１、入出庫判定部２２、品物識別部２３および在庫管理部２４を、クラウドサーバ２が備え、クラウドサーバ２は、冷蔵庫１のカメラ１４が撮像した画像を冷蔵庫１から取得して、入出庫判定処理および在庫管理処理を実行すればよい。あるいは、特徴量抽出部２１、入出庫判定部２２、品物識別部２３および在庫管理部２４の各機能を、冷蔵庫１とクラウドサーバ２とに分散して設けることにより、本発明の在庫管理装置を実現してもよい。
[Modification example]
(About Embodiments 1 and 2)
The inventory management device according to the present invention applied to the
（実施形態３について）
冷蔵庫３０１に適用された、本発明に係る在庫管理装置は、クラウドサーバ３０２によって実現されてもよい。すなわち、音声認識部３２０、測定部３２１、入出庫判定部３２２、品物識別部３２３および在庫管理部３２４を、クラウドサーバ３０２が備えてもよい。この場合、クラウドサーバ３０２は、冷蔵庫３０１のマイク３１５が取得した入力音声データ（品物名を発話したユーザの音声）と、冷蔵庫３０１の重量センサ３１４が検知したセンサ値とを冷蔵庫３０１から取得して、入出庫判定処理および在庫管理処理を実行すればよい。あるいは、音声認識部３２０、測定部３２１、入出庫判定部３２２、品物識別部３２３および在庫管理部３２４の各機能を、冷蔵庫３０１とクラウドサーバ３０２とに分散して設けることにより、本発明の在庫管理装置を実現してもよい。
(About Embodiment 3)
The inventory management device according to the present invention applied to the
（実施形態３と、実施形態１または２との組み合わせについて）
実施形態１に係る冷蔵庫１の各種機能を、実施形態３に係る冷蔵庫３０１に搭載することが可能である。上記構成によれば、入庫時の品物の識別は、カメラ１４によって撮像された画像を処理することによって行われる。これにより、ユーザは、入庫時に品物の名前を発話することすら不要になり、さらに、ユーザの利便性が向上する。あるいは、音声入力と組み合わせて、音声認識または画像認識における誤認識をカバーし合い、品物の識別精度を向上させることも可能である。
(Regarding the combination of the third embodiment and the first or second embodiment)
Various functions of the
さらに、在庫表における品物識別情報として、カメラ１４によって撮像された画像または品物の領域がトリミングされた画像を採用してもよい。そして、在庫管理部２４は、図３２に示すように、上記画像に、入庫日時からの経過時間と、貯蔵位置とを関連付けた食品リストを作成しておき、該食品リストを、ディスプレイ１７に表示したり、ユーザの通信端末３に送信したりしてもよい。
Further, as the item identification information in the inventory table, an image captured by the
〔ソフトウェアによる実現例〕
冷蔵庫１の制御ブロック（特に、画像取得部２０、特徴量抽出部２１、入出庫判定部２２、品物識別部２３および在庫管理部２４）、ならびに、冷蔵庫３０１の制御ブロック（特に、音声認識部３２０、測定部３２１、入出庫判定部３２２、品物識別部３２３および在庫管理部３２４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
[Example of realization by software]
The control block of the refrigerator 1 (particularly, the
後者の場合、冷蔵庫１および冷蔵庫３０１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔まとめ〕
本発明の態様１に係る在庫管理装置（冷蔵庫１、クラウドサーバ２）は、カメラ（１４）を制御して、貯蔵庫（冷蔵庫１）の、品物を入出庫するための開口部の画像を取得する画像取得部（２０）と、上記画像に基づいて、品物の入出庫を判定する入出庫判定部（２２）とを備え、上記画像取得部は、庫内に設けられた、品物を運搬する手の通過を検知するセンサ（センサ１３、フロントセンサ１３ｆ、バックセンサ１３ｂ）のセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得するものであり、上記入出庫判定部は、上記第１画像に品物が写っている否かと、上記第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定する。
〔summary〕
The inventory management device (
上記の構成によれば、画像取得部が、手の通過を検知するセンサのセンサ値に基づいて、カメラの撮像タイミングを制御することによって、（i）庫外から庫内へ移動する手が写る第１画像、および、（ii）庫内から庫外へ移動する手が写る第２画像の２枚の画像が取得される。入出庫判定部は、この２枚の画像を分析するのみで、品物が入庫されたのか、出庫されたのかを判定することができる。入庫の場合には、第１画像にのみ手と一緒に品物が写っているはずであり、出庫の場合には、第２画像にのみ手と一緒に品物が写っているはずだからである。 According to the above configuration, the image acquisition unit controls the imaging timing of the camera based on the sensor value of the sensor that detects the passage of the hand, so that (i) the hand moving from the outside to the inside of the refrigerator is captured. Two images, the first image and (ii) the second image showing the hand moving from the inside of the refrigerator to the outside of the refrigerator, are acquired. The warehousing / delivery determination unit can determine whether the item has been warehousing or warehousing only by analyzing these two images. This is because in the case of warehousing, the item should be shown with the hand only in the first image, and in the case of warehousing, the item should be shown with the hand only in the second image.
このように、本発明の在庫管理装置は、画像取得部が、センサ値にしたがってカメラの撮像タイミングを制御することにより、入出庫の判定に必要な最低限の２枚の画像を取得することができる。これにより、リアルビュー画像などを画像分析して撮像対象をトラッキングせずとも、２枚の静止画を処理するのみで、品物の入出庫を判定することが可能である。つまり、高負荷な演算処理を回避することができる。よって、在庫管理装置において、処理能力の高いプロセッサを搭載する必要がない。在庫管理装置を冷蔵庫などの貯蔵庫に直接に搭載する際には、該貯蔵庫そのものの製造コストを抑えることができる。また、在庫管理装置を貯蔵庫通信する外部装置に搭載する場合には、貯蔵庫と在庫管理装置との間の通信に関し、高性能な通信機能および通信環境が要求されないため、通信環境を整えるための初期コストを抑えることができる。結果として、多数の画像を短時間で処理することなく、かつ、ユーザの利便性を損なわずに品物の入出庫を判定することが可能な在庫管理装置または在庫管理システムを実現することができる。 As described above, in the inventory management device of the present invention, the image acquisition unit controls the imaging timing of the camera according to the sensor value, so that the minimum two images necessary for the determination of warehousing / delivery can be acquired. can. As a result, it is possible to determine the warehousing / delivery of an item only by processing two still images without tracking the image pickup target by performing image analysis on a real view image or the like. That is, it is possible to avoid high-load arithmetic processing. Therefore, it is not necessary to mount a processor having a high processing capacity in the inventory management device. When the inventory management device is directly mounted in a storage such as a refrigerator, the manufacturing cost of the storage itself can be suppressed. Further, when the inventory management device is mounted on an external device that communicates with the storage, a high-performance communication function and a communication environment are not required for communication between the storage and the inventory management device. The cost can be suppressed. As a result, it is possible to realize an inventory management device or an inventory management system capable of determining the receipt / delivery of goods without processing a large number of images in a short time and without impairing the convenience of the user.
本発明の態様２に係る在庫管理装置では、上記態様１において、上記センサは、手が上記開口部（および開口部によって形成される開口領域）を通過したことを検知する第１センサ（フロントセンサ１３ｆ）と、手が上記開口部より奥の庫内の所定場所を通過したことを検知する第２センサ（バックセンサ１３ｂ）とを含み、上記画像取得部は、第２センサが通過非検知（オン）であって、第１センサが通過非検知から通過検知（オフ）に切り替わった時に、上記第１画像を取得するとともに、第１センサが通過検知であって、第２センサが通過検知から通過非検知に切り替わった時に、上記第２画像を取得することが好ましい。
In the inventory management device according to the second aspect of the present invention, in the first aspect, the sensor detects that the hand has passed through the opening (and the opening region formed by the opening), the first sensor (front sensor). 13f) and a second sensor (back
上記の構成によれば、画像取得部は、貯蔵庫の開口部に設けられた第１センサと貯蔵庫の庫内奥に設けられた第２センサのセンサ値の組み合わせによって、カメラの撮像範囲に収まっている手のシーンが、これから庫内に入れようとしている手のシーンなのか、庫内から庫外に出そうとしている手のシーンなのかを判別することができる。したがって、この判別に基づいて取得された、第１画像が庫外から庫内へ移動する手を写していることが保証され、第２画像が庫内から庫外に移動する手を写していることが保証される。結果として、これら２枚の画像に基づいて、入出庫判定部が正確に入出庫を判定することが可能となる。 According to the above configuration, the image acquisition unit fits within the imaging range of the camera by the combination of the sensor values of the first sensor provided in the opening of the storage and the sensor value of the second sensor provided in the inner part of the storage. It is possible to determine whether the scene of the hand that is in the warehouse is the scene of the hand that is about to be put in the refrigerator or the scene of the hand that is about to be taken out of the refrigerator. Therefore, it is guaranteed that the first image acquired based on this determination shows the hand moving from the outside of the refrigerator to the inside of the refrigerator, and the second image shows the hand moving from the inside of the refrigerator to the outside of the refrigerator. Is guaranteed. As a result, the warehousing / delivery determination unit can accurately determine the warehousing / delivery based on these two images.
本発明の態様３に係る在庫管理装置では、上記態様１または２において、上記貯蔵庫は、１以上の棚板（棚板１ｒ、棚板１ｒ−１、棚板１ｒ−２、棚板１ｒ−３）で仕切られる複数の貯蔵スペース（段）を有し、上記画像取得部は、上記第１画像を撮像してから上記第２画像を撮像するまでの間に、手がいずれかの貯蔵スペースにある時に、上記棚板の少なくとも一部と上記手の少なくとも一部とが写る中間画像を取得し、上記入出庫判定部は、上記中間画像に写る手と棚板との位置関係に基づいて、品物が入出庫された貯蔵スペースを特定してもよい。
In the inventory management device according to the third aspect of the present invention, in the first or second aspect, the storage has one or more shelf boards (
上記の構成によれば、入出庫判定部は、中間画像に写る手と棚板との位置関係に基づいて、手がどこに入っているのか、すなわち、品物が置かれたり、取り出されたりした貯蔵スペースはどこであるのかを特定することが可能となる。例えば、上下に重なる棚板を上からカメラで撮像している場合には、棚板よりも上に手が写っている場合には、その棚板の段の貯蔵スペースにて入出庫が行われていると判定でき、棚板よりも下に手が写っている場合には、その棚板の段の下の貯蔵スペースにて入出庫が行われていると判定できる。 According to the above configuration, the warehousing / delivery determination unit determines where the hand is placed, that is, the storage where the item is placed or taken out, based on the positional relationship between the hand and the shelf board shown in the intermediate image. It is possible to identify where the space is. For example, when the shelves that overlap each other are imaged from above with a camera, if the hand is visible above the shelves, the shelves are loaded and unloaded in the storage space of the shelves. If the hand is visible below the shelf board, it can be determined that the goods are being loaded and unloaded in the storage space below the shelf board.
結果として、処理対象の画像を単に１枚増やすだけで、品物の入庫先、出庫元の場所を特定することが可能となる。これにより、より詳細なあるいは高精度な在庫管理を実現することが可能となる。 As a result, it is possible to specify the warehousing destination and the warehousing source location of the goods by simply increasing the number of images to be processed by one. This makes it possible to realize more detailed or highly accurate inventory management.
本発明の態様４に係る在庫管理装置（冷蔵庫３０１、クラウドサーバ３０２）は、品物を貯蔵庫（冷蔵庫３０１）に入庫する際にマイク（３１５）を介して入力された、該品物の名称を発話した音声をテキストデータに変換する音声認識部（３２０）と、上記貯蔵庫の１以上の貯蔵スペースの床面に設けられた重量センサ（３１４）から出力されるセンサ値（重量値）に基づいて、上記床面にかかる負荷を測定し、該負荷に変化が生じた場合に該負荷の変化量（重量変化量）および変化位置を特定する測定部（３２１）と、上記負荷に変化が生じた時点と最も近い時点で入力された発話音声のテキストデータと、上記負荷の変化量と、上記変化位置と、上記負荷に変化が生じた時点とを含む、上記品物のレコードを、上記貯蔵庫の在庫を示す在庫表に登録する在庫管理部（３２４）とを備えている。
The inventory management device (
上記の構成によれば、ユーザが品物入庫時に該品物の名称を発話して貯蔵庫に貯蔵するだけで、簡易に貯蔵庫内の在庫を管理することができる。品物の名称の発話とほぼ同じタイミングで、品物が貯蔵庫内に置かれるので、品物が置かれた貯蔵スペースの床面の負荷が変化（増加）する。測定部は、負荷が増加した場合、負荷の変化量（増加量）と、変化位置（増加位置）とを特定する。在庫管理部は、測定部によって負荷の増加が認められた場合に、ユーザによって入庫された品物のレコードを在庫表に登録する。例えば、一例として、重量センサによって検知されたセンサ値（重量値）が変化したのとほぼ同じタイミングで入力されたテキストデータを品物の名称とし、負荷の変化量（増加量）を該品物の重量として、変化位置（負荷が増加した位置）を該品物の貯蔵位置とし、上記負荷の変化（増加）タイミングを、入庫日時として、在庫を管理することができる。 According to the above configuration, the user can easily manage the inventory in the storage by simply speaking the name of the product at the time of warehousing and storing the product in the storage. Since the item is placed in the storage at almost the same timing as the utterance of the name of the item, the load on the floor of the storage space where the item is placed changes (increases). When the load increases, the measuring unit identifies the change amount (increase amount) of the load and the change position (increase position). The inventory management unit registers a record of the goods received by the user in the inventory table when the measurement unit recognizes an increase in the load. For example, as an example, the text data input at almost the same timing as the sensor value (weight value) detected by the weight sensor changes is used as the name of the item, and the amount of change (increase) in the load is the weight of the item. As a result, the inventory can be managed by setting the change position (the position where the load is increased) as the storage position of the item and the change (increase) timing of the load as the warehousing date and time.
これにより、ユーザは、品物にタグを付与したり、タグに記憶させる情報を作成するなどの煩わしい作業から解放され、品物名を発話するという簡易な動作を入庫時に行うだけで済む。ユーザによって発話された品物名は、入力タイミングに基づいて、重量とそれが置かれた貯蔵場所に紐付けられるので、品物の在庫管理が正確に行える。結果として、入出庫時にユーザに煩わしい作業を強いることなく品物の在庫管理を実施する在庫管理装置または在庫管理システムを実現することが可能となる。 As a result, the user is freed from troublesome work such as attaching a tag to an item or creating information to be stored in the tag, and only has to perform a simple operation of uttering the item name at the time of warehousing. Since the item name spoken by the user is associated with the weight and the storage location where the item is placed based on the input timing, inventory management of the item can be performed accurately. As a result, it is possible to realize an inventory management device or an inventory management system that manages the inventory of goods without forcing the user to perform troublesome work at the time of warehousing and delivery.
本発明の態様５に係る在庫管理装置では、上記態様４において、上記在庫管理部は、上記負荷が減少した場合に、上記負荷の減少量および減少位置に基づいて、出庫された品物のレコードを上記在庫表から特定するとともに、上記負荷が減少した時点を出庫日時として該レコードに記録し、上記出庫日時から所定時間以内に、負荷の増加が、上記減少量以下の増加量で、上記減少位置にて計測された場合に、上記品物のレコードの上記出庫日時をクリアして該レコードを維持する一方、負荷の増加が計測されることなく上記出庫日時から所定時間が経過した場合に、上記品物のレコードを削除する。 In the inventory management device according to the fifth aspect of the present invention, in the fourth aspect, when the load is reduced, the inventory management unit records the items that have been delivered based on the reduction amount and the reduction position of the load. In addition to specifying from the inventory table, the time when the load decreases is recorded in the record as the issue date and time, and within a predetermined time from the issue date and time, the load increase is the increase amount equal to or less than the decrease amount, and the decrease position. When a predetermined time elapses from the delivery date and time without measuring the increase in load, the above-mentioned item is maintained by clearing the above-mentioned delivery date and time of the record of the above-mentioned item. Delete the record of.
上記の構成によれば、品物の出庫は、負荷の減少によって判定され、しかも、負荷の減少量と、その減少位置とによって、出庫された品物の重量とその貯蔵位置とが明らかになる。出庫時の品物は、在庫表において、重量とその貯蔵位置とによって特定することが可能であるので、出庫時には、ユーザは、取り出した品物が何であるのかについて発話する必要すらなくなる。これにより、ユーザの利便性はより一層向上する。 According to the above configuration, the delivery of the goods is determined by the decrease in the load, and the weight of the goods delivered and the storage position thereof are clarified by the amount of the reduction in the load and the position of the reduction. Since the goods at the time of delivery can be specified by the weight and the storage position thereof in the inventory table, the user does not even have to speak about what the goods are taken out at the time of delivery. As a result, the convenience of the user is further improved.
さらに、同じ品物がすぐに同じ貯蔵位置に戻されたり、一部使用してすぐに同じ貯蔵位置に戻されたりした場合に、入出庫判定部は、同じ品物が再入庫されたと判定することができる。したがって、同じ品物が戻されたにもかかわらず、新たな別の品物が入庫されたとする誤判定を回避することができる。 Furthermore, if the same item is immediately returned to the same storage position, or if it is partially used and immediately returned to the same storage position, the warehousing / delivery determination unit may determine that the same item has been restocked. can. Therefore, it is possible to avoid an erroneous determination that another new item has been received even though the same item has been returned.
本発明の態様６に係る在庫管理方法は、カメラを制御して、貯蔵庫の、品物を入出庫するための開口部の画像を取得する画像取得ステップと、上記画像に基づいて、品物の入出庫を判定する入出庫判定ステップとを含み、上記画像取得ステップでは、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得し、上記入出庫判定ステップでは、上記第１画像に品物が写っている否かと、上記第２画像に上記品物が写っているか否かとに基づいて、該品物の入出庫を判定する。上記の方法によれば、上記態様１と同様の効果を奏する。
The inventory management method according to the sixth aspect of the present invention includes an image acquisition step of controlling a camera to acquire an image of an opening for loading and unloading an item in the storage, and loading and unloading of the item based on the above image. In the image acquisition step, which includes a step of determining warehousing / delivery, the image is moved from the outside of the warehousing to the inside of the warehousing based on the sensor value of a sensor provided in the warehousing that detects the passage of a hand carrying an item. A first image showing a hand and a second image showing a hand moving from the inside to the outside are acquired, and in the warehousing / delivery determination step, whether or not an item is shown in the first image and the second Based on whether or not the above-mentioned item is shown in the image, the warehousing / delivery of the item is determined. According to the above method, the same effect as that of the
本発明の態様７に係る在庫管理方法は、品物を貯蔵庫に入庫する際にマイクを介して入力された、該品物の名称を発話した音声をテキストデータに変換する音声認識ステップと、上記貯蔵庫の１以上の貯蔵スペースの床面に設けられた重量センサから出力されるセンサ値に基づいて、上記床面にかかる負荷を測定し、該負荷に変化が生じた場合に該負荷の変化量および変化位置を特定する測定ステップと、上記負荷に変化が生じた時点と最も近い時点で入力された発話音声のテキストデータと、上記負荷の変化量と、上記変化位置と、上記負荷に変化が生じた時点とを含む、上記品物のレコードを、上記貯蔵庫の在庫を示す在庫表に登録する在庫管理ステップとを含む。上記の方法によれば、上記態様４と同様の効果を奏する。 The inventory management method according to the seventh aspect of the present invention includes a voice recognition step of converting a voice input by a microphone when the goods are stored in the storage into text data, and a voice recognition step of the storage. Based on the sensor value output from the weight sensor provided on the floor surface of one or more storage spaces, the load applied to the floor surface is measured, and when the load changes, the amount of change and the change in the load occur. The measurement step for specifying the position, the text data of the spoken voice input at the time closest to the time when the load changed, the amount of change in the load, the changed position, and the change in the load occurred. Includes an inventory management step that creates a record of the goods, including time points, in an inventory table that indicates the inventory of the storage. According to the above method, the same effect as that of the above aspect 4 is obtained.
本発明の各態様に係る在庫管理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記在庫管理装置が備える各部（ソフトウェア要素）として動作させることにより上記在庫管理装置をコンピュータにて実現させる在庫管理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The inventory management device according to each aspect of the present invention may be realized by a computer. In this case, the inventory management device is made into a computer by operating the computer as each part (software element) included in the inventory management device. The control program of the inventory management device and the computer-readable recording medium on which the control program is recorded are also included in the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.
１、３０１ 冷蔵庫（貯蔵庫）
１ｃ、３０１ｃ 冷蔵室（貯蔵庫／貯蔵スペース）
１ｄ、３０１ｄ ドア部
１ｆ、３０１ｆ 冷凍室（貯蔵庫／貯蔵スペース）
１ｒ、１ｒ−１、１ｒ−２、１ｒ−３、３０１ｒ 棚板
１ｖ、３０１ｖ 野菜室（貯蔵庫／貯蔵スペース）
２、３０２ クラウドサーバ
３ 通信端末
１０、３１０ 制御部
１１、３１１ 記憶部
１２、３１２ 通信部
１３、３１３ センサ
１３ｂ バックセンサ（第２センサ）
１３ｄ 開閉センサ
１３ｆ フロントセンサ（第１センサ）
１４ カメラ
１５、３１５ マイク
１６、３１６ スピーカ
１７、３１７ ディスプレイ
２０ 画像取得部
２１ 特徴量抽出部
２２ 入出庫判定部
２３ 品物識別部
２４ 在庫管理部
３０ パターン記憶部
３１ 画像記憶部
３２ 在庫表記憶部
１００、３００ 在庫管理システム
３１４ 重量センサ
３１４ａ 圧力センサ
３１４ｅ 圧力センサ
３１４ｓ 圧力センサ
３２０ 音声認識部
３２１ 測定部
３２２ 入出庫判定部
３２３ 品物識別部
３２４ 在庫管理部
３３０ 認識結果記憶部
３３１ 測定結果記憶部
３３２ 在庫表記憶部
1,301 Refrigerator (storage)
1c, 301c Refrigerator room (storage / storage space)
1d,
1r, 1r-1, 1r-2, 1r-3,
2, 302
13d Open /
14
Claims (4)
上記画像に基づいて、品物の入出庫を判定する入出庫判定部とを備え、
上記画像取得部は、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、上記カメラによって撮影された、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得するものであり、
上記入出庫判定部は、上記第１画像に品物が写っており、上記第２画像に物品が写っていない場合に該物品の入庫と判定し、上記第１画像に品物が写っておらず、上記第２画像に物品が写っている場合に該物品の出庫と判定することを特徴とする在庫管理装置。 An image acquisition unit that controls the camera based on the opening and closing of the door of the storage to acquire an image of the opening of the storage for loading and unloading goods.
Based on the above image, it is equipped with a warehousing / delivery determination unit that determines the warehousing / delivery of goods.
The image acquisition unit captures a hand moving from the outside to the inside of the refrigerator, which is taken by the camera based on the sensor value of a sensor provided inside the refrigerator to detect the passage of a hand carrying an item. One image and a second image showing a hand moving from the inside of the refrigerator to the outside of the refrigerator are acquired.
The warehousing / delivery determination unit determines that the goods are in the warehousing when the goods are shown in the first image and the goods are not shown in the second image, and the goods are not shown in the first image. An inventory management device characterized in that when an article is shown in the second image, it is determined that the article has been delivered.
上記画像取得部は、第２センサが通過非検知であって、第１センサが通過非検知から通過検知に切り替わった時に、上記第１画像を取得するとともに、第１センサが通過検知であって、第２センサが通過検知から通過非検知に切り替わった時に、上記第２画像を取得することを特徴とする請求項１に記載の在庫管理装置。 The sensor includes a first sensor that detects that the hand has passed through the opening, and a second sensor that detects that the hand has passed a predetermined place in the refrigerator behind the opening.
The image acquisition unit acquires the first image when the second sensor is non-passage detection and the first sensor switches from non-passage detection to pass detection, and the first sensor is pass detection. The inventory management device according to claim 1, wherein when the second sensor switches from pass detection to non-pass detection, the second image is acquired.
上記画像取得部は、上記第１画像を撮像してから上記第２画像を撮像するまでの間に、手がいずれかの貯蔵スペースにある時に、上記カメラによって撮影された、上記棚板の少なくとも一部と上記手の少なくとも一部とが写る中間画像を取得し、
上記入出庫判定部は、上記中間画像に写る手と棚板との位置関係に基づいて、品物が入出庫された貯蔵スペースを特定することを特徴とする請求項１または２に記載の在庫管理装置。 The storage has a plurality of storage spaces separated by one or more shelves, and has a plurality of storage spaces.
The image acquisition unit is at least the shelf board taken by the camera when the hand is in any storage space between the time when the first image is taken and the time when the second image is taken. Obtain an intermediate image that shows a part and at least a part of the above hand,
The inventory management according to claim 1 or 2, wherein the warehousing / delivery determination unit identifies a storage space in which the goods are warehousing / delivery based on the positional relationship between the hand and the shelf board shown in the intermediate image. Device.
上記画像に基づいて、品物の入出庫を判定する入出庫判定ステップとを含み、
上記画像取得ステップでは、庫内に設けられた、品物を運搬する手の通過を検知するセンサのセンサ値に基づいて、上記カメラによって撮影された、庫外から庫内へ移動する手が写る第１画像と、庫内から庫外へ移動する手が写る第２画像とを取得し、
上記入出庫判定ステップでは、上記第１画像に品物が写っており、上記第２画像に物品が写っていない場合に該物品の入庫と判定し、上記第１画像に品物が写っておらず、上記第２画像に物品が写っている場合に該物品の出庫と判定することを特徴とする在庫管理方法。 An image acquisition step that controls the camera based on the opening and closing of the storage door to acquire an image of the opening of the storage for entering and exiting goods.
Including the warehousing / delivery determination step of determining the warehousing / delivery of goods based on the above image,
In the image acquisition step, the hand moving from the outside to the inside of the refrigerator is photographed by the camera based on the sensor value of the sensor provided in the refrigerator for detecting the passage of the hand carrying the goods. Obtain one image and the second image showing the hand moving from the inside to the outside.
In the warehousing / delivery determination step, when the item is shown in the first image and the article is not shown in the second image, it is determined that the item is warehousing, and the item is not shown in the first image. An inventory management method characterized in that when an article is shown in the second image, it is determined that the article has been delivered.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016107766A JP6938116B2 (en) | 2016-05-30 | 2016-05-30 | Inventory management device and inventory management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016107766A JP6938116B2 (en) | 2016-05-30 | 2016-05-30 | Inventory management device and inventory management method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017215067A JP2017215067A (en) | 2017-12-07 |
| JP6938116B2 true JP6938116B2 (en) | 2021-09-22 |
Family
ID=60576754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016107766A Active JP6938116B2 (en) | 2016-05-30 | 2016-05-30 | Inventory management device and inventory management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6938116B2 (en) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7012261B2 (en) * | 2017-10-06 | 2022-01-28 | パナソニックＩｐマネジメント株式会社 | refrigerator |
| JP7113281B2 (en) * | 2017-12-20 | 2022-08-05 | パナソニックＩｐマネジメント株式会社 | refrigerator |
| JP7212454B2 (en) * | 2018-03-16 | 2023-01-25 | 孝 穴井 | indoor and outdoor pair refrigerator |
| JP7080735B2 (en) * | 2018-06-11 | 2022-06-06 | 信越ポリマー株式会社 | Load monitoring system, load monitoring method and load distribution detector |
| JP7034855B2 (en) * | 2018-07-26 | 2022-03-14 | シャープ株式会社 | refrigerator |
| JP7132044B2 (en) * | 2018-09-11 | 2022-09-06 | 東芝ライフスタイル株式会社 | Refrigerator entry/exit management system and refrigerator |
| JP2020063154A (en) * | 2018-10-11 | 2020-04-23 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing method, and program |
| EP3957938A4 (en) | 2019-04-15 | 2022-06-15 | Sony Group Corporation | Information processing device, information processing method, and food storage device |
| US11335010B2 (en) | 2019-08-15 | 2022-05-17 | Haier Us Appliance Solutions, Inc. | Methods for viewing and tracking stored items |
| JP7449683B2 (en) | 2019-11-28 | 2024-03-14 | 株式会社野村総合研究所 | management device |
| JP7347349B2 (en) * | 2020-07-07 | 2023-09-20 | トヨタ自動車株式会社 | Information processing device, information processing system, and information processing method |
| US11692769B2 (en) * | 2020-11-17 | 2023-07-04 | Haier Us Appliance Solutions, Inc. | Inventory management system for a refrigerator appliance |
| US11519775B2 (en) | 2020-12-04 | 2022-12-06 | Haier Us Appliance Solutions, Inc. | Appliance with sensing for load determination |
| WO2022181573A1 (en) * | 2021-02-25 | 2022-09-01 | パナソニックＩｐマネジメント株式会社 | Warehousing and shipping management device, warehousing and shipping management system, and warehousing and shipping management method |
| WO2022181575A1 (en) * | 2021-02-25 | 2022-09-01 | パナソニックＩｐマネジメント株式会社 | Storage/retrieval management device, storage/retrieval management system, and storage/retrieval management method |
| JP2023079898A (en) * | 2021-11-29 | 2023-06-08 | パナソニックＩｐマネジメント株式会社 | Detection device, control method for detection device, and program |
| JP2023079894A (en) * | 2021-11-29 | 2023-06-08 | パナソニックＩｐマネジメント株式会社 | Detection system, program and method of managing storing/delivering |
| JP2024058082A (en) * | 2022-10-14 | 2024-04-25 | パナソニックＩｐマネジメント株式会社 | Imaging system, imaging device, and refrigerator |
| JP2024058083A (en) * | 2022-10-14 | 2024-04-25 | パナソニックＩｐマネジメント株式会社 | Imaging system, imaging device, and refrigerator |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0668114A (en) * | 1992-08-24 | 1994-03-11 | Matsushita Electric Ind Co Ltd | Inventory management for refrigerator |
| JP2002251518A (en) * | 2001-02-21 | 2002-09-06 | Nec Corp | Support system for cooking, and controller for foodstuff |
| CN101802532B (en) * | 2007-09-13 | 2012-08-08 | Lg电子株式会社 | Refrigerator |
| JP2010121784A (en) * | 2008-11-17 | 2010-06-03 | Toshiba Corp | Stock management device of refrigerator |
| JP5020302B2 (en) * | 2009-11-04 | 2012-09-05 | 三菱電機株式会社 | refrigerator |
| KR20150026412A (en) * | 2013-09-03 | 2015-03-11 | 엘지전자 주식회사 | Electric product |
| US20150002660A1 (en) * | 2013-06-28 | 2015-01-01 | Lg Electronics Inc. | Electric product |
| JP6095551B2 (en) * | 2013-10-24 | 2017-03-15 | 三菱電機株式会社 | refrigerator |
| JP2016057022A (en) * | 2014-09-11 | 2016-04-21 | 株式会社東芝 | Food management system |
-
2016
- 2016-05-30 JP JP2016107766A patent/JP6938116B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017215067A (en) | 2017-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6938116B2 (en) | Inventory management device and inventory management method | |
| US10402634B2 (en) | Information processing device, information processing method, and computer program product | |
| EP2985553B1 (en) | Method for managing storage product in refrigerator using image recognition, and refrigerator for same | |
| US10999506B1 (en) | Generating motion extracted images | |
| US20210049370A1 (en) | Abnormality detection method, apparatus, and device for unmanned checkout | |
| JP6045521B2 (en) | Storage management apparatus and method | |
| CN108353089A (en) | Device and method for the interaction area monitoring that user can configure | |
| WO2019171573A1 (en) | Self-checkout system, purchased product management method, and purchased product management program | |
| CN106446950B (en) | Image processing method and device | |
| CN111899131B (en) | Article distribution method, apparatus, robot, and medium | |
| CN106713734B (en) | Automatic focusing method and device | |
| US10026003B2 (en) | Method and arrangement for receiving data about site traffic derived from imaging processing | |
| JP2018035983A (en) | Food storage compartment and system for imaging inside of compartment | |
| JP7281755B2 (en) | refrigerator | |
| CN107564196B (en) | Storage equipment control method and device | |
| JP2017106671A (en) | Refrigerator, image management system in refrigerator and program | |
| US20170200203A1 (en) | Item detection based on temporal imaging analysis | |
| JP7340766B2 (en) | refrigerator | |
| US20210089769A1 (en) | Refrigerator appliances and methods for tracking stored items | |
| JP7038328B2 (en) | Goods management system and goods management method | |
| US20150286865A1 (en) | Coordination of object location data with video data | |
| JP2023153148A (en) | Self-register system, purchased commodity management method and purchased commodity management program | |
| CN209823796U (en) | Intelligent refrigerator | |
| KR20180090724A (en) | Method for controlling refrigerator and refrigerator controller | |
| US11558539B2 (en) | Systems and methods of detecting and identifying an object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200818 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201015 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201015 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201022 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20201027 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201127 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20201201 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210106 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210629 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210803 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6938116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |