JP6996093B2 - Management equipment, management methods and programs - Google Patents
Management equipment, management methods and programs Download PDFInfo
- Publication number
- JP6996093B2 JP6996093B2 JP2017047091A JP2017047091A JP6996093B2 JP 6996093 B2 JP6996093 B2 JP 6996093B2 JP 2017047091 A JP2017047091 A JP 2017047091A JP 2017047091 A JP2017047091 A JP 2017047091A JP 6996093 B2 JP6996093 B2 JP 6996093B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- display area
- management device
- detected
- foreign matter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、管理装置、管理方法及びプログラムに関する。 The present invention relates to a management device, a management method and a program.
特許文献１には、陳列エリアを撮影した画像データに基づいて、陳列乱れ状態等を監視する商品モニタリング装置が開示されている。 Patent Document 1 discloses a product monitoring device that monitors a display disorder state or the like based on image data obtained by photographing a display area.
来店者が、各陳列エリアに割り当てられた商品と異なる物体（異物）を陳列エリアに置く場合がある。例えば、各陳列エリアに割り当てられた商品と異なる商品を各陳列エリアに置いたり、商品以外の物体を置いたりする。このような状態は、店舗のイメージを悪くするほか、商品の品質にも影響し得る。特許文献１は、当該問題を解決する手段を提供していない。本発明は、当該問題を解決することを課題とする。 A visitor may place an object (foreign matter) different from the product assigned to each display area in the display area. For example, a product different from the product assigned to each display area may be placed in each display area, or an object other than the product may be placed. Such a condition not only deteriorates the image of the store, but can also affect the quality of the product. Patent Document 1 does not provide a means for solving the problem. An object of the present invention is to solve the problem.
本発明によれば、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段と、
前記異物が検出された場合、アラートを出力する出力手段と、
を有し、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、前記陳列エリアに割り当てられた商品の外観との類似度に基づき、前記物体が前記陳列エリアに割り当てられた商品か判断し、前記物体が前記陳列エリアに割り当てられた商品でないと判断した場合、前記物体は異物と判断する管理装置が提供される。
According to the present invention
An image analysis means for analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
When the foreign matter is detected, an output means for outputting an alert and
Have,
The image analysis means is
An object is detected from the image data,
Based on the degree of similarity between the appearance of the object detected in the display area and the appearance of the product assigned to the display area, it is determined whether the object is a product assigned to the display area, and the object is the product. If it is determined that the product is not assigned to the display area, a management device for determining that the object is a foreign substance is provided.
また、本発明によれば、
コンピュータが、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析工程と、
前記異物が検出された場合、アラートを出力する出力工程と、
を実行し、
前記画像解析工程では、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、前記陳列エリアに割り当てられた商品の外観との類似度に基づき、前記物体が前記陳列エリアに割り当てられた商品か判断し、前記物体が前記陳列エリアに割り当てられた商品でないと判断した場合、前記物体は異物と判断する管理方法が提供される。
Further, according to the present invention,
The computer
An image analysis step of analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
When the foreign matter is detected, the output process that outputs an alert and
And run
In the image analysis step,
An object is detected from the image data,
Based on the degree of similarity between the appearance of the object detected in the display area and the appearance of the product assigned to the display area, it is determined whether the object is a product assigned to the display area, and the object is the product. If it is determined that the product is not assigned to the display area, a management method for determining that the object is a foreign substance is provided.
また、本発明によれば、
コンピュータを、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段、
前記異物が検出された場合、アラートを出力する出力手段、
として機能させ、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、前記陳列エリアに割り当てられた商品の外観との類似度に基づき、前記物体が前記陳列エリアに割り当てられた商品か判断し、前記物体が前記陳列エリアに割り当てられた商品でないと判断した場合、前記物体は異物と判断するプログラムが提供される。
Further, according to the present invention,
Computer,
An image analysis means for analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
An output means that outputs an alert when the foreign matter is detected.
To function as
The image analysis means is
An object is detected from the image data,
Based on the degree of similarity between the appearance of the object detected in the display area and the appearance of the product assigned to the display area, it is determined whether the object is a product assigned to the display area, and the object is the product. If it is determined that the product is not assigned to the display area, a program for determining that the object is a foreign substance is provided.
本発明によれば、各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれていることを検出できる。 According to the present invention, it is possible to detect that an object (foreign matter) different from the product assigned to each display area is placed in the display area.
＜第１の実施形態＞
まず、本実施形態の管理装置の概要を説明する。本実施形態の管理装置は、陳列エリアを撮影した画像データを解析し、陳列エリアに割り当てられた商品と異なる物体である異物を検出する。そして、異物が検出された場合、アラートを出力する。
<First Embodiment>
First, the outline of the management device of this embodiment will be described. The management device of the present embodiment analyzes the image data obtained by photographing the display area and detects a foreign substance which is an object different from the product assigned to the display area. Then, when a foreign substance is detected, an alert is output.
このような本実施形態の管理装置によれば、各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれていることを、店員は迅速に把握することができる。そして、異物を取り除いたり、適切な場所に移動させたりできる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に解消できる。 According to such a management device of the present embodiment, the store clerk can quickly grasp that an object (foreign substance) different from the product assigned to each display area is placed in the display area. Then, foreign matter can be removed or moved to an appropriate place. As a result, it is possible to quickly eliminate the undesired state that "an object (foreign substance) different from the product assigned to each display area is placed in the display area".
次に、管理装置の構成を説明する。まず、管理装置のハードウエア構成の一例について説明する。管理装置は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。 Next, the configuration of the management device will be described. First, an example of the hardware configuration of the management device will be described. The management device includes the CPU (Central Processing Unit) of any computer, the memory, the program loaded into the memory, and the storage unit such as the hard disk that stores the program (in addition to the program stored from the stage of shipping the device in advance). It can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and is realized by any combination of hardware and software centered on a network connection interface. And, it is understood by those skilled in the art that there are various variations in the method of realizing the device and the device.
図１は、管理装置のハードウエア構成を例示するブロック図である。図１に示すように、管理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。
FIG. 1 is a block diagram illustrating a hardware configuration of a management device. As shown in FIG. 1, the management device includes a
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラー等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
The
図２に、管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２とを有する。
FIG. 2 shows an example of a functional block diagram of the
まず、店舗には、１台又は複数台のカメラ（以下、店舗カメラ）が設置される。店舗カメラは、陳列エリアを撮影するよう設置される。店舗カメラは、動画像を撮影してもよいし、所定時間間隔で静止画像を撮影してもよい。店舗カメラは、向きや撮影条件を固定され、同じ条件での撮影を継続してもよい。 First, one or a plurality of cameras (hereinafter referred to as store cameras) are installed in the store. Store cameras are installed to capture the display area. The store camera may capture a moving image or may capture a still image at predetermined time intervals. The store camera has a fixed orientation and shooting conditions, and may continue shooting under the same conditions.
図３に、店舗カメラにより生成された画像データで示される画像Ｆの一例を模式的に示す。図示する画像Ｆでは、３つの段を含む陳列棚がうつっている。陳列棚の設置位置は固定されるため、同じ条件での撮影を継続する場合、陳列棚の同じ箇所が継続して撮影されることとなる。 FIG. 3 schematically shows an example of the image F shown by the image data generated by the store camera. In the illustrated image F, a display shelf including three stages is moving. Since the installation position of the display shelf is fixed, if shooting is continued under the same conditions, the same part of the display shelf will be continuously shot.
本実施形態では、予め、店舗カメラ毎に、各店舗カメラで撮影される画像Ｆ内で１つ又は複数のエリアを指定し、指定した各エリアに陳列エリアを識別する情報（例：陳列エリアコード）を対応付けて登録される。上述の通り、同じ条件での撮影を継続する場合、陳列棚の同じ箇所が継続して撮影されるため、画像Ｆ内における各陳列エリアの位置は固定される。 In the present embodiment, one or a plurality of areas are designated in advance in the image F taken by each store camera for each store camera, and information for identifying the display area in each designated area (example: display area code). ) Is associated and registered. As described above, when shooting under the same conditions is continued, the same portion of the display shelf is continuously shot, so that the position of each display area in the image F is fixed.
図３に示す画像Ｆにおいては、１番上の段に３つのエリアが指定され、各々に、Ｔ１－１－１乃至Ｔ１－１－３の陳列エリアコードが対応付けられている。また、上から２番目の段に２つのエリアが指定され、各々に、Ｔ１－２－１及びＴ１－３－２の陳列エリアコードが対応付けられている。また、１番下の段に２つのエリアが指定され、各々に、Ｔ１－３－１及びＴ１－３－２の陳列エリアコードが対応付けられている。 In the image F shown in FIG. 3, three areas are designated in the uppermost row, and display area codes of T1-1-1 to T1-1-3 are associated with each of them. Further, two areas are designated in the second row from the top, and the display area codes of T1-2-1 and T1-3-2 are associated with each of them. Further, two areas are designated in the lowermost row, and the display area codes of T1-3-1 and T1-3-2 are associated with each of them.
また、本実施形態では、図４に示すように、予め、複数の陳列エリア各々に対応付けて、各陳列エリアに割り当てられた商品を識別する情報（例：商品コード）が登録される。「各陳列エリアに割り当てられた商品」は、各陳列エリアに陳列される商品である。 Further, in the present embodiment, as shown in FIG. 4, information (example: product code) for identifying a product assigned to each display area is registered in advance in association with each of the plurality of display areas. "Products assigned to each display area" are products displayed in each display area.
さらに、本実施形態では、図５に示すように、予め、複数の商品各々に対応付けて、各商品の外観の特徴量が登録される。商品ごとに、複数の角度各々から撮影した場合に画像にうつる複数パターンの特徴量が登録されてもよい。 Further, in the present embodiment, as shown in FIG. 5, the feature amount of the appearance of each product is registered in advance in association with each of the plurality of products. For each product, the feature quantities of a plurality of patterns that are transferred to the image when photographed from each of a plurality of angles may be registered.
画像解析部１１は、陳列エリアを撮影した画像データ（上述した店舗カメラにより生成された画像データ）を解析し、各陳列エリアに割り当てられた商品と異なる物体である異物を画像データから検出する。画像解析部１１は、複数の陳列エリア各々に存在する異物を検出する。画像解析部１１は、店舗カメラにより生成された画像データをできるだけ小さいタイムロスで取得し、解析するのが好ましい。画像解析部１１は、図５に示すような複数の商品各々の外観の特徴量を用いた画像解析により、異物を検出することができる。以下、異物を検出する処理の一例を例示するが、これに限定されない。
The
「処理例１」
例えば、画像解析部１１は、輪郭抽出処理により、画像Ｆ内で１つ又は複数の閉じられた領域（物体）を検出する。なお、その他の処理で、画像Ｆ内の物体を検出してもよい。その後、画像解析部１１は、検出した領域（検出した物体がうつる領域）毎に、各領域がいずれの陳列エリアに含まれるか判断する。
"Processing example 1"
For example, the
そして、画像解析部１１は、検出した領域毎に、「各領域の画像の特徴量」と、「各領域を含む陳列エリアに割り当てられた商品の外観の特徴量」とがマッチング（類似度が所定レベル以上）するか否かを判断する。
Then, the
マッチングする場合、画像解析部１１は、その領域に異物が存在しないと判断する。一方、マッチングしない場合、画像解析部１１は、その領域に異物が存在すると判断する。
In the case of matching, the
このように、画像解析部１１は、画像データから物体を検出することができる。そして、画像解析部１１は、陳列エリア内で検出された物体の外観と、陳列エリアに割り当てられた商品の外観との類似度に基づき、物体が異物か否かを判断することができる。
In this way, the
「処理例２」
例えば、画像解析部１１は、輪郭抽出処理により、画像Ｆ内で１つ又は複数の閉じられた領域（物体）を検出する。なお、その他の処理で、画像Ｆ内の物体を検出してもよい。その後、画像解析部１１は、検出した領域（検出した物体がうつる領域）毎に、各領域がいずれの陳列エリアに含まれるか判断する。
"Processing example 2"
For example, the
また、画像解析部１１は、検出した領域毎に、「各領域の画像の特徴量」と、「複数の商品各々の外観の特徴量」とを用いたマッチング処理を行う。
Further, the
いずれの商品ともマッチングしない場合（いずれの商品とも類似度が所定レベル未満）、画像解析部１１は、その領域に異物が存在すると判断する。そして、いずれかの商品とマッチングする場合（いずれかの商品との類似度が所定レベル以上）、画像解析部１１は、マッチングした商品がその領域を含む陳列エリアに割り当てられた商品か否かを判断する。
If it does not match any of the products (similarity to any of the products is less than a predetermined level), the
その領域を含む陳列エリアに割り当てられた商品である場合、画像解析部１１は、その領域に異物が存在しないと判断する。一方、その領域を含む陳列エリアに割り当てられた商品でない場合、画像解析部１１は、その領域に異物が存在すると判断する。
If the product is assigned to a display area including that area, the
このように、画像解析部１１は、画像データから物体を検出することができる。また、画像解析部１１は、陳列エリア内で検出された物体の外観と、複数の商品各々の外観との類似度に基づき、物体がいずれの商品に該当するかを判断することができる。そして、画像解析部１１は、判断結果、及び、陳列エリアに割り当てられた商品の少なくとも一方に基づき、物体が異物か否かを判断することができる。
In this way, the
図２に戻り、出力部１２は、異物が検出された場合、アラートを出力する。出力部１２は、ディスプレイ、スピーカ、メーラー、プリンター、警告ランプ、振動装置等のあらゆる出力装置を用いて、アラートを出力することができる。
Returning to FIG. 2, the
次に、図６のフローチャートを用いて、本実施形態の管理装置１０の処理の流れの一例を説明する。
Next, an example of the processing flow of the
画像解析部１１は、陳列エリアを撮影した画像データの取得、及び、解析を継続する。解析の結果、各陳列エリアに割り当てられた商品と異なる物体である異物をいずれかの陳列エリア内で検出した場合（Ｓ１０のＹｅｓ）、出力部１２はアラートを出力する（Ｓ１１）。以降、処理を終了する指示がなければ（Ｓ１２のＮｏ）、Ｓ１０に戻って処理を継続する。
The
以上、説明した本実施形態の管理装置１０によれば、画像解析により、各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれていることを迅速に検出することができる。そして、管理装置１０は、異物を検出すると、アラートを出力することができる。
According to the
かかる場合、店員は、当該状況を迅速に把握することができる。そして、異物を取り除いたり、適切な場所に移動させたりできる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に解消できる。 In such a case, the clerk can quickly grasp the situation. Then, foreign matter can be removed or moved to an appropriate place. As a result, it is possible to quickly eliminate the undesired state that "an object (foreign substance) different from the product assigned to each display area is placed in the display area".
＜第２の実施形態＞
本実施形態の管理装置１０は、異物が検出された陳列エリアを示す情報をさらに出力する点で、第１の実施形態と異なる。以下、詳細に説明する。
<Second embodiment>
The
本実施形態の管理装置１０のハードウエア構成の一例は、第１の実施形態と同様である。
An example of the hardware configuration of the
図２に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２とを有する。画像解析部１１の構成は、第１の実施形態と同様である。
FIG. 2 shows an example of a functional block diagram of the
出力部１２は、異物が検出された場合、アラートに加えて、異物が検出された陳列エリアを示す情報をさらに出力する。出力部１２により出力される「陳列エリアを示す情報」は、陳列エリアコードであってもよいし、「通路名」、「コーナー名」、「棚の何段目か」等のその他の情報で陳列エリアを表現したものであってもよい。以下では、陳列エリアを示す情報は、陳列エリアコードである前提で説明する。図７に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
When a foreign substance is detected, the
本実施形態の管理装置１０の処理の流れの一例は、第１の実施形態と同様である。
An example of the processing flow of the
以上、説明した本実施形態の管理装置１０によれば、第１の実施形態と同様の作用効果を実現できる。
According to the
また、本実施形態の管理装置１０によれば、異物が検出された場合、アラートに加えて、異物が検出された陳列エリアを示す情報（例：陳列エリアコード）をさらに出力することができる。
Further, according to the
かかる場合、店員は、異物が存在する状況を迅速に把握するとともに、その異物が存在する位置を迅速に把握することができる。そして、その場所にすみやかに行き、異物を取り除いたり、適切な場所に移動させたりできる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に解消できる。 In such a case, the clerk can quickly grasp the situation where the foreign matter is present and can quickly grasp the position where the foreign matter is present. You can then quickly go to that location to remove foreign objects or move them to the appropriate location. As a result, it is possible to quickly eliminate the undesired state that "an object (foreign substance) different from the product assigned to each display area is placed in the display area".
＜第３の実施形態＞
本実施形態の管理装置１０は、検出された異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断し、他の商品である場合はその商品に割り当てられた陳列エリアを示す情報をさらに出力する点で、第１及び第２の実施形態と異なる。以下、詳細に説明する。
<Third embodiment>
The
本実施形態の管理装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
An example of the hardware configuration of the
図８に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２と、特定部１３とを有する。
FIG. 8 shows an example of a functional block diagram of the
画像解析部１１は、第１及び第２の実施形態と同様にして、陳列エリアを撮影した画像データを解析し、陳列エリアに割り当てられた商品と異なる物体である異物を画像データから検出する。そして、ある陳列エリア内で異物を検出した場合、画像解析部１１は、異物が他の商品であるか否かを判断する。「他の商品」は、その陳列エリアに割り当てられた商品と異なる商品である。
The
第１の実施形態で説明した「処理例１」の場合、画像解析部１１は、異物を検出した後に、「異物を検出した領域の画像の特徴量」と、「複数の商品各々の外観の特徴量」とを用いたマッチング処理を行う。いずれの商品ともマッチングしない場合、画像解析部１１は、その領域に存在する異物は他の商品でないと判断する。一方、いずれかの商品とマッチングする場合、画像解析部１１は、その領域に存在する異物はマッチングした商品（他の商品）であると判断する。
In the case of "Processing Example 1" described in the first embodiment, after detecting the foreign matter, the
第１の実施形態で説明した「処理例２」の場合、画像解析部１１は、抽出した領域毎に、「各領域の画像の特徴量」と、「複数の商品各々の外観の特徴量」とを用いたマッチング処理を行うことができる。いずれの商品ともマッチングしない場合、画像解析部１１は、その領域に異物が存在し、かつ、その領域に存在する異物は他の商品でないと判断する。
In the case of "Processing Example 2" described in the first embodiment, the
そして、いずれかの商品とマッチングする場合、画像解析部１１は、マッチングした商品がその領域を含む陳列エリアに割り当てられた商品か否かを判断する。その領域を含む陳列エリアに割り当てられた商品である場合、画像解析部１１は、その領域に異物が存在しないと判断する。一方、その領域を含む陳列エリアに割り当てられた商品でない場合、画像解析部１１は、その領域に異物が存在し、かつ、その異物はマッチングした商品（他の商品）であると判断する。
Then, when matching with any of the products, the
特定部１３は、検出された異物が他の商品である場合、当該他の商品に割り当てられた陳列エリアを特定する。例えば、特定部１３は、図４に示すような対応情報を用いて、他の商品に割り当てられた陳列エリアを特定する。
When the detected foreign matter is another product, the
出力部１２は、異物が検出され、かつ、異物が他の商品である場合、アラートに加えて、当該他の商品を示す情報（例：商品名）や、当該他の商品に割り当てられた陳列エリアを示す情報（例：陳列エリアコード）を出力する。出力部１２は、さらに、異物が検出された陳列エリアを示す情報（例：陳列エリアコード）を出力してもよい。図９に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
When a foreign substance is detected and the foreign substance is another product, the
次に、図１０のフローチャートを用いて、本実施形態の管理装置１０の処理の流れの一例を説明する。
Next, an example of the processing flow of the
画像解析部１１は、陳列エリアを撮影した画像データの取得、及び、解析を継続する。解析の結果、各陳列エリアに割り当てられた商品と異なる物体である異物をいずれかの陳列エリア内で検出した場合（Ｓ２０のＹｅｓ）、Ｓ２１に進む。
The
Ｓ２１では、画像解析部１１は、検出された異物が他の商品であるか否かを判断する。そして、検出された異物が他の商品である場合、特定部１３は、その他の商品に割り当てられた陳列エリアを特定する。
In S21, the
Ｓ２２では、出力部１２はアラートを出力する。また、出力部１２は、異物が検出された陳列エリアを示す情報や、検出された他の商品（異物）に割り当てられた陳列エリアを示す情報をさらに出力する。以降、処理を終了する指示がなければ（Ｓ２３のＮｏ）、Ｓ２０に戻って処理を継続する。
In S22, the
以上、説明した本実施形態の管理装置１０によれば、第１及び第２の実施形態と同様の作用効果を実現できる。
According to the
また、本実施形態の管理装置１０によれば、異物が検出された場合、その異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断できる。そして、異物が他の商品である場合、他の商品に割り当てられた陳列エリアを特定し、その陳列エリアを示す情報を出力することができる。
Further, according to the
かかる場合、店員は、異物が存在する状況を迅速に把握するとともに、その異物を戻す位置（陳列エリア）を迅速に把握することができる。そして、他の商品（異物）をすみやかに、適切な場所に移動させることができる。結果、「各陳列エリアに割り当てられた商品と異なる物体（異物）が陳列エリアに置かれている」という望ましくない状態を、迅速に、かつ、適切に解消できる。 In such a case, the clerk can quickly grasp the situation where the foreign matter exists and the position (display area) for returning the foreign matter. Then, other products (foreign substances) can be quickly moved to an appropriate place. As a result, the undesired state that "an object (foreign matter) different from the product assigned to each display area is placed in the display area" can be quickly and appropriately eliminated.
＜第４の実施形態＞
本実施形態の管理装置１０は、検出された異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）である場合、当該他の商品をその陳列エリアから回収する作業の緊急度を算出し、出力する点で、第１乃至第３の実施形態と異なる。以下、詳細に説明する。
<Fourth Embodiment>
When the detected foreign matter is another product (a product that is not assigned to the display area where the foreign matter is detected), the
本実施形態の管理装置１０のハードウエア構成の一例は、第１乃至第３の実施形態と同様である。
An example of the hardware configuration of the
図１０に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２と、特定部１３と、緊急度算出部１４とを有する。画像解析部１１及び特定部１３の構成は、第１乃至第３の実施形態と同様である。
FIG. 10 shows an example of a functional block diagram of the
緊急度算出部１４は、画像解析部１１により検出された異物が他の商品である場合、他の商品、及び、他の商品が異物として検出された陳列エリアに基づき、他の商品を回収する作業の緊急度を算出する。
When the foreign matter detected by the
緊急度算出部１４は、放置時間が長くなると検出された他の商品の品質が悪化する状況の場合、高い緊急度を算出する。一方、緊急度算出部１４は、放置時間が長くなっても検出された他の商品の品質に影響しない場合、低い緊急度を算出する。
The
本実施形態では、予め、複数の商品各々に対応付けて、保管条件が登録される（図１２参照）。保管条件は、各商品を保管する最適な条件である。例えば、「冷蔵保管」、「冷凍保管」、「室温保管」等の条件で示されてもよいし、温度範囲で示されてもよいし、その他であってもよい。 In the present embodiment, storage conditions are registered in advance in association with each of the plurality of products (see FIG. 12). The storage conditions are the optimum conditions for storing each product. For example, it may be indicated under conditions such as "refrigerated storage", "frozen storage", "room temperature storage", etc., may be indicated in a temperature range, or may be otherwise.
また、本実施形態では、予め、複数の陳列エリア各々に対応付けて、各々の環境条件が登録される（図１３参照）。環境条件は、各陳列エリアに定められている環境の条件である。例えば、「冷蔵」、「冷凍」、「室温」等の条件で示されてもよいし、温度範囲で示されてもよいし、その他であってもよい。 Further, in the present embodiment, each environmental condition is registered in advance in association with each of the plurality of display areas (see FIG. 13). Environmental conditions are the environmental conditions defined for each display area. For example, it may be indicated by conditions such as "refrigerating", "freezing", and "room temperature", may be indicated in a temperature range, or may be otherwise.
緊急度算出部１４は、例えば、図１２に示す各商品の保管条件、及び、図１３に示す各陳列エリアの環境条件に基づき、上記緊急度を算出することができる。
The
例えば、緊急度算出部１４は、他の商品（異物）の保管条件が他の商品（異物）が検出された陳列エリアの環境条件に合致する場合、緊急度「低」を算出してもよい。一方、緊急度算出部１４は、他の商品（異物）の保管条件が他の商品（異物）が検出された陳列エリアの環境条件に合致しない場合、緊急度「高」を算出してもよい。
For example, the
例えば、他の商品（異物）の保管条件の値（例：冷蔵）と、他の商品（異物）が検出された陳列エリアの環境条件の値（例：室温）が一致しない場合、緊急度「高」が算出されてもよい。そして、一致する場合、緊急度「低」が算出されてもよい。 For example, if the value of the storage condition of other products (foreign matter) (eg refrigerated) and the value of the environmental condition of the display area where other goods (foreign matter) are detected (eg room temperature) do not match, the urgency level " "High" may be calculated. Then, if they match, the degree of urgency "low" may be calculated.
その他、他の商品（異物）の保管条件の温度範囲（例：１０℃～３０℃）が、他の商品（異物）が検出された陳列エリアの環境条件の温度範囲（例：２０℃～３０℃）を含む場合、緊急度「低」が算出されてもよい。そして、含まない場合、緊急度「高」が算出されてもよい。 In addition, the temperature range of the storage condition of other products (foreign matter) (example: 10 ° C to 30 ° C) is the temperature range of the environmental condition of the display area where other products (foreign matter) are detected (example: 20 ° C to 30 ° C). If ℃) is included, the degree of urgency “low” may be calculated. If it is not included, the urgency "high" may be calculated.
出力部１２は、異物が検出され、かつ、異物が他の商品である場合、アラートに加えて、緊急度算出部１４により算出された緊急度を出力する。出力部１２は、さらに、異物が検出された陳列エリアを示す情報（例：陳列エリアコード）や、他の商品を示す情報（例：商品名）や、他の商品に割り当てられた陳列エリアを示す情報（例：陳列エリアコード）を出力してもよい。図１４に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
When the foreign matter is detected and the foreign matter is another product, the
次に、図１０のフローチャートを用いて、本実施形態の管理装置１０の処理の流れの一例を説明する。
Next, an example of the processing flow of the
画像解析部１１は、陳列エリアを撮影した画像データの取得、及び、解析を継続する。解析の結果、各陳列エリアに割り当てられた商品と異なる物体である異物をいずれかの陳列エリア内で検出した場合（Ｓ２０のＹｅｓ）、Ｓ２１に進む。
The
Ｓ２１では、画像解析部１１は、検出された異物が他の商品であるか否かを判断する。そして、検出された異物が他の商品である場合、緊急度算出部１４は、当該他の商品を回収する作業の緊急度を算出する。また、特定部１３は、当該他の商品に割り当てられた陳列エリアを特定してもよい。
In S21, the
Ｓ２２では、出力部１２はアラートを出力する。また、出力部１２は、上記緊急度を出力する。出力部１２は、さらに、異物が検出された陳列エリアを示す情報や、検出された他の商品（異物）に割り当てられた陳列エリアを示す情報等をさらに出力してもよい。以降、処理を終了する指示がなければ（Ｓ２３のＮｏ）、Ｓ２０に戻って処理を継続する。
In S22, the
以上、説明した本実施形態の管理装置１０によれば、第１乃至第３の実施形態と同様の作用効果を実現できる。
According to the
また、本実施形態の管理装置１０によれば、異物が検出された場合、その異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断できる。そして、異物が他の商品である場合、当該他の商品を回収する作業の緊急度を算出することができる。具体的には、放置時間が長くなると検出された他の商品の品質が悪化する状況の場合、高い緊急度を算出することができる。一方、放置時間が長くなっても検出された他の商品の品質に影響しない場合、低い緊急度を算出することができる。
Further, according to the
かかる場合、店員は、異物が存在する状況を迅速に把握するとともに、その異物を回収する作業の緊急度を迅速に把握することができる。そして、店員は、緊急度に基づき、現在行っている作業を中断して回収作業を行うか否かの判断などを行うことができる。結果、何らかの作業を行っている最中に回収作業が発生した場合であっても、店員は、それらの作業の好ましい実行順を迅速に決定し、実行することができる。 In such a case, the clerk can quickly grasp the situation where the foreign matter exists and the urgency of the work of collecting the foreign matter. Then, the clerk can determine whether or not to interrupt the current work and perform the collection work based on the degree of urgency. As a result, even if the collection work occurs while some work is being performed, the clerk can quickly determine and execute the preferred execution order of those works.
＜第５の実施形態＞
本実施形態の管理装置１０は、検出された異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）である場合、当該他の商品の破棄を推奨するか否かを判断し、出力する点で、第１乃至第４の実施形態と異なる。以下、詳細に説明する。
<Fifth Embodiment>
When the detected foreign matter is another product (a product not assigned to the display area where the foreign matter is detected), the
本実施形態の管理装置１０のハードウエア構成の一例は、第１乃至第４の実施形態と同様である。
An example of the hardware configuration of the
図１５に、本実施形態の管理装置１０の機能ブロック図の一例を示す。図示する様に、管理装置１０は、画像解析部１１と、出力部１２と、特定部１３と、破棄判断部１５とを有する。図示しないが、管理装置１０は、さらに緊急度算出部１４を有してもよい。画像解析部１１、特定部１３及び緊急度算出部１４の構成は、第１乃至第４の実施形態と同様である。
FIG. 15 shows an example of a functional block diagram of the
破棄判断部１５は、検出された異物が他の商品である場合、当該他の商品の破棄を推奨するか否かを判断する。
If the detected foreign matter is another product, the
例えば、破棄判断部１５は、他の商品（異物）を検出してからの経過時間に基づき、当該他の商品の破棄を推奨するか否かを判断することができる。この場合、破棄判断部１５は、当該他の商品、及び、当該他の商品が異物として検出された陳列エリアに基づき、当該他の商品の破棄を推奨するか否かを判断してもよい。
For example, the discard
例えば、図１６に示すように、商品の保管条件と、陳列エリアの環境条件との組み合わせ毎に、各保管条件の商品を各環境条件の陳列エリアに放置する許容時間（許容放置時間）が予め登録されていてもよい。 For example, as shown in FIG. 16, for each combination of the storage condition of the product and the environmental condition of the display area, the permissible time (permissible leaving time) for leaving the product of each storage condition in the display area of each environmental condition is set in advance. It may be registered.
破棄判断部１５は、異物として検出された他の商品の保管条件と、異物が検出された陳列エリアの環境条件と、図１６に示す対応情報とに基づき、検出された他の商品がその陳列エリアに放置される許容時間（許容放置時間）を特定してもよい。そして、破棄判断部１５は、放置時間が許容放置時間を超えた場合、当該他の商品の破棄を推奨すると判断してもよい。一方、破棄判断部１５は、放置時間が許容放置時間を超えていない場合、当該他の商品の破棄を推奨しないと判断してもよい。
The
その他、破棄判断部１５は、検出された異物（他の商品）が検出後に店舗カメラの死角に入っている積算時間（検出後、かつ、回収までの間に画像内で検出されなかった時間の積算時間）に基づき、当該他の商品の破棄を推奨するか否かを判断してもよい。破棄判断部１５は、積算時間が所定値を超えた場合、当該他の商品の破棄を推奨すると判断してもよい。一方、破棄判断部１５は、積算時間が所定値を超えていない場合、当該他の商品の破棄を推奨しないと判断してもよい。
In addition, the discard
出力部１２は、異物が検出され、かつ、異物が他の商品である場合、破棄判断部１５による判断結果を出力する。
When the foreign matter is detected and the foreign matter is another product, the
例えば、破棄判断部１５は、他の商品（異物）が検出されると、経過時間及び死角に入った積算時間の監視、及び、これらの値が他の商品（異物）の破棄を推奨する条件（例：放置時間が許容放置時間を超える、死角に入った積算時間が所定値を超える等）を満たすか否かの監視を継続してもよい。そして、他の商品（異物）の破棄を推奨する条件が満たされると、出力部１２は、それに応じて、当該他の商品の破棄を推奨する旨の判断結果を出力してもよい。図１７に、本実施形態の出力部１２により出力される情報の一例を模式的に示す。当該情報は、例えば、ディスプレイやメーラー等の出力装置を用いて出力される。
For example, when another product (foreign substance) is detected, the discard
破棄判断部１５による判断結果の出力方法の他の一例を説明する。管理装置１０は、図１８に示すように、異物の検出イベントを蓄積しておいてもよい。図１８に示す情報は、検出番号（検出イベントの通番）に、陳列エリアコード、異物種、回収状況、経過時間、死角時間、破棄判断結果等の各種項目の値が対応付けられている。
Another example of the output method of the determination result by the discard
陳列エリアコードの欄には、異物を検出された陳列エリアのコードが記録される。異物種の欄には、異物が他の商品か否かを示す情報、又、他の商品である場合は商品コードが記録される。回収状況の欄には、回収作業済みか否かを示す情報が記録される。経過時間の欄には、回収作業が完了するまでの経過時間が記録される。死角時間の欄には、回収作業が完了するまでに異物が店舗カメラの死角に入った時間の積算時間が記録される。破棄判断結果の欄には、破棄判断部１５による判断結果が記録される。
In the display area code column, the code of the display area where a foreign substance is detected is recorded. In the foreign matter type column, information indicating whether or not the foreign matter is another product, and if it is another product, the product code is recorded. In the collection status column, information indicating whether or not the collection work has been completed is recorded. In the elapsed time column, the elapsed time until the collection work is completed is recorded. In the blind spot time column, the accumulated time of the time when the foreign matter enters the blind spot of the store camera until the collection work is completed is recorded. The determination result by the discard
例えば、新たな異物が検出されると、管理装置１０は、新たな検出番号に、陳列エリアコード及び異物種の値（画像解析部１１による解析結果）を対応付けて登録する。回収状況は、未回収を示す値が登録される。経過時間及び死角時間はブランクとなる。
For example, when a new foreign substance is detected, the
そして、検出された異物の回収作業が終了すると、店員は端末装置を操作し、検出番号を指定して、回収作業が完了した旨を入力する。これに応じて、図１８に示す情報が更新される。具体的には、回収状況の欄の値が、回収済みを示す値となる。そして、経過時間及び死角時間の欄各々に、異物を検出してから回収作業が完了した旨の入力を受付けるまでの経過時間、及び、その間に異物が店舗カメラの死角に入っていた積算時間が記録される。また、破棄判断結果の欄に、破棄判断部１５による判断結果が入力される。
Then, when the collection work of the detected foreign matter is completed, the clerk operates the terminal device, specifies the detection number, and inputs that the collection work is completed. The information shown in FIG. 18 is updated accordingly. Specifically, the value in the collection status column is a value indicating that the collection has been completed. Then, in each of the elapsed time and blind spot time columns, the elapsed time from the detection of the foreign substance to the acceptance of the input indicating that the collection work is completed, and the accumulated time during which the foreign substance has entered the blind spot of the store camera. Recorded. Further, the determination result by the discard
なお、破棄判断部１５は、他の商品（異物）が検出されると、経過時間及び死角に入った積算時間の監視、及び、これらの値が他の商品（異物）の破棄を推奨する条件（例：放置時間が許容放置時間を超える、死角に入った積算時間が所定値を超える等）を満たすか否かの監視を継続してもよい。そして、の商品（異物）の破棄を推奨する条件が満たされると、それに応じて、図１８に示す破棄判断結果の欄の値が更新されてもよい。
When another product (foreign matter) is detected, the discard
店員は、任意のタイミングで端末装置を操作し、検出番号を指定して、その検出イベントで検出された他の商品（異物）に対する破棄判断部１５の判断結果を要求してもよい。そして、出力部１２は、当該要求に応じて、破棄判断部１５の判断結果を出力してもよい。
The clerk may operate the terminal device at an arbitrary timing, specify a detection number, and request a determination result of the discard
その他、出力部１２は、ユーザからの要求に応じて、図１８に示すような一覧情報を出力してもよい。
In addition, the
出力部１２は、第１乃至第４の実施形態と同様の情報をさらに出力してもよい。
The
以上、説明した本実施形態の管理装置１０によれば、第１乃至第４の実施形態と同様の作用効果を実現できる。
According to the
また、本実施形態の管理装置１０によれば、異物が検出された場合、その異物が他の商品（異物が検出された陳列エリアに割り当てられていない商品）であるか否かを判断できる。そして、異物が他の商品である場合、当該商品の破棄を推奨するか否かを判断することができる。具体的には、好ましくない陳列エリアへの放置時間が長くなった商品や、店舗カメラの死角に入っている時間が長い安全性の不確かな商品等を、破棄推奨商品とすることができる。
Further, according to the
かかる場合、店員は、管理装置１０により提供された情報に基づき、他の商品（異物）を破棄するか否かを迅速かつ的確に判断することができる。結果、好ましくない陳列エリアへの放置時間が長くなり、品質が悪化した可能性の高い商品や、店舗カメラの死角に入っている時間が長く、安全性の不確かな商品等が販売される不都合を回避できる。
In such a case, the clerk can quickly and accurately determine whether or not to discard the other product (foreign matter) based on the information provided by the
以下、参考形態の例を付記する。
１． 陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段と、
前記異物が検出された場合、アラートを出力する出力手段と、
を有する管理装置。
２． １に記載の管理装置において、
前記出力手段は、前記異物が検出された前記陳列エリアを示す情報をさらに出力する管理装置。
３． １又は２に記載の管理装置において、
前記画像解析手段は、前記異物を検出した場合、前記異物が他の商品であるか否かを判断し、
前記異物が前記他の商品である場合、前記他の商品に割り当てられた前記陳列エリアを特定する特定手段をさらに有し、
前記出力手段は、前記他の商品に割り当てられた前記陳列エリアを示す情報をさらに出力する管理装置。
４． ３に記載の管理装置において、
前記異物が前記他の商品である場合、前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品を回収する作業の緊急度を算出する緊急度算出手段をさらに有し、
前記出力手段は、前記緊急度をさらに出力する管理装置。
５． ４に記載の管理装置において、
前記緊急度算出手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記緊急度を算出する管理装置。
６． ３から５のいずれかに記載の管理装置において、
前記異物が前記他の商品である場合、前記他の商品の破棄を推奨するか否かを判断する破棄判断手段をさらに有し、
前記出力手段は、前記破棄判断手段の判断結果をさらに出力する管理装置。
７． ６に記載の管理装置において、
前記破棄判断手段は、前記異物を検出してからの経過時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
８． ６又は７に記載の管理装置において、
前記破棄判断手段は、
前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
９． ８に記載の管理装置において、
前記破棄判断手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
１０． ６から９のいずれかに記載の管理装置において、
前記破棄判断手段は、検出された前記異物がカメラの死角に入っている積算時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。
１１． １から１０のいずれかに記載の管理装置において、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、前記陳列エリアに割り当てられた商品の外観との類似度に基づき、前記物体が異物か否かを判断する管理装置。
１２． １から１０のいずれかに記載の管理装置において、
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、複数の商品各々の外観との類似度に基づき、前記物体がいずれの商品に該当するかを判断し、
判断結果、及び、前記陳列エリアに割り当てられた商品の少なくとも一方に基づき、前記物体が異物か否かを判断する管理装置。
１３． コンピュータが、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析工程と、
前記異物が検出された場合、アラートを出力する出力工程と、
を実行する管理方法。
１４． コンピュータを、
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段、
前記異物が検出された場合、アラートを出力する出力手段、
として機能させるプログラム。
Hereinafter, an example of the reference form will be added.
1. 1. An image analysis means for analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
When the foreign matter is detected, an output means for outputting an alert and
Management device with.
2. 2. In the management device according to 1.
The output means is a management device that further outputs information indicating the display area in which the foreign matter is detected.
3. 3. In the management device according to 1 or 2,
When the foreign matter is detected, the image analysis means determines whether or not the foreign matter is another product, and determines whether or not the foreign matter is another product.
When the foreign matter is the other product, it further has a specific means for identifying the display area assigned to the other product.
The output means is a management device that further outputs information indicating the display area assigned to the other product.
4. In the management device according to 3.
When the foreign substance is the other product, the urgency of calculating the urgency of the work of collecting the other product is calculated based on the other product and the display area in which the other product is detected as the foreign substance. It also has a degree calculation means,
The output means is a management device that further outputs the degree of urgency.
5. In the management device according to 4.
The urgency calculation means is a management device that calculates the urgency based on the storage conditions of each of the plurality of products and the environmental conditions maintained in each of the plurality of display areas.
6. In the management device according to any one of 3 to 5.
When the foreign substance is the other product, it further has a disposal determination means for determining whether or not to recommend the disposal of the other product.
The output means is a management device that further outputs the determination result of the discard determination means.
7. In the management device according to 6.
The disposal determination means is a management device that determines whether or not to recommend the disposal of the other product based on the elapsed time from the detection of the foreign substance.
8. In the management device according to 6 or 7,
The discard determination means is
A management device for determining whether or not to recommend disposal of the other product based on the other product and the display area in which the other product is detected as the foreign substance.
9. In the management device according to 8.
The disposal determination means is a management device that determines whether or not to recommend the disposal of the other products based on the storage conditions of each of the plurality of products and the environmental conditions maintained in each of the plurality of display areas.
10. In the management device according to any one of 6 to 9.
The discard determination means is a management device that determines whether or not to recommend discarding the other product based on the integrated time in which the detected foreign matter is in the blind spot of the camera.
11. In the management device according to any one of 1 to 10.
The image analysis means is
An object is detected from the image data,
A management device for determining whether or not an object is a foreign substance based on the degree of similarity between the appearance of the object detected in the display area and the appearance of a product assigned to the display area.
12. In the management device according to any one of 1 to 10.
The image analysis means is
An object is detected from the image data,
Based on the degree of similarity between the appearance of the object detected in the display area and the appearance of each of the plurality of products, it is determined which product the object corresponds to.
A management device that determines whether or not the object is a foreign substance based on the determination result and at least one of the products allocated to the display area.
13. The computer
An image analysis step of analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
When the foreign matter is detected, the output process that outputs an alert and
How to manage to run.
14. Computer,
An image analysis means for analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
An output means that outputs an alert when the foreign matter is detected.
A program that functions as.
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１０ 管理装置
１１ 画像解析部
１２ 出力部
１３ 特定部
１４ 緊急度算出部
１５ 破棄判断部
4A
Claims (13)
前記異物が検出された場合、アラートを出力する出力手段と、
を有し、
前記画像解析手段は、前記異物を検出した場合、前記異物が他の商品であるか否かを判断し、
前記異物が前記他の商品である場合、前記他の商品の破棄を推奨するか否かを判断する破棄判断手段をさらに有し、
前記出力手段は、前記破棄判断手段の判断結果をさらに出力し、
前記破棄判断手段は、検出された前記異物がカメラの死角に入っている積算時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。 An image analysis means for analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
When the foreign matter is detected, an output means for outputting an alert and
Have,
When the foreign matter is detected, the image analysis means determines whether or not the foreign matter is another product, and determines whether or not the foreign matter is another product.
When the foreign substance is the other product, it further has a disposal determination means for determining whether or not to recommend the disposal of the other product.
The output means further outputs the determination result of the discard determination means, and further outputs the determination result.
The discard determination means is a management device that determines whether or not to recommend discarding the other product based on the integrated time in which the detected foreign matter is in the blind spot of the camera .
前記出力手段は、前記異物が検出された前記陳列エリアを示す情報をさらに出力する管理装置。 In the management device according to claim 1 ,
The output means is a management device that further outputs information indicating the display area in which the foreign matter is detected.
前記画像解析手段は、前記異物を検出した場合、前記異物が他の商品であるか否かを判断し、
前記異物が前記他の商品である場合、前記他の商品に割り当てられた前記陳列エリアを特定する特定手段をさらに有し、
前記出力手段は、前記他の商品に割り当てられた前記陳列エリアを示す情報をさらに出力する管理装置。 In the management device according to claim 1 or 2 .
When the foreign matter is detected, the image analysis means determines whether or not the foreign matter is another product, and determines whether or not the foreign matter is another product.
When the foreign matter is the other product, it further has a specific means for identifying the display area assigned to the other product.
The output means is a management device that further outputs information indicating the display area assigned to the other product.
前記異物が前記他の商品である場合、前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品を回収する作業の緊急度を算出する緊急度算出手段をさらに有し、
前記出力手段は、前記緊急度をさらに出力する管理装置。 In the management device according to claim 3 ,
When the foreign substance is the other product, the urgency of calculating the urgency of the work of collecting the other product is calculated based on the other product and the display area in which the other product is detected as the foreign substance. It also has a degree calculation means,
The output means is a management device that further outputs the degree of urgency.
前記緊急度算出手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記緊急度を算出する管理装置。 In the management device according to claim 4 ,
The urgency calculation means is a management device that calculates the urgency based on the storage conditions of each of the plurality of products and the environmental conditions maintained in each of the plurality of display areas.
前記破棄判断手段は、前記異物を検出してからの経過時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。 In the management device according to any one of claims 1 to 5 .
The disposal determination means is a management device that determines whether or not to recommend the disposal of the other product based on the elapsed time from the detection of the foreign substance.
前記破棄判断手段は、
前記他の商品、及び、前記他の商品が前記異物として検出された前記陳列エリアに基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。 In the management device according to any one of claims 1 to 6 .
The discard determination means is
A management device for determining whether or not to recommend disposal of the other product based on the other product and the display area in which the other product is detected as the foreign substance.
前記破棄判断手段は、複数の商品各々の保管条件、及び、複数の前記陳列エリア各々で維持される環境条件に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。 In the management device according to claim 7 ,
The disposal determination means is a management device that determines whether or not to recommend the disposal of the other products based on the storage conditions of each of the plurality of products and the environmental conditions maintained in each of the plurality of display areas.
前記破棄判断手段は、複数の商品各々の保管条件と、複数の前記陳列エリア各々の環境条件と、各保管条件の商品を各環境条件の前記陳列エリアに放置する許容時間とを対応付けた情報に基づき、前記他の商品の破棄を推奨するか否かを判断する管理装置。 In the management device according to any one of claims 1 to 8 .
The discard determination means is information in which the storage conditions of each of the plurality of products, the environmental conditions of each of the plurality of display areas, and the permissible time for leaving the products of each storage condition in the display area of each environmental condition are associated with each other. A management device that determines whether or not to recommend the disposal of the other products based on the above.
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、前記陳列エリアに割り当てられた商品の外観との類似度に基づき、前記物体が異物か否かを判断する管理装置。 In the management device according to any one of claims 1 to 9 .
The image analysis means is
An object is detected from the image data,
A management device for determining whether or not an object is a foreign substance based on the degree of similarity between the appearance of the object detected in the display area and the appearance of a product assigned to the display area.
前記画像解析手段は、
前記画像データから物体を検出し、
前記陳列エリア内で検出された前記物体の外観と、複数の商品各々の外観との類似度に基づき、前記物体がいずれの商品に該当するかを判断し、
判断結果、及び、前記陳列エリアに割り当てられた商品の少なくとも一方に基づき、前記物体が異物か否かを判断する管理装置。 In the management device according to any one of claims 1 to 10 .
The image analysis means is
An object is detected from the image data,
Based on the degree of similarity between the appearance of the object detected in the display area and the appearance of each of the plurality of products, it is determined which product the object corresponds to.
A management device that determines whether or not the object is a foreign substance based on the determination result and at least one of the products allocated to the display area.
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析工程と、
前記異物が検出された場合、アラートを出力する出力工程と、
を実行し、
前記画像解析工程では、前記異物を検出した場合、前記異物が他の商品であるか否かをさらに判断し、
前記出力工程は、前記異物が他の商品であるか否かを更に出力し、
前記画像解析工程では、検出された前記異物がカメラの死角に入っている積算時間に基づき、前記他の商品の破棄を推奨するか否かを判断する管理方法。 The computer
An image analysis step of analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
When the foreign matter is detected, the output process that outputs an alert and
And run
In the image analysis step, when the foreign substance is detected, it is further determined whether or not the foreign substance is another product.
The output step further outputs whether or not the foreign substance is another product .
In the image analysis step, a management method for determining whether or not to recommend disposal of the other product based on the integrated time in which the detected foreign matter is in the blind spot of the camera .
陳列エリアを撮影した画像データを解析し、前記陳列エリアに割り当てられた商品と異なる物体である異物を前記画像データから検出する画像解析手段、
前記異物が検出された場合、アラートを出力する出力手段、
として機能させ、
前記画像解析手段は、前記異物を検出した場合、前記異物が他の商品であるか否かを判断する破棄判断手段をさらに有し、
前記出力手段は、前記破棄判断手段の判断結果をさらに出力し、
前記破棄判断手段は、検出された前記異物がカメラの死角に入っている積算時間に基づき、前記他の商品の破棄を推奨するか否かを判断するプログラム。 Computer,
An image analysis means for analyzing image data obtained by photographing a display area and detecting a foreign substance, which is an object different from the product assigned to the display area, from the image data.
An output means that outputs an alert when the foreign matter is detected.
To function as
The image analysis means further includes a discard determination means for determining whether or not the foreign substance is another product when the foreign substance is detected.
The output means further outputs the determination result of the discard determination means, and further outputs the determination result.
The discard determination means is a program for determining whether or not to recommend discarding the other product based on the integrated time in which the detected foreign matter is in the blind spot of the camera .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017047091A JP6996093B2 (en) | 2017-03-13 | 2017-03-13 | Management equipment, management methods and programs |
| JP2021167959A JP2022017307A (en) | 2017-03-13 | 2021-10-13 | Management device and management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017047091A JP6996093B2 (en) | 2017-03-13 | 2017-03-13 | Management equipment, management methods and programs |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021167959A Division JP2022017307A (en) | 2017-03-13 | 2021-10-13 | Management device and management method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018151819A JP2018151819A (en) | 2018-09-27 |
| JP6996093B2 true JP6996093B2 (en) | 2022-01-17 |
Family
ID=63681694
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017047091A Active JP6996093B2 (en) | 2017-03-13 | 2017-03-13 | Management equipment, management methods and programs |
| JP2021167959A Pending JP2022017307A (en) | 2017-03-13 | 2021-10-13 | Management device and management method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021167959A Pending JP2022017307A (en) | 2017-03-13 | 2021-10-13 | Management device and management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6996093B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6847137B2 (en) * | 2019-01-18 | 2021-03-24 | 株式会社パン・パシフィック・インターナショナルホールディングス | Information processing equipment, shelf management system, information processing method, and program |
| JPWO2021090753A1 (en) * | 2019-11-05 | 2021-05-14 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007206745A (en) | 2006-01-30 | 2007-08-16 | Fujitsu Ltd | Electronic shelf tag, electronic shelf tag system server, electronic shelf tag system and electronic shelf tag display method |
| JP2010142572A (en) | 2008-12-22 | 2010-07-01 | Toshiba Tec Corp | Commodity display position alert system and program |
| JP2012074014A (en) | 2010-08-31 | 2012-04-12 | Ns Solutions Corp | Augmented reality provision system, information processing terminal, information processor, augmented reality provision method, information processing method, and program |
| WO2015140851A1 (en) | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Information processing device, product rack management system, and product rack management method |
| JP2015176265A (en) | 2014-03-14 | 2015-10-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Commodity shelf monitoring method |
| JP2017182653A (en) | 2016-03-31 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | Commodity monitoring device, commodity monitoring system and commodity monitoring method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6812846B2 (en) * | 2001-09-28 | 2004-11-02 | Koninklijke Philips Electronics N.V. | Spill detector based on machine-imaging |
| JP2009205481A (en) * | 2008-02-28 | 2009-09-10 | Kenwood Corp | Commodity position management system and method |
-
2017
- 2017-03-13 JP JP2017047091A patent/JP6996093B2/en active Active
-
2021
- 2021-10-13 JP JP2021167959A patent/JP2022017307A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007206745A (en) | 2006-01-30 | 2007-08-16 | Fujitsu Ltd | Electronic shelf tag, electronic shelf tag system server, electronic shelf tag system and electronic shelf tag display method |
| JP2010142572A (en) | 2008-12-22 | 2010-07-01 | Toshiba Tec Corp | Commodity display position alert system and program |
| JP2012074014A (en) | 2010-08-31 | 2012-04-12 | Ns Solutions Corp | Augmented reality provision system, information processing terminal, information processor, augmented reality provision method, information processing method, and program |
| JP2015176265A (en) | 2014-03-14 | 2015-10-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Commodity shelf monitoring method |
| WO2015140851A1 (en) | 2014-03-20 | 2015-09-24 | 日本電気株式会社 | Information processing device, product rack management system, and product rack management method |
| JP2017182653A (en) | 2016-03-31 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | Commodity monitoring device, commodity monitoring system and commodity monitoring method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018151819A (en) | 2018-09-27 |
| JP2022017307A (en) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107086944B (en) | Anomaly detection method and device | |
| JP6962356B2 (en) | Image processing device, display control device, image processing method, and recording medium | |
| JP2022017307A (en) | Management device and management method | |
| US9740941B2 (en) | Apparatus and method for visualizing loitering objects | |
| TWI578272B (en) | Shelf detection system and method | |
| US11094076B2 (en) | Analysis apparatus, analysis method, and storage medium | |
| JP2016143334A (en) | Purchase analysis device and purchase analysis method | |
| JP2017091009A (en) | Abnormal operation detection system and abnormal operation detection method | |
| TW201333483A (en) | System and method for detecting voltage | |
| CN111126119A (en) | Method and device for counting user behaviors arriving at store based on face recognition | |
| CN111666915A (en) | Monitoring method, device, equipment and storage medium | |
| JP2011232864A (en) | Facility information classification system and facility information classification program | |
| JP2021002136A (en) | Work support device, work support method, and work support program | |
| CN112991379A (en) | Unmanned vending method and system based on dynamic vision | |
| JP2022043631A (en) | Information processing apparatus, information processing method, and program | |
| JP6536643B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD, AND PROGRAM | |
| WO2021240772A1 (en) | Processing device, processing method, and program | |
| CN109034067B (en) | Method, system, equipment and storage medium for commodity image reproduction detection | |
| CN112950329A (en) | Commodity dynamic information generation method, device, equipment and computer readable medium | |
| CN111222377B (en) | Commodity information determining method and device and electronic equipment | |
| CA3130322A1 (en) | Monitoring method, device and system for user behaviors in store and computer system | |
| JP6381189B2 (en) | Monitoring device | |
| WO2021090753A1 (en) | Processing device, processing method, and program | |
| JP7010030B2 (en) | In-store monitoring equipment, in-store monitoring methods, and in-store monitoring programs | |
| US20200293785A1 (en) | Information processing apparatus, information processing method, and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210419 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210713 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211013 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211013 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211021 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6996093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |