JP4553742B2 - Action recognition method and apparatus, and product management system - Google Patents
Action recognition method and apparatus, and product management system Download PDFInfo
- Publication number
- JP4553742B2 JP4553742B2 JP2005019884A JP2005019884A JP4553742B2 JP 4553742 B2 JP4553742 B2 JP 4553742B2 JP 2005019884 A JP2005019884 A JP 2005019884A JP 2005019884 A JP2005019884 A JP 2005019884A JP 4553742 B2 JP4553742 B2 JP 4553742B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- article
- read
- product
- place
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、人の行動を認識するための行動認識方法および装置並びにこの行動認識装置を使用して客の行動を認識し、それに基づき客の動向などを分析したり、精算処理を行う商品管理システムに関する。 The present invention relates to an action recognition method and apparatus for recognizing a person's action, and a merchandise management for recognizing a customer's action using the action recognition apparatus and analyzing a customer's trend or performing a checkout process based on the action. About the system.
デパートやスーパーマーケット等における売場に陳列されている商品に対する種々の管理を行うのに、商品コードや売価が表記されたバーコードタグをスキャナーで読み取ってコンピュータで各商品の売上金額や売上数を集計している。この売上数から販売戦略を立案して商品の入荷量を調整している。
しかしながら、このＰＯＳシステムで得られる各情報は、売れた／売れないの結果情報のみである。一般に客は商品を手に取って見比べて判断して最終的に一つの商品を購入する。この過程の情報はマーケットの戦略情報として重要である。
上記問題を解決するものとして、例えば、ＩＣタグを使用して客の購入行動情報を取得して戦略情報を提供する提案がなされている（特許文献１、特許文献２参照）。
特許文献１に記載のものは、商品の陳列位置近傍にＩＣタグリーダを配置し、商品に付したＩＣタグを読取り、客がその商品に対して何回接触したかを計数することで客の購入行動を把握しようとするものである。
また、特許文献２に記載のものは、買物籠にＩＣタグリーダを付けて買物籠に同じ商品を出し入れすれば、購入をためらっていると判断し、その商品に対する購入意欲促進情報を提供して客に購入させようとするものである。
However, each piece of information obtained by this POS system is only information on the result of selling / not selling. Generally, a customer picks up a product, compares it, makes a decision, and finally purchases one product. This process information is important as market strategy information.
In order to solve the above-mentioned problem, for example, proposals have been made to obtain customer purchase behavior information using IC tags and provide strategy information (see
In addition, the one described in
上記特許文献１，２で提案されているものは、いづれも接触回数や出し入れ回数により購入ためらい状況を把握するものであり、即購入を決断した商品か、ためらったあげく買う決断した商品か、ためらう原因となった他の商品は何か、ためらったあげく購入しなかった商品か、陳列位置で商品に触れてみただけなのか、また、それらの決断にどれくらいの時間を要したのか等の詳細な分析はできない。また、商品に対し客が陳列位置から買物籠を結ぶ空間における客の行動を時系列的にとらえて分析することが出来ない。
以上のように、従来から提案されているものは、人（商品に対しては客）の行動を、より詳細に分析することができず、また、人もしくは客の行動の時系列的な行動の把握は困難であった。
本発明は、上記事情に鑑みなされたものであって、本発明の第１の目的は、人の行動を時系列的に詳細に分析することができる行動認識方法および行動認識装置を提供することである。
本発明の第２の目的は、上記行動認識装置を用いて、客の行動を認識しこの認識結果に基づき客の商品購入時の行動、動向等を分析し、これに基づき商品管理を行うことができる商品管理システムを提供することである。
The ones proposed in the
As described above, what has been proposed so far cannot analyze the behavior of a person (customer for a product) in more detail, and the time-series behavior of the behavior of a person or a customer. It was difficult to grasp.
The present invention has been made in view of the above circumstances, and a first object of the present invention is to provide an action recognition method and an action recognition apparatus capable of analyzing human behavior in detail in a time series. It is.
A second object of the present invention is to recognize customer behavior using the behavior recognition device described above, analyze customer behavior and trends at the time of product purchase based on the recognition result, and perform product management based on this. Is to provide a product management system that can
本発明においては、上記課題を次のように解決する。
（１）物品の陳列場所の場所にＩＣタグのような該場所を特定する場所情報を書き込んだ場所記憶手段を取り付け、また、物品に、ＩＣタグのような該物品を特定する物品情報を書き込んだ物品記憶手段を取り付ける。また、人の手又は手首に、上記場所もしくは物品の近傍で、上記場所記憶手段および物品記憶手段に記憶された情報を読み取る場所／物品情報読み取り手段を装着する。
そして、以下のようにして上記場所／物品情報読み取り手段を装着した人の行動を認識する。
（イ）上記場所／物品情報読み取り手段により、場所情報を読み取れなくなったとき、物品情報が読み取れるか否かを判断する。
（ロ）場所情報が読み取られ、ついで場所情報を読み取れなくなったとき、再度物品情報が読み取れるか否かを判断する。
（ハ）上記（イ）で物品情報が読み取られたか否かの判断結果と、上記（ロ）で物品情報が読み取られた否か、および上記（ロ）で読み取られた物品情報と上記（イ）で読み取られた物品情報が等しいか否かの判断結果により上記人の行動を認識する。
In the present invention, the above problem is solved as follows.
(1) A location storage means in which location information for specifying the location such as an IC tag is written is attached to the location of the display location of the item, and article information for specifying the item such as an IC tag is written in the item. Attach the article storage means. Further, a place / article information reading means for reading the information stored in the place storage means and the article storage means is attached to a person 's hand or wrist near the place or the article.
Then, the behavior of the person wearing the place / article information reading means is recognized as follows.
(A) When the location information cannot be read by the location / article information reading means, it is determined whether or not the item information can be read.
(B) When the location information is read and then the location information cannot be read, it is determined again whether the article information can be read.
(C) Judgment result of whether or not the article information is read in (b) above, whether or not the article information is read in (b) above, and the article information read in (b) above and (b) The person's action is recognized based on the result of determination as to whether the article information read in (1) is equal.
具体的には、上記（ハ）で以下のように判断し、人の行動を以下のＲＣ＝１〜５と認識する。
（ａ）上記（イ）で物品情報が読み取られない場合、上記（ロ）の判断結果に基づき、以下のように認識する。
・上記（ロ）で物品情報が検出されなかった場合には、上記場所情報で特定される場所から、物品を取り出そうとしたが取り出さなかった（ＲＣ＝１）と認識する。
・上記（ロ）で物品情報が検出された場合には、上記場所情報で特定される場所から、物品を取り出し保持している（ＲＣ＝２）と認識する。
（ｂ）上記（イ）で物品情報が読み取られた場合、上記（ロ）の判断結果に基づき、以下のように認識する。
・上記（ロ）で読み取られた物品情報が、上記（イ）で読み取られた物品情報と同じ場合には、物品を上記場所情報で特定される場所に置こうとしたが、やめて保持している（ＲＣ＝３）と認識する。
・上記（ロ）で読み取られた物品情報が、上記（イ）で読み取られた物品情報と異なる場合には、上記（イ）で読み取った物品情報に対応した物品を上記場所情報で特定される場所に置いて、代わりに上記（ロ）で読み取られた物品情報に対応する物品を保持している（ＲＣ＝４）と認識する。
・上記（ロ）で物品情報が読み取れない場合には、上記物品情報に対応した物品を上記場所情報で特定される場所に置いた（ＲＣ＝５）と認識する。
Specifically, in the above (c), the following determination is made, and the human behavior is recognized as RC = 1 to 5 below.
(A) When article information is not read in (b) above, recognition is performed as follows based on the determination result in (b) above.
If the article information is not detected in (b) above, it is recognized that the article has been taken out from the place specified by the place information but has not been taken out (RC = 1).
When the article information is detected in (b) above, it is recognized that the article is taken out and held from the place specified by the place information (RC = 2).
(B) When the article information is read in (b) above, it is recognized as follows based on the determination result in (b) above.
-If the article information read in (b) above is the same as the article information read in (b) above, the article was tried to be placed at the location specified by the location information, (RC = 3).
-If the article information read in (b) is different from the article information read in (b), the article corresponding to the article information read in (b) is specified by the location information. Instead, it is recognized that the article corresponding to the article information read in (b) is held (RC = 4).
If the article information cannot be read in (b) above, it is recognized that the article corresponding to the article information has been placed at the location specified by the location information (RC = 5).
（２）上記行動認識手法を商品管理システムに適用し、来店した客に以下の機能を有する携帯端末を保持させ、店内における客の買物行動を把握する。
すなわち、商品を陳列した陳列場所および客が持つ買物籠に場所を特定する場所情報を書き込んだ場所記憶手段を取り付け、各商品に該商品を特定する商品情報を書き込んだ商品記憶手段を取り付ける。
また、上記場所記憶手段、商品記憶手段の近傍で、上記場所情報、商品情報を読み取り可能な場所／商品情報読み取り手段を客の手首などに装着する。
そして、上記場所／商品情報読み取り手段により読み取られる情報に基づき、前記（１）の行動認識手法により、客の店内における行動を、以下のＲＣ＝１〜５と認識し、認識結果情報を例えば管理装置等に送信する。
・ＲＣ＝１：陳列場所または買物籠から、商品を取り出そうとしたが取り出さなかった。・ＲＣ＝２：陳列場所または買物籠から、商品を取り出して、保持している。
・ＲＣ＝３：商品を上記陳列場所または買物籠に置こうとしたが、やめて保持している。・ＲＣ＝４：商品を上記陳列場所または買物籠に置いて、代わりの商品を保持している。・ＲＣ＝５：商品を上記陳列場所または買物籠に置いた。
(2) Applying the above behavior recognition method to a merchandise management system, allowing a customer who visits the store to hold a portable terminal having the following functions, and grasping the shopping behavior of the customer in the store.
That is, a place storage means in which location information for specifying a place is written is attached to a display place where the product is displayed and a shopping basket held by the customer, and a product storage means in which product information for specifying the product is written is attached to each product.
In addition, a location / product information reading unit capable of reading the location information and product information is mounted on the wrist of the customer in the vicinity of the location storage unit and the product storage unit.
Based on the information read by the place / product information reading means, the behavior recognition method of (1) recognizes the customer's behavior in the store as RC = 1 to 5 below, and manages the recognition result information, for example. Send to device etc.
-RC = 1: An attempt was made to take out a product from a display place or a shopping basket, but it was not taken out. RC = 2: Goods are taken out from the display place or shopping basket and held.
RC = 3: An attempt was made to place the product in the display place or shopping basket, but it has been held. RC = 4: The product is placed in the display place or the shopping basket, and a substitute product is held. RC = 5: The product was placed in the display place or shopping basket.
（３）上記行動認識結果に基づき、管理装置で客の動向を分析し、分析結果を出力する。 すなわち、管理装置は、客の買物期間中に収集して累積した客動向情報をもとに、商品が置かれている場所と、顧客の買物龍の場所とにおいて、手にした商品に対して時系列分析して、客の動向パターンとその出現回数と、商品を手にしてから該動向パターンに至った決断時間とを分析する。
（４）上記行動認識結果から、客が買物籠に出し入れした商品を抽出し、該客の購入情報を作成し、上記購入情報をもとに精算処理を行う。
(3) Based on the behavior recognition result, the management device analyzes the customer trend and outputs the analysis result. In other words, the management device, based on the customer trend information collected and accumulated during the customer's shopping period, for the product obtained at the place where the product is placed and the location of the customer's shopping dragon A time series analysis is performed to analyze a customer's trend pattern and the number of appearances thereof, and a decision time to reach the trend pattern after the product is obtained.
(4) From the action recognition result, the product that the customer puts in and out of the shopping basket is extracted, purchase information of the customer is created, and a checkout process is performed based on the purchase information.
本発明においては、以下の効果を得ることができる。
（１）人が買物などの通常の目的行動をしているだけで、定められた場所、場所で扱われる物品に対する扱いについての行動情報を収集することができ、かつ該物品の扱いに対する時系列な行動分析をして必要な管理情報が提供することができる。
このため、本発明の行動認識手段を、例えば商品管理システム等に適用し、客の動向を把握することにより、各商品に対して即時入を決断した商品か、ためらったあげく買う決断した商品か、ためらう原因となった他の商品は何か、ためらったあげく購入しなかった商品か、陳列位置で商品に触れてみただけなのか、また、それらの決断にどれくらいの時間を要したのか等の詳細な分析が可能となる。
このため、効果的なマーケット情報を取得することが可能となる。
（２）本発明の行動認識手段をＰＯＳシステムに適用し、買物籠に出し入れした商品情報を抽出することで、客の購入品目を把握することが可能となり、精算処理の効率化することができる。
In the present invention, the following effects can be obtained.
(1) A person can only collect behavioral information about the handling of goods handled at a predetermined place or place just by performing a normal purpose action such as shopping, and the time series for handling the goods. The necessary management information can be provided by analyzing the behavior.
For this reason, the action recognition means of the present invention is applied to, for example, a product management system, etc., and by grasping customer trends, whether it is a product that has decided to immediately enter each product, or a product that has decided to buy hesitate What other products caused the hesitation, whether they did not hesitate to purchase, whether they just touched the product in the display position, and how much time it took to make those decisions Detailed analysis is possible.
For this reason, it becomes possible to acquire effective market information.
(2) By applying the action recognition means of the present invention to the POS system and extracting the product information put in and out of the shopping basket, it becomes possible to grasp the purchase item of the customer, and the settlement process can be made more efficient. .
以下、本発明の実施の形態について説明するが、まず、本発明の行動認識処理について説明し、次に、本発明の行動認識処理を商品管理システムに適用した場合の実施例について説明する。
（１）行動認識処理。
図１は、本発明の実施例の行動認識装置におけるＩＣタグの配置とＩＣタグの読取範囲の一例を説明する図であり、ここでは、商品、陳列棚などの陳列場所、買物籠にＩＣタグを取り付けた場合について説明する。
同図（ａ）に示すように、各商品には、それぞれＩＣタグ１が取り付けられ、また、商品の陳列場所である各棚ごとに棚ＩＣタグ２ａが取り付けられ、さらに客が持っている買物籠４にも籠ＩＣタグ２ｂが取り付けられている。
上記ＩＣタグ１，２ａ，２ｂには、商品名、棚名、籠の利用者名などが格納されており、上記ＩＣタグ１，２ａ，２ｂに格納された情報は、客の手首に取り付けられたＩＣタグリーダを備えた携帯端末３により読み取られる。
図２は、人の手首に取り付けられる携帯端末３の構成例を示す図である。同図に示すように、携帯端末３は、上記商品ＩＣタグ１、棚ＩＣタグ２ａ、買物籠ＩＣタグ２ｂなどのＩＣタグの情報を読み取るＩＣタグ読取手段（以下ＩＣタグリーダともいう）３ａ、以下で説明する行動認識手段３ｂ、行動認識処理の過程で取得した情報を管理装置等に送信する認識情報伝達手段３ｃを有する。なお、携帯端末３にはＩＣタグ読取手段３ａのみを設け、行動認識手段３ｂ、認識情報伝達手段３ｃを他の場所に設け、ＩＣタグ読取手段３ａで読み取った情報をワイヤレス通信手段等で、行動認識手段３ｂ、認識情報伝達手段３ｃに送信するようにしてもよい。
Hereinafter, embodiments of the present invention will be described. First, the action recognition process of the present invention will be described, and then an example in the case of applying the action recognition process of the present invention to a product management system will be described.
(1) Action recognition processing.
FIG. 1 is a diagram for explaining an example of an IC tag arrangement and an IC tag reading range in an action recognition apparatus according to an embodiment of the present invention. Here, an IC tag is used for a display place such as a product, a display shelf, or a shopping basket. The case where is attached will be described.
As shown in FIG. 2A, each product has an
The IC tags 1, 2a, 2b store product names, shelf names, bag user names, etc., and the information stored in the IC tags 1, 2a, 2b is attached to the wrists of customers. It is read by the
FIG. 2 is a diagram illustrating a configuration example of the
上記携帯端末３による商品ＩＣタグ１の情報の読み取り範囲は、図１（ｂ）に示すように各商品の近傍であり、また、棚ＩＣタグ２ａの情報の読み取り範囲は、同図に示すよう商品ＩＣタグ１の読み取り範囲を覆うようにＩＣタグの電波強度の違いや使用する規格の差異により実現するように設定されている。
したがって、客が商品を取ろうとしたり、商品に触れようとすると、客の手首に取り付けた携帯端末３により、まず場所ＩＣタグ１の情報が読み取られ、ついで、商品ＩＣタグ１の情報が読み取られる。
買物籠４に取り付けられた籠ＩＣタグの２ｂ読み取り範囲は、同図に示すように買物籠４の入り口全体を覆うように設定され、客が買物籠４内に商品を入れようとしたり、あるいは、買物籠４の中身を出そうとすると、携帯端末３により、籠ＩＣタグ２ｂの情報が読み取られる。
なお、図１では一例として、棚と、該棚に並べられた商品と、買物籠にＩＣタグが取り付けられている場合を示しているが、ＩＣタグが取り付けられるものは商品に限らず、その他の物品であってもよい。以下では、上記商品タグ１を物品タグともいう。
また、商品（物品）も必ずしも棚に配置されている必要はなく、棚以外の場所に配置されていてもよい。以下では、各商品（物品）が配置された付近や、商品が収納される買物籠内を「場所」と呼び、上記棚ＩＣタグ１ｂ、籠ＩＣタグをあわせて場所ＩＣタグ２とも呼ぶ。
The information reading range of the
Therefore, when a customer tries to take a product or touches the product, the information on the
The 2b reading range of the IC tag attached to the
In addition, in FIG. 1, the case where the IC tag is attached to the shelf, the product arranged in the shelf, and the shopping basket is shown as an example, but the item to which the IC tag is attached is not limited to the product. It may be an article. Hereinafter, the
Further, the product (article) is not necessarily arranged on the shelf, and may be arranged at a place other than the shelf. Below, the vicinity where each product (article) is arranged and the inside of the shopping basket in which the product is stored are referred to as “location”, and the shelf IC tag 1b and the basket IC tag are also referred to as
図３は、本実施例の行動認識方法の概要を説明する図であり、図３により上記携帯端末３をつけた人の行動を認識する方法の概要について説明する。
なお、図３において、ＲＤは携帯端末３によりＩＣタグの情報が読み取れた場合を示し、ＮＲＤはＩＣタグの情報が読み取れない場合を示す。また、ＲＣは人の行動パターンを示す行動認識結果フラグであり、以下に説明するように、携帯端末３を付けた人の行動パターンに応じて、行動認識結果フラグＲＣが１〜５に設定される。
FIG. 3 is a diagram for explaining the outline of the action recognition method according to the present embodiment. The outline of the method for recognizing the action of the person wearing the
In FIG. 3, RD indicates a case where the IC tag information can be read by the
（ｉ）同図の（ａ）は、人が、物品を取り出そうとして場所内に手を伸ばしたが、物品をとりだすのをやめて、手を引っ込めた場合（このような行動の場合ＲＣ＝１とする）における、携帯端末３による場所ＩＣタグおよび物品ＩＣタグ情報の読み取り状態を示している。
この場合、携帯端末３で場所ＩＣタグおよび物品ＩＣタグの情報が読めない状態から、場所内に手を伸ばすことにより場所ＩＣタグの情報が読み取り可能になる。次に、手を引っ込めることにより、場所ＩＣタグの情報が読み取りができなくなり、この状態のとき、物品ＩＣタグの情報は読み取れない。
これは、例えば、図１（ｂ）において、人が手を出して棚Ｃにある商品Ａを取ろうとしたが、やめて手を引っ込めた場合であり、まず、棚Ｂの棚ＩＣタグ２ａの情報が読み取り可能になり、次に棚ＩＣタグ２ａの情報が読み取りできなり、このとき商品ＩＣタグ１の情報は読めない状態となる。
同様に、図１（ｂ）において、人が買物籠４内に手を入れて、物品を取り出そうとしたが、やめた場合にも、携帯端末３の読み取り情報は同様な状態となる。
したがって、携帯端末３によるＩＣタグ情報の読み取り情報が上記のように変化する場合、そのときの行動はＲＣ＝１と判定することができる。
(I) (a) of the figure shows a case where a person has reached a place where he / she is going to take out an article, but has stopped taking out the article and withdrawn his / her hand (RC = 1 for such an action) The reading status of the place IC tag and article IC tag information by the
In this case, the information on the place IC tag can be read by reaching into the place from the state where the
This is the case, for example, in FIG. 1 (b), where a person tries to pick up the product A on the shelf C, but withdraws his hand and first, information on the
Similarly, in FIG. 1B, a person puts his hand in the
Therefore, when the reading information of the IC tag information by the
（ｉｉ）同図の（ｂ）は、場所から物品Ａを取り出し、手に持っている場合（このような行動の場合ＲＣ＝２にとする）における、携帯端末３による場所ＩＣタグおよび物品ＩＣタグ情報の読み取り状態を示している。
この場合、携帯端末３で場所ＩＣタグおよび物品ＩＣタグの情報が読めない状態から、場所内に手を入れることにより場所ＩＣタグの情報が読み取り可能になる。次に、手を引っ込めることにより、場所ＩＣタグの情報が読み取りができなり、この状態のとき、物品Ａの物品ＩＣタグの情報を読み取ることができる。
これは、例えば、図１（ｂ）において、人が手を出して棚Ｃにある商品Ａを取り、手を引っ込めた場合であり、まず、棚Ｃの棚ＩＣタグ２ａの情報が読み取り可能になり、次に棚ＩＣタグ２ａの情報が読み取りできなり、このとき商品Ａの商品ＩＣタグ１の情報を読める状態となる。
同様に、図１（ｂ）において、人が買物籠４内に手を入れて、物品を取り出した場合にも、携帯端末３の読み取り情報は同様な状態となる。したがって、携帯端末３によるＩＣタグ情報の読み取り情報が上記のように変化する場合、そのときの行動はＲＣ＝２と判定することができる。
(Ii) (b) of the figure shows the place IC tag and the article IC by the
In this case, the information on the place IC tag can be read by putting the hand into the place from the state where the
This is the case, for example, in FIG. 1 (b) where a person puts out his hand and picks up the product A on the shelf C and retracts his hand. First, the information on the
Similarly, in FIG. 1B, when a person puts his hand into the
（ｉｉｉ）同図の（ｃ）は、商品Ａを場所に置こうとしたが、やめて手に持っている場合（このような行動の場合ＲＣ＝３とする）における、携帯端末３による場所ＩＣタグおよび物品ＩＣタグ情報の読み取り状態を示している。
この場合、携帯端末３で場所ＩＣタグが読めず、物品Ａの物品ＩＣタグの情報が読める状態から、場所内に手を入れることにより、場所ＩＣタグの情報が読み取り可能になる。次に、手を引っ込めることにより、場所ＩＣタグの情報が読み取りができなり、この状態のとき、物品Ａの物品ＩＣタグの情報を読み取ることができる。
これは、例えば、図１（ｂ）において、商品Ａを持っている人が、手を出して棚Ｃにある他の商品を取ろうとしたが、やめて手を引っ込めた場合であり、まず、商品ＡのＩＣタグ１の情報が読み取り可能な状態で、棚Ｃの棚ＩＣタグ２ａの情報が読み取り可能になり、次に棚ＩＣタグ２ａの情報が読み取りできなり、このとき商品Ａの商品ＩＣタグ１の情報を読める状態となる。
したがって、携帯端末３によるＩＣタグ情報の読み取り情報が上記のように変化する場合、そのときの行動はＲＣ＝３と判定することができる。
(Iii) (c) of the figure shows the location IC by the
In this case, the place IC tag can be read by placing the hand in the place from the state where the
This is the case, for example, in FIG. 1 (b), where the person holding the product A tries to pick up another product on the shelf C, but stops and withdraws his hand. In a state where the information of
Therefore, when the reading information of the IC tag information by the
（ｉｖ）同図の（ｄ）は、商品Ａを場所に置いて、代わりに商品Ｂを取り出した場合（このような行動の場合ＲＣ＝４とする）における、携帯端末３による場所ＩＣタグおよび物品ＩＣタグ情報の読み取り状態を示している。
この場合、携帯端末３で場所ＩＣタグが読めず、物品Ａの物品ＩＣタグの情報が読める状態から、場所内に手を入れることにより、場所ＩＣタグの情報が読み取り可能になる。次に手を引っ込めることにより、場所ＩＣタグの情報が読み取りができなり、この状態のとき、物品Ｂの物品ＩＣタグの情報を読み取ることができる。
これは、例えば、図１（ｂ）において、商品Ａを持っている人が、手を出して棚Ｃに商品Ａを置いて、代わりに他の商品Ｂを取り、手を引っ込めた場合であり、まず、商品ＡのＩＣタグ１の情報が読み取り可能な状態で、棚Ｃの棚ＩＣタグ２ａの情報が読み取り可能になり、次に棚ＩＣタグ２ａの情報が読み取りできなり、このとき商品Ｂの商品ＩＣタグ１の情報を読める状態となる。
したがって、携帯端末３によるＩＣタグ情報の読み取り情報が上記のように変化する場合、そのときの行動はＲＣ＝４と判定することができる。
(Iv) (d) of the figure shows a place IC tag by the
In this case, the place IC tag can be read by placing the hand in the place from the state where the
For example, in FIG. 1B, the person who has the product A put out his hand and put the product A on the shelf C, took another product B instead, and retracted his hand. First, in a state where the information of the
Therefore, when the reading information of the IC tag information by the
（ｖ）同図の（ｅ）は、商品Ａを場所に置いた場合（このような行動の場合ＲＣ＝５とする）における、携帯端末３による場所ＩＣタグおよび物品ＩＣタグ情報の読み取り状態を示している。
この場合、携帯端末３で場所ＩＣタグが読めず、物品Ａの物品ＩＣタグの情報が読める状態から、場所内に手を入れることにより、場所ＩＣタグの情報が読み取り可能になる。次に、手を引っ込めることにより、場所ＩＣタグの情報が読み取りができなり、この状態のとき、物品Ａの物品ＩＣタグの情報を読み取ることがでない。
これは、例えば、図１（ｂ）において、商品Ａを持っている人が、手を出して棚Ｃに商品Ａを置いて手を引っ込めた場合であり、まず、商品ＡのＩＣタグ１の情報が読み取り可能な状態で、棚Ｃの棚ＩＣタグ２ａの情報が読み取り可能になり、次に棚ＩＣタグ２ａの情報が読み取りできなり、このとき、商品ＩＣタグ１の情報を読めない状態となる。
したがって、携帯端末３によるＩＣタグ情報の読み取り情報が上記のように変化する場合、そのときの行動はＲＣ＝５と判定することができる。
(V) (e) of the figure shows the reading state of the place IC tag and the article IC tag information by the
In this case, the place IC tag can be read by placing the hand in the place from the state where the
For example, in FIG. 1B, the person holding the product A puts out his hand and places the product A on the shelf C and retracts his hand. First, the
Therefore, when the reading information of the IC tag information by the
図４は、上記手法により人の行動を認識する本発明の実施例の行動認識手段の機能構成を示す図である。
図４において、１は前記商品などの物品に取り付けられた物品ＩＣタグであり、物品ＩＣタグ１には、例えば物品を特定する情報（商品の場合、例えば商品名等）が記憶されている。
２は前記棚、買物籠などの場所に取り付けられた場所ＩＣタグであり、場所ＩＣタグには、例えば前記棚、買物籠のように、そのＩＣタグが取り付けられた場所を特定する情報等が記憶されている。
３ａはＩＣタグ読取手段（ＩＣタグリーダ）であり、ＩＣタグ読取手段３ａは例えば前記したようの、行動を認識する対象となる人の手首などに取り付けられ、物品に取り付けられた物品ＩＣタグ１から所定距離以内に近づいたとき該物品ＩＣタグ１から物品情報を読み取る。また、場所ＩＣタグ２から所定距離以内に近づいたとき、該場所ＩＣタグ２から場所情報を読み取る。
FIG. 4 is a diagram showing a functional configuration of the action recognition means of the embodiment of the present invention for recognizing a person's action by the above method.
In FIG. 4,
Reference numeral 3a denotes an IC tag reading means (IC tag reader). The IC tag reading means 3a is attached to the wrist of a person who recognizes the action, for example, as described above, and from the
行動認識手段３ｂは、第１、第２の判定手段１１，１２と、行動判定手段１４〜１８から構成される。
第１の判定手段１１は、上記ＩＣタグ情報読み取り手段３ａから、物品情報、場所情報を受け取り、場所情報が読み取りできないとき、物品情報を読み取れるかを判定する。
第２の判定手段１２は、第１の判定手段１１で場所情報の読み取りできない状態になったとき、上記ＩＣタグ情報読み取り手段３ａから、物品情報、場所情報を受け取って、場所情報が読み取り可能になった後、場所情報が読み取りできなくなったとき、物品情報が読み取れるかを判定する。
ここで、Ｓ１−１，Ｓ１−２，Ｓ２は、上記第１、第２の判定手段１１，１２における物品情報の判定結果を示し、Ｓ１−１は上記第１の判定手段１１、第２の判定手段１２における判定結果が、物品Ａの物品情報を読み取り可の状態を示し、Ｓ１−２は物品Ｂの読み取り可の状態を示し、Ｓ２は物品読み取り不可の状態を示す。
The action recognition means 3b includes first and second determination means 11 and 12 and action determination means 14-18.
The first determination means 11 receives the article information and the location information from the IC tag information reading means 3a, and determines whether the article information can be read when the location information cannot be read.
When the
Here, S1-1, S1-2, and S2 indicate the determination results of the article information in the first and second determination means 11 and 12, and S1-1 indicates the first determination means 11 and the second determination information. The determination result in the
１３〜１７は行動判定手段を示し、行動判定手段１３は、第１の判定手段１１の判定結果がＳ２（物品読み取り不可）で、かつ、第２の判定手段１２の判定結果がＳ２（物品読み取り不可）のとき、ＩＣタグ読取手段３ａを付けた人が、物品を取り出そうとして場所内に手を伸ばしたが、物品をとりだすのをやめて、手を引っ込めた（ＲＣ＝１）と判定する。
行動判定手段１４は、第１の判定手段１１の判定結果がＳ２（物品読み取り不可）で、かつ、第２の判定手段１２の判定結果がＳ１−１（物品Ａの物品情報を読み取り可）のとき、ＩＣタグ読取手段を付けた人が、物品を取り出そうとして、読み取られた場所ＩＣタグで特定される棚などの場所内に手を伸ばし、物品Ａを取り出し手に持っている（ＲＣ＝２）と判定する。
行動判定手段１５は、第１の判定手段１１の判定結果がＳ−１（物品Ａの物品情報を読み取り可）で、かつ、第２の判定手段１２の判定結果がＳ１−１のとき、ＩＣタグ読取手段を付けた人が、物品Ａを、読み取られた場所ＩＣタグで特定される棚などの場所に置こうとしたが、やめて手に持っている（ＲＣ＝３）と判定する。
The
The behavior determination means 15 is IC when the determination result of the first determination means 11 is S-1 (the article information of the article A can be read) and the determination result of the second determination means 12 is S1-1. The person who attached the tag reading means tried to put the article A on a place such as a shelf specified by the read place IC tag, but decided to hold it and hold it in his hand (RC = 3).
行動判定手段１６は、第１の判定手段１１の判定結果がＳ−１（物品Ａの物品情報を読み取り可）で、かつ、第２の判定手段１２の判定結果がＳ１−２（物品Ｂの物品情報を読み取り可）のとき、ＩＣタグ読取手段を付けた人が、物品Ａを、読み取られた場所ＩＣタグで特定される場所に置いて、代わりに物品Ｂを取り出した（ＲＣ＝４）と判定する。
行動判定手段１７は、第１の判定手段１１の判定結果がＳ２（物品読み取り不可）で、かつ、第２の判定手段１２の判定結果がＳ１−１（物品Ａの物品情報を読み取り可）のとき、ＩＣタグ読取手段を付けた人が、物品Ａを、読み取られた場所ＩＣタグで特定される棚などの場所に置いた（ＲＣ＝５）と判定する。
上記行動判定手段１３〜１７で認識された人の行動は、行動認識過程で取得した物品情報、場所情報、ＩＣタグ情報を読み取った時刻を示す時刻情報とともに、前記認識情報伝達手段３ｃにより、管理装置などへ送信される。
The action determination means 16 has a determination result of the first determination means 11 of S-1 (reading of the article information of the article A) and a determination result of the second determination means 12 of S1-2 (of the article B). When the article information can be read), the person who attached the IC tag reading means places the article A at the place specified by the read place IC tag, and takes out the article B instead (RC = 4). Is determined.
The
The human behavior recognized by the behavior determination means 13 to 17 is managed by the recognition information transmission means 3c together with the time information indicating the time of reading the article information, the location information, and the IC tag information acquired in the behavior recognition process. It is sent to the device.
図５、図６は上記行動認識処理のフローチャートである。なお、図５では、行動認識処理の過程で取得した場所情報、物品情報、時刻情報、行動認識結果、ＩＣタグ情報読み取り手段（または該読取手段を付けた人）のＩＤ情報等を管理装置に送信する処理を含めて示している。
図５において、ＩＣタグリーダでＩＣタグ情報が読み取れるかを判定する（ステップＳ１，Ｓ２）。
場所ＩＣタグが読めなくなると、ＩＣタグリーダで、物品情報が読み取れるかを判定する（ステップＳ３，Ｓ４）。物品ＩＣタグから物品情報が読み取れない場合は、ステップＳ５に行き、場所入出検出処理を行う。
場所入出検出処理は、前記図４の行動認識装置において、第２の判定手段１２により行われる「場所情報が読み取り可能になった後、場所情報が読み取りできなくなった」ことを検出する処理であり、前記図１において、携帯端末を付けた手が場所内に入った後、その場所から出たことを検出する。
場所入出検出処理の処理フローを図６に示す。同図に示すように、場所ＩＣタグをＩＣタグリーダで読み取れるかを判定し、場所ＩＣタグが読み取れるようになったら（ステップＴ１，Ｔ２）、場所ＩＣタグが読み取れなくなるまで待ち、場所ＩＣタグが読み取れなくなったら処理を終了する（ステップＴ２，Ｔ３）。
5 and 6 are flowcharts of the action recognition process. In FIG. 5, the location information, the article information, the time information, the action recognition result, the ID information of the IC tag information reading means (or the person who attached the reading means) acquired in the course of the action recognition process, etc. are stored in the management apparatus. The process to send is shown.
In FIG. 5, it is determined whether the IC tag information can be read by the IC tag reader (steps S1 and S2).
When the place IC tag cannot be read, it is determined whether the article information can be read by the IC tag reader (steps S3 and S4). If the article information cannot be read from the article IC tag, the process goes to step S5 to perform a place entry / exit detection process.
The place entry / exit detection process is a process for detecting that “the place information cannot be read after the place information becomes readable”, which is performed by the
The processing flow of the place entry / exit detection process is shown in FIG. As shown in the figure, it is determined whether or not the location IC tag can be read by the IC tag reader, and when the location IC tag can be read (steps T1 and T2), wait until the location IC tag cannot be read, and the location IC tag can be read. If no more, the process ends (steps T2 and T3).
図５に戻り、上記場所入出検出処理が終わると、ＩＣタグリーダで物品ＩＣタグの情報が読めるかを判定する（ステップＳ７）。そして、物品ＩＣタグの情報が読めない場合には、物品を取り出そうとして場所内に手を伸ばしたが、物品をとりだすのをやめて、手を引っ込めたと判定し、ＲＣ＝１に設定し、この行動認識結果を管理装置に送信する伝達情報とする（ステップＳ１０）。
また、物品ＩＣタグの情報が読める場合には、読み取った物品情報Ａを管理装置に送信する伝達情報とする（ステップＳ８）。また、物品Ａを取り出し手に持っている（ＲＣ＝２）と判定し、この判定結果を管理装置へ送信する伝達情報とする（ステップＳ９）。
また、ステップＳ４で、物品ＩＣタグから物品情報が読み取れる場合には、ステップＳ１１に行き、読み取った物品情報Ａを管理装置へ送信する伝達情報とし、図６で説明した場所入出検出処理を行う（ステップ１２）。
Returning to FIG. 5, when the place entry / exit detection process is completed, it is determined whether the information of the article IC tag can be read by the IC tag reader (step S7). If the information of the product IC tag cannot be read, the hand has been reached in order to take out the product, but it is determined that the product has been withdrawn and the hand has been withdrawn, and RC = 1 is set. The action recognition result is set as transmission information to be transmitted to the management device (step S10).
If the information of the article IC tag can be read, the read article information A is used as transmission information to be transmitted to the management device (step S8). Further, it is determined that the item A is held by the hand (RC = 2), and the determination result is used as transmission information to be transmitted to the management device (step S9).
If the article information can be read from the article IC tag in step S4, the process goes to step S11, where the read article information A is used as transmission information to be transmitted to the management apparatus, and the place entry / exit detection process described in FIG. Step 12).
場所入出検出処理終了後、物品ＩＣタグ情報が読み取れるかを判定し（ステップ１１４）、読み取れれば、読み取った物品情報Ｂを管理装置に送信する伝達情報とし、場所入出検出処理前に検出した物品情報Ａと、場所入出検出処理前に検出した物品情報Ｂが一致するかを判定する（ステップＳ１５，Ｓ１６）。
Ａ＝Ｂであれば、物品Ａを、読み取られた場所ＩＣタグで特定される棚などの場所に置こうとしたが、やめて手に持っている（ＲＣ＝３）と判定し、この判定結果を管理装置へ送信する伝達情報とする（ステップＳ１７）。
また、Ａ＝Ｂでなければ、物品Ａを置いて、代わりに物品Ｂを取り出した（ＲＣ＝４）と判定し、この判定結果を管理装置へ送信する伝達情報とする（ステップＳ１８）。
また、前記ステップＳ１４で、物品ＩＣタグの情報が読み取れないと判定された場合には、物品Ａを、読み取られた場所ＩＣタグで特定される棚などの場所に置いた（ＲＣ＝５）と判定し、この判定結果を管理装置へ送信する伝達情報とする（ステップＳ１９）。
以上の処理が終わると、場所情報、物品情報、行動認識の判定結果、ＩＣタグ情報を読み取った時刻を示す時刻情報等を管理装置に送信する（ステップＳ２０）。
After the place entry / exit detection process is completed, it is determined whether or not the article IC tag information can be read (step 114). If the article IC tag information can be read, the read article information B is used as transmission information to be transmitted to the management device. It is determined whether the information A matches the article information B detected before the place entry / exit detection process (steps S15 and S16).
If A = B, it is determined that the article A is placed on a place such as a shelf specified by the read place IC tag, but is stopped and held (RC = 3). Is transmitted information to be transmitted to the management apparatus (step S17).
If A = B is not satisfied, it is determined that the article A is placed and the article B is taken out instead (RC = 4), and the determination result is used as transmission information to be transmitted to the management apparatus (step S18).
If it is determined in step S14 that the information on the article IC tag cannot be read, the article A is placed on a place such as a shelf specified by the read place IC tag (RC = 5). The determination result is used as transmission information to be transmitted to the management apparatus (step S19).
When the above processing is completed, location information, article information, determination result of action recognition, time information indicating the time when the IC tag information is read, and the like are transmitted to the management device (step S20).
図７に、管理装置に送信される行動認識処理により得られた認識情報のデータフォーマット例を示す。
上記行動認識処理により取得された場所情報、物品情報、行動認識の判定結果、時刻情報等は、同図に示すフォーマットで管理装置に送信される。
なお、物品ＩＣタグ情報（Ｂ）の領域には、判定結果がＲＣ＝４の場合で、最初にもっていた物品Ａを物品Ｂに置き換えた場合に、物品Ｂの情報が書き込まれる。また、ＩＤ情報は、ＩＣタグリーダを有する携帯端末などを識別するためのＩＤ情報である。
上記送信情報は、管理装置で受信され、管理装置ではこれらの情報に基づき、後述するように例えば商品を購入しようとする客の行動等を分析する。
以上のように、本実施例によれば、人が物品をある場所から他の場所に移動させたという情報だけでなく、ためらった後に物品をある場所から他の場所に移動させたのか、ためらう原因となった他の物品は何なのか、ためらった後に結局物品を移動させなかったのか、あるいは単に物品に触れてみただけなのか等の人の詳細な行動を把握することができる。また、それらの決断にどれくらいの時間を要したのか等の分析も可能である。
このため、人の行動分析や業務分析等に適用することが可能であり、また後述するように商品管理システムに適用することにより、店舗内における客の動向分析等を行うことができる。
FIG. 7 shows a data format example of the recognition information obtained by the action recognition process transmitted to the management apparatus.
The location information, article information, action recognition determination result, time information, etc. acquired by the action recognition process are transmitted to the management apparatus in the format shown in FIG.
In the article IC tag information (B) area, information on the article B is written when the determination result is RC = 4 and the article A that was initially held is replaced with the article B. The ID information is ID information for identifying a portable terminal having an IC tag reader.
The transmission information is received by the management device, and the management device analyzes, for example, the behavior of a customer who wants to purchase a product, as described later, based on the information.
As described above, according to the present embodiment, not only information that a person has moved an article from one place to another place, but also hesitates whether he / she moved the article from one place to another place after hesitation. It is possible to grasp the detailed behavior of a person such as what other articles have caused the problem, whether he / she did not move the article after hesitating, or simply touched the article. It is also possible to analyze how much time it took to make those decisions.
For this reason, it can be applied to human behavior analysis, business analysis, and the like, and by applying to a product management system as will be described later, it is possible to analyze customer trends in the store.
（２）行動認識装置の商品管理システムへの適用例。
本発明の行動認識手法は、物品に対する人の行動を認識し分析する種々の用途に適用することができるが、以下ではその一例として、本発明の行動認識方法を商品管理システムに適用した場合の実施例について説明する。
図８は本発明の実施例の商品管理システムの構成を示す図である。
同図において、２１は顧客の手首などに装着する携帯端末であり、携帯端末２１は、商品ＩＣタグ１、場所ＩＣタグ２の情報を読み取るＩＣタグ読取手段２１ａと、前記行動認識手段２１ｂと、上記行動認識手段で取得した場所情報、商品情報、行動認識結果に、時刻情報、携帯端末２１のＩＤ情報等を合わせた客動向情報を作成するための客動向情報作成手段２１ｃと、これらの情報を管理装置に送信する送信手段２１ｄを備える。
２２は上記携帯端末２１と無線の通信手段を介して接続される管理装置であり、上記携帯端末２１から送られる客動向情報を受信する受信手段２２ａと、受信した客動向情報を累積する客動向情報累積手段２２ｂと、累積された客動向情報を格納する客動向累積情報格納ファイル２２ｃと、客動向累積情報を分析する客動向分析手段２２ｄと、分析結果である客動向情報を格納する客動向分析ファイル２２ｅと、表示手段２２ｆを備える。
(2) Application example of the action recognition device to the product management system.
The action recognition method of the present invention can be applied to various uses for recognizing and analyzing a person's action on an article. In the following, as an example, the action recognition method of the present invention is applied to a product management system. Examples will be described.
FIG. 8 is a diagram showing the configuration of the merchandise management system according to the embodiment of the present invention.
In the figure,
図９は上記商品管理システムにおける処理の流れを示すフローチャートである。
来店した客は、まず前記した携帯端末を手首などに装着し（ステップＳ１）、店内で買物等をする。
店内の棚など、商品を陳列した場所には、前記した場所ＩＣタグが取り付けられ、また、各商品には、前記した商品ＩＣタグが取り付けられている。また、客が使用する買物籠にも前記したように籠ＩＣタグが取り付けられている。
手首に装着された携帯端末２１のＩＣタグ読取手段２１ａは、前記したように上記ＩＣタグ情報を読み取り、行動認識手段２１ｂは、読み取られたＩＣタグ情報に基づき、前記したように、客の買物行動が、前記ＲＣ＝１〜５の内のどの行動であるのか判定する（ステップＳ２，Ｓ３）。
客動向情報作成手段２１ｃは、上記行動認識手段２１ｂによる行動認識結果と、その過程で取得した場所情報、商品情報と、時刻情報、携帯端末のＩＤ情報から、例えば前記図７に示したフォーマットの客動向情報を作成する（ステップＳ４）。この客動向情報は、送信手段２１ｄから管理装置２２に送信される（ステップＳ５）。上記処理を客の買物が終了するまで繰り返す。
一方、管理装置２２側では、各客の手首などに装着した携帯端末から送信される客動向情報を受信し、この客動向情報を携帯端末２１のＩＤ別に分類し、時刻順に並べて累積情報を作成する（ステップＳ６，Ｓ７）。この累積情報は客動向累積情報ファイル２２ｃに格納される。
管理装置２２は、上記客動向累積情報が作成されると客動向を分析する（ステップＳ８）。この分析結果は、客動向分析ファイル２２ｅに格納され、必要に応じて、表示手段２２ｆに分析結果が表示される（ステップＳ９）。
FIG. 9 is a flowchart showing the flow of processing in the product management system.
A customer who visits the store first wears the above-described portable terminal on the wrist or the like (step S1) and makes a purchase or the like in the store.
The place IC tag described above is attached to a place where the product is displayed such as a shelf in the store, and the above-described product IC tag is attached to each product. Also, as described above, a bag IC tag is attached to a shopping bag used by a customer.
The IC tag reading means 21a of the
The customer trend information creation means 21c uses, for example, the format shown in FIG. 7 based on the action recognition result obtained by the action recognition means 21b, the location information, the product information, the time information, and the ID information of the portable terminal acquired in the process. Customer trend information is created (step S4). This customer trend information is transmitted from the transmission means 21d to the management device 22 (step S5). The above processing is repeated until the customer's shopping is completed.
On the other hand, on the
When the customer trend accumulation information is created, the
図１０に上記客動向累積情報、客動向分析情報の一例を示す。同図（ａ）に示すように、客動向累積情報は、端末ＩＤと、時刻情報と、客の行動パターンを示す行動認識結果フラグ（ＲＣ）と、その行動を取った場所情報と、商品ＩＣタグから読み取られた商品Ａの商品名、商品の種類、売価と、商品Ａを商品Ｂに取り替えた場合には、商品Ｂの商品名、商品の種類、売価等から構成される。
管理装置２２は、上記客動向累積情報から客の行動パターンを図１０（ｂ）のように解釈し、各商品について、客が商品を購入した場合には、即購入した商品数、リプレースして（置き換えて）購入した商品数、未購入だが手に取った商品数、未購入だが一度は買物籠に入れた商品数、これらの行動に要した時間、購入率等を求める。
そして、これらの情報を例えば商品別及び時刻別に分類し、図１０（ｃ）に示すような客動向ファイルを作成する。
さらに、上記客動向ファイルに格納された情報に基づき、売れ筋商品リスト、一度も客が触らなかった商品のリスト、客が手に取ったが結局買わなかった商品（売り方に工夫がいる商品）リスト等を作成する。
これらの情報は、表示手段２２ｆにより、例えば図１１に示すように表示される。
なお、客動向分析は上記に限られず、例えば、客の年齢階層、性別などが分かれば、年齢階層別、性別などに分類して客動向リストを作成したり、客の店内での移動ルートを分析するなど、種々の分析手法が考えられる。
以上のように本実施例においては、本発明の行動認識手段を用いて店内における客の行動を把握し、この行動認識結果を用いて客の動向を分析するようにしたので、各商品に対して即購入を決断した商品か、ためらったあげく買う決断した商品か、ためらう原因となった他の商品は何か、ためらったあげく購入しなかった商品か、陳列位置で商品に触れてみただけなのか、また、それらの決断にどれくらいの時間を要したのか等の詳細な分析が可能となり、詳細なマーケット情報の得ることができる。
FIG. 10 shows an example of the customer trend accumulation information and customer trend analysis information. As shown in FIG. 5A, the customer trend cumulative information includes the terminal ID, time information, a behavior recognition result flag (RC) indicating the behavior pattern of the customer, the location information where the behavior was taken, and the product IC. The product name, the product type, and the selling price of the product A read from the tag, and when the product A is replaced with the product B, the product B includes the product name, the product type, the selling price, and the like.
The
Then, these pieces of information are classified by product and time, for example, and a customer trend file as shown in FIG.
In addition, based on the information stored in the customer trend file, a list of popular products, a list of products that the customer has never touched, products that the customer picked up but did not buy after all (products that have ingenuity in how to sell) Create lists, etc.
These pieces of information are displayed by the display means 22f as shown in FIG. 11, for example.
The customer trend analysis is not limited to the above. For example, if the customer's age group and gender are known, a customer trend list can be created by classifying by age group and gender, etc. Various analysis methods such as analysis are conceivable.
As described above, in this embodiment, the behavior recognition means of the present invention is used to grasp the behavior of the customer in the store, and the behavior of the customer is analyzed using this behavior recognition result. I just touched the product at the display position, whether it was a product that I decided to buy immediately, a product that I decided to buy hesitatingly, what other products that caused me to hesitate, what I did not hesitate to buy In addition, it is possible to analyze in detail such as how long it took to make these decisions, and to obtain detailed market information.
図１２、図１３は上記実施例の変形例を示す図であり、図１２は、行動認識手段を管理装置側に設けた場合の構成を示し、図１３は、図１２のように構成した場合の処理を示すフローチャートである。
本実施例では、図１２に示すように携帯端末２１にＩＣタグ読取手段２１ａと、送信手段２２ｄが設けられ、管理装置２２に行動認識手段２２ｇ、客動向情報作成手段２２ｈが設けられており、その他の構成は、前記図８と同様である。
12 and 13 are diagrams showing a modification of the above embodiment. FIG. 12 shows a configuration when the action recognition means is provided on the management device side, and FIG. 13 shows a configuration as shown in FIG. It is a flowchart which shows the process of.
In this embodiment, as shown in FIG. 12, the
図１３のフローチャートにおいて、前記したように来店した客は、携帯端末を手首などに装着し（ステップＳ１）、店内で買物等をする。
手首に装着された携帯端末２１のＩＣタグ読取手段２１ａは、前記したように上記ＩＣタグ情報を読み取る。送信手段２２ｄは、ＩＣタグ読取手段２１ａにより読み取られたＩＣタグ情報と時刻情報、携帯端末のＩＤ情報を管理装置に送信する（ステップＳ３）。この処理は、客の買物が終了するまで繰り返される。
管理装置２２では、上記送信情報を受信すると、行動認識手段２２ｇにより、行動認識処理を行い、読み取られたＩＣタグ情報に基づき、前記したように、客の買物行動を判定する（ステップＳ４，Ｓ５）。
客動向情報作成手段２２ｈは、上記行動認識手段２２ｇによる行動認識結果と、その過程で取得した場所情報、商品情報と、受信した時刻情報、携帯端末のＩＤ情報から、客動向情報を作成する（ステップＳ６）。客動向情報累積手段２２ｂは、この客動向情報を携帯端末２１のＩＤ別に分類し、時刻順に並べて累積情報を作成する（ステップＳ７）。この累積情報は客動向累積情報ファイル２２ｃに格納される。
管理装置２２は、上記客動向累積情報が作成されると客動向を分析する（ステップＳ８）。この分析結果は、客動向分析ファイル２２ｅに格納され、必要に応じて、表示手段２２ｆに分析結果が表示される（ステップＳ９）。
In the flowchart of FIG. 13, a customer who has visited the store as described above wears a portable terminal on his wrist or the like (step S1) and makes a purchase or the like in the store.
The IC tag reading means 21a of the
Upon receiving the transmission information, the
The customer trend
When the customer trend accumulation information is created, the
上記実施例では、本発明の行動認識手段を用いて客の動向を分析する場合について説明したが、本発明の行動認識手段の行動認識結果を用いて、客が購入した商品リストを作成し、この情報をＰＯＳに送信して、精算処理をすることもできる。
図１４は、行動認識手段の行動認識結果を用いて精算処理する場合のシステムの構成例を示す図である。
同図において、２１は顧客の手首などに装着する携帯端末であり、携帯端末２１は、商品ＩＣタグ１、場所ＩＣタグ２の情報を読み取るＩＣタグ読取手段２１ａと、前記行動認識手段２１ｂと、上記行動認識手段で取得した場所情報、商品情報、行動認識結果に基づき、買物籠内に入れた（購入した）商品リストを作成する買物籠管理手段２１ｅと、買物籠に入れた商品リストを格納する購入品リストファイル２１ｆと、買物籠に商品を入れた際、あるいは買物籠から商品を取り出した際に確認音を発生したり確認の表示をする確認手段２１ｇと、購入した商品リストをＰＯＳ２３に送信する送信手段２１ｄを備える。
また、ＰＯＳ２３は、携帯端末２１から送信される購入品リストを受信する手段２３ａと、購入品リストに基づき精算処理を行う精算処理手段２３ｂを備える。
In the above embodiment, the case of analyzing customer trends using the action recognition means of the present invention has been described, but using the action recognition result of the action recognition means of the present invention, a product list purchased by the customer is created, This information can also be sent to the POS for checkout processing.
FIG. 14 is a diagram illustrating a configuration example of a system in the case where the settlement process is performed using the behavior recognition result of the behavior recognition unit.
In the figure,
The
図１５は、本実施例における携帯端末２１における処理を示すフローチャートであり、同図により本実施例について説明する。
来店した客は、まず前記したように携帯端末を手首などに装着し（ステップＳ１）、店内で買物等をする。
店内の棚など、商品を陳列した場所には、前記した場所ＩＣタグが取り付けられ、また、各商品には、前記した商品ＩＣタグが取り付けられている。また、客が使用する買物籠にも前記したように籠ＩＣタグが取り付けられている。
手首に装着された携帯端末２１のＩＣタグ読取手段２１ａは、前記したように上記ＩＣタグ情報を読み取り、行動認識手段２１ｂは、読み取られたＩＣタグ情報に基づき、前記したように、客の買物行動が、前記ＲＣ＝１〜５の内のどの行動であるのか判定する（ステップＳ２）。
FIG. 15 is a flowchart showing processing in the
The customer who visits the store first wears the portable terminal on the wrist or the like as described above (step S1) and makes a purchase or the like in the store.
The place IC tag described above is attached to a place where the product is displayed such as a shelf in the store, and the above-described product IC tag is attached to each product. Also, as described above, a bag IC tag is attached to a shopping bag used by a customer.
The IC tag reading means 21a of the
買物籠管理手段２１ｅは、上記行動認識手段２１ｂで取得した客の行動認識結果と、場所情報、商品情報を取得し（ステップＳ３）、客の行動の場所が買物籠（この例では買物籠がカートであるとして説明する）であるかを判定する（ステップＳ４）。
客の行動の場所がカートの場合には、行動判定フラグＲＣ＝２であるかを判定し（ステップＳ５）、ＲＣ＝２の場合は、客がカートに入っていた商品Ａを取り出したとして、購入品リストファイル２１ｆの購入品リストから商品Ａを削除する（ステップＳ８）。
次に、行動判定フラグＲＣ＝４であるかを判定し（ステップＳ６）、ＲＣ＝４の場合には、手に持っている商品Ａをカート内に置いて、代わりにカート内の商品Ｂを取り出したとして、商品Ａを上記購入リストに追加し、購入リストから商品Ｂを削除する（ステップＳ９）。
さらに、行動判定フラグがＲＣ＝５であるかを判定し（ステップＳ７）、ＲＣ＝５の場合には、手に持っている商品Ａを、カート内に置いたとして、商品Ａを購入リストに追加する（ステップＳ１０）。
また、上記ステップＳ８〜Ｓ１０の処理が終わると、前記確認手段２１ｇから確認音を発生したり、携帯端末に確認の表示をする（ステップＳ１１）。
以上の処理を買物が終了するまで行う（ステップＳ１２）。これにより、購入品リストに、客がカート内に入れた商品が全て登録される。
The shopping basket management means 21e acquires the behavior recognition result of the customer acquired by the behavior recognition means 21b, location information, and product information (step S3), and the location of the customer's behavior is the shopping basket (in this example, the shopping basket is It is determined whether it is a cart (step S4).
When the place of the customer's action is a cart, it is determined whether or not the action determination flag RC = 2 (step S5). If RC = 2, it is assumed that the customer has taken out the product A that has been in the cart. The product A is deleted from the purchased product list in the purchased
Next, it is determined whether the action determination flag RC = 4 (step S6). If RC = 4, the product A held in the hand is placed in the cart, and the product B in the cart is replaced instead. As taken out, the product A is added to the purchase list, and the product B is deleted from the purchase list (step S9).
Further, it is determined whether the action determination flag is RC = 5 (step S7). If RC = 5, it is assumed that the product A held in the hand is placed in the cart, and the product A is added to the purchase list. It adds (step S10).
When the processes in steps S8 to S10 are completed, a confirmation sound is generated from the confirmation means 21g or confirmation is displayed on the portable terminal (step S11).
The above processing is performed until shopping is completed (step S12). Thereby, all the products that the customer has put in the cart are registered in the purchased item list.
図１６に、場所ＩＣタグ、商品ＩＣタグ、行動認識結果情報、購入品リストの一例を示す。
同図（ａ）に示すように、カートに取り付けられた場所ＩＣタグにはカート番号が、また、各商品に取り付けられた商品ＩＣタグには、商品コード、売価、商品の種類に関する情報が書き込まれている。また、行動認識手段２１ｂから買物籠管理手段２１ｅには、図に示すように、行動認識結果情報（ＲＣ）、場所ＩＣタグ情報、商品ＡのＩＣタグ情報、商品ＢのＩＣタグ情報が渡される。
買物籠管理手段２１ｅは、上記場所ＩＣタグ情報により、場所がカートに関する行動認識結果情報を抽出し、カート内に置かれた商品を判定して、図１６（ｂ）に示すように、カートに入れられた商品と、その売価と、種類からなる購入品リストを作成する。
FIG. 16 shows an example of a place IC tag, a product IC tag, action recognition result information, and a purchased product list.
As shown in FIG. 5A, the cart number is written in the place IC tag attached to the cart, and the information about the product code, the selling price, and the type of the product is written in the product IC tag attached to each product. It is. Further, as shown in the figure, action recognition result information (RC), place IC tag information, IC tag information of product A, and IC tag information of product B are passed from the
The shopping basket management means 21e extracts the action recognition result information about the cart based on the location IC tag information, determines the product placed in the cart, and stores it in the cart as shown in FIG. Create a list of purchased items consisting of the products, their selling prices, and types.
図１５に戻り、客は買物が終わると店内の精算場所に行き、精算を行う。客が精算場所に行くと、上記購入品リストがＰＯＳに送信される（ステップＳ１３）。
ＰＯＳ２３側では、上記購入品リストを受信すると（ステップＳ１４）、上記購入品リストに基づき、精算処理を行う（ステップＳ１５）。
なお、上記実施例では、商品ＩＣタグに売価等が登録されている場合について説明したが、ＰＯＳ２３側に商品コードに対応した売価を登録させておき、購入品リストには、商品コードのみを登録するようにしてもよい。
また、上記実施例では、携帯端末側に行動認識手段、買物籠管理手段を設けた場合について説明したが、前記図１２に示したように携帯端末には、ＩＣタグ読取手段のみを設け、ＩＣタグ読取手段で読み取った情報を、管理装置あるいはＰＯＳに送信し、管理装置あるいはＰＯＳ側で、行動認識処理、買い物籠管理処理を行うようにしてもよい。
Returning to FIG. 15, when the customer finishes shopping, he / she goes to the checkout place in the store and performs checkout. When the customer goes to the checkout location, the purchase item list is transmitted to the POS (step S13).
On the
In the above embodiment, the case where the selling price is registered in the product IC tag has been described. However, the selling price corresponding to the product code is registered on the
In the above embodiment, the case where the action recognition means and the shopping basket management means are provided on the portable terminal side has been described. However, as shown in FIG. 12, the portable terminal is provided with only the IC tag reading means, and the IC The information read by the tag reading means may be transmitted to the management device or POS, and the behavior recognition processing and shopping basket management processing may be performed on the management device or POS side.
以上のように本実施例では、本発明の行動認識手段による行動認識結果を用いて、顧客の購入品リストを作成し、精算処理を行っているので精算処理の効率化を図ることができる。特に、前記図８に示したシステムに本実施例の精算システムを適用することにより、格別の装置などを付加することなく、精算処理を行うことが可能となる。
また、買物籠における商品の扱い行動から判断して購入リストを作成しているので、前記特許文献２に記載されるように、出し入れのボタン制御等が不要であり、また、客は出し入れを全く意識しなくて済む。
さらに、商品を買物籠に入れたと判断した時、または取り出したと判断した時に、確認音等を発する確認手段を設けることで、客は、買物籠に入れた商品、買物籠から出した商品が購入品リストに反映されていることを確認することができる。
As described above, in this embodiment, the purchase recognition list of the customer is created using the action recognition result by the action recognition means of the present invention, and the checkout process is performed, so that the checkout process can be made more efficient. In particular, by applying the settlement system of the present embodiment to the system shown in FIG. 8, the settlement process can be performed without adding a special device or the like.
In addition, since the purchase list is created based on the handling behavior of the goods in the shopping basket, as described in
Furthermore, when it is determined that the product has been put into the shopping basket or when it is determined that the product has been taken out, a confirmation means that emits a confirmation sound or the like is provided so that the customer can purchase the product put in the shopping basket or the product taken out of the shopping basket. It can be confirmed that it is reflected in the product list.
１ 物品（商品）ＩＣタグ
２ 場所ＩＣタグ
３ 携帯端末
３ａ ＩＣタグ読取手段
３ｂ 行動認識手段
３ｃ 認識情報伝達手段
４ 買物籠
１１ 第１の判定手段
１２ 第２の判定手段
１３〜１７ 行動判定手段
２１ 携帯端末
２１ａ ＩＣタグ読取手段
２１ｂ 行動認識手段
２１ｃ 客動向情報作成手段
２１ｄ 送信手段
２１ｅ 買物籠管理手段
２１ｆ 購入品リスト
２１ｇ 確認手段
２２ 管理装置
２２ａ 受信手段
２２ｂ 客動向情報累積手段
２２ｃ 客動向累積情報格納ファイル
２２ｄ 客動向分析手段
２２ｅ 客動向分析ファイル
２２ｆ 表示手段
２３ ＰＯＳ
２３ａ 受信手段
２３ｂ 精算処理手段
DESCRIPTION OF
23a receiving means 23b settlement processing means
Claims (7)
人の手又は手首に取り付けられ、上記場所もしくは物品の近傍で、上記場所記憶手段および物品記憶手段に記憶された情報を読み取る場所／物品情報読み取り手段とを備え、
上記場所／物品情報読み取り手段の情報の読み取り範囲は、上記物品に取り付けられた物品記憶手段については、その近傍であり、陳列場所に取り付けられた場所記憶手段については、上記物品記憶手段の読み取り範囲を覆うような範囲であり、
上記場所／物品情報読み取り手段により、読み取られた場所情報、物品情報に基づき、上記人の行動を認識する行動認識方法であって、
上記場所／物品情報読み取り手段により、場所情報を読み取れなくなったとき、物品情報が読み取れるか否かを判断する第１のステップ（イ）と、
場所情報が読み取られ、ついで場所情報を読み取れなくなったとき、再度物品情報が読み取れるか否かを判断する第２のステップ（ロ）と、
上記第１のステップで物品情報が読み取られたか否かの判断結果と、第２のステップで物品情報が読み取られた否か、および上記第２のステップで読み取られた物品情報と第１のステップで読み取られた物品情報が等しいか否かの判断結果により上記人の行動を認識する第３のステップ（ハ）からなり、第３のステップで以下のようにして人の行動を判定する
（ａ）上記第１のステップ（イ）で、物品情報が読み取られない場合、上記第２のステップ（ロ）の判断結果に基づき、以下のように認識する。
・上記第２のステップ（ロ）で物品情報が検出されなかった場合には、上記場所情報で特定される場所から、物品を取り出そうとしたが取り出さなかったと認識し、
・上記第２のステップ（ロ）で物品情報が検出された場合には、上記場所情報で特定される場所から、物品を取り出し保持していると認識し、
（ｂ）上記第１のステップ（イ）で物品情報が読み取られた場合、上記第２のステップ（ロ）の判断結果に基づき、以下のように認識し、
・上記第２のステップ（ロ）で読み取られた物品情報が、上記第１のステップ（イ）で読み取られた物品情報と同じ場合には、物品を上記場所情報で特定される場所に置こうとしたが、やめて保持していると認識し、
・上記第２のステップ（ロ）で読み取られた物品情報が、上記第１のステップ（イ）で読み取られた物品情報と異なる場合には、上記第１のステップ（イ）で読み取った物品情報に対応した物品を上記場所情報で特定される場所に置いて、代わりに上記第２のステップ（ロ）で読み取られた物品情報に対応する物品を保持していると認識し、
・上記第２のステップ（ロ）で物品情報が読み取れない場合には、上記物品情報に対応した物品を上記場所情報で特定される場所に置いたと認識する、
ことを特徴とする人の行動認識方法。 A location storage means attached to the display location of the article and written with location information identifying the location; an article storage means attached to the article and written with article information identifying the article;
A location / article information reading means that is attached to a person 's hand or wrist and reads information stored in the location storage means and the article storage means in the vicinity of the location or the article;
The reading range of the information of the place / article information reading means is in the vicinity of the article storage means attached to the article, and the reading range of the article storage means for the location storage means attached to the display place. Is a range that covers
An action recognition method for recognizing the action of the person based on the place information and article information read by the place / article information reading means,
A first step (a) for determining whether the article information can be read when the place information cannot be read by the place / article information reading means;
A second step (b) for determining whether the article information can be read again when the place information is read and then the place information cannot be read;
The determination result of whether or not the article information is read in the first step, whether or not the article information is read in the second step, the article information read in the second step, and the first step article information read by the Ri whether the determination result by recognizing the behavior of the person third step (c) Tona equal, determines human behavior as follows in the third step ( a) When the article information is not read in the first step (A), recognition is performed as follows based on the determination result in the second step (B).
-If the article information is not detected in the second step (b), it is recognized that the article has been taken out from the place specified by the place information but has not been taken out.
-When the article information is detected in the second step (b), it is recognized that the article is taken out and held from the place specified by the place information,
(B) When the article information is read in the first step (a), based on the determination result in the second step (b), it is recognized as follows:
If the article information read in the second step (b) is the same as the article information read in the first step (b), place the article at the location specified by the location information. However, I realized that I stopped holding it,
If the article information read in the second step (b) is different from the article information read in the first step (b), the article information read in the first step (a) Is placed in a place specified by the location information, and instead recognizes that the product corresponding to the product information read in the second step (b) is held,
-When the article information cannot be read in the second step (b), it is recognized that the article corresponding to the article information is placed at the place specified by the place information.
A human behavior recognition method characterized by this.
上記場所／物品情報読み取り手段は、物品の陳列場所に取り付けられ該場所を特定する場所情報を書き込んだ場所記憶手段、および、物品に取り付けられ該物品を特定する物品情報を書き込んだ物品記憶手段の近傍で、該場所記憶手段および物品記憶手段に記憶された情報を読み取るものであり、上記場所／物品情報読み取り手段の情報の読み取り範囲は、上記物品に取り付けられた物品記憶手段については、その近傍であり、陳列場所に取り付けられた場所記憶手段については、上記物品記憶手段の読み取り範囲を覆うような範囲であり、
上記プログラムは、以下の手順をコンピュータに実行させることにより、人の行動を認識する
（イ）上記場所／物品情報読み取り手段により、場所情報を読み取れなくなったとき、物品情報が読み取れるか否かを判断する第１のステップ、
（ロ）上記場所／物品情報読み取り手段により、場所情報が読み取られ、ついで場所情報を読み取れなくなったとき、再度物品情報が読み取れるか否かを判断する第２のステップ、
（ハ）上記第１のステップで物品情報が読み取られたか否かの判断結果と、第２のステップで物品情報が読み取られた否か、および上記第２のステップで読み取られた物品情報と第１のステップで読み取られた物品情報が等しいか否かの判断結果により上記人の行動を認識する第３のステップからなり、第３のステップで以下のようにして人の行動を判定する
（ａ）上記第１のステップ（イ）で、物品情報が読み取られない場合、上記第２のステップ（ロ）の判断結果に基づき、以下のように認識する。
・上記第２のステップ（ロ）で物品情報が検出されなかった場合には、上記場所情報で特定される場所から、物品を取り出そうとしたが取り出さなかったと認識し、
・上記第２のステップ（ロ）で物品情報が検出された場合には、上記場所情報で特定される場所から、物品を取り出し保持していると認識し、
（ｂ）上記第１のステップ（イ）で物品情報が読み取られた場合、上記第２のステップ（ロ）の判断結果に基づき、以下のように認識し、
・上記第２のステップ（ロ）で読み取られた物品情報が、上記第１のステップ（イ）で読み取られた物品情報と同じ場合には、物品を上記場所情報で特定される場所に置こうとしたが、やめて保持していると認識し、
・上記第２のステップ（ロ）で読み取られた物品情報が、上記第１のステップ（イ）で読み取られた物品情報と異なる場合には、上記第１のステップ（イ）で読み取った物品情報に対応した物品を上記場所情報で特定される場所に置いて、代わりに上記第２のステップ（ロ）で読み取られた物品情報に対応する物品を保持していると認識し、
・上記第２のステップ（ロ）で物品情報が読み取れない場合には、上記物品情報に対応した物品を上記場所情報で特定される場所に置いたと認識する、
ことを特徴とする行動認識プログラム。 An action recognition program for recognizing an action of a person wearing a place / article information reading means on a hand or wrist based on information from the place / article information reading means,
The location / article information reading means includes: location storage means that is attached to an article display location and has written location information that specifies the location; and article storage means that is attached to the article and specifies article information. The information stored in the location storage means and the article storage means is read in the vicinity, and the information reading range of the location / article information reading means is the vicinity of the article storage means attached to the article. The place storage means attached to the display place is a range that covers the reading range of the article storage means,
The program, by executing the following steps in a computer, by the behavior recognizing (i) the location / article information reading means human, when it is no longer read the location information, determines whether or not the article information can be read A first step to
( B ) a second step of determining whether or not the article information can be read again when the place information is read by the place / article information reading means and then the place information cannot be read;
(C) Judgment result of whether the article information is read in the first step, whether the article information is read in the second step, and the article information read in the second step This comprises a third step of recognizing the person's action based on the result of determination as to whether or not the article information read in step 1 is equal. In the third step, the person's action is determined as follows (a ) When the article information is not read in the first step (A), it is recognized as follows based on the determination result in the second step (B).
-If the article information is not detected in the second step (b), it is recognized that the article has been taken out from the place specified by the place information but has not been taken out.
-When the article information is detected in the second step (b), it is recognized that the article is taken out and held from the place specified by the place information,
(B) When the article information is read in the first step (a), based on the determination result in the second step (b), it is recognized as follows:
If the article information read in the second step (b) is the same as the article information read in the first step (b), place the article at the location specified by the location information. However, I realized that I stopped holding it,
If the article information read in the second step (b) is different from the article information read in the first step (b), the article information read in the first step (a) Is placed in a place specified by the location information, and instead recognizes that the product corresponding to the product information read in the second step (b) is held,
-When the article information cannot be read in the second step (b), it is recognized that the article corresponding to the article information is placed at the place specified by the place information.
An action recognition program characterized by that.
人の手又は手首に取り付けられ、物品の陳列場所に取り付けられ該場所を特定する場所情報を書き込んだ場所記憶手段、および、物品に取り付けられ該物品を特定する物品情報を書き込んだ物品記憶手段の近傍で、上記場所記憶手段および物品記憶手段に記憶された情報を読み取る場所／物品情報読み取り手段と、
上記場所／物品情報読み取り手段により、場所情報を読み取れなくなったとき、物品情報が読み取れるか否かを判断する第１の手段と、
場所情報が読み取られ、ついで場所情報を読み取れなくなったとき、再度物品情報が読み取れるか否かを判断する第２の手段と、
上記第１の手段で物品情報が読み取られたか否かの判断結果と、第２の手段で物品情報が読み取られた否か、および上記第２の手段読み取られた物品情報と第１の手段で読み取られた物品情報が等しいか否かの判断結果により上記人の行動を認識する第３の手段を備え、
上記場所／物品情報読み取り手段の情報の読み取り範囲は、上記物品に取り付けられた物品記憶手段については、その近傍であり、陳列場所に取り付けられた場所記憶手段については、上記物品記憶手段の読み取り範囲を覆うような範囲であり、
上記第３の手段は、以下のようにして人の行動を判定する
（ａ）上記第１の手段で、物品情報が読み取られない場合、上記第２の手段の判断結果に基づき、以下のように認識する。
・上記第２の手段で物品情報が検出されなかった場合には、上記場所情報で特定される場所から、物品を取り出そうとしたが取り出さなかったと認識し、
・上記第２の手段で物品情報が検出された場合には、上記場所情報で特定される場所から、物品を取り出し保持していると認識し、
（ｂ）上記第１の手段で物品情報が読み取られた場合、上記第２の手段の判断結果に基づき、以下のように認識し、
・上記第２の手段で読み取られた物品情報が、上記第１の手段で読み取られた物品情報と同じ場合には、物品を上記場所情報で特定される場所に置こうとしたが、やめて保持していると認識し、
・上記第２の手段で読み取られた物品情報が、上記第１の手段で読み取られた物品情報と異なる場合には、上記第１の手段で読み取った物品情報に対応した物品を上記場所情報で特定される場所に置いて、代わりに上記第２の手段で読み取られた物品情報に対応する物品を保持していると認識し、
・上記第２の手段で物品情報が読み取れない場合には、上記物品情報に対応した物品を上記場所情報で特定される場所に置いたと認識する、
ことを特徴とする行動認識装置。 A behavior recognition device for recognizing human behavior,
Location storage means attached to a person 's hand or wrist , attached to a display location of the article, and written with location information specifying the location, and article storage means attached to the article and specifying article information A location / article information reading means for reading information stored in the location storage means and the article storage means in the vicinity;
A first means for determining whether or not the article information can be read when the place information cannot be read by the place / article information reading means;
A second means for determining whether or not the article information can be read again when the place information is read and then the place information cannot be read;
The determination result of whether the article information is read by the first means, whether the article information is read by the second means, and the article information read by the second means and the first means A third means for recognizing the behavior of the person based on a determination result of whether the read article information is equal;
The reading range of the information of the place / article information reading means is in the vicinity of the article storage means attached to the article, and the reading range of the article storage means for the location storage means attached to the display place. Is a range that covers
The third means determines a human action as follows: (a) If the article information is not read by the first means, based on the determination result of the second means, To recognize.
-When the article information is not detected by the second means, it is recognized that the article has been taken out from the place specified by the place information but has not been taken out.
-When the article information is detected by the second means, it is recognized that the article is taken out and held from the place specified by the place information,
(B) When the article information is read by the first means, it is recognized as follows based on the determination result of the second means,
-When the article information read by the second means is the same as the article information read by the first means, the article is tried to be placed at the location specified by the location information, but is kept. Recognizes that
If the article information read by the second means is different from the article information read by the first means, the article corresponding to the article information read by the first means is Recognizing that the article corresponding to the article information read by the second means is held in the specified place,
-When the article information cannot be read by the second means, it is recognized that the article corresponding to the article information has been placed in the place specified by the place information.
An action recognition device characterized by that.
上記携帯端末は、
商品を陳列した陳列場所および買物籠に取り付けられ、該場所を特定する場所情報を書き込んだ場所記憶手段、および、商品に取り付けられ、該商品を特定する商品情報を書き込んだ商品記憶手段の近傍で、上記場所記憶手段および商品記憶手段に記憶された情報を読み取る場所／商品情報読み取り手段を備え、この場所／商品情報読み取り手段の情報の読み取り範囲は、上記商品に取り付けられた商品記憶手段については、その近傍であり、陳列場所に取り付けられた場所記憶手段については、上記商品記憶手段の読み取り範囲を覆うような範囲であり、買い物籠に取り付けられた場所記憶手段については、買い物籠の入り口全体を覆うような範囲であり、
上記携帯棚末は、さらに、上記携帯端末により、場所情報を読み取れなくなったとき、商品情報が読み取れるか否かを判断する第１の手段と、
場所情報が読み取られ、ついで場所情報を読み取れなくなったとき、再度商品情報が読み取れるか否かを判断する第２の手段と、
上記第１の手段で商品情報が読み取られない場合、上記第２の手段で商品情報が検出されたか否かにより、上記客の行動を、上記陳列場所または買物籠から、上記商品情報に対応する商品を取り出そうとしたが取り出さなかった状態、もしくは、上記商品を取り出して、保持している状態であると認識し、
上記第１の手段で商品情報が読み取られた場合、第２の手段で読み取られた商品情報が上記第１の手段で読み取られた商品情報と同じか否かにより、上記客の行動を、商品を上記陳列場所または買物籠に置こうとしたが、やめて保持している状態、もしくは、上記第１の手段で読み取った商品情報に対応した商品を上記陳列場所または買物籠に置いて、代わりに上記第２の手段で読み取られた商品情報に対応する商品を保持している状態であると認識し、
上記第１の手段で商品情報が読み取られた場合、第２の手段で商品情報が読み取れない場合に、上記客の行動を上記商品情報に対応した商品を上記陳列場所または買物籠に置いた状態であると認識する、第３の手段から構成される行動認識手段と、
上記行動認識手段により認識した行動情報を送信する送信手段を備えた
ことを特徴とする携帯端末装置。 A mobile terminal that is worn on the hand or wrist of a customer who visits the store and recognizes the wearer's behavior,
The mobile device
In the vicinity of the display location and shopping basket where the product is displayed, the location storage means for writing the location information specifying the location, and the product storage means attached to the product and writing the product information specifying the product The location storage means and the location / product information reading means for reading the information stored in the product storage means, and the information reading range of the location / product information reading means is the product storage means attached to the product. In the vicinity of the place storage means attached to the display place, it is a range that covers the reading range of the commodity storage means, and for the place storage means attached to the shopping basket, the entire entrance of the shopping basket Is a range that covers
The portable shelf end is further configured to determine whether or not the product information can be read when the location information cannot be read by the portable terminal;
A second means for determining whether the product information can be read again when the location information is read and then the location information cannot be read;
If the product information is not read by the first means, the behavior of the customer is corresponded to the product information from the display place or the shopping basket depending on whether the product information is detected by the second means. Recognizing that the product was taken out but not taken out, or that the product was taken out and held,
When the product information is read by the first means, the behavior of the customer is determined depending on whether the product information read by the second means is the same as the product information read by the first means. Instead of placing the product corresponding to the product information read by the first means in the display place or shopping basket. Recognizing that the product corresponding to the product information read by the second means is held,
When the product information is read by the first means, or when the product information cannot be read by the second means, a state in which a product corresponding to the product information is placed in the display place or the shopping basket when the customer's behavior is not read Action recognition means comprising third means for recognizing
A portable terminal device comprising: transmission means for transmitting action information recognized by the action recognition means.
上記携帯端末は、
特定の場所に取り付けられ、該場所を特定する場所情報を書き込んだ場所記憶手段、および、商品に取り付けられ、該商品を特定する商品情報を書き込んだ商品記憶手段の近傍で、上記場所記憶手段および商品記憶手段に記憶された情報を読み取る、場所／商品情報読み取り手段と、
上記場所／商品情報読み取り手段で読み取った場所情報、商品情報、および該携帯端末を装着した顧客情報を管理装置に送信する送信手段を備え、
上記場所／商品情報読み取り手段の情報の読み取り範囲は、上記商品に取り付けられた商品記憶手段については、その近傍であり、陳列場所に取り付けられた場所記憶手段については、上記商品記憶手段の読み取り範囲を覆うような範囲であり、買い物籠に取り付けられた場所記憶手段については、買い物籠の入り口全体を覆うような範囲であり、
上記管理装置は、上記携帯端末から送信された場所情報、商品情報を受信する手段と、
上記場所／商品情報読み取り手段により、場所情報を読み取れなくなったとき、商品情報が読み取れるか否かを判断する第１の手段と、場所情報が読み取られ、ついで場所情報を読み取れなくなったとき、再度商品情報が読み取れるか否かを判断する第２の手段と、
上記第１の手段で商品情報が読み取られない場合、上記第２の手段で商品情報が検出されたか否かにより、上記客の行動を、上記陳列場所または買物籠から、上記商品情報に対応する商品を取り出そうとしたが取り出さなかった状態、もしくは、上記商品を取り出して、保持している状態であると認識し、
上記第１の手段で商品情報が読み取られた場合、第２の手段で読み取られた商品情報が上記第１の手段で読み取られた商品情報と同じか否かにより、上記客の行動を、商品を上記陳列場所または買物籠に置こうとしたが、やめて保持している状態、もしくは、上記第１の手段で読み取った商品情報に対応した商品を上記陳列場所または買物籠に置いて、代わりに上記第２の手段で読み取られた商品情報に対応する商品を保持している状態であると認識し、
上記第１の手段で商品情報が読み取られた場合、第２の手段で商品情報が読み取れない場合に、上記客の行動を上記商品情報に対応した商品を上記陳列場所または買物籠に置いた状態であると認識する、第３の手段から構成される行動認識手段と、
上記行動認識手段により認識した行動情報とともに、上記場所情報、商品情報、および顧客情報を客動向情報として記憶する手段と、
上記客動向情報を基に、客の動向を分析する客動向分析手段と、分析された客動向分析結果を出力する手段を備えた
ことを特徴とする商品管理システム A product management system comprising a mobile terminal that can be worn on the wrist or hand of a customer who has visited the store, and a management device that can be connected to the mobile terminal via a communication line,
The mobile device
Place storage means attached to a specific location and written with location information specifying the location, and the location storage means attached to the product and written product information specifying the product in the vicinity of the location storage means and A location / product information reading means for reading information stored in the product storage means;
A transmission means for transmitting the location information read by the location / product information reading means, the product information, and customer information wearing the mobile terminal to the management device;
The reading range of the information of the location / product information reading means is in the vicinity of the product storage means attached to the product, and the read range of the product storage means for the location storage means attached to the display place. For the place storage means attached to the shopping basket, it is a range that covers the entire entrance of the shopping basket,
The management device includes means for receiving location information and product information transmitted from the mobile terminal;
When the location information cannot be read by the location / product information reading means, the first means for determining whether or not the product information can be read; and when the location information is read and then the location information cannot be read again, the product A second means for determining whether information can be read;
If the product information is not read by the first means, the behavior of the customer is corresponded to the product information from the display place or the shopping basket depending on whether the product information is detected by the second means. Recognizing that the product was taken out but not taken out, or that the product was taken out and held,
When the product information is read by the first means, the behavior of the customer is determined depending on whether the product information read by the second means is the same as the product information read by the first means. Instead of placing the product corresponding to the product information read by the first means in the display place or shopping basket. Recognizing that the product corresponding to the product information read by the second means is held,
When the product information is read by the first means, or when the product information cannot be read by the second means, a state in which a product corresponding to the product information is placed in the display place or the shopping basket when the customer's behavior is not read Action recognition means comprising third means for recognizing
Along with the behavior information recognized by the behavior recognition means, means for storing the location information, product information, and customer information as customer trend information;
A product management system comprising customer trend analysis means for analyzing customer trends based on the customer trend information and means for outputting the analyzed customer trend analysis results
ことを特徴とする請求項５の商品管理システム。 Based on the customer trend information collected and accumulated during the customer's shopping period, the customer trend analyzing means is for the product obtained at the place where the product is placed and the location of the customer's shopping dragon. 6. The product management system according to claim 5, wherein a time series analysis is performed to analyze a customer's trend pattern and the number of appearances thereof, and a decision time to reach the trend pattern after the product is obtained.
ことを特徴とする請求項５または請求項６の商品管理システム。 Based on the purchase information, the shopping basket management means for extracting the products put in and out of the shopping basket from the behavior of the customer recognized by the behavior recognition means to the portable terminal or the management device, and creating the purchase information of the customer 7. The commodity management system according to claim 5, further comprising a settlement processing means for performing a settlement process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005019884A JP4553742B2 (en) | 2005-01-27 | 2005-01-27 | Action recognition method and apparatus, and product management system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005019884A JP4553742B2 (en) | 2005-01-27 | 2005-01-27 | Action recognition method and apparatus, and product management system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006209421A JP2006209421A (en) | 2006-08-10 |
| JP4553742B2 true JP4553742B2 (en) | 2010-09-29 |
Family
ID=36966223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005019884A Expired - Fee Related JP4553742B2 (en) | 2005-01-27 | 2005-01-27 | Action recognition method and apparatus, and product management system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4553742B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011253344A (en) * | 2010-06-02 | 2011-12-15 | Midee Co Ltd | Purchase behavior analysis device, purchase behavior analysis method and program |
| JP7122689B2 (en) | 2017-10-03 | 2022-08-22 | パナソニックＩｐマネジメント株式会社 | Information presentation system |
| US20210364226A1 (en) * | 2019-05-30 | 2021-11-25 | Lg Electronics Inc. | Artificial intelligent refrigerator and system and method for controlling temperature thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10269287A (en) * | 1997-03-26 | 1998-10-09 | Omron Corp | Commodity managing data collecting system |
| JP2004295240A (en) * | 2003-03-25 | 2004-10-21 | Nippon Telegr & Teleph Corp <Ntt> | Purchase behavior monitoring system, its management device, and program |
-
2005
- 2005-01-27 JP JP2005019884A patent/JP4553742B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10269287A (en) * | 1997-03-26 | 1998-10-09 | Omron Corp | Commodity managing data collecting system |
| JP2004295240A (en) * | 2003-03-25 | 2004-10-21 | Nippon Telegr & Teleph Corp <Ntt> | Purchase behavior monitoring system, its management device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006209421A (en) | 2006-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4881604B2 (en) | Product registration processing system | |
| CN106875592A (en) | A kind of intelligent shop mode and intelligent shop | |
| JP2006331069A (en) | Merchandise sales management system and method | |
| JP2010140287A (en) | Purchase action analysis device, method and computer program | |
| JP2018195229A (en) | Shopping recognition system and shopping recognition method | |
| JP2019139795A (en) | Shopping history management system and shopping history management method | |
| JP2019050058A (en) | Commodity information management device, commodity information management method and program | |
| US8044803B2 (en) | Article sales data processing apparatus | |
| KR20220076266A (en) | Non-face-to-face disposable cup unmanned collection system and method | |
| JP2004348681A (en) | System for analyzing buying behavior of customer | |
| JP7062985B2 (en) | Customer behavior analysis system and customer behavior analysis method | |
| US20110264554A1 (en) | Personal Barcode Scanning Device and Phone Application | |
| JP2006215897A (en) | Merchandise management system | |
| JP3837475B2 (en) | Automated shopping system | |
| JP4553742B2 (en) | Action recognition method and apparatus, and product management system | |
| WO2018216399A1 (en) | Purchase history management system and purchase history management method | |
| JP2007094598A (en) | Promotion support system | |
| JP6528089B2 (en) | Shopping history management system and shopping history management method | |
| JP2006039842A (en) | Commodity information managing system, commodity information management method, trial commodity management device, and program | |
| JP6735888B2 (en) | Product data processing system, product data processing method | |
| JP7134273B2 (en) | Product information linkage system | |
| JP2006126926A (en) | Customer data generation system, program and method | |
| JP4210208B2 (en) | Flow line detecting device, terminal device and flow line grasping system | |
| JP5294332B2 (en) | Customer service system | |
| CN107004389A (en) | Interactive mirror |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100713 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |