JP4447652B1 - Vending machine system - Google Patents

Vending machine system Download PDF

Info

Publication number
JP4447652B1
JP4447652B1 JP2009161018A JP2009161018A JP4447652B1 JP 4447652 B1 JP4447652 B1 JP 4447652B1 JP 2009161018 A JP2009161018 A JP 2009161018A JP 2009161018 A JP2009161018 A JP 2009161018A JP 4447652 B1 JP4447652 B1 JP 4447652B1
Authority
JP
Japan
Prior art keywords
neighbor
vending machine
main body
attribute
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009161018A
Other languages
Japanese (ja)
Other versions
JP2011018125A (en
Inventor
義晴 竹内
Original Assignee
タケショウ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タケショウ株式会社 filed Critical タケショウ株式会社
Priority to JP2009161018A priority Critical patent/JP4447652B1/en
Application granted granted Critical
Publication of JP4447652B1 publication Critical patent/JP4447652B1/en
Publication of JP2011018125A publication Critical patent/JP2011018125A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 自動販売機の利用者に対し、その利用者の属性(性別、年齢層)にピンポイントで対応するコンテンツを表示できる自動販売機システムを提供することである。
【解決手段】 自動販売機101の正面に、液晶ディスプレイ12と近接者の顔画像16を撮影するCCDカメラ14を取り付ける。属性解析手段17が、CCDカメラ14によって撮影された近接者の顔画像16よりその近接者の属性である性別と年齢層を解析すると、コンテンツ配信手段18がその属性データに対応する特定コンテンツを外部コンピュータ15から取得し、液晶ディスプレイ12に表示する。
【選択図】 図3
PROBLEM TO BE SOLVED: To provide a vending machine system capable of displaying contents corresponding to the user's attributes (gender, age group) pinpoint to a user of the vending machine.
A liquid crystal display (12) and a CCD camera (14) for capturing a face image (16) of a nearby person are attached to the front of a vending machine (101). When the attribute analysis unit 17 analyzes the gender and age group, which are attributes of the neighbor, from the face image 16 of the neighbor taken by the CCD camera 14, the content distribution unit 18 externalizes the specific content corresponding to the attribute data. Obtained from the computer 15 and displayed on the liquid crystal display 12.
[Selection] Figure 3

Description

本発明は、自動販売機の本体に設けられたモニタに広告を表示させる電子看板機能(デジタルサイネージ)を有する自動販売機システムに関するものである。   The present invention relates to a vending machine system having an electronic signage function (digital signage) for displaying an advertisement on a monitor provided in a main body of the vending machine.

我が国においては屋外に多数の自動販売機が設置されていて、しかも自動販売機によって販売される商品も飲料、食品、タバコ等の多岐に亘っている。自動販売機にディスプレイと記憶装置を取り付け、記憶装置に格納されている広告コンテンツをディスプレイに表示して(電子看板)、広告主の期待に応えるようにした自動販売機の技術が開示されている(例えば、特許文献1を参照)。   In Japan, many vending machines are installed outdoors, and the products sold by the vending machines range from beverages, foods, tobacco, and the like. A vending machine technology is disclosed in which a display and a storage device are attached to a vending machine, and advertising content stored in the storage device is displayed on the display (electronic signboard) to meet the advertiser's expectations. (For example, see Patent Document 1).

しかし、従来の自動販売機で表示される広告は、自動販売機の利用者の性別や年齢等に関係なくほぼ一定種類のものである。また、記憶装置に格納される広告コンテンツの数は一定であり、その内容を更新するためにはサービスマンがいちいち自動販売機の設置場所まで出張しなければならない。この結果、自動販売機の利用者に対する広告コンテンツの訴求力が低く、広告主の期待に必ずしも応えていないのが現状である。   However, the advertisements displayed on conventional vending machines are of almost the same type regardless of the gender and age of the vending machine user. Further, the number of advertisement contents stored in the storage device is constant, and in order to update the contents, the service person must travel to the place where the vending machine is installed. As a result, the appeal of advertising content to users of vending machines is low, and the current situation is not necessarily meeting the expectations of advertisers.

ここで、広告コンテンツが格納されている記憶装置を、ネットワーク上の外部コンピュータとし、自動販売機に搭載されているネットワーク接続手段により記憶装置にアクセスして広告コンテンツを取得する技術が開示されている(例えば、特許文献2を参照)。この場合、ネットワークを介して広告コンテンツが更新されるため、サービスマンが出張する手間を省くことができる。しかし、自動販売機の利用者の性別や年齢層とは無関係に広告コンテンツを表示しているため、利用者に対する訴求力は低い。   Here, a technology is disclosed in which a storage device in which advertisement content is stored is an external computer on the network, and the storage device is accessed by a network connection unit mounted on the vending machine to acquire the advertisement content. (For example, see Patent Document 2). In this case, since the advertising content is updated via the network, it is possible to save time and effort for the service person on a business trip. However, since the advertising content is displayed regardless of the gender and age group of the vending machine user, the appeal to the user is low.

特開2009−37341号公報JP 2009-37341 A 特開2008−59091号公報JP 2008-59091 A

本発明は、上記した事情に鑑み、自動販売機に接近した者に対し、その近接者の属性(性別、年齢層)にピンポイントで対応するコンテンツをモニタに表示する自動販売機システムを提供することを課題とする。   In view of the circumstances described above, the present invention provides a vending machine system that displays content corresponding to the attributes (gender, age group) of a neighbor on a monitor for a person approaching the vending machine. This is the issue.

上記課題を解決するための本発明は、
販売する商品のサンプルを陳列する商品陳列部、購入する商品を選択するために操作される入力部、商品の代金を決済する代金決済部、選択された商品を取り出す商品取出部が前面に設けられた本体と、
前記本体に設置されて通信ネットワークと接続され、かつ該本体から電波の届く範囲内にいる近接者が有する情報機器を無線により前記通信ネットワーク接続可能にする無線LAN基地と、
その本体において前記商品陳列部に近接して設けられ、所定の文字や画像を表示するとともに、前記無線LAN基地を介して前記通信ネットワークに接続されたモニタと、
前記本体の前面に前記モニタに近接して設けられ、その前面に立った近接者の少なくとも顔部分を撮影可能に組み込まれたカメラと、
前記本体に取り付けられ、該本体から設定距離以内に前記近接者が接近したことを検出して前記カメラを作動させる人間感知センサと、
前記カメラが撮影した画像から近接者の性別・年齢等の属性を解析する属性解析手段と、
前記人間感知センサが近接者を検出しない状態では、前記通信ネットワークに接続されたウェブサーバに格納されているコンテンツの中から選択された、前記属性とは無関係な待機コンテンツを、また前記人間感知センサが近接者を検出して前記カメラが該近接者の少なくとも顔部分を撮影し前記属性解析手段が近接者の属性を解析した状態では、前記ウェブサーバに格納されているコンテンツの中から選択された該属性に対応する特定コンテンツを、それぞれ前記通信ネットワークを通じ前記無線LAN基地を介して前記モニタに表示させるコンテンツ配信手段と、
を含むことを特徴としている。
The present invention for solving the above problems is as follows.
A product display unit that displays samples of products to be sold, an input unit that is operated to select the products to be purchased, a price settlement unit that settles the price of the products, and a product take-out unit that takes out the selected products are provided on the front The main body,
A wireless LAN base which can be connected which is connected with the installed in the communication network to the main body, and the information device Neighbor has you are within reach of radio waves from the body to the communication network by radio,
A monitor that is provided in the main body in the vicinity of the product display unit, displays predetermined characters and images, and is connected to the communication network via the wireless LAN base ;
A camera that is provided in the front of the main body in the vicinity of the monitor, and is incorporated so as to be able to photograph at least a face part of a neighbor standing on the front;
A human sensor that is attached to the main body and detects the proximity of the approaching person within a set distance from the main body to operate the camera;
Attribute analysis means for analyzing attributes such as gender and age of the neighbor from the image taken by the camera;
In a state in which the human sensor does not detect a proximity person, standby content unrelated to the attribute selected from contents stored in a web server connected to the communication network, and the human sensor Is detected from the content stored in the web server in a state in which the camera detects at least the face of the neighbor and the attribute analysis means analyzes the attributes of the neighbor. Content distribution means for displaying specific content corresponding to the attribute on the monitor via the wireless LAN base through the communication network ;
It is characterized by including.

本発明に係る自動販売機システムは、上記したように構成されている。このため、無線LAN基地としての機能の他に、電子看板としての機能が発揮される。即ち、通常時(自動販売機の周囲に人がいないとき)には、外部コンピュータに格納されている多数のコンテンツのうちから所定のコンテンツ(待機中のコンテンツ)が選択されて表示される。外部コンピュータに格納されているコンテンツは、自動販売機の管理者が外部コンピュータにアクセスすることによって更新したり、追加したりすることができるため、管理者が自動販売機の設置場所に出張する必要はなく、容易である。そして、自動販売機の前面に人(近接者)が立ったとき、カメラ(例えば、CCDカメラ)が近接者を撮影し、属性解析手段がその顔画像から当該近接者の属性(性別、年齢層)を解析する。そして、待機コンテンツを、近接者の属性に対応する特定のコンテンツに切り替えて表示する。これにより、その近接者の属性にピンポイントで対応するコンテンツを当該近接者に向けて表示することができるため、コンテンツの訴求力が向上し、電子看板としての機能がより効率的に発揮される。   The vending machine system according to the present invention is configured as described above. For this reason, in addition to the function as a wireless LAN base, the function as an electronic signboard is exhibited. That is, during normal times (when there are no people around the vending machine), a predetermined content (standby content) is selected from a large number of contents stored in the external computer and displayed. Content stored on an external computer can be updated or added by the vending machine administrator accessing the external computer, so the administrator must travel to the vending machine location Not easy. When a person (proximity person) stands in front of the vending machine, the camera (for example, a CCD camera) photographs the proximity person, and the attribute analysis means extracts the attribute (gender, age group) of the proximity person from the face image. ). Then, the standby content is displayed by switching to the specific content corresponding to the attribute of the neighbor. As a result, content corresponding to the attribute of the neighbor can be displayed to the neighbor so that the appeal of the content is improved and the function as an electronic signboard is more efficiently exhibited. .

現在時刻を計時する計時手段を備え、
前記情報コンテンツ配信手段は、前記近接者の属性データと前記計時手段によって計測された現在時刻との双方に対応する情報を前記モニタに送信し表示させるようにしてもよい。これにより、近接者の属性だけでなく、自動販売機が利用された時間帯に対応するコンテンツが配信されるため、更にコンテンツの訴求力が向上する。
It has timekeeping means to keep the current time,
The information content distribution unit may transmit information corresponding to both the attribute data of the neighbor and the current time measured by the time measuring unit to the monitor for display. As a result, not only the attributes of the neighbors but also the contents corresponding to the time zone in which the vending machine is used are distributed, so that the appeal of the contents is further improved.

前記属性解析手段は、前記カメラによって撮影された近接者の顔部分の画像を、予め記憶された顔テンプレート画像と照合することにより、前記近接者の属性を解析するようにしてもよい。   The attribute analysis unit may analyze the attribute of the neighbor by comparing an image of the face portion of the neighbor taken by the camera with a face template image stored in advance.

また、前記属性解析手段は、認識された顔部分の画像における顔の輪郭線、目、鼻、口、耳等の顔器官の大きさ、顔における皮膚のしわ、しみ又はたるみの有無、同じく皮膚の色、髪の色、長さ又は量のうちの少なくとも1つを検出して近接者の属性を解析するようにしてもよい。   Further, the attribute analysis means includes facial contours in recognized facial image, size of facial organs such as eyes, nose, mouth and ears, presence or absence of skin wrinkles, spots or sagging in the face, The attribute of the neighbor may be analyzed by detecting at least one of the color, the hair color, the length, or the amount.

そして、前記カメラは、前記本体にその前面に立った近接者から認識できない形で組み込まれていることが望ましい。これにより、近接者は、自身が撮影されていることを意識しなくて済む。   The camera is preferably incorporated in the main body in a form that cannot be recognized by a person standing in front of it. As a result, the neighbor does not need to be aware that he / she has been photographed.

前記モニタには、前記本体の前面に近接者がいない状態で待機コンテンツが表示されるとともに、前記本体の前面に近接者が立った状態で前記属性データに対応する特定コンテンツが表示されるようにできる。即ち、近接者がいる状態といない状態で異なるコンテンツを表示するため、各種のコンテンツを表示できる。   The monitor displays standby content with no neighbors in front of the main body, and displays specific content corresponding to the attribute data with a neighbor standing in front of the main body. it can. That is, since different contents are displayed with and without the proximity, various contents can be displayed.

本発明の実施例の自動販売機101の正面図である。It is a front view of the vending machine 101 of the Example of this invention. 同じく側面図である。It is a side view similarly. 自動販売機101のシステム構成を示すブロック図である。1 is a block diagram showing a system configuration of a vending machine 101. FIG. (a)は近接者の顔画像16であり、(b)は顔画像16から抽出された輪郭線画像23である。(A) is the face image 16 of the neighbor, and (b) is the contour image 23 extracted from the face image 16. 自動販売機101の作用を示すフローチャートである。3 is a flowchart showing the operation of the vending machine 101. (a)は第2実施例の自動販売機102のブロック図、(b)はその作用を示すフローチャートである。(A) is a block diagram of the vending machine 102 of 2nd Example, (b) is a flowchart which shows the effect | action.

以下、本発明の実施の形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail.

本発明において、図1は本発明の実施例の自動販売機101の正面図、図2は同じく側面図、図3は自動販売機101のシステム構成を示すブロック図、図4の(a)は近接者の顔画像16であり、(b)は顔画像16から抽出された輪郭線画像23である。   In the present invention, FIG. 1 is a front view of a vending machine 101 according to an embodiment of the present invention, FIG. 2 is a side view of the same, FIG. 3 is a block diagram showing a system configuration of the vending machine 101, and FIG. The face image 16 of the neighbor is shown, and (b) is the contour image 23 extracted from the face image 16.

本実施例の自動販売機システムを構成する自動販売機101(本体)について説明する。図1及び図2に示されるように、自動販売機101は地面や床に設置され、正面(前面)側が開口した箱型で商品(本実施例の場合、飲料)をストックする本体部1と、本体部1の一辺に蝶番連結され、閉状態で本体部1の開口を閉塞する扉部2とを備えている。そして、商品の補充・交換や本体部1のメンテナンスのために扉部2が開閉可能である。扉部2の正面側には、商品陳列部3、硬貨投入口4,紙幣投入口5、返却レバー6、釣銭取出口7、商品取出口8等が備えられている。商品陳列部3は3段となって設けられ、その各段に商品である飲料の容器9がサンプルとして収容されていて、その前面が透明パネル板で覆われている。また、商品陳列部3における各飲料の容器9と対応する位置には、自動販売機101の利用者(自動販売機101の商品を購入しようとする者。近接者)が、購入する商品を決定するための押ボタンスイッチ10が設けられている。   The vending machine 101 (main body) constituting the vending machine system of the present embodiment will be described. As shown in FIG. 1 and FIG. 2, the vending machine 101 is installed on the ground or floor, and is a box-type with an opening on the front (front) side, and a main body 1 that stocks goods (in the case of this embodiment, beverage). The door 2 is hinged to one side of the body 1 and closes the opening of the body 1 in the closed state. And the door part 2 can be opened and closed for replenishment / exchange of goods and maintenance of the main body part 1. On the front side of the door portion 2, a product display portion 3, a coin insertion slot 4, a bill insertion slot 5, a return lever 6, a change outlet 7, a commodity outlet 8 and the like are provided. The merchandise display section 3 is provided in three stages, each of which has a beverage container 9 as a product accommodated as a sample, and its front surface is covered with a transparent panel plate. Further, a user of the vending machine 101 (a person who intends to purchase a product of the vending machine 101. a neighbor) determines a product to be purchased at a position corresponding to each beverage container 9 in the product display unit 3. A push button switch 10 is provided.

本体部1の上面には、例えばインターネット等の通信ネットワークに接続するための電波を発信可能な無線送受信装置11が取り付けられている。この無線送受信装置11には、自動販売機101の所定範囲内でのインターネットへの接続を可能とする無線LAN基地としての機能を有している。このため、自動販売機101を利用する、しないに拘らず自動販売機101に接近する者(以下、「近接者」と記載する。)は、自身の有する情報機器(ノートパソコン、携帯電話機、PDA等)からインターネットにアクセスすることができる。   A wireless transmission / reception device 11 capable of transmitting radio waves for connecting to a communication network such as the Internet is attached to the upper surface of the main body 1. The wireless transmission / reception device 11 has a function as a wireless LAN base that enables connection to the Internet within a predetermined range of the vending machine 101. For this reason, a person who approaches the vending machine 101 regardless of whether or not he / she uses the vending machine 101 (hereinafter referred to as “neighbor”) is an information device (notebook computer, mobile phone, PDA) owned by the person. Etc.) can access the Internet.

本実施例の自動販売機101の場合、最上段の商品陳列部3の左半部に、液晶ディスプレイ12が取り付けられている。また、最下段の商品陳列部3よりも下方で硬貨投入口4の側方に、広告スペース13が設けられている。広告スペース13には、例えば飲料の宣伝ポスターや自動販売機101の宣伝ポスター等の紙媒体が収容される。なお、液晶ディスプレイ12は扉部2に取り付けられているため、商品の収容容量は、液晶ディスプレイ12が取り付けられていない自動販売機101と同一である。   In the case of the vending machine 101 of this embodiment, a liquid crystal display 12 is attached to the left half of the uppermost product display section 3. Further, an advertisement space 13 is provided below the lowermost product display section 3 and on the side of the coin insertion slot 4. The advertising space 13 accommodates paper media such as advertising posters for beverages and advertising posters for the vending machine 101, for example. In addition, since the liquid crystal display 12 is attached to the door part 2, the accommodation capacity of goods is the same as the vending machine 101 to which the liquid crystal display 12 is not attached.

自動販売機101の扉部2における幅方向の中央部から少し右寄り(硬貨投入口4に近い側)で、近接者の顔が配置される程度の高さ位置には、CCDカメラ14が取り付けられている。このCCDカメラ14は、近接者の顔部分を撮影するためのものであり、外径が数mm程度で長さが10mm程度の円柱形状である。CCDカメラ14の外径が小さいため、近接者はCCDカメラ14の存在に気付くことなく、自動販売機101に接近したり、利用したりすることができる。なお、CCDカメラ14の視野角θは、想定される近接者の身長に考慮して、顔部分を撮影できるように設定することが望ましい。   A CCD camera 14 is mounted at a height position where the face of the near person is arranged slightly to the right of the door 2 of the vending machine 101 in the width direction (side closer to the coin slot 4). ing. The CCD camera 14 is for photographing a face portion of a close person, and has a cylindrical shape with an outer diameter of about several mm and a length of about 10 mm. Since the outer diameter of the CCD camera 14 is small, a proximity person can approach or use the vending machine 101 without noticing the presence of the CCD camera 14. The viewing angle θ of the CCD camera 14 is preferably set so that the face portion can be photographed in consideration of the assumed height of the neighboring person.

本実施例の自動販売機101の構成について説明する。図3に示されるように、自動販売機101の本体部1は、インターネット上の外部コンピュータ15に無線で接続するための無線送受信装置11と、近接者の顔の部分を撮影可能なCCDカメラ14と、撮影された近接者の顔画像16(図4参照)からその近接者の属性である性別と年齢層とを解析する属性解析手段17と、属性解析手段17によって解析された属性データに対応するコンテンツ(特定コンテンツ)を配信するコンテンツ配信手段18と、配信されたコンテンツを表示する液晶ディスプレイ12と、上記の各装置の作動を制御するコンピータ19とを備えている。   The configuration of the vending machine 101 of this embodiment will be described. As shown in FIG. 3, the main unit 1 of the vending machine 101 includes a wireless transmission / reception device 11 for wirelessly connecting to an external computer 15 on the Internet, and a CCD camera 14 capable of photographing a face portion of a neighbor. Corresponding to the attribute data analyzed by the attribute analysis means 17 and the attribute analysis means 17 for analyzing the gender and the age group, which are the attributes of the neighbor, from the photographed face image 16 of the neighbor (see FIG. 4). Content distribution means 18 that distributes the content to be performed (specific content), a liquid crystal display 12 that displays the distributed content, and a computer 19 that controls the operation of each of the above devices.

外部コンピュータ15は、例えばインターネット上のウェブサーバであり、音声、画像又はそれらの両方を含んで構成される多数のコンテンツを格納している。この外部コンピュータ15には、自動販売機101の無線送受信装置11からのアクセスが可能であるとともに、第三者(例えば、自動販売機101の管理者)が管理用コンピュータ21からアクセスすることも可能である。このため、自動販売機101の管理者は、外部コンピュータ15に格納されている多数のコンテンツを定期的に更新したり、追加・削除したりすることを容易に行うことができる。   The external computer 15 is a web server on the Internet, for example, and stores a large number of contents including voice, images, or both. The external computer 15 can be accessed from the wireless transmission / reception device 11 of the vending machine 101 and can also be accessed from the management computer 21 by a third party (for example, an administrator of the vending machine 101). It is. For this reason, the administrator of the vending machine 101 can easily update a lot of contents stored in the external computer 15 and add / delete them regularly.

液晶ディスプレイ12は、自動販売機101の扉部2に設置される。液晶ディスプレイ12を設置することにより商品サンプルの展示スペースが狭くなってしまうので、液晶ディスプレイ12の大きさは、最大でも20インチ程度とすることが望ましい。   The liquid crystal display 12 is installed on the door 2 of the vending machine 101. Since the display space for product samples is reduced by installing the liquid crystal display 12, the size of the liquid crystal display 12 is preferably about 20 inches at the maximum.

前述したように、CCDカメラ14は、自動販売機101の扉部2のほぼ中央部に取り付けられている。このCCDカメラ14は、常時作動している。そして、自動販売機101に接近した者の顔部分を撮影する。なお、本実施例の自動販売機101ではCCDカメラ14を常時作動させているが、自動販売機101の扉部2に近接センサや人間感知センサ(例えば、人間が放出する赤外線を検出する赤外線センサ)を取り付け、自動販売機101の扉部2から設定距離以内に人が接近したことを検出してからCCDカメラ14を作動させるようにしてもよい。   As described above, the CCD camera 14 is attached to the substantially central portion of the door portion 2 of the vending machine 101. The CCD camera 14 is always operating. Then, the face portion of the person approaching the vending machine 101 is photographed. In the vending machine 101 of this embodiment, the CCD camera 14 is always operated. However, a proximity sensor or a human sensor (for example, an infrared sensor that detects infrared rays emitted by humans) is provided on the door 2 of the vending machine 101. ) And the CCD camera 14 may be operated after detecting that a person has approached the door 2 of the vending machine 101 within a set distance.

属性解析手段17は、CCDカメラ14で撮影された画像から抽出された近接者の顔画像16の中から特徴となる項目を抽出し、近接者の性別と年齢層とを解析するためのものである。図4の(a)に示されるように、撮影された画像の中には、近接者の顔画像16の他に通行人や車両等の背景画像22等が含まれているため、背景画像22を排除する。顔画像16において、特徴となる項目として、顔の輪郭線の形状、目、鼻、口、耳等の顔器官の大きさ、顔における皮膚のしわ、しみ又はたるみの有無、同じく皮膚の色、髪の色、長さ又は量等が挙げられる。図4の(b)に示されるように、CCDカメラ14で撮影された画像から抽出された近接者の顔画像16を、輪郭線のみからなる輪郭線画像23とする。そして、輪郭線画像23における目、鼻、口、耳等の顔器官24の相対的大きさや髪25の長さ又は量から近接者の性別を判別し、輪郭線画像23におけるしわ26やしみ27の数により近接者の年齢層を判別する。撮影された近接者の顔画像16を、予め記憶させた顔テンプレート画像(図示せず)と照合することにより、近接者の性別と年齢層を判別してもよい。   The attribute analysis means 17 extracts characteristic items from the face image 16 of the neighbor extracted from the image photographed by the CCD camera 14, and analyzes the sex and age group of the neighbor. is there. As shown in FIG. 4A, the captured image includes a background image 22 of a passerby, a vehicle, and the like in addition to the face image 16 of the close person, so that the background image 22 To eliminate. In the face image 16, as features, the shape of the face outline, the size of the facial organs such as eyes, nose, mouth, ears, the presence or absence of skin wrinkles, spots or sagging in the face, the skin color, Examples include hair color, length, or amount. As shown in (b) of FIG. 4, the face image 16 of the close person extracted from the image photographed by the CCD camera 14 is set as a contour line image 23 including only a contour line. Then, the gender of the neighbor is determined from the relative size of the facial organs 24 such as eyes, nose, mouth and ears in the contour image 23 and the length or amount of the hair 25, and wrinkles 26 and spots 27 in the contour image 23. The age group of neighbors is determined based on the number of. By comparing the photographed face image 16 of the proximity person with a face template image (not shown) stored in advance, the sex and age group of the proximity person may be determined.

なお、属性解析手段17は必ずしも本体部1に設けられていなくてもよい。例えば、外部コンピュータ15に格納されていて、無線送受信装置11によってアクセスされる形態であってもよい。   Note that the attribute analysis unit 17 is not necessarily provided in the main body 1. For example, it may be stored in the external computer 15 and accessed by the wireless transmission / reception device 11.

無線送受信装置11は、自動販売機101のコンピュータ19をインターネットにアクセスする機能と、近接者の所持する情報機器をインターネットにアクセスする機能とを備えている。このため、本実施例の自動販売機101は無線LANの基地となり、その周囲には自動販売機101の利用者だけでなく、不特定多数の人物が接近する。   The wireless transmission / reception apparatus 11 has a function of accessing the computer 19 of the vending machine 101 to the Internet, and a function of accessing an information device owned by a neighbor to the Internet. For this reason, the vending machine 101 according to the present embodiment serves as a wireless LAN base, and not only the user of the vending machine 101 but also an unspecified number of persons approach the periphery.

コンテンツ配信手段18は、外部コンピュータ15に格納されている各種のコンテンツを配信する機能を有する。通常の状態(自動販売機101の周囲に近接者がいない状態)で、コンテンツ配信手段18は待機コンテンツを配信する。この待機コンテンツは、自動販売機101の近接者の属性と無関係に選択されるものであり、通常の広告コンテンツ、天気予報、ニュース速報、周辺地域情報、行政連絡事項等である。外部コンピュータ15に格納されている各種のコンテンツの中から待機コンテンツが無作為に選択されて、液晶ディスプレイ12に表示される。CCDカメラ14が近接者の顔を撮影し、属性解析手段17が近接者の属性(性別、年齢層)を解析すると、コンテンツ配信手段18は、外部コンピュータ15に格納されている各種のコンテンツの中から近接者の属性に対応するもの(例えば、近接者の興味を引き付けると考えられるもの)を選択し、配信する。これにより、近接者は自分に合ったコンテンツを視認する。換言すれば、近接者にピンポイントで対応するコンテンツが表示される。このコンテンツ配信手段18は、外部コンピュータ15に格納されているコンテンツを配信せず、本体部1の記憶装置(図示せず)に格納されているコンテンツを配信してもよい。   The content distribution unit 18 has a function of distributing various types of content stored in the external computer 15. In a normal state (a state in which there are no neighbors around the vending machine 101), the content distribution unit 18 distributes the standby content. This standby content is selected regardless of the attributes of the neighbors of the vending machine 101, and is normal advertisement content, weather forecast, breaking news, surrounding area information, administrative communication matters, and the like. The standby content is randomly selected from various contents stored in the external computer 15 and displayed on the liquid crystal display 12. When the CCD camera 14 captures the face of the nearby person and the attribute analyzing unit 17 analyzes the attributes (gender, age group) of the nearby person, the content distributing unit 18 includes various contents stored in the external computer 15. The one corresponding to the attribute of the neighbor (for example, one that is considered to attract the neighbor's interest) is selected and distributed. Thereby, the neighbor visually recognizes the content that suits him. In other words, the content corresponding to the pinpoint is displayed to the neighbor. This content distribution means 18 may distribute the content stored in the storage device (not shown) of the main unit 1 without distributing the content stored in the external computer 15.

上記した各装置の作動は、コンピュータ19によって制御される。このコンピュータ19は、各装置の作動を制御するCPUや、CCDカメラ14によって撮影された近接者の顔画像16を一時的に記憶する記憶装置等(いずれも、図示せず)を備えている。なお、近接者の個人情報保護の観点から、CCDカメラ14によって撮影された近接者の顔画像16を属性解析処理の終了後に消去することが望ましい。   The operation of each device described above is controlled by the computer 19. The computer 19 includes a CPU that controls the operation of each device, a storage device that temporarily stores a face image 16 of a neighbor photographed by the CCD camera 14 (none of which is shown). From the viewpoint of protecting personal information of the neighbor, it is desirable to delete the face image 16 of the neighbor taken by the CCD camera 14 after the attribute analysis process is completed.

第1実施例の自動販売機101の作用について、図5のフローチャートを参照しながら説明する。自動販売機101に電源が投入されると、コンピュータ19が起動し、無線送受信装置11、液晶ディスプレイ12、CCDカメラ14等を作動させるとともに、無線送受信装置11により外部コンピュータ15と常時接続する(ステップS10)。自動販売機101の周囲に近接者がいないと判断された場合、コンテンツ配信手段18が外部コンピュータ15から待機コンテンツを取得(ダウンロード)し、液晶ディスプレイ12に表示する(ステップS20)。待機コンテンツは、外部コンピュータ15から無作為に選択して表示したり、自動販売機101の設置場所、時刻に応じて有意に選択して表示したり、同一のコンテンツを反復して表示したりすることができる。   The operation of the vending machine 101 of the first embodiment will be described with reference to the flowchart of FIG. When the power to the vending machine 101 is turned on, the computer 19 is activated to operate the wireless transmission / reception device 11, the liquid crystal display 12, the CCD camera 14, and the like, and is always connected to the external computer 15 by the wireless transmission / reception device 11 (step). S10). When it is determined that there are no neighbors around the vending machine 101, the content distribution unit 18 acquires (downloads) the standby content from the external computer 15 and displays it on the liquid crystal display 12 (step S20). The standby content is selected and displayed at random from the external computer 15, or is selected and displayed significantly according to the installation location and time of the vending machine 101, or the same content is repeatedly displayed. be able to.

自動販売機101に近接者が接近すると(ステップSにおける「Yes」)、CCDカメラ14が近接者の顔の部分を撮影する(ステップS40)。そして、属性解析手段17が、撮影された顔画像16からその属性を解析する(ステップS50)。これにより、近接者の性別と年齢層が判別される。CCDカメラ14が近接者の顔の部分を撮影して属性解析手段17がその属性を解析するまでの時間は、0.3秒程度である。   When the proximity person approaches the vending machine 101 (“Yes” in Step S), the CCD camera 14 captures an image of the face of the proximity person (Step S40). And the attribute analysis means 17 analyzes the attribute from the image | photographed face image 16 (step S50). Thereby, the gender and age group of a neighbor are discriminated. The time from when the CCD camera 14 captures the face portion of the neighbor and the attribute analysis means 17 analyzing the attribute is about 0.3 seconds.

次に、コンテンツ配信手段18が、近接者の属性に対応したコンテンツ(特定コンテンツ)を外部コンピュータ15から選択し、取得する(ステップS60)。そして、コンピュータ19が、液晶ディスプレイ12の表示を、待機コンテンツから特定コンテンツに切り替える(ステップS70)。これにより、近接者の属性にピンポイントで対応するコンテンツを、近接者が視認可能に表示することができ、近接者に対する広告の訴求力が向上する。また、殆どの近接者は、自分のためにコンテンツが切り替えられたことに気付かないため、自動販売機101を利用することに対する抵抗を感じることはない、この結果、商品の売上げが低下するおそれはない。   Next, the content distribution unit 18 selects and acquires content (specific content) corresponding to the attribute of the neighbor from the external computer 15 (step S60). Then, the computer 19 switches the display on the liquid crystal display 12 from the standby content to the specific content (step S70). Thereby, the content corresponding to the attribute of the neighbor can be displayed so that the neighbor can see it, and the appeal of the advertisement to the neighbor is improved. In addition, most of the neighbors do not notice that the content has been switched for themselves, and thus do not feel resistance to using the vending machine 101. As a result, there is a possibility that the sales of the product may decrease. Absent.

特定コンテンツは、例えば設定時間内で複数の特定コンテンツを表示したり、単一の特定コンテンツを所定回数だけ反復して表示したりすることができる。特定コンテンツの表示が終了したら(ステップS80のYes)、コンピュータ19が液晶ディスプレイ12の表示を、待機コンテンツに切り替える(ステップS90)。そして、ステップS20からの工程が繰り返される。   As the specific content, for example, a plurality of specific contents can be displayed within a set time, or a single specific content can be repeatedly displayed a predetermined number of times. When the display of the specific content is completed (Yes in step S80), the computer 19 switches the display on the liquid crystal display 12 to the standby content (step S90). And the process from step S20 is repeated.

図6の(a)に示される第2実施例の自動販売機102のように、上記した第1実施例の自動販売機101に、現在時刻を計時するための計時手段28を搭載し、近接者が自動販売機102に接近した又は自動販売機102を利用した時刻のデータを取得してもよい。このときのフローチャートの変更部分のみを、図6の(b)に示す。属性解析手段17が近接者の属性を解析するとともに(ステップS50)、近接者が商品を購入した(利用した)時刻のデータを取得する(ステップS55)。そして、コンテンツ配信手段18が、近接者の属性と利用時刻との双方に対応するコンテンツ(特定コンテンツ)を選択し(ステップS60)、液晶ディスプレイ12にその特定コンテンツを表示する(ステップS70)。この場合、近接者に更にピンポイントで対応するコンテンツを表示することができ、近接者に対する広告の訴求力が一層向上する。   Like the vending machine 102 of the second embodiment shown in FIG. 6A, the above-described vending machine 101 of the first embodiment is equipped with a time measuring means 28 for measuring the current time. Data on the time when the person approaches the vending machine 102 or uses the vending machine 102 may be acquired. Only the changed part of the flowchart at this time is shown in FIG. The attribute analysis unit 17 analyzes the attributes of the neighbor (step S50), and acquires data on the time when the neighbor purchased (utilized) the product (step S55). Then, the content distribution unit 18 selects content (specific content) corresponding to both the attribute of the neighbor and the use time (step S60), and displays the specific content on the liquid crystal display 12 (step S70). In this case, it is possible to further display the content corresponding to the neighbor in a pinpoint, and the appealing power of the advertisement to the neighbor is further improved.

本発明により、自動販売機を電子看板(デジタルサイネージ)として利用することができる。   According to the present invention, a vending machine can be used as an electronic signboard (digital signage).

101,102 自動販売機
1 本体部(自動販売機)
2 扉部(自動販売機)
3 商品陳列部
4 硬貨投入口(代金決済部)
5 紙幣投入口(代金決済部)
7 釣銭取出口(代金決済部)
8 商品取出口(商品取出部)
10 押ボタンスイッチ(入力部)
11 無線送受信装置
12 液晶ディスプレイ(モニタ)
14 CCDカメラ(カメラ)
16 顔画像(顔部分の画像)
17 属性解析手段
18 コンテンツ配信手段
28 計時手段
101,102 Vending machine 1 Main body (vending machine)
2 Door (vending machine)
3 Product Display Department 4 Coin slot (Price Settlement Department)
5 Banknote slot (Price settlement department)
7 Change Change Exit (Price Settlement Department)
8 Product outlet (product outlet)
10 Pushbutton switch (input section)
11 Wireless transceiver 12 Liquid crystal display (monitor)
14 CCD camera (camera)
16 Face image (face image)
17 Attribute analysis means 18 Content distribution means 28 Timekeeping means

Claims (6)

販売する商品のサンプルを陳列する商品陳列部、購入する商品を選択するために操作される入力部、商品の代金を決済する代金決済部、選択された商品を取り出す商品取出部が前面に設けられた本体と、
前記本体に設置されて通信ネットワークと接続され、かつ該本体から電波の届く範囲内にいる近接者が有する情報機器を無線により前記通信ネットワーク接続可能にする無線LAN基地と、
その本体において前記商品陳列部に近接して設けられ、所定の文字や画像を表示するとともに、前記無線LAN基地を介して前記通信ネットワークに接続されたモニタと、
前記本体の前面に前記モニタに近接して設けられ、その前面に立った近接者の少なくとも顔部分を撮影可能に組み込まれたカメラと、
前記本体に取り付けられ、該本体から設定距離以内に前記近接者が接近したことを検出して前記カメラを作動させる人間感知センサと、
前記カメラが撮影した画像から近接者の性別・年齢等の属性を解析する属性解析手段と、
前記人間感知センサが近接者を検出しない状態では、前記通信ネットワークに接続されたウェブサーバに格納されているコンテンツの中から選択された、前記属性とは無関係な待機コンテンツを、また前記人間感知センサが近接者を検出して前記カメラが該近接者の少なくとも顔部分を撮影し前記属性解析手段が近接者の属性を解析した状態では、前記ウェブサーバに格納されているコンテンツの中から選択された該属性に対応する特定コンテンツを、それぞれ前記通信ネットワークを通じ前記無線LAN基地を介して前記モニタに表示させるコンテンツ配信手段と、
を含むことを特徴とする自動販売機システム。
A product display unit that displays samples of products to be sold, an input unit that is operated to select the products to be purchased, a price settlement unit that settles the price of the products, and a product take-out unit that takes out the selected products are provided on the front The main body,
A wireless LAN base which can be connected which is connected with the installed in the communication network to the main body, and the information device Neighbor has you are within reach of radio waves from the body to the communication network by radio,
A monitor that is provided in the main body in the vicinity of the product display unit, displays predetermined characters and images, and is connected to the communication network via the wireless LAN base ;
A camera that is provided in the front of the main body in the vicinity of the monitor, and is incorporated so as to be able to photograph at least a face part of a neighbor standing on the front;
A human sensor that is attached to the main body and detects the proximity of the approaching person within a set distance from the main body to operate the camera;
Attribute analysis means for analyzing attributes such as gender and age of the neighbor from the image taken by the camera;
In a state in which the human sensor does not detect a proximity person, standby content unrelated to the attribute selected from contents stored in a web server connected to the communication network, and the human sensor Is detected from the content stored in the web server in a state in which the camera detects at least the face of the neighbor and the attribute analysis means analyzes the attributes of the neighbor. Content distribution means for displaying specific content corresponding to the attribute on the monitor via the wireless LAN base through the communication network ;
Vending machine system characterized by including.
現在時刻を計時する計時手段を備え、
前記コンテンツ配信手段は、前記近接者の属性データと前記計時手段によって計測された現在時刻との双方に対応するコンテンツを前記モニタに送信し表示させることを特徴とする請求項1に記載の自動販売機システム。
It has timekeeping means to keep the current time,
The vending machine according to claim 1, wherein the content distribution unit transmits and displays content corresponding to both the attribute data of the neighbor and the current time measured by the time measuring unit to the monitor. Machine system.
前記属性解析手段は、前記カメラによって撮影された近接者の顔部分の画像を、予め記憶された顔テンプレート画像と照合することにより、前記近接者の属性を解析することを特徴とする請求項1又は2に記載の自動販売機システム。   The attribute analysis unit analyzes the attribute of the neighbor by comparing an image of the face portion of the neighbor taken by the camera with a face template image stored in advance. Or the vending machine system of 2. 前記属性解析手段は、認識された顔部分の画像における顔の輪郭線、目、鼻、口、耳等の顔器官の大きさ、顔における皮膚のしわ、しみ又はたるみの有無、同じく皮膚の色、髪の色、長さ又は量のうちの少なくとも1つを検出して近接者の属性を解析することを特徴とする請求項1ないし3のいずれか1項に記載の自動販売機システム。   The attribute analysis means includes a facial contour line in the recognized facial image, the size of facial organs such as eyes, nose, mouth, ears, the presence or absence of skin wrinkles, spots or sagging in the face, and the color of the skin. The vending machine system according to any one of claims 1 to 3, wherein at least one of hair color, length, or amount is detected to analyze an attribute of a neighbor. 前記カメラは、前記本体にその前面に立った近接者から認識できない形で組み込まれていることを特徴とする請求項1ないし4のいずれか1項に記載の自動販売機システム。   The vending machine system according to any one of claims 1 to 4, wherein the camera is incorporated in the main body in a form that cannot be recognized by a person standing in front of the main body. 前記モニタには、前記本体の前面に近接者がいない状態で待機コンテンツが表示されるとともに、前記本体の前面に近接者が立った状態で前記属性データに対応する特定コンテンツが表示されることを特徴とする請求項1ないし5のいずれか1項に記載の自動販売機システム。   The monitor displays standby content in a state where no neighbor is present on the front surface of the main body, and displays specific content corresponding to the attribute data in a state where a proximity person stands on the front surface of the main body. The vending machine system according to any one of claims 1 to 5, characterized in that:
JP2009161018A 2009-07-07 2009-07-07 Vending machine system Expired - Fee Related JP4447652B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009161018A JP4447652B1 (en) 2009-07-07 2009-07-07 Vending machine system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009161018A JP4447652B1 (en) 2009-07-07 2009-07-07 Vending machine system

Publications (2)

Publication Number Publication Date
JP4447652B1 true JP4447652B1 (en) 2010-04-07
JP2011018125A JP2011018125A (en) 2011-01-27

Family

ID=42211616

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009161018A Expired - Fee Related JP4447652B1 (en) 2009-07-07 2009-07-07 Vending machine system

Country Status (1)

Country Link
JP (1) JP4447652B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101489138B1 (en) * 2013-04-10 2015-02-11 주식회사 슈프리마 Apparatus and method for detecting proximity object
EP2636965A3 (en) * 2012-03-05 2018-04-11 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
EP3745340A1 (en) * 2011-05-10 2020-12-02 Anthony, Inc. Refrigerated display case door with transparent lcd panel
IT202000002947A1 (en) * 2020-02-13 2021-08-13 Tgd Spa EQUIPMENT WITH INTELLIGENT DISPLAY FOR THE EXPOSURE AND DISTRIBUTION OF PRODUCTS IN GENERAL, IN PARTICULAR A REFRIGERATOR.
USRE49103E1 (en) 2011-05-10 2022-06-14 Anthony, Inc. Display case door with transparent LCD panel

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205112A (en) * 2011-03-25 2012-10-22 Olympus Imaging Corp Voice and video data notification system and control method therefor
JP2013140542A (en) * 2012-01-06 2013-07-18 Toshiba Tec Corp Information display device, information distribution device and program
JP5005842B1 (en) * 2012-03-29 2012-08-22 タケショウ株式会社 Communication device storage box and communication unit
JP5674708B2 (en) * 2012-05-23 2015-02-25 東芝テック株式会社 Order terminal and computer program
JP6122277B2 (en) * 2012-11-07 2017-04-26 株式会社日立システムズ ATM user assistance device
JP2015230512A (en) * 2014-06-03 2015-12-21 東芝テック株式会社 User interface screen creation support system
BR112016030442A2 (en) * 2014-06-23 2018-07-17 Tapp Tech Llc content distribution platform for beverage dispensing environments
JP2017210253A (en) * 2016-05-25 2017-11-30 パナソニックIpマネジメント株式会社 Beverage dispenser
TWI615813B (en) * 2016-12-12 2018-02-21 尚茂智能科技股份有限公司 Intelligent vending machine
JP7441614B2 (en) * 2019-06-21 2024-03-01 株式会社funbox information processing equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227067A (en) * 2003-01-20 2004-08-12 Fuji Electric Retail Systems Co Ltd Vending machine
JP2006209550A (en) * 2005-01-28 2006-08-10 Brother Ind Ltd Information providing device, information providing system, and vending machine
JP2006301829A (en) * 2005-04-19 2006-11-02 Fujitaka:Kk Vending machine
JP2008059091A (en) * 2006-08-29 2008-03-13 Sanden Corp Vending machine
JP2009140039A (en) * 2007-12-04 2009-06-25 Omron Corp Transaction processor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227067A (en) * 2003-01-20 2004-08-12 Fuji Electric Retail Systems Co Ltd Vending machine
JP2006209550A (en) * 2005-01-28 2006-08-10 Brother Ind Ltd Information providing device, information providing system, and vending machine
JP2006301829A (en) * 2005-04-19 2006-11-02 Fujitaka:Kk Vending machine
JP2008059091A (en) * 2006-08-29 2008-03-13 Sanden Corp Vending machine
JP2009140039A (en) * 2007-12-04 2009-06-25 Omron Corp Transaction processor

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745340A1 (en) * 2011-05-10 2020-12-02 Anthony, Inc. Refrigerated display case door with transparent lcd panel
USRE49103E1 (en) 2011-05-10 2022-06-14 Anthony, Inc. Display case door with transparent LCD panel
EP2636965A3 (en) * 2012-03-05 2018-04-11 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
KR101489138B1 (en) * 2013-04-10 2015-02-11 주식회사 슈프리마 Apparatus and method for detecting proximity object
IT202000002947A1 (en) * 2020-02-13 2021-08-13 Tgd Spa EQUIPMENT WITH INTELLIGENT DISPLAY FOR THE EXPOSURE AND DISTRIBUTION OF PRODUCTS IN GENERAL, IN PARTICULAR A REFRIGERATOR.
EP3866129A1 (en) * 2020-02-13 2021-08-18 TGD S.p.A. Apparatus equipped with an intelligent display unit for the display and distribution of products in general, in particular a refrigerator

Also Published As

Publication number Publication date
JP2011018125A (en) 2011-01-27

Similar Documents

Publication Publication Date Title
JP4447652B1 (en) Vending machine system
CN110033298B (en) Information processing apparatus, control method thereof, system thereof, and storage medium
US7769632B2 (en) System for selectively communicating promotional information to a person
AU2017355762B2 (en) Digital signage control device, digital signage control program, and digital signage system
WO2017193751A1 (en) Electronic commodity information board having advertisement displaying function
US10643270B1 (en) Smart platform counter display system and method
WO2010053195A1 (en) Electronic advertisement apparatus, electronic advertisement method and recording medium
US20100049624A1 (en) Commodity marketing system
KR20150093289A (en) Unmanned store system have function price adjustment and customer reception
US20120130920A1 (en) Commodity processing supporting system and commodity processing supporting method
JP2018005691A (en) Information processing system, information processing device and information processing method
US6879961B1 (en) Apparatus and system for displaying wares and services including a mannequin and interactive display panel
US11756062B2 (en) Consumer feedback device
JP2004157499A (en) Advertisement distribution system
KR200468822Y1 (en) Multi-display sampler able to estimate the effectiveness of advertising
JP2007241786A (en) Customer service support device
EP3550545A1 (en) Digital signage control apparatus and digital signage control program
KR102620586B1 (en) Self-hair styling apparatus for optimal location
JP6321584B2 (en) Information processing apparatus, sales data processing apparatus, and information processing system
KR20050050379A (en) System for providing advertisement
KR100375852B1 (en) Vending machine system using wireless communication network
KR102329446B1 (en) Smart electronic machine system
US20160189254A1 (en) Device with "approval" input
US20060259313A1 (en) Enhanced brochure display stands
CN101539917A (en) Method for providing position and other propaganda information in large building

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4447652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160129

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees