JP7109141B2

JP7109141B2 - SHOPPING SUPPORT SYSTEM AND SHOPPING SUPPORT METHOD

Info

Publication number: JP7109141B2
Application number: JP2018070534A
Authority: JP
Inventors: 大介上田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2018-04-02
Filing date: 2018-04-02
Publication date: 2022-07-29
Anticipated expiration: 2038-04-02
Also published as: JP2019185083A

Description

本開示は、店舗においてカートを利用する利用者に対し、買物等に関する案内を行うための買物支援システム及び買物支援方法に関する。 The present disclosure relates to a shopping support system and a shopping support method for providing guidance regarding shopping, etc., to users who use carts in stores.

従来、ショッピングセンターなどの店舗において、各利用者に対して店舗での買物等に関する案内を行うために、案内情報（例えば、店舗内で買物をする際の経路の情報など）を利用者に提供する機能を有するショッピングカートを備えたシステムが開発されている。 Conventionally, in a store such as a shopping center, guidance information (for example, information on the route when shopping in the store) is provided to each user in order to guide each user about shopping at the store. Systems have been developed with shopping carts that have the ability to

例えば、ユーザの買物経路の誘導に関し、無線ＬＡＮを介して互いに通信可能な複数のカートロボットと、管理サーバと、を備え、管理サーバは、商品棚位置情報、店舗内のカメラからの混雑情報、およびカートロボットの経路情報を格納し、各情報をカートロボットに送信し、カートロボットは、店舗内における自己位置を検知し、商品棚位置情報をもとに目的とする棚位置までの距離を最短とする経路計画を生成し、当該経路にしたがってカートを移動させ、曲がり角を検出したときに、ステアリング操作が自動的に行われるようにしたシステムが知られている（特許文献１参照）。 For example, regarding guidance of a user's shopping route, a plurality of cart robots capable of communicating with each other via a wireless LAN and a management server are provided. and the route information of the cart robot, and send each information to the cart robot. The cart robot detects its own position in the store and calculates the shortest distance to the target shelf position based on the product shelf position information. A system is known in which a route plan is generated, a cart is moved along the route, and a steering operation is automatically performed when a turn is detected (see Patent Document 1).

また例えば、情報提供機能を備えたショッピングカートに関し、複数のセンサ（位置センサ、加速度センサ）と、表示装置と、を備え、顧客が所定の挙動を取ったときにセンサから検出される情報に関するセンサ条件が設定された行動パターン判定ルールを判定し、その判定された行動パターン判定ルールに対応する情報提供サービスの処理内容に従って表示装置を介した情報提供を実行するものが知られている（特許文献２参照）。 Further, for example, regarding a shopping cart with an information providing function, it is equipped with a plurality of sensors (position sensor, acceleration sensor) and a display device, and is a sensor related to information detected from the sensor when a customer takes a predetermined action. There is known a method that determines an action pattern determination rule for which a condition is set, and executes information provision via a display device in accordance with the processing contents of an information provision service corresponding to the determined action pattern determination rule (Patent document 2).

特開２００８－１４５３８３号公報JP 2008-145383 A 特開２００８－０５９３３４号公報JP 2008-059334 A

ところで、上記特許文献１、２に記載のような従来技術では、各利用者に適した案内情報をそれぞれ提供するために、店舗における各カートの位置情報（利用者の位置情報に相当）を取得する必要があり、全てのカートには、自身の位置情報を取得する電子機器（例えば、室内ＧＰＳ受信機、ＲＦＩＤ装置、及びビーコン発信器など）が設けられることになる。 By the way, in the conventional techniques as described in Patent Documents 1 and 2 above, in order to provide guidance information suitable for each user, location information of each cart in the store (corresponding to the location information of the user) is acquired. All carts will be equipped with electronic devices (eg, indoor GPS receivers, RFID devices, beacon transmitters, etc.) to acquire their own location information.

したがって、上記従来技術では、各カートの位置情報を取得するための電子機器の設置コストや、そのメンテナンスコストが嵩み、その結果、システム全体のコストが増大する傾向にある。 Therefore, in the above conventional technology, the installation cost and the maintenance cost of the electronic device for acquiring the position information of each cart increase, and as a result, the cost of the entire system tends to increase.

一方、本願発明者は、鋭意検討した結果、監視等の目的で店舗に配置された既設のカメラによって撮影された映像を利用することにより、各カートに自身の位置情報を取得する電子機器を設置することなく、各カートの位置情報を取得することが可能となることを見出した。 On the other hand, as a result of intensive investigation, the inventor of the present application installed an electronic device that acquires its own position information on each cart by using the image taken by the existing camera installed in the store for the purpose of monitoring etc. It was found that it is possible to acquire the position information of each cart without

本開示は、このような従来技術の課題を鑑みて案出されたものであり、簡易な構成によってカートの位置情報を取得することにより、店舗の利用者に対して買物に役立つ案内をより安価に行うことができる買物支援システム及び買物支援方法を提供することを主目的とする。 The present disclosure has been devised in view of such problems of the conventional technology, and provides information useful for shopping to store users at a lower cost by acquiring cart position information with a simple configuration. The main purpose is to provide a shopping support system and a shopping support method that can be performed in

本開示の買物支援システムは、店舗において情報表示装置を備えたカートを利用する利用者に対して買物支援情報を提供する買物支援システムであって、前記店舗の複数の定位置にそれぞれ配置され、前記店舗内を撮影した映像を生成する複数のカメラと、前記カートの動き情報を取得する情報表示装置に設けられたセンサと、前記カメラおよび前記情報表示装置と通信可能に接続される管理サーバと、を有し、前記管理サーバは、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定するカート特定部と、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行する表示情報制御部と、を備えたことを特徴とする。 A shopping support system of the present disclosure is a shopping support system that provides shopping support information to a user who uses a cart equipped with an information display device in a store, and is arranged at a plurality of fixed positions in the store, a plurality of cameras that generate images of the interior of the store ; a sensor provided in an information display device that acquires movement information of the cart; and a management server that is communicably connected to the cameras and the information display device. , wherein the management server estimates the operation status of the cart from the image acquired from the camera, acquires the movement information and cart identification information from the information display device, and estimates the operation status of the cart. A cart identifying unit that identifies the position of the cart corresponding to the cart identification information by collating the estimation result with the movement information, and displaying the shopping support information on the information display device of the cart whose position is identified. and a display information control unit that executes a process for causing the display information to be displayed.

また、本開示の買物支援方法は、店舗において情報表示装置を備えたカートを利用する利用者に対して、情報処理装置により買物支援情報を提供する買物支援方法であって、前記情報処理装置は、前記店舗の複数の定位置にそれぞれ配置されたカメラから前記店舗内を撮影した映像を取得し、前記情報表示装置に設けられたセンサから前記カートの動き情報を取得し、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定し、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行することを特徴とする。 Further, a shopping support method of the present disclosure is a shopping support method for providing shopping support information by an information processing device to a user who uses a cart equipped with an information display device in a store, wherein the information processing device comprises , acquiring images of the inside of the store from cameras respectively arranged at a plurality of fixed positions in the store, acquiring movement information of the cart from a sensor provided in the information display device, and acquiring from the camera. estimating the movement status of the cart from the image, acquiring the movement information and the cart identification information from the information display device, comparing the estimation result of the movement status of the cart and the movement information, and obtaining the cart identification information; is specified, and the shopping support information is displayed on the information display device of the cart whose position is specified.

本開示によれば、簡易な構成によってカートの位置情報を取得することにより、店舗の利用者に対して買物に役立つ案内をより安価に行うことが可能となる。 According to the present disclosure, by acquiring cart position information with a simple configuration, it is possible to provide shop users with information useful for shopping at a lower cost.

実施形態に係る買物支援システム１の全体構成図Overall configuration diagram of shopping support system 1 according to the embodiment 店舗２におけるカメラ４の設置状況を示す説明図Explanatory drawing showing the installation situation of the camera 4 in the store 2 カート３及びそれを使用する利用者１５の説明図Explanatory diagram of cart 3 and user 15 using it 管理サーバ５及び情報表示装置１１の概略構成を示すブロック図Block diagram showing schematic configuration of management server 5 and information display device 11 管理サーバ５の買物支援処理および情報表示装置１１の表示処理の概略を示す説明図Explanatory diagram showing an outline of the shopping support processing of the management server 5 and the display processing of the information display device 11 管理サーバ５による買物支援処理に関する動作手順を示すフロー図A flowchart showing an operation procedure regarding shopping support processing by the management server 5 図６中のステップＳＴ１０３の処理の一例を示す説明図Explanatory diagram showing an example of the processing of step ST103 in FIG. 図６中のステップＳＴ１０１－ＳＴ１０４に関し、情報表示装置１１に表示される利用者向けの動作指示情報の一例を示す説明図Explanatory diagram showing an example of operation instruction information for the user displayed on the information display device 11 regarding steps ST101 to ST104 in FIG. 図６中のステップＳＴ１０８において情報表示装置１１に表示される買物支援情報の第１の例を示す図A diagram showing a first example of shopping support information displayed on the information display device 11 in step ST108 in FIG. 図６中のステップＳＴ１０８において情報表示装置１１に表示される買物支援情報の第２の例を示す図A diagram showing a second example of shopping support information displayed on the information display device 11 in step ST108 in FIG. 図６中のステップＳＴ１０８において情報表示装置１１に表示される買物支援情報の第３の例を示す図A diagram showing a third example of the shopping support information displayed on the information display device 11 in step ST108 in FIG. 図６中のステップＳＴ１０８において情報表示装置１１に表示される買物支援情報の第４の例を示す図A diagram showing a fourth example of shopping support information displayed on the information display device 11 in step ST108 in FIG. 図６中のステップＳＴ１０８において情報表示装置１１に表示される買物支援情報の第５の例を示す図A diagram showing a fifth example of shopping support information displayed on the information display device 11 in step ST108 in FIG.

前記課題を解決するためになされた第１の発明は、店舗において情報表示装置を備えたカートを利用する利用者に対して買物支援情報を提供する買物支援システムであって、前記店舗の複数の定位置にそれぞれ配置され、前記店舗内を撮影した映像を生成する複数のカメラと、前記カートの動き情報を取得する情報表示装置に設けられたセンサと、前記カメラおよび前記情報表示装置と通信可能に接続される管理サーバと、を有し、前記管理サーバは、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定するカート特定部と、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行する表示情報制御部と、を備えたことを特徴とする。 A first invention made to solve the above-mentioned problems is a shopping support system for providing shopping support information to a user who uses a cart equipped with an information display device in a store, comprising: A plurality of cameras arranged at fixed positions to generate images of the inside of the store, a sensor provided in the information display device for acquiring movement information of the cart, and capable of communicating with the camera and the information display device. and a management server connected to an apparatus, wherein the management server estimates the movement status of the cart from the video image obtained from the camera, and obtains the movement information and the cart identification information from the information display device. a cart identification unit that identifies a position of the cart corresponding to the cart identification information by collating the estimation result of the movement status of the cart with the motion information; and the information display device of the cart whose position is identified. and a display information control unit that executes processing for displaying the shopping support information.

これによると、店舗内を撮影した映像からカートの位置を特定し、カートの情報表示装置へ買物支援情報を提供するため、簡易な構成によってカートの位置情報を取得しつつ、店舗の利用者に対して買物に役立つ案内をより安価に行うことが可能となる。 According to this, in order to specify the position of the cart from the video of the inside of the store and provide shopping support information to the information display device of the cart, the position information of the cart is acquired with a simple configuration, and the information is provided to the user of the store. On the other hand, it becomes possible to provide guidance useful for shopping at a lower cost.

また、第２の発明は、前記映像から前記利用者を検出する人物検出部と、前記位置を特定された前記カートに対し、前記検出された前記利用者を対応付けるカート所有者推定部と、前記検出された前記利用者の属性を判定する属性判定部と、を更に備え、前記表示情報制御部は、前記属性に応じて予め前記カートの情報記憶部に記憶された複数の前記買物支援情報から前記カートに対応づけられた前記利用者に対する前記買物支援情報を決定することを特徴とする。 In a second aspect of the invention, a person detection unit that detects the user from the image, a cart owner estimation unit that associates the detected user with the cart whose position is specified, and an attribute determination unit that determines the detected attribute of the user, wherein the display information control unit selects from the plurality of shopping support information stored in advance in the information storage unit of the cart according to the attribute The shopping support information for the user associated with the cart is determined.

これによると、特定されたカートの所有者（すなわち、カートに対応付けられた利用者）の属性に基づき、当該カートの情報表示装置に表示させる買物支援情報が決定されるため、カートの所有者の買物に役立つ案内をより効果的に実施することが可能となる。 According to this, the shopping support information to be displayed on the cart information display device is determined based on the attribute of the identified cart owner (that is, the user associated with the cart). It becomes possible to more effectively implement guidance useful for shopping.

また、第３の発明は、前記属性には、前記利用者の年齢、前記利用者の性別、及び前記利用者によって構成されるグループの種別のうちの少なくとも１が含まれることを特徴とする。 A third invention is characterized in that the attributes include at least one of the age of the user, the sex of the user, and the type of group constituted by the users.

これによると、特定されたカートの所有者の適切な属性に基づき、カートの所有者の買物に役立つ案内をより確実に決定することが可能となる。 This makes it possible to more reliably determine guidance useful for the cart owner's shopping, based on the appropriate attributes of the identified cart owner.

また、第４の発明は、前記動き情報には、前記カートの移動方向を示す情報が含まれることを特徴とする。 A fourth aspect of the invention is characterized in that the motion information includes information indicating the moving direction of the cart.

これによると、カートに設けられた動きセンサからの動き情報と、店舗内を撮影した映像とに基づき、簡易な情報処理によってカートの位置を特定することが可能となる。 According to this, it is possible to specify the position of the cart by simple information processing based on the motion information from the motion sensor provided on the cart and the image of the inside of the store.

また、第５の発明は、前記表示情報制御部は、前記カート特定部によって前記カートの位置が特定されるまでの間において、前記カートの前記情報表示装置に前記利用者向けの動作指示情報を表示させることを特徴とする。 In a fifth aspect of the invention, the display information control unit displays operation instruction information for the user on the information display device of the cart until the position of the cart is specified by the cart specifying unit. It is characterized by displaying.

これによると、利用者が動作指示情報にしたがって動作（例えば、カートを押して移動）することにより、カートの位置を特定するためのカートの動き情報および店舗内を撮影した映像を、より確実に取得することが可能となる。 According to this, when the user moves according to the operation instruction information (for example, pushes the cart to move), the cart movement information for specifying the cart position and the image taken inside the store can be acquired more reliably. It becomes possible to

また、第６の発明は、前記表示情報制御部は、前記買物支援情報として、前記カート特定部によって特定された前記カートの位置が示された前記店舗内のマップ画像を前記情報表示装置に表示させることを特徴とする。 In a sixth aspect of the invention, the display information control unit displays on the information display device, as the shopping support information, a map image of the inside of the store showing the position of the cart specified by the cart specifying unit. It is characterized by

これによると、カートの所有者は、店舗内のカート周辺のマップ画像に基づき店舗内を円滑に移動することが可能となる。 According to this, the owner of the cart can smoothly move around the store based on the map image around the cart in the store.

また、第７の発明は、前記カート特定部は、前記カートの位置を繰り返し特定し、前記表示情報制御部は、前記カート特定部によって特定された前記カートの位置に基づき、前記マップ画像に表示された前記カートの位置を更新することを特徴とする。 In a seventh aspect of the invention, the cart specifying unit repeatedly specifies the position of the cart, and the display information control unit displays the position of the cart on the map image based on the position of the cart specified by the cart specifying unit. It is characterized by updating the position of the cart that has been set.

これによると、カートの所有者は、適宜更新されるカートの現在位置を確認しながら店舗内のマップ画像に基づき店舗内をより円滑に移動することが可能となる。 According to this, the owner of the cart can smoothly move around the store based on the map image of the store while confirming the current position of the cart which is updated accordingly.

また、第８の発明は、店舗において情報表示装置を備えたカートを利用する利用者に対して、情報処理装置により買物支援情報を提供する買物支援方法であって、前記情報処理装置は、前記店舗の複数の定位置にそれぞれ配置されたカメラから前記店舗内を撮影した映像を取得し、前記情報表示装置に設けられたセンサから前記カートの動き情報を取得し、前記カメラより取得した前記映像から前記カートの動作状況を推定するともに、前記情報表示装置より前記動き情報およびカート識別情報を取得し、前記カートの動作状況の推定結果と前記動き情報とを照合し、前記カート識別情報に対応する前記カートの位置を特定し、前記位置を特定された前記カートの前記情報表示装置に前記買物支援情報を表示させる処理を実行することを特徴とする。
An eighth invention is a shopping support method for providing shopping support information by an information processing device to a user who uses a cart equipped with an information display device in a store, wherein the information processing device comprises the Obtaining images of the inside of the store from cameras respectively arranged at a plurality of fixed positions in the store, acquiring movement information of the cart from a sensor provided in the information display device, and acquiring the images from the cameras. and acquires the movement information and the cart identification information from the information display device, compares the estimation result of the movement state of the cart with the movement information, and corresponds to the cart identification information. It is characterized by executing a process of specifying the position of the cart to be used and displaying the shopping support information on the information display device of the cart whose position is specified.

以下、本開示の実施の形態を、図面を参照しながら説明する。 Embodiments of the present disclosure will be described below with reference to the drawings.

図１は、本実施形態に係る買物支援システム１の全体構成図である。 FIG. 1 is an overall configuration diagram of a shopping support system 1 according to this embodiment.

買物支援システム１は、店舗２内において、カート３を使用する店舗２の利用者（例えば、買い物客）に対し、買物支援を行うためのシステムであり、図１に示すように、店舗２ごとに設けられた複数のカメラ４と、利用者に対する買物支援に必要な処理を実行する管理サーバ５と、を備えている。 The shopping support system 1 is a system for providing shopping support to users (for example, shoppers) of the store 2 who use the cart 3 in the store 2. As shown in FIG. and a management server 5 for executing processing necessary for shopping support for the user.

後に詳述するように、買物支援システム１では、利用者に対する買物支援として、各カート３の所有者（すなわち、各カート３を使用する利用者）に対し、買物支援情報を提供することが可能である。買物支援情報は、店舗２で販売される商品に関する情報、店舗２内で買物をする際の経路及び商品配置の情報などの買物に役立つ情報を含む。 As will be described in detail later, the shopping support system 1 can provide shopping support information to the owner of each cart 3 (that is, the user who uses each cart 3) as shopping support for the user. is. The shopping support information includes information useful for shopping, such as information on products sold at the store 2 and information on routes and product locations for shopping in the store 2 .

本開示では、買物支援システム１を適用する店舗２として、ショッピングセンターを例に説明するが、これに限らず、買物支援システム１はカートを利用可能な任意の店舗（空港、駅、イベント会場などの施設を含む）に適用することが可能である。また、本開示における「買物」は、厳密に商品の購入に限定される必要はなく、店舗２においてカートを使用する利用者が任意のサービスを受ける行為も含み得る。また、本開示における「所有」は、貸し出された物を一時的に持つ場合を含み、「所有者」は、対象物（カート３等）の所有権を有する場合に限らず、単なる使用者であってもよい。 In the present disclosure, a shopping center will be described as an example of the store 2 to which the shopping support system 1 is applied. facilities). In addition, "shopping" in the present disclosure does not need to be strictly limited to the purchase of products, and may include the act of receiving any service by the user using the cart at the store 2. In addition, "possession" in the present disclosure includes the case of temporarily holding a rented item, and "owner" is not limited to the case of having ownership of the target item (cart 3, etc.), but also a mere user. There may be.

カメラ４は、それぞれ公知の撮影機能や通信機能を有するビデオカメラからなり、各店舗内の適所に設置された既設の監視カメラである。カメラ４は、店舗内ネットワーク６、ルータ７、及びインターネット等の通信ネットワーク８を介して管理サーバ５と通信可能に接続されており、撮影した映像（動画像または静止画像）を管理サーバ５に対して所定のタイミングで順次送信することができる。 The camera 4 is a video camera having a well-known photographing function and communication function, and is an existing monitoring camera installed at an appropriate place in each store. The camera 4 is communicably connected to the management server 5 via an in-store network 6, a router 7, and a communication network 8 such as the Internet. can be sequentially transmitted at predetermined timings.

管理サーバ５は、公知のハードウェア構成を有するコンピュータからなり、利用者に対して買物支援情報を提供するための処理（以下、「買物支援処理」という。）を実行するためのプログラムがインストールされている。詳細は後述するが、管理サーバ５は、その買物支援処理において、カート３に設けられた情報表示装置１１（図３参照）に、カート３の所有者に応じて（すなわち、個別に）買物支援情報を表示させることが可能である。なお、買物支援システム１では、通信ネットワーク８を省略し、管理サーバ５（または同様の機能を有する情報処理装置）が、各店舗２の店舗内ネットワーク６に接続された構成も可能である。 The management server 5 consists of a computer having a known hardware configuration, and is installed with a program for executing processing for providing shopping support information to users (hereinafter referred to as "shopping support processing"). ing. Although the details will be described later, in the shopping support processing, the management server 5 displays the information display device 11 (see FIG. 3) provided in the cart 3 according to (that is, individually) the owner of the cart 3. Information can be displayed. It should be noted that the shopping support system 1 may be configured such that the communication network 8 is omitted and the management server 5 (or an information processing device having similar functions) is connected to the in-store network 6 of each store 2 .

図２は、店舗２におけるカメラ４の設置状況を示す説明図であり、図３は、カート３及びそれを使用する利用者１５の説明図である。 FIG. 2 is an explanatory diagram showing the installation situation of the camera 4 in the store 2, and FIG. 3 is an explanatory diagram of the cart 3 and the user 15 using it.

図２に示すように、各カメラ４は、店舗２（ここでは、売り場（商品陳列エリア）、通路、及び駐車場）の適所にそれぞれ配置される。これらのカメラ４により、商品陳列エリアの商品を品定めする利用者１５や、通路を通る利用者１５ならびにそれら利用者１５によって使用されるカート３が撮影される。店舗２を利用者１５が移動すると、カメラ４のいずれか１つあるいは複数で利用者１５及びカート３が撮影され、利用者１５及びカート３が移動するのに応じて、利用者１５及びカート３の撮影が次のカメラ４に引き継がれ、これにより撮影された映像に基づく利用者１５及びカート３の追跡が可能となる。 As shown in FIG. 2, each camera 4 is arranged at an appropriate place in the store 2 (here, sales floor (merchandise display area), aisle, and parking lot). These cameras 4 capture images of users 15 who select products in the product display area, users 15 passing through passages, and carts 3 used by these users 15 . When the user 15 moves through the store 2, the user 15 and the cart 3 are photographed by one or more of the cameras 4, and the user 15 and the cart 3 are photographed as the user 15 and the cart 3 move. is taken over by the next camera 4, which makes it possible to track the user 15 and the cart 3 based on the captured image.

また、図３に示すように、利用者１５が使用するカート３には、管理サーバ５から提供される買物支援情報を表示するための情報表示装置１１が設けられている。情報表示装置１１は、例えば、タブレットＰＣなどの携帯型の情報機器から構成することが可能であり、カート３を押す利用者１５に対向するように配置された表示部３５を備えている。情報表示装置１１は、カート３の適所に固定されるが、カート３に対して着脱自在に設けることも可能である。また、本開示では、利用者１５が使用するカート３は、店舗２から利用者１５に対して一時的に貸し出されるショッピングカートであるが、これに限らず、少なくとも情報表示装置１１を備える限りにおいて、他の形態のカート（ベビーカー、車いすなど）を利用することもできる。 Further, as shown in FIG. 3, the cart 3 used by the user 15 is provided with an information display device 11 for displaying shopping support information provided by the management server 5 . The information display device 11 can be composed of, for example, a portable information device such as a tablet PC, and includes a display section 35 arranged to face the user 15 pushing the cart 3 . The information display device 11 is fixed to an appropriate position on the cart 3, but it can also be provided detachably from the cart 3. FIG. In addition, in the present disclosure, the cart 3 used by the user 15 is a shopping cart that is temporarily rented from the store 2 to the user 15, but is not limited to this, as long as at least the information display device 11 is provided. , other forms of carts (strollers, wheelchairs, etc.) are also available.

図４は、管理サーバ５及び情報表示装置１１の概略構成を示すブロック図である。 FIG. 4 is a block diagram showing a schematic configuration of the management server 5 and the information display device 11. As shown in FIG.

管理サーバ５は、公知のハードウェア構成を有しており、プロセッサ、メモリ、周辺回路等を有する制御部２１と、記憶装置を有する情報記憶部２２と、通信モジュールを有する通信部２３とを備える。 The management server 5 has a known hardware configuration, and includes a control unit 21 having a processor, memory, peripheral circuits, etc., an information storage unit 22 having a storage device, and a communication unit 23 having a communication module. .

制御部２１では、プロセッサが所定のプログラムを実行することにより、利用者１５に対する買物支援処理及びカメラ４との通信等の処理が実現される。 In the control unit 21 , the processor executes a predetermined program, thereby realizing processing such as shopping support processing for the user 15 and communication with the camera 4 .

情報記憶部２２は、カメラ４から受信した映像や、プロセッサによって実行されるプログラムなどを記憶する。 The information storage unit 22 stores images received from the camera 4, programs executed by the processor, and the like.

通信部２３は、カメラ４との間で公知の有線または無線通信方式に基づき通信を行うものであり、カメラ４から送信される映像を順次受信し、また、制御部２１によって生成される各種の買物支援情報や、制御指令をカート３の情報表示装置１１に送信する。 The communication unit 23 communicates with the camera 4 based on a known wired or wireless communication system, sequentially receives images transmitted from the camera 4, and receives various images generated by the control unit 21. It transmits shopping support information and control instructions to the information display device 11 of the cart 3 .

また、情報表示装置１１は、公知のハードウェア構成を有しており、プロセッサ、メモリ、周辺回路等を有する制御部３１と、記憶装置を有する情報記憶部３２と、通信モジュールを有する通信部３３と、入力装置を有する入力部３４と、表示装置を有する表示部３５と、カート３の動きを検出する動きセンサ３６と、を備える。 The information display device 11 has a known hardware configuration, and includes a control unit 31 having a processor, memory, peripheral circuits, etc., an information storage unit 32 having a storage device, and a communication unit 33 having a communication module. , an input unit 34 having an input device, a display unit 35 having a display device, and a motion sensor 36 for detecting motion of the cart 3 .

制御部３１では、プロセッサが所定のプログラムを実行することにより、管理サーバ５との通信や、買物支援情報の表示などの処理が実現される。 In the control unit 31, the processor executes a predetermined program to realize processing such as communication with the management server 5 and display of shopping support information.

情報記憶部３２は、プロセッサによって実行されるプログラムや、管理サーバ５から取得した買物支援情報や制御指令を記憶する。 The information storage unit 32 stores programs executed by the processor, shopping support information and control commands acquired from the management server 5 .

通信部３３は、管理サーバ５との間で公知の有線または無線通信方式に基づき通信を行うものであり、管理サーバ５から送信される買物支援情報を受信する一方、動きセンサ３６で検出されたカート３の動きに関する情報（以下、「動き情報」という。）を管理サーバ５に送信する。 The communication unit 33 communicates with the management server 5 based on a known wired or wireless communication system. Information about the movement of the cart 3 (hereinafter referred to as “movement information”) is transmitted to the management server 5 .

入力部３４は、利用者１５の操作入力に用いられ、表示部３５は、管理サーバ５から受信した買物支援情報を表示する。本開示では、入力部３４および表示部３５は、入力装置と表示装置を組み合わせたタッチパネルディスプレイで構成される。 The input unit 34 is used for operation input by the user 15 , and the display unit 35 displays shopping support information received from the management server 5 . In the present disclosure, the input unit 34 and the display unit 35 are configured by a touch panel display that combines an input device and a display device.

動きセンサ３６は、少なくともカート３の移動方向を検出可能なセンサ（例えば、ジャイロセンサ、加速度センサなど）を含み、必要に応じてカート３の速度を検出することも可能である。 The motion sensor 36 includes at least a sensor capable of detecting the moving direction of the cart 3 (for example, a gyro sensor, an acceleration sensor, etc.), and can also detect the speed of the cart 3 as necessary.

なお、情報表示装置１１には、買物支援システム１においてカート３の位置検出を可能とするセンサや電子機器（例えば、室内ＧＰＳ受信機、ＲＦＩＤ装置、及びビーコン発信器など）は設けられていない。 The information display device 11 is not provided with sensors or electronic devices (for example, an indoor GPS receiver, an RFID device, a beacon transmitter, etc.) that enable position detection of the cart 3 in the shopping support system 1 .

図５は、管理サーバ５の買物支援処理およびそれに応じた情報表示装置１１の表示処理の概略を示す説明図である。ここで、管理サーバ５による買物支援処理は、制御部２１を構成するプロセッサによるプログラムの実行により主として実現され、同様に、情報表示装置１１による表示処理は、制御部３１を構成するプロセッサによるプログラムの実行により主として実現される。 FIG. 5 is an explanatory diagram showing an outline of the shopping support processing of the management server 5 and the corresponding display processing of the information display device 11. As shown in FIG. Here, the shopping support processing by the management server 5 is mainly realized by execution of a program by the processor constituting the control unit 21. Implemented primarily by execution.

管理サーバ５では、公知の物体検出手法により、各カメラ４からの映像に含まれるカート３を検出するカート検出４１の処理が実行される。これと同時に、管理サーバ５では、公知の人物検出手法により、映像に含まれる人物（利用者１５）を検出する人物検出４２の処理が実行される。ここで、管理サーバ５では、検出したカート３及び利用者１５の追跡処理および動線分析処理を適宜実行することにより、カート３の動作状況を推定することが可能である。なお、管理サーバ５は、各カメラ４が人物検出機能を備えている場合には、人物検出４２の処理を省略することもできる。 In the management server 5, a process of cart detection 41 for detecting the cart 3 included in the video from each camera 4 is executed by a known object detection method. At the same time, the management server 5 executes a person detection process 42 for detecting a person (user 15) included in the video by a known person detection method. Here, the management server 5 can estimate the operation status of the cart 3 by appropriately executing tracking processing and flow line analysis processing of the detected cart 3 and user 15 . Note that the management server 5 can omit the processing of the person detection 42 when each camera 4 has a person detection function.

続いて、管理サーバ５では、カート検出４１の位置を特定するカート特定４３の処理が実行される。このとき、各カート３の情報表示装置１１では、動きセンサ３６による動き情報生成５１の処理が実行されており、管理サーバ５は、その動き情報をカート３の識別情報（カートＩＤ）と共に各カート３の情報表示装置１１から順次受信する。そこで、管理サーバ５は、各カート３から取得した動き情報と、映像中のカート３の動線の情報とのマッチングを実行することにより、各カートの位置を特定する（すなわち、映像中のカート３とカートＩＤとを対応づける）ことができる。 Subsequently, in the management server 5, a process of cart identification 43 for identifying the position of the cart detection 41 is executed. At this time, in the information display device 11 of each cart 3, the movement information generation process 51 is executed by the movement sensor 36, and the management server 5 transmits the movement information together with the identification information (cart ID) of the cart 3 to each cart. 3 from the information display device 11 in order. Therefore, the management server 5 identifies the position of each cart by matching the movement information acquired from each cart 3 with the flow line information of the cart 3 in the video (that is, the cart in the video). 3 and the cart ID).

続いて、管理サーバ５では、カート特定４３によって位置が特定されたカートと、人物検出４２によって検出された利用者１５とを対応づけるカート所有者推定４５の処理が実行される。 Subsequently, the management server 5 executes cart owner estimation 45 that associates the cart whose position is identified by the cart identification 43 and the user 15 detected by the person detection 42 .

このカート所有者推定４５の処理では、管理サーバ５は、例えば、カメラ４の映像において、上述の位置が特定されたカート３からの距離が最小となる利用者を当該カート３の所有者であると推定することができる。さらに、管理サーバ５は、人物検出４２において利用者１５の手や腕を検出し、その手や腕とカート３とが接続状態（すなわち、利用者１５の手や腕がカート３のハンドル部等にかけられている状態）にある場合に当該利用者を当該カート３の所有者であると推定してもよい。あるいは、管理サーバ５は、公知の機械学習（ディープラーニングなど）に基づく特徴抽出によってカート所有者推定４５の処理を実行してもよい。 In the process of this cart owner estimation 45, the management server 5 regards, for example, the user whose distance from the cart 3 whose position is specified as described above in the image of the camera 4 is the owner of the cart 3. can be estimated as Furthermore, the management server 5 detects the hands and arms of the user 15 in the person detection 42, and the hands and arms of the user 15 are connected to the cart 3 (that is, the hands and arms of the user 15 are connected to the handle of the cart 3, etc.). ), the user may be presumed to be the owner of the cart 3 . Alternatively, the management server 5 may perform the process of cart owner estimation 45 by feature extraction based on known machine learning (such as deep learning).

続いて、管理サーバ５では、公知の人物検出手法により、カート所有者推定４５によってカート３の所有者であると推定された人物の属性を判定するカート所有者属性判定４６の処理が実行される。ここで、判定される人物の属性には、利用者１５の年齢（大人および子供の区別を含む）、利用者１５の性別、及び利用者１５によって構成されるグループの種別のうちの少なくとも１が含まれる。グループの種別には、例えば、家族（子供を含む）、夫婦（カップル）、及び任意の集団などが含まれる。 Subsequently, in the management server 5, a process of cart owner attribute determination 46 is executed by a known person detection method to determine the attribute of the person estimated to be the owner of the cart 3 by the cart owner estimation 45. . Here, the determined attributes of the person include at least one of the age of the user 15 (including distinction between adult and child), the sex of the user 15, and the type of group constituted by the users 15. included. Group types include, for example, families (including children), husband and wife (couples), and arbitrary groups.

続いて、管理サーバ５では、カート所有者属性判定４６によって判定された人物の属性（すなわち、カート３の利用者１５の属性）に基づき、当該カート３（情報表示装置１１）に買物支援情報を表示させるための表示情報制御４７の処理が実行される。ここで、管理サーバ５は、利用者１５の属性に応じて情報表示装置１１に表示させるべき買物支援情報を決定する。このとき、管理サーバ５は、予め情報記憶部２２に記憶された複数の買物支援情報（または、買物支援情報を構成する情報）を使用し、利用者１５の属性に応じた買物支援情報を生成することができる。 Subsequently, the management server 5 displays the shopping support information on the cart 3 (information display device 11) based on the attribute of the person determined by the cart owner attribute determination 46 (that is, the attribute of the user 15 of the cart 3). Processing of the display information control 47 for displaying is executed. Here, the management server 5 determines shopping support information to be displayed on the information display device 11 according to the attribute of the user 15. FIG. At this time, the management server 5 uses a plurality of pieces of shopping support information (or information constituting the shopping support information) stored in advance in the information storage unit 22 to generate shopping support information according to the attributes of the user 15. can do.

管理サーバ５において生成された買物支援情報は、上述のカートＩＤに基づき、特定のカート３の情報表示装置１１に対して順次送信され、情報表示装置１１では、管理サーバ５から受信した買物支援情報を表示部３５に表示する情報表示５２の処理が実行される。 The shopping support information generated by the management server 5 is sequentially transmitted to the information display device 11 of the specific cart 3 based on the above cart ID, and the information display device 11 displays the shopping support information received from the management server 5. is displayed on the display unit 35. Information display 52 is executed.

このように、買物支援システム１では、店舗２内を撮影した映像からカート３の位置を特定し、当該カート３の情報表示装置１１へ買物支援情報を提供するため、簡易な構成によってカート３の位置情報を取得しつつ、店舗２の利用者１５に対して買物に役立つ案内をより安価に行うことが可能となる。 As described above, the shopping support system 1 identifies the position of the cart 3 from the image captured inside the store 2 and provides the shopping support information to the information display device 11 of the cart 3. While acquiring the position information, it becomes possible to provide guidance useful for shopping to the user 15 of the store 2 at a lower cost.

また、買物支援システム１では、特定されたカート３の所有者（すなわち、カート３に対応付けられた利用者１５）の属性に基づき、当該カート３の情報表示装置１１に表示させる買物支援情報が決定されるため、カート３の所有者の買物に役立つ案内をより効果的に実施することが可能となるという利点もある。 Further, in the shopping support system 1, the shopping support information to be displayed on the information display device 11 of the cart 3 is based on the attribute of the specified owner of the cart 3 (that is, the user 15 associated with the cart 3). Since it is determined, there is also the advantage that it is possible to more effectively implement guidance useful for shopping by the owner of the cart 3 .

なお、買物支援システム１では、買物支援情報の少なくとも一部（例えば、店舗２のマップ画像）を情報表示装置１１の情報記憶部３２に記憶させておくことも可能である。その場合、管理サーバ５は、上述の表示情報制御４７の処理において、情報表示装置１１に対して買物支援情報を送信せずに、その表示にかかる制御指令のみを情報表示装置１１に対して送出する構成も可能である。 In addition, in the shopping support system 1 , at least part of the shopping support information (for example, a map image of the store 2 ) can be stored in the information storage section 32 of the information display device 11 . In this case, the management server 5 does not transmit the shopping support information to the information display device 11 in the processing of the display information control 47 described above, and only transmits to the information display device 11 a control command for displaying the information. A configuration is also possible.

図６は、管理サーバ５による買物支援処理に関する動作手順を示すフロー図であり、図７は、図６中のステップＳＴ１０３の処理の一例を示す説明図であり、図８は、図６中のステップＳＴ１０１－ＳＴ１０４に関し、情報表示装置１１に表示される利用者向けの動作指示情報の一例を示す説明図である。 FIG. 6 is a flow chart showing an operation procedure for shopping assistance processing by the management server 5, FIG. 7 is an explanatory diagram showing an example of the processing of step ST103 in FIG. 6, and FIG. FIG. 4 is an explanatory diagram showing an example of operation instruction information for a user displayed on the information display device 11 regarding steps ST101 to ST104;

買物支援処理が開始されると、管理サーバ５は、図５に示したカート検出４１および人物検出４２の処理によって、カメラ４から取得した映像（フレーム）から当該映像中のカート及び人物を順次検出し、それらカート３及び人物を追跡する（ＳＴ１０１）。これと並行して、管理サーバ５は、カート３からその動き情報をカートＩＤと共に取得する（ＳＴ１０２）。 When the shopping support process is started, the management server 5 sequentially detects the cart and person in the image (frame) acquired from the camera 4 by the cart detection 41 and person detection 42 processes shown in FIG. and track those carts 3 and persons (ST101). In parallel with this, the management server 5 acquires the movement information from the cart 3 together with the cart ID (ST102).

その後、図５に示したカート特定４３の処理によって、管理サーバ５は、カート３の追跡処理等の結果と、カート３の動き情報とのマッチング処理を実行する（ＳＴ１０３）。このように、買物支援システム１では、カート３に設けられた動きセンサ３６からの動き情報と、店舗２内を撮影した映像とに基づき、カート３の位置をより確実に特定することが可能となる。この場合、管理サーバ５は、映像（画像）中におけるカート３の位置を特定するのみならず、映像を撮影したカメラ４の撮影条件等の情報に基づき、店舗２内における実際のカート３の位置を特定することが可能である。 After that, the management server 5 executes the matching process between the result of the tracking process of the cart 3 and the movement information of the cart 3 by the process of specifying the cart 43 shown in FIG. 5 (ST103). Thus, in the shopping support system 1, it is possible to more reliably identify the position of the cart 3 based on the motion information from the motion sensor 36 provided on the cart 3 and the image captured inside the store 2. Become. In this case, the management server 5 not only specifies the position of the cart 3 in the video (image), but also the actual position of the cart 3 in the store 2 based on information such as the shooting conditions of the camera 4 that shot the video. can be specified.

上述のカート３の動き情報には、例えば、カート３の移動方向を示す情報（例えば、東西南北の四方のいずれか）が含まれる。これにより、簡易な情報処理によってマッチング処理（すなわち、カートの位置の特定）が可能となる。ただし、カート３の動き情報には、移動方向に限らず、より複雑な動作状況（例えば、左折、右折、Ｕターンなど）が含まれてもよい。 The movement information of the cart 3 described above includes, for example, information indicating the moving direction of the cart 3 (for example, any of the four directions of north, south, east, and west). This enables matching processing (that is, specifying the position of the cart) by simple information processing. However, the motion information of the cart 3 is not limited to the direction of movement, and may include more complicated motion conditions (for example, left turn, right turn, U-turn, etc.).

続いて、管理サーバ５は、ステップＳＴ１０３のマッチング処理の結果、カート３の位置が特定されたか否かを判定する（ＳＴ１０４）。 Subsequently, the management server 5 determines whether or not the position of the cart 3 has been specified as a result of the matching process in step ST103 (ST104).

ここで、例えば図７に示すように、映像中に４台のカート３Ａ－３Ｄが存在する場合、管理サーバ５は、特定対象となるカート３の動き情報からマッチング処理の対象であるカートが北向きに移動していることを把握すると、当該動き情報と共に取得したカートＩＤと、追跡処理及び動線分析処理の結果から北向きに移動していると判定されたカート３Ａとを対応づけることにより、カート位置が特定されたと判定する（ＳＴ１０４：Ｙｅｓ）。 Here, for example, as shown in FIG. 7, when there are four carts 3A to 3D in the video, the management server 5 determines that the cart to be matched is North from the movement information of the cart 3 to be identified. When it is determined that the cart is moving in the north direction, the cart ID acquired together with the movement information is associated with the cart 3A determined to be moving north from the results of the tracking process and the flow line analysis process. , the cart position is specified (ST104: Yes).

一方、管理サーバ５は、ステップＳＴ１０４において、カート３の動き情報から得られたカート３の移動方向に一致するカート３が映像中に存在しない場合や、映像中に北向きに移動しているカートが複数存在する場合には、カート位置が特定できないと判定し（ＳＴ１０４：Ｎｏ）、最終的に、マッチング処理が正常に終了するまで（或いは、カート３の位置が特定されないまま規定時間が経過するまで）、ステップＳＴ１０１－ＳＴ１０４を繰り返し実行する。 On the other hand, in step ST104, the management server 5 determines if there is no cart 3 in the video that matches the moving direction of the cart 3 obtained from the movement information of the cart 3, or if the cart is moving northward in the video. is present, it is determined that the cart position cannot be specified (ST104: No), and until the matching process ends normally (or a specified time elapses without the position of the cart 3 being specified) until), steps ST101 to ST104 are repeatedly executed.

なお、管理サーバ５は、複数のカメラ４の映像（すなわち、異なるエリアを撮影した映像）を取得している場合には、関連する全ての映像中に存在するカート３をステップＳＴ１０３のマッチング処理の対象とすることができる。 When the management server 5 acquires images from a plurality of cameras 4 (that is, images of different areas), the cart 3 existing in all the related images is Can be targeted.

また、管理サーバ５は、ステップＳＴ１０１を実行する前からステップＳＴ１０４においてカート位置が特定されるまでの間において、特定されていないカート３（情報表示装置１１）に対し、例えば図８に示すような利用者向けの動作指示情報を送信することが可能である。 In addition, the management server 5 displays the unspecified cart 3 (information display device 11), for example, as shown in FIG. It is possible to transmit operation instruction information for the user.

この利用者向けの動作指示情報は、ステップＳＴ１０３におけるマッチング処理（すなわち、カート３の特定）を容易にするための情報であり、この動作指示情報の表示にしたがって、カート３の利用者１５が動作する（例えば、カート３を押して周辺を移動する）ことにより、カート３の位置を特定するためのカート３の動き情報および店舗２内を撮影した映像（カート３の動線の情報）を、より確実に取得することが可能となる。 This operation instruction information for the user is information for facilitating the matching process (that is, specifying the cart 3) in step ST103, and the user 15 of the cart 3 operates according to the display of this operation instruction information. (For example, by pushing the cart 3 to move around), the movement information of the cart 3 for specifying the position of the cart 3 and the image taken inside the store 2 (information on the flow line of the cart 3) can be displayed more. It is possible to obtain it with certainty.

続いて、管理サーバ５は、図５に示したカート所有者推定４５の処理によって、位置を特定したカート３の所有者を推定し（ＳＴ１０５）、更に、カート所有者属性判定４６の処理によって、その推定した所有者の属性を判定する（ＳＴ１０６）。 Subsequently, the management server 5 estimates the owner of the cart 3 whose position is specified by the process of cart owner estimation 45 shown in FIG. The attribute of the estimated owner is determined (ST106).

その後、管理サーバ５は、図５に示した表示情報制御４７の処理によって、情報表示装置１１に表示させるべき買物支援情報を決定（生成）し（ＳＴ１０７）、その買物支援情報を対象のカート３に対して送信する（ＳＴ１０８）。 After that, the management server 5 determines (generates) the shopping support information to be displayed on the information display device 11 by the processing of the display information control 47 shown in FIG. (ST108).

なお、特定対象となるカート３が複数存在する場合には、管理サーバ５は、上述のステップＳＴ１０１－ＳＴ１０８と同様の処理を全てのカート３に対して順次実行することができる。 If there are a plurality of carts 3 to be specified, the management server 5 can sequentially perform the same processes as those of steps ST101 to ST108 for all the carts 3 .

図９から図１３は、それぞれ図６中のステップＳＴ１０８において情報表示装置１１に表示される買物支援情報の５つの例を示す図である。 9 to 13 are diagrams showing five examples of shopping support information displayed on the information display device 11 in step ST108 in FIG. 6, respectively.

買物支援システム１では、例えば図９に示すように、店舗２で販売される商品に関する情報（ここでは、商品の特売情報）を買物支援情報として情報表示装置１１に表示させることができる。 In the shopping support system 1, for example, as shown in FIG. 9, information on products sold at the store 2 (here, product bargain information) can be displayed on the information display device 11 as shopping support information.

また、買物支援システム１では、例えば図１０に示すように、買物支援処理の対象となるカート３の現在位置が示されたフロアマップ（マップ画像）を買物支援情報として情報表示装置１１に表示させることができる。これにより、カート３の所有者は、店舗２内のフロアマップ（カート周辺のマップ画像）に基づき店舗２内を円滑に移動することが可能となる。 Further, in the shopping support system 1, for example, as shown in FIG. 10, a floor map (map image) showing the current position of the cart 3 to be processed for shopping support is displayed on the information display device 11 as the shopping support information. be able to. As a result, the owner of the cart 3 can move smoothly within the store 2 based on the floor map of the store 2 (map image around the cart).

この場合、管理サーバ５は、対象となるカート３の位置を繰り返し特定することにより、フロアマップに表示されたカート３の現在位置をリアルタイムで更新することが可能である。これにより、カート３の所有者は、カート３の現在位置を確認しながらフロアマップに基づき店舗内をより円滑に移動することが可能となる。 In this case, the management server 5 can update the current position of the cart 3 displayed on the floor map in real time by repeatedly identifying the position of the target cart 3 . As a result, the owner of the cart 3 can move around the store more smoothly based on the floor map while checking the current position of the cart 3 .

また、買物支援システム１では、例えば図１１に示すように、店舗２内で買物をする際の経路（ここでは、対象となるカート３の現在位置から利用者１５によって選択された購入希望の商品が存在する場所（図１１中の星印を参照）までの経路（図１１中の破線の矢印を参照））が示されたルート案内を買物支援情報として情報表示装置１１に表示させることができる。 Further, in the shopping support system 1, for example, as shown in FIG. The information display device 11 can display a route guide showing a route (see the dashed arrow in FIG. 11) to the place where there is (see the star in FIG. 11) as the shopping support information. .

また、買物支援システム１では、例えば図１２に示すように、店舗２内で買物をする際のカート３が位置するフロアにおける混雑エリア６１、６２を示す混雑情報を買物支援情報として情報表示装置１１に表示させることができる。なお、図１２では、混雑エリア６１、６２（すなわち、混雑状況）をヒートマップとして表示した例を示したが、これに限らず、他の表示方法（例えば、記号や文字情報）で混雑状況を示すことも可能である。これにより、カート３の所有者は、店舗２内のカート周辺の混雑状況を確認しながらフロアマップに基づき店舗２内をより円滑に移動することが可能となる。 Further, in the shopping support system 1, for example, as shown in FIG. 12, congestion information indicating congestion areas 61 and 62 on the floor where the cart 3 is located when shopping in the store 2 is used as the shopping support information by the information display device 11. can be displayed. FIG. 12 shows an example of displaying the congestion areas 61 and 62 (that is, congestion status) as a heat map. It is also possible to show As a result, the owner of the cart 3 can move around the store 2 more smoothly based on the floor map while checking the congestion situation around the cart in the store 2 .

また、買物支援システム１では、例えば図１３に示すように、店舗２内の買物が終了した後のカート３の返却場所（図１３中の星印を参照）を示すカート返却情報を買物支援情報として情報表示装置１１に表示させることができる。この場合、管理サーバ５は、カメラ４からの映像に基づき、そのカート返却情報にしたがって利用者１５がカート３を返却したことを確認することができ、カート３を返却した利用者に対し、特典情報（例えば、店舗２のポイントプログラム（ポイントサービス）におけるポイントや、商品のクーポン券）を付与するための案内情報（図示せず）を情報表示装置１１に表示することが可能である。 In the shopping support system 1, for example, as shown in FIG. 13, cart return information indicating the return location of the cart 3 after shopping in the store 2 (see the star in FIG. 13) is added to the shopping support information. can be displayed on the information display device 11 as . In this case, the management server 5 can confirm that the user 15 has returned the cart 3 according to the cart return information based on the image from the camera 4, and provides the user who has returned the cart 3 with a privilege Guidance information (not shown) for giving information (for example, points in the point program (point service) of the store 2 and coupons for products) can be displayed on the information display device 11 .

なお、買物支援システム１において、買物支援情報として情報表示装置１１にマップ画像を表示させる場合には、当該情報表示装置１１を備えたカート３が、カメラ４の死角となるエリアに侵入したときに、マップ画像の表示形態を変更（例えば、マップ画像の背景色を変更（グレー表示））したり、利用者１５に対するメッセージ（例えば、カート３を検出できない旨）を表示したりすることができる。 In addition, in the shopping support system 1, when displaying a map image on the information display device 11 as the shopping support information, when the cart 3 equipped with the information display device 11 enters the blind spot of the camera 4, , change the display form of the map image (for example, change the background color of the map image (gray display)), or display a message to the user 15 (for example, that the cart 3 cannot be detected).

以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。例えば、買物支援システム１は、店舗の利用者の買物支援に厳密に限定されるものではなく、少なくとも任意の施設内においてカートを使用して移動する人物に対する情報支援システム（例えば、移動経路情報を提供するシステム）として利用することも可能である。なお、上記実施の形態に示した本開示に係る買物支援システム及び買物支援方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。 As described above, the present disclosure has been described based on specific embodiments, but these embodiments are merely examples, and the present disclosure is not limited by these embodiments. For example, the shopping support system 1 is not strictly limited to shopping support for store users, but is at least an information support system for a person who uses a cart to move within an arbitrary facility (for example, movement route information). It is also possible to use it as a system to provide. Note that each component of the shopping support system and shopping support method according to the present disclosure shown in the above embodiment is not necessarily essential, and can be appropriately selected as long as it does not deviate from the scope of the present disclosure. is.

本開示に係る買物支援システム及び買物支援方法は、簡易な構成によってカートの位置情報を取得することにより、店舗の利用者に対して買物に役立つ案内をより安価に行うことを可能とし、店舗においてカートを利用する利用者に対し、買物等に関する案内を行うための買物支援システム及び買物支援方法などとして有用である。 The shopping support system and shopping support method according to the present disclosure acquire cart position information with a simple configuration, thereby making it possible to provide shop users with guidance useful for shopping at a lower cost. It is useful as a shopping support system and a shopping support method for providing shopping guidance to users who use carts.

１：買物支援システム
２：店舗
３：カート
４：カメラ
５：管理サーバ
６：店舗内ネットワーク
７：ルータ
８：通信ネットワーク
１１：情報表示装置
１５：利用者
２１：制御部
２２：情報記憶部
２３：通信部
３１：制御部
３２：情報記憶部
３３：通信部
３４：入力部
３５：表示部
３６：動きセンサ
４１：カート検出
４２：人物検出
４３：カート特定
４５：カート所有者推定
４６：カート所有者属性判定
４７：表示情報制御
５１：動き情報生成
５２：情報表示
６１、６２：混雑エリア 1: Shopping support system 2: Store 3: Cart 4: Camera 5: Management server 6: In-store network 7: Router 8: Communication network 11: Information display device 15: User 21: Control unit 22: Information storage unit 23: Communication unit 31: Control unit 32: Information storage unit 33: Communication unit 34: Input unit 35: Display unit 36: Motion sensor 41: Cart detection 42: Person detection 43: Cart identification 45: Cart owner estimation 46: Cart owner Attribute determination 47: Display information control 51: Motion information generation 52: Information display 61, 62: Congested area

Claims

A shopping support system for providing shopping support information to a user who uses a cart equipped with an information display device in a store,
a plurality of cameras respectively arranged at a plurality of fixed positions of the store and generating images of the inside of the store;
a sensor provided in an information display device for acquiring movement information of the cart;
a management server communicably connected to the camera and the information display device;
The management server is
estimating the movement status of the cart from the image acquired by the camera, acquiring the movement information and the cart identification information from the information display device, and collating the estimation result of the movement status of the cart with the movement information; , a cart identification unit that identifies the position of the cart corresponding to the cart identification information ;
a display information control unit that executes processing for displaying the shopping support information on the information display device of the cart whose position is specified;
A shopping support system comprising:

a person detection unit that detects the user from the video;
a cart owner estimation unit that associates the detected user with the cart whose position is specified;
an attribute determination unit that determines the detected attribute of the user;
further comprising
The display information control unit determines the shopping support information for the user associated with the cart from a plurality of the shopping support information stored in advance in the information storage unit of the cart according to the attribute. 2. The shopping support system according to claim 1.

3. The shopping support system according to claim 2, wherein the attribute includes at least one of age of the user, gender of the user, and type of group constituted by the user. .

4. The shopping support system according to any one of claims 1 to 3 , wherein the motion information includes information indicating the moving direction of the cart.

The display information control unit causes the information display device of the cart to display operation instruction information for the user until the position of the cart is specified by the cart specifying unit. The shopping support system according to any one of claims 1 to 4 .

3. The display information control unit causes the information display device to display, as the shopping support information, a map image of the inside of the store showing the position of the cart specified by the cart specifying unit. The shopping support system according to any one of claims 1 to 5 .

The cart identifying unit repeatedly identifies the position of the cart,
7. The shopping support system according to claim 6 , wherein the display information control unit updates the position of the cart displayed on the map image based on the position of the cart specified by the cart specifying unit. .

A shopping support method for providing shopping support information by an information processing device to a user who uses a cart equipped with an information display device in a store, comprising:
The information processing device is
Acquiring images of the inside of the store taken from cameras respectively arranged at a plurality of fixed positions of the store,
acquiring movement information of the cart from a sensor provided in the information display device;
estimating the movement status of the cart from the image acquired by the camera, acquiring the movement information and the cart identification information from the information display device, and collating the estimation result of the movement status of the cart with the movement information; , identifying the location of the cart corresponding to the cart identification ;
A shopping support method, comprising: executing a process of displaying the shopping support information on the information display device of the cart whose position is specified.