WO2023187866A1 - 商品検索装置、商品検索方法、及び、記録媒体 - Google Patents

商品検索装置、商品検索方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023187866A1
WO2023187866A1 PCT/JP2022/014860 JP2022014860W WO2023187866A1 WO 2023187866 A1 WO2023187866 A1 WO 2023187866A1 JP 2022014860 W JP2022014860 W JP 2022014860W WO 2023187866 A1 WO2023187866 A1 WO 2023187866A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
information
user
image
line
Prior art date
Application number
PCT/JP2022/014860
Other languages
English (en)
French (fr)
Inventor
尊裕 中川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/014860 priority Critical patent/WO2023187866A1/ja
Publication of WO2023187866A1 publication Critical patent/WO2023187866A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to technology for searching photographed products.
  • Patent Document 1 describes a shopping system that identifies a product that a user is looking at and performs purchase processing.
  • Patent Document 1 Even with Patent Document 1, it is not always possible to view product information efficiently.
  • One purpose of the present disclosure is to provide a product search device that allows a customer to check product information without touching the product.
  • a product search device includes: an acquisition means for acquiring an image of the product and information on the user's line of sight regarding the product shelf on which the product is placed; recognition means for recognizing the product based on the image and the line-of-sight information; an information output means for acquiring and outputting information on recognized products; Equipped with
  • a product search method includes: Obtain the product image and the user's line of sight information regarding the product shelf where the product is placed, Recognizing the product based on the image and the line of sight information, Acquire and output information about recognized products.
  • the recording medium includes: Obtain the product image and the user's line of sight information regarding the product shelf where the product is placed, Recognizing the product based on the image and the line of sight information, Record a program that causes a computer to execute the process of acquiring and outputting information about recognized products.
  • FIG. 1 shows the overall configuration of a product search system according to a first embodiment.
  • FIG. 2 is a block diagram showing the configuration of a server and a user terminal.
  • FIG. 2 is a block diagram showing the functional configuration of a server.
  • An example of the data structure of product information is shown below.
  • An example of the data structure of user information is shown below.
  • An example of displaying product information is shown.
  • It is a flowchart of a product search system.
  • a display example of Modification 1 of the first embodiment is shown.
  • It is a block diagram showing the functional composition of the product search device of a 2nd embodiment.
  • It is a flowchart of processing by a product search device of a 2nd embodiment.
  • FIG. 1 shows the overall configuration of a product search system to which a product search device according to the present disclosure is applied.
  • Product search system 1 includes a server 200 and a user terminal 300.
  • Server 200 is an example of a product search device.
  • the user terminal 300 is a terminal device such as smart glasses owned by a user. Further, the server 200 and the user terminal 300 can communicate wirelessly.
  • other glasses-shaped wearable terminals such as AR (Augmented Reality) glasses, MR (Mixed Reality) glasses, and VR (Virtual Reality) glasses may be used.
  • the server 200 recognizes the product based on the video transmitted from the user terminal 300, and acquires detailed information regarding the product (hereinafter referred to as "product information"). Then, the server 200 transmits the product information to the user terminal 300. Specifically, the user enters the store wearing the user terminal 300. Then, while looking at the products displayed in the store, the user makes a predetermined statement such as "Check this out.” When the user terminal 300 recognizes the user's predetermined statement, it activates the camera and takes a video of the user's field of view including the product. Further, when the user terminal 300 recognizes the user's predetermined utterance, the user terminal 300 performs line-of-sight measurement and acquires the user's line-of-sight information.
  • product information detailed information regarding the product
  • the user terminal 300 transmits the captured video (hereinafter also referred to as “shot video”) and the user's line of sight information to the server 200.
  • the server 200 extracts images of products that the user wants to examine based on the captured video and the user's line of sight information.
  • the server 200 recognizes what product is shown in the product image using AI (Artificial Intelligence) image analysis or the like. Then, the server 200 acquires product information of the recognized product and transmits the acquired product information to the user terminal 300.
  • AI Artificial Intelligence
  • the store is assumed to be a physical store, but it may be an online shop instead.
  • the user displays the online shop screen on the user terminal 300. Then, while looking at the products in the online shop, the user makes a predetermined statement such as "Check this out.”
  • the user terminal 300 recognizes the user's predetermined utterance, the user terminal 300 transmits the online shop screen and the user's line of sight information to the server 200.
  • the server 200 extracts an image of a product that the user wants to examine based on the online shop screen and the user's line of sight information, and recognizes what product is shown from the product image. Then, the server 200 acquires product information of the recognized product and transmits the acquired product information to the user terminal 300.
  • FIG. 2A is a block diagram showing the configuration of the server 200.
  • the server 200 mainly includes a communication unit 211, a processor 212, a memory 213, a recording medium 214, and a database (DB) 215.
  • DB database
  • the communication unit 211 sends and receives data to and from external devices. Specifically, the communication unit 211 transmits and receives information to and from the user terminal 300.
  • the processor 212 is a computer such as a CPU (Central Processing Unit), and controls the entire server 200 by executing a program prepared in advance.
  • the processor 212 includes a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a DSP (Demand-Side Platform), and an ASIC (Application ation Specific Integrated Circuit).
  • the memory 213 is composed of ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the memory 213 is also used as a working memory while the processor 212 executes various processes. Furthermore, the memory 213 temporarily stores a series of moving images shot by the user terminal 300 under the control of the processor 212 . This moving image is stored in the memory 213 in association with, for example, user identification information (hereinafter also referred to as "user ID”), time stamp information, and the like.
  • user ID user identification information
  • time stamp information time stamp information
  • the recording medium 214 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be removably attached to the server 200.
  • the recording medium 214 records various programs executed by the processor 212.
  • a database (DB) 215 stores product information and information regarding users (hereinafter also referred to as "user information").
  • the DB 215 may include an external storage device such as a hard disk connected to or built into the server 200, or may include a removable storage medium such as a flash memory. Note that instead of providing the DB 215 in the server 200, the DB 215 may be provided in an external server or the like, and product information and user information may be stored in the server through communication.
  • the server 200 may include an input unit such as a keyboard and a mouse, and a display unit such as a liquid crystal display for an administrator or the like to give instructions and input.
  • an input unit such as a keyboard and a mouse
  • a display unit such as a liquid crystal display for an administrator or the like to give instructions and input.
  • FIG. 2(B) is a block diagram showing the internal configuration of the user terminal 300.
  • the user terminal 300 is, for example, a terminal device such as smart glasses.
  • the user terminal 300 includes a communication section 311, a processor 312, a memory 313, a display section 314, a camera 315, and a microphone 316.
  • the communication unit 311 transmits and receives data to and from an external device. Specifically, the communication unit 311 transmits and receives information to and from the server 200.
  • the processor 312 is a computer such as a CPU, and controls the entire user terminal 300 by executing a program prepared in advance.
  • the processor 312 may be a GPU, FPGA, DSP, ASIC, or the like.
  • the processor 312 transmits the moving image shot by the camera 315 to the server 200 by executing a program prepared in advance.
  • the memory 313 is composed of ROM, RAM, etc. Memory 313 stores various programs executed by processor 312. The memory 313 is also used as a working memory while the processor 312 executes various processes.
  • the moving image captured by the camera 315 is stored in the memory 313 and then transmitted to the server 200.
  • the display unit 314 is, for example, a liquid crystal display device, and displays moving images captured by the camera 315, product information transmitted from the server 200, and the like.
  • the camera 315 includes a camera that photographs the user's field of view (also referred to as an "out camera") and a camera that photographs the user's eyeballs (also referred to as an "eye camera”).
  • the out camera is mounted on the outside of the user terminal 300.
  • the outside camera photographs the user's field of view, including the subject, and transmits it to the server 200.
  • the server 200 can acquire an image of the subject.
  • the eye camera is mounted inside the user terminal 300 to photograph the user's eyeball.
  • the eye camera photographs the user's eye and sends it to processor 312 .
  • the processor 312 detects the movement of the user's line of sight based on the image of the user's eyeball taken by the eye camera. Thereby, the user terminal 300 can acquire line-of-sight information such as the user's line-of-sight direction.
  • the microphone 316 collects the user's voice and surrounding sounds and transmits them to the server 200.
  • FIG. 3 is a block diagram showing the functional configuration of the server 200.
  • the server 200 includes an information acquisition section 411, a product recognition section 412, and an information output section 413.
  • the captured video and the user's line of sight information are input to the server 200 from the user terminal 300.
  • the captured video and the user's line of sight information are input to the information acquisition unit 411.
  • the user's line of sight information includes information such as the region of the captured video that the user was viewing and the time that the user was viewing the region.
  • the information acquisition unit 411 extracts images of products that the user wants to investigate (hereinafter also referred to as "target products") based on the captured video and the user's line of sight information.
  • the information acquisition unit 411 then outputs the image of the target product to the product recognition unit 412.
  • the photographed video input from the user terminal 300 is a video of the user's field of view. Therefore, the captured video may include products other than the target product. Therefore, the information acquisition unit 411 detects the products included in the captured video using an image recognition model prepared in advance. The information acquisition unit 411 then estimates the target product based on the detected product and the user's line of sight information.
  • the information acquisition unit 411 estimates, from among the detected products, the product located in the area that the user has been viewing for the longest time as the target product.
  • the information acquisition unit 411 extracts an area where the target product is shown from the captured video, and generates an image of the target product.
  • the information acquisition unit 411 then outputs the image of the target product to the product recognition unit 412.
  • the information acquisition unit 411 extracts the user ID associated with the captured video. Then, the information acquisition unit 411 outputs the extracted user ID to the product recognition unit 412.
  • the product recognition unit 412 acquires the image of the target product and the user ID from the information acquisition unit 411.
  • the product recognition unit 412 recognizes the target product from the image of the target product using an image recognition model prepared in advance.
  • the product recognition unit 412 then outputs product identification information of the target product as a recognition result of the target product.
  • the product identification information is an ID for uniquely identifying a product, and is also referred to as a "product ID” hereinafter.
  • the image recognition model used by the product recognition unit 412 is a machine learning model trained in advance to estimate the product included in the image, and is also referred to as a "product recognition model” hereinafter.
  • the product recognition unit 412 outputs the product ID and user ID to the information output unit 413.
  • the information output unit 413 acquires product information of the target product from the product DB 215a based on the product ID obtained from the product recognition unit 412. Furthermore, the information output unit 413 acquires user information from the user information DB 215b based on the user ID acquired from the product recognition unit 412. Although the information output unit 413 acquires the product information of the target product from the product DB 215a, it may instead acquire the product information of the target product from the Internet. In this case, the product recognition unit 412 outputs the product name and the like to the information output unit 413 as product identification information.
  • FIG. 4 shows an example of the data structure of product information.
  • the product ID and product information are linked and stored in the product DB 215a.
  • the product ID is an ID for uniquely identifying a product.
  • the product information is detailed information about the product, and includes the product name, raw material name, target information, word of mouth, and the like.
  • the target information is information such as the target animal of the product and the target age of the product.
  • the product information may also include information such as manufacturer's name, price, place of production, capacity, usage, and efficacy.
  • FIG. 5 shows an example of the data structure of user information.
  • a user ID and user information are linked and stored in the user information DB 215b.
  • the user ID is an ID for uniquely identifying a user.
  • the user information is information about the user, and includes the user's name, user's email address, and the like.
  • the user information includes information regarding a pet kept by the user (hereinafter also referred to as "pet information").
  • Pet information includes the type of pet, the age of the pet, and ingredients that affect the pet's health.
  • Ingredients that affect the health of pets include those that are recommended for pets and those that are not recommended for pets.
  • Recommended ingredients for pets are ingredients that are beneficial to the pet's health, such as foods and nutrients that the pet should actively ingest.
  • Non-recommended ingredients for pets are ingredients that are harmful to your pet's health, such as foods that cause allergies.
  • the information output unit 413 compares the obtained product information and user information. Then, when the product information and the user information match, the information output unit 413 generates product information with the matching portion highlighted. For example, the information output unit 413 compares raw materials included in raw material names in product information with recommended or non-recommended components in pet information. If the raw material and the recommended or non-recommended ingredient match, the information output unit 413 generates product information in which the matched raw material is highlighted. The information output unit 413 then outputs the product information to the user terminal 300.
  • FIG. 6 shows a display example of product information.
  • product information transmitted from the server 200 is displayed on the user terminal 300.
  • the target product is "pet food A for dogs.” Further, it is assumed that "chicken" is registered as a non-recommended ingredient for pets in the user information.
  • product information 61 is displayed on the user terminal 300.
  • Product information 61 is product information of the target product.
  • the product information 61 includes a product name, raw material name, target information, and word of mouth as product information.
  • the raw material name of the target product includes "chicken", which is a non-recommended ingredient for pets, and the "chicken" part of the raw material name is highlighted with a thick line and underline. In this way, by highlighting the non-recommended ingredients for pets, the user can easily refer to the non-recommended ingredients for pets from the product information.
  • eligible products are not limited to food for pets, but may also include food for humans.
  • the target product is food for humans
  • the user registers personal information about himself or herself, his or her family, etc. as user information in advance.
  • personal information includes, for example, the person's age, recommended ingredients, non-recommended ingredients, favorite foods, and disliked foods.
  • the information output unit 413 collates the product information of the target product with the person information, and outputs product information with the matched portions highlighted to the user terminal 300. This allows the user to easily understand whether the target product is a food suitable for the person registered in the user information.
  • the product recognition model is a model that estimates the product ID of a product included in an image, and is generated by so-called supervised learning. Data (hereinafter also referred to as "teacher data") in which a product ID label is attached to an image of each product sold at a store is used for learning the product recognition model.
  • a product recognition model is generated by a machine learning device learning the relationship between a product image and a product ID using training data.
  • the product recognition unit 412 estimates the product ID of the target product using the generated product recognition model. Specifically, the product recognition model outputs which product ID the target product belongs to with probability based on the input image of the target product. For example, for a certain target product, the product recognition model calculates the probability that the product ID is 001 as ⁇ 0.7'', the probability that the product ID is 002 as ⁇ 0.2'', and the probability that the product ID is 003 as ⁇ 0''. .1" is output. Note that the product recognition model outputs probabilities such that the sum of probabilities for each product ID is "1". Then, the product recognition model estimates the product ID with the highest probability as the product ID of the target product. In the above case, the product recognition model outputs the estimation result that "the product ID is 001.”
  • FIG. 7 is a flowchart of product search processing performed in the server 200. This processing is realized by the processor 212 shown in FIG. 2 executing a program prepared in advance and operating as each element shown in FIG. 3.
  • the user makes a predetermined statement such as "Check this out” while looking at the products displayed in the store.
  • a predetermined statement such as "Check this out”
  • the user terminal 300 recognizes the user's predetermined utterance, it starts capturing a video.
  • the user terminal 300 recognizes a predetermined utterance by the user, it acquires the user's line of sight information. Then, the user terminal 300 transmits the captured video and line-of-sight information to the server 200.
  • the information acquisition unit 411 of the server 200 acquires the captured video and the user's line of sight information from the user terminal 300. Then, the information acquisition unit 411 estimates the target product based on the captured video and the user's line of sight information. Then, the information acquisition unit 411 acquires an image of the target product from the captured video (step S11). The information acquisition unit 411 also acquires a user ID associated with the captured video. The information acquisition unit 411 outputs the acquired image of the target product and the user ID to the product recognition unit 412. Next, the product recognition unit 412 uses the previously learned product recognition model to recognize the product based on the image of the target product acquired from the information acquisition unit 411, and outputs the product ID as a recognition result (step S12). The product recognition unit 412 outputs the product ID and the user ID acquired from the information acquisition unit 411 to the information output unit 413.
  • the information output unit 413 acquires product information of the target product from the product DB 215a based on the product ID obtained from the product recognition unit 412 (step S13).
  • the information output unit 413 may obtain product information of the target product from the Internet.
  • the information output unit 413 acquires user information from the user information DB 215b based on the user ID acquired from the product recognition unit 412.
  • the information output unit 413 collates the product information and user information (step S14). As a result of comparing the product information and user information, if there is a matching part, the information output unit 413 generates product information with the matching part highlighted (step S15).
  • the information output unit 413 outputs “chicken” in the raw material name. Generates product information with the "chicken” part highlighted.
  • the information output unit 413 transmits product information to the user terminal 300 (step S16). Then, the product search process ends.
  • the server 200 outputs product information of the target product to the user terminal 300.
  • the server 200 may output product information of recommended products to the user terminal 300.
  • the recommended product is an alternative product to the target product, and may be a product that contains recommended ingredients or a product that does not contain non-recommended ingredients. Specifically, if the product information of the target product includes a non-recommended ingredient, the server 200 acquires a product that does not contain the non-recommended ingredient from the product DB 215a or the Internet.
  • the server 200 retrieves products that contain recommended ingredients for pets or other products that do not contain ingredients that are not recommended for pets from the product DB 215a or the Internet. The product is acquired, and the acquired product is output to the user terminal 300 as a recommended product.
  • FIG. 8 shows a display example of Modification 1.
  • recommended products 62 are displayed on the user terminal 300 in addition to product information 61.
  • the product information 61 is similar to the product information 61 shown in FIG.
  • Product information 61 includes "chicken", which is a non-recommended ingredient for pets.
  • the recommended product 62 is product information of the recommended product.
  • product information of products that do not contain "chicken”, which is a non-recommended ingredient for pets is displayed as a recommended product. This allows the user to know about substitute products for the target product.
  • the server 200 transmits the product information of the target product to the user terminal 300 in response to a predetermined comment from the user.
  • the server 200 may select a recommended product from among the products included in the captured video, and transmit product information of the recommended product to the user terminal 300.
  • a user moves around the store while shooting a video with the user terminal 300.
  • the user terminal 300 transmits the captured video to the server 200 each time.
  • the server 200 acquires the photographed video from the user terminal 300, it detects the products included in the photographed video and acquires the product information of the detected products.
  • the server 200 compares the product information with the user information, and if the product information includes recommended ingredients or does not include non-recommended ingredients, the product is determined to be a recommended product. Then, the server 200 transmits product information of the recommended product to the user terminal 300. This allows the user to know which products are recommended from among the products available in the store.
  • the information acquired by the user terminal 300 is basically transmitted as is to the server 200, and the server 200 recognizes the target product based on the received information and acquires the product information. .
  • the user terminal 300 may perform processing to recognize the target product and transmit the processing results to the server 200.
  • the process of recognizing the target product and acquiring product information may be performed on the user terminal 300 without using the server 200. Thereby, the communication load from the user terminal 300 to the server 200 and the processing load on the server 200 can be reduced.
  • the user terminal 300 is an example of a product search device.
  • FIG. 9 is a block diagram showing the functional configuration of the product search device 50 of the second embodiment.
  • the product search device 50 of the second embodiment includes an acquisition means 51, a recognition means 52, and an information output means 53.
  • FIG. 10 is a flowchart of processing by the product search device 50.
  • the acquisition unit 51 acquires the image of the product and information on the user's line of sight with respect to the product shelf on which the product is placed (step S51).
  • the recognition means 52 recognizes the product based on the image and the line-of-sight information (step S52).
  • the information output means 53 acquires and outputs information on the recognized product (step S53).
  • the product search device 50 of the second embodiment it becomes possible for a customer to check product information without touching the product.
  • a product search device comprising:
  • the information output means acquires information regarding ingredients that affect the health of the user or the user's pet, and highlights ingredients that are beneficial to the health of the user or the user's pet among the ingredients included in the product.
  • the product search device according to supplementary note 1, which outputs information about the product.
  • the information output means acquires information regarding ingredients that affect the health of the user or the user's pet, and highlights ingredients that are harmful to the health of the user or the user's pet among the ingredients contained in the product.
  • the product search device according to supplementary note 1, which outputs information about the product.
  • appendix 5 The product search device according to appendix 4, wherein the information output means outputs information on recommended products that are substitute products for the product and do not contain the ingredients harmful to health.
  • the image is an image of a product in a store
  • the product search device according to appendix 3 or 5, wherein the information output means selects the recommended product from products available in the store.
  • the acquisition means acquires the image of the product and the line-of-sight information from a user's terminal device,
  • the product search device according to any one of Supplementary Notes 1 to 6, wherein the information output means outputs information about the product to the terminal device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

商品検索装置は、取得手段と、認識手段と、情報出力手段とを備える。取得手段は、商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得する。認識手段は、前記画像及び前記視線情報に基づいて、前記商品を認識する。情報出力手段は、認識された商品の情報を取得し、出力する。

Description

商品検索装置、商品検索方法、及び、記録媒体
　本開示は、撮影した商品を検索する技術に関する。
　リアル店舗において、顧客は、商品棚に陳列されている商品の情報を確認したいときは、その商品を手に取る必要がある。しかし、衛生面の観点等から商品になるべく触らずに商品の情報を確認したいというニーズがある。例えば、特許文献１では、利用者が注視している商品を特定し、購入処理を行うショッピングシステムを記載している。
特開２０１２－８７４６号公報
　しかし、特許文献１によっても、商品の情報を効率的に見ることができるとは限らない。
　本開示の１つの目的は、顧客が商品に触れずに商品の情報を確認することが可能な商品検索装置を提供することにある。
　上記の課題を解決するため、本開示の一つの観点では、商品検索装置は、
　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得する取得手段と、
　前記画像及び前記視線情報に基づいて、前記商品を認識する認識手段と、
　認識された商品の情報を取得し、出力する情報出力手段と、
　を備える。
　本開示の他の観点では、商品検索方法は、
　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得し、
　前記画像及び前記視線情報に基づいて、前記商品を認識し、
　認識された商品の情報を取得し、出力する。
　本開示のさらに他の観点では、記録媒体は、
　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得し、
　前記画像及び前記視線情報に基づいて、前記商品を認識し、
　認識された商品の情報を取得し、出力する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、顧客が商品に触れずに商品の情報を確認することが可能となる。
第１実施形態に係る商品検索システムの全体構成を示す。 サーバ及びユーザ端末の構成を示すブロック図である。 サーバの機能構成を示すブロック図である。 商品情報のデータ構造の例を示す。 ユーザ情報のデータ構造の例を示す。 商品情報の表示例を示す。 商品検索システムのフローチャートである。 第１実施形態の変形例１の表示例を示す。 第２実施形態の商品検索装置の機能構成を示すブロック図である。 第２実施形態の商品検索装置による処理のフローチャートである。
　＜第１実施形態＞
　［全体構成］
　図１は、本開示に係る商品検索装置を適用した商品検索システムの全体構成を示す。商品検索システム１は、サーバ２００と、ユーザ端末３００とを含む。サーバ２００は商品検索装置の一例である。ユーザ端末３００は、ユーザが所有するスマートグラスなどの端末装置である。また、サーバ２００とユーザ端末３００とは無線通信可能である。なお、スマートグラスの代わりに、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラスやＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）グラスなど、他のメガネ型のウェアラブル端末を用いてもよい。
　基本的な動作として、サーバ２００は、ユーザ端末３００から送信された動画に基づいて、商品を認識し、商品に関する詳細な情報（以下、「商品情報」と呼ぶ。）を取得する。そして、サーバ２００は商品情報をユーザ端末３００へ送信する。具体的に、ユーザは、ユーザ端末３００を装着した状態で店舗に入店する。そして、店舗内に陳列された商品を見ながら「これを調べて。」などの所定の発言をする。ユーザ端末３００は、ユーザの所定の発言を認識すると、カメラを起動し、商品を含むユーザの視界を動画撮影する。また、ユーザ端末３００は、ユーザの所定の発言を認識すると、視線計測を行い、ユーザの視線情報を取得する。そして、ユーザ端末３００は、撮影した動画（以下、「撮影動画」とも呼ぶ。）と、ユーザの視線情報をサーバ２００へ送信する。サーバ２００は、撮影動画とユーザの視線情報に基づいて、ユーザが調べたい商品の画像を抽出する。サーバ２００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の画像解析などによって、商品の画像から何の商品が写っているかを認識する。そして、サーバ２００は、認識した商品の商品情報を取得し、取得した商品情報をユーザ端末３００へ送信する。
　なお、上記では、店舗は、リアル店舗を想定しているが、その代わりに、オンラインショップであってもよい。この場合、ユーザは、ユーザ端末３００上にオンラインショップの画面を表示する。そして、オンラインショップの商品を見ながら「これを調べて。」などの所定の発言をする。ユーザ端末３００は、ユーザの所定の発言を認識すると、オンラインショップの画面とユーザの視線情報をサーバ２００へ送信する。サーバ２００は、オンラインショップの画面とユーザの視線情報に基づいて、ユーザが調べたい商品の画像を抽出し、商品の画像から何の商品が写っているかを認識する。そして、サーバ２００は、認識した商品の商品情報を取得し、取得した商品情報をユーザ端末３００へ送信する。
　［サーバ］
　図２（Ａ）は、サーバ２００の構成を示すブロック図である。サーバ２００は、主に、通信部２１１と、プロセッサ２１２と、メモリ２１３と、記録媒体２１４と、データベース（ＤＢ）２１５と、を備える。
　通信部２１１は、外部装置との間でデータの送受信を行う。具体的に、通信部２１１は、ユーザ端末３００との間で情報を送受信する。
　プロセッサ２１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、サーバ２００の全体を制御する。なお、プロセッサ２１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ　Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などであってもよい。
　メモリ２１３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などにより構成される。メモリ２１３は、プロセッサ２１２による各種の処理の実行中に作業メモリとしても使用される。また、メモリ２１３は、プロセッサ２１２の制御に基づき、ユーザ端末３００が撮影した一連の動画を一時的に記憶する。この動画は、例えば、ユーザの識別情報（以下、「ユーザＩＤ」とも呼ぶ。）、及び、タイムスタンプの情報等と関連付けられてメモリ２１３に記憶される。
　記録媒体２１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、サーバ２００に対して着脱可能に構成される。記録媒体２１４は、プロセッサ２１２が実行する各種のプログラムを記録している。
　データベース（ＤＢ）２１５は、商品情報やユーザに関する情報（以下、「ユーザ情報」とも呼ぶ。）を記憶する。ＤＢ２１５は、サーバ２００に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ２１５をサーバ２００に備える代わりに、外部のサーバなどにＤＢ２１５を設け、通信により当該サーバへ商品情報やユーザ情報を記憶するようにしてもよい。
　なお、サーバ２００は、管理者などが指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
　［ユーザ端末］
　図２（Ｂ）は、ユーザ端末３００の内部構成を示すブロック図である。ユーザ端末３００は、例えば、スマートグラスなどの端末装置である。ユーザ端末３００は、通信部３１１と、プロセッサ３１２と、メモリ３１３と、表示部３１４と、カメラ３１５と、マイク３１６と、を備える。
　通信部３１１は、外部装置との間でデータの送受信を行う。具体的に、通信部３１１は、サーバ２００との間で情報を送受信する。
　プロセッサ３１２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、ユーザ端末３００の全体を制御する。なお、プロセッサ３１２は、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣなどであってもよい。プロセッサ３１２は、予め用意されたプログラムを実行することにより、カメラ３１５により撮影した動画をサーバ２００へ送信する。
　メモリ３１３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ３１３は、プロセッサ３１２により実行される各種のプログラムを記憶する。また、メモリ３１３は、プロセッサ３１２による各種の処理の実行中に作業メモリとしても使用される。カメラ３１５により撮影された動画は、メモリ３１３に記憶された後、サーバ２００へ送信される。表示部３１４は、例えば液晶表示装置などであり、カメラ３１５により撮影された動画や、サーバ２００から送信された商品情報などを表示する。
　カメラ３１５には、ユーザの視界を撮影するカメラ（「アウトカメラ」とも呼ぶ。）や、ユーザの眼球を撮影するカメラ（「アイカメラ」とも呼ぶ。）が含まれる。アウトカメラは、ユーザ端末３００の外側に搭載される。アウトカメラは、被写体を含むユーザの視界を撮影し、サーバ２００へ送信する。これにより、サーバ２００は、被写体の画像を取得することができる。アイカメラは、ユーザの眼球を撮影するようユーザ端末３００の内側に搭載される。アイカメラは、ユーザの眼球を撮影し、プロセッサ３１２へ送信する。プロセッサ３１２は、アイカメラが撮影したユーザの眼球の画像を基に、ユーザの視線の動きなどを検出する。これにより、ユーザ端末３００は、ユーザの視線方向などの視線情報を取得することができる。マイク３１６は、ユーザの声や周辺の音を集音し、サーバ２００へ送信する。
　［機能構成］
　図３は、サーバ２００の機能構成を示すブロック図である。サーバ２００は、機能的には、情報取得部４１１と、商品認識部４１２と、情報出力部４１３と、を含む。
　サーバ２００には、ユーザ端末３００から撮影動画とユーザの視線情報が入力される。撮影動画とユーザの視線情報は、情報取得部４１１に入力される。なお、ユーザの視線情報には、ユーザが見ていた撮影動画の領域と、その領域を見ていた時間などの情報が含まれる。
　情報取得部４１１は、撮影動画とユーザの視線情報に基づいて、ユーザが調べたい商品（以下、「対象商品」とも呼ぶ。）の画像を抽出する。そして、情報取得部４１１は対象商品の画像を商品認識部４１２へ出力する。具体的に、ユーザ端末３００から入力された撮影動画は、ユーザの視界を撮影した動画である。そのため、撮影動画には、対象商品以外の商品も含まれている場合がある。そこで、情報取得部４１１は、予め用意された画像認識モデルなどを用いて、撮影動画に含まれる商品を検出する。そして、情報取得部４１１は、検出した商品とユーザの視線情報に基づいて、対象商品を推定する。例えば、情報取得部４１１は、検出した商品の中から、ユーザが最も長い時間見ていた領域に位置する商品を、対象商品として推定する。情報取得部４１１は、撮影動画から対象商品が写っている領域を抽出し、対象商品の画像を生成する。そして、情報取得部４１１は、対象商品の画像を商品認識部４１２へ出力する。
　また、情報取得部４１１は、撮影動画に関連付けられたユーザＩＤを抽出する。そして、情報取得部４１１は、抽出したユーザＩＤを商品認識部４１２へ出力する。
　商品認識部４１２は、情報取得部４１１から対象商品の画像とユーザＩＤを取得する。商品認識部４１２は、予め用意された画像認識モデルなどを用いて、対象商品の画像から対象商品を認識する。そして、商品認識部４１２は、対象商品の認識結果として、対象商品の商品識別情報を出力する。なお、商品識別情報は、商品を一意に識別するためのＩＤなどであり、以下、「商品ＩＤ」とも呼ぶ。また、商品認識部４１２が用いる画像認識モデルは、画像に含まれる商品を推定するように予め学習された機械学習モデルであり、以下、「商品認識モデル」とも呼ぶ。商品認識部４１２は、商品ＩＤとユーザＩＤを情報出力部４１３へ出力する。
　情報出力部４１３は、商品認識部４１２から取得した商品ＩＤを基に、商品ＤＢ２１５ａから対象商品の商品情報を取得する。また、情報出力部４１３は、商品認識部４１２から取得したユーザＩＤを基に、ユーザ情報ＤＢ２１５ｂからユーザ情報を取得する。なお、情報出力部４１３は、商品ＤＢ２１５ａから対象商品の商品情報を取得しているが、その代わりに、インターネットから対象商品の商品情報を取得してもよい。この場合は、商品認識部４１２は、商品識別情報として商品名等を情報出力部４１３へ出力する。
　ここで、商品情報及びユーザ情報について例を挙げて説明する。図４は、商品情報のデータ構造の一例を示す。この例では、商品ＩＤと商品情報とが紐付けられ、商品ＤＢ２１５ａに記憶されている。商品ＩＤは、商品を一意に識別するためのＩＤである。商品情報は、商品に関する詳細な情報であり、商品名、原材料名、対象情報、口コミなどが含まれる。なお、対象情報とは、商品の対象となる動物や、商品の対象となる年齢などの情報である。また、商品情報は、上記の他にも、メーカ名、価格、産地、容量、用法、効能などの情報を含んでもよい。
　図５は、ユーザ情報のデータ構造の一例を示す。この例では、ユーザＩＤとユーザ情報とが紐付けられ、ユーザ情報ＤＢ２１５ｂに記憶されている。ユーザＩＤは、ユーザを一意に識別するためのＩＤである。ユーザ情報は、ユーザに関する情報であり、ユーザの名前、ユーザのメールアドレスなどを含む。また、図５では、ユーザ情報に、ユーザが飼育しているペットに関する情報（以下、「ペット情報」とも呼ぶ。）が含まれている。ペット情報にはペットの種類や、ペットの年齢、ペットの健康に影響を与える成分などが含まれる。ペットの健康に影響を与える成分には、ペットの推奨成分、ペットの非推奨成分がある。ペットの推奨成分は、ペットの健康に有益な成分であり、積極的に摂取したい食物や栄養素などである。ペットの非推奨成分は、ペットの健康に有害な成分であり、アレルギーを引き起こす食物などである。
　情報出力部４１３は、取得した商品情報とユーザ情報とを照合する。そして、情報出力部４１３は、商品情報とユーザ情報とが一致した場合、一致した部分を強調表示した商品情報を生成する。例えば、情報出力部４１３は、商品情報の原材料名に含まれる原材料と、ペット情報の推奨成分又は非推奨成分を照合する。そして、原材料と推奨成分又は非推奨成分が一致した場合、情報出力部４１３は、一致した原材料を強調表示した商品情報を生成する。そして、情報出力部４１３は、商品情報をユーザ端末３００へ出力する。
　［表示例］
　次に、サーバ２００により送信された商品情報の表示例を示す。図６は商品情報の表示例を示す。図６の例では、ユーザ端末３００にサーバ２００から送信された商品情報が表示されている。この例では、対象商品を「犬用ペットフードＡ」とする。また、ユーザ情報には、ペットの非推奨成分として「鶏」が登録されているものとする。具体的に、図６では、ユーザ端末３００に、商品情報６１が表示されている。商品情報６１は、対象商品の商品情報である。商品情報６１は、商品情報として、商品名、原材料名、対象情報、口コミを含む。また、対象商品の原材料名には、ペットの非推奨成分である「鶏」が含まれており、原材料名の「鶏」部分が太線と下線により強調表示されている。このように、ペットの非推奨成分を強調表示することで、ユーザは商品情報からペットの非推奨成分を容易に参照することが可能となる。
　なお、対象商品はペット用の食品に限らず、人間用の食品などでもよい。対象商品を人間用の食品とする場合は、ユーザは、ユーザ自身やユーザの家族などの人物情報を事前にユーザ情報として登録しておく。人物情報には、例えば、その人物の年齢や推奨成分、非推奨成分、好きな食材、嫌いな食材などがある。情報出力部４１３は、対象商品の商品情報と人物情報とを照合し、一致した部分を強調表示した商品情報をユーザ端末３００へ出力する。これにより、ユーザは、対象商品がユーザ情報に登録した人物に適した食品か否かを容易に把握することが可能となる。
　［商品認識モデル］
　次に、商品認識部４１２が用いる商品認識モデルについて説明する。商品認識モデルは、画像に含まれる商品の商品ＩＤを推定するモデルであり、いわゆる教師あり学習によって生成される。商品認識モデルの学習には、店舗で販売されている各商品の画像に商品ＩＤのラベルが付与されたデータ（以下、「教師データ」とも呼ぶ。）が用いられる。機械学習装置が教師データを用いて、商品の画像と商品ＩＤとの関係を学習することで、商品認識モデルが生成される。
　商品認識部４１２は、生成された商品認識モデルを用いて、対象商品の商品ＩＤを推定する。具体的に、商品認識モデルは、入力された対象商品の画像に基づいて、対象商品がどの商品ＩＤに属するかを確率で出力する。例えば、ある対象商品について、商品認識モデルは、商品ＩＤが００１である確率を「０．７」、商品ＩＤが００２である確率を「０．２」、商品ＩＤが００３である確率を「０．１」と出力する。なお、商品認識モデルは、各商品ＩＤの確率の合計が「１」となるように、確率を出力する。そして、商品認識モデルは、最も確率が高い商品ＩＤを、対象商品の商品ＩＤと推定する。上記の場合は、商品認識モデルは、「商品ＩＤは００１である」との推定結果を出力する。
　［商品検索処理］
　次に、上記のような商品検索を行う商品検索処理について説明する。図７は、サーバ２００において行われる商品検索処理のフローチャートである。この処理は、図２に示すプロセッサ２１２が予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。
　まず、ユーザはユーザ端末３００を装着した状態で、店舗内に陳列された商品を見ながら「これを調べて。」などの所定の発言をする。ユーザ端末３００はユーザの所定の発言を認識すると、動画の撮影を開始する。また、ユーザ端末３００はユーザの所定の発言を認識すると、ユーザの視線情報を取得する。そして、ユーザ端末３００は撮影動画と視線情報をサーバ２００へ送信する。
　サーバ２００の情報取得部４１１は、ユーザ端末３００から撮影動画とユーザの視線情報を取得する。そして、情報取得部４１１は、撮影動画とユーザの視線情報に基づいて、対象商品を推定する。そして、情報取得部４１１は、撮影動画から対象商品の画像を取得する（ステップＳ１１）。また、情報取得部４１１は、撮影動画に関連付けられたユーザＩＤを取得する。情報取得部４１１は、取得した対象商品の画像とユーザＩＤを商品認識部４１２へ出力する。次に、商品認識部４１２は、予め学習済みの商品認識モデルを用いて、情報取得部４１１から取得した対象商品の画像に基づいて、商品を認識し、認識結果として商品ＩＤを出力する（ステップＳ１２）。商品認識部４１２は、商品ＩＤと情報取得部４１１から取得したユーザＩＤを情報出力部４１３へ出力する。
　次に、情報出力部４１３は、商品認識部４１２から取得した商品ＩＤを基に、商品ＤＢ２１５ａから対象商品の商品情報を取得する（ステップＳ１３）。なお、情報出力部４１３は、インターネットから対象商品の商品情報を取得してもよい。また、情報出力部４１３は、商品認識部４１２から取得したユーザＩＤを基に、ユーザ情報ＤＢ２１５ｂからユーザ情報を取得する。そして、情報出力部４１３は、商品情報とユーザ情報とを照合する（ステップＳ１４）。情報出力部４１３は、商品情報とユーザ情報とを照合した結果、一致した部分がある場合は、一致した部分を強調表示した商品情報を生成する（ステップＳ１５）。例えば、商品情報の原材料名に「鶏」が含まれており、また、ユーザ情報に推奨成分又は非推奨成分として「鶏」が登録されている場合は、情報出力部４１３は、原材料名の「鶏」部分を強調表示した商品情報を生成する。情報出力部４１３は、商品情報をユーザ端末３００へ送信する（ステップＳ１６）。そして、商品検索処理は終了する。
　［変形例］
　次に、第１実施形態の変形例を説明する。以下の変形例は、適宜組み合わせて第１実施形態に適用することができる。
　（変形例１）
　上記の第１実施形態では、サーバ２００は、対象商品の商品情報をユーザ端末３００へ出力している。サーバ２００は、上記に加え、推奨商品の商品情報をユーザ端末３００へ出力してもよい。推奨商品は、対象商品の代替商品であり、推奨成分を含む商品や、非推奨成分を含まない商品などである。具体的に、サーバ２００は、対象商品の商品情報に非推奨成分が含まれる場合は、商品ＤＢ２１５ａ又はインターネットから非推奨成分を含まない商品を取得する。そして、非推奨成分を含まない商品を推奨商品としてユーザ端末３００へ出力する。一方、対象商品の商品情報に、ペットの非推奨成分が含まれない場合は、サーバ２００は、商品ＤＢ２１５ａ又はインターネットから、ペットの推奨成分を含む商品や、ペットの非推奨成分を含まない他の商品を取得し、取得した商品を推奨商品としてユーザ端末３００へ出力する。
　図８は、変形例１の表示例を示す。変形例１の表示例では、商品情報６１に加え、推奨商品６２がユーザ端末３００に表示されている。商品情報６１は、図６に示す商品情報６１と同様である。商品情報６１には、ペットの非推奨成分である「鶏」が含まれている。推奨商品６２は、推奨商品の商品情報である。推奨商品６２には、推奨商品として、ペットの非推奨成分である「鶏」を含まない商品の商品情報が表示されている。これにより、ユーザは、対象商品の代替商品を把握することが可能となる。
　（変形例２）
　上記の第１実施形態では、サーバ２００は、ユーザの所定の発言をきっかけに、対象商品の商品情報をユーザ端末３００へ送信している。その代わりに、サーバ２００は、撮影動画に含まれる商品の中から推奨商品を選択し、推奨商品の商品情報をユーザ端末３００へ送信してもよい。具体的に、リアル店舗において、ユーザは、ユーザ端末３００で動画を撮影しながら、店舗内を移動する。このとき、ユーザ端末３００は撮影動画を都度サーバ２００へ送信する。サーバ２００は、ユーザ端末３００から撮影動画を取得すると、撮影動画に含まれる商品を検出し、検出した商品の商品情報を取得する。そして、サーバ２００は、商品情報とユーザ情報を照合し、商品情報に推奨成分が含まれる場合や、商品情報に非推奨成分が含まれない場合などは、その商品を推奨商品とする。そして、サーバ２００は推奨商品の商品情報をユーザ端末３００へ送信する。これにより、ユーザは店舗内にある商品の中から、推奨商品を把握することが可能となる。
　（変形例３）
　上記の第１実施形態では、基本的にユーザ端末３００により取得された情報がそのままサーバ２００へ送信され、サーバ２００が受信した情報に基づいて、対象商品を認識し、商品情報を取得している。その代わりに、対象商品を認識する処理をユーザ端末３００が行い、その処理結果をサーバ２００へ送信することとしてもよい。また、サーバ２００を使用せず、対象商品を認識し、商品情報を取得する処理をユーザ端末３００で行うこととしてもよい。これにより、ユーザ端末３００からサーバ２００への通信負荷、及び、サーバ２００における処理負荷を軽減することができる。これらの場合、ユーザ端末３００は商品検索装置の一例である。
　＜第２実施形態＞
　図９は、第２実施形態の商品検索装置５０の機能構成を示すブロック図である。第２実施形態の商品検索装置５０は、取得手段５１と、認識手段５２と、情報出力手段５３とを備える。
　図１０は、商品検索装置５０による処理のフローチャートである。取得手段５１は、商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得する（ステップＳ５１）。認識手段５２は、前記画像及び前記視線情報に基づいて、前記商品を認識する（ステップＳ５２）。情報出力手段５３は、認識された商品の情報を取得し、出力する（ステップＳ５３）。
　第２実施形態の商品検索装置５０によれば、顧客が商品に触れずに商品の情報を確認することが可能となる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得する取得手段と、
　前記画像及び前記視線情報に基づいて、前記商品を認識する認識手段と、
　認識された商品の情報を取得し、出力する情報出力手段と、
　を備える商品検索装置。
　（付記２）
　前記情報出力手段は、ユーザ又は前記ユーザのペットの健康に影響を与える成分に関する情報を取得し、前記商品に含まれる成分のうち、前記ユーザ又は前記ユーザのペットの健康に有益な成分を強調して前記商品の情報を出力する付記１に記載の商品検索装置。
　（付記３）
　前記情報出力手段は、前記有益な成分を含み、かつ、前記商品と別の商品である推奨商品の情報を出力する付記２に記載の商品検索装置。
　（付記４）
　前記情報出力手段は、ユーザ又は前記ユーザのペットの健康に影響を与える成分に関する情報を取得し、前記商品に含まれる成分のうち、前記ユーザ又は前記ユーザのペットの健康に有害な成分を強調して前記商品の情報を出力する付記１に記載の商品検索装置。
　（付記５）
　前記情報出力手段は、前記商品の代替商品であり、かつ、前記健康に有害な成分を含まない推奨商品の情報を出力する付記４に記載の商品検索装置。
　（付記６）
　前記画像は店舗内にある商品の画像であり、
　前記情報出力手段は、前記店舗内にある商品から前記推奨商品を選択する付記３又は５に記載の商品検索装置。
　（付記７）
　前記取得手段は、ユーザの端末装置から前記商品の画像と、前記視線情報とを取得し、
　前記情報出力手段は、前記端末装置へ前記商品の情報を出力する付記１乃至６のいずれか一項に記載の商品検索装置。
　（付記８）
　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得し、
　前記画像及び前記視線情報に基づいて、前記商品を認識し、
　認識された商品の情報を取得し、出力する商品検索方法。
　（付記９）
　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得し、
　前記画像及び前記視線情報に基づいて、前記商品を認識し、
　認識された商品の情報を取得し、出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　２００　サーバ
　２１５　データベース（ＤＢ）
　３００　ユーザ端末
　４１１　情報取得部
　４１２　商品認識部
　４１３　情報出力部

Claims (9)

  1. 　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得する取得手段と、
    　前記画像及び前記視線情報に基づいて、前記商品を認識する認識手段と、
    　認識された商品の情報を取得し、出力する情報出力手段と、
    　を備える商品検索装置。
  2. 　前記情報出力手段は、ユーザ又は前記ユーザのペットの健康に影響を与える成分に関する情報を取得し、前記商品に含まれる成分のうち、前記ユーザ又は前記ユーザのペットの健康に有益な成分を強調して前記商品の情報を出力する請求項１に記載の商品検索装置。
  3. 　前記情報出力手段は、前記有益な成分を含み、かつ、前記商品と別の商品である推奨商品の情報を出力する請求項２に記載の商品検索装置。
  4. 　前記情報出力手段は、ユーザ又は前記ユーザのペットの健康に影響を与える成分に関する情報を取得し、前記商品に含まれる成分のうち、前記ユーザ又は前記ユーザのペットの健康に有害な成分を強調して前記商品の情報を出力する請求項１に記載の商品検索装置。
  5. 　前記情報出力手段は、前記商品の代替商品であり、かつ、前記健康に有害な成分を含まない推奨商品の情報を出力する請求項４に記載の商品検索装置。
  6. 　前記画像は店舗内にある商品の画像であり、
    　前記情報出力手段は、前記店舗内にある商品から前記推奨商品を選択する請求項３又は５に記載の商品検索装置。
  7. 　前記取得手段は、ユーザの端末装置から前記商品の画像と、前記視線情報とを取得し、
    　前記情報出力手段は、前記端末装置へ前記商品の情報を出力する請求項１乃至６のいずれか一項に記載の商品検索装置。
  8. 　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得し、
    　前記画像及び前記視線情報に基づいて、前記商品を認識し、
    　認識された商品の情報を取得し、出力する商品検索方法。
  9. 　商品の画像と、商品が置かれている商品棚に対するユーザの視線情報とを取得し、
    　前記画像及び前記視線情報に基づいて、前記商品を認識し、
    　認識された商品の情報を取得し、出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/014860 2022-03-28 2022-03-28 商品検索装置、商品検索方法、及び、記録媒体 WO2023187866A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014860 WO2023187866A1 (ja) 2022-03-28 2022-03-28 商品検索装置、商品検索方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014860 WO2023187866A1 (ja) 2022-03-28 2022-03-28 商品検索装置、商品検索方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2023187866A1 true WO2023187866A1 (ja) 2023-10-05

Family

ID=88199630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014860 WO2023187866A1 (ja) 2022-03-28 2022-03-28 商品検索装置、商品検索方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023187866A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011201293A (ja) * 2010-03-02 2011-10-13 Toshiba Tec Corp 情報出力装置、ラベルプリンタおよびプログラム
US20180018825A1 (en) * 2016-07-15 2018-01-18 Samsung Electronics Co., Ltd. Augmented Reality Device and Operation Thereof
JP2018112753A (ja) * 2018-03-20 2018-07-19 マクセル株式会社 情報表示端末及び情報表示方法
JP2018156478A (ja) * 2017-03-17 2018-10-04 ラスパンダス株式会社 コンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011201293A (ja) * 2010-03-02 2011-10-13 Toshiba Tec Corp 情報出力装置、ラベルプリンタおよびプログラム
US20180018825A1 (en) * 2016-07-15 2018-01-18 Samsung Electronics Co., Ltd. Augmented Reality Device and Operation Thereof
JP2018156478A (ja) * 2017-03-17 2018-10-04 ラスパンダス株式会社 コンピュータプログラム
JP2018112753A (ja) * 2018-03-20 2018-07-19 マクセル株式会社 情報表示端末及び情報表示方法

Similar Documents

Publication Publication Date Title
US11574739B2 (en) Systems and methods for formulating personalized skincare products
JP6482172B2 (ja) レコメンド装置、レコメンド方法、およびプログラム
US20100153180A1 (en) Generating Receptivity Cohorts
EP3616151A1 (en) Conducting digital surveys that collect and convert biometric data into survey respondent characteristics
CN112000894A (zh) 一种健康管理信息推送方法、装置、设备及存储介质
US9449025B1 (en) Determining similarity using human generated data
CN113609319A (zh) 商品搜索方法、装置和设备
TW201933234A (zh) 用以評價對於使用表情分析技術之商品的監視器的反應之資訊處理裝置、資訊處理系統及程式
JP2020067720A (ja) 人属性推定システム、それを利用する情報処理装置及び情報処理方法
US10311497B2 (en) Server, analysis method and computer program product for analyzing recognition information and combination information
WO2023187866A1 (ja) 商品検索装置、商品検索方法、及び、記録媒体
JP7263825B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2020038562A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP7406502B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP7259370B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN113409123A (zh) 一种信息推荐方法、装置、设备及存储介质
EP3675001A1 (en) A computer implemented method, a system and computer program for determining optimal behavior path for a user
JP2016174791A (ja) コンテンツ推奨システムおよびコンテンツ推奨方法
JP7301432B1 (ja) 因果推論プログラム、及び因果推論装置
WO2023175931A1 (ja) 画像分類装置、画像分類方法、及び、記録媒体
JP7430939B1 (ja) ミラー装置及びプログラム
WO2022080160A1 (ja) 情報提供システム、情報提供方法及びプログラム
KR102620689B1 (ko) 도어 영상 분석 기반의 ai 비서 장치 및 시스템
JP6812603B2 (ja) 行動関連情報提供システム、行動関連情報の提供方法、プログラム、およびカメラ
KR20230111290A (ko) 음식 이미지 분석에 기초한 영양소 분석 및 음식 추천 플랫폼 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935021

Country of ref document: EP

Kind code of ref document: A1