JP5142306B1 - Product information providing system, product information providing device, and product information output device - Google Patents

Product information providing system, product information providing device, and product information output device Download PDF

Info

Publication number
JP5142306B1
JP5142306B1 JP2012227502A JP2012227502A JP5142306B1 JP 5142306 B1 JP5142306 B1 JP 5142306B1 JP 2012227502 A JP2012227502 A JP 2012227502A JP 2012227502 A JP2012227502 A JP 2012227502A JP 5142306 B1 JP5142306 B1 JP 5142306B1
Authority
JP
Japan
Prior art keywords
product
product information
voice data
information
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012227502A
Other languages
Japanese (ja)
Other versions
JP2014081693A (en
Inventor
和夫 金子
Original Assignee
和夫 金子
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和夫 金子 filed Critical 和夫 金子
Priority to JP2012227502A priority Critical patent/JP5142306B1/en
Application granted granted Critical
Publication of JP5142306B1 publication Critical patent/JP5142306B1/en
Priority to EP13846062.1A priority patent/EP2908281A4/en
Priority to PCT/JP2013/063490 priority patent/WO2014057704A1/en
Priority to US14/253,096 priority patent/US20140214622A1/en
Publication of JP2014081693A publication Critical patent/JP2014081693A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザに商品情報を提供すること。
【解決手段】商品情報提供システム10は、商品情報を提供する商品情報提供装置100と、商品情報提供装置100から商品情報を受信して出力する商品情報出力装置200とが通信回線を介して接続され、商品情報出力装置200は、ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用画像を取得する商品特定用画像取得手段と、商品特定用画像取得手段によって取得された商品特定用画像を商品情報提供装置へ送信して、商品特定用画像に基づいて特定される商品の商品情報を要求する商品情報要求手段と、商品情報提供装置から商品情報を受信する商品情報受信手段と、商品情報受信手段によって受信された商品情報を出力してユーザに提示する商品情報提示手段と、商品情報提示手段によって出力された商品情報に対するユーザからの質問を音声データとして取得する質問音声データ取得手段と、質問音声データ取得手段によって取得された質問音声データを商品情報提供装置へ送信して、質問に対する回答を要求する回答要求手段と、商品情報提供装置から質問に対する回答の音声データを回答音声データとして受信する回答受信手段と、回答受信手段によって受信された回答音声データを出力する音声データ出力手段とを備え、商品情報提供装置100は、商品情報出力装置から商品特定用画像を受信する商品特定用画像受信手段と、商品特定用画像受信手段によって受信された商品特定用画像を画像処理して、ユーザが商品情報の取得を希望する商品を特定する商品特定手段と、あらかじめ記録装置に記録されている商品情報の中から、商品特定手段によって特定された商品の商品情報を読み出す商品情報読み出し手段と、商品情報読み出し手段によって読み出された商品情報を商品情報出力装置へ送信する商品情報送信手段と、商品情報出力装置から質問音声データを受信する質問音声データ受信手段と、質問音声データ受信手段によって受信された質問音声データに基づいて、ユーザからの質問内容を特定する質問内容特定手段と、あらかじめ記録装置に記録されている、ユーザから想定される質問内容を示す情報と、質問に対する回答音声データとが関連付けられた応答用情報の中から、質問内容特定手段によって特定された質問内容に関連付けて記録されている回答音声データを読み出す回答音声データ読み出し手段と、回答音声データ読み出し手段によって読み出された回答音声データを商品情報出力装置へ送信する回答音声データ送信手段とを備える。
【選択図】図1
Product information is provided to a user.
A product information providing system 10 connects a product information providing device 100 that provides product information and a product information output device 200 that receives and outputs product information from the product information providing device 100 via a communication line. The product information output device 200 captures a subject for specifying a product based on an instruction from the user and acquires a product specifying image acquisition unit that acquires a product specifying image, and a product specifying image acquisition unit The product information requesting means for transmitting the product specifying image acquired by the above to the product information providing device and requesting the product information of the product specified based on the product specifying image, and receiving the product information from the product information providing device Product information receiving means, product information presenting means for outputting the product information received by the product information receiving means and presenting it to the user, and output by the product information presenting means Voice data acquisition means for acquiring a question from the user for the received product information as voice data, and the question voice data acquired by the question voice data acquisition means is transmitted to the product information providing apparatus to request an answer to the question Answer request means, answer receiving means for receiving voice data of answers to questions from the product information providing device as answer voice data, and voice data output means for outputting the answer voice data received by the answer receiving means, The information providing apparatus 100 performs image processing on the product specifying image receiving unit that receives the product specifying image from the product information output device and the product specifying image received by the product specifying image receiving unit, so that the user receives the product information. Product identification means for identifying the product for which acquisition is desired, and product information recorded in the recording device in advance. A product information reading unit that reads the product information of the product specified by the product specifying unit, a product information transmitting unit that transmits the product information read by the product information reading unit to the product information output device, and a product information output device Question voice data receiving means for receiving question voice data from, question content specifying means for specifying question contents from a user based on the question voice data received by the question voice data receiving means, and recorded in advance in a recording device Answers recorded in association with the question content specified by the question content specifying means from the response information in which the information indicating the question content assumed by the user and the answer voice data for the question are associated Answer voice data reading means for reading voice data and answer voice data reading means for reading Answer voice data transmitting means for sending the answer voice data that has been sent to the product information output device.
[Selection] Figure 1

Description

本発明は、商品情報提供システム、商品情報提供装置、及び商品情報出力装置に関する。   The present invention relates to a product information providing system, a product information providing device, and a product information output device.

次のような商品検索システムが知られている。この商品検索システムは、端末装置が検索対象の商品の画像パターンを用いて商品検索要求をすると、第一のサーバ装置で画像パターンと、データベースに予め格納されている商品の標準パターンとをマッチングさせて特定した商品認識情報を通信網を介して第二のサーバ装置へ送信し、第二のサーバ装置では、商品認識情報の受信に応答して、データベースに予め格納されている商品に関する情報から、商品認識情報により特定される商品に関する商品情報を抽出し、これを第一のサーバ装置を介して端末装置へ送信する(例えば、特許文献1)。   The following product search systems are known. In this product search system, when the terminal device makes a product search request using the image pattern of the search target product, the first server device matches the image pattern with the standard pattern of the product stored in the database in advance. The product recognition information specified in the above is transmitted to the second server device via the communication network, and the second server device responds to the reception of the product recognition information from the information about the product stored in advance in the database, Product information related to the product specified by the product recognition information is extracted and transmitted to the terminal device via the first server device (for example, Patent Document 1).

特開2006−31200号公報JP 2006-31200 A

しかしながら、従来の商品検索システムでは、端末装置は、受信した商品情報の検索結果を表示部に表示するのみであった。このため、ユーザがその商品について疑問点や確認したい点がある場合でも、これらを解決するための手段は提供されていなかった。   However, in the conventional product search system, the terminal device only displays the search result of the received product information on the display unit. For this reason, even if there is a question or a point that the user wants to confirm about the product, a means for solving these problems has not been provided.

本発明による商品情報提供システムは、商品情報を提供する商品情報提供装置と、商品情報提供装置から商品情報を受信して出力する商品情報出力装置とが通信回線を介して接続され、商品情報出力装置は、ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用画像を取得する商品特定用画像取得手段と、商品特定用画像取得手段によって取得された商品特定用画像を商品情報提供装置へ送信して、商品特定用画像に基づいて特定される商品の商品情報を要求する商品情報要求手段と、商品情報提供装置から商品情報を受信する商品情報受信手段と、商品情報受信手段によって受信された商品情報を出力してユーザに提示する商品情報提示手段と、商品情報提示手段によって出力された商品情報に対するユーザからの質問を音声データとして取得する質問音声データ取得手段と、質問音声データ取得手段によって取得された質問音声データを商品情報提供装置へ送信して、質問に対する回答を要求する回答要求手段と、商品情報提供装置から質問に対する回答の音声データを回答音声データとして受信する回答受信手段と、回答受信手段によって受信された回答音声データを出力する音声データ出力手段とを備え、商品情報提供装置は、商品情報出力装置から商品特定用画像を受信する商品特定用画像受信手段と、商品特定用画像受信手段によって受信された商品特定用画像を画像処理して、ユーザが商品情報の取得を希望する商品を特定する商品特定手段と、あらかじめ記録装置に記録されている商品情報の中から、商品特定手段によって特定された商品の商品情報を読み出す商品情報読み出し手段と、商品情報読み出し手段によって読み出された商品情報を商品情報出力装置へ送信する商品情報送信手段と、商品情報出力装置から質問音声データを受信する質問音声データ受信手段と、質問音声データ受信手段によって受信された質問音声データに基づいて、ユーザからの質問内容を特定する質問内容特定手段と、あらかじめ記録装置に記録されている、ユーザから想定される質問内容を示す情報と、質問に対する回答音声データとが関連付けられた応答用情報の中から、質問内容特定手段によって特定された質問内容に関連付けて記録されている回答音声データを読み出す回答音声データ読み出し手段と、回答音声データ読み出し手段によって読み出された回答音声データを商品情報出力装置へ送信する回答音声データ送信手段とを備えることを特徴とする。   A product information providing system according to the present invention includes a product information providing device that provides product information and a product information output device that receives and outputs product information from the product information providing device via a communication line, and outputs product information. The apparatus captures a subject for specifying a product based on an instruction from a user and acquires a product specifying image acquisition unit that acquires a product specifying image, and a product specification acquired by the product specifying image acquisition unit Product information requesting means for transmitting product images to the product information providing device and requesting product information of products specified based on the product specifying image; product information receiving means for receiving product information from the product information providing device; The product information presenting means for outputting the product information received by the product information receiving means and presenting it to the user, and the user for the product information output by the product information presenting means Question voice data acquisition means for acquiring the questions as voice data, answer voice request means for sending the question voice data acquired by the question voice data acquisition means to the product information providing device, and requesting an answer to the question, The product information providing device includes: a response receiving unit that receives voice data of an answer to the question from the information providing device as response voice data; and a voice data output unit that outputs the response voice data received by the response receiving unit. The product specifying image receiving means for receiving the product specifying image from the information output device and the product specifying image received by the product specifying image receiving means are subjected to image processing, and the product for which the user wishes to obtain product information is obtained. The product specifying means to be specified and the product information recorded in advance in the recording device are specified by the product specifying means. Product information reading means for reading product information of products, product information transmitting means for transmitting product information read by the product information reading means to the product information output device, and question voice data for receiving question voice data from the product information output device A data receiving means, a question content specifying means for specifying a question content from the user based on the question voice data received by the question voice data receiving means, and a question assumed by the user recorded in the recording device in advance Answer voice data reading means for reading the answer voice data recorded in association with the question contents specified by the question contents specifying means from the information for response in which the information indicating the contents and the answer voice data for the question are associated Answer voice data read by the answer voice data reading means Answer voice data transmitting means for transmitting to the force device.

本発明によれば、ユーザは、商品情報出力装置上で提示された商品情報に対して、音声で質問をして、その回答を得ることができるため、その場で容易に商品情報に対する疑問点を解消したり、確認したい事項を確認したりすることができる。   According to the present invention, the user can make a question by voice and obtain an answer to the product information presented on the product information output device. You can solve the problem or check the items you want to check.

商品情報提供システム10の一実施の形態の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an embodiment of a product information providing system 10. FIG. 商品情報提供装置100としてサーバ装置を用いた場合の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment at the time of using a server apparatus as the merchandise information provision apparatus 100. FIG. 商品情報出力装置200として、タブレット端末を用いた場合の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment at the time of using a tablet terminal as the merchandise information output device 200. FIG. 商品情報提供装置100で実行される商品情報登録処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the merchandise information registration process performed with the merchandise information provision apparatus 100. FIG. 商品情報提供装置100で実行される商品情報提供処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the merchandise information provision process performed with the merchandise information provision apparatus 100. FIG. 商品情報出力装置200で実行される商品情報出力処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the merchandise information output process performed with the merchandise information output device 200. FIG. 商品情報出力装置200で実行される質問処理の流れを示すフローチャート図である。6 is a flowchart showing a flow of question processing executed by a product information output apparatus 200. FIG. 商品情報提供装置100で実行される回答処理の流れを示すフローチャート図である。6 is a flowchart showing a flow of answer processing executed by the product information providing apparatus 100. FIG.

図1は、本実施の形態における商品情報提供システムの一実施の形態の構成を示すブロック図である。商品情報提供システム10は、商品情報が記録された商品情報提供装置100と、商品情報提供装置100から商品情報の提供を受けてユーザへ出力する商品情報出力装置200とが、インターネット等の通信回線を介して接続されている。   FIG. 1 is a block diagram showing a configuration of an embodiment of a product information providing system in the present embodiment. The product information providing system 10 includes a product information providing device 100 in which product information is recorded, and a product information output device 200 that receives product information from the product information providing device 100 and outputs the product information to a user. Connected through.

商品情報提供装置100としては、例えば、サーバ装置等が用いられる。また、商品情報出力装置200としては、例えば、パーソナルコンピュータ(以下、「パソコン」と呼ぶ)の他、スマートフォン、携帯電話、タブレット端末といった種々の情報端末が用いられる。なお、本実施の形態では、インターネットに1台の商品情報提供装置100と1台の商品情報出力装置200とが接続されている例を示しているが、これらの台数は限定されない。   As the product information providing apparatus 100, for example, a server apparatus or the like is used. In addition, as the product information output device 200, for example, various information terminals such as a smartphone, a mobile phone, and a tablet terminal are used in addition to a personal computer (hereinafter referred to as a “personal computer”). In the present embodiment, an example is shown in which one product information providing device 100 and one product information output device 200 are connected to the Internet, but the number of these devices is not limited.

図2は、本実施の形態における商品情報提供装置100としてサーバ装置を用いた場合の一実施の形態の構成を示すブロック図である。商品情報提供装置100は、操作部材101と、接続IF102と、制御装置103と、記録装置104と、表示装置105とを備えている。   FIG. 2 is a block diagram showing a configuration of an embodiment when a server apparatus is used as the product information providing apparatus 100 in the present embodiment. The product information providing apparatus 100 includes an operation member 101, a connection IF 102, a control device 103, a recording device 104, and a display device 105.

操作部材101は、商品情報提供装置100の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。   The operation member 101 includes various devices operated by an operator of the product information providing device 100, such as a keyboard and a mouse.

接続IF102は、商品情報提供装置100をインターネット等の通信回線に接続するためのインターフェースであり、例えば、インターネットに有線で接続するための有線LANモジュールや、インターネットに無線で接続するための無線LANモジュールなどが用いられる。   The connection IF 102 is an interface for connecting the product information providing apparatus 100 to a communication line such as the Internet. For example, a wired LAN module for connecting to the Internet by wire or a wireless LAN module for connecting to the Internet wirelessly Etc. are used.

制御装置103は、CPU、メモリ、およびその他の周辺回路によって構成され、商品情報提供装置100の全体を制御する。なお、制御装置103を構成するメモリは、例えばSDRAM等の揮発性のメモリである。このメモリは、CPUがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続IF102を介して読み込まれたデータは、バッファメモリに一時的に記録される。   The control device 103 includes a CPU, a memory, and other peripheral circuits, and controls the entire product information providing device 100. The memory constituting the control device 103 is a volatile memory such as SDRAM, for example. This memory is used as a work memory for the CPU to expand the program when the program is executed and a buffer memory for temporarily recording data. For example, data read through the connection IF 102 is temporarily recorded in the buffer memory.

記録装置104は、商品情報提供装置100が蓄える種々のデータや、制御装置103が実行するためのプログラムのデータ等を記録するための記録装置であり、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等が用いられる。なお、記録装置104に記録されるプログラムのデータは、CD−ROMやDVD−ROMなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、使用者が取得したプログラムのデータを記録装置104にインストールすることによって、制御装置103がプログラムを実行できるようになる。   The recording device 104 is a recording device for recording various data stored in the product information providing device 100, data of a program to be executed by the control device 103, and the like, for example, HDD (Hard Disk Drive) or SSD (Solid). State Drive) or the like is used. The program data recorded in the recording device 104 is provided by being recorded on a recording medium such as a CD-ROM or DVD-ROM, or provided via a network, and records the program data acquired by the user. By installing in the device 104, the control device 103 can execute the program.

表示装置105は、例えば液晶モニタであって、制御装置103から出力される種々の表示用データが表示される。   The display device 105 is, for example, a liquid crystal monitor, and displays various display data output from the control device 103.

図3は、本実施の形態における商品情報出力装置200として、タブレット端末を用いた場合の一実施の形態の構成を示すブロック図である。商品情報出力装置200は、タッチパネル201と、通信モジュール202と、制御装置203と、マイク204と、スピーカ205と、カメラ206とを備えている。   FIG. 3 is a block diagram showing a configuration of an embodiment when a tablet terminal is used as the product information output device 200 in the present embodiment. The product information output device 200 includes a touch panel 201, a communication module 202, a control device 203, a microphone 204, a speaker 205, and a camera 206.

タッチパネル201は、液晶パネル等の表示装置とタッチパッドのような位置入力装置を組み合わせた電子部品であり、画面上の表示を押すことで機器を操作することができる入力装置である。例えば、商品情報出力装置200のユーザは、液晶パネル上に表示されたボタンやメニュー等の表示項目を指やタッチペンを用いてタッチまたはスライドさせることにより、商品情報出力装置200を操作することができる。タッチパネル201は、ユーザによるタッチやスライドといった操作を検出して、その検出信号を制御装置203へ出力する。   The touch panel 201 is an electronic component that combines a display device such as a liquid crystal panel and a position input device such as a touch pad, and is an input device that can operate the device by pressing a display on the screen. For example, the user of the product information output device 200 can operate the product information output device 200 by touching or sliding display items such as buttons and menus displayed on the liquid crystal panel using a finger or a touch pen. . The touch panel 201 detects an operation such as a touch or a slide by the user and outputs a detection signal to the control device 203.

通信モジュール202は、無線または有線により、LANや携帯電話通信網を介してインターネットに接続するためのモジュールが用いられる。商品情報出力装置200は、この通信モジュール202を介して商品情報提供装置100と通信を行う。   As the communication module 202, a module for connecting to the Internet via a LAN or a cellular phone communication network is used by wireless or wired. The merchandise information output device 200 communicates with the merchandise information providing device 100 via the communication module 202.

制御装置203は、CPU、メモリ、およびその他の周辺回路によって構成され、商品情報出力装置200の全体を制御する。なお、制御装置203を構成するメモリは、例えばSDRAM等の揮発性のメモリやフラッシュメモリ等の不揮発性のメモリを含む。揮発性のメモリは、CPUがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。また、不揮発性のメモリには、商品情報出力装置200を動作させるためのファームウェアや種々のアプリケーションを動作させるためのソフトウェアのプログラムデータが記録される。   The control device 203 includes a CPU, a memory, and other peripheral circuits, and controls the entire product information output device 200. The memory constituting the control device 203 includes, for example, a volatile memory such as SDRAM and a non-volatile memory such as flash memory. The volatile memory is used as a work memory for the CPU to expand the program when the program is executed and a buffer memory for temporarily recording data. In addition, in the non-volatile memory, firmware for operating the product information output apparatus 200 and software program data for operating various applications are recorded.

本実施の形態では、商品情報出力装置200には、あらかじめ商品情報提供装置100と通信して、商品情報の送信を要求したり、商品情報を受信したりするために必要なアプリケーション(以下、「商品情報アプリ」と呼ぶ)があらかじめインストールされているものとする。この商品情報アプリを起動することによって制御装置203で実行される処理については後述する。   In the present embodiment, the product information output device 200 communicates with the product information providing device 100 in advance to request transmission of product information or receive product information (hereinafter, “ It is assumed that a “product information application” is installed in advance. The processing executed by the control device 203 by starting this product information application will be described later.

マイク204は、ユーザによる発話音声を入力するための集音装置であり、スピーカ205は、音声を出力するための出力装置である。   The microphone 204 is a sound collection device for inputting a speech voice by a user, and the speaker 205 is an output device for outputting a sound.

カメラ206は、レンズ、撮像素子、その他周辺回路によって構成される公知の撮像装置である。ユーザは、商品情報出力装置200上で撮影用アプリケーションを起動させることにより、カメラ206を用いた撮影を行うことができる。   The camera 206 is a well-known imaging device that includes a lens, an imaging device, and other peripheral circuits. The user can perform shooting using the camera 206 by activating a shooting application on the product information output device 200.

本実施の形態における商品情報提供システム10では、商品情報を提供する商品情報提供者は、不図示の端末から商品情報提供者端末100へアクセスして、商品情報を商品情報提供装置100に登録する。これによって、商品情報提供装置100で商品情報が公開され、ユーザは、商品情報出力装置200を操作して商品情報の提供を受けることが可能となる。なお、商品情報の提供者としては、商品を製造するメーカーや商品を販売する販売店等が想定される。また、商品情報の提供を受けるユーザとしては、商品の購入を希望する消費者や商品に興味を持っている消費者が想定される。   In the product information providing system 10 according to the present embodiment, a product information provider that provides product information accesses the product information provider terminal 100 from a terminal (not shown) and registers the product information in the product information providing apparatus 100. . Thereby, the product information is disclosed in the product information providing apparatus 100, and the user can receive the provision of the product information by operating the product information output apparatus 200. In addition, as a provider of product information, a manufacturer that manufactures products, a store that sells products, and the like are assumed. Moreover, as a user who receives provision of product information, a consumer who wants to purchase a product or a consumer who is interested in the product is assumed.

以下、本実施の形態における商品情報提供システム10において、商品情報提供装置100と商品情報出力装置200とによって行われる処理の内容を中心に説明を行う。   Hereinafter, in the merchandise information providing system 10 according to the present embodiment, description will be made focusing on the content of processing performed by the merchandise information providing apparatus 100 and the merchandise information output apparatus 200.

まず、商品情報提供装置100への商品情報の登録処理について説明する。商品情報提供者は、不図示の端末上で、自社が製造または販売する商品に関する種々の情報を商品情報として入力する。商品情報としては、例えば、商品を特定するための商品特定用情報、商品の価格情報、商品の仕様情報、商品の在庫情報、商品の納期情報、当該商品と他製品とを比較した結果を示す比較情報、商品の3DCADデータ、商品に対して実施されているキャンペーン情報、商品のウェブサイト情報、商品のCM動画情報の少なくとも1つを含んでいる。   First, a process for registering product information in the product information providing apparatus 100 will be described. The merchandise information provider inputs, as merchandise information, various information related to merchandise manufactured or sold by the company on a terminal (not shown). The product information includes, for example, product specifying information for specifying a product, product price information, product specification information, product inventory information, product delivery date information, and a result of comparing the product with another product. It includes at least one of comparison information, 3D CAD data of the product, campaign information executed for the product, website information of the product, and CM video information of the product.

なお、商品特定用情報としては、商品を一意に特定するための情報として、例えば、商品名、商品番号、商品ID等が用いられる。また、商品の在庫情報としては、情報出力装置200が設置されている店舗での商品の在庫情報、商品を製造するメーカーでの商品の在庫情報、商品の配送元である配送センターにおける商品の在庫情報等が記録される。また、商品の納期情報としては、情報出力装置200が設置されている店舗での商品の納期情報、商品を製造するメーカーでの商品の納期情報、商品の配送元である配送センターにおける商品の納期情報等が記録される。   As the product specifying information, for example, a product name, a product number, a product ID, or the like is used as information for uniquely specifying a product. The product inventory information includes product inventory information at the store where the information output device 200 is installed, product inventory information at the manufacturer that manufactures the product, and product inventory at the delivery center that is the product delivery source. Information etc. are recorded. Also, as the delivery date information of the product, the delivery date information of the product at the store where the information output device 200 is installed, the delivery date information of the product at the manufacturer that manufactures the product, the delivery date of the product at the delivery center that is the delivery source of the product Information etc. are recorded.

不図示の端末上で入力された商品情報のデータは、該端末が備える不図示の制御装置が実行する処理によって、通信回線を介して商品情報提供装置100へ送信される。   Product information data input on a terminal (not shown) is transmitted to the product information providing apparatus 100 via a communication line by processing executed by a control device (not shown) provided in the terminal.

商品情報提供装置100では、制御装置103は、商品情報提供者が操作する端末から送信された商品情報のデータを受信すると、受信したデータを記録装置104に記録する。これによって、商品情報提供者によって入力された商品情報が商品情報提供装置100に登録される。   In the product information providing apparatus 100, when receiving the product information data transmitted from the terminal operated by the product information provider, the control device 103 records the received data in the recording device 104. Thereby, the product information input by the product information provider is registered in the product information providing apparatus 100.

商品情報提供装置100に登録された商品情報は、商品情報提供者が不図示の端末を操作して任意に変更することができる。すなわち、商品情報提供者が端末上で商品情報を修正した場合には、変更後の商品情報のデータが商品情報提供装置100へ送信され、これを受信した商品情報提供装置100では、制御装置103は、記録装置104に記録されている商品情報を修正後の内容に更新する。   The merchandise information registered in the merchandise information providing apparatus 100 can be arbitrarily changed by the merchandise information provider operating a terminal (not shown). That is, when the merchandise information provider modifies the merchandise information on the terminal, the changed merchandise information data is transmitted to the merchandise information providing apparatus 100. In the merchandise information providing apparatus 100 that has received the data, the control apparatus 103 Updates the product information recorded in the recording device 104 to the corrected content.

このように、商品情報提供装置100に商品情報が登録されると、ユーザは、商品情報出力装置200を操作して、自身が購入を検討している商品や興味を持っている商品の商品情報を閲覧することが可能となる。例えば、商品情報提供装置100によって商品情報が提供される商品を販売する店舗では、店頭に商品情報出力装置200を設置しておく。店舗を訪れたユーザは、設置されている商品情報出力装置200を操作して、自身が購入を希望する商品や持っている商品の商品情報を確認することができる。   As described above, when the product information is registered in the product information providing apparatus 100, the user operates the product information output apparatus 200, and the product information of the product that the user is considering or interested in purchasing. Can be browsed. For example, in a store that sells products for which product information is provided by the product information providing device 100, the product information output device 200 is installed at the store. A user who visits the store operates the installed product information output device 200 and can confirm the product information he wishes to purchase or the product information he has.

具体的には、ユーザは、まず商品情報出力装置200を操作して上述した商品情報アプリを起動する。制御装置203は、商品情報アプリの起動が指示されると、タッチパネル201上にアプリ画面を表示し、アプリ画面上でのユーザによる操作を待ち受ける。ユーザは、商品情報提供装置100から商品情報を取得することを希望する場合には、商品情報提供装置100に対してその商品を特定するための情報を送信して、商品情報を要求する必要がある。   Specifically, the user first operates the product information output device 200 to activate the product information application described above. When the activation of the product information application is instructed, the control device 203 displays an application screen on the touch panel 201 and waits for a user operation on the application screen. When the user desires to acquire product information from the product information providing apparatus 100, the user needs to request the product information by transmitting information for specifying the product to the product information providing apparatus 100. is there.

本実施の形態では、アプリ画面上でユーザによって商品情報の取得が指示された場合には、制御装置203は、カメラ206を使用した撮影機能を起動して、ユーザに対して商品を特定するための被写体を撮影するように促す。ユーザは、商品を特定するための被写体として、(A)商品名、商品コード、商品番号などの商品を特定するための文字列、(B)商品のイラスト、広告に表示されている写真、図面などの商品を特定するための図形、(C)店舗に展示・陳列されている商品自体、(D)商品の模型やサンプル等の商品を模した立体物、(E)店舗に設置されている広告用看板や広告ポスターなどの商品の形状を模した図形が描かれた設置物等を被写体として選んで撮影を行う。   In the present embodiment, when acquisition of product information is instructed by the user on the application screen, the control device 203 activates a shooting function using the camera 206 to specify the product for the user. Encourage you to shoot the subject. As a subject for specifying the product, the user (A) a character string for specifying the product such as a product name, a product code, and a product number, (B) a product illustration, a photograph displayed in the advertisement, and a drawing Figures for identifying products such as (C) Products themselves displayed and displayed in stores, (D) Three-dimensional objects that imitate products such as models and samples of products, (E) Installed in stores Shooting is performed by selecting an installation or the like on which a figure imitating the shape of a product such as an advertising billboard or an advertising poster is drawn.

制御装置203は、ユーザによって撮影が行われた場合には、カメラ206から出力される画像データを取り込んで、通信モジュール202を介して商品情報提供装置100へ送信する。   The control device 203 captures image data output from the camera 206 and transmits the image data to the product information providing device 100 via the communication module 202 when the user has photographed.

商品情報提供装置100では、制御装置103は、商品情報出力装置100から商品を特定するための被写体を撮影した画像データを受信した場合には、受信した画像データを対象とした被写体抽出処理を行って、画像内から商品を特定するための被写体の画像を抽出する。なお、ここで実行される被写体画像を抽出するための処理は公知の処理であるため詳細な説明は省略するが、例えば、画像内からエッジを抽出して、抽出したエッジの形状に基づいて画像内から被写体画像を抽出する等の方法を用いればよい。   In the product information providing apparatus 100, when receiving the image data obtained by photographing the subject for specifying the product from the product information output apparatus 100, the control device 103 performs subject extraction processing on the received image data. Thus, an image of a subject for specifying a product is extracted from the image. Note that the process for extracting the subject image executed here is a known process and will not be described in detail. For example, an edge is extracted from the image, and the image is extracted based on the extracted edge shape. A method such as extracting a subject image from the inside may be used.

制御装置103は、抽出した被写体画像と、あらかじめ記録装置104に記録されている商品特定用の画像とをマッチングさせることにより、商品出力装置200から受信した画像データ内に写っている被写体を特定する。商品特定用の画像は、例えば、商品情報の提供者が、ユーザが商品を特定するための被写体として選択する可能性があるものをあらかじめ撮影して記録装置104に記録しておけばよい。   The control device 103 identifies the subject shown in the image data received from the product output device 200 by matching the extracted subject image with the product specifying image recorded in the recording device 104 in advance. . For example, the product identification image may be recorded in the recording device 104 by capturing in advance a product information provider that the user may select as a subject for identifying the product.

制御装置103は、マッチング処理によって特定した被写体に基づいて、ユーザが撮影した被写体に対応する商品を特定する。例えば、マッチングに用いる商品特定用の画像には、記録装置104上で上述した商品特定用情報が関連付けられており、制御装置103は、マッチングの結果、被写体とマッチした商品特定用画像に関連付けられている商品特定用情報を抽出することにより商品を特定する。   The control device 103 identifies a product corresponding to the subject photographed by the user based on the subject identified by the matching process. For example, the product specifying information described above on the recording device 104 is associated with the product specifying image used for matching, and the control device 103 is associated with the product specifying image that matches the subject as a result of matching. The product is specified by extracting the product specifying information.

制御装置103は、特定した商品特定用情報が一致する商品情報を記録装置104から読み出して、商品情報出力装置200へ送信する。これによって、商品情報出力装置200で撮影された被写体に基づいて特定された商品の商品情報が商品情報出力装置200へ送信される。   The control device 103 reads the product information that matches the specified product specifying information from the recording device 104 and transmits it to the product information output device 200. As a result, the product information of the product specified based on the subject photographed by the product information output device 200 is transmitted to the product information output device 200.

商品情報出力装置200では、制御装置203は、受信した商品情報をタッチパネル201へ出力して表示する。これによって、ユーザは自信が興味を持っている商品や購入を検討している商品の商品情報を商品情報出力装置200上で確認することができる。   In the product information output device 200, the control device 203 outputs the received product information to the touch panel 201 for display. Thereby, the user can confirm on the product information output device 200 the product information of the product that the user is interested in or the product that is being purchased.

なお、商品情報提供装置100の制御装置103は、受信した画像データから被写体が抽出できないことにより、商品を特定することができない場合には、商品を特定することができないことを示すエラーメッセージを商品情報出力装置200へ送信する。商品情報出力装置200では、制御装置203は、商品情報提供装置100からエラーメッセージを受信した場合には、受信したエラーメッセージをタッチパネル201に出力して表示したり、スピーカ205を介して出力することにより、ユーザに通知する。   The control device 103 of the product information providing apparatus 100 displays an error message indicating that the product cannot be specified when the product cannot be specified because the subject cannot be extracted from the received image data. It transmits to the information output device 200. In the merchandise information output device 200, when receiving an error message from the merchandise information providing device 100, the control device 203 outputs the received error message to the touch panel 201 and displays it via the speaker 205. To notify the user.

本実施の形態では、ユーザは、タッチパネル201上に表示された商品情報について疑問点がある場合、確認したい事項がある場合、または表示された商品情報だけでは情報が不足している場合など、商品に対する質問がある場合には、商品情報提供装置100へ質問を行うことができる。例えば、タッチパネル201上には、商品情報とともに質問開始を指示するためのボタンが表示されており、ユーザは該ボタンにタッチすることにより、質問を行うことができる。   In the present embodiment, the user has a question about the product information displayed on the touch panel 201, a matter to be confirmed, or a case where information is insufficient only by the displayed product information. Can be asked to the product information providing apparatus 100. For example, a button for instructing the start of a question is displayed on the touch panel 201 together with product information, and the user can make a question by touching the button.

制御装置203は、ユーザによって質問の開始が指示された場合には、マイク204を介した音声入力の待ち受けを開始する。このとき、制御装置203は、タッチパネル203上にユーザに対して質問の発話を促す表示を行うようにしてもよい。   When the start of the question is instructed by the user, the control device 203 starts waiting for voice input through the microphone 204. At this time, the control device 203 may display on the touch panel 203 to prompt the user to speak a question.

制御装置203は、マイク204を介してユーザによる質問音声の入力が開始されたことを検出した場合には、入力された音声データをバッファメモリに記録した後に、通信モジュール202を介して商品情報提供装置100へ送信する。   When the control device 203 detects that the input of the question voice by the user via the microphone 204 is started, the control device 203 records the input voice data in the buffer memory and then provides the product information via the communication module 202. Transmit to device 100.

商品情報提供装置100では、制御装置103は、商品情報出力装置200から質問の音声データを受信したことを検出した場合には、受信した音声データをバッファメモリに記録した後、公知の音声認識技術を利用して、音声データから質問内容を特定する。例えば、あらかじめ記録装置104に音声認識用の待ち受け単語を記録しておき、制御装置103は、バッファメモリに記録した音声データを対象として、待ち受け単語を利用した音声認識処理を実行する。待ち受け単語とのマッチングの結果、質問内容に含まれる単語が抽出され、ユーザからの質問内容が特定される。   In the merchandise information providing apparatus 100, when the control apparatus 103 detects that the voice data of the question is received from the merchandise information output apparatus 200, the control apparatus 103 records the received voice data in the buffer memory, and then uses a known voice recognition technique. Using the, specify the question content from the voice data. For example, a standby word for speech recognition is recorded in the recording device 104 in advance, and the control device 103 executes speech recognition processing using the standby word for speech data recorded in the buffer memory. As a result of matching with the standby word, the word included in the question content is extracted, and the question content from the user is specified.

制御装置103は、特定したユーザの質問内容に応じて、ユーザへの回答処理を行う。例えば、記録装置104には、ユーザから想定される質問内容と、それに対する回答の音声データとを関連付けた応答用情報を記録しておき、制御装置103は、特定した質問内容が記録装置104に記録されている場合には、その質問内容に関連付けて記録されている回答の音声データを読み出して、商品情報出力装置200へ送信する。なお、ここでユーザから想定される質問内容に関連付けて記録される回答の音声データは、デパートでの接客手法や、トップセールスマンの会話手法などを取り入れた回答内容を音声データ化したものとすれば、顧客満足度を向上させることができる。   The control device 103 performs an answer process to the user according to the content of the identified user question. For example, the recording device 104 records response information in which the question content assumed by the user is associated with the voice data of the response to the question content, and the control device 103 stores the specified question content in the recording device 104. If it is recorded, the voice data of the answer recorded in association with the question content is read and transmitted to the product information output device 200. Note that the voice data of the answers recorded in association with the question content assumed by the user here is the answer data that incorporates the customer service method at the department store or the conversation method of the top salesman. As a result, customer satisfaction can be improved.

商品情報出力装置200では、制御装置203は、商品情報提供装置100から回答の音声データを受信した場合には、受信した音声データをスピーカ205を介して出力する。これによって、ユーザは、質問に対する回答を商品情報提供装置100から得ることができ、疑問点等を解消することができる。   In the merchandise information output device 200, when receiving the answer voice data from the merchandise information providing apparatus 100, the control device 203 outputs the received voice data via the speaker 205. Thus, the user can obtain an answer to the question from the product information providing apparatus 100, and can solve the question.

また、商品情報提供装置100の制御装置103は、バッファメモリに記録した質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データを記録装置104に記録する。これにより、記録装置104には、応答データの履歴が蓄積されていく。商品情報の提供者や商品情報提供システム10の提供者は、記録装置104に記録されている当該応答データの履歴を参照することにより、商品や商品情報に対するユーザの質問傾向を把握することができるため、ユーザが質問をしなくても済むように商品情報の内容を充実させることができる。   Further, the control device 103 of the product information providing apparatus 100 records response data in which the voice data of the question recorded in the buffer memory and the voice data of the answer to the question are associated with each other in the recording device 104. As a result, the history of response data is accumulated in the recording device 104. The merchandise information provider and the merchandise information provision system 10 provider can grasp the user's question tendency with respect to the merchandise and the merchandise information by referring to the history of the response data recorded in the recording device 104. Therefore, the content of the product information can be enhanced so that the user does not have to ask questions.

一方、商品情報提供装置100の制御装置103は、特定した質問内容が記録装置104に記録されていない場合や、音声認識処理の結果、質問内容が特定できない場合には、音声認識ができないこと、または質問内容が特定できないことを示すエラーメッセージを商品情報出力装置200へ送信する。商品情報出力装置200では、制御装置203は、商品情報提供装置100からエラーメッセージを受信した場合には、受信したエラーメッセージをタッチパネル201に出力して表示したり、スピーカ205を介して出力することにより、ユーザに通知する。これによって、ユーザは、商品情報提供装置100から回答を得ることができなかったことを把握することができる。   On the other hand, the control device 103 of the product information providing apparatus 100 cannot perform voice recognition when the specified question content is not recorded in the recording device 104 or when the question content cannot be specified as a result of the voice recognition process. Alternatively, an error message indicating that the question content cannot be specified is transmitted to the product information output device 200. In the merchandise information output device 200, when receiving an error message from the merchandise information providing device 100, the control device 203 outputs the received error message to the touch panel 201 and displays it via the speaker 205. To notify the user. Thereby, the user can grasp that an answer could not be obtained from the product information providing apparatus 100.

この場合も制御装置103は、バッファメモリに記録した質問の音声データと、その質問に対して回答できなかったことを示すデータとを関連付けて記録装置104に記録する。これにより、商品情報の提供者や商品情報提供システム10の提供者は、回答できなかった質問の履歴を把握することができるため、待ち受け単語の見直しや音声認識処理の見直しを行って音声認識精度の向上に努めたり、想定される質問とそれに対する回答を追加して、より多くの質問に対応できるように、システムをバージョンアップさせていくことができる。   In this case as well, the control device 103 records the question voice data recorded in the buffer memory in association with the data indicating that the question could not be answered in the recording device 104. Thereby, since the provider of the product information and the provider of the product information providing system 10 can grasp the history of questions that could not be answered, the speech recognition accuracy is improved by reviewing the standby word and the speech recognition process. It is possible to upgrade the system so that more questions can be answered by trying to improve the system or adding possible questions and answers.

図4は、本実施の形態における商品情報提供装置100で実行される商品情報登録処理の流れを示すフローチャートである。図4に示す処理は、商品情報提供者が操作する不図示の端末から、上述した商品情報を受信すると起動するプログラムとして、制御装置103によって実行される。   FIG. 4 is a flowchart showing a flow of product information registration processing executed by the product information providing apparatus 100 according to the present embodiment. The process shown in FIG. 4 is executed by the control device 103 as a program that starts when the above-described product information is received from a terminal (not shown) operated by the product information provider.

ステップS10において、制御装置103は、不図示の端末から受信した商品情報を記録装置104に記録する。その後、処理を終了する。   In step S <b> 10, the control device 103 records product information received from a terminal (not shown) in the recording device 104. Thereafter, the process ends.

図5は、本実施の形態における商品情報提供装置100で実行される商品情報提供処理の流れを示すフローチャートである。図5に示す処理は、商品情報出力装置200から、商品情報の要求のために、上述した商品を特定するための被写体を撮影した画像データを受信すると起動するプログラムとして、制御装置103によって実行される。   FIG. 5 is a flowchart showing a flow of product information provision processing executed by the product information provision apparatus 100 according to the present embodiment. The processing shown in FIG. 5 is executed by the control device 103 as a program that is activated when image data obtained by photographing a subject for specifying the above-described product is received from the product information output device 200 in order to request product information. The

ステップS110において、制御装置103は、上述したように、受信した画像データを対象とした被写体抽出処理を行って、画像内から商品を特定するための被写体画像を抽出する。その後、ステップS120へ進む。   In step S110, as described above, the control device 103 performs subject extraction processing on the received image data, and extracts a subject image for specifying a product from the image. Then, it progresses to step S120.

ステップS120では、制御装置103は、ステップS110で被写体抽出処理の結果、画像内から被写体画像が抽出できたか否かを判断する。ステップS120で否定判断した場合には、ステップS160へ進み、制御装置103は、商品を特定することができないことを示すエラーメッセージを商品情報出力装置200へ送信して、処理を終了する。これに対して、ステップS120で肯定判断した場合には、ステップS130へ進む。   In step S120, the control device 103 determines whether a subject image has been extracted from the image as a result of the subject extraction process in step S110. When a negative determination is made in step S120, the process proceeds to step S160, and the control device 103 transmits an error message indicating that the product cannot be specified to the product information output device 200, and ends the process. On the other hand, if a positive determination is made in step S120, the process proceeds to step S130.

ステップS130では、制御装置103は、上述したように、抽出した被写体画像と、あらかじめ記録装置104に記録されている商品特定用の画像とをマッチングさせることにより、商品出力装置200から受信した画像データ内に写っている被写体を特定する。その後、ステップS140へ進む。   In step S130, as described above, the control device 103 matches the extracted subject image with the product specifying image recorded in the recording device 104 in advance, thereby receiving the image data received from the product output device 200. Identify the subject in the picture. Thereafter, the process proceeds to step S140.

ステップS140では、制御装置103は、上述したように、マッチングの結果、被写体とマッチした商品特定用画像に関連付けられている商品特定用情報を抽出することにより商品を特定して、ステップS150へ進む。   In step S140, as described above, the control device 103 specifies the product by extracting the product specifying information associated with the product specifying image matched with the subject as a result of matching, and proceeds to step S150. .

ステップS150では、制御装置103は、特定した商品特定用情報が一致する商品情報を記録装置104から読み出して、商品情報出力装置200へ送信する。その後、処理を終了する。   In step S <b> 150, the control device 103 reads product information that matches the specified product specifying information from the recording device 104 and transmits the product information to the product information output device 200. Thereafter, the process ends.

図6は、本実施の形態における商品情報出力装置200で実行される商品情報出力処理の流れを示すフローチャートである。図6に示す処理は、上述したように、ユーザによって商品情報アプリの起動が指示されると起動するプログラムとして、制御装置203によって実行される。   FIG. 6 is a flowchart showing a flow of product information output processing executed by the product information output device 200 according to the present embodiment. As described above, the process illustrated in FIG. 6 is executed by the control device 203 as a program that is activated when the activation of the product information application is instructed by the user.

ステップS210では、制御装置203は、タッチパネル201上にアプリ画面を表示し、アプリ画面上でのユーザによる操作を待ち受ける。その後、ステップS220へ進む。   In step S210, the control device 203 displays an application screen on the touch panel 201 and waits for an operation by the user on the application screen. Thereafter, the process proceeds to step S220.

ステップS220では、制御装置203は、アプリ画面上でユーザによって商品情報の取得が指示されたか否かを判断する。ステップS220で肯定判断した場合には、ステップS230へ進む。   In step S220, the control device 203 determines whether or not an instruction to acquire product information is given by the user on the application screen. If a positive determination is made in step S220, the process proceeds to step S230.

ステップS230では、制御装置203は、上述したように、カメラ206を使用した撮影機能を起動して、ユーザに対して商品を特定するための被写体を撮影するように促す。その後、ステップS240へ進む。   In step S230, as described above, the control device 203 activates the photographing function using the camera 206 and prompts the user to photograph a subject for specifying a product. Thereafter, the process proceeds to step S240.

ステップS240では、制御装置203は、ユーザによって撮影が行われたか否かを判断する。ステップS240で肯定判断した場合には、ステップS250へ進む。   In step S240, the control device 203 determines whether or not shooting has been performed by the user. If a positive determination is made in step S240, the process proceeds to step S250.

ステップS250では、制御装置203は、カメラ206から出力される画像データを取り込んで、通信モジュール202を介して、商品を特定するための被写体が撮影された画像データを商品情報提供装置100へ送信する。その後、ステップS260へ進む。   In step S250, the control device 203 captures the image data output from the camera 206, and transmits the image data obtained by photographing the subject for specifying the product to the product information providing device 100 via the communication module 202. . Thereafter, the process proceeds to step S260.

ステップS260では、制御装置203は、商品情報提供装置100から上述した商品情報を受信したか否かを判断する。ステップS260で肯定判断した場合には、ステップS270へ進み、制御装置203は、受信した商品情報をタッチパネル201へ出力して表示し、処理を終了する。これに対して、ステップS260で否定判断した場合には、ステップS280へ進む。   In step S260, the control device 203 determines whether or not the above-described product information has been received from the product information providing device 100. When an affirmative determination is made in step S260, the process proceeds to step S270, and the control device 203 outputs and displays the received product information on the touch panel 201, and ends the process. On the other hand, if a negative determination is made in step S260, the process proceeds to step S280.

ステップS280では、制御装置203は、商品情報提供装置100からエラーメッセージを受信したか否かを判断する。ステップS280で否定判断した場合には、ステップS260へ戻る。これに対して、ステップS280で肯定判断した場合には、ステップS290へ進む。   In step S280, the control device 203 determines whether an error message has been received from the product information providing device 100. If a negative determination is made in step S280, the process returns to step S260. On the other hand, if a positive determination is made in step S280, the process proceeds to step S290.

ステップS290では、制御装置203は、受信したエラーメッセージをタッチパネル201に出力して表示したり、スピーカ205を介して出力することにより、ユーザに通知する。その後、処理を終了する。   In step S <b> 290, the control device 203 notifies the user by outputting the received error message to the touch panel 201 for display or outputting via the speaker 205. Thereafter, the process ends.

図7は、本実施の形態における商品情報出力装置200で実行される質問処理の流れを示すフローチャートである。図7に示す処理は、上述したように、ユーザによって質問開始が指示されると起動するプログラムとして、制御装置203によって実行される。   FIG. 7 is a flowchart showing a flow of question processing executed by the product information output apparatus 200 in the present embodiment. As described above, the process shown in FIG. 7 is executed by the control device 203 as a program that is activated when a question start is instructed by the user.

ステップS310では、制御装置203は、マイク204を介してユーザによる質問音声が入力されたか否かを判断する。ステップS210で肯定判断した場合には、ステップS320へ進む。   In step S <b> 310, the control device 203 determines whether or not a question voice by the user is input via the microphone 204. If a positive determination is made in step S210, the process proceeds to step S320.

ステップS320では、制御装置203は、入力された音声データをバッファメモリに記録した後に、通信モジュール202を介して商品情報提供装置100へ送信する。その後、ステップS330へ進む。   In step S <b> 320, the control device 203 records the input audio data in the buffer memory and then transmits it to the product information providing device 100 via the communication module 202. Thereafter, the process proceeds to step S330.

ステップS330では、制御装置203は、商品情報提供装置100から回答の音声データを受信したか否かを判断する。ステップS330で肯定判断した場合には、ステップS340へ進む。   In step S <b> 330, the control device 203 determines whether answer voice data has been received from the product information providing device 100. If a positive determination is made in step S330, the process proceeds to step S340.

ステップS340では、制御装置203は、受信した回答の音声データをスピーカ205を介して出力する。その後、処理を終了する。   In step S <b> 340, the control device 203 outputs the received answer voice data via the speaker 205. Thereafter, the process ends.

一方、ステップS330で否定判断した場合には、ステップS350へ進む。ステップS350では、制御装置203は、商品情報提供装置100からエラーメッセージを受信したか否かを判断する。ステップS350で否定判断した場合には、ステップS330へ戻る。これに対して、ステップS350で肯定判断した場合には、ステップS360へ進む。   On the other hand, if a negative determination is made in step S330, the process proceeds to step S350. In step S350, the control device 203 determines whether an error message has been received from the product information providing device 100. If a negative determination is made in step S350, the process returns to step S330. On the other hand, if a positive determination is made in step S350, the process proceeds to step S360.

ステップS360では、制御装置203は、受信したエラーメッセージをタッチパネル201に出力して表示したり、スピーカ205を介して出力することにより、ユーザに通知する。その後、処理を終了する。   In step S <b> 360, the control device 203 notifies the user by outputting the received error message to the touch panel 201 for display or outputting via the speaker 205. Thereafter, the process ends.

図8は、本実施の形態における商品情報提供装置100で実行される回答処理の流れを示すフローチャートである。図8に示す処理は、商品情報出力装置200から上述した質問の音声データを受信すると起動するプログラムとして、制御装置103によって実行される。   FIG. 8 is a flowchart showing the flow of answer processing executed by the product information providing apparatus 100 according to the present embodiment. The process shown in FIG. 8 is executed by the control device 103 as a program that starts when the above-described question voice data is received from the product information output device 200.

ステップS410では、制御装置103は、商品情報出力装置200から受信した音声データをバッファメモリに記録した後、上述したように、公知の音声認識技術を利用して、音声データから質問内容を特定する。その後、ステップS420へ進む。   In step S410, the control device 103 records the voice data received from the product information output device 200 in the buffer memory, and then specifies the question content from the voice data using the known voice recognition technology as described above. . Thereafter, the process proceeds to step S420.

ステップS420では、制御装置103は、ステップS410の処理によって、質問内容が特定できたか否かを判断する。ステップS420で肯定判断した場合には、ステップS430へ進む。   In step S420, the control device 103 determines whether or not the question content has been specified by the processing in step S410. If a positive determination is made in step S420, the process proceeds to step S430.

ステップS430では、制御装置103は、特定した質問内容及びそれに関連付けられた回答の音声データが記録装置104に記録されているか否かを判断する。ステップS430で肯定判断した場合には、ステップS440へ進む。   In step S430, the control device 103 determines whether or not the identified question content and the voice data of the answer associated therewith are recorded in the recording device 104. If a positive determination is made in step S430, the process proceeds to step S440.

ステップS440では、制御装置103は、ステップS410で特定した質問内容に関連付けて記録されている回答の音声データを記録装置104から読み出して、商品情報出力装置200へ送信する。その後、ステップS450へ進む。   In step S440, the control device 103 reads the voice data of the answer recorded in association with the question content specified in step S410 from the recording device 104, and transmits it to the product information output device 200. Thereafter, the process proceeds to step S450.

ステップS450では、制御装置103は、質問の音声データと、その質問に対する回答の音声データとを関連付けて記録装置104に記録する。その後、処理を終了する。   In step S450, the control apparatus 103 records the question voice data and the voice data of the answer to the question in the recording device 104 in association with each other. Thereafter, the process ends.

一方、ステップS420で否定判断した場合、またはステップS430で否定判断した場合には、ステップS460へ進む。ステップS460では、制御装置103は、音声認識ができないこと、または質問内容が特定できないことを示すエラーメッセージを商品情報出力装置200へ送信する。その後、ステップS470へ進む。   On the other hand, if a negative determination is made in step S420 or a negative determination is made in step S430, the process proceeds to step S460. In step S460, the control device 103 transmits to the product information output device 200 an error message indicating that voice recognition cannot be performed or the question content cannot be specified. Thereafter, the process proceeds to step S470.

ステップS470では、制御装置103は、上述したように、バッファメモリに記録した質問の音声データと、その質問に対して回答できなかったことを示すデータとを関連付けて記録装置104に記録する。その後、処理を終了する。   In step S470, as described above, the control device 103 records the question voice data recorded in the buffer memory in association with the data indicating that the question could not be answered in the recording device 104. Thereafter, the process ends.

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)商品情報出力装置200では、制御装置203は、ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用の画像を取得し、取得した商品特定用の画像を商品情報提供装置100へ送信して、商品特定用画像に基づいて特定される商品の商品情報を要求する。そして、商品情報提供装置100から商品情報を受信し、受信した商品情報を出力してユーザに提示する。また、商品情報に対するユーザからの質問を音声データとして取得し、質問音声データを商品情報提供装置100へ送信して、質問に対する回答を要求し、商品情報提供装置100から質問に対する回答の音声データを回答音声データとして受信して出力するようにした。また、商品情報提供装置100では、制御装置103は、商品情報出力装置200から商品特定用画像を受信し、受信した商品特定用画像を画像処理して、ユーザが商品情報の取得を希望する商品を特定し、あらかじめ記録装置104に記録されている商品情報の中から、特定した商品の商品情報を読み出して、商品情報出力装置200へ送信する。さらに、商品情報出力装置200から質問音声データを受信し、受信した質問音声データに基づいて、ユーザからの質問内容を特定し、あらかじめ記録装置104に記録されている、ユーザから想定される質問内容を示す情報と、質問に対する回答音声データとが関連付けられた応答用情報の中から、特定した質問内容に関連付けて記録されている回答音声データを読み出して、商品情報出力装置200へ送信するようにした。これによって、ユーザは、商品情報出力装置200上で所望の商品情報を確認することができるとともに、提示された商品情報に対して、音声で質問をして、その回答を得ることができ、その場で会話をする感覚で、容易に商品情報に対する疑問点を解消したり、確認したい事項を確認したりすることができる。また、店舗では、人手不足や従業員の知識不足等により、顧客満足度が低下する可能性がある状況であっても、商品情報出力装置200を設置することにより、顧客は店員を探さなくても、自由に商品情報を調べたり、それに対する質問をしたりすることができるので、顧客に対するサービスを向上させることができる。さらに、ユーザは、商品情報を取得するために、種々の検索条件を指定する必要がなく、その商品を特定するための被写体を撮影するだけでよいため、簡易な操作で商品情報の提供を受けることができる。
According to the present embodiment described above, the following operational effects can be obtained.
(1) In the product information output device 200, the control device 203 captures a subject for specifying a product based on an instruction from the user, acquires an image for specifying the product, and acquires the acquired product specifying image. The image is transmitted to the product information providing apparatus 100, and the product information of the product specified based on the product specifying image is requested. The product information is received from the product information providing apparatus 100, and the received product information is output and presented to the user. Further, a question about the product information from the user is acquired as voice data, the question voice data is transmitted to the product information providing apparatus 100, an answer to the question is requested, and voice data of the answer to the question is received from the product information providing apparatus 100. Received and output as answer voice data. Further, in the product information providing apparatus 100, the control device 103 receives the product specifying image from the product information output apparatus 200, performs image processing on the received product specifying image, and the product for which the user desires to acquire the product information. The product information of the specified product is read out from the product information recorded in advance in the recording device 104 and transmitted to the product information output device 200. Further, the question voice data is received from the product information output device 200, the question content from the user is specified based on the received question voice data, and the question content assumed by the user recorded in the recording device 104 in advance The response voice data recorded in association with the identified question content is read out from the response information in which the information indicating the answer and the answer voice data for the question are associated with each other, and transmitted to the product information output device 200 did. As a result, the user can confirm the desired product information on the product information output device 200, and can make a question about the presented product information by voice and obtain the answer. You can easily resolve questions about product information and confirm items you want to check with the feeling of having a conversation in the field. In addition, in a store, even if there is a possibility that customer satisfaction may be reduced due to lack of manpower or lack of employee knowledge, by installing the product information output device 200, the customer does not have to search for the store clerk. However, since the product information can be freely examined and questions can be asked, the service for the customer can be improved. Furthermore, since the user does not need to specify various search conditions in order to acquire the product information, it is only necessary to photograph a subject for specifying the product, so that the product information is provided with a simple operation. be able to.

(2)商品情報提供装置100では、制御装置103は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データを記録装置104に記録するようにした。これにより、記録装置104には、応答データの履歴が蓄積されるため、商品情報の提供者や商品情報提供システム10の提供者は、記録装置104に記録されている応答データの履歴を参照することにより、商品や商品情報に対するユーザの質問傾向を把握することができ、ユーザが質問をしなくても済むように商品情報の内容を充実させることができる。 (2) In the product information providing apparatus 100, the control apparatus 103 records the response data in which the voice data of the question by the user and the voice data of the answer to the question are associated with each other in the recording device 104. As a result, since the history of response data is accumulated in the recording device 104, the provider of the product information and the provider of the product information providing system 10 refer to the history of response data recorded in the recording device 104. Accordingly, the user's question tendency with respect to the product and the product information can be grasped, and the content of the product information can be enhanced so that the user does not need to ask a question.

(3)商品情報出力装置200に商品情報を提供するために、商品情報提供装置100の記録装置104に商品情報を記録するようにした。この場合、ユーザの要望に応えるためには、取り扱う商品の商品情報を記録装置104にデータベース化して登録しておく必要があるため、必然的に商品情報が一元管理されることになる。また、煩雑になりがちな商品情報の登録のために、この作業を専門的に行う社員の雇用が必要となったり、この作業を請け負う組織が設立されたりと、新たな雇用の創出につながる可能性もある。 (3) In order to provide the product information to the product information output device 200, the product information is recorded in the recording device 104 of the product information providing device 100. In this case, in order to respond to the user's request, it is necessary to store the product information of the product to be handled in the recording device 104 as a database, so that the product information is inevitably managed in an integrated manner. In addition, the registration of product information that tends to be complicated may require the employment of employees who specialize in this work, or the establishment of an organization that undertakes this work may lead to the creation of new jobs. There is also sex.

(4)商品情報提供者は、不図示の端末上で、自社が製造または販売する商品に関する種々の情報を商品情報として入力するようにし、商品情報としては、例えば、商品を特定するための商品特定用情報、商品の価格情報、商品の仕様情報、商品の在庫情報、商品の納期情報、当該商品と他製品とを比較した結果を示す比較情報、商品の3DCADデータ、商品に対して実施されているキャンペーン情報、商品のウェブサイト情報、商品のCM動画情報の少なくとも1つを含むようにした。この場合、商品情報提供者は、商品名、価格情報、仕様情報のような一般的な商品情報の他に、在庫情報や納期情報といったユーザが気になると考えられる情報、さらには、他製品との比較情報やキャンペーン情報等の商品情報提供者が積極的に提供したいと考える情報等を任意に商品情報に含めることができる。よって、ユーザからの商品情報の提供要求に応える一方通行の情報提供ではなく、商品情報提供者側が提供する情報をコントロールできるというユーザと商品情報提供者の双方の要望を満たすことができるシステムを実現することができる。 (4) The merchandise information provider inputs various information regarding merchandise manufactured or sold by the company as merchandise information on a terminal (not shown). As merchandise information, for example, merchandise for specifying the merchandise Specific information, product price information, product specification information, product inventory information, product delivery date information, comparison information indicating the result of comparing the product with another product, 3D CAD data for the product, and product Current campaign information, product website information, and product CM video information. In this case, in addition to general product information such as product name, price information, and specification information, the product information provider can provide information such as inventory information and delivery date information that the user is interested in, and other products. Information such as comparison information and campaign information that the product information provider wants to actively provide can be arbitrarily included in the product information. Therefore, a system that can satisfy the demands of both the user and the product information provider that can control the information provided by the product information provider side, not the one-way information supply that responds to the product information provision request from the user. can do.

―変形例―
なお、上述した実施の形態の商品情報提供システムは、以下のように変形することもできる。
(1)上述した実施の形態では、商品情報提供装置100の制御装置103は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データを記録装置104に記録する例について説明した。このように記録した応答データに含まれる質問と回答の組み合わせは、過去に実際にユーザが質問した内容とそれに対する回答内容であるため、ユーザによって頻繁に質問される内容である可能性が高い。よって、制御装置103は、商品情報出力装置200から質問の音声データを受信した場合には、まずこの応答データの履歴の中に同じ質問内容が無いかをチェックし、ある場合には応答データの履歴の中からそれに対応する回答の音声データを読み出して商品情報出力装置200へ送信するようにしてもよい。このように、履歴として蓄積された応答データから優先して回答の音声データを読み出すようにすれば、過去に質問された実績のある内容に基づいて回答を行えるため、回答精度を向上させることができる。また、応答データの履歴を対象として質問の音声データを検索すればよいため、レスポンスを向上させることができる。
-Modification-
Note that the product information providing system of the above-described embodiment can be modified as follows.
(1) In embodiment mentioned above, the control apparatus 103 of the merchandise information provision apparatus 100 records the response data which linked | related the voice data of the question by a user, and the voice data of the answer with respect to the question on the recording device 104 Explained. Since the combination of the question and the answer included in the response data recorded in this way is the content actually asked by the user in the past and the answer content to the question, there is a high possibility that the question is frequently asked by the user. Therefore, when receiving the question voice data from the product information output device 200, the control device 103 first checks whether there is the same question content in the history of the response data. You may make it read the audio | voice data of the reply corresponding to it from the log | history, and you may make it transmit to the merchandise information output device 200. FIG. In this way, if the answer voice data is read preferentially from the response data accumulated as a history, the answer can be made based on the proven contents of the past questions, so that the answer accuracy can be improved. it can. Further, since it is only necessary to search the voice data of the question for the response data history, the response can be improved.

(2)上述した実施の形態では、記録装置104には、ユーザから想定される質問内容と、それに対する回答の音声データとを関連付けた応答用情報を記録しておき、制御装置103は、特定した質問内容が記録装置104に記録されている場合には、その質問内容に関連付けて記録されている回答の音声データを読み出して、商品情報出力装置200へ送信する例について説明した。このとき、ユーザから想定される1つの質問内容に対して、1つの回答の音声データを関連付けて応答用情報としてもよいし、ユーザから想定される1つの質問内容に対して、複数の回答の音声データを関連付けて応答用情報としてもよい。ユーザから想定される1つの質問内容に対して、複数の回答の音声データを関連付けるようにすれば、実際の人物が質問に回答する場合と同様に、1つの質問に対して複数通りの回答の仕方があることを考慮して、より実際の接客に近い形でのユーザへの対応が可能となる。なお、制御装置103は、特定した質問内容に対する回答の音声データが複数記録されている場合には、その中からランダムに選択した1つの回答の音声データを読み出して、商品情報出力装置200へ送信すればよい。 (2) In the above-described embodiment, the recording device 104 records the response information in which the question content assumed by the user is associated with the voice data of the answer to the question, and the control device 103 specifies the specific information. In the case where the question content is recorded in the recording device 104, the voice data of the answer recorded in association with the question content is read and transmitted to the product information output device 200. At this time, the voice data of one answer may be associated with one question content assumed by the user as response information, or a plurality of answers may be provided for one question content assumed by the user. The voice data may be associated with the response information. By associating voice data of a plurality of answers to one question content assumed by the user, as in the case where an actual person answers a question, a plurality of answers can be answered to one question. Considering that there is a way, it is possible to respond to the user in a form closer to the actual customer service. If a plurality of voice data of answers to the specified question content is recorded, the control device 103 reads the voice data of one answer selected at random from the answer data and transmits it to the product information output device 200 do it.

あるいは、制御装置は、過去の回答内容に対するユーザの満足度を判定し、満足度が高い回答の音声データを優先して読み出すようにしてもよい。この場合、制御装置103は、一定のデータが集まるまでは、複数の回答音声データの中からランダムで回答の音声データを選択して商品情報出力装置200へ送信すればよい。そして、商品情報出力装置200では、制御装置203は、受信した回答の音声データを出力した後に、その回答内容に満足したかをユーザに確認する。例えば、制御装置203は、「今の回答でよろしいですか?」のような音声を出力して、それに対してユーザに「はい」または「いいえ」の発話を促せばよい。制御装置203は、ユーザが「はい」と発話したことを検出した場合には、ユーザが回答に満足したことを示す情報を商品情報提供装置100へ送信する。一方、制御装置203は、ユーザが「いいえ」と発話したことを検出した場合には、ユーザが回答に不満であったことを示す情報を商品情報提供装置100へ送信する。   Alternatively, the control device may determine the degree of satisfaction of the user with respect to past answer contents, and preferentially read the voice data of the answer with a high degree of satisfaction. In this case, the control device 103 may select and transmit the answer voice data at random from the plurality of answer voice data to the product information output apparatus 200 until certain data is collected. In the product information output device 200, the control device 203 confirms with the user whether or not the content of the answer is satisfied after outputting the voice data of the received answer. For example, the control device 203 may output a sound such as “Are you sure?” And prompt the user to speak “Yes” or “No”. When the control device 203 detects that the user has uttered “Yes”, the control device 203 transmits information indicating that the user is satisfied with the answer to the product information providing device 100. On the other hand, when the control device 203 detects that the user has spoken “No”, the control device 203 transmits information indicating that the user is dissatisfied with the answer to the product information providing device 100.

商品情報提供装置100では、制御装置103は、商品情報出力装置200から上記のようなユーザの満足度を示す情報を受信した場合には、当該満足度を示す情報に基づいて、回答の音声データの読み出し優先度を設定する。例えば、制御装置103は、ユーザの満足度を示す情報として、ユーザが回答に満足したことを示す情報を受信した場合には、優先度として1を設定し、この優先度情報を、その回答の音声データを含む応答データに関連付けて記録する。以降、その回答音声データに対してユーザが回答に満足したことを示す情報を受信した際には、その回答の音声データを含む応答データに関連付けて記録されている優先度情報に1を加算していく。   In the merchandise information providing apparatus 100, when the control apparatus 103 receives the information indicating the satisfaction degree of the user as described above from the merchandise information output apparatus 200, the voice data of the answer is based on the information indicating the satisfaction degree. Set the read priority of. For example, when the information indicating that the user is satisfied with the answer is received as the information indicating the user's satisfaction, the control device 103 sets 1 as the priority, and the priority information is set to Record in association with response data including audio data. Thereafter, when information indicating that the user is satisfied with the answer voice data is received, 1 is added to the priority information recorded in association with the response data including the answer voice data. To go.

一方、制御装置103は、ユーザの満足度を示す情報として、ユーザが回答に不満であったことを示す情報を受信した場合には、優先度として−1を設定し、この優先度情報を、その回答の音声データを含む応答データに関連付けて記録する。以降、その回答音声データに対してユーザが回答に不満であったことを示す情報を受信した際には、その回答の音声データを含む応答データに関連付けて記録されている優先度情報から1を減算していく。これにより、履歴として記録される各応答データには、読み出し時の優先情報が関連付けて記録されていく。   On the other hand, when the control apparatus 103 receives information indicating that the user is dissatisfied with the answer as information indicating the degree of satisfaction of the user, the control apparatus 103 sets −1 as the priority, The response data including the voice data of the answer is recorded in association with the response data. Thereafter, when information indicating that the user is dissatisfied with the answer voice data is received, 1 is calculated from the priority information recorded in association with the response data including the voice data of the answer. Subtract. Thereby, priority information at the time of reading is recorded in association with each response data recorded as a history.

制御装置103は、特定した質問内容に対する回答の音声データが複数記録されている場合には、その優先度が高く設定されている回答の音声データ、すなわち優先度情報として記録されている数値が大きい回答の音声データを読み出して、商品情報出力装置200へ送信すればよい。   If a plurality of voice data of answers to the specified question content is recorded, the control device 103 has a high value recorded as the voice data of answers set with high priority, that is, priority information. The answer voice data may be read and transmitted to the product information output device 200.

また、商品情報出力装置200では、制御装置203は、商品情報提供装置100との間で同じ商品情報に対して、複数回の質問と回答のやりとりがあった場合には、その一連のやりとりに対して、ユーザに満足度を問い合わせるようにしてもよい。例えば、制御装置203は、「一連の回答に対する満足度をAからCの三段階でお答えください」のような音声を出力して、それに対してユーザに「A」、「B」、「C」の発話を促せばよい。制御装置203は、ユーザが「A」と発話したことを検出した場合には、一連の回答に対するユーザの満足度が「A」であることを示す情報を商品情報提供装置100へ送信する。制御装置203は、ユーザが「B」と発話したことを検出した場合には、一連の回答に対するユーザの満足度が「B」であることを示す情報を品情報提供装置100へ送信する。制御装置203は、ユーザが「C」と発話したことを検出した場合には、一連の回答に対するユーザの満足度が「C」であることを示す情報を商品情報提供装置100へ送信する。   Further, in the product information output device 200, the control device 203 performs a series of exchanges when a plurality of questions and responses are exchanged for the same product information with the product information providing device 100. On the other hand, the user may be inquired about the degree of satisfaction. For example, the control device 203 outputs a voice such as “Please answer the satisfaction with a series of answers in three stages from A to C”, and to the user, “A”, “B”, “C”. You can encourage utterances. When the control device 203 detects that the user has uttered “A”, the control device 203 transmits information indicating that the user's satisfaction with the series of answers is “A” to the product information providing device 100. When the control device 203 detects that the user utters “B”, the control device 203 transmits information indicating that the user's satisfaction with the series of answers is “B” to the product information providing device 100. When the control device 203 detects that the user has uttered “C”, the control device 203 transmits information indicating that the user's satisfaction with the series of answers is “C” to the product information providing device 100.

商品情報提供装置100では、制御装置103は、一連の回答に対するユーザの満足度が「A」であることを示す情報を受信した場合には、その一連のやりとりに含まれる全ての応答データに関連付けて記録されている優先度情報に1を加算する。また、制御装置103は、一連の回答に対するユーザの満足度が「B」であることを示す情報を受信した場合には、その一連のやりとりに含まれる全ての応答データに関連付けて記録されている優先度情報に対して加算も減算も行わない。制御装置103は、一連の回答に対するユーザの満足度が「C」であることを示す情報を受信した場合には、その一連のやりとりに含まれる全ての応答データに関連付けて記録されている優先度情報から1を減算する。これによって、複数の質問が続けて行われたときに、その一連の回答に対する満足度も加味して、応答データの読み出し優先度を設定することができる。   In the merchandise information providing apparatus 100, when the control apparatus 103 receives information indicating that the user's satisfaction level with respect to a series of answers is “A”, the control apparatus 103 associates the information with all response data included in the series of responses. 1 is added to the recorded priority information. When the control device 103 receives information indicating that the user's satisfaction with a series of answers is “B”, the control apparatus 103 records the information in association with all response data included in the series of responses. Neither addition nor subtraction is performed on the priority information. When the control device 103 receives information indicating that the user's satisfaction level with respect to a series of responses is “C”, the priority level recorded in association with all the response data included in the series of responses. Subtract 1 from the information. As a result, when a plurality of questions are asked in succession, the read priority of the response data can be set in consideration of satisfaction with the series of answers.

制御装置103は、さらに、商品情報出力装置200から一連の回答に対するユーザの満足度を示す情報を受信した場合には、その一連の応答データの組に対して、満足度に対する優先度情報を関連付けて記録するようにしてもよい。この場合も、受信した満足度が「A」、「B」、「C」のいずれであるかに応じて、応答データの組に関連付けて記録された優先度情報に加減算を行えばよい。このようにすると、メーカーや販売店の担当者は、ユーザがどのような内容の質問をどのような順序で行ったかという質問の流れと、それに対する回答の内容とを把握することができるとともに、その質問の流れに対してどのような回答をすればユーザの満足度が高くなるかを把握することができる。このため、質問の音声データに関連付けて記録する回答の音声データに対して、回答内容の変更や回答内容のバリエーションの増加などの見直しを行って、さらなるユーザ満足度の向上につなげることができる。なお、ここでは満足度を「A」、「B」、「C」の三段階で評価する例について説明したが、四段階、五段階など、評価の仕方はこれに限定されるものではない。   In addition, when the control device 103 receives information indicating the user's satisfaction level with respect to a series of responses from the product information output device 200, the control device 103 associates priority information with respect to the set of response data with respect to the set of response data. May be recorded. In this case as well, addition / subtraction may be performed on the priority information recorded in association with the set of response data depending on whether the received satisfaction is “A”, “B”, or “C”. In this way, the person in charge at the manufacturer or dealer can understand the flow of questions about what questions the user asked in what order, and the contents of the answers to them, It is possible to grasp what kind of answer is given to the flow of the question to increase the satisfaction of the user. For this reason, it is possible to further improve the user satisfaction by reviewing the answer voice data recorded in association with the question voice data by changing the answer contents or increasing the variation of the answer contents. Although an example in which the satisfaction level is evaluated in three stages of “A”, “B”, and “C” has been described here, the evaluation method is not limited to this.

(3)上述した実施の形態では、商品情報提供装置100の制御装置103は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データの履歴を記録装置104に記録する例について説明した。この場合、制御装置103は、あらかじめ設定された所定のタイミング、例えば1日1回所定の時刻に、記録装置104に記録されている応答データの履歴情報を、質問がされた商品を提供するメーカーが有する端末へ送信するようにしてもよい。例えば、各商品情報に対応付けてメーカーの担当者のメールアドレスを登録しておき、制御装置103は、応答データの履歴情報を質問がされた商品のメーカー担当者へメールで送信するようにすればよい。これによって、メーカーでは、商品に対してユーザがどのような質問を行い、それに対してどのような回答がなされたのかを把握することができる。 (3) In the above-described embodiment, the control device 103 of the product information providing apparatus 100 records in the recording device 104 the history of response data in which the voice data of the question by the user and the voice data of the answer to the question are associated. The example to do was demonstrated. In this case, the control device 103 provides the history information of the response data recorded in the recording device 104 at a predetermined timing set in advance, for example, once a day at a predetermined time, and provides the product for which the question has been asked. You may make it transmit to the terminal which has. For example, the e-mail address of the person in charge of the manufacturer is registered in association with each piece of product information, and the control device 103 sends the history information of the response data to the person in charge of the manufacturer of the product for which the question has been made. That's fine. As a result, the manufacturer can grasp what kind of question the user has asked the product and what kind of answer has been made.

(4)上述した実施の形態では、制御装置103は、特定した質問内容が記録装置104に記録されておらず、質問内容に関連付けて記録されている回答の音声データを読み出すことができない場合には、エラーメッセージを商品情報出力装置200へ送信する例について説明した。しかしながら、制御装置103は、質問内容に関連付けて記録されている回答の音声データを読み出すことができない場合には、あらかじめ登録された通知先端末と、商品情報出力装置200との間で通信を確立して、通知先端末のオペレータとユーザとの音声通話を開始するようにしてもよい。これにより、商品情報提供装置100では対応できない質問がされたときには、オペレータに繋いで、ユーザはオペレータに質問をして、疑問を解消することができる。 (4) In the above-described embodiment, the control device 103 does not record the identified question content in the recording device 104 and cannot read the voice data of the answer recorded in association with the question content. Explained an example of transmitting an error message to the product information output device 200. However, if the control device 103 cannot read the voice data of the answer recorded in association with the question content, the control device 103 establishes communication between the pre-registered notification destination terminal and the product information output device 200. Then, a voice call between the operator of the notification destination terminal and the user may be started. Thereby, when a question that cannot be handled by the product information providing apparatus 100 is made, the user can connect to the operator and ask the operator a question to solve the question.

また、この場合、通知先端末のオペレータとユーザとの音声通話内容を記録装置104に記録するようにしてもよい。これによって、ユーザとオペレータとのやり取りの履歴を、回答音声データの充実や、オペレータの質向上に役立てることができる。   In this case, the content of the voice call between the operator of the notification destination terminal and the user may be recorded in the recording device 104. As a result, the exchange history between the user and the operator can be used to enhance the answer voice data and improve the quality of the operator.

あるいは、制御装置103は、質問内容に関連付けて記録されている回答の音声データを読み出すことができない場合には、すぐにオペレータに繋ぐか、回答が準備できた段階でオペレータから連絡をもらうかをユーザに選択させるようにしてもよい。ユーザがすぐにオペレータに繋ぐことを選択した場合には、上記と同様に、制御装置103は、商品情報出力装置200との間で通信を確立して、通知先端末のオペレータとユーザとの音声通話を開始すればよい。一方、ユーザが回答が準備できた段階でオペレータから連絡をもらうことを選択した場合には、制御装置103は、通知先端末へユーザによる質問音声データを送信して、ユーザから質問があったことを通知するようにすればよい。これを受けた通知先端末では、オペレータは、質問音声データの内容からユーザの質問内容を把握して、それに対する回答を準備した後に、通知先端末から商品情報出力装置200を呼び出して回答を行うようにすればよい。これにより、ユーザは、すぐにオペレータと会話をするか、回答が準備された段階でオペレータと会話するかを選択できるため、ユーザの利便性を向上させることができる。また、ユーザは、回答が準備された段階でオペレータから連絡をもらうように選択すれば、時間がない場合に無駄な待ち時間が発生するのを防ぐことができる。なお、ユーザが回答が準備できた段階でオペレータから連絡をもらうことを選択した場合には、制御装置103は、ユーザに連絡先とする電話番号の入力を促し、ここで入力された電話番号を通知先端末へ送信するようにしてもよい。これにより、オペレータは、ユーザへ直接電話して質問への回答を行うこともできる。   Alternatively, if the control device 103 cannot read out the voice data of the response recorded in association with the question content, the control device 103 determines whether to connect to the operator immediately or to receive a contact from the operator when the response is ready. You may make it make a user select. When the user selects to connect to the operator immediately, the control device 103 establishes communication with the product information output device 200 as described above, and the voice of the operator of the notification destination terminal and the user is established. Just start the call. On the other hand, when the user has selected to receive a contact from the operator when the answer is ready, the control device 103 transmits the question voice data by the user to the notification destination terminal, and the user has asked May be notified. In the notification destination terminal that has received this, the operator grasps the contents of the question of the user from the contents of the question voice data, prepares an answer to the question, and then calls the product information output device 200 from the notification destination terminal to answer. What should I do? Accordingly, the user can select whether to immediately talk to the operator or to talk to the operator when an answer is prepared, so that convenience for the user can be improved. Further, if the user selects to receive a contact from the operator when the answer is prepared, it is possible to prevent unnecessary waiting time from being generated when there is no time. In addition, when the user has selected to receive a contact from the operator when the answer is ready, the control device 103 prompts the user to input a telephone number as a contact address, and the telephone number input here is input. You may make it transmit to a notification destination terminal. Thus, the operator can answer the question by calling the user directly.

また、ユーザは、オペレータとの会話の結果、商品の購入を決めた場合には、オペレータに商品の購入意思を伝えることができ、この場合、オペレータは、通知先端末を操作して、ユーザが操作する商品情報出力装置200へ商品注文用の画面を表示させるようにしてもよい。ユーザは、表示された商品注文用の画面上で必要事項を入力することにより、オペレータに問い合わせを行った商品の注文を行うことができる。   In addition, when the user decides to purchase the product as a result of the conversation with the operator, the user can inform the operator of the purchase intention of the product. In this case, the operator operates the notification destination terminal, A product order screen may be displayed on the product information output device 200 to be operated. The user can place an order for a product for which an inquiry has been made to the operator by inputting necessary items on the displayed product order screen.

(5)上述した実施の形態では、制御装置103は、商品情報出力装置200からユーザによる質問の音声データを受信した場合には、記録装置104に記録されているその質問に対する回答の音声データを読み出して、商品情報出力装置200へ送信する例について説明した。しかしながら、ユーザは、既に商品情報出力装置200に送信されている商品情報に含まれている内容について質問をしてくることも考えられる。このように、ユーザからの質問内容に対する回答が、送信済みの商品情報に含まれている場合には、制御装置103は、質問内容に対する回答が商品情報に含まれていることを通知するための音声データを回答音声データとして記録装置104から読み出して、商品情報出力装置200へ送信するようにしてもよい。これによって、送信済みの商品情報を活用して、ユーザの質問に回答することができる。 (5) In the above-described embodiment, when the control device 103 receives the voice data of the question from the user from the product information output device 200, the control device 103 outputs the voice data of the answer to the question recorded in the recording device 104. The example which read and transmits to the merchandise information output device 200 was demonstrated. However, it is also conceivable that the user asks questions about the contents included in the product information that has already been transmitted to the product information output device 200. As described above, when the answer to the question content from the user is included in the transmitted product information, the control device 103 notifies that the answer to the question content is included in the product information. The voice data may be read out as answer voice data from the recording device 104 and transmitted to the product information output device 200. Thus, the transmitted product information can be used to answer the user's question.

(6)上述した実施の形態では、ユーザは、質問内容を音声で入力することができ、それに対する回答を音声で得ることができる例について説明した。この方法によると、ユーザは、あたかも商品情報出力装置200と会話をするような感覚で、商品情報に対する質問を行うことができる。本発明では、これをさらに発展させて、制御装置203は、タッチパネル201内に人物の映像を表示させ、この人物が、回答音声データを話しているように、人物映像の動作を制御するようにしてもよい。これによって、ユーザはタッチパネル201内に表示された仮想的な人物と話をしているような感覚で、商品情報に対する質問をすることができる。また、さらにリアリティを出すために、制御装置203は、実空間上に人物の立体映像を表示させ、この人物が、回答音声データを話しているように、立体映像の人物の動作を制御するようにしてもよい。これによって、ユーザは実空間上に浮かび上がった仮想的な人物と話をしているような感覚で、商品情報に対する質問をすることができる。さらに、このように実空間上に人物の立体映像を表示させた場合には、実空間上に浮かび上がった仮想的な人物に質問をして、回答をさせることができるため、その人物を仮想的な接客員(デジタルアテンダント)として利用することができる。また、商品のメーカーや販売店は、商品に興味を持っているユーザを探し出して、実際にセールスマン等を送り込むことは困難であるが、このデジタルアテンダントは、商品に対して興味を持っているユーザが操作する商品出力装置200に表示されるため、販売戦略に基づいて行動するセールスマンの役割を果たすデジタルアテンダントを、瞬時にユーザの元に送り込むことができる。 (6) In the above-described embodiment, the example has been described in which the user can input the contents of the question by voice and can obtain the answer to the voice by voice. According to this method, the user can make a question about the product information as if the user had a conversation with the product information output device 200. In the present invention, this is further developed, and the control device 203 displays the image of the person on the touch panel 201 and controls the operation of the person image so that the person is speaking the answer voice data. May be. Thereby, the user can ask a question about the product information as if he / she is talking with a virtual person displayed in the touch panel 201. In addition, in order to further increase the reality, the control device 203 displays a stereoscopic video of the person in the real space, and controls the operation of the stereoscopic video person so that the person is speaking the answer voice data. It may be. As a result, the user can make a question about the product information as if he / she is talking to a virtual person who appears in the real space. Furthermore, when a stereoscopic image of a person is displayed in real space in this way, a question can be made and answered to a virtual person that appears in real space. It can be used as a customer service representative (digital attendant). In addition, it is difficult for manufacturers and dealers of products to find users who are interested in products and actually send salesmen etc., but this digital attendant is interested in products. Since it is displayed on the product output device 200 operated by the user, the digital attendant who plays the role of a salesman acting based on the sales strategy can be sent to the user instantly.

(7)上述した実施の形態では、商品情報出力装置200では、制御装置203は、ユーザによって撮影された商品を特定するための被写体の画像データを商品情報提供装置100へ送信して、商品情報提供装置100から商品情報を取得し、ユーザに提供する例について説明した。また、商品情報提供装置100は、商品情報出力装置200からの要求に応じて商品情報を送信する例について説明した。しかしながら、商品情報提供システム10では、ユーザは、商品情報出力装置200上で商品情報を確認した後に、その商品を注文できるようにしてもよい。この場合、例えば、商品情報を表示した画面上に注文ボタン等を表示し、制御装置203は、ユーザによって注文ボタンにタッチされたことを検出したときに、ユーザに注文に必要な情報の入力を促し、これらを注文情報として商品情報提供装置100へ送信すればよい。商品情報提供装置100では、制御装置103は、商品情報出力装置200から注文情報を受信することにより商品の注文を受け付け、受け付けた商品の注文内容に基づいて、注文された商品の代金を清算するための決済情報を商品情報出力装置100へ送信すればよい。商品情報出力装置200では、制御装置203は、商品情報提供装置100から受信した決済情報に基づいて、ユーザが注文した商品の決済画面をタッチパネル201上に表示し、該決済画面上で入力された情報を商品情報提供装置100へ送信して、決済を行うようにすればよい。これにより、ユーザは、商品情報出力装置200を操作して、商品の注文も行うことができる。 (7) In the above-described embodiment, in the product information output device 200, the control device 203 transmits image data of a subject for specifying the product photographed by the user to the product information providing device 100, and product information The example which acquires merchandise information from the provision apparatus 100 and provides to a user was demonstrated. Further, the product information providing apparatus 100 has been described with respect to an example in which product information is transmitted in response to a request from the product information output apparatus 200. However, in the product information providing system 10, the user may be able to order the product after confirming the product information on the product information output device 200. In this case, for example, an order button or the like is displayed on a screen displaying product information, and when the control device 203 detects that the order button has been touched by the user, the control device 203 inputs information necessary for the order to the user. It is only necessary to prompt and transmit these as order information to the product information providing apparatus 100. In the product information providing apparatus 100, the control device 103 receives the order information from the product information output apparatus 200, receives the order of the product, and settles the price of the ordered product based on the order details of the received product. Payment information for this purpose may be transmitted to the product information output device 100. In the merchandise information output device 200, the control device 203 displays on the touch panel 201 a payment screen for the product ordered by the user based on the payment information received from the merchandise information providing device 100, and is input on the payment screen. Information may be transmitted to the product information providing apparatus 100 to make a payment. Thereby, the user can also order the product by operating the product information output device 200.

(8)上述した実施の形態では、商品情報の提供者としては、商品を製造するメーカーや商品を販売する販売店等が想定される。また、商品情報の提供を受けるユーザとしては、商品の購入を希望する消費者や商品に興味を持っている消費者を想定し、商品情報出力装置200は、商品情報提供装置100によって商品情報が提供される商品を販売する店舗の店頭に設置される例について説明した。この場合、例えば、商品情報出力装置200は、デパート、スーパー、家電量販店、個人商店等に設置され、ユーザは、これらの店舗で取り扱われている商品の情報を商品情報出力装置200を操作して得ることができる。しかしながら、これら小売業界以外の他の業界でも本発明による商品情報提供システム10を活用することができる。以下にその一例を挙げる。 (8) In the above-described embodiment, the product information provider is assumed to be a manufacturer that manufactures the product, a store that sells the product, or the like. Further, as a user who receives provision of merchandise information, a consumer who wants to purchase merchandise or a consumer who is interested in merchandise is assumed, and the merchandise information output apparatus 200 receives merchandise information from the merchandise information providing apparatus 100. The example installed in the shop front of the store which sells the goods provided was demonstrated. In this case, for example, the product information output device 200 is installed in a department store, a supermarket, a home appliance mass retailer, a personal store, or the like, and the user operates the product information output device 200 for information on products handled in these stores. Can be obtained. However, the product information providing system 10 according to the present invention can be used in other industries besides the retail industry. An example is given below.

例えば、自動車業界では、本発明による商品情報提供システム10を導入することによより、ショールームに商品情報提供装置200を設置すれば、ショールームの人手不足を解消することができる。また、ユーザが所持する端末を商品情報提供装置200とすれば、ユーザは路上を走る車の画像を撮影して商品情報提供装置100にアクセスするだけで、その車の商品情報を取得することができる。また、この車に対する質問も行うことができる。   For example, in the automobile industry, by introducing the product information providing system 10 according to the present invention, if the product information providing device 200 is installed in the showroom, the shortage of manpower in the showroom can be solved. Moreover, if the terminal possessed by the user is the product information providing apparatus 200, the user can acquire the product information of the car simply by taking an image of a car running on the road and accessing the product information providing apparatus 100. it can. You can also ask questions about this car.

また、映画、演劇の切符売り場に商品情報提供装置200を設置すれば、ユーザは、映画や演劇の出演者やあらすじなどを商品情報として把握することができ、さらに映画や演劇について質問をすることもできる。   In addition, if the product information providing apparatus 200 is installed at the ticket office of movies and plays, the user can grasp the movie and theater performers and synopsis as product information, and further ask questions about movies and plays. You can also.

化粧品業界では、ユーザが所持する端末を商品情報提供装置200とすれば、ユーザは自宅にいながら化粧品の商品情報を取得することができる。また、質問を行う際には、同時に自身の肌の画像等を送るようにすれば、商品情報提供装置100で肌の状態を診断して、お勧め商品や肌に関するアドバイスの音声データを回答するようなシステムにも応用することができる。   In the cosmetics industry, if the terminal possessed by the user is the product information providing apparatus 200, the user can acquire product information on cosmetics while at home. Further, when making a question, if an image of his / her own skin is sent at the same time, the product information providing apparatus 100 diagnoses the state of the skin and answers the recommended product and voice data of advice on the skin. It can be applied to such a system.

また、出版業界に本システムを導入をすれば、これまでユーザは、通販カタログなどで得ていた商品の情報を、既存のファッション雑誌、趣味娯楽雑誌、その他、電子書籍を含めたあらゆる書籍上に掲載されている商品を特定するための情報を被写体として撮影することにより、これらの商品の商品情報を容易に取得して、商品を購入することが可能となる。   In addition, if this system is introduced to the publishing industry, users will be able to store information on products that have been obtained in mail-order catalogs, etc. By shooting information for specifying the posted products as a subject, it is possible to easily acquire the product information of these products and purchase the products.

また、宅配便業界に本システムを導入すれば、商品情報提供装置100には、商品情報として荷物の配達情報を記録しておき、ユーザは、商品情報出力装置200を操作して、配達伝票に表示された配達番号等を撮影して商品情報を問い合わせることにより、荷物の配達情報を確認することができる。また、ユーザは、表示された配達情報に対して質問がある場合には、音声で質問をしてその回答を得ることもできる。これにより、現在は、配達番号を画面上で入力して配達状況を問い合わせるのが一般的であるが、ユーザは、撮影を行うだけで問い合わせができるので、面倒な入力作業を省くことができる。また、伝票番号の入力ミスも防ぐことができる。   If this system is introduced into the courier industry, the delivery information of the package is recorded in the product information providing apparatus 100 as the product information, and the user operates the product information output device 200 to generate the delivery slip. The delivery information of the package can be confirmed by photographing the displayed delivery number and inquiring about the product information. In addition, when there is a question about the displayed delivery information, the user can ask the question by voice and obtain the answer. As a result, at present, it is common to inquire about the delivery status by inputting the delivery number on the screen. However, since the user can make an inquiry simply by taking a picture, the troublesome input work can be omitted. It is also possible to prevent a slip number input error.

(9)上述した実施の形態では、商品情報提供装置100の制御装置103は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データの履歴を記録装置104に記録する例について説明した。この応答データは、ユーザごとに記録するようにしてもよい。例えば、ユーザを一意に特定するためのユーザID等を発行しておき、制御装置203は、ユーザには、上述した商品情報アプリを起動する際に、ユーザIDを用いたログインを要求するようにして、被写体特定用の画像データや質問音声データを商品情報提供装置100へ送信する際にユーザIDも送るようにすれば、商品情報提供装置100側でユーザを一意に特定することが可能となる。このように、履応答データをユーザごとに記録するようにすれば、商品情報の提供者は、ユーザごとに質問の傾向や興味を持っている商品を把握することができる。また、制御装置103は、ユーザごとに、商品情報の送信履歴を記録するようにしてもよい。これによって、商品情報の提供者は、各ユーザがどのような商品に興味を持っているかを把握することができる。 (9) In the embodiment described above, the control device 103 of the product information providing apparatus 100 records in the recording device 104 the history of response data in which the voice data of the question by the user and the voice data of the answer to the question are associated. The example to do was demonstrated. This response data may be recorded for each user. For example, a user ID for uniquely identifying the user is issued, and the control device 203 requests the user to log in using the user ID when starting the above-described product information application. Thus, if the user ID is also sent when the image data for identifying the subject or the question voice data is transmitted to the product information providing apparatus 100, the product information providing apparatus 100 can uniquely identify the user. . In this way, if the response response data is recorded for each user, the product information provider can grasp the tendency of the question and the products that are interested in each user. The control device 103 may record the transmission history of product information for each user. Thereby, the provider of product information can grasp what product each user is interested in.

(10)上述した実施の形態では、記録装置104には、ユーザから想定される質問内容と、それに対する回答の音声データとを関連付けた応答用情報を記録しておく例について説明した。この応答用情報は、商品情報提供システム10を導入する国の言語に合わせて準備するようにしてもよいし、複数の言語に対応できるようにしてもよい。複数の言語に対応する場合には、質問が想定される言語の応答用情報を全て用意して記録装置104に記録しておいてもよいし、特定の言語、例えば日本語や英語による応答用言語のみを用意しておき、他の言語は、公知の機械翻訳技術を利用して翻訳することにより対応してもよい。 (10) In the embodiment described above, an example has been described in which the recording device 104 records response information in which the question content assumed by the user is associated with the voice data of the answer to the question content. This response information may be prepared according to the language of the country in which the product information providing system 10 is introduced, or may be able to support a plurality of languages. When responding to a plurality of languages, all the response information for the language in which the question is assumed may be prepared and recorded in the recording device 104, or for a response in a specific language such as Japanese or English. Only the language may be prepared, and other languages may be handled by translating using a known machine translation technique.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。   Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.

10 商品情報提供システム
100 商品情報提供装置
101 操作部材
102 接続IF
103 制御装置
104 記録装置
105 表示装置
200 商品情報出力装置
201 タッチパネル
202 通信モジュール
203 制御装置
204 マイク
205 スピーカ
206 カメラ
10 Product Information Providing System 100 Product Information Providing Device 101 Operation Member 102 Connection IF
103 Control Device 104 Recording Device 105 Display Device 200 Product Information Output Device 201 Touch Panel 202 Communication Module 203 Control Device 204 Microphone 205 Speaker 206 Camera

Claims (17)

商品情報を提供する商品情報提供装置と、前記商品情報提供装置から前記商品情報を受信して出力する商品情報出力装置とが通信回線を介して接続された商品情報提供システムであって、
前記商品情報出力装置は、
ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用画像を取得する商品特定用画像取得手段と、
前記商品特定用画像取得手段によって取得された前記商品特定用画像を前記商品情報提供装置へ送信して、前記商品特定用画像に基づいて特定される商品の商品情報を要求する商品情報要求手段と、
前記商品情報提供装置から前記商品情報を受信する商品情報受信手段と、
前記商品情報受信手段によって受信された前記商品情報を出力して前記ユーザに提示する商品情報提示手段と、
前記商品情報提示手段によって出力された前記商品情報に対する前記ユーザからの質問を音声データとして取得する質問音声データ取得手段と、
前記質問音声データ取得手段によって取得された前記質問音声データを前記商品情報提供装置へ送信して、前記質問に対する回答を要求する回答要求手段と、
前記商品情報提供装置から前記質問に対する回答の音声データを回答音声データとして受信する回答受信手段と、
前記回答受信手段によって受信された前記回答音声データを出力する音声データ出力手段とを備え、
前記商品情報提供装置は、
前記商品情報出力装置から前記商品特定用画像を受信する商品特定用画像受信手段と、
前記商品特定用画像受信手段によって受信された前記商品特定用画像を画像処理して、前記ユーザが商品情報の取得を希望する商品を特定する商品特定手段と、
あらかじめ記録装置に記録されている前記商品情報の中から、前記商品特定手段によって特定された商品の前記商品情報を読み出す商品情報読み出し手段と、
前記商品情報読み出し手段によって読み出された前記商品情報を前記商品情報出力装置へ送信する商品情報送信手段と、
前記商品情報出力装置から前記質問音声データを受信する質問音声データ受信手段と、
前記質問音声データ受信手段によって受信された前記質問音声データに基づいて、前記ユーザからの質問内容を特定する質問内容特定手段と、
あらかじめ前記記録装置に記録されている、前記ユーザから想定される質問内容を示す情報と、前記質問に対する回答音声データとが関連付けられた応答用情報の中から、前記質問内容特定手段によって特定された前記質問内容に関連付けて記録されている前記回答音声データを読み出す回答音声データ読み出し手段と、
前記回答音声データ読み出し手段によって読み出された前記回答音声データを前記商品情報出力装置へ送信する回答音声データ送信手段とを備えることを特徴とする商品情報提供システム。
A product information providing system in which a product information providing device that provides product information and a product information output device that receives and outputs the product information from the product information providing device are connected via a communication line,
The product information output device includes:
Based on an instruction from the user, image a subject for specifying a product, and acquire product specifying image acquisition means for acquiring a product specifying image;
Product information requesting means for sending the product specifying image acquired by the product specifying image acquiring means to the product information providing device and requesting product information of the product specified based on the product specifying image; ,
Product information receiving means for receiving the product information from the product information providing device;
Commodity information presentation means for outputting the commodity information received by the commodity information receiving means and presenting it to the user;
Question voice data acquisition means for acquiring, as voice data, a question from the user for the product information output by the product information presentation means;
Answer request means for sending the question voice data acquired by the question voice data acquisition means to the product information providing device and requesting an answer to the question;
Answer receiving means for receiving voice data of answers to the question from the product information providing apparatus as answer voice data;
Voice data output means for outputting the answer voice data received by the answer receiving means,
The product information providing device includes:
Product specifying image receiving means for receiving the product specifying image from the product information output device;
A product specifying means for performing image processing on the product specifying image received by the product specifying image receiving means and specifying a product for which the user desires to obtain product information;
Product information reading means for reading the product information of the product specified by the product specifying means from among the product information recorded in advance in the recording device;
Product information transmitting means for transmitting the product information read by the product information reading means to the product information output device;
Question voice data receiving means for receiving the question voice data from the product information output device;
Question content specifying means for specifying the question content from the user based on the question voice data received by the question voice data receiving means;
The information indicating the question content assumed by the user, which is recorded in the recording device in advance, and the response information associated with the answer voice data for the question is specified by the question content specifying means Answer voice data reading means for reading the answer voice data recorded in association with the question content;
A product information providing system comprising: response voice data transmitting means for transmitting the answer voice data read by the answer voice data reading means to the product information output device.
請求項1に記載の商品情報提供システムにおいて、
前記商品情報提供装置は、
前記商品情報出力装置から受信した前記質問音声データと、それに対して回答した前記回答音声データとを関連付けた応答データの履歴情報を前記記録装置に記録する応答履歴情報記録手段をさらに備え、
前記回答音声データ読み出し手段は、前記記録手段に、前記質問音声データが前記履歴情報として記録されている場合には、前記履歴情報から優先して前記回答音声データを読み出すことを特徴とする商品情報提供システム。
The product information providing system according to claim 1,
The product information providing device includes:
Response history information recording means for recording, in the recording device, history information of response data in which the question voice data received from the product information output device is associated with the answer voice data answered in response to the question voice data;
The answer voice data reading means reads the answer voice data preferentially from the history information when the question voice data is recorded as the history information in the recording means. Offer system.
請求項2に記載の商品情報提供システムにおいて、
前記商品情報出力装置から送信した前記回答音声データに対する前記ユーザの満足度を示す情報を受信する満足度情報受信手段と、
前記満足度情報受信手段によって受信された前記満足度を示す情報に基づいて、前記回答音声データの読み出し優先度を設定する優先度設定手段とをさらに備え、
前記応答履歴情報記録手段は、前記優先度設定手段によって設定された前記回答音声データの読み出し優先度を示す情報を前記応答データに関連付けて前記記録装置に記録し、
前記回答音声データ読み出し手段は、前記記録手段に、前記質問音声データが前記履歴情報として記録されている場合には、前記優先度が高く設定されている前記回答音声データを優先して読み出すことを特徴とする商品情報提供システム。
The product information providing system according to claim 2,
Satisfaction information receiving means for receiving information indicating satisfaction of the user with respect to the answer voice data transmitted from the product information output device;
Priority setting means for setting a read priority of the answer voice data based on the information indicating the satisfaction received by the satisfaction information receiving means;
The response history information recording means records information indicating the read priority of the answer voice data set by the priority setting means in the recording device in association with the response data;
The answer voice data reading means preferentially reads the answer voice data set with a high priority when the question voice data is recorded as the history information in the recording means. Product information provision system featuring
請求項2または3に記載の商品情報提供システムにおいて、
前記応答履歴情報記録手段は、前記応答データの履歴情報を前記ユーザごとに記録することを特徴とする商品情報提供システム。
In the merchandise information provision system according to claim 2 or 3,
The response history information recording unit records history information of the response data for each user.
請求項2〜4のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報提供装置は、
前記記録手段に記録されている前記履歴情報を、質問対象の商品を提供するメーカーが有する端末へ送信する履歴情報送信手段をさらに備えることを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 2 to 4,
The product information providing device includes:
A product information providing system, further comprising: history information transmitting means for transmitting the history information recorded in the recording means to a terminal of a maker that provides a questionable product.
請求項1〜5のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報提供装置は、
前記回答音声データ読み出し手段が前記質問内容特定手段によって特定された前記質問内容に関連付けて記録されている前記回答音声データを読み出すことができない場合には、あらかじめ登録された通知先端末と、前記商品情報出力装置との間で通信を確立して、前記通知先端末のオペレータと前記ユーザとの音声通話を開始する音声通話手段をさらに備えることを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 5,
The product information providing device includes:
If the answer voice data reading means cannot read the answer voice data recorded in association with the question content specified by the question content specifying means, the notification destination terminal registered in advance and the product A product information providing system, further comprising a voice call unit that establishes communication with an information output device and starts a voice call between an operator of the notification destination terminal and the user.
請求項6に記載の商品情報提供システムにおいて、
前記商品情報提供装置は、
前記通知先端末のオペレータと前記ユーザとの音声通話内容を前記記録装置に記録する通話内容記録手段をさらに備えることを特徴とする商品情報提供システム。
The product information providing system according to claim 6,
The product information providing device includes:
A product information providing system, further comprising a call content recording means for recording the content of a voice call between the operator of the notification destination terminal and the user in the recording device.
請求項1〜7のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報提供装置は、
前記質問内容特定手段によって特定された前記ユーザからの質問内容に対する回答が、前記商品情報送信手段によって送信された前記商品情報に含まれているか否かを判定する判定手段をさらに備え、
前記回答音声データ読み出し手段は、前記判定手段によって前記商品情報に含まれていると判定されたときは、質問内容に対する回答が商品情報に含まれていることを通知するための音声データを前記回答音声データとして前記記録装置から読み出すことを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 7,
The product information providing device includes:
A determination unit for determining whether an answer to the question content from the user specified by the question content specifying unit is included in the product information transmitted by the product information transmission unit;
When the determination means determines that the answer voice data reading means is included in the product information, the answer voice data reading means outputs voice data for notifying that the answer to the question content is included in the product information. A product information providing system which reads out from the recording device as audio data.
請求項1〜8のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報出力装置は、
表示装置内に人物の映像を表示させる第1の映像表示手段と、
前記第1の映像表示手段によって表示された人物映像が、前記回答音声データを話しているように、前記人物映像の動作を制御する動作制御手段とをさらに備えることを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 8,
The product information output device includes:
First video display means for displaying a video of a person in the display device;
The product information providing system further comprising operation control means for controlling the operation of the person video so that the person video displayed by the first video display means is speaking the answer voice data. .
請求項1〜8のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報出力装置は、
実空間上に人物の立体映像を表示させる第2の映像表示手段と、
前記第2の映像表示手段によって表示された立体映像の人物が、前記回答音声データを話しているように、前記立体映像の人物の動作を制御する動作制御手段とをさらに備えることを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 8,
The product information output device includes:
Second video display means for displaying a stereoscopic video of a person in real space;
The apparatus further comprises operation control means for controlling the action of the person of the stereoscopic video so that the person of the stereoscopic video displayed by the second video display means is speaking the answer voice data. Product information provision system.
請求項1〜10のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報提供装置は、
前記商品情報出力装置から、前記商品特定手段によって特定された商品の注文を受け付ける注文受付手段をさらに備えることを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 10,
The product information providing device includes:
A product information providing system, further comprising order receiving means for receiving an order for the product specified by the product specifying means from the product information output device.
請求項11に記載の商品情報提供システムにおいて、
前記商品情報提供装置は、
前記注文受付手段が商品の注文を受け付けた場合には、受け付けた商品の注文内容に基づいて、注文された商品の代金を清算するための決済情報を前記商品情報出力装置へ送信する決済情報送信手段をさらに備え、
前記商品情報出力装置は、
前記商品情報提供装置から受信した前記決済情報に基づいて、ユーザが注文した商品の決済画面を表示装置に表示させる決済画面表示手段をさらに備えることを特徴とする商品情報提供システム。
The product information providing system according to claim 11,
The product information providing device includes:
When the order accepting unit accepts an order for a product, settlement information is transmitted to the product information output device for settlement information for clearing the price of the ordered product based on the order contents of the received product. Further comprising means,
The product information output device includes:
A merchandise information providing system, further comprising: a settlement screen display means for displaying a settlement screen of a product ordered by a user on a display device based on the settlement information received from the merchandise information providing apparatus.
請求項1〜12のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報出力装置は、商品を販売する店舗に設置された端末、または前記ユーザが所持する携帯端末であることを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 12,
The product information output system, wherein the product information output device is a terminal installed in a store that sells products or a portable terminal possessed by the user.
請求項1〜13のいずれか一項に記載の商品情報提供システムにおいて、
前記商品特定用画像は、前記商品を特定するための文字列を前記商品を特定するための被写体とした画像、前記商品を特定するための図形を前記商品を特定するための被写体とした画像、前記商品自体を前記商品を特定するための被写体とした画像、前記商品を模した立体物を前記商品を特定するための被写体とした画像、前記商品の形状を模した図形が描かれた設置物を前記商品を特定するための被写体とした画像のいずれかであって、
前記商品特定手段は、前記商品特定用画像を画像処理して、前記商品特定用画像内から前記商品を特定するための被写体を抽出し、あらかじめ記録されている被写体データとマッチングさせることにより、前記ユーザが商品情報の取得を希望する商品を特定することを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 13,
The product specifying image is an image with a character string for specifying the product as a subject for specifying the product, an image with a graphic for specifying the product as a subject for specifying the product, An image in which the product itself is an object for specifying the product, an image in which a three-dimensional object simulating the product is an object for specifying the product, and an installation in which a figure imitating the shape of the product is drawn Is one of the images used as a subject for specifying the product,
The product specifying means performs image processing on the product specifying image, extracts a subject for specifying the product from the product specifying image, and matches with pre-recorded subject data, A product information providing system in which a user specifies a product for which product information is desired to be acquired.
請求項1〜14のいずれか一項に記載の商品情報提供システムにおいて、
前記商品情報は、商品の価格情報、商品の仕様情報、前記商品の在庫情報、前記商品の納期情報、当該商品と他製品とを比較した結果を示す比較情報、商品の3DCADデータ、商品に対して実施されているキャンペーン情報、商品のウェブサイト情報、商品のCM動画情報の少なくとも1つを含むことを特徴とする商品情報提供システム。
In the merchandise information provision system according to any one of claims 1 to 14,
The product information includes product price information, product specification information, product inventory information, product delivery date information, comparison information indicating a result of comparing the product with another product, product 3D CAD data, product A product information providing system including at least one of campaign information, product website information, and product CM video information.
請求項1〜15のいずれかに記載の商品情報提供装置。   The product information providing apparatus according to any one of claims 1 to 15. 請求項1〜15のいずれかに記載の商品情報出力装置。   The product information output device according to claim 1.
JP2012227502A 2012-10-12 2012-10-12 Product information providing system, product information providing device, and product information output device Active JP5142306B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012227502A JP5142306B1 (en) 2012-10-12 2012-10-12 Product information providing system, product information providing device, and product information output device
EP13846062.1A EP2908281A4 (en) 2012-10-12 2013-05-15 Product information provision system, product information provision device, and product information output device
PCT/JP2013/063490 WO2014057704A1 (en) 2012-10-12 2013-05-15 Product information provision system, product information provision device, and product information output device
US14/253,096 US20140214622A1 (en) 2012-10-12 2014-04-15 Product information providing system, product information providing device, and product information outputting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012227502A JP5142306B1 (en) 2012-10-12 2012-10-12 Product information providing system, product information providing device, and product information output device

Publications (2)

Publication Number Publication Date
JP5142306B1 true JP5142306B1 (en) 2013-02-13
JP2014081693A JP2014081693A (en) 2014-05-08

Family

ID=47789872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012227502A Active JP5142306B1 (en) 2012-10-12 2012-10-12 Product information providing system, product information providing device, and product information output device

Country Status (1)

Country Link
JP (1) JP5142306B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015004754A (en) * 2013-06-19 2015-01-08 ヤフー株式会社 Interaction device, interaction method and interaction program
JP2015038676A (en) * 2013-07-02 2015-02-26 株式会社BookLive Article sales system, article sales device and article sales method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5706562B1 (en) * 2014-05-12 2015-04-22 株式会社 ディー・エヌ・エー Server device, program, and system
JP6231205B2 (en) * 2014-06-11 2017-11-15 シャープ株式会社 Output message determination device and output message determination device control method
KR101664400B1 (en) * 2014-07-14 2016-10-10 장수진 System for searching goods of offline shops by online and method for processing thereof
JP7041434B2 (en) * 2018-01-12 2022-03-24 株式会社サテライトオフィス Artificial intelligence speaker system, application software
JP7456145B2 (en) 2019-12-19 2024-03-27 Toppanホールディングス株式会社 Providing device, method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328925A (en) * 2001-04-27 2002-11-15 Sony Corp System, device and method for product retrieval
JP2003122757A (en) * 2001-10-10 2003-04-25 Sony Corp Retrieval guide system, terminal and server
JP2004133495A (en) * 2002-10-08 2004-04-30 Nec Fielding Ltd Helpdesk system
JP2004213318A (en) * 2002-12-27 2004-07-29 Toshiba Corp Natural language sentence generation device, method and program, and information providing device, method and program
JP2004272391A (en) * 2003-03-05 2004-09-30 Matsushita Electric Ind Co Ltd Facility guide system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328925A (en) * 2001-04-27 2002-11-15 Sony Corp System, device and method for product retrieval
JP2003122757A (en) * 2001-10-10 2003-04-25 Sony Corp Retrieval guide system, terminal and server
JP2004133495A (en) * 2002-10-08 2004-04-30 Nec Fielding Ltd Helpdesk system
JP2004213318A (en) * 2002-12-27 2004-07-29 Toshiba Corp Natural language sentence generation device, method and program, and information providing device, method and program
JP2004272391A (en) * 2003-03-05 2004-09-30 Matsushita Electric Ind Co Ltd Facility guide system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015004754A (en) * 2013-06-19 2015-01-08 ヤフー株式会社 Interaction device, interaction method and interaction program
JP2015038676A (en) * 2013-07-02 2015-02-26 株式会社BookLive Article sales system, article sales device and article sales method

Also Published As

Publication number Publication date
JP2014081693A (en) 2014-05-08

Similar Documents

Publication Publication Date Title
JP5142306B1 (en) Product information providing system, product information providing device, and product information output device
WO2014057704A1 (en) Product information provision system, product information provision device, and product information output device
JP6440483B2 (en) COMMUNICATION SYSTEM, SERVER DEVICE, ROBOT, INFORMATION PROCESSING METHOD, AND PROGRAM
US20090287534A1 (en) System and method for providing contemporaneous product information and sales support for retail customers
US20170083969A1 (en) Commercial information providing system and commercial information providing method
CN111095401B (en) Digital image capture session and metadata association
JP6185216B1 (en) Information providing system, information providing apparatus, information providing method, and program
JP5220953B1 (en) Product information providing system, product information providing device, and product information output device
JP6323586B1 (en) Store system, electronic shelf label, store system processing method and program
CN112182426A (en) User interface information display method and device and electronic equipment
JP2011048462A (en) Sales support device and program
US20160019594A1 (en) Communication systems and methods
CN108700979A (en) Product introduction graphic user interface
JP7106879B2 (en) Information processing device and program
JP5954417B2 (en) Order system
KR100985949B1 (en) System and method for providing product information service by mobile network system
US11935111B2 (en) Voice-based transaction terminal ordering
US20210195028A1 (en) Systems and methods for providing call center service with visual search
KR20160069176A (en) Advertisement system and method using user terminal
JP7227884B2 (en) Purchase promotion system and purchase promotion method
JP7417119B2 (en) Information processing systems, information processing system control methods, electronic devices, programs
JP7082219B1 (en) Information processing equipment and information processing method
JP2021033642A (en) Reception apparatus, information processing method, and program
JP7476881B2 (en) Information processing device, information processing method, and program
JP7449337B2 (en) Content provision system, content provision method, provision device and program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5142306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250