JP5220953B1 - 商品情報提供システム、商品情報提供装置、及び商品情報出力装置 - Google Patents

Abstract

【課題】ユーザに商品情報を提供すること。
【解決手段】商品情報提供システム１０は、商品情報を提供する商品情報提供装置と、商品情報提供装置から商品情報を受信して出力する商品情報出力装置とが通信回線を介して接続された商品情報提供システムであって、商品情報出力装置は、ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用画像を取得する商品特定用画像取得手段と、商品特定用画像取得手段によって取得された商品特定用画像を商品情報提供装置へ送信して、商品特定用画像に基づいて特定される商品の商品情報を要求する商品情報要求手段と、商品情報提供装置から商品情報を受信する商品情報受信手段と、商品情報受信手段によって受信された商品情報を出力してユーザに提示する商品情報提示手段と、ユーザからの指示に基づいて、商品情報提示手段によって出力された商品情報に対する質問を音声データ及びテキストデータのいずれのデータ形式によって受け付けるかを設定するデータ設定手段と、商品情報提示手段によって出力された商品情報に対するユーザからの質問データをデータ設定手段によって設定されたデータ形式により取得する質問データ取得手段と、質問データ取得手段によって取得された質問データを商品情報提供装置へ送信して、データ設定手段によって設定されたデータ形式による質問に対する回答を要求する回答要求手段と、商品情報提供装置から質問に対する回答データを受信する回答受信手段と、回答受信手段によって受信された回答データを出力する回答データ出力手段とを備え、商品情報提供装置は、商品情報出力装置から商品特定用画像を受信する商品特定用画像受信手段と、商品特定用画像受信手段によって受信された商品特定用画像を画像処理して、ユーザが商品情報の取得を希望する商品を特定する商品特定手段と、あらかじめ記録装置に記録されている商品情報の中から、商品特定手段によって特定された商品の商品情報を読み出す商品情報読み出し手段と、商品情報読み出し手段によって読み出された商品情報を商品情報出力装置へ送信する商品情報送信手段と、商品情報出力装置から質問データを受信する質問データ受信手段と、質問データ受信手段によって受信された質問データに基づいて、ユーザからの質問内容を特定する質問内容特定手段と、あらかじめ記録装置に記録されている、ユーザから想定される質問内容を示す情報と、質問に対する回答データとが関連付けられた応答用情報の中から、質問内容特定手段によって特定された質問内容に関連付けて記録されている回答データを読み出す回答データ読み出し手段と、回答データ読み出し手段によって読み出された回答データを、商品情報出力装置から指定されたデータ形式で商品情報出力装置へ送信する回答データ送信手段とを備える。
【選択図】図１

Description

本発明は、商品情報提供システム、商品情報提供装置、及び商品情報出力装置に関する。

次のような商品検索システムが知られている。この商品検索システムは、端末装置が検索対象の商品の画像パターンを用いて商品検索要求をすると、第一のサーバ装置で画像パターンと、データベースに予め格納されている商品の標準パターンとをマッチングさせて特定した商品認識情報を通信網を介して第二のサーバ装置へ送信し、第二のサーバ装置では、商品認識情報の受信に応答して、データベースに予め格納されている商品に関する情報から、商品認識情報により特定される商品に関する商品情報を抽出し、これを第一のサーバ装置を介して端末装置へ送信する（例えば、特許文献１）。

特開２００６−３１２００号公報

しかしながら、従来の商品検索システムでは、端末装置は、受信した商品情報の検索結果を表示部に表示するのみであった。このため、ユーザがその商品について疑問点や確認したい点がある場合でも、これらを解決するための手段は提供されていなかった。

本発明による商品情報提供システムは、商品情報を提供する商品情報提供装置と、商品情報提供装置から商品情報を受信して出力する商品情報出力装置とが通信回線を介して接続され、商品情報出力装置は、ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用画像を取得する商品特定用画像取得手段と、商品特定用画像取得手段によって取得された商品特定用画像を商品情報提供装置へ送信して、商品特定用画像に基づいて特定される商品の商品情報を要求する商品情報要求手段と、商品情報提供装置から商品情報を受信する商品情報受信手段と、商品情報受信手段によって受信された商品情報を出力してユーザに提示する商品情報提示手段と、ユーザからの指示に基づいて、商品情報提示手段によって出力された商品情報に対する質問を音声データ及びテキストデータのいずれのデータ形式によって受け付けるかを設定するデータ設定手段と、商品情報提示手段によって出力された商品情報に対するユーザからの質問データをデータ設定手段によって設定されたデータ形式により取得する質問データ取得手段と、質問データ取得手段によって取得された質問データを商品情報提供装置へ送信して、データ設定手段によって設定されたデータ形式による質問に対する回答を要求する回答要求手段と、商品情報提供装置から質問に対する回答データを受信する回答受信手段と、回答受信手段によって受信された回答データを出力する回答データ出力手段とを備え、商品情報提供装置は、商品情報出力装置から商品特定用画像を受信する商品特定用画像受信手段と、商品特定用画像受信手段によって受信された商品特定用画像を画像処理して、ユーザが商品情報の取得を希望する商品を特定する商品特定手段と、あらかじめ記録装置に記録されている商品情報の中から、商品特定手段によって特定された商品の商品情報を読み出す商品情報読み出し手段と、商品情報読み出し手段によって読み出された商品情報を商品情報出力装置へ送信する商品情報送信手段と、商品情報出力装置から質問データを受信する質問データ受信手段と、質問データ受信手段によって受信された質問データに基づいて、ユーザからの質問内容を特定する質問内容特定手段と、あらかじめ記録装置に記録されている、ユーザから想定される質問内容を示す情報と、質問に対する回答データとが関連付けられた応答用情報の中から、質問内容特定手段によって特定された質問内容に関連付けて記録されている回答データを読み出す回答データ読み出し手段と、回答データ読み出し手段によって読み出された回答データを、商品情報出力装置から指定されたデータ形式で商品情報出力装置へ送信する回答データ送信手段とを備えることを特徴とする。

本発明によれば、ユーザは、商品情報出力装置上で提示された商品情報に対して、音声やテキストにより質問をして、その回答を得ることができるため、その場で容易に商品情報に対する疑問点を解消したり、確認したい事項を確認したりすることができる。

商品情報提供システム１０の一実施の形態の構成を示すブロック図である。 商品情報提供装置１００としてサーバ装置を用いた場合の一実施の形態の構成を示すブロック図である。 商品情報出力装置２００として、タブレット端末を用いた場合の一実施の形態の構成を示すブロック図である。 商品情報提供装置１００で実行される商品情報登録処理の流れを示すフローチャート図である。 商品情報提供装置１００で実行される商品情報提供処理の流れを示すフローチャート図である。 商品情報出力装置２００で実行される商品情報出力処理の流れを示すフローチャート図である。 第１の実施の形態における商品情報出力装置２００で実行される質問処理の流れを示すフローチャート図である。 第１の実施の形態における商品情報提供装置１００で実行される回答処理の流れを示すフローチャート図である。 第２の実施の形態における商品情報出力装置２００で実行される質問処理の流れを示すフローチャート図である。 第２の実施の形態における商品情報提供装置１００で実行される回答処理の流れを示すフローチャート図である。

―第１の実施の形態―
図１は、本実施の形態における商品情報提供システムの一実施の形態の構成を示すブロック図である。商品情報提供システム１０は、商品情報が記録された商品情報提供装置１００と、商品情報提供装置１００から商品情報の提供を受けてユーザへ出力する商品情報出力装置２００とが、インターネット等の通信回線を介して接続されている。

商品情報提供装置１００としては、例えば、サーバ装置等が用いられる。また、商品情報出力装置２００としては、例えば、パーソナルコンピュータ（以下、「パソコン」と呼ぶ）の他、スマートフォン、携帯電話、タブレット端末といった種々の情報端末が用いられる。なお、本実施の形態では、インターネットに１台の商品情報提供装置１００と１台の商品情報出力装置２００とが接続されている例を示しているが、これらの台数は限定されない。

図２は、本実施の形態における商品情報提供装置１００としてサーバ装置を用いた場合の一実施の形態の構成を示すブロック図である。商品情報提供装置１００は、操作部材１０１と、接続ＩＦ１０２と、制御装置１０３と、記録装置１０４と、表示装置１０５とを備えている。

操作部材１０１は、商品情報提供装置１００の操作者によって操作される種々の装置、例えばキーボードやマウスを含む。

接続ＩＦ１０２は、商品情報提供装置１００をインターネット等の通信回線に接続するためのインターフェースであり、例えば、インターネットに有線で接続するための有線ＬＡＮモジュールや、インターネットに無線で接続するための無線ＬＡＮモジュールなどが用いられる。

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、商品情報提供装置１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続ＩＦ１０２を介して読み込まれたデータは、バッファメモリに一時的に記録される。

記録装置１０４は、商品情報提供装置１００が蓄える種々のデータや、制御装置１０３が実行するためのプログラムのデータ等を記録するための記録装置であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記録装置１０４に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、使用者が取得したプログラムのデータを記録装置１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。

表示装置１０５は、例えば液晶モニタであって、制御装置１０３から出力される種々の表示用データが表示される。

図３は、本実施の形態における商品情報出力装置２００として、タブレット端末を用いた場合の一実施の形態の構成を示すブロック図である。商品情報出力装置２００は、タッチパネル２０１と、通信モジュール２０２と、制御装置２０３と、マイク２０４と、スピーカ２０５と、カメラ２０６とを備えている。

タッチパネル２０１は、液晶パネル等の表示装置とタッチパッドのような位置入力装置を組み合わせた電子部品であり、画面上の表示を押すことで機器を操作することができる入力装置である。例えば、商品情報出力装置２００のユーザは、液晶パネル上に表示されたボタンやメニュー等の表示項目を指やタッチペンを用いてタッチまたはスライドさせることにより、商品情報出力装置２００を操作することができる。タッチパネル２０１は、ユーザによるタッチやスライドといった操作を検出して、その検出信号を制御装置２０３へ出力する。

通信モジュール２０２は、無線または有線により、ＬＡＮや携帯電話通信網を介してインターネットに接続するためのモジュールが用いられる。商品情報出力装置２００は、この通信モジュール２０２を介して商品情報提供装置１００と通信を行う。

制御装置２０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、商品情報出力装置２００の全体を制御する。なお、制御装置２０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリやフラッシュメモリ等の不揮発性のメモリを含む。揮発性のメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。また、不揮発性のメモリには、商品情報出力装置２００を動作させるためのファームウェアや種々のアプリケーションを動作させるためのソフトウェアのプログラムデータが記録される。

本実施の形態では、商品情報出力装置２００には、あらかじめ商品情報提供装置１００と通信して、商品情報の送信を要求したり、商品情報を受信したりするために必要なアプリケーション（以下、「商品情報アプリ」と呼ぶ）があらかじめインストールされているものとする。この商品情報アプリを起動することによって制御装置２０３で実行される処理については後述する。

マイク２０４は、ユーザによる発話音声を入力するための集音装置であり、スピーカ２０５は、音声を出力するための出力装置である。

カメラ２０６は、レンズ、撮像素子、その他周辺回路によって構成される公知の撮像装置である。ユーザは、商品情報出力装置２００上で撮影用アプリケーションを起動させることにより、カメラ２０６を用いた撮影を行うことができる。

本実施の形態における商品情報提供システム１０では、商品情報を提供する商品情報提供者は、不図示の端末から商品情報提供者端末１００へアクセスして、商品情報を商品情報提供装置１００に登録する。これによって、商品情報提供装置１００で商品情報が公開され、ユーザは、商品情報出力装置２００を操作して商品情報の提供を受けることが可能となる。なお、商品情報の提供者としては、商品を製造するメーカーや商品を販売する販売店等が想定される。また、商品情報の提供を受けるユーザとしては、商品の購入を希望する消費者や商品に興味を持っている消費者が想定される。

以下、本実施の形態における商品情報提供システム１０において、商品情報提供装置１００と商品情報出力装置２００とによって行われる処理の内容を中心に説明を行う。

まず、商品情報提供装置１００への商品情報の登録処理について説明する。商品情報提供者は、不図示の端末上で、自社が製造または販売する商品に関する種々の情報を商品情報として入力する。商品情報としては、例えば、商品を特定するための商品特定用情報、商品の価格情報、商品の仕様情報、商品の在庫情報、商品の納期情報、当該商品と他製品とを比較した結果を示す比較情報、商品の３ＤＣＡＤデータ、商品に対して実施されているキャンペーン情報、商品のウェブサイト情報、商品のＣＭ動画情報の少なくとも１つを含んでいる。

なお、商品特定用情報としては、商品を一意に特定するための情報として、例えば、商品名、商品番号、商品ＩＤ等が用いられる。また、商品の在庫情報としては、商品情報出力装置２００が設置されている店舗での商品の在庫情報、商品を製造するメーカーでの商品の在庫情報、商品の配送元である配送センターにおける商品の在庫情報等が記録される。また、商品の納期情報としては、商品情報出力装置２００が設置されている店舗での商品の納期情報、商品を製造するメーカーでの商品の納期情報、商品の配送元である配送センターにおける商品の納期情報等が記録される。

不図示の端末上で入力された商品情報のデータは、該端末が備える不図示の制御装置が実行する処理によって、通信回線を介して商品情報提供装置１００へ送信される。

商品情報提供装置１００では、制御装置１０３は、商品情報提供者が操作する端末から送信された商品情報のデータを受信すると、受信したデータを記録装置１０４に記録する。これによって、商品情報提供者によって入力された商品情報が商品情報提供装置１００に登録される。

商品情報提供装置１００に登録された商品情報は、商品情報提供者が不図示の端末を操作して任意に変更することができる。すなわち、商品情報提供者が端末上で商品情報を修正した場合には、変更後の商品情報のデータが商品情報提供装置１００へ送信され、これを受信した商品情報提供装置１００では、制御装置１０３は、記録装置１０４に記録されている商品情報を修正後の内容に更新する。

このように、商品情報提供装置１００に商品情報が登録されると、ユーザは、商品情報出力装置２００を操作して、自身が購入を検討している商品や興味を持っている商品の商品情報を閲覧することが可能となる。例えば、商品情報提供装置１００によって商品情報が提供される商品を販売する店舗では、店頭に商品情報出力装置２００を設置しておく。店舗を訪れたユーザは、設置されている商品情報出力装置２００を操作して、自身が購入を希望する商品や持っている商品の商品情報を確認することができる。

具体的には、ユーザは、まず商品情報出力装置２００を操作して上述した商品情報アプリを起動する。制御装置２０３は、商品情報アプリの起動が指示されると、タッチパネル２０１上にアプリ画面を表示し、アプリ画面上でのユーザによる操作を待ち受ける。ユーザは、商品情報提供装置１００から商品情報を取得することを希望する場合には、商品情報提供装置１００に対してその商品を特定するための情報を送信して、商品情報を要求する必要がある。

本実施の形態では、アプリ画面上でユーザによって商品情報の取得が指示された場合には、制御装置２０３は、カメラ２０６を使用した撮影機能を起動して、ユーザに対して商品を特定するための被写体を撮影するように促す。ユーザは、商品を特定するための被写体として、（Ａ）商品名、商品コード、商品番号などの商品を特定するための文字列、（Ｂ）商品のイラスト、広告に表示されている写真、図面などの商品を特定するための図形、（Ｃ）店舗に展示・陳列されている商品自体、（Ｄ）商品の模型やサンプル等の商品を模した立体物、（Ｅ）店舗に設置されている広告用看板や広告ポスターなどの商品の形状を模した図形が描かれた設置物等を被写体として選んで撮影を行う。

制御装置２０３は、ユーザによって撮影が行われた場合には、カメラ２０６から出力される画像データを取り込んで、通信モジュール２０２を介して商品情報提供装置１００へ送信する。

商品情報提供装置１００では、制御装置１０３は、商品情報出力装置２００から商品を特定するための被写体を撮影した画像データを受信した場合には、受信した画像データを対象とした被写体抽出処理を行って、画像内から商品を特定するための被写体の画像を抽出する。なお、ここで実行される被写体画像を抽出するための処理は公知の処理であるため詳細な説明は省略するが、例えば、画像内からエッジを抽出して、抽出したエッジの形状に基づいて画像内から被写体画像を抽出する等の方法を用いればよい。

制御装置１０３は、抽出した被写体画像と、あらかじめ記録装置１０４に記録されている商品特定用の画像とをマッチングさせることにより、商品出力装置２００から受信した画像データ内に写っている被写体を特定する。商品特定用の画像は、例えば、商品情報の提供者が、ユーザが商品を特定するための被写体として選択する可能性があるものをあらかじめ撮影して記録装置１０４に記録しておけばよい。

制御装置１０３は、マッチング処理によって特定した被写体に基づいて、ユーザが撮影した被写体に対応する商品を特定する。例えば、マッチングに用いる商品特定用の画像には、記録装置１０４上で上述した商品特定用情報が関連付けられており、制御装置１０３は、マッチングの結果、被写体とマッチした商品特定用画像に関連付けられている商品特定用情報を抽出することにより商品を特定する。

制御装置１０３は、特定した商品特定用情報が一致する商品情報を記録装置１０４から読み出して、商品情報出力装置２００へ送信する。これによって、商品情報出力装置２００で撮影された被写体に基づいて特定された商品の商品情報が商品情報出力装置２００へ送信される。

商品情報出力装置２００では、制御装置２０３は、受信した商品情報をタッチパネル２０１へ出力して表示する。これによって、ユーザは自身が興味を持っている商品や購入を検討している商品の商品情報を商品情報出力装置２００上で確認することができる。

なお、商品情報提供装置１００の制御装置１０３は、受信した画像データから被写体が抽出できないことにより、商品を特定することができない場合には、商品を特定することができないことを示すエラーメッセージを商品情報出力装置２００へ送信する。商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００からエラーメッセージを受信した場合には、受信したエラーメッセージをタッチパネル２０１に出力して表示したり、スピーカ２０５を介して出力することにより、ユーザに通知する。

本実施の形態では、ユーザは、タッチパネル２０１上に表示された商品情報について疑問点がある場合、確認したい事項がある場合、または表示された商品情報だけでは情報が不足している場合など、商品に対する質問がある場合には、商品情報提供装置１００へ質問を行うことができる。例えば、タッチパネル２０１上には、商品情報とともに質問開始を指示するためのボタンが表示されており、ユーザは該ボタンにタッチすることにより、質問を行うことができる。

制御装置２０３は、ユーザによって質問の開始が指示された場合には、マイク２０４を介した音声入力の待ち受けを開始する。このとき、制御装置２０３は、タッチパネル２０３上にユーザに対して質問の発話を促す表示を行うようにしてもよい。

制御装置２０３は、マイク２０４を介してユーザによる質問音声の入力が開始されたことを検出した場合には、入力された音声データをバッファメモリに記録した後に、通信モジュール２０２を介して商品情報提供装置１００へ送信する。

商品情報提供装置１００では、制御装置１０３は、商品情報出力装置２００から質問の音声データを受信したことを検出した場合には、受信した音声データをバッファメモリに記録した後、公知の音声認識技術を利用して、音声データから質問内容を特定する。例えば、あらかじめ記録装置１０４に音声認識用の待ち受け単語を記録しておき、制御装置１０３は、バッファメモリに記録した音声データを対象として、待ち受け単語を利用した音声認識処理を実行する。待ち受け単語とのマッチングの結果、質問内容に含まれる単語が抽出され、ユーザからの質問内容が特定される。

制御装置１０３は、特定したユーザの質問内容に応じて、ユーザへの回答処理を行う。例えば、記録装置１０４には、ユーザから想定される質問内容と、それに対する回答の音声データとを関連付けた応答用情報を記録しておき、制御装置１０３は、特定した質問内容が記録装置１０４に記録されている場合には、その質問内容に関連付けて記録されている回答の音声データを読み出して、商品情報出力装置２００へ送信する。なお、ここでユーザから想定される質問内容に関連付けて記録される回答の音声データは、デパートでの接客手法や、トップセールスマンの会話手法などを取り入れた回答内容を音声データ化したものとすれば、顧客満足度を向上させることができる。

商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００から回答の音声データを受信した場合には、受信した音声データをスピーカ２０５を介して出力する。これによって、ユーザは、質問に対する回答を商品情報提供装置１００から得ることができ、疑問点等を解消することができる。

また、商品情報提供装置１００の制御装置１０３は、バッファメモリに記録した質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データを記録装置１０４に記録する。これにより、記録装置１０４には、応答データの履歴が蓄積されていく。商品情報の提供者や商品情報提供システム１０の提供者は、記録装置１０４に記録されている当該応答データの履歴を参照することにより、商品や商品情報に対するユーザの質問傾向を把握することができるため、ユーザが質問をしなくても済むように商品情報の内容を充実させることができる。

一方、商品情報提供装置１００の制御装置１０３は、特定した質問内容が記録装置１０４に記録されていない場合や、音声認識処理の結果、質問内容が特定できない場合には、音声認識ができないこと、または質問内容が特定できないことを示すエラーメッセージを商品情報出力装置２００へ送信する。商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００からエラーメッセージを受信した場合には、受信したエラーメッセージをタッチパネル２０１に出力して表示したり、スピーカ２０５を介して出力することにより、ユーザに通知する。これによって、ユーザは、商品情報提供装置１００から回答を得ることができなかったことを把握することができる。

この場合も制御装置１０３は、バッファメモリに記録した質問の音声データと、その質問に対して回答できなかったことを示すデータとを関連付けて記録装置１０４に記録する。これにより、商品情報の提供者や商品情報提供システム１０の提供者は、回答できなかった質問の履歴を把握することができるため、待ち受け単語の見直しや音声認識処理の見直しを行って音声認識精度の向上に努めたり、想定される質問とそれに対する回答を追加して、より多くの質問に対応できるように、システムをバージョンアップさせていくことができる。

図４は、本実施の形態における商品情報提供装置１００で実行される商品情報登録処理の流れを示すフローチャートである。図４に示す処理は、商品情報提供者が操作する不図示の端末から、上述した商品情報を受信すると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ１０において、制御装置１０３は、不図示の端末から受信した商品情報を記録装置１０４に記録する。その後、処理を終了する。

図５は、本実施の形態における商品情報提供装置１００で実行される商品情報提供処理の流れを示すフローチャートである。図５に示す処理は、商品情報出力装置２００から、商品情報の要求のために、上述した商品を特定するための被写体を撮影した画像データを受信すると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ１１０において、制御装置１０３は、上述したように、受信した画像データを対象とした被写体抽出処理を行って、画像内から商品を特定するための被写体画像を抽出する。その後、ステップＳ１２０へ進む。

ステップＳ１２０では、制御装置１０３は、ステップＳ１１０で被写体抽出処理の結果、画像内から被写体画像が抽出できたか否かを判断する。ステップＳ１２０で否定判断した場合には、ステップＳ１６０へ進み、制御装置１０３は、商品を特定することができないことを示すエラーメッセージを商品情報出力装置２００へ送信して、処理を終了する。これに対して、ステップＳ１２０で肯定判断した場合には、ステップＳ１３０へ進む。

ステップＳ１３０では、制御装置１０３は、上述したように、抽出した被写体画像と、あらかじめ記録装置１０４に記録されている商品特定用の画像とをマッチングさせることにより、商品出力装置２００から受信した画像データ内に写っている被写体を特定する。その後、ステップＳ１４０へ進む。

ステップＳ１４０では、制御装置１０３は、上述したように、マッチングの結果、被写体とマッチした商品特定用画像に関連付けられている商品特定用情報を抽出することにより商品を特定して、ステップＳ１５０へ進む。

ステップＳ１５０では、制御装置１０３は、特定した商品特定用情報が一致する商品情報を記録装置１０４から読み出して、商品情報出力装置２００へ送信する。その後、処理を終了する。

図６は、本実施の形態における商品情報出力装置２００で実行される商品情報出力処理の流れを示すフローチャートである。図６に示す処理は、上述したように、ユーザによって商品情報アプリの起動が指示されると起動するプログラムとして、制御装置２０３によって実行される。

ステップＳ２１０では、制御装置２０３は、タッチパネル２０１上にアプリ画面を表示し、アプリ画面上でのユーザによる操作を待ち受ける。その後、ステップＳ２２０へ進む。

ステップＳ２２０では、制御装置２０３は、アプリ画面上でユーザによって商品情報の取得が指示されたか否かを判断する。ステップＳ２２０で肯定判断した場合には、ステップＳ２３０へ進む。

ステップＳ２３０では、制御装置２０３は、上述したように、カメラ２０６を使用した撮影機能を起動して、ユーザに対して商品を特定するための被写体を撮影するように促す。その後、ステップＳ２４０へ進む。

ステップＳ２４０では、制御装置２０３は、ユーザによって撮影が行われたか否かを判断する。ステップＳ２４０で肯定判断した場合には、ステップＳ２５０へ進む。

ステップＳ２５０では、制御装置２０３は、カメラ２０６から出力される画像データを取り込んで、通信モジュール２０２を介して、商品を特定するための被写体が撮影された画像データを商品情報提供装置１００へ送信する。その後、ステップＳ２６０へ進む。

ステップＳ２６０では、制御装置２０３は、商品情報提供装置１００から上述した商品情報を受信したか否かを判断する。ステップＳ２６０で肯定判断した場合には、ステップＳ２７０へ進み、制御装置２０３は、受信した商品情報をタッチパネル２０１へ出力して表示し、処理を終了する。これに対して、ステップＳ２６０で否定判断した場合には、ステップＳ２８０へ進む。

ステップＳ２８０では、制御装置２０３は、商品情報提供装置１００からエラーメッセージを受信したか否かを判断する。ステップＳ２８０で否定判断した場合には、ステップＳ２６０へ戻る。これに対して、ステップＳ２８０で肯定判断した場合には、ステップＳ２９０へ進む。

ステップＳ２９０では、制御装置２０３は、受信したエラーメッセージをタッチパネル２０１に出力して表示したり、スピーカ２０５を介して出力することにより、ユーザに通知する。その後、処理を終了する。

図７は、第１の実施の形態における商品情報出力装置２００で実行される質問処理の流れを示すフローチャートである。図７に示す処理は、上述したように、ユーザによって質問開始が指示されると起動するプログラムとして、制御装置２０３によって実行される。

ステップＳ３１０では、制御装置２０３は、マイク２０４を介してユーザによる質問音声が入力されたか否かを判断する。ステップＳ３１０で肯定判断した場合には、ステップＳ３２０へ進む。

ステップＳ３２０では、制御装置２０３は、入力された音声データをバッファメモリに記録した後に、通信モジュール２０２を介して商品情報提供装置１００へ送信する。その後、ステップＳ３３０へ進む。

ステップＳ３３０では、制御装置２０３は、商品情報提供装置１００から回答の音声データを受信したか否かを判断する。ステップＳ３３０で肯定判断した場合には、ステップＳ３４０へ進む。

ステップＳ３４０では、制御装置２０３は、受信した回答の音声データをスピーカ２０５を介して出力する。その後、処理を終了する。

一方、ステップＳ３３０で否定判断した場合には、ステップＳ３５０へ進む。ステップＳ３５０では、制御装置２０３は、商品情報提供装置１００からエラーメッセージを受信したか否かを判断する。ステップＳ３５０で否定判断した場合には、ステップＳ３３０へ戻る。これに対して、ステップＳ３５０で肯定判断した場合には、ステップＳ３６０へ進む。

ステップＳ３６０では、制御装置２０３は、受信したエラーメッセージをタッチパネル２０１に出力して表示したり、スピーカ２０５を介して出力することにより、ユーザに通知する。その後、処理を終了する。

図８は、第１の実施の形態における商品情報提供装置１００で実行される回答処理の流れを示すフローチャートである。図８に示す処理は、商品情報出力装置２００から上述した質問の音声データを受信すると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ４１０では、制御装置１０３は、商品情報出力装置２００から受信した音声データをバッファメモリに記録した後、上述したように、公知の音声認識技術を利用して、音声データから質問内容を特定する。その後、ステップＳ４２０へ進む。

ステップＳ４２０では、制御装置１０３は、ステップＳ４１０の処理によって、質問内容が特定できたか否かを判断する。ステップＳ４２０で肯定判断した場合には、ステップＳ４３０へ進む。

ステップＳ４３０では、制御装置１０３は、特定した質問内容及びそれに関連付けられた回答の音声データが記録装置１０４に記録されているか否かを判断する。ステップＳ４３０で肯定判断した場合には、ステップＳ４４０へ進む。

ステップＳ４４０では、制御装置１０３は、ステップＳ４１０で特定した質問内容に関連付けて記録されている回答の音声データを記録装置１０４から読み出して、商品情報出力装置２００へ送信する。その後、ステップＳ４５０へ進む。

ステップＳ４５０では、制御装置１０３は、質問の音声データと、その質問に対する回答の音声データとを関連付けて記録装置１０４に記録する。その後、処理を終了する。

一方、ステップＳ４２０で否定判断した場合、またはステップＳ４３０で否定判断した場合には、ステップＳ４６０へ進む。ステップＳ４６０では、制御装置１０３は、音声認識ができないこと、または質問内容が特定できないことを示すエラーメッセージを商品情報出力装置２００へ送信する。その後、ステップＳ４７０へ進む。

ステップＳ４７０では、制御装置１０３は、上述したように、バッファメモリに記録した質問の音声データと、その質問に対して回答できなかったことを示すデータとを関連付けて記録装置１０４に記録する。その後、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）商品情報出力装置２００では、制御装置２０３は、ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用の画像を取得し、取得した商品特定用の画像を商品情報提供装置１００へ送信して、商品特定用画像に基づいて特定される商品の商品情報を要求する。そして、商品情報提供装置１００から商品情報を受信し、受信した商品情報を出力してユーザに提示する。また、商品情報に対するユーザからの質問を音声データとして取得し、質問音声データを商品情報提供装置１００へ送信して、質問に対する回答を要求し、商品情報提供装置１００から質問に対する回答の音声データを回答音声データとして受信して出力するようにした。また、商品情報提供装置１００では、制御装置１０３は、商品情報出力装置２００から商品特定用画像を受信し、受信した商品特定用画像を画像処理して、ユーザが商品情報の取得を希望する商品を特定し、あらかじめ記録装置１０４に記録されている商品情報の中から、特定した商品の商品情報を読み出して、商品情報出力装置２００へ送信する。さらに、商品情報出力装置２００から質問音声データを受信し、受信した質問音声データに基づいて、ユーザからの質問内容を特定し、あらかじめ記録装置１０４に記録されている、ユーザから想定される質問内容を示す情報と、質問に対する回答音声データとが関連付けられた応答用情報の中から、特定した質問内容に関連付けて記録されている回答音声データを読み出して、商品情報出力装置２００へ送信するようにした。これによって、ユーザは、商品情報出力装置２００上で所望の商品情報を確認することができるとともに、提示された商品情報に対して、音声で質問をして、その回答を得ることができ、その場で会話をする感覚で、容易に商品情報に対する疑問点を解消したり、確認したい事項を確認したりすることができる。また、店舗では、人手不足や従業員の知識不足等により、顧客満足度が低下する可能性がある状況であっても、商品情報出力装置２００を設置することにより、顧客は店員を探さなくても、自由に商品情報を調べたり、それに対する質問をしたりすることができるので、顧客に対するサービスを向上させることができる。さらに、ユーザは、商品情報を取得するために、種々の検索条件を指定する必要がなく、その商品を特定するための被写体を撮影するだけでよいため、簡易な操作で商品情報の提供を受けることができる。

（２）商品情報提供装置１００では、制御装置１０３は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データを記録装置１０４に記録するようにした。これにより、記録装置１０４には、応答データの履歴が蓄積されるため、商品情報の提供者や商品情報提供システム１０の提供者は、記録装置１０４に記録されている応答データの履歴を参照することにより、商品や商品情報に対するユーザの質問傾向を把握することができ、ユーザが質問をしなくても済むように商品情報の内容を充実させることができる。

（３）商品情報出力装置２００に商品情報を提供するために、商品情報提供装置１００の記録装置１０４に商品情報を記録するようにした。この場合、ユーザの要望に応えるためには、取り扱う商品の商品情報を記録装置１０４にデータベース化して登録しておく必要があるため、必然的に商品情報が一元管理されることになる。また、煩雑になりがちな商品情報の登録のために、この作業を専門的に行う社員の雇用が必要となったり、この作業を請け負う組織が設立されたりと、新たな雇用の創出につながる可能性もある。

（４）商品情報提供者は、不図示の端末上で、自社が製造または販売する商品に関する種々の情報を商品情報として入力するようにし、商品情報としては、例えば、商品を特定するための商品特定用情報、商品の価格情報、商品の仕様情報、商品の在庫情報、商品の納期情報、当該商品と他製品とを比較した結果を示す比較情報、商品の３ＤＣＡＤデータ、商品に対して実施されているキャンペーン情報、商品のウェブサイト情報、商品のＣＭ動画情報の少なくとも１つを含むようにした。この場合、商品情報提供者は、商品名、価格情報、仕様情報のような一般的な商品情報の他に、在庫情報や納期情報といったユーザが気になると考えられる情報、さらには、他製品との比較情報やキャンペーン情報等の商品情報提供者が積極的に提供したいと考える情報等を任意に商品情報に含めることができる。よって、ユーザからの商品情報の提供要求に応える一方通行の情報提供ではなく、商品情報提供者側が提供する情報をコントロールできるというユーザと商品情報提供者の双方の要望を満たすことができるシステムを実現することができる。

―第２の実施の形態―
上述した第１の実施の形態では、ユーザは、商品情報提供装置１００から受信した商品情報がタッチパネル２０１に表示された後に、その商品に対する質問を音声により行って、商品情報提供装置１００から音声による回答を得る場合について説明した。この場合、例えば、ユーザは、声を発したり、商品情報出力装置２００から音声を出力させることが困難な場所では、商品情報提供システム１０を利用することができない。例えば、電車の車両内や図書館の中などは、一般的に音声による質問や音声による回答の受信は好ましくない。また、音声による回答しか得られないシステムでは、耳の不自由な人が利用することができないという問題も生じる。そこで第２の実施の形態における商品情報提供システム１０では、ユーザは、質問を音声で行うかテキストで行うかを任意に切り替えることができるとともに、回答の受信方法を音声とするかテキストとするかを任意に切り替えることができるようにする。なお、第２の実施の形態において、図１〜図６については、第１の実施の形態と同様のため説明を省略し、ここでは第１の実施の形態との相違点を中心に説明する。

本実施の形態では、ユーザは、商品に関する質問を行う前に、商品情報出力装置２００上で、質問と回答を音声によるものとするか、テキストによるものとするかを設定する必要がある。この設定は、上述した商品情報アプリの設定メニューから任意に切り替えられるようにしてもよいし、商品情報提供装置１００から受信した商品情報が表示された画面上に切り替えボタンを表示し、その商品に対する質問を行う際に、該切り替えボタンを操作することにより切り替えられるようにしてもよい。あるいは、ユーザから音声による切り替え指示を受け付けるようにしてもよい。

制御装置２０３は、ユーザによって質問と回答を音声データによって送受信するように設定された場合には、第１の実施の形態で上述した処理を実行する。一方、制御装置２０３は、ユーザによって質問と回答をテキストデータによって送受信するように設定された場合には、以下に説明する処理を実行する。

制御装置２０３は、商品情報提供装置１００から受信した商品情報をタッチパネル２０１に表示した後に、ユーザによって質問の開始が指示された場合には、タッチパネル２０１上に質問入力欄を表示して、タッチパネル２０１上でのテキスト入力の待ち受けを開始する。タッチパネル２０１上でのテキスト入力は、例えばタッチパネル上にキーボードを模した画像を表示し、この仮想的なキーボード上でのタッチ位置を検出して、入力された文字を特定することにより受け付けてもよい。あるいは、不図示の外付けキーボードを介してテキスト入力を受け付けてもよい。

制御装置２０３は、ユーザによってテキスト入力が開始されたことを検出した場合には、入力されたテキストデータをバッファメモリに記録した後に、通信モジュール２０２を介して商品情報提供装置１００へ送信する。

商品情報提供装置１００では、制御装置１０３は、商品情報出力装置２００から質問のテキストデータを受信したことを検出した場合には、受信したテキストデータをバッファメモリに記録した後、公知のテキスト認識技術を利用して、テキストデータから質問内容を特定する。例えば、あらかじめ記録装置１０４にテキスト認識用の待ち受け単語を記録しておき、制御装置１０３は、バッファメモリに記録したテキストデータを対象として、待ち受け単語を利用したテキスト認識処理を実行する。待ち受け単語とのマッチングの結果、質問内容に含まれる単語が抽出され、ユーザからの質問内容が特定される。

制御装置１０３は、特定したユーザの質問内容に応じて、ユーザへの回答処理を行う。例えば、記録装置１０４には、ユーザから想定される質問内容と、それに対する回答のテキストデータとを関連付けた応答用情報を記録しておき、制御装置１０３は、特定した質問内容が記録装置１０４に記録されている場合には、その質問内容に関連付けて記録されている回答のテキストデータを読み出して、商品情報出力装置２００へ送信する。なお、ここでユーザから想定される質問内容に関連付けて記録される回答のテキストデータは、第１の実施の形態における回答の音声データと同様に、デパートでの接客手法や、トップセールスマンの会話手法などを取り入れた回答内容をテキストデータ化したものとすれば、顧客満足度を向上させることができる。

なお、第２の実施の形態では、上述したように、制御装置２０３は、ユーザによって質問と回答を音声データによって送受信するように設定された場合には、第１の実施の形態で上述した処理を実行し、ユーザによって質問と回答をテキストデータによって送受信するように設定された場合には、本実施の形態による処理を実行する必要がある。このため、本実施の形態では、記録装置１０４には、音声データ形式の応答用情報と、テキストデータ形式の応答用情報とをそれぞれ記録しておく必要がある。制御装置１０３は、質問データのデータ形式に応じた応答用情報を選択して、回答データの読み出しを行う。

商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００から回答のテキストデータを受信した場合には、受信したテキストデータをタッチパネル２０１上に出力して表示する。これによって、ユーザは、質問に対する回答を商品情報提供装置１００から得ることができ、疑問点等を解消することができる。

また、商品情報提供装置１００の制御装置１０３は、バッファメモリに記録した質問のテキストデータと、その質問に対する回答のテキストデータとを関連付けた応答データを記録装置１０４に記録する。これにより、記録装置１０４には、応答データの履歴が蓄積されていく。商品情報の提供者や商品情報提供システム１０の提供者は、記録装置１０４に記録されている当該応答データの履歴を参照することにより、商品や商品情報に対するユーザの質問傾向を把握することができるため、ユーザが質問をしなくても済むように商品情報の内容を充実させることができる。

一方、商品情報提供装置１００の制御装置１０３は、特定した質問内容が記録装置１０４に記録されていない場合や、テキスト認識処理の結果、質問内容が特定できない場合には、テキスト認識ができないこと、または質問内容が特定できないことを示すエラーメッセージを商品情報出力装置２００へ送信する。商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００からエラーメッセージを受信した場合には、受信したエラーメッセージをタッチパネル２０１に出力して表示して出力することにより、ユーザに通知する。これによって、ユーザは、商品情報提供装置１００から回答を得ることができなかったことを把握することができる。

この場合も制御装置１０３は、バッファメモリに記録した質問のテキストデータと、その質問に対して回答できなかったことを示すデータとを関連付けて記録装置１０４に記録する。これにより、商品情報の提供者や商品情報提供システム１０の提供者は、回答できなかった質問の履歴を把握することができるため、待ち受け単語の見直しやテキスト認識処理の見直しを行ってテキスト認識精度の向上に努めたり、想定される質問とそれに対する回答を追加して、より多くの質問に対応できるように、システムをバージョンアップさせていくことができる。

図９は、第２の実施の形態における商品情報出力装置２００で実行される質問処理の流れを示すフローチャートである。図９に示す処理は、上述したように、ユーザによって質問開始が指示されると起動するプログラムとして、制御装置２０３によって実行される。

ステップＳ５１０では、制御装置２０３は、質問と回答の送受信方法が音声データに設定されているか否かを判断する。ステップＳ５１０で肯定判断した場合には、ステップＳ５２０へ進み、制御装置２０３は、第１の実施の形態において図７を用いて説明した処理を実行する。これに対して、ステップＳ５１０で否定判断した場合には、ステップＳ５３０へ進む。

ステップＳ５３０では、制御装置２０３は、ユーザによってタッチパネル２０１上で質問テキストが入力されたか否かを判断する。ステップＳ５３０で肯定判断した場合には、ステップＳ５４０へ進む。

ステップＳ５４０では、制御装置２０３は、入力されたテキストデータをバッファメモリに記録した後に、通信モジュール２０２を介して商品情報提供装置１００へ送信する。その後、ステップＳ５５０へ進む。

ステップＳ５５０では、制御装置２０３は、商品情報提供装置１００から回答のテキストデータを受信したか否かを判断する。ステップＳ５５０で肯定判断した場合には、ステップＳ５６０へ進む。

ステップＳ５６０では、制御装置２０３は、受信した回答のテキストデータをタッチパネル２０１上に出力して表示する。その後、処理を終了する。

一方、ステップＳ５５０で否定判断した場合には、ステップＳ５７０へ進む。ステップＳ５７０では、制御装置２０３は、商品情報提供装置１００からエラーメッセージを受信したか否かを判断する。ステップＳ５７０で否定判断した場合には、ステップＳ５５０へ戻る。これに対して、ステップＳ５７０で肯定判断した場合には、ステップＳ５８０へ進む。

ステップＳ５８０では、制御装置２０３は、受信したエラーメッセージをタッチパネル２０１に出力して表示することにより、ユーザに通知する。その後、処理を終了する。

図１０は、第２の実施の形態における商品情報提供装置１００で実行される回答処理の流れを示すフローチャートである。図１０に示す処理は、商品情報出力装置２００から上述した質問の音声データまたはテキストデータを受信すると起動するプログラムとして、制御装置１０３によって実行される。

ステップＳ６１０では、制御装置２０３は、商品情報出力装置２００から受信した質問のデータが音声データであるか否かを判断する。ステップＳ６１０で肯定判断した場合には、ステップＳ６２０へ進み、制御装置２０３は、第１の実施の形態において図８を用いて説明した処理を実行する。これに対して、ステップＳ６１０で否定判断した場合には、ステップＳ６３０へ進む。

ステップＳ６３０では、制御装置１０３は、商品情報出力装置２００から受信したテキストデータをバッファメモリに記録した後、上述したように、公知のテキスト認識技術を利用して、テキストデータから質問内容を特定する。その後、ステップＳ６４０へ進む。

ステップＳ６４０では、制御装置１０３は、ステップＳ６３０の処理によって、質問内容が特定できたか否かを判断する。ステップＳ６４０で肯定判断した場合には、ステップＳ６５０へ進む。

ステップＳ６５０では、制御装置１０３は、特定した質問内容及びそれに関連付けられた回答のテキストデータが記録装置１０４に記録されているか否かを判断する。ステップＳ６５０で肯定判断した場合には、ステップＳ６６０へ進む。

ステップＳ６６０では、制御装置１０３は、ステップＳ６３０で特定した質問内容に関連付けて記録されている回答のテキストデータを記録装置１０４から読み出して、商品情報出力装置２００へ送信する。その後、ステップＳ６７０へ進む。

ステップＳ６７０では、制御装置１０３は、質問のテキストデータと、その質問に対する回答のテキストデータとを関連付けて記録装置１０４に記録する。その後、処理を終了する。

一方、ステップＳ６４０で否定判断した場合、またはステップＳ６５０で否定判断した場合には、ステップＳ６８０へ進む。ステップＳ６８０では、制御装置１０３は、テキスト認識ができないこと、または質問内容が特定できないことを示すエラーメッセージを商品情報出力装置２００へ送信する。その後、ステップＳ６９０へ進む。

ステップＳ６９０では、制御装置１０３は、上述したように、バッファメモリに記録した質問のテキストデータと、その質問に対して回答できなかったことを示すデータとを関連付けて記録装置１０４に記録する。その後、処理を終了する。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、以下のような作用効果を得ることができる。すなわち、商品情報出力装置２００の制御装置２０３は、ユーザからの指示に基づいて、タッチパネル２０１上に出力された商品情報に対する質問を音声データ及びテキストデータのいずれのデータ形式によって受け付けるかを設定するようにし、設定したデータ形式で商品情報提供装置１００へ質問データを送信し、商品情報提供装置１００から回答データを受信するようにした。これにより、ユーザは、発話や商品情報出力装置２００からの音声出力が可能な状況か否かに応じて、商品情報提供システム１０を音声により利用するかテキストにより利用するかを任意に切り替えることができる。

また、音声によるコミュニケーションが困難な耳の不自由な人はテキストを選択して商品情報提供システム１０を利用すればよく、テキストによるコミュニケーションが困難な視力に問題のある人は音声を選択して商品情報提供システム１０を利用すればよい。このように、第２の実施の形態による商品情報提供システム１０では、音声とテキストの両方で質問と回答が可能なシステムとしたことにより、視聴覚障害者に対しても極めて有用なシステムを提供することができる。

―変形例―
なお、上述した実施の形態の商品情報提供システムは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、商品情報提供装置１００の制御装置１０３は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データを記録装置１０４に記録する例について説明した。また、上述した第２の実施の形態では、商品情報提供装置１００の制御装置１０３は、ユーザによる質問のテキストデータと、その質問に対する回答のテキストデータとを関連付けた応答データを記録装置１０４に記録する例について説明した。このように記録した応答データに含まれる質問と回答の組み合わせは、過去に実際にユーザが質問した内容とそれに対する回答内容であるため、ユーザによって頻繁に質問される内容である可能性が高い。よって、制御装置１０３は、商品情報出力装置２００から質問の音声データまたはテキストデータを受信した場合には、まずこの応答データの履歴の中に同じ質問内容が無いかをチェックし、ある場合には応答データの履歴の中からそれに対応する回答の音声データまたはテキストデータを読み出して商品情報出力装置２００へ送信するようにしてもよい。このように、履歴として蓄積された応答データから優先して回答のデータを読み出すようにすれば、過去に質問された実績のある内容に基づいて回答を行えるため、回答精度を向上させることができる。また、応答データの履歴を対象として質問のデータを検索すればよいため、レスポンスを向上させることができる。

（２）上述した第１の実施の形態では、記録装置１０４には、ユーザから想定される質問内容と、それに対する回答の音声データとを関連付けた応答用情報を記録しておき、制御装置１０３は、特定した質問内容が記録装置１０４に記録されている場合には、その質問内容に関連付けて記録されている回答の音声データを読み出して、商品情報出力装置２００へ送信する例について説明した。また、上述した第２の実施の形態では、記録装置１０４には、ユーザから想定される質問内容と、それに対する回答のテキストデータとを関連付けた応答用情報を記録しておき、制御装置１０３は、特定した質問内容が記録装置１０４に記録されている場合には、その質問内容に関連付けて記録されている回答のテキストデータを読み出して、商品情報出力装置２００へ送信する例について説明した。このとき、ユーザから想定される１つの質問内容に対して、１つの回答の音声データまたはテキストデータを関連付けて応答用情報としてもよいし、ユーザから想定される１つの質問内容に対して、複数の回答の音声データまたはテキストデータを関連付けて応答用情報としてもよい。ユーザから想定される１つの質問内容に対して、複数の回答の音声データまたはテキストデータを関連付けるようにすれば、実際の人物が質問に回答する場合と同様に、１つの質問に対して複数通りの回答の仕方があることを考慮して、より実際の接客に近い形でのユーザへの対応が可能となる。なお、制御装置１０３は、特定した質問内容に対する回答データが複数記録されている場合には、その中からランダムに選択した１つのデータを読み出して、商品情報出力装置２００へ送信すればよい。

あるいは、制御装置は、過去の回答内容に対するユーザの満足度を判定し、満足度が高い回答データを優先して読み出すようにしてもよい。この場合、制御装置１０３は、一定のデータが集まるまでは、複数の回答データの中からランダムで回答データを選択して商品情報出力装置２００へ送信すればよい。そして、商品情報出力装置２００では、制御装置２０３は、受信した回答データを出力した後に、その回答内容に満足したかをユーザに確認する。例えば、制御装置２０３は、「今の回答でよろしいですか？」のような確認メッセージを音声またはテキストにより出力して、それに対してユーザに「はい」または「いいえ」の音声またはテキストによる応答を促せばよい。制御装置２０３は、ユーザが「はい」と応答したことを検出した場合には、ユーザが回答に満足したことを示す情報を商品情報提供装置１００へ送信する。一方、制御装置２０３は、ユーザが「いいえ」と応答したことを検出した場合には、ユーザが回答に不満であったことを示す情報を商品情報提供装置１００へ送信する。

商品情報提供装置１００では、制御装置１０３は、商品情報出力装置２００から上記のようなユーザの満足度を示す情報を受信した場合には、当該満足度を示す情報に基づいて、回答データの読み出し優先度を設定する。例えば、制御装置１０３は、ユーザの満足度を示す情報として、ユーザが回答に満足したことを示す情報を受信した場合には、優先度として１を設定し、この優先度情報を、その回答データを含む応答データに関連付けて記録する。以降、その回答データに対してユーザが回答に満足したことを示す情報を受信した際には、その回答データを含む応答データに関連付けて記録されている優先度情報に１を加算していく。

一方、制御装置１０３は、ユーザの満足度を示す情報として、ユーザが回答に不満であったことを示す情報を受信した場合には、優先度として−１を設定し、この優先度情報を、その回答データを含む応答データに関連付けて記録する。以降、その回答データに対してユーザが回答に不満であったことを示す情報を受信した際には、その回答データを含む応答データに関連付けて記録されている優先度情報から１を減算していく。これにより、履歴として記録される各応答データには、読み出し時の優先度情報が関連付けて記録されていく。

制御装置１０３は、特定した質問内容に対する回答データが複数記録されている場合には、その優先度が高く設定されている回答データ、すなわち優先度情報として記録されている数値が大きい回答の音声データまたはテキストデータを読み出して、商品情報出力装置２００へ送信すればよい。

また、商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００との間で同じ商品情報に対して、複数回の質問と回答のやりとりがあった場合には、その一連のやりとりに対して、ユーザに満足度を問い合わせるようにしてもよい。例えば、制御装置２０３は、「一連の回答に対する満足度をＡからＣの三段階でお答えください」のようなメッセージを音声またはテキストにより出力して、それに対してユーザに「Ａ」、「Ｂ」、「Ｃ」の音声またはテキストによる応答を促せばよい。制御装置２０３は、ユーザが「Ａ」と応答したことを検出した場合には、一連の回答に対するユーザの満足度が「Ａ」であることを示す情報を商品情報提供装置１００へ送信する。制御装置２０３は、ユーザが「Ｂ」と応答したことを検出した場合には、一連の回答に対するユーザの満足度が「Ｂ」であることを示す情報を品情報提供装置１００へ送信する。制御装置２０３は、ユーザが「Ｃ」と応答したことを検出した場合には、一連の回答に対するユーザの満足度が「Ｃ」であることを示す情報を商品情報提供装置１００へ送信する。

商品情報提供装置１００では、制御装置１０３は、一連の回答に対するユーザの満足度が「Ａ」であることを示す情報を受信した場合には、その一連のやりとりに含まれる全ての応答データに関連付けて記録されている優先度情報に１を加算する。また、制御装置１０３は、一連の回答に対するユーザの満足度が「Ｂ」であることを示す情報を受信した場合には、その一連のやりとりに含まれる全ての応答データに関連付けて記録されている優先度情報に対して加算も減算も行わない。制御装置１０３は、一連の回答に対するユーザの満足度が「Ｃ」であることを示す情報を受信した場合には、その一連のやりとりに含まれる全ての応答データに関連付けて記録されている優先度情報から１を減算する。これによって、複数の質問が続けて行われたときに、その一連の回答に対する満足度も加味して、応答データの読み出し優先度を設定することができる。

制御装置１０３は、さらに、商品情報出力装置２００から一連の回答に対するユーザの満足度を示す情報を受信した場合には、その一連の応答データの組に対して、満足度に対する優先度情報を関連付けて記録するようにしてもよい。この場合も、受信した満足度が「Ａ」、「Ｂ」、「Ｃ」のいずれであるかに応じて、応答データの組に関連付けて記録された優先度情報に加減算を行えばよい。このようにすると、メーカーや販売店の担当者は、ユーザがどのような内容の質問をどのような順序で行ったかという質問の流れと、それに対する回答の内容とを把握することができるとともに、その質問の流れに対してどのような回答をすればユーザの満足度が高くなるかを把握することができる。このため、質問のデータに関連付けて記録する回答のデータに対して、回答内容の変更や回答内容のバリエーションの増加などの見直しを行って、さらなるユーザ満足度の向上につなげることができる。なお、ここでは満足度を「Ａ」、「Ｂ」、「Ｃ」の三段階で評価する例について説明したが、四段階、五段階など、評価の仕方はこれに限定されるものではない。

（３）上述した第１の実施の形態では、商品情報提供装置１００の制御装置１０３は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データの履歴を記録装置１０４に記録する例について説明した。また、上述した第２の実施の形態では、商品情報提供装置１００の制御装置１０３は、ユーザによる質問のテキストデータと、その質問に対する回答のテキストデータとを関連付けた応答データの履歴を記録装置１０４に記録する例について説明した。この場合、制御装置１０３は、あらかじめ設定された所定のタイミング、例えば１日１回所定の時刻に、記録装置１０４に記録されている応答データの履歴情報を、質問がされた商品を提供するメーカーが有する端末へ送信するようにしてもよい。例えば、各商品情報に対応付けてメーカーの担当者のメールアドレスを登録しておき、制御装置１０３は、応答データの履歴情報を質問がされた商品のメーカー担当者へメールで送信するようにすればよい。これによって、メーカーでは、商品に対してユーザがどのような質問を行い、それに対してどのような回答がなされたのかを把握することができる。

（４）上述した第１および第２の実施の形態では、制御装置１０３は、特定した質問内容が記録装置１０４に記録されておらず、質問内容に関連付けて記録されている回答データを読み出すことができない場合には、エラーメッセージを商品情報出力装置２００へ送信する例について説明した。しかしながら、制御装置１０３は、質問内容に関連付けて記録されている回答データを読み出すことができない場合には、あらかじめ登録された通知先端末と、商品情報出力装置２００との間で通信を確立して、通知先端末のオペレータとユーザとの間で音声通話やテキストによるチャットを開始するようにしてもよい。これにより、商品情報提供装置１００では対応できない質問がされたときには、オペレータに繋いで、ユーザはオペレータに質問をして、疑問を解消することができる。なお、ユーザは、通知先端末のオペレータと音声通話を行うかテキストによるチャットを行うかを任意に選択できるようにしてもよい。また、第２の実施の形態の発明に適用する場合には、ユーザが質問と回答を音声データとテキストデータのどちらのデータ形式でやりとりすることを希望したかに応じて、オペレータとの会話も音声とテキストを切り替えるようにしてもよい。

また、この場合、通知先端末のオペレータとユーザとの音声通話内容やチャット内容を記録装置１０４に記録するようにしてもよい。これによって、ユーザとオペレータとのやり取りの履歴を、回答音声データまたは回答テキストデータの充実や、オペレータの質向上に役立てることができる。

あるいは、制御装置１０３は、質問内容に関連付けて記録されている回答データを読み出すことができない場合には、すぐにオペレータに繋ぐか、回答が準備できた段階でオペレータから連絡をもらうかをユーザに選択させるようにしてもよい。ユーザがすぐにオペレータに繋ぐことを選択した場合には、上記と同様に、制御装置１０３は、商品情報出力装置２００との間で通信を確立して、通知先端末のオペレータとユーザとの間で音声通話またはテキストによるチャットを開始すればよい。一方、ユーザが回答が準備できた段階でオペレータから連絡をもらうことを選択した場合には、制御装置１０３は、通知先端末へユーザによる質問音声データまたはテキストデータを送信して、ユーザから質問があったことを通知するようにすればよい。これを受けた通知先端末では、オペレータは、質問音声データの内容からユーザの質問内容を把握して、それに対する回答を準備した後に、通知先端末から商品情報出力装置２００を呼び出して回答を行うようにすればよい。これにより、ユーザは、すぐにオペレータと通話やチャットによる会話をするか、回答が準備された段階でオペレータと通話やチャットによる会話するかを選択できるため、ユーザの利便性を向上させることができる。また、ユーザは、回答が準備された段階でオペレータから連絡をもらうように選択すれば、時間がない場合に無駄な待ち時間が発生するのを防ぐことができる。なお、ユーザが回答が準備できた段階でオペレータから音声による連絡をもらうことを選択した場合には、制御装置１０３は、ユーザに連絡先とする電話番号の入力を促し、ここで入力された電話番号を通知先端末へ送信するようにしてもよい。これにより、オペレータは、ユーザへ直接電話して質問への回答を行うこともできる。

また、ユーザは、オペレータとの会話の結果、商品の購入を決めた場合には、オペレータに商品の購入意思を伝えることができ、この場合、オペレータは、通知先端末を操作して、ユーザが操作する商品情報出力装置２００へ商品注文用の画面を表示させるようにしてもよい。ユーザは、表示された商品注文用の画面上で必要事項を入力することにより、オペレータに問い合わせを行った商品の注文を行うことができる。

（５）上述した第１の実施の形態では、制御装置１０３は、商品情報出力装置２００からユーザによる質問の音声データを受信した場合には、記録装置１０４に記録されているその質問に対する回答の音声データを読み出して、商品情報出力装置２００へ送信する例について説明した。また、上述した第２の実施の形態では、制御装置１０３は、商品情報出力装置２００からユーザによる質問のテキストデータを受信した場合には、記録装置１０４に記録されているその質問に対する回答のテキストデータを読み出して、商品情報出力装置２００へ送信する例について説明した。しかしながら、ユーザは、既に商品情報出力装置２００に送信されている商品情報に含まれている内容について質問をしてくることも考えられる。このように、ユーザからの質問内容に対する回答が、送信済みの商品情報に含まれている場合には、制御装置１０３は、質問内容に対する回答が商品情報に含まれていることを通知するための音声データまたはテキストデータを回答データとして記録装置１０４から読み出して、商品情報出力装置２００へ送信するようにしてもよい。これによって、送信済みの商品情報を活用して、ユーザの質問に回答することができる。

（６）上述した第１の実施の形態では、ユーザは、質問内容を音声で入力することができ、それに対する回答を音声で得ることができる例について説明した。また、上述した第２の実施の形態では、ユーザは、質問内容をテキストで入力することができ、それに対する回答をテキストで得ることができる例について説明した。この方法によると、ユーザは、あたかも商品情報出力装置２００と会話をするような感覚で、商品情報に対する質問を行うことができる。本発明では、これをさらに発展させて、制御装置２０３は、タッチパネル２０１内に人物の映像を表示させ、この人物が、回答データを話しているように、人物映像の動作を制御するようにしてもよい。これによって、ユーザはタッチパネル２０１内に表示された仮想的な人物と話をしているような感覚で、商品情報に対する質問をすることができる。

また、さらにリアリティを出すために、制御装置２０３は、実空間上に人物の立体映像を表示させ、この人物が、回答データを話しているように、立体映像の人物の動作を制御するようにしてもよい。これによって、ユーザは実空間上に浮かび上がった仮想的な人物と話をしているような感覚で、商品情報に対する質問をすることができる。さらに、このように実空間上に人物の立体映像を表示させた場合には、実空間上に浮かび上がった仮想的な人物に質問をして、回答をさせることができるため、その人物を仮想的な接客員（デジタルアテンダント）として利用することができる。また、商品のメーカーや販売店は、商品に興味を持っているユーザを探し出して、実際にセールスマン等を送り込むことは困難であるが、このデジタルアテンダントは、商品に対して興味を持っているユーザが操作する商品出力装置２００に表示されるため、販売戦略に基づいて行動するセールスマンの役割を果たすデジタルアテンダントを、瞬時にユーザの元に送り込むことができる。

また、ロボットに商品出力装置２００を適用し、ロボットが回答データを話しているように、ロボットの動作を制御するようにしてもよい。これによって、ユーザは目の前にいるロボットと話をしているような感覚で、商品情報に対する質問をすることができる。また、商品情報提供システム１０を導入する企業は、ロボットの外観を自社のキャラクターの形状として店頭に設置すれば、宣伝効果も発揮させることができる。

（７）上述した第１および第２の実施の形態では、商品情報出力装置２００では、制御装置２０３は、ユーザによって撮影された商品を特定するための被写体の画像データを商品情報提供装置１００へ送信して、商品情報提供装置１００から商品情報を取得し、ユーザに提供する例について説明した。また、商品情報提供装置１００は、商品情報出力装置２００からの要求に応じて商品情報を送信する例について説明した。しかしながら、商品情報提供システム１０では、ユーザは、商品情報出力装置２００上で商品情報を確認した後に、その商品を注文できるようにしてもよい。この場合、例えば、商品情報を表示した画面上に注文ボタン等を表示し、制御装置２０３は、ユーザによって注文ボタンにタッチされたことを検出したときに、ユーザに注文に必要な情報の入力を促し、これらを注文情報として商品情報提供装置１００へ送信すればよい。商品情報提供装置１００では、制御装置１０３は、商品情報出力装置２００から注文情報を受信することにより商品の注文を受け付け、受け付けた商品の注文内容に基づいて、注文された商品の代金を清算するための決済情報を商品情報出力装置２００へ送信すればよい。商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００から受信した決済情報に基づいて、ユーザが注文した商品の決済画面をタッチパネル２０１上に表示し、該決済画面上で入力された情報を商品情報提供装置１００へ送信して、決済を行うようにすればよい。これにより、ユーザは、商品情報出力装置２００を操作して、商品の注文も行うことができる。

（８）上述した第１および第２の実施の形態では、商品情報の提供者としては、商品を製造するメーカーや商品を販売する販売店等が想定される。また、商品情報の提供を受けるユーザとしては、商品の購入を希望する消費者や商品に興味を持っている消費者を想定し、商品情報出力装置２００は、商品情報提供装置１００によって商品情報が提供される商品を販売する店舗の店頭に設置される例について説明した。この場合、例えば、商品情報出力装置２００は、デパート、スーパー、家電量販店、個人商店等に設置され、ユーザは、これらの店舗で取り扱われている商品の情報を商品情報出力装置２００を操作して得ることができる。しかしながら、これら小売業界以外の他の業界でも本発明による商品情報提供システム１０を活用することができる。以下にその一例を挙げる。

例えば、自動車業界では、本発明による商品情報提供システム１０を導入することにより、ショールームに商品情報出力装置２００を設置すれば、ショールームの人手不足を解消することができる。また、ユーザが所持する端末を商品情報出力装置２００とすれば、ユーザは路上を走る車の画像を撮影して商品情報提供装置１００にアクセスするだけで、その車の商品情報を取得することができる。また、この車に対する質問も行うことができる。

また、映画、演劇の切符売り場に商品情報出力装置２００を設置すれば、ユーザは、映画や演劇の出演者やあらすじなどを商品情報として把握することができ、さらに映画や演劇について質問をすることもできる。

化粧品業界では、ユーザが所持する端末を商品情報出力装置２００とすれば、ユーザは自宅にいながら化粧品の商品情報を取得することができる。また、質問を行う際には、同時に自身の肌の画像等を送るようにすれば、商品情報提供装置１００で肌の状態を診断して、お勧め商品や肌に関するアドバイスの音声データを回答するようなシステムにも応用することができる。

また、出版業界に本システムを導入をすれば、これまでユーザは、通販カタログなどで得ていた商品の情報を、既存のファッション雑誌、趣味娯楽雑誌、その他、電子書籍を含めたあらゆる書籍上に掲載されている商品を特定するための情報を被写体として撮影することにより、これらの商品の商品情報を容易に取得して、商品を購入することが可能となる。

また、宅配便業界に本システムを導入すれば、商品情報提供装置１００には、商品情報として荷物の配達情報を記録しておき、ユーザは、商品情報出力装置２００を操作して、配達伝票に表示された配達番号等を撮影して商品情報を問い合わせることにより、荷物の配達情報を確認することができる。また、ユーザは、表示された配達情報に対して質問がある場合には、音声またはテキストで質問をしてその回答を得ることもできる。これにより、現在は、配達番号を画面上で入力して配達状況を問い合わせるのが一般的であるが、ユーザは、撮影を行うだけで問い合わせができるので、面倒な入力作業を省くことができる。また、伝票番号の入力ミスも防ぐことができる。

（９）上述した第１の実施の形態では、商品情報提供装置１００の制御装置１０３は、ユーザによる質問の音声データと、その質問に対する回答の音声データとを関連付けた応答データの履歴を記録装置１０４に記録する例について説明した。また、上述した第２の実施の形態では、商品情報提供装置１００の制御装置１０３は、ユーザによる質問のテキストデータと、その質問に対する回答のテキストデータとを関連付けた応答データの履歴を記録装置１０４に記録する例について説明した。この応答データは、ユーザごとに記録するようにしてもよい。例えば、ユーザを一意に特定するためのユーザＩＤ等を発行しておき、制御装置２０３は、ユーザには、上述した商品情報アプリを起動する際に、ユーザＩＤを用いたログインを要求するようにして、被写体特定用の画像データや質問のデータを商品情報提供装置１００へ送信する際にユーザＩＤも送るようにすれば、商品情報提供装置１００側でユーザを一意に特定することが可能となる。このように、応答データをユーザごとに記録するようにすれば、商品情報の提供者は、ユーザごとに質問の傾向や興味を持っている商品を把握することができる。また、制御装置１０３は、ユーザごとに、商品情報の送信履歴を記録するようにしてもよい。これによって、商品情報の提供者は、各ユーザがどのような商品に興味を持っているかを把握することができる。

（１０）上述した第１および第２実施の形態では、記録装置１０４には、ユーザから想定される質問内容と、それに対する回答データとを関連付けた応答用情報を記録しておく例について説明した。この応答用情報は、商品情報提供システム１０を導入する国の言語に合わせて準備するようにしてもよいし、複数の言語に対応できるようにしてもよい。複数の言語に対応する場合には、質問が想定される言語の応答用情報を全て用意して記録装置１０４に記録しておいてもよいし、特定の言語、例えば日本語や英語による応答用言語のみを用意しておき、他の言語は、公知の機械翻訳技術を利用して翻訳することにより対応してもよい。

（１１）上述した第２の実施の形態では、制御装置１０３と制御装置２０３は、商品情報出力装置２００上でユーザによって質問と回答を音声データによって送受信するように設定された場合には、第１の実施の形態で上述した処理を実行するようにし、ユーザによって質問と回答をテキストデータによって送受信するように設定された場合には、第２の実施の形態で上述した処理を実行する例について説明した。すなわち、第２の実施の形態では、ユーザは、音声によるものとするか、テキストによるものとするかを、質問と回答との組に対して設定するようにした。しかしながら、ユーザは、質問と回答とをそれぞれ別々に設定できるようにしてもよい。

この場合、制御装置１０３と制御装置２０３は、ユーザが質問と回答の両方を音声によるものとするように設定した場合には、第１の実施の形態で上述した処理を実行すればよく、ユーザが質問と回答の両方をテキストによるものとするように設定した場合には、第２の実施の形態で上述した処理を実行すればよい。また、ユーザが質問は音声とし回答はテキストとするように設定した場合には、制御装置１０３と制御装置２０３は、質問に関する処理は第１の実施の形態で上述した処理を実行し、回答に関する処理は第２の実施の形態で上述した処理を実行すればよい。一方、ユーザが質問はテキストとし回答は音声とするように設定した場合には、制御装置１０３と制御装置２０３は、質問に関する処理は第２の実施の形態で上述した処理を実行し、回答に関する処理は第１の実施の形態で上述した処理を実行すればよい。

例えば、ユーザは、発話もでき商品情報出力装置２００から音声が出力されても問題が無い状況では、質問と回答の両方を音声によるものとするように設定すればよい。また、ユーザは、発話も商品情報出力装置２００からの音声出力も避けたい状況では、質問と回答の両方をテキストによるものとするように設定すればよい。また、ユーザは、自身が発話することはできるが、商品情報出力装置２００から音声が出力されるのは好ましくない状況では、質問は音声にするものとし、回答はテキストによるものとするように設定すればよい。また、ユーザは、自身が発話することはできないが、商品情報出力装置２００から音声が出力されるのは問題がない状況では、質問はテキストにするものとし、回答は音声によるものとするように設定すればよい。

（１２）上述した第１の実施の形態では、制御装置１０３は、商品情報出力装置２００から質問の音声データを受信したことを検出した場合には、公知の音声認識技術を利用して音声データから質問内容を特定する例について説明した。また、第２の実施の形態では、制御装置１０３は、商品情報出力装置２００から質問のテキストデータを受信したことを検出した場合には、公知のテキスト認識技術を利用してテキストデータから質問内容を特定する例について説明した。この場合、制御装置１０３は、特定した質問内容を、受信した質問データの形式、すなわち音声データ形式またはテキストデータ形式により商品情報出力装置２００へ送信するようにしてもよい。そして、商品情報出力装置２００では、制御装置２０３は、商品情報提供装置１００から受信した質問内容データを出力してユーザに特定結果が正しいかを確認するようにしてもよい。これに対してユーザが正しいことを示す応答をした場合には、その情報が商品情報提供装置１００へ送信され、この場合は、制御装置１０３は特定した質問内容を確定すればよい。一方、ユーザが間違っていることを示す応答をした場合には、その情報が商品情報提供装置１００へ送信され、この場合は、制御装置１０３は特定した質問内容を取り消すようにすればよい。また、ユーザが間違っていることを示す応答をした場合には、制御装置２０３は、ユーザに対して改めて質問を入力するように促せばよい。これにより、制御装置１０３が誤って特定した質問内容に基づいて的外れな回答をしてしまうことを防ぐことができる。

また、制御装置１０３は、質問データを音声認識する際に、音声認識による一致度が高い単語を、その一致度の高さに応じた優先順位を付けて複数抽出しておき、これら複数の単語に基づいて、複数の質問内容を候補として特定するようにしてもよい。このとき、特定した質問内容のそれぞれに対しては、それらの抽出のもととなった単語に応じた優先順位を付しておけばよい。そして、制御装置１０３は、最初に最も優先順位が高い質問内容を商品情報提供装置１００へ送信してユーザに確認し、ユーザが間違っていることを示す応答をした場合には、次に優先順位が高い質問内容を商品情報提供装置１００へ送信してユーザに確認するようにすればよい。ここで、質問内容の候補をいくつ特定しておくかは、あらかじめ設定しておくようにすればよい。これによって、制御装置１０３が誤って特定した質問内容に基づいて的外れな回答をしてしまうことを防ぐことができるとともに、複数の候補を優先順位に従って順番に提示することで、ユーザが何度も発話をやり直す必要を無くして利便性の高いシステムとすることができる。

（１３）上述した第２の実施の形態では、音声による質問および回答と、テキストによる質問および回答のいずれにも対応できるように、記録装置１０４には、音声データ形式の応答用情報と、テキストデータ形式の応答用情報とをそれぞれ記録しておく例について説明した。しかしながら、応答用情報は、音声データ形式またはテキストデータ形式のいずれか一方のみを記録しておき、他方での対応が必要になった場合には、公知の音声データからテキストデータへ、またはテキストデータから音声データへ変換するための変換プログラムを使用して、質問の音声データに基づいて特定した質問内容のデータ形式を応答用情報と同じデータ形式へ変換するようにしてもよい。これにより、音声データ形式とテキストデータ形式の両方で応答用情報を記録しておく場合と比較して、記録装置１０４に記録するデータ量を減少させることができる。また、音声データ形式の応答情報とテキストデータ形式の応答用情報をそれぞれ記録した場合には、両方に対して情報の追加、編集、削除等のメンテナンスが必要となる上、メンテナンスがいずれか一方に偏ってしまった場合には、応答精度の向上がいずれか一方に偏ってしまったり、音声とテキストとで回答内容に矛盾が生じてしまう可能性もある。しかしながら、応答用情報を音声データ形式とテキストデータ形式のいずれかに一本化して一括管理すれば、このような課題を解消できるとともに、応答用情報のメンテナンスを容易化させることができる。

あるいは、記録装置１０４には、音声データ形式の応答用情報と、テキストデータ形式の応答用情報とをそれぞれ記録しておき、上述した変換プログラムを用いて、音声データ形式の応答用情報とテキストデータ形式の応答用情報とを定期的に同期させるようにしてもよい。これによって、音声データ形式の応答用情報と、テキストデータ形式の応答用情報との間に矛盾が生じることを防ぐことができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１０ 商品情報提供システム
１００ 商品情報提供装置
１０１ 操作部材
１０２ 接続ＩＦ
１０３ 制御装置
１０４ 記録装置
１０５ 表示装置
２００ 商品情報出力装置
２０１ タッチパネル
２０２ 通信モジュール
２０３ 制御装置
２０４ マイク
２０５ スピーカ
２０６ カメラ

Claims (21)

1. 商品情報を提供する商品情報提供装置と、前記商品情報提供装置から前記商品情報を受信して出力する商品情報出力装置とが通信回線を介して接続された商品情報提供システムであって、
   前記商品情報出力装置は、
   ユーザからの指示に基づいて、商品を特定するための被写体を撮像して、商品特定用画像を取得する商品特定用画像取得手段と、
   前記商品特定用画像取得手段によって取得された前記商品特定用画像を前記商品情報提供装置へ送信して、前記商品特定用画像に基づいて特定される商品の商品情報を要求する商品情報要求手段と、
   前記商品情報提供装置から前記商品情報を受信する商品情報受信手段と、
   前記商品情報受信手段によって受信された前記商品情報を出力して前記ユーザに提示する商品情報提示手段と、
   前記ユーザからの指示に基づいて、前記商品情報提示手段によって出力された前記商品情報に対する質問を音声データ及びテキストデータのいずれのデータ形式によって受け付けるかを設定するデータ設定手段と、
   前記商品情報提示手段によって出力された前記商品情報に対する前記ユーザからの質問データを前記データ設定手段によって設定されたデータ形式により取得する質問データ取得手段と、
   前記質問データ取得手段によって取得された前記質問データを前記商品情報提供装置へ送信して、前記データ設定手段によって設定されたデータ形式による前記質問に対する回答を要求する回答要求手段と、
   前記商品情報提供装置から前記質問に対する回答データを受信する回答受信手段と、
   前記回答受信手段によって受信された前記回答データを出力する回答データ出力手段とを備え、
   前記商品情報提供装置は、
   前記商品情報出力装置から前記商品特定用画像を受信する商品特定用画像受信手段と、
   前記商品特定用画像受信手段によって受信された前記商品特定用画像を画像処理して、前記ユーザが商品情報の取得を希望する商品を特定する商品特定手段と、
   あらかじめ記録装置に記録されている前記商品情報の中から、前記商品特定手段によって特定された商品の前記商品情報を読み出す商品情報読み出し手段と、
   前記商品情報読み出し手段によって読み出された前記商品情報を前記商品情報出力装置へ送信する商品情報送信手段と、
   前記商品情報出力装置から前記質問データを受信する質問データ受信手段と、
   前記質問データ受信手段によって受信された前記質問データに基づいて、前記ユーザからの質問内容を特定する質問内容特定手段と、
   あらかじめ前記記録装置に記録されている、前記ユーザから想定される質問内容を示す情報と、前記質問に対する前記回答データとが関連付けられた応答用情報の中から、前記質問内容特定手段によって特定された前記質問内容に関連付けて記録されている前記回答データを読み出す回答データ読み出し手段と、
   前記回答データ読み出し手段によって読み出された前記回答データを、前記商品情報出力装置から指定されたデータ形式で前記商品情報出力装置へ送信する回答データ送信手段とを備えることを特徴とする商品情報提供システム。
2. 請求項１に記載の商品情報提供システムにおいて、
   前記記録装置には、音声データによる質問に応答するための音声データ形式の応答用情報と、テキストデータによる質問に応答するためのテキストデータ形式の応答用情報とがそれぞれ記録されており、
   前記回答データ読み出し手段は、前記質問データのデータ形式に応じた前記応答用情報を選択して、選択した前記応答用情報の中から前記質問内容特定手段によって特定された前記質問内容に関連付けて記録されている前記回答データを読み出すことを特徴とする商品情報提供システム。
3. 請求項２に記載の商品情報提供システムにおいて、
   前記商品情報提供装置は、
   前記記録装置に記録されている前記音声データ形式の応答用情報と前記テキストデータ形式の応答用情報とを同期させる同期手段をさらに備えることを特徴とする商品情報提供システム。
4. 請求項１に記載の商品情報提供システムにおいて、
   前記記録装置には、音声データによる質問に応答するための音声データ形式の応答用情報と、テキストデータによる質問に応答するためのテキストデータ形式の応答用情報とのいずれか一方が記録されており、
   前記回答データ読み出し手段は、前記質問内容特定手段によって特定された前記質問内容のデータ形式が前記応答用情報のデータ形式と異なる場合には、前記質問内容のデータ形式を前記応答用情報のデータ形式に変換して、前記応答用情報の中から前記質問内容特定手段によって特定された前記質問内容に関連付けて記録されている前記回答データを読み出すことを特徴とする商品情報提供システム。
5. 請求項１〜４のいずれか一項に記載の商品情報提供システムにおいて、
   前記質問内容特定手段は、特定した前記質問内容のデータを前記商品情報出力装置へ送信し、前記商品情報出力装置から特定した前記質問内容が正しいことを示す情報を受信した場合に、特定した前記質問内容を確定させることを特徴とする商品情報提供システム。
6. 請求項１〜５のいずれか一項に記載の商品情報提供システムにおいて、
   前記商品情報提供装置は、
   前記商品情報出力装置から受信した前記質問データと、それに対して回答した前記回答データとを関連付けた応答データの履歴情報を前記記録装置に記録する応答履歴情報記録手段をさらに備え、
   前記回答データ読み出し手段は、前記記録装置に、前記質問データが前記履歴情報として記録されている場合には、前記履歴情報から優先して前記回答データを読み出すことを特徴とする商品情報提供システム。
7. 請求項６に記載の商品情報提供システムにおいて、
   前記商品情報出力装置から送信した前記回答データに対する前記ユーザの満足度を示す情報を受信する満足度情報受信手段と、
   前記満足度情報受信手段によって受信された前記満足度を示す情報に基づいて、前記回答データの読み出し優先度を設定する優先度設定手段とをさらに備え、
   前記応答履歴情報記録手段は、前記優先度設定手段によって設定された前記回答データの読み出し優先度を示す情報を前記応答データに関連付けて前記記録装置に記録し、
   前記回答データ読み出し手段は、前記記録装置に、前記質問データが前記履歴情報として記録されている場合には、前記優先度が高く設定されている前記回答データを優先して読み出すことを特徴とする商品情報提供システム。
8. 請求項６または７に記載の商品情報提供システムにおいて、
   前記応答履歴情報記録手段は、前記応答データの履歴情報を前記ユーザごとに記録することを特徴とする商品情報提供システム。
9. 請求項６〜８のいずれか一項に記載の商品情報提供システムにおいて、
   前記商品情報提供装置は、
   前記記録装置に記録されている前記履歴情報を、質問対象の商品を提供するメーカーが有する端末へ送信する履歴情報送信手段をさらに備えることを特徴とする商品情報提供システム。
10. 請求項１〜９のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品情報提供装置は、
    前記回答データ読み出し手段が前記質問内容特定手段によって特定された前記質問内容に関連付けて記録されている前記回答データを読み出すことができない場合には、あらかじめ登録された通知先端末と、前記商品情報出力装置との間で通信を確立して、前記通知先端末のオペレータと前記ユーザとの間で音声またはテキストによる通信を開始する対話手段をさらに備えることを特徴とする商品情報提供システム。
11. 請求項１０に記載の商品情報提供システムにおいて、
    前記商品情報提供装置は、
    前記通知先端末のオペレータと前記ユーザとの間での音声またはテキストによる通信内容を前記記録装置に記録する通信内容記録手段をさらに備えることを特徴とする商品情報提供システム。
12. 請求項１〜１１のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品情報提供装置は、
    前記質問内容特定手段によって特定された前記ユーザからの質問内容に対する回答が、前記商品情報送信手段によって送信された前記商品情報に含まれているか否かを判定する判定手段をさらに備え、
    前記回答データ読み出し手段は、前記判定手段によって前記商品情報に含まれていると判定されたときは、質問内容に対する回答が商品情報に含まれていることを通知するためのデータを前記回答データとして前記記録装置から読み出すことを特徴とする商品情報提供システム。
13. 請求項１〜１２のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品情報出力装置は、
    表示装置内に人物の映像を表示させる第１の映像表示手段と、
    前記第１の映像表示手段によって表示された人物映像が、前記回答データを話しているように、前記人物映像の動作を制御する動作制御手段とをさらに備えることを特徴とする商品情報提供システム。
14. 請求項１〜１２のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品情報出力装置は、
    実空間上に人物の立体映像を表示させる第２の映像表示手段と、
    前記第２の映像表示手段によって表示された立体映像の人物が、前記回答データを話しているように、前記立体映像の人物の動作を制御する動作制御手段とをさらに備えることを特徴とする商品情報提供システム。
15. 請求項１〜１４のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品情報提供装置は、
    前記商品情報出力装置から、前記商品特定手段によって特定された商品の注文を受け付ける注文受付手段をさらに備えることを特徴とする商品情報提供システム。
16. 請求項１５に記載の商品情報提供システムにおいて、
    前記商品情報提供装置は、
    前記注文受付手段が商品の注文を受け付けた場合には、受け付けた商品の注文内容に基づいて、注文された商品の代金を清算するための決済情報を前記商品情報出力装置へ送信する決済情報送信手段をさらに備え、
    前記商品情報出力装置は、
    前記商品情報提供装置から受信した前記決済情報に基づいて、ユーザが注文した商品の決済画面を表示装置に表示させる決済画面表示手段をさらに備えることを特徴とする商品情報提供システム。
17. 請求項１〜１６のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品情報出力装置は、商品を販売する店舗に設置された端末、または前記ユーザが所持する携帯端末であることを特徴とする商品情報提供システム。
18. 請求項１〜１７のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品特定用画像は、前記商品を特定するための文字列を前記商品を特定するための被写体とした画像、前記商品を特定するための図形を前記商品を特定するための被写体とした画像、前記商品自体を前記商品を特定するための被写体とした画像、前記商品を模した立体物を前記商品を特定するための被写体とした画像、前記商品の形状を模した図形が描かれた設置物を前記商品を特定するための被写体とした画像のいずれかであって、
    前記商品特定手段は、前記商品特定用画像を画像処理して、前記商品特定用画像内から前記商品を特定するための被写体を抽出し、あらかじめ記録されている被写体データとマッチングさせることにより、前記ユーザが商品情報の取得を希望する商品を特定することを特徴とする商品情報提供システム。
19. 請求項１〜１８のいずれか一項に記載の商品情報提供システムにおいて、
    前記商品情報は、商品の価格情報、商品の仕様情報、前記商品の在庫情報、前記商品の納期情報、当該商品と他製品とを比較した結果を示す比較情報、商品の３ＤＣＡＤデータ、商品に対して実施されているキャンペーン情報、商品のウェブサイト情報、商品のＣＭ動画情報の少なくとも１つを含むことを特徴とする商品情報提供システム。
20. 請求項１〜１９のいずれかに記載の商品情報提供装置。
21. 請求項１〜１９のいずれかに記載の商品情報出力装置。

Images