JP6691895B2 - ネットワークシステム、情報処理方法、およびサーバ - Google Patents

ネットワークシステム、情報処理方法、およびサーバ Download PDF

Info

Publication number
JP6691895B2
JP6691895B2 JP2017155555A JP2017155555A JP6691895B2 JP 6691895 B2 JP6691895 B2 JP 6691895B2 JP 2017155555 A JP2017155555 A JP 2017155555A JP 2017155555 A JP2017155555 A JP 2017155555A JP 6691895 B2 JP6691895 B2 JP 6691895B2
Authority
JP
Japan
Prior art keywords
terminal
server
cpu
communication terminal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017155555A
Other languages
English (en)
Other versions
JP2019036027A (ja
Inventor
孝之 永松
孝之 永松
竹内 正樹
正樹 竹内
智子 六車
智子 六車
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2017155555A priority Critical patent/JP6691895B2/ja
Priority to CN201810874078.4A priority patent/CN109391677A/zh
Priority to US16/059,947 priority patent/US20190050931A1/en
Publication of JP2019036027A publication Critical patent/JP2019036027A/ja
Application granted granted Critical
Publication of JP6691895B2 publication Critical patent/JP6691895B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/53Network services using third party service providers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281Customer communication at a business location, e.g. providing product or service information, consulting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0603Catalogue ordering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0633Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635Processing of requisition or of purchase orders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、ユーザと音声メッセージのやり取りをするためのネットワークシステム、情報処理方法、およびサーバの技術に関する。
従来から、ユーザに適したメッセージを出力するための技術が知られている。たとえば、国際公開第2016/088597号パンフレット(特許文献1)には、食品管理システム、冷蔵庫、サーバ、端末装置、および制御プログラムが開示されている。特許文献1によると、食品管理システムにおいて、サーバは、冷蔵庫近傍のユーザの存在を検知する。サーバは、ユーザからの注文に基づいたメッセージを生成してメモリに登録しておき、検知に基づくタイミングで、メモリからメッセージを読み出して、冷蔵庫に転送する。そして、サーバは、メッセージの転送の後、予め規定された期間、冷蔵庫から食品の発注の入力を受け付ける。これにより、ユーザに効果的に情報を報知する冷蔵庫を含む食品管理システムを提供できる。
国際公開第2016/088597号パンフレット
本発明の目的は、音声対話に関して、より円滑にユーザに情報を提供するための技術を提供することにある。
本発明のある態様に従うと、スピーカを含む第1の端末と、ディスプレイを含む第2の端末と、第1の端末に音声を出力させ、音声に関する映像を第2の端末に表示させるためのサーバと、を備えるネットワークシステムが提供される。
以上のように、本発明によれば、音声対話に関して、より円滑にユーザに情報を提供することが可能になる。
第1の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第1の実施の形態にかかるネットワークシステム1の店舗通信端末300の画面を示す図である。 第1の実施の形態にかかるサーバ100の構成を示すブロック図である。 第1の実施の形態にかかる端末データ121を示す図である。 第1の実施の形態にかかる商品データ122を示す図である。 第1の実施の形態にかかる店舗データ123を示す図である。 第1の実施の形態にかかる在庫データ124を示す図である。 第1の実施の形態にかかる注文データ125を示す図である。 第1の実施の形態にかかるサーバ100の情報処理を示す図である。 第1の実施の形態にかかる顧客通信端末200の構成を示すブロック図である。 第1の実施の形態にかかる店舗通信端末300の構成を示すブロック図である。 第2の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第2の実施の形態にかかるサーバ100の情報処理を示す図である。 第3の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第3の実施の形態にかかるサーバ100の情報処理を示す図である。 第4の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第4の実施の形態にかかるサーバ100の情報処理を示す図である。 第5の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第5の実施の形態にかかる商品データ122Bを示す図である。 第5の実施の形態にかかるフィードバックデータ126を示す図である。 第5の実施の形態にかかるサーバ100の情報処理を示す図である。 第6の実施の形態にかかるネットワークシステム1の店舗通信端末300の画面を示す図である。 第6の実施の形態にかかるサーバ100の情報処理を示す図である。 第7の実施の形態にかかるネットワークシステム1の店舗通信端末300の画面を示す図である。 第7の実施の形態にかかるサーバ100の情報処理を示す図である。 第8の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第8の実施の形態にかかる近傍ディスプレイデータ127を示す図である。 第8の実施の形態にかかるサーバ100の情報処理を示す図である。 第8の実施の形態にかかるテレビ400の構成を示すブロック図である。 第9の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第9の実施の形態にかかる商品データ122Cを示す図である。 第9の実施の形態にかかるサーバ100の情報処理を示す図である。 第10の実施の形態にかかるサーバ100の情報処理を示す図である。 第11の実施の形態にかかるサーバ100の情報処理を示す図である。 第12の実施の形態にかかるサーバ100の情報処理を示す図である。 第12の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第12の実施の形態にかかるネットワークシステム1の全体構成と第2の動作概要とを示す図である。 第12の実施の形態にかかるサーバ100の第1の情報処理を示す図である。 第12の実施の形態にかかるネットワークシステム1の全体構成と第3の動作概要とを示す図である。 第12の実施の形態にかかるサーバ100の第2の情報処理を示す図である。 第13の実施の形態にかかるネットワークシステム1の全体構成と第1の動作概要とを示す図である。 第13の実施の形態にかかる音声映像データ128を示す図である。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
<第1の実施の形態>
<ネットワークシステム1の全体構成>
まず、図1を参照して本実施の形態にかかるネットワークシステム1の全体構成について説明する。本実施の形態にかかるネットワークシステム1は、主に、対話サービス用のサーバ100と、家庭やオフィスに配置されるロボットなどの顧客通信端末200と、各種の店舗や営業所などに配置されるタブレットなどの店舗通信端末300とを含む。
なお、顧客通信端末200や店舗通信端末300は、ロボットやタブレットに限らず、冷蔵庫、電子レンジ、エアコン、洗濯機、掃除機、空気清浄器、加湿器、除湿器、炊飯器、照明などの家電、携帯電話、スマートフォン、テレビ、ハードディスクレコーダ、プロジェクタ、音楽プレーヤ、ゲーム機、パーソナルコンピュータなどのAV(オーディオ・ビジュアル)機器、組み込み照明、太陽光発電機、インターホン、給湯器、温水洗浄便座コントローラなどの住宅設備、などであってもよい。
<ネットワークシステム1の動作概要>
次に、ネットワークシステム1の動作概要について説明する。まず、図1を参照して、顧客通信端末200は、サーバ100からのデータに基づいてユーザと対話する。より詳細には、顧客通信端末200は、サーバ100からの音声データに基づいて音声を出力し、ユーザからの音声を受けてサーバ100に送信し、さらにサーバ100からの音声データに基づいて音声を出力し、という処理を繰り返す。
たとえば、本実施の形態においては、顧客通信端末200は、ユーザからの商品やサービスの注文を受け付けて当該注文をサーバ100に転送したり、サーバ100から商品やサービスの提案メッセージを受け付けて当該音声メッセージを出力したりする。そして、ネットワークシステム1の関係者は、サーバ100が受け付けた注文に基づいて、配達センターから商品を出荷したり、顧客通信端末200のユーザの近傍の店舗から当該ユーザの自宅へ商品を配達したり、サービス提供者が当該ユーザの自宅へ訪問したりする。
そしてたとえば、弁当などの配達のように、定期的にユーザの自宅へ商品を配達することになっているサービスに関しては、次の配達の際に届ける商品の注文をユーザに促すことが好ましい。本実施の形態においては、定期的な弁当の宅配の注文を受けている店舗通信端末300が、サーバ100からのデータに基づいて、図2に示すように、次の配達時に配達すべき顧客や商品のリストを表示する。より詳細には、図2(A)に示すように、店舗通信端末300は、サーバ100からのデータに基づいて、配達先のリストを選択可能に表示する。そして図2(B)に示すように、店舗通信端末300は、サーバ100からのデータに基づいて、選択された配達先に配達すべき商品のリストを表示する。
なお、サーバ100は、顧客が希望する配達日時の所定時間前、たとえば1時間前などに、店舗通信端末300に配達先リストや商品リストを表示させることが好ましい。
このように、本実施の形態にかかる対話サービスにおいては、顧客通信端末200による音声対話によって、ユーザは簡単に商品の注文を行うことができるし、店舗側も1度の配達で複数の商品の配達を行うことができる。以下、このような機能を実現するためのネットワークシステム1の具体的な構成について詳述する。
<対話サービス用のサーバ100のハードウェア構成>
まず、本実施の形態にかかるネットワークシステム1を構成する対話サービス用のサーバ100のハードウェア構成の一態様について説明する。図3を参照して、対話サービス用のサーバ100は、主たる構成要素として、CPU(Central Processing Unit)110と、メモリ120と、操作部140と、通信インターフェイス160とを含む。
CPU110は、メモリ120に記憶されているプログラムを実行することによって、対話サービス用のサーバ100の各部を制御する。たとえば、CPU110は、メモリ120に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。CPU110は、AI機能を実現し、AI機能による音声対話を実行することが好ましい。
メモリ120は、各種のRAM(Random Access Memory)、各種のROM(Read-Only Memory)などによって実現される。メモリ120は、CPU110によって実行されるプログラムや、CPU110によるプログラムの実行により生成されたデータ、操作部140から入力されたデータなどを記憶する。メモリ120は、たとえば、端末データ121、商品データ122、店舗データ123、在庫データ124、注文データ125などを記憶する。なお当然に、これらのデータは、対話サービス用のサーバ100自体が格納していなくても、サーバ100がアクセス可能な他の装置に格納されていてもよい。
ここで、図4を参照して、端末データ121は、ロボットなどの顧客通信端末200毎に、端末IDと、住所と、ユーザ名と、近所の店舗を特定するための情報と、定期的な配達日時と、定期的に配達すべき商品を特定するための情報と、定期的に配達すべき商品の個数との対応関係を格納する。
図5を参照して、商品データ122は、商品毎に、商品コードと、商品の名称と、商品の値段との対応関係を格納する。
図6を参照して、店舗データ123は、店舗毎に、店舗IDと、店舗の名称と、店舗の住所と、店舗通信端末300のIDとの対応関係を格納する。
図7を参照して、在庫データ124は、店舗毎に準備される。在庫データ124は、商品毎に、商品コードと、店舗に蓄積されている個数との対応関係を格納する。
図8を参照して、注文データ125は、受け付けた注文毎に、注文IDと、商品を配達すべき店舗のIDと、注文をした顧客通信端末200のIDと、注文された商品のコードと、注文された商品の個数との対応関係を格納する。たとえば、CPU110は、通信インターフェイス160を介して、顧客通信端末200から受信した音声データに基づいて、ユーザからの注文を特定し、当該注文を注文データ125に蓄積していく。
図3に戻って、操作部140は、サービスの管理者などの命令を受け付けて、当該命令をCPU110に入力する。
通信インターフェイス160は、CPU110からのデータを、インターネット、キャリア網、ルータなどを介して顧客通信端末200や店舗通信端末300などの他の装置に送信する。逆に、通信インターフェイス160は、インターネット、キャリア網、ルータなどを介して他の装置からのデータを受信して、CPU110に受け渡す。
<対話サービス用のサーバ100における情報処理>
次に、図9を参照しながら、本実施の形態にかかる対話サービス用のサーバ100における情報処理について説明する。本実施の形態においては、サーバ100のCPU110は、定期的に以下の処理を実行する。
サーバ100のCPU110は、端末データ121を参照して、定期配達日時に達した顧客通信端末200があるか否かを判断する(ステップS102)。定期配達日時に達した顧客通信端末200がない場合(ステップS102にてNOである場合)、CPU110は、次のタイミングまで待機する。
なお、ここでは、所定のタイミングとしての配達日時は、店舗や発送センターで商品の配達の準備をし始める日時をいう。ただし、所定のタイミングとしての配達日時が、店舗や発送センターで商品を出荷する日時であってもよい。この場合は、CPU110は、ステップS102において、所定のタイミングとしての配達日時の30分前や1時間前を過ぎたか否かを判断する。あるいは、所定のタイミングとしての配達日時が、商品がユーザの自宅に到着する日時であってもよい。この場合は、CPU110は、ステップS102において、所定のタイミングとしての配達日時の1時間前や2時間前を過ぎたか否かを判断する。
定期配達日時に達した顧客通信端末200がある場合(ステップS102にてYESである場合)、CPU110は、端末データ121を参照して、顧客通信端末200に対応づけられている店舗を特定する(ステップS104)。CPU110は、注文データ125を参照して、前回の配達以降の注文を集計する(ステップS106)。CPU110は、集計結果に基づいて、配達リストを生成する(ステップS108)。CPU110は、通信インターフェイス160を介して、配達リストをユーザの通信端末に対応付けられた店舗の通信端末に送信する(ステップS110)。CPU110は、次のタイミングまで待機する。
これによって、店舗の通信端末では、図2(A)の配達先リストや図2(B)の商品リストが表示される。なお、注文された商品やサービスの決済方法は特に問わない。
<顧客通信端末200のハードウェア構成>
次に、図10を参照して、ネットワークシステム1を構成する顧客通信端末200の構成の一態様について説明する。顧客通信端末200は、主たる構成要素として、CPU210と、メモリ220と、ディスプレイ230と、操作部240と、カメラ250、通信インターフェイス260と、スピーカ270と、マイク280とを含む。
CPU210は、メモリ220あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、顧客通信端末200の各部を制御する。
メモリ220は、各種のRAMや、各種のROMなどによって実現される。メモリ220は、CPU210によって実行される機器駆動プログラムや対話プログラムやその他のプログラムや、CPU210によるプログラムの実行により生成されたデータ、対話サービス用のサーバ100や他のサーバから受信したデータ、操作部240を介して入力されたデータなどを記憶する。
ディスプレイ230は、CPU210からの信号に基づいて、文字や画像などを出力する。ディスプレイ230は、複数のLEDライトなどであってもよい。
操作部240は、ボタン、タッチパネルなどによって実現され、ユーザからの命令を受け付けて、当該命令をCPU210に入力する。なお、ディスプレイ230と操作部240とは、タッチパネルを構成してもよい。
また、操作部240は、近接センサや温度センサなどであってもよい。この場合は、CPU210は、操作部240としての近接センサや温度センサを介して、ユーザがロボットなどの顧客通信端末200に手をかざしたことを検知して、各種の動作を開始する。たとえば、近接センサが額の近辺に配置されることによって、ユーザがなでたり・たたいたりすることをロボットなどの顧客通信端末200が検知してもよい。
カメラ250は、画像を撮影して、画像データをCPU210に受け渡す。
通信インターフェイス260は、無線LAN通信あるいは有線LANなどの通信モジュールによって実現される。通信インターフェイス260は、有線通信あるいは無線通信によって対話サービス用のサーバ100などの他の装置との間でデータをやり取りする。
スピーカ270は、CPU210からの信号に基づいて、音声を出力する。より詳細には、本実施の形態においては、CPU210は、通信インターフェイス260を介してサーバ100から受信した音声データに基づいてスピーカ270に音声メッセージを出力させる。あるいは、CPU210は、通信インターフェイス260を介してサーバ100から受信したテキストデータに基づいて音声信号を作成し、スピーカ270に音声メッセージを出力させる。あるいは、CPU210は、通信インターフェイス260を介してサーバ100から受信したメッセージIDに基づいて、メモリ220からメッセージの音声データを読み出して、スピーカ270に音声メッセージを出力させる。
マイク280は、外部からの音声に基づいて音声信号を作成し、CPU210に入力する。CPU210は、マイク280を介して受け付けた音声を、通信インターフェイス260を介してサーバ100に送信する。たとえば、CPU210は、マイク280を介してユーザから受け付けた商品やサービスの注文を、通信インターフェイス260を介してサーバ100に送信する。
<店舗通信端末300のハードウェア構成>
次にコンビニエンスストアなどに配置される店舗通信端末300のハードウェア構成の一態様について説明する。図11を参照して、店舗通信端末300は、主たる構成要素として、CPU310と、メモリ320と、ディスプレイ330と、操作部340と、通信インターフェイス360とを含む。
CPU310は、メモリ320に記憶されているプログラムを実行することによって、店舗通信端末300の各部を制御する。
メモリ320は、各種のRAM、各種のROMなどによって実現される。メモリ320は、CPU310によって実行されるプログラムや、CPU310によるプログラムの実行により生成されたデータ、入力されたデータや、サーバ100から取得したデータなどを記憶する。なお当然に、これらのデータは、店舗通信端末300自体が格納していなくても、店舗通信端末300がアクセス可能な他の装置に格納されていてもよい。
ディスプレイ330は、CPU310からの信号に基づいて画像やテキストを表示する。操作部340は、キーボードやスイッチなどから構成され、オペレータからの命令を受け付けて、当該命令をCPU310に入力する。なお、ディスプレイ330と操作部340とがタッチパネルによって構成されてもよい。
通信インターフェイス360は、無線LAN通信あるいは有線LANなどの通信モジュールによって実現される。通信インターフェイス360は、有線通信あるいは無線通信によって対話サービス用のサーバ100などの他の装置との間でデータをやり取りする。
たとえば、CPU310は、通信インターフェイス360を介してサーバ100から受信した配達先リストに基づいて、図2(A)に示すように配達先リストをディスプレイ230に表示させる。CPU310は、通信インターフェイス360を介してサーバ100から受信した注文リストに基づいて、図2(B)に示すように配達先からの注文リストをディスプレイ230に表示させる。
<第2の実施の形態>
第1の実施の形態においては、店舗から定期的に商品を配達する場合の、当該配達日時までの注文をまとめて配達するものであった。それに加えて、図12に示すように、次の配達時にまとめて配達する他の商品の注文をサービス側からユーザに定期的に促してもよい。なお、定期配達日時に達した場合の処理は、第1の実施の形態のそれらと同様である。
本実施の形態においては、当該処理に加えて図13に示すように、サーバ100のCPU110は、定期的に以下の処理を実行する。サーバ100のCPU110は、端末データ121を参照して、定期配達日時の第1の所定時間前、たとえば3時間前、に達した顧客通信端末200があるか否かを判断する(ステップS122)。定期配達日時の第1の所定時間前に達した顧客通信端末200がない場合(ステップS122にてNOである場合)、CPU110は、次のタイミングまで待機する。
定期配達日時の第1の所定時間前に達した顧客通信端末200がある場合(ステップS122にてYESである場合)、CPU110は、顧客通信端末200を特定し(ステップS124)、通信インターフェイス160を介して、ユーザに対する御用聞きメッセージを顧客通信端末200に送信する(ステップS126)。CPU110は、次のタイミングまで待機する。
これによって、顧客通信端末200は、図12に示すように、御用聞きを行うことができる。たとえば、ユーザが、商品の注文や購入を忘れている場合に、ロボットからの商品やサービスの提案によって、買い忘れを思い出したりできる可能性がある。
<第3の実施の形態>
さらに、図14に示すように、次回の配達分の注文を確定する旨をユーザに知らしめることが好ましい。たとえば、顧客通信端末200が、「これまでの注文を確定しました。」という音声メッセージを出力する。なお、定期配達日時に達した場合の処理は第1の実施の形態のそれらと同様である。
本実施の形態においては、図15に示すように、サーバ100のCPU110は、定期的に以下の処理を実行する。サーバ100のCPU110は、端末データ121を参照して、定期配達日時の第2の所定時間前、たとえば1時間前または30分前、に達した顧客通信端末200があるか否かを判断する(ステップS142)。定期配達日時の第2の所定時間前に達した顧客通信端末200がない場合(ステップS142にてNOである場合)、CPU110は、次のタイミングまで待機する。
定期配達日時の第2の所定時間前に達した顧客通信端末200がある場合(ステップS142にてYESである場合)、CPU110は、当該顧客通信端末200を特定し(ステップS144)、通信インターフェイス160を介して、これまでの注文を確定する旨の情報を顧客通信端末200に送信し(ステップS146)、当該これまでの注文を確定する(ステップS148)。なお、CPU110は、通信インターフェイス160を介して、次の配達に間に合う注文の受付を終了する旨の情報を顧客通信端末200に送信してもよい。
なお、本実施の形態においては、CPU110は、注文を確定する際に当該注文を注文データ125に格納するものであるが、ユーザから注文を受け付けた時点で注文データ125に格納し、注文が確定した際に注文IDに対応付けて確定フラグを立てるものであってもよい。CPU110は、次のタイミングまで待機する。
CPU110は、ステップS148の後に、図9の処理を開始したり、ステップS108やステップS110の処理を実行したりしてもよい。
これによって、顧客通信端末200は、図14に示すように、ユーザに、これまで受け付けた注文が正式に確定した旨のメッセージ、あるいは次の配達に間に合う注文の受付を終了する旨のメッセージを出力することができる。
<第4の実施の形態>
さらに図16に示すように、ユーザのこれまでの購入履歴や店舗の在庫や在庫の賞味期限などに基づいて、サーバ100が顧客通信端末200を介してユーザに商品やサービスを提案してもよい。なお、定期配達日時に達した場合の処理は、第1の実施の形態のそれらと同様である。
本実施の形態においては、当該処理に加えて図17に示すように、サーバ100のCPU110は、端末データ121を参照して、定期配達日時の第1の所定時間前、たとえば2時間前、に達した顧客通信端末200があるか否かを判断する(ステップS122)。定期配達日時の第1の所定時間前に達した顧客通信端末200がない場合(ステップS122にてNOである場合)、CPU110は、次のタイミングまで待機する。
定期配達日時の第1の所定時間前に達した顧客通信端末200がある場合(ステップS122にてYESである場合)、CPU110は、当該顧客通信端末200を特定する(ステップS124)。CPU110は、注文データ125を参照して、当該顧客通信端末200のユーザの購入履歴を取得する(ステップS132)。CPU110は、購入履歴に基づいて、ユーザに商品やサービスの提案メッセージを作成する(ステップS134)。
たとえば図16に示すように、CPU110は、購入頻度や購入間隔に基づいて、そろそろ無くなりそうな商品を提案する。あるいはCPU110は、毎年の恒例の購入商品を、恒例の季節に提案する。あるいはCPU110は、後述するフィードバックデータなどを参照して、ユーザが高い評価をつけた商品を提案する。なお、商品に限らず、マッサージや楽器の調律や部屋のワックスがけなどのサービスも、過去の注文依頼に基づいて提案してもよい。
図17に戻って、ステップS134において、CPU110は、在庫データ124に基づいて、ユーザに対応する店舗の在庫が多い商品を提案するための提案メッセージを作成してもよい。
CPU110は、通信インターフェイス160を介して、提案メッセージをユーザの通信端末に送信する(ステップS136)。CPU110は、次のタイミングまで待機する。
これによって、顧客通信端末200では、図16に示すように、ユーザに適した商品やサービスの注文の入力を促すことができる。
<第5の実施の形態>
さらに図18に示すように、サーバ100が顧客通信端末200を介して、購入された商品やサービスに関するユーザの感想を取得できることが好ましい。なお、定期配達日時に達した場合の処理は、第1の実施の形態のそれらと同様である。
本実施の形態においては、図19に示すように、商品データ122Bが、商品毎に、商品コードと、商品の名称と、商品の値段と、配達時からユーザの感想を尋ねるべき時までの間隔と、ユーザの感想を尋ねるべき時刻との対応関係を格納する。
さらに本実施の形態においては、図20に示すように、メモリ120は、フィードバックデータ126を記憶する。フィードバックデータ126は、ユーザの感想毎に、フィードバックIDと、対象となる商品のコードと、ユーザからの回答メッセージと、感想を提供してくれたユーザの顧客通信端末200のIDとの対応関係を格納する。
本実施の形態においては、図21に示すように、サーバ100のCPU110は、定期的に以下の処理を実行する。サーバ100のCPU110は、端末データ121を参照して、ユーザの感想の確認日時に達した顧客通信端末200があるか否かを判断する(ステップS192)。確認日時に達した顧客通信端末200がない場合(ステップS192にてNOである場合)、CPU110は、次のタイミングまで待機する。
確認日時に達した顧客通信端末200がある場合(ステップS192にてYESである場合)、CPU110は、当該顧客通信端末200を特定し(ステップS194)、通信インターフェイス160を介して、配達した商品の感想を尋ねる(ステップS196)。これによって、図18に示すように、ユーザの通信端末は、ユーザに、購入した商品の評価を促す。たとえば、弁当などの場合は配達から2時間程度後に感想を聞くことが好ましく、インスタント食品などは配達から24時間程度後に感想を聞くことが好ましく、衣類などは配達から1カ月程度後に感想を聞くことが好ましい。
CPU110は、通信インターフェイス160を介して、顧客通信端末200からユーザの感想を受け付けると(ステップS198にてYESである場合)、当該感想をフィードバックデータ126に蓄積する(ステップS199)。
なお、フィードバックデータ126は、各種サーバやサービスの管理者が、顧客毎の嗜好を把握したり、人気の商品やサービスを把握したりするために利用される。
<第6の実施の形態>
第1〜第5の実施の形態のネットワークシステム1において、さらに、図22に示すように、店舗の従業員などが、ユーザに提案する商品やサービスを指定できてもよい。なお、定期配達日時に達した場合の処理は、第1の実施の形態のそれらと同様である。
本実施の形態においては、当該処理に加えて図23に示すように、サーバ100のCPU110は、端末データ121を参照して、定期配達日時の第1の所定時間前、たとえば2時間前、に達した顧客通信端末200があるか否かを判断する(ステップS122)。定期配達日時の第1の所定時間前に達した顧客通信端末200がない場合(ステップS122にてNOである場合)、CPU110は、次のタイミングまで待機する。
定期配達日時の第1の所定時間前に達した顧客通信端末200がある場合(ステップS122にてYESである場合)、CPU110は、当該顧客通信端末200を特定する(ステップS124)。CPU110は、通信インターフェイス160を介して、通信端末に対応する店舗の店舗通信端末300へ提案する商品やサービスの入力を受け付けるためのページデータを送信する(ステップS128B)。
このとき、店舗通信端末300においては、図22に示すように、CPU310が、サーバ100からのデータに基づいて、対象となっているユーザに提案すべき商品やサービスを受け付けるためのページをディスプレイ330に表示させる。CPU310は、ユーザに提案すべき商品やサービスを受け付けると、通信インターフェイス360を介して、サーバ100に送信する。
図23に戻って、CPU110は、通信インターフェイス160を介して、店舗通信端末300から商品やサービスの指定を受付けた場合(ステップS129にてYESである場合)、店舗からの指定に基づいて、ユーザに商品やサービスを提案するための提案メッセージを作成する(ステップS134B)。CPU110は、通信インターフェイス160を介して、提案メッセージを顧客通信端末200に送信する(ステップS136B)。CPU110は、次のタイミングまで待機する。
これによって、顧客通信端末200では、図16に示すように、ユーザに適した商品やサービスの注文の入力を促すことができる。
<第7の実施の形態>
さらには、ユーザのこれまでの購入履歴や店舗の在庫や在庫の賞味期限などに基づいて、サーバ100が店舗通信端末300にユーザに提案する商品やサービスを選択可能に提案させてもよい。たとえば、図24に示すように、店舗通信端末300は、サーバ100からのデータに基づいて、ユーザが注文する可能性が高い商品やサービスを選択可能に表示する。なお、定期配達日時に達した場合の処理は、第1の実施の形態のそれらと同様である。
本実施の形態においては、当該処理に加えて図25に示すように、サーバ100のCPU110は、端末データ121を参照して、定期配達日時の第1の所定時間前、たとえば2時間前、に達した顧客通信端末200があるか否かを判断する(ステップS122)。定期配達日時の第1の所定時間前に達した顧客通信端末200がない場合(ステップS122にてNOである場合)、CPU110は、次のタイミングまで待機する。
定期配達日時の第1の所定時間前に達した顧客通信端末200がある場合(ステップS122にてYESである場合)、CPU110は、当該顧客通信端末200を特定する(ステップS124)。CPU110は、注文データ125を参照して、顧客通信端末200のユーザの購入履歴を取得する(ステップS132)。CPU110は、購入履歴に基づいて、ユーザに提案すると好ましい商品やサービスの選択命令を受け付けるためのページデータを、顧客通信端末200に対応する店舗の店舗通信端末300へ送信する(ステップS128B)。なお、CPU110は、フィードバックデータ126を参照して、対象となる顧客通信端末200のユーザの嗜好にあった商品やサービスの提案を店舗の店員に提案することも好ましい。
なお、ステップS128Bにおいて、CPU110は、在庫データ124に基づいて、ユーザに対応する店舗の在庫が多い商品の選択命令を受け付けるためのページデータや、賞味期限の近い商品の選択命令を受け付けるためのページデータを、顧客通信端末200に対応する店舗の店舗通信端末300へ送信してもよい。
その後の処理は、第6の実施の形態と同様であるため、ここではそれらの説明を繰り返さない。
<第8の実施の形態>
第1から第7の実施の形態の技術に合わせて、本実施の形態においては、ユーザの理解を助けるために顧客通信端末200の近傍のテレビ400に参考となる映像を表示させるものである。なお、映像とは、静止画像、動画像、テキストなど、ディスプレイやプロジェクタなどによって表示させるもの全般をいう。たとえば、図26に示すように、ユーザが顧客通信端末200を介して入力した商品を、テレビ400に列挙して表示するものである。
本実施の形態においては、サーバ100のメモリ120は、図27に示すような近傍ディスプレイデータ127を記憶する。近傍ディスプレイデータ127は、ユーザによる登録やBluetooth(登録商標)のペアリングなどによって設定される、顧客通信端末200とそれの近傍に配置されているテレビ400との対応関係を含む。
本実施の形態においては、サーバ100のCPU110は、図28に示す処理を実行する。CPU110は、通信インターフェイス160を介して、ロボットなどの顧客通信端末200に、ユーザとの音声対話を実行させる(ステップS152)。CPU110は、ユーザからの商品やサービスの注文を受け付けると(ステップS154にてYESである場合)、当該注文に関するテレビ用画像を作成する(ステップS156)。CPU110は、通信インターフェイス160を介して、当該テレビ用画像を顧客通信端末200に対応するテレビ400に送信する。
これによって、ユーザのテレビ400は、図26に示すように、ユーザが音声入力した商品やサービスの注文を表示する。ユーザは、テレビ400の情報を観ながら、顧客通信端末200との音声対話を実行することができる。
なお、テレビ400は、図29に示すように、主たる構成要素として、CPU410と、メモリ420と、ディスプレイ430と、操作部440と、通信インターフェイス460と、スピーカ470と、チューナ480と、赤外線受光部490とを含む。
CPU410は、メモリ420あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、テレビ400の各部を制御する。
メモリ420は、各種のRAMや、各種のROMなどによって実現される。メモリ420は、CPU410によって実行される機器駆動プログラムや対話プログラムやその他のプログラムや、CPU410によるプログラムの実行により生成されたデータ、他のサーバから受信したデータ、操作部440を介して入力されたデータなどを記憶する。
ディスプレイ430は、テレビジョン放送などの映像を出力する。また、CPU410からの信号に基づいて、サーバ100からの文字や画像などを出力する。ディスプレイ430は、複数のLEDライトなどであってもよい。
操作部440は、ボタン、タッチパネルなどによって実現され、ユーザからの命令を受け付けて、当該命令をCPU410に入力する。なお、ディスプレイ430と操作部440とは、タッチパネルを構成してもよい。
通信インターフェイス460は、無線LAN通信あるいは有線LANなどの通信モジュールによって実現される。通信インターフェイス460は、有線通信あるいは無線通信によって対話サービス用のサーバ100などの他の装置との間でデータをやり取りする。
スピーカ470は、テレビジョン放送などの音声を出力する。あるいは、CPU410が、通信インターフェイス460を介してサーバ100から受信した音声データに基づいてスピーカ470に音声を出力させる。
<第9の実施の形態>
第8の実施の形態は、サーバ100がテレビ400に映像データを送信するものであった。しかしながら、図30に示すように、テレビ400は、別のサーバ100BのWebページから画像を取得してもよい。
たとえば、サーバ100のメモリ120は、図31に示すような商品データ122Cを記憶する。商品データ122Cは、商品毎に、商品コードと、商品の名称と、商品の値段と、販売からユーザの感想を尋ねるまでの期間と、ユーザの感想を尋ねるべき時刻と、商品の詳細を表示するためのページのURL情報との対応関係を格納する。
本実施の形態においては、サーバ100のCPU110は、図32に示す処理を実行する。CPU110は、通信インターフェイス160を介して、ロボットなどの顧客通信端末200に、ユーザとの音声対話を実行させる(ステップS152)。CPU110は、商品データ122Cを参照して、当該対話に関する商品に関する詳しい情報が準備されているか否かを判断する(ステップS154B)。
CPU110は、当該質問に関する商品に対応する映像が準備されている場合、対応するURL情報を作成して(ステップS156B)、通信インターフェイス160を介して、当該URL情報を顧客通信端末200に対応するテレビ400に送信する(ステップS158B)。テレビ400は、当該URL情報に基づいて、画像を含む当該商品に関する詳しい情報を受信して表示する。
<第10の実施の形態>
あるいは、図33に示すように、ロボットなどの顧客通信端末200を介してユーザからの問い掛けを受け付けた場合に、ユーザの理解を助けるために顧客通信端末200の近傍のテレビ400に参考画像を表示させてもよい。
すなわち、本実施の形態においては、サーバ100のCPU110は、図33に示す処理を実行する。CPU110は、通信インターフェイス160を介して、ロボットなどの顧客通信端末200に、ユーザとの音声対話を実行させる(ステップS152)。CPU110は、ユーザからの質問を受け付けると(ステップS153にてYESである場合)、商品データ122Cを参照して、当該質問に関する商品に関する詳しい情報が準備されているか否かを判断する(ステップS154B)。
CPU110は、当該質問に関する商品に対応する映像が準備されている場合、対応するURL情報を作成して(ステップS156B)、通信インターフェイス160を介して、当該URL情報を顧客通信端末200に対応するテレビ400に送信する(ステップS158B)。テレビ400は、当該URL情報に基づいて、画像を含む当該商品に関する詳しい情報を受信して表示する。
<第11の実施の形態>
あるいは、図34に示すように、顧客通信端末200の近傍にテレビ400がある場合に参考画像を表示するものであってもよい。
すなわち、本実施の形態においては、サーバ100のCPU110は、図34に示す処理を実行する。CPU110は、通信インターフェイス160を介して、ロボットなどの顧客通信端末200に、ユーザとの音声対話を実行させる(ステップS152)。CPU110は、ユーザからの質問を受け付けると(ステップS152にてYESである場合)、通信インターフェイス160を介して、ロボットなどの顧客通信端末200の周囲にテレビ400があるか否かを判断する(ステップS154C)。
たとえば、顧客通信端末200に電源ONボタンやチャンネル切り替えボタンの制御信号を発信させて、テレビの電源がついたり、テレビのチャンネルが切り替わったりすると(ステップS154CにてYESである場合)、CPU110は、対応するURL情報を作成して(ステップS156B)、通信インターフェイス160を介して、当該URL情報を顧客通信端末200に対応するテレビ400に送信する(ステップS158B)。テレビ400は、当該URL情報に基づいて、画像を含む当該商品に関する詳しい情報を受信して表示する。
<第12の実施の形態>
あるいは、図35に示すように、ユーザが選択すべき複数の候補がある場合にサーバ100がテレビ400に参考画像を表示させるものであってもよい。すなわち、音声だけではユーザが所望の情報を選択しにくいと予想される場合に、複数の候補の映像をテレビ400に表示させるのである。
すなわち、本実施の形態においては、サーバ100のCPU110は、図35に示す処理を実行する。CPU110は、通信インターフェイス160を介して、ロボットなどの顧客通信端末200に、ユーザとの音声対話を実行させる(ステップS152)。CPU110は、ユーザに複数の候補を示す必要があるか否かを判断する(ステップS154D)。ユーザに複数の候補を示す必要がある場合(ステップS154DにてYESである場合)、CPU110は、複数の候補のうちの1つの候補に関する情報に基づいて、当該注文に関するテレビ用画像を作成する(ステップS156)。CPU110は、通信インターフェイス160を介して、当該テレビ用画像をユーザの通信端末に対応するテレビ400に送信する(ステップS158)。このとき、CPU110は、通信インターフェイス160を介して、当該テレビ用画像に対応する音声をテレビ400に出力させることが好ましい。
より詳細には、本実施の形態においては、図36(A)に示すように、ユーザが「次」という文言を発すると、当該音声を顧客通信端末200から受け付けたサーバ100のCPU110は、図36(B)に示すように、通信インターフェイス160を介して、複数の候補のうちの1つ次の画像を顧客通信端末200に対応するテレビ400に表示させる。このとき、CPU110は、通信インターフェイス160を介して、当該1つ次の画像に対応する音声をテレビ400に出力させることが好ましい。顧客通信端末200からの音声に基づいて、ユーザが商品やサービスを決定する旨の音声を顧客通信端末200に入力すると、図36(C)に示すように、サーバ100のCPU110は、通信インターフェイス160を介して、ユーザの商品の決定命令を受け付けて、当該商品の詳細画面をテレビ400に表示させる。このとき、CPU110は、通信インターフェイス160を介して、当該商品の詳細画面に対応する音声をテレビ400に出力させることが好ましい。
逆に、図37(A)に示すように、ユーザが「前」という文言を発すると、当該音声を顧客通信端末200から受け付けたサーバ100のCPU110は、図37(B)に示すように、通信インターフェイス160を介して、複数の候補のうちの1つ前の画像を顧客通信端末200に対応するテレビ400に表示させる。このとき、CPU110は、通信インターフェイス160を介して、当該1つ前の画像に対応する音声をテレビ400に出力させることが好ましい。顧客通信端末200からの音声に基づいて、ユーザが商品やサービスを決定する旨の音声を顧客通信端末200に入力すると、図37(C)に示すように、サーバ100のCPU110は、通信インターフェイス160を介して、ユーザの商品の決定命令を受け付けて、当該商品の詳細画面をテレビ400に表示させる。このとき、CPU110は、通信インターフェイス160を介して、当該商品の詳細画面に対応する音声をテレビ400に出力させることが好ましい。
より詳細には、本実施の形態においては、サーバ100のCPU110は、図38に示す処理を実行する。CPU110は、通信インターフェイス160を介して、ロボットなどの顧客通信端末200に、ユーザとの音声対話を実行させる(ステップS152)。CPU110は、「次」という文言を受け付けると(ステップS162にてYESである場合)、通信インターフェイス160を介して、複数の候補のうちの次の画像のデータと当該次の画像に対応する音声データとをロボットなどの顧客通信端末200に対応するテレビ400に送信する(ステップS164)。
「次」という文言を受け付けなかった場合(ステップS162にてNOである場合)、CPU110は、「前」という文言を受け付けると(ステップS166にてYESである場合)、通信インターフェイス160を介して、複数の候補のうちの前の画像のデータと当該前の画像に対応する音声データとをロボットなどの顧客通信端末200に対応するテレビ400に送信する(ステップS168)。
「前」という文言を受け付けなかった場合(ステップS166にてNOである場合)、CPU110は、通信インターフェイス160を介して、ユーザからの確定命令を受け付けたか否かを判断する(ステップS170)。ユーザからの確定命令を受け付けると(ステップS172にてYESである場合)、CPU110は、通信インターフェイス160を介して、商品やサービスの詳細画像と当該詳細画像に対応する音声データとをロボットなどの顧客通信端末200に対応するテレビ400に送信する(ステップS172)。
なお、複数の候補からの選択方法は、図39のような方法であってもよい。すなわち、サーバ100のCPU110は、通信インターフェイス160を介して、複数の候補の画像をユーザのロボットなどの顧客通信端末200に対応するテレビ400に送信する。図39(A)に示すように、テレビ400は、サーバ100の指示に従って、複数の候補の画像を、マトリクス状に、選択可能に表示させる。ユーザが、上から何番目(下から何番目)、左から何番目(右から何番目)かを指定すると、図39(B)に示すように、指示された画像の表示を他の画像と異なる形式で表示させる。
顧客通信端末200からの音声に基づいて、ユーザが商品やサービスを決定する旨の音声を顧客通信端末200に入力すると、図39(C)に示すように、サーバ100のCPU110は、通信インターフェイス160を介して、ユーザの商品の決定命令を受け付けて、当該商品の詳細画面をテレビ400に表示させる。このとき、CPU110は、通信インターフェイス160を介して、当該商品の詳細画面に対応する音声をテレビ400に出力させることが好ましい。
より詳細には、本実施の形態においては、サーバ100のCPU110は、図40に示す処理を実行する。CPU110は、通信インターフェイス160を介して、ロボットなどの顧客通信端末200に、ユーザとの音声対話を実行させる(ステップS152)。CPU110は、通信インターフェイス160を介して、上下方向の指定、すなわち行の指定を待ち受ける(ステップS167)。上下方向の指定を受け付けると(ステップS167にてYESである場合)、CPU110は、通信インターフェイス160を介して、左右方向の指定、すなわち列の指定を待ち受ける(ステップS168)。
CPU110は、左右方向の指定を受付けると(ステップS168にてYESである場合)、ユーザからの確定命令を待ち受ける(ステップS170)。CPU110は、確定命令を受け付けると(ステップS170にてYESである場合)、CPU110は、通信インターフェイス160を介して、商品やサービスの詳細画像と当該詳細画像に対応する音声データとをロボットなどの顧客通信端末200に対応するテレビ400に送信する(ステップS172)。
なお、複数の候補の画像は、横だけに一列に並べて、右または左から何番目という音声命令を受け付けるものであってもよいし、縦だけに一列に並べて、上または下から何番目という音声命令を受け付けるものであってもよい。
<第13の実施の形態>
第8〜第12の実施の形態においては、音声対話によってユーザから商品やサービスの注文を受け付けるものであった。しかしながら、そのような形態には限られない。たとえば、図41に示すように、サーバ100が、ロボットなどの顧客通信端末200を介して各種のレクチャーの音声をユーザに出力する場合に、近傍のテレビ400に当該レクチャーに関する画像を表示するものであってもよい。つまり、顧客通信端末200がコーチ役を演じ、テレビ400の画像が参考映像を出力するものである。
この場合には、メモリ120が、レクチャーの音声データと映像データとの対応関係を記憶する。そして、CPU110が、音声データの進行に合わせて、通信インターフェイス160を介して映像データをテレビ400に提供する、あるいは、映像データの進行に合わせて、通信インターフェイス160を介して音声データを顧客通信端末200に提供する。
たとえば、メモリ120が図42に示すような音声映像データ128を格納する。音声映像データ128は、コンテンツのセクション毎に、コンテンツIDと、セクションIDと、音声IDと、音声の出力時間と、映像IDと、映像の出力時間との対応関係を含む。そして、CPU110は音声映像データ128を参照して、通信インターフェイス160を介して音声データを顧客通信端末200に提供しつつ、通信インターフェイス160を介して音声データに対応する映像データを顧客通信端末200に対応するテレビ400に提供する。
なお、サーバ100は、ロボットなどの顧客通信端末200による音声の説明を補足するための静止画像、動画像、テキストなどを、顧客通信端末200に対応するディスプレイやプロジェクタなどに表示させればよいものである。たとえば、場所を説明するための音声だけではユーザが解りにくい場合に地図を表示させたり、ニュースの音声だけではユーザが思い出しにくい可能性が高い場合に政治家や芸能人の写真を表示させたりすることが有用である。
<第14の実施の形態>
第1〜第13の実施の形態のような、サーバ100や顧客通信端末200や店舗通信端末300の構造・機能・動作に限られず、たとえば各装置の役割が、他のサーバやデータベースなどの複数の装置に分担されてもよい。逆に、複数の装置の役割の一部または全部が1つの装置に集約されてもよい。
<まとめ>
上記の実施の形態においては、スピーカ270を含む第1の端末200と、ディスプレイ430を含む第2の端末400と、第1の端末200に音声を出力させ、音声に関する映像を第2の端末400に表示させるためのサーバ100と、を備えるネットワークシステム1が提供される。
好ましくは、第2の端末400は、音声に関する複数の映像を取得可能である。サーバ100は、第1の端末200を介してユーザからの第1の命令を受ける度に、第2の端末400に音声に関する複数の映像を順に表示させる。
好ましくは、サーバ100は、第1の端末200を介してユーザからの第2の命令を受ける度に、第2の端末400に音声に関する複数の映像を逆の順に表示させる。
好ましくは、サーバは、第2の命令に応じた映像に対応する音声を第2の端末に出力させる。
好ましくは、第2の端末400は、音声に関する複数の映像を取得可能である。サーバ100は、第2の端末400に、音声に関する複数の映像を選択可能に並べて表示させる。
好ましくは、サーバ100は、第1の端末200を介して、左右のいずれかから何番目であるか、および/または、上下のいずれかから何番目であるか、を指定する音声命令を受け付けて、いずれかの映像に関する詳細な画面を第2の端末400に表示させる。
好ましくは、サーバは、詳細な画面に対応する音声を第2の端末に出力させる。
好ましくは、サーバ100は、第1の端末200にレクチャー用の音声を出力させ、音声に関する説明用の映像を第2の端末400に表示させる。
上記の実施の形態においては、サーバ100が、第1の端末200に音声を出力させるステップと、サーバ100が、音声に関する映像を第2の端末400に表示させるステップと、を備えるネットワークシステム1の情報処理方法が提供される。
上記の実施の形態においては、第1および第2の端末200,400と通信するための通信インターフェイス160と、通信インターフェイス160を利用して、第1の端末200に音声を出力させ、音声に関する映像を第2の端末400に表示させるためのプロセッサ110と、を備えるサーバ100が提供される。
上記の実施の形態においては、第1および第2の端末200,400と通信するための通信インターフェイス160と、プロセッサ110と、を含むサーバ100における情報処理方法が提供される。情報処理方法は、プロセッサ110が、通信インターフェイス160を利用して、第1の端末200に音声を出力させるステップと、プロセッサ110が、通信インターフェイス160を利用して、音声に関する映像を第2の端末400に表示させるステップと、を備える。
<その他の応用例>
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体(あるいはメモリ)を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 :ネットワークシステム
100 :サーバ
100B :サーバ
110 :CPU
120 :メモリ
121 :端末データ
122 :商品データ
123 :店舗データ
124 :在庫データ
125 :注文データ
126 :フィードバックデータ
127 :近傍ディスプレイデータ
128 :音声映像データ
140 :操作部
160 :通信インターフェイス
200 :顧客通信端末
210 :CPU
220 :メモリ
230 :ディスプレイ
240 :操作部
250 :カメラ
260 :通信インターフェイス
270 :スピーカ
280 :マイク
300 :店舗通信端末
310 :CPU
320 :メモリ
330 :ディスプレイ
340 :操作部
360 :通信インターフェイス
400 :テレビ
410 :CPU
420 :メモリ
430 :ディスプレイ
440 :操作部
460 :通信インターフェイス
470 :スピーカ
480 :チューナ
490 :赤外線受光部

Claims (10)

  1. スピーカを含む第1の端末と、
    ディスプレイを含む第2の端末と、
    前記第1の端末にレクチャー用の音声を出力させ、前記第1の端末から制御信号を発信させることによって前記第2の端末が前記第1の端末の近傍にいることを確認できた場合に、前記音声の出力タイミングに対応するタイミングに合わせて前記音声に関するレクチャー用の映像を前記第2の端末に表示させるためのサーバと、を備えるネットワークシステム。
  2. 前記第2の端末は、前記音声に関する複数の映像を取得可能であって、
    前記サーバは、前記第1の端末を介してユーザからの第1の命令を受ける度に、前記第2の端末に前記音声に関する複数の映像を順に表示させる、請求項1に記載のネットワークシステム。
  3. 前記サーバは、前記第1の端末を介してユーザからの第2の命令を受ける度に、前記第2の端末に前記音声に関する複数の映像を逆の順に表示させる、請求項2に記載のネットワークシステム。
  4. 前記サーバは、前記第2の命令に応じた映像に対応する音声を前記第2の端末に出力させる、請求項3に記載のネットワークシステム。
  5. 前記第2の端末は、前記音声に関する複数の映像を取得可能であって、
    前記サーバは、前記第2の端末に、前記音声に関する複数の映像を選択可能に並べて表示させる、請求項1に記載のネットワークシステム。
  6. 前記サーバは、前記第1の端末を介して、左右のいずれかから何番目であるか、および/または、上下のいずれかから何番目であるか、を指定する音声命令を受け付けて、いずれかの映像に関する詳細な画面を前記第2の端末に表示させる、請求項5に記載のネットワークシステム。
  7. 前記サーバは、前記詳細な画面に対応する音声を前記第2の端末に出力させる、請求項6に記載のネットワークシステム。
  8. サーバが、第1の端末にレクチャー用の音声を出力させるステップと、
    前記サーバが、前記第1の端末から制御信号を発信させることによって前記第2の端末が前記第1の端末の近傍にいることを確認できた場合に、前記音声の出力タイミングに対応するタイミングに合わせて前記音声に関するレクチャー用の映像を第2の端末に表示させるステップと、を備えるネットワークシステムの情報処理方法。
  9. 第1および第2の端末と通信するための通信インターフェイスと、
    前記通信インターフェイスを利用して、前記第1の端末にレクチャー用の音声を出力させ、前記第1の端末から制御信号を発信させることによって前記第2の端末が前記第1の端末の近傍にいることを確認できた場合に、前記音声の出力タイミングに対応するタイミングに合わせて前記音声に関するレクチャー用の映像を前記第2の端末に表示させるためのプロセッサと、を備えるサーバ。
  10. 第1および第2の端末と通信するための通信インターフェイスと、プロセッサと、を含むサーバにおける情報処理方法であって、
    前記プロセッサが、前記通信インターフェイスを利用して、前記第1の端末にレクチャー用の音声を出力させるステップと、
    前記プロセッサが、前記通信インターフェイスを利用して、前記第1の端末から制御信号を発信させることによって前記第2の端末が前記第1の端末の近傍にいることを確認できた場合に、前記通信インターフェイスを利用して、前記音声の出力タイミングに対応するタイミングに合わせて前記音声に関するレクチャー用の映像を前記第2の端末に表示させるステップと、を備える情報処理方法。
JP2017155555A 2017-08-10 2017-08-10 ネットワークシステム、情報処理方法、およびサーバ Expired - Fee Related JP6691895B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017155555A JP6691895B2 (ja) 2017-08-10 2017-08-10 ネットワークシステム、情報処理方法、およびサーバ
CN201810874078.4A CN109391677A (zh) 2017-08-10 2018-08-03 网络系统、信息处理方法以及服务器
US16/059,947 US20190050931A1 (en) 2017-08-10 2018-08-09 Network system, information processing method, and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017155555A JP6691895B2 (ja) 2017-08-10 2017-08-10 ネットワークシステム、情報処理方法、およびサーバ

Publications (2)

Publication Number Publication Date
JP2019036027A JP2019036027A (ja) 2019-03-07
JP6691895B2 true JP6691895B2 (ja) 2020-05-13

Family

ID=65274219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017155555A Expired - Fee Related JP6691895B2 (ja) 2017-08-10 2017-08-10 ネットワークシステム、情報処理方法、およびサーバ

Country Status (3)

Country Link
US (1) US20190050931A1 (ja)
JP (1) JP6691895B2 (ja)
CN (1) CN109391677A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7314720B2 (ja) * 2019-08-29 2023-07-26 沖電気工業株式会社 情報処理システム、情報処理装置、及び情報処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003198960A (ja) * 2001-12-27 2003-07-11 Mitsubishi Electric Corp 移動通信装置、通信システム、移動通信方法及び通信方法
JP2003330474A (ja) * 2002-05-13 2003-11-19 Kyocera Corp 音楽配信システム
JP2005293052A (ja) * 2004-03-31 2005-10-20 Honda Motor Co Ltd 顧客応対ロボット
JP2008097362A (ja) * 2006-10-12 2008-04-24 Dainippon Printing Co Ltd 展示物ガイドシステム及び方法
JP2013046151A (ja) * 2011-08-23 2013-03-04 Ricoh Co Ltd プロジェクタ、投影システム及び情報検索表示方法
US20140201004A1 (en) * 2013-01-14 2014-07-17 Toyota Jidosha Kabushiki Kaisha Managing Interactive In-Vehicle Advertisements
KR102398488B1 (ko) * 2015-06-26 2022-05-13 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
JP2017117184A (ja) * 2015-12-24 2017-06-29 大日本印刷株式会社 ロボット、質問提示方法、及びプログラム
JP6707352B2 (ja) * 2016-01-14 2020-06-10 シャープ株式会社 システム、サーバ、システムの制御方法、サーバの制御方法、および、サーバのプログラム
CN105516773B (zh) * 2016-03-07 2019-07-23 合一智能科技(深圳)有限公司 电视机顶盒的控制方法、电视机、遥控器及电视机系统
CN105894405A (zh) * 2016-04-25 2016-08-24 百度在线网络技术(北京)有限公司 基于人工智能的点餐交互系统和方法
CN106227335B (zh) * 2016-07-14 2020-07-03 广东小天才科技有限公司 预习讲义与视频课程的交互学习方法及应用学习客户端

Also Published As

Publication number Publication date
CN109391677A (zh) 2019-02-26
US20190050931A1 (en) 2019-02-14
JP2019036027A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
US11778100B2 (en) Consumer electronic registration, control and support concierge device and method
JP7189919B2 (ja) 消費者向け電子装置を登録し、制御し、及びサポートするコンシェルジュデバイス及び方法
US8280009B2 (en) Consumer electronic registration, control and support concierge device and method
US8789082B2 (en) Method and apparatus for enabling interactive dynamic movies
KR20090004962A (ko) 단말을 트리거하는 시스템
KR20130089921A (ko) 컨텐츠 제공 시스템 및 동작 방법
JP2020191620A (ja) 映像配信方法、映像配信装置、及びコンピュータプログラム
JP6691895B2 (ja) ネットワークシステム、情報処理方法、およびサーバ
JP6675055B2 (ja) ゲームシステム及びそれに用いるコンピュータプログラム
JP6130985B1 (ja) メッセージ動画提供装置、メッセージ動画提供方法及びメッセージ動画提供プログラム
JP6883451B2 (ja) サーバ、情報処理方法、ネットワークシステム、および端末
WO2017135039A1 (ja) メッセージ動画提供装置、メッセージ動画提供方法及びメッセージ動画提供プログラム
JP2019036026A (ja) ネットワークシステム、情報処理方法、およびサーバ
JP2018182585A (ja) 超音波を用いた情報発出システム
JP2019040487A (ja) ネットワークシステム、情報処理方法、およびサーバ
JP2019152969A (ja) ネットワークシステム、情報処理方法、およびサーバ
JP7078478B2 (ja) 連動設定方法、連動用サーバ、ゲームサーバ、マネージメントサーバ及びゲームシステム
JP2019046205A (ja) ネットワークシステム、情報処理方法、およびサーバ
JP2017151750A (ja) ネットワークシステム、ネットワークシステムの処理方法、サーバ、サーバの処理方法、配達管理装置および端末
WO2020008930A1 (ja) 照明システム、通信インターフェース装置、照明装置、及び、照明制御方法
CN113407146A (zh) 终端语音交互方法、系统以及相应的终端设备
JP2021081968A (ja) ネットワークシステム
JP5249546B2 (ja) インターネットを利用したカラオケシステム
AU2010222921B2 (en) System and method for sponsorship recognition
US20230396710A1 (en) Consumer electronic registration, control and support concierge device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200413

R150 Certificate of patent or registration of utility model

Ref document number: 6691895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees