JP3705587B2 - 情報配信システムおよび情報配信方法 - Google Patents
情報配信システムおよび情報配信方法 Download PDFInfo
- Publication number
- JP3705587B2 JP3705587B2 JP2001342197A JP2001342197A JP3705587B2 JP 3705587 B2 JP3705587 B2 JP 3705587B2 JP 2001342197 A JP2001342197 A JP 2001342197A JP 2001342197 A JP2001342197 A JP 2001342197A JP 3705587 B2 JP3705587 B2 JP 3705587B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- information
- attribute
- voice data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は、情報配信システムおよび情報配信方法に関し、より特定的には、情報配信サーバから複数のユーザ端末に対して種々の配信情報を配信するための情報配信システムおよび情報配信方法に関し、例えば、福祉支援システムの一環として老人によるコミュニケーションを促進するための対話型のペット型ロボット等に好適に利用できる情報配信システムおよび情報配信方法に関する。
【0002】
【従来の技術】
従来、例えば家族と離れて一人で暮らすお年寄り等がコミュニケーションの不足に陥ってしまうという問題を解消するための物として、対話型のペット型ロボットが実現されている。このペット型ロボットは、ユーザがペット型ロボットに対して何か話しかけると、ユーザに対して、その話しかけの内容に応じた返答をするというものである。以下、第1の従来例として、このペット型ロボットについて簡単に説明する。
【0003】
図23に、ペット型ロボットの構成を示す。ペット型ロボットは、マイクロホン900と、音声認識部901と、解析部902と、対話部903と、応答生成部904と、対話データベース905と、応答部906と、音声データ格納部907と、出力部908とを備える。対話データベース905は、解析辞書909と、対話辞書910と、応答辞書911とを含む。ユーザがこのペット型ロボットに向かって話しかけると、その音声は、マイクロホン900によって音声データに変換される。音声データは、音声認識部901において音声認識され、テキストデータとして出力される。解析部902は、解析辞書909を参照して、このテキストデータである入力文字列を、入力概念に変換する。例えば、「こんにちは」という入力文字列を“あいさつ”を意味する入力概念(仮に「HELLO」と示す)に変換する。対話部903は、対話辞書910を参照して、この入力概念に対応する出力概念を出力する。例えば、“あいさつ”を意味する入力概念「HELLO」に対して、同じく“あいさつに対する返答”を意味する出力概念(仮に「¥HELLO」と示す)を出力する。応答生成部904は、応答辞書911を参照して、出力概念に対応する応答文字列の候補の中から、1つの出力文字列を例えばランダムに選択して出力する。例えば、応答辞書911において、出力概念「¥HELLO」に対応する応答文字列として、「やあ、こんにちは」、「はーい、こんにちは」、「ハロー」、「こんにちは元気?」の4つが登録されていた場合、応答生成部904は、この中の一つの応答文字列、例えば「こんにちは元気?」を選択して出力する。実際は、応答生成部904は、選択した応答文字列に対応する音声データのファイル名を出力する。音声データ格納部907には、応答辞書911に登録されている応答文字列に対応する音声データが予め格納されており、応答部906は、この音声データ格納部907から、応答生成部904から出力された音声ファイル名に対応する音声データを読み出す。出力部908は、読み出された音声データに基づいて、音声を出力する。
【0004】
以上の動作により、例えば、ユーザがペット型ロボットに対して「こんにちは」と話しかけると、これを受けて、ペット型ロボットは、ユーザに対して「やあ、こんにちは」や「こんにちは、元気?」というように返答する。また例えば、ユーザが「ごきげんいかが?」と話しかけると「元気だよ。あなたは?」というように返答する。このように、ペット型ロボットは、ユーザが話しかける内容に対して適切に返答を行うため、ユーザはあたかも本物の人間と会話をしているかのように会話を楽しむことができる。
【0005】
一方、近年、上記のようなペット型ロボットを、介護目的に利用する為に情報配信機能を持たせることも考えられており、そのようなシステムが現在実現されている。具体的には、介護センター等の施設に設置されたセンター装置から、通信回線を介して、各ユーザがそれぞれ所有する情報通信端末としてのペット型ロボットに対してさまざまな情報を配信し、これら配信情報をペット型ロボットを通じてユーザに通知するといった情報配信システムが実現されている。以下、第2の従来例として、この情報配信システムについて簡単に説明する。
【0006】
図24に、情報配信システムの全体構成を示す。情報配信システムは、複数のユーザ(ここではユーザA〜C)がそれぞれ操作する複数(ここでは3つ)の情報通信端末912a〜912cと、インターネット913と、センター装置914とで構成される。センター装置914と各情報通信端末912a〜912cとは、インターネット913を介して通信可能に接続される。
【0007】
図25に、センター装置914の構成を示す。センター装置914は、配信情報データベース915と、情報選択部916と、情報配信部917とを備える。配信情報データベース915は、配信情報格納部918と、音声データ格納部919とを含む。配信情報データベース915には、ユーザに配信すべき配信情報が格納される。例えば、センター装置914の管理者は、ユーザA〜Cに伝えるべき配信情報がある場合、配信情報データベース915に適宜登録する。このとき、この配信情報がどの応答概念に対応して出力されるべきであるのかについても登録される。例えば、登録する配信情報が今日の予定に関する情報である場合は、応答概念(仮に「¥YOTEI」と示す)に対応する配信情報であることを登録しておく。配信情報としては、管理者がマイクロホンから入力した音声データである場合や、キーボードから入力したテキストデータである場合や、その他のデータである場合がある。音声データについては、音声データ格納部919に格納され、テキストデータやその他のデータについては配信情報格納部918に格納される。情報選択部916は、配信情報データベース915に登録されているデータの中から、例えば配信情報データベース915に新たに追加された未配信のデータを選択し、情報配信部917は、この選択されたデータを情報通信端末912a〜912cに向けて配信する。
【0008】
図26に、情報通信端末912aの構成を示す。なお、図24に示す情報通信端末912a〜912cの構成は同一であるため、ここでは情報通信端末912aについてのみ説明し、情報通信端末912bおよび情報通信端末912cの説明を省略する。また、図26において、図23に示す構成と同一の構成については同一の参照符号を付し、説明を省略する。情報通信端末912aは、図23に示した第1の従来例の構成と比較して、情報受信部921と情報登録部922とをさらに備え、対話データベース920は、情報応答辞書923をさらに含む。情報受信部921は、前述のようにしてセンター装置914の情報配信部917から配信された配信情報を受信する。情報登録部922は、受信した情報の解析を行い、受信情報に基づいて情報応答辞書923への受信情報の登録および音声データ格納部907への音声データの登録を行う。こうして、新たな配信情報を受信する度に、情報応答辞書923の登録内容が更新され、音声データ格納部907には受信した音声データが追加される。この状態で、例えばユーザが情報通信端末912aに対して「今日の予定は?」と話しかけると、この音声は、マイクロホン900等を通じてテキストデータとして解析部902に供給され、解析部902は、入力概念(仮に「YOTEI」と示す)を出力し、対話部903は、この入力概念「YOTEI」に対応する応答概念「¥YOTEI」を出力する。応答生成部904は、この応答概念「¥YOTEI」を受け取ると、この応答概念「¥YOTEI」に対しては応答辞書911ではなく情報応答辞書923を参照し、この応答概念「¥YOTEI」に対応する音声データのファイル名を出力する。応答部906は、このファイル名に基づいて、音声データ格納部907から、このファイル名に対応する音声データを読み出す。出力部908は、この音声データに基づいて音声を出力する。この結果、例えば、「今日の予定は?」というユーザの問いかけに対して、情報通信端末912aは、「今日は定期検診の日ですよ」というように返答する。
【0009】
以上のように、センター装置914において各ユーザに配信したい情報を登録することにより、この情報をユーザの情報通信端末を通じてユーザに通知することができる。これにより、ユーザは新しい話題を期待することができるため、長期の使用によっても新鮮味が低減することがない。また、これらの配信情報は、ユーザの問いかけに応じて適宜出力されるため、ユーザは、キーボード等による特別な操作を必要とすることなく、情報通信端末へ問いかけるだけでセンター装置からの情報を得ることができるので、キーボード等の操作が苦手なお年寄りのユーザなどであっても容易に情報を入手することができる。
【0010】
【発明が解決しようとする課題】
しかしながら、上述した第1の従来例では、ペット型ロボットは、ユーザの問いかけに対して、応答辞書に予め登録されている応答文字列に基づいて応答するのみであるため、対話が単調になりがちであり、ペット型ロボットを長期にわたり使用していると新鮮味が低減し、ユーザが飽きてしまうという問題がある。
【0011】
一方、上述した第2の従来例では、センター装置の管理者が配信情報データベースに配信情報を登録することによって、情報端末装置から新たな情報を出力させることができる。しかしながら、配信情報を入手して登録する作業には多くの手間がかかるため、提供できる配信情報の数には限界があった。
【0012】
また、全てのユーザに同一の配信情報を配信すると、一部のユーザにとっては有用な情報であっても他のユーザにとっては不要な情報である場合も多く、情報端末装置の記憶容量を無駄に使用してしまうばかりでなく、ユーザにとっての利便性も低下する。この問題を解決するためには、センター側で、予め配信情報毎に、その送信先を指定することが考えられるが、配信先や配信情報が多数になるほど、その送信先の指定作業には多くの手間がかかってしまう。
【0013】
それゆえに、本発明の目的は、管理者側において配信情報の入手および登録する手間を必要とせず、情報通信端末に対してより多様な情報を配信することのできる情報配信システムを提供することである。
【0014】
また、本発明の他の目的は、管理者側において配信情報毎に情報の配信先を指定する手間を必要とせず、各ユーザに対して、それぞれ有用な配信情報を提供することのできる情報配信システムを提供することである。
【0015】
【課題を解決するための手段および発明の効果】
第1の発明は、センター装置から複数の情報通信端末に対して通信回線を通じて種々の配信情報を配信する情報配信システムであって、
ユーザが情報通信端末と会話した音声を音声データに変換する音声入力手段と、
音声入力手段によって変換された音声データからこの音声データの属性を抽出する属性抽出手段と、
音声入力手段によって変換された音声データを属性抽出手段によって抽出された属性と対応付けて格納する格納手段と、
格納手段によってすでに格納されている、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データの中から、所望の属性の音声データを検索する検索手段と、
検索手段によって検索された音声データを、所定の情報通信端末に配信する情報配信手段と、
情報配信手段によって配信された音声データを音声に変換して出力する音声出力手段とを備え、
音声入力手段および音声出力手段は、複数の情報通信端末のそれぞれに設けられ、格納手段、検索手段および情報配信手段は、センター装置に設けられることを特徴とする。
【0016】
上記のように、第1の発明によれば、ユーザが発した音声を配信情報として他のユーザに配信するので、センター装置の管理者等が配信情報を入手して登録するといった手間を必要とすることなく、配信情報は随時新たに登録され、ユーザは新鮮な情報を入手することができる。また、音声データは、属性と対応付けられて格納されるため、格納されている複数の音声データの中から所望の属性の音声データを検索して配信することが容易である。また、音声データの属性は、音声データ自体から自動的に抽出されるので、管理者等が音声データを内容に応じて分類するといった手間が省ける。
【0017】
第2の発明は、第1の発明において、属性抽出手段は、音声データをテキストデータに変換する音声認識手段と、テキストデータから意味のあるキーワードを抽出する意味解析手段と、キーワードに基づいて音声データの属性を判別する属性判別手段とを含み、
格納手段は、音声認識手段でテキストデータに変換された音声データを属性抽出手段によって抽出された属性と対応付けて格納することを特徴とする。
【0018】
上記のように、第2の発明によれば、音声データ自身から属性を自動的に抽出することができる。
【0019】
第3の発明は、第1の発明において、検索手段は、格納手段によってすでに格納されている複数の音声データの中から音声入力手段によって変換された音声データの属性に対応する属性の音声データを検索し、
情報配信手段は、音声入力手段によって変換された音声データの送信元の情報通信端末に対して、検索手段によって検索された音声データを配信することを特徴とする。
【0020】
上記のように、第3の発明によれば、ユーザが情報通信端末に対して話しかけた話題に関連した他ユーザからの情報が情報通信端末を通じて他ユーザの音声で出力されるので、より自然の会話に近い形で情報を入手することができ、しかも、ユーザにとって全く興味のない情報が出力されてしまうという問題も生じない。また、ユーザが興味を持っている話題を情報通信端末に対して単に話しかけるだけで、その話題に関連した情報が音声出力されるので、キーボードなどによる面倒な操作を行うことなく所望の情報を得ることができる。
【0021】
第4の発明は、第1の発明において、センター装置は、属性抽出手段によって抽出された属性を、ユーザの嗜好属性としてユーザに対応づけて記憶しておく嗜好属性記憶手段をさらに備え、
検索手段は、嗜好属性記憶手段によって記憶されているユーザの嗜好属性を参照して、格納手段によってすでに格納されている複数の音声データの中から情報配信先のユーザの嗜好属性に対応する属性の音声データを検索することを特徴とする。
【0022】
上記のように、第4の発明によれば、ユーザの嗜好に合致する音声データが検索されて配信されるので、ユーザにとって全く興味のない情報が出力されてしまうという問題は生じない。また、情報通信端末に不要な情報が送信されないため、情報の配信に係るトラフィックを軽減することができるとともに、情報通信端末に配信情報をまとめて送信する際に情報通信端末に必要となる記憶容量が低減する。また、管理者等が、ユーザの嗜好を考慮して配信先や配信情報を選択するといった手間も省ける。また、ユーザの嗜好は、ユーザが過去に発した音声の内容に基づいて自動的に登録されるため、ユーザや管理者等がわざわざキーボード等を操作して手作業で嗜好属性の登録を行う手間が省ける。
【0023】
第5の発明は、第4の発明において、属性抽出手段が少なくとも複数の情報通信端末のそれぞれに設けられており、
情報配信手段は、検索手段によって検索された音声データをこの音声データの属性とともに配信し、
情報通信端末は、それぞれ
情報配信手段によって配信された音声データを属性と対応づけて格納する受信音声情報格納手段と、
受信音声情報格納手段によって格納されている複数の音声データの中から、属性抽出手段によって抽出された属性に対応する属性の音声データを検索する端末側検索手段とをさらに備え、
音声出力手段は、端末側検索手段によって検索された音声データを音声に変換して出力することを特徴とする。
【0024】
上記のように、第5の発明によれば、特に、通信回線が接続されていない状態であっても、ユーザが情報通信端末に対して何か話しかけると、受信音声情報格納手段に格納されている音声データの中から、ユーザが話しかけた話題に関連する音声データが選出されて、情報通信端末から音声として出力される。よって、通信回線が接続されていない状態であっても、ユーザは対話形式で適宜話しかけた内容に関連する情報を入手することができるため、通信コストを抑えることができる。
【0025】
第6の発明は、第5の発明において、情報通信端末は、それぞれ、通信回線が接続されていない間に音声入力手段によって変換された音声データを、通信回線が接続されるまで一時的に記憶しておく音声情報一時記憶手段をさらに備える。
【0026】
上記のように、第6の発明によれば、通信回線が接続されていない状態においてユーザが話しかけた内容は、通信回線が接続されるまでの間、順次、音声データとして音声情報一時記憶手段に一時的に記憶され、通信回線が接続されたときにまとめてセンター装置に送信される。よって、通信回線が接続されていない状態においてユーザが話しかけた内容も無駄にすることなく配信情報として他ユーザに配信することが可能となる。
【0031】
第7の発明は、センター装置から通信回線を通じて配信される種々の配信情報を受信する情報通信端末であって、
ユーザがこの情報通信端末と会話した音声を音声データに変換する音声入力手段と、
音声入力手段によって変換された音声データからこの音声データの属性を抽出する属性抽出手段と、
音声入力手段によって変換された音声データを属性抽出手段によって抽出されたこの音声データの属性とともにセンター装置に送信する音声情報送信手段と、
センター装置から配信された音声データを音声に変換して出力する音声出力手段とを備える。
【0032】
上記のように、第7の発明によれば、ユーザが発した音声をセンター装置に配信情報として提供することができるので、センター装置の管理者等が配信情報を入手して登録するといった手間を必要とすることなく、配信情報は随時新たに登録され、ユーザは新鮮な情報を入手することができる。また、音声データは、属性とともにセンター装置に送信されるため、センター装置において、格納されている複数の音声データの中から所望の属性の音声データを検索して配信することが容易である。また、音声データの属性は、音声データ自体から自動的に抽出されるので、管理者等が音声データを内容に応じて分類するといった手間が省ける。
【0033】
第8の発明は、第7の発明において、属性抽出手段は、音声データをテキストデータに変換する音声認識手段と、テキストデータから意味のあるキーワードを抽出する意味解析手段と、キーワードに基づいて音声データの属性を判別する属性判別手段とを含む。
【0034】
上記のように、第8の発明によれば、音声データ自身から属性を自動的に抽出することができる。
【0035】
第9の発明は、第7の発明において、センター装置からは、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データがこの音声データの属性とともに配信され、
センター装置から配信された音声データを属性と対応づけて格納する受信音声情報格納手段と、
受信音声情報格納手段によって格納されている複数の音声データの中から、属性抽出手段によって抽出された属性に対応する属性の音声データを検索する端末側検索手段とをさらに備え、
音声出力手段は、端末側検索手段によって検索された音声データを音声に変換して出力することを特徴とする。
【0036】
上記のように、第9の発明によれば、特に、通信回線が接続されていない状態であっても、ユーザが情報通信端末に対して何か話しかけると、受信音声情報格手段に格納されている音声データの中から、ユーザが話しかけた話題に関連する音声データが選出されて、情報通信端末から音声として出力される。よって、通信回線が接続されていない状態であっても、ユーザは対話形式で適宜話しかけた内容に関連する情報を入手することができるため、通信コストを抑えることができる。
【0037】
第10の発明は、第9の発明において、通信回線が接続されていない間に音声入力手段によって変換された音声データを、通信回線が接続されるまで一時的に記憶しておく音声情報一時記憶手段をさらに備える。
【0038】
上記のように、第10の発明によれば、通信回線が接続されていない状態においてユーザが話しかけた内容は、通信回線が接続されるまでの間、順次、音声データとして音声情報一時記憶手段に一時的に記憶され、通信回線が接続されたときにまとめてセンター装置に送信される。よって、通信回線が接続されていない状態においてユーザが話しかけた内容も無駄にすることなくセンター装置に配信情報として提供することが可能となる。
【0043】
第11の発明は、複数の情報通信端末に対して通信回線を通じて種々の配信情報を配信するセンター装置であって、
情報通信端末から、この情報通信端末のユーザがこの情報通信端末と会話した音声に対応する音声データを受信する音声情報受信手段と、
受信された音声データをこの音声データの属性と対応付けて格納する格納手段と、
格納手段によってすでに格納されている、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データの中から、所望の属性の音声データを検索する検索手段と、
検索手段によって検索された音声データを、所定の情報通信端末に配信する情報配信手段とを備える。
【0044】
上記のように、第11の発明によれば、ユーザが発した音声を配信情報として他のユーザに配信するので、センター装置の管理者等が配信情報を入手して登録するといった手間を必要とすることなく、配信情報は随時新たに登録され、ユーザに新鮮な情報を配信することができる。また、音声データは、属性と対応付けられて格納されるため、格納されている複数の音声データの中から所望の属性の音声データを検索して配信することが容易である。
【0045】
第12の発明は、第11の発明において、音声情報受信手段によって受信された音声データからこの音声データの属性を抽出する属性抽出手段をさらに備え、
格納手段は、受信された音声データを属性抽出手段によって抽出された属性と対応付けて格納することを特徴とする。
【0046】
上記のように、第12の発明によれば、音声データの属性は、音声データ自体から自動的に抽出されるので、管理者等が音声データを内容に応じて分類するといった手間が省ける。
【0047】
第13の発明は、第11の発明において、属性抽出手段は、音声データをテキストデータに変換する音声認識手段と、テキストデータから意味のあるキーワードを抽出する意味解析手段と、キーワードに基づいて音声データの属性を判別する属性判別手段とを含み、
格納手段は、音声認識手段でテキストデータに変換された音声データを属性抽出手段によって抽出された属性と対応付けて格納することを特徴とする。
【0048】
上記のように、第13の発明によれば、音声データ自身から属性を自動的に抽出することができる。
【0049】
第14の発明は、第11の発明において、検索手段は、格納手段によってすでに格納されている複数の音声データの中から音声情報受信手段によって受信された音声データの属性に対応する属性の音声データを検索し、
情報配信手段は、音声情報受信手段によって受信された音声データの送信元の情報通信端末に対して検索手段によって検索された音声データを配信することを特徴とする。
【0050】
上記のように、第14の発明によれば、情報通信端末から送信された音声データと話題の関連した他ユーザからの情報を情報通信端末に自動的に配信することができるので、ユーザにとって全く興味のない情報を配信してしまうという問題も生じない。
【0051】
第15の発明は、第11の発明において、音声情報受信手段によって受信された音声データの属性を、ユーザの嗜好属性としてユーザに対応づけて記憶しておく嗜好属性記憶手段をさらに備え、
検索手段は、嗜好属性記憶手段によって記憶されているユーザの嗜好属性を参照して、格納手段によってすでに格納されている複数の音声データの中から情報配信先のユーザの嗜好属性に対応する属性の音声データを検索することを特徴とする。
【0052】
上記のように、第15の発明によれば、ユーザの嗜好に合致する音声データが検索されて配信されるので、ユーザにとって全く興味のない情報を配信してしまうという問題は生じない。また、情報通信端末に不要な情報が送信されないため、情報の配信に係るトラフィックを軽減することができる。また、管理者等が、ユーザの嗜好を考慮して配信先や配信情報を選択するといった手間も省ける。また、ユーザの嗜好は、情報通信端末から過去に受信した音声データの内容に基づいて自動的に登録されるため、ユーザや管理者等がわざわざキーボード等を操作して手作業で嗜好属性の登録を行う手間が省ける。
【0053】
第16の発明は、センター装置から複数の情報通信端末に対して通信回線を通じて種々の配信情報を配信する情報配信方法であって、
ユーザが情報通信端末と会話した音声を音声データに変換する音声入力ステップと、
音声入力ステップによって変換された音声データからこの音声データの属性を抽出する属性抽出ステップと、
音声入力ステップによって変換された音声データを属性抽出ステップによって抽出された属性と対応付けて格納する格納ステップと、
格納ステップによってすでに格納されている、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データの中から、所望の属性の音声データを検索する検索ステップと、
検索ステップによって検索された音声データを、所定の情報通信端末に配信する情報配信ステップと、
情報配信ステップによって配信された音声データを音声に変換して出力する音声出力ステップとを備え、
音声入力ステップおよび音声出力ステップは、複数の情報通信端末のそれぞれにおいて実行され、格納ステップ、検索ステップおよび情報配信ステップは、センター装置において実行されることを特徴とする。
【0054】
上記のように、第16の発明によれば、ユーザが発した音声を配信情報として他のユーザに配信するので、センター装置の管理者等が配信情報を入手して登録するといった手間を必要とすることなく、配信情報は随時新たに登録され、ユーザは新鮮な情報を入手することができる。また、音声データは、属性と対応付けられて格納されるため、格納されている複数の音声データの中から所望の属性の音声データを検索して配信することが容易である。また、音声データの属性は、音声データ自体から自動的に抽出されるので、管理者等が音声データを内容に応じて分類するといった手間が省ける。
【0057】
【発明の実施の形態】
以下、本発明の種々の実施形態について、図面を参照しながら説明する。
(第1の実施形態)
図1に、本発明の第1の実施形態に係る情報配信システムの全体構成を示す。情報配信システムは、ユーザA〜ユーザCがそれぞれ操作する3つの情報通信端末100a〜100cと、インターネット200と、センター装置300とを備える。各情報通信端末100a〜100cは、インターネット200を介してセンター装置300に接続される。
【0058】
図2に、情報通信端末100aの構成を示す。なお、情報通信端末100a〜100cは、同一の構成であるため、ここでは情報通信端末100aの構成のみ説明し、情報通信端末100b、100cの説明を省略する。図2に示すように、情報通信端末100aは、マイクロホン10と、音声情報送信部11と、情報受信部12と、音声出力部13とを含む。ユーザ(この場合ユーザA)は、情報通信端末100aに向かって話す。マイクロホン10は、このユーザが発した音声を音声データに変換する。音声情報送信部11は、この音声データをインターネット200を通じてセンター装置300に送信する。ただし、実際には、音声データ以外にユーザID等も一緒に送信する。情報受信部12は、インターネットを介してセンター装置300から音声データを受信する。音声出力部13は、受信した音声データを音声出力する。
【0059】
図3に、センター装置300の構成を示す。センター装置300は、音声情報受信部14と、データベース登録部15と、属性抽出部16と、配信情報データベース17と、データベース検索部18と、情報配信部19とを含む。配信情報データベース17は、提供音声情報格納部20を有する。音声情報受信部14は、情報通信端末100a〜100cから送信された音声データを受信する。受信した音声データは、データベース登録部15および属性抽出部16に供給される。属性抽出部16は、音声データの属性を抽出する。ここで「属性」とは、その音声データの内容、つまりユーザが情報通信端末に向かって話した話の内容の分類を示している。例えば、ユーザが話した内容が、釣りに関するものであれば、属性抽出部16は、この音声データの属性として「釣り」を抽出する。図4に、属性抽出部16の具体的な構成を示す。属性抽出部16は、音声認識部21と、意味解析部22と、属性判別部23とを有する。音声認識部21は、音声データを音声認識してテキストデータを出力する。意味解析部22は、このテキストデータの意味を解析し、意味のある言葉をキーワードとして出力する。属性判別部23は、キーワードから属性を判別する。例えば、音声認識部21からテキストデータとして「今日は、釣りに行ってきたよ」という文章が出力された場合、意味解析部22は、このテキストデータから例えば「今日」「釣り」というキーワードを出力し、属性判別部23は、これらのキーワードに基づいて、この音声データの「属性」は「釣り」であると判別する。図3に戻り、属性抽出部16によって抽出された属性は、データベース登録部15およびデータベース検索部18に供給される。データベース登録部15は、受信した音声データを配信情報として、配信情報データベース17内の提供音声情報格納部20に登録する。このとき、図5に示すように、提供音声情報格納部20には、音声データが属性と対応付けて格納される。ここでは、例えば、新たな音声データV06が、「釣り」という属性と対応付けて新たに格納されることになる。提供音声情報格納部20には、このようにして情報通信端末100a〜100cから送信されたユーザA〜ユーザCの音声データが属性とともに格納されている。
【0060】
データベース検索部18は、提供音声情報格納部20に格納されている音声データの中から、属性抽出部16から供給された属性に対応する音声データを検索し、情報配信部19に検索された音声データを供給する。ここでは、例えば、属性抽出部16において抽出された「釣り」という属性に基づいて、「釣り」という属性を有する音声データが検索され、その結果、音声データV01ないし音声データV04が選出されて情報配信部19に供給される。音声データV01と音声データV04のいずれを選択するかは、提供音声情報格納部20に格納されたタイミングが古い方を優先して選択しても良いし、ランダムに選択しても良い。情報配信部19は、データベース検索部18から供給された音声データをインターネット200を通じて情報通信端末100aに対して送信する。このとき、返信先アドレスは、例えば、情報通信端末100aから音声データが送信される際に一緒に通知されたユーザIDに基づいて、このユーザIDと返信先アドレスとの対応付けを記憶しているデータベースを参照することによって知ることができる。情報配信部19によって送信された音声データは、最終的に、前述したように情報通信端末100aの音声出力部13から音声で出力される。
【0061】
図6に示すフローチャートを参照して、センター装置300の動作について説明する。センター装置300では、ステップS10で、音声データを含むデータを受信する。ステップS11で、受信データを解析および展開する。ステップS12で、受信した音声データの属性を抽出する。ステップS13で、抽出した属性に基づいて音声データを配信情報データベース17に登録する。ステップS14で、抽出した属性に基づいて、この属性に対応する音声データを配信情報データベース17から検索する。ステップS15で、検索によって選出された音声データを送信する。
【0062】
第1の実施形態では、以上の動作により、例えば、ユーザAが情報通信端末100aに対して何か話しかけると、すでにセンター装置300に登録されている他のユーザの音声データの中から、そのユーザAが話しかけた話題に関連する1つの音声データ(例えば、以前にユーザBが情報通信端末100bに対して話しかけたことによって登録された音声データ)が選出されて、情報通信端末100aから音声として出力される。さらに、ユーザAが話しかけた内容は、音声データとしてセンター装置300に登録され、他のユーザBやユーザCが、それぞれ情報通信端末100b、100cに対して、このユーザAが話しかけた内容に関連する話題を話しかけたときに、情報通信端末100b、100cに向けて送信され、音声で出力される。
【0063】
より具体的に説明すると、例えば、ユーザAが情報通信端末100aに対して「今日は釣りに行ってきたよ」と話しかけると、すでにセンター装置300に登録されている音声情報の中から、ユーザAが話した話題に関連した音声情報として「今、○○湖でこんな魚が釣れるよ」という音声情報が選択され、ユーザAの情報通信端末100aから音声で出力される。このとき、ユーザAが話した「今日は釣りに行ってきたよ」という音声情報はセンター装置300に登録され、この後、例えばユーザBが情報通信端末100bに向かって「釣り」に関する話をしたときに、このユーザAの音声情報が選出され、ユーザBの情報通信端末100bから「今日は釣りに行ってきたよ」と音声で出力される。
【0064】
このように、第1の実施形態によれば、ユーザが情報通信端末に対して話しかけた内容が、そのまま配信情報としてセンター装置に登録され、他ユーザに配信されるので、センター装置の管理者がわざわざ配信情報を入手して配信情報データベースに登録する手間が省け、情報配信システムの管理コストを低減することができる。また、音声データは、属性抽出部によって自動的に属性と対応付けてデータベースに登録されるため、管理者が手作業で音声データの属性を判断して登録する手間が省ける。また、配信情報は随時新たに登録されるので、ユーザは新鮮な情報を入手することができる。また、ユーザが情報通信端末に対して話しかけた話題に関連した他ユーザからの情報が情報通信端末を通じて他ユーザの音声で出力されるので、より自然の会話に近い形で情報を入手することができ、ユーザにとって全く興味のない情報が出力されてしまうという問題は生じない。また、ユーザが興味を持っている話題を情報通信端末に対して単に話しかけるだけで、その話題に関連した情報が音声出力されるので、キーボードなどによる面倒な操作を行うことなく所望の情報を得ることができる。また、管理者が配信情報毎に配信先を指定してやる手間も省ける。
【0065】
なお、第1の実施形態では、属性抽出部16をセンター装置300に設けるとしたが、これに限らない。例えば、属性抽出部16を、各情報通信端末100a〜100cに設けても構わない。具体的には、図2のマイクロホン10の後段に属性抽出部16を設け、この属性抽出部16によってマイクロホン10から出力された音声データの属性を抽出し、抽出した属性を音声データとともにセンター装置300に送信する。センター装置300では、受信した属性に基づいて音声データをデータベースに登録するとともに、受信した属性に基づいてデータベースを検索する。
【0066】
またさらには、属性抽出部16の構成の一部を情報通信端末100a〜100cに設け、他の部分をセンター装置300に設けるようにしても構わない。図7および図8に、この一変形例としての情報通信端末101aおよびセンター装置301の構成を示す。なお、図7または図8において、図2〜図4に示す構成と同一の構成については同一の参照符号を付す。図7において、情報通信端末101aは、図2に示す情報通信端末100aの構成に加えて、さらに、図4に示した属性抽出部16の構成の一部である音声認識部21および意味解析部22を含む。マイクロホン10から出力された音声データは、これら音声認識部21および意味解析部22を通じてキーワードに変換される。このキーワードは、音声データとともにセンター装置301に送信される。一方、図8において、センター装置301は、図3に示すセンター装置300において、属性抽出部16の代わりに図4に示した属性抽出部16の構成の一部である属性判別部23を含む構成となる。音声情報受信部14は、受信した音声データをデータベース登録部15に供給するとともに、同じく受信したキーワードを属性判別部23に供給する。属性判別部23は、供給されたキーワードから属性を判別する。以降の処理は、図3に示す構成と同一である。
【0067】
このように、属性抽出部16は、情報通信端末側ないしセンター装置側に任意に設けることが可能である。属性抽出部16をセンター装置側に設けることによって、各情報通信端末の構成が簡素化されるという利点がある。一方、本発明を、図23に第1の従来例として示したペット型ロボットのように、本来音声認識機能を備えている装置に適用する場合には、音声認識部21の構成を共用することにより構成を簡素化できるという点で、属性抽出部16の特に音声認識部21の構成を情報通信端末側に設けるのが好ましい。
【0068】
(第2の実施形態)
第1の実施形態では、ユーザが情報通信端末に向かって話しかける度に、センター装置において配信情報データベースを検索して、共通する話題の音声データを情報通信端末に送信するという処理が必要である。したがって、ユーザは、情報通信端末と対話を行っている間、通信回線をずっと接続していなければならない。そこで、第2の実施形態として、第1の実施形態と同様の機能を実現しつつ、かつ通信回線の接続時間を短縮することのできる配信情報システムについて説明する。
【0069】
本発明の第2の実施形態に係る全体システムについては、図1に示す第1の実施形態と同様であるので図示を省略する。ただし、情報通信端末100a〜100cおよびセンター装置300の代わりに、後述する情報通信端末102a〜102cおよびセンター装置302を備える。
【0070】
図9に、情報通信端末102aの構成を示す。なお、情報通信端末102b、102cの構成は、情報通信端末102aの構成と同一であるため説明を省略する。情報通信端末102aは、マイクロホン10と、属性抽出部16と、音声情報一時記憶部24と、音声情報送信部11と、情報受信部12と、データベース登録部25と、受信音声情報格納部26と、データベース検索部27と、音声出力部13とを備える。なお、図9において、図2および図3に示す構成と同一の構成には同一の参照符号を付し、説明を省略する。
【0071】
属性抽出部16は、マイクロホン10から出力される音声データから属性を抽出し、音声情報一時記憶部24およびデータベース検索部27に供給する。音声情報一時記憶部24は、マイクロホン10から出力される音声データおよび属性抽出部16によって抽出された属性を一時的に記憶する。これらの一時的に記憶されているデータは、適宜通信回線が接続されたタイミングで、音声情報送信部11を通じてユーザIDとともにセンター装置302に送信される。これらデータに関するセンター装置302における処理については後述する。情報受信部12は、適宜通信回線が接続されたタイミングで、センター装置302から複数の音声データをまとめて受信する。これら複数の音声データは、ユーザ(ここではユーザA)の嗜好に合った音声データの集まりである。ただし、実際には、各音声データの属性の情報も含まれる。データベース登録部25は、受信した複数の音声データを属性と対応付けて受信音声情報格納部26に格納する。データベース検索部27は、属性抽出部16によって抽出された属性に基づいて、受信音声情報格納部26に格納されている複数の音声データの中から、この属性に関連する音声データを検索し、検索結果に基づいて1つの音声データを音声出力部13に供給する。音声出力部13は、この音声データを音声に変換して出力する。
【0072】
図10に、センター装置302の構成を示す。センター装置302は、音声情報受信部14と、データベース登録部15と、配信情報データベース17と、嗜好属性記憶部28と、データベース検索部18と、情報配信部19とを備える。配信情報データベース17は、提供音声情報格納部20を含む。なお、図10において、図3と同一の構成には同一の参照符号を付し、説明を省略する。
【0073】
音声情報受信部14は、適宜通信回線が接続されたタイミングで、情報通信端末102a〜102cから送信されたデータを受信する。なお、前述のようにこの受信データには、複数の音声データおよびこれら複数の音声データの属性に関する情報が含まれており、データベース登録部15は、これら受信データに基づいて、音声データを属性と対応付けて順次配信情報データベース17に登録する。一方、受信データに含まれる属性の情報は、嗜好属性記憶部28にも供給される。嗜好属性記憶部28は、図11に示すように、属性を、受信データの送信元ユーザ(ここではユーザA)のユーザID(図中のabcとする)と対応付けて、ユーザAの嗜好に合致する分野である「嗜好属性」として記憶する。これは、ユーザAが情報通信端末102aに対して話しかける話題というのは、たいていの場合はユーザの嗜好に合致している話題であるだろうとの考えからである。嗜好属性記憶部28は、あるユーザIDに対して新たな属性が供給される度に、このユーザの嗜好属性にその新たな属性を追加する。例えば、仮に、図11に示す状態において、ユーザAからの音声データの属性として「音楽」という属性が新たに供給されたとき、ユーザID「abc」に対する嗜好属性として「釣り」「ゴルフ」「音楽」の3つの属性が登録されることになる。データベース検索部18は、適宜通信回線が接続されたタイミングで、配信情報データベース17に格納されている音声データの中から、送信先ユーザの嗜好に合った音声データを検索して情報配信部19に供給する。例えば、仮に送信先ユーザがユーザAである場合は、データベース検索部18は、嗜好属性記憶部28においてユーザAのユーザID「abc」に対応付けられている嗜好属性(ここでは「釣り」「ゴルフ」)を参照し、提供音声情報格納部20に格納されている音声データの中から、この嗜好属性「釣り」「ゴルフ」に対応する音声データを検索する。例えば、提供音声情報格納部20に図5に示すようなデータが格納されていた場合には、嗜好属性「釣り」「ゴルフ」に対応する音声データとして、音声データV01および音声データV03〜V05を選出する。選出された複数の音声データは、その属性とともに、情報配信部19を通じてユーザAの情報通信端末102aに送信される。その結果、図9に示す受信音声情報格納部26には、図12に示すような音声データが格納される。なお、通信回線を接続するタイミングとしては、例えば、一定時間おき(例えば10分毎)であっても良いし、配信情報データベース17が更新されたタイミングであっても良いし、その他のタイミングであっても良い。
【0074】
ここで、再び図9を参照して、通信回線を接続していない状態で、ユーザAが情報通信端末102aに話しかけた場合の動作について、特に説明する。情報通信端末102aに対して話しかけたユーザAの音声は、マイクロホン10によって音声データに変換され、属性抽出部16は、この音声データから属性を抽出する。音声データは、通信回線が接続されていないため、センター装置302に送信することができず、音声情報一時記憶部24で一時的に記憶されることになる。こうして、通信回線が接続されるまでの間、音声情報一時記憶部24には音声データが順次貯まる。属性抽出部16によって抽出した属性は、データベース検索部27に供給される。例えば、ユーザAが情報通信端末102aに向かって釣りに関する話をした場合、データベース検索部27には、「釣り」という属性が供給される。データベース検索部27は、受信音声情報格納部26に格納されている音声データの中から、属性抽出部16によって抽出された属性に関する音声データを検索して、適宜1つの音声データを選出して音声出力部13へ供給する。具体的には、図12に示す音声データの中から、属性「釣り」に対応する音声データ(音声データV01、V04)を検索し、検索結果から適宜1つの音声データを選出する。この選出方法は、前述したように、格納のタイミングにより決定してもランダムであってもその他の方法で決定しても構わない。その結果、音声出力部13によって、他ユーザが話した釣りに関する話題が音声で出力される。
【0075】
以下、図13に示すフローチャートを参照して、通信回線が接続されていないときの情報通信端末102aの動作について説明する。情報通信端末102aでは、ステップS20で、ユーザが発する音声を音声データに変換する。ステップS21で、この音声データの属性を抽出する。ステップS22で、音声データおよびその属性を音声情報一時記憶部24に記憶する。ステップS23で、受信音声情報格納部26に格納されている音声データの中からステップS21において抽出した属性に対応する音声データを検索により選出する。ステップS24で、選出された音声データを音声に変換して出力する。
【0076】
次に、図14に示すフローチャートを参照して、音声データ受信時におけるセンター装置302の動作について説明する。ただし、図14において、図6と同一のステップには同一の参照符号を付す。センター装置302では、ステップS10で、情報通信端末からの音声データ(音声データの属性を含む)を受信する。ステップS11で、受信した音声データの解析および展開を行う。ステップS13で、提供音声情報格納部20に、受信した属性および音声データを対応付けて登録する。ステップS30で、受信した属性をユーザの嗜好属性として嗜好属性記憶部28に登録する。
【0077】
次に、図15に示すフローチャートを参照して、音声データ配信時におけるセンター装置302の動作について説明する。ただし、図14において、図6と同一のステップには同一の参照符号を付す。センター装置302では、ステップS40で、嗜好属性記憶部28に記憶されているユーザの嗜好属性に基づいて、提供音声情報格納部20に格納されている音声データの中から、ユーザの嗜好に合致した音声データを検索する。ステップS15で、検索によって選出された音声データを送信する。
【0078】
以上のように、第2の実施形態によれば、特に、通信回線が接続されていない状態であっても、ユーザが情報通信端末102a〜102cに対して何か話しかけると、受信音声情報格納部26に格納されている音声データの中から、ユーザが話しかけた話題に関連する1つの音声データが選出されて、情報通信端末102a〜102cから音声として出力される。よって、通信回線を常時接続する必要がなく、通信コストを抑えることができる。さらに、通信回線が接続されていない状態においてユーザが話しかけた内容は、通信回線が接続されるまでの間、順次、音声データとして音声情報一時記憶部24に一時的に記憶され、通信回線が接続されたときにまとめてセンター装置302に送信される。よって、通信回線が接続されていない状態においてユーザが話しかけた内容も、情報として無駄にすることなく他ユーザに配信することが可能となる。また、センター装置302から情報通信端末102a〜102cにそれぞれまとめて送信する音声データは、ユーザの嗜好に応じてフィルタリングして送信するので、通信のトラフィックを軽減でき、また、情報通信端末102a〜102cの記憶容量を低減でき、また、ユーザにとって不要な情報が何らかの拍子に情報通信端末102a〜102cから出力されてしまうことによる不具合を回避することができる。また、ユーザの嗜好を、ユーザが話しかけた内容に基づいて自動的に抽出することができるため、ユーザの嗜好を管理者が手作業で登録したり、ユーザがキーボード等を使って登録したりといった登録の手間が省ける。
【0079】
(第3の実施形態)
ユーザからの音声を配信情報として利用して配信するシステムでは、前述したように、いかにして各ユーザ毎に必要な配信情報だけを送信し、不要な配信情報が配信されないようにするかが問題であるが、前述の第1の実施形態および第2の実施形態に係る情報配信システムでは、ユーザからの音声データを属性によって分類し、ユーザが必要とする内容の音声データだけを配信することで、この問題を解決している。つまり、情報の内容に基づいて、ユーザに配信するかしないかを決定し、不要な情報がユーザに配信されないようにしている。一方、以下に説明する第3の実施形態では、音声情報の提供者が誰であるかを情報通信端末側で判断することにより情報端末装置から出力する音声に対して制限を加える。
【0080】
本発明の第3の実施形態に係る全体システムは、図1に示す第1の実施形態と同様であるので図示を省略する。ただし、センター装置300の代わりに図10に示すセンター装置302を備え、情報通信端末100a〜100cの代わりに、後述する情報通信端末103a〜103cを備えるものとする。
【0081】
以下、情報通信端末103aについて説明する。なお、情報通信端末103a〜103cの構成は同一であるため、情報通信端末103b、103cの説明は省略する。また、センター装置302については、第2の実施形態ですでに説明しているので、ここでは説明を省略する。
【0082】
図16に、情報通信端末103aの構成を示す。情報通信端末103aは、マイクロホン10と、属性抽出部16と、音声情報一時記憶部24と、音声情報送信部11と、情報受信部12と、話者照合部29と、話者情報検索部30と、話者情報格納部31と、データベース登録部25と、受信音声情報格納部32と、データベース検索部27と、音声出力部13とを備える。なお、図16において、図9と同一の構成には同一の参照符号を付し、説明を省略する。
【0083】
情報受信部12は、センター装置302から配信情報として送信された音声データ(実際には属性も含む)を受信する。受信した音声データは、話者照合部29およびデータベース登録部25に供給される。話者照合部29は、話者照合によって、受信した音声データの話者が予め登録されている話者の中の誰であるかを照合し、照合結果に基づいて、受信した音声データの話者の話者IDを出力する。話者IDとは、情報通信端末103aにおいて話者を識別するために利用される識別子であって、センター装置302においてユーザを識別するために利用されるユーザIDとは区別される。話者IDは、情報通信端末103aにおいて独自に設定可能である。話者情報検索部30は、話者照合部29から出力された話者IDに基づいて話者情報格納部31を参照し、この話者IDに対応する優先度情報を取得する。図17に、話者情報格納部に格納されるデータの一例を示す。優先度情報とは、音声データが出力される際の優先度を表しており、ここでは一例として、優先度を0〜4までの5段階で規定しており、例えば、優先度情報が「0」に設定されている場合は、この話者の音声データは絶対に出力されない。優先度情報が「4」の場合は、この話者の音声データは必ず一番に出力される。優先度情報が「1」および「3」の場合は、優先度情報が「2」の場合に比べて、それぞれ0.5倍および2倍の確率で出力される。この話者情報格納部31は、予めユーザが設定可能であり、例えば、家族らの話者IDに対しては優先度情報を「4」に設定して必ず一番に出力されるようにしておき、嫌いな人の話者IDに対しては優先度情報を「0」に設定して出力されないようにすることが考えられる。
【0084】
話者情報検索部30は、取得した優先度情報をデータベース登録部25に通知する。データベース登録部25は、情報受信部12から供給された音声データを、属性情報および優先度情報と対応づけて受信音声情報格納部32に登録する。このとき、優先度情報が「0」のものについては必ずしも音声データを格納する必要はないが、以下では、優先度情報が「0」のものについても登録するものとして説明する。図18に、受信音声情報格納部32に格納されるデータの一例を示す。こうして、受信音声情報格納部32には、センター装置302から配信された複数の音声データが優先度情報と対応づけて格納されることになる。
【0085】
この状態で、ユーザAが情報通信端末103aに対して、例えば釣りに関する話をした場合、この音声からは、マイクロホン10および属性抽出部16を通じて「釣り」という属性が抽出され、データベース検索部27に通知される。データベース検索部27は、これを受けて、受信音声情報格納部32に格納されている複数の音声データの中から「釣り」に関する音声データを検索する。このとき、受信音声情報格納部32に図18に示す音声データが格納されていると仮定すると、「釣り」に関する音声データは、音声データV01およびV04である。しかしながら、音声データV04については優先度情報が「0」、つまり出力しない情報として設定されているので、データベース検索部27は、音声データV01を音声出力部13に供給し、音声出力部13は、この音声データV01を音声に変換して出力する。なお、データベース検索部27における検索処理において、例えば優先度情報が「1」と「3」の2つの音声データが候補として検索された場合には、優先度情報から計算される確率に基づいていずれか一方の音声データが選出される。この場合、優先度情報が「3」の音声データは、優先度情報が「1」の音声データに対して、選出される確率が4倍となる。
【0086】
次に、図19に示すフローチャートを参照して、センター装置302から受信した音声データを受信音声情報格納部32に登録するまでの動作を説明する。情報通信端末103aでは、ステップS50で、センター装置302からの音声データを受信する。ステップS51で、受信した音声データに基づいて話者照合処理を行い、この音声データに対応する話者IDを求める。ステップS52で、話者情報格納部31に予め格納されている話者情報を参照して、話者照合により求めた話者IDに対して設定されている優先度情報を取得する。ステップS53で、受信した音声データを優先度情報および属性と対応づけて受信音声情報格納部32に格納する。
【0087】
以上のように、第3の実施形態によれば、音声データの出力優先度を、その話者に応じてユーザ側で任意に設定することが可能となる。よって、例えば家族からの音声情報を優先して出力し、誹謗中傷等の多い礼儀のない者からの音声情報を出力しないようにするといったことが可能である。また、極端な例としては、知人以外からの音声情報を出力しないようにするといった利用方法も考えられる。
【0088】
なお、本実施形態や前述の第1および第2の実施形態のようなシステムでは、配信情報として利用する音声情報は、前述した情報通信端末のマイクロホン10からユーザによって入力されたものだけでなく、それ以外の例えば一般電話などを通じてユーザIDを有しない不特定の者によって入力されたものを利用することもできる。そうすると、音声情報の情報源が増加するという利点が生じる。第3の実施形態では、このようなユーザIDを有しない者からの音声データであっても、予め登録されている場合には音声データ自体から話者を特定することができるため、音声データの出力を制限することができる。
【0089】
(第4の実施形態)
上記の第3の実施形態では、話者情報格納部31に予め格納されている話者情報に基づいて音声データの出力に対して制限を加えるとしたが、第4の実施形態に係るシステムでは、情報端末装置から実際に出力された音声に対するユーザの応答内容に基づいて話者情報を適宜自動的に登録または更新することが可能である。以下、この第4の実施形態に係る情報配信システムについて説明する。なお、第4の実施形態が第3の実施形態と異なる点は、情報通信端末103a〜103cの代わりに後述する情報通信端末104a〜104cを備える点のみであるので、その他の同一の構成については説明を省略する。
【0090】
図20に、情報通信端末104aの構成を示す。なお、情報通信端末104a〜104cの構成は同一であるため、情報通信端末104b、104cの説明は省略する。情報通信端末104aは、マイクロホン10と、音声認識部21と、意味解析部22と、属性判別部23と、音声情報一時記憶部24と、音声情報送信部11と、情報受信部12と、話者照合部29と、話者情報検索部30と、話者情報格納部31と、データベース登録部25と、受信音声情報格納部33と、データベース検索部27と、音声出力部13と、好感度判定部34と、話者情報登録部35とを備える。なお、図20において、図16と同一の構成については同一の参照符号を付し、説明を省略する。
【0091】
センター装置302から送信された音声データの優先度情報は、話者照合部29および話者情報検索部30を通じて、話者情報格納部31より取得される。話者情報検索部30は、この優先度情報を話者IDとともにデータベース登録部25に通知する。データベース登録部25は、受信した音声データを、その属性、優先度情報および話者IDと対応づけて受信音声情報格納部33に登録する。図21に、受信音声情報格納部33に格納されるデータの一例を示す。
【0092】
この状態で、ユーザAが情報通信端末103aに対して、例えば釣りに関する話をした場合、この音声が、マイクロホン10によって音声データに変換された後、音声認識部21、意味解析部22および属性判別部23(これらの構成は図16の属性抽出部16に相当する)を通じて「釣り」という属性が抽出され、データベース検索部27に通知される。データベース検索部27は、この属性を受けて、受信音声情報格納部33に格納されている複数の音声データの中から「釣り」に関する音声データを検索する。このとき、受信音声情報格納部33に図21に示す音声データが格納されていると仮定すると、「釣り」に関する音声データは、音声データV01およびV04である。しかしながら、音声データV04については優先度情報が「0」、つまり出力しない情報として設定されているので、データベース検索部27は、音声データV01を音声出力部13に供給し、音声出力部13は、この音声データV01を音声に変換して出力する。このとき、データベース検索部27は、選出した音声データ(ここでは音声データV01)の話者IDを話者情報登録部35に通知する。
【0093】
ユーザAは、上記のようにして音声出力部13から出力された音声を聞き、例えば「この人、あまり好きじゃないな」といった内容を話したとする。すると、このユーザAの音声は、マイクロホン10によって音声データに変換され、音声認識部21によってテキストデータに変換され、意味解析部22によってキーワードが抽出され、このキーワードが好感度判定部34に供給される。好感度判定部34は、キーワードに基づいて、ユーザAが、音声出力部13から直前に出力した音声の話者に対してどのような印象を抱いているかを判定する。ここでは、ユーザAは、出力された音声の話者に対してあまりよい印象を抱いていないと判定され、この判定結果は話者情報登録部35に通知される。話者情報登録部35は、データベース検索部27から通知された話者IDと、好感度判定部34から通知された判定結果に基づいて、話者情報格納部31に話者情報を登録する。ここでは、話者IDが「P001」である話者に対してあまり良い印象を抱いていないということが分かるので、話者情報格納部31に例えば図17に示すような話者情報がすでに登録されている場合には、話者IDに対する優先度情報を「2」から「1」に変更する。こうして、ユーザが手作業でわざわざ設定することなく、話者情報が自動的に最適に設定される。
【0094】
次に、話者情報格納部31にまだ登録されていない話者からの音声データが配信されてきた時の動作について説明する。話者照合部29は、情報受信部12によって受信された音声データに基づいて話者照合処理を行った結果、この音声データの話者が未登録であると判断すると、この音声データを話者照合用に登録するとともに、この音声データの話者に対して適当な話者IDを割り当てて、話者情報検索部30に通知する。話者情報検索部30は、話者照合部29から通知された話者IDに対応する話者情報を検索するが、この話者IDに対応する話者情報は、まだ話者情報格納部31に登録されていないため、とりあえず、優先度情報が「2」であるとして、この優先度情報および話者IDをデータベース登録部25に通知する。データベース登録部25は、音声データを、属性、優先度情報および話者IDと対応づけて受信音声情報格納部33に登録する。この状態で、ユーザAが何かを話した結果、この未登録の話者の音声データが音声出力部13によって音声に変換されて出力されたとする。この未登録の話者からの音声情報を聞いたユーザAが、それに対して何らかの発言をすると、その音声は、マイクロホン10によって音声データに変換され、さらに音声認識部21、意味解析部22および好感度判定部34を通じて、このユーザAの発言内容に基づいて、この未登録の話者に対してユーザAが抱いている印象が判定される。話者情報登録部35は、データベース検索部27からの話者IDと、好感度判定部34からの判定結果に基づいて、この話者IDに対する話者情報を話者情報格納部31に新規に登録する。これにより、次回以降、この話者IDに対応する話者の音声データが配信された場合には、この話者情報に基づいて優先度が決定されることになる。
【0095】
次に、図22に示すフローチャートを参照して、情報通信端末104aにおいて、音声を出力してから話者情報を登録するまでの動作について説明する。なお、図22において、図13と同一の処理ステップには同一のステップ番号を付し、その詳しい説明を省略する。ステップS60で、受信音声情報格納部33に格納されている音声データの中から属性判別部23において判別した属性に対応する音声データを検索する。ステップS24で、検索された音声データを音声出力する。ステップS20で、出力された音声に対してユーザが発した音声を入力して音声データに変換する。ステップS61で、音声認識処理によって音声データをテキストデータに変換し、ステップS62で、テキストデータから意味のあるキーワードを抽出する。ステップS63で、抽出されたキーワードに基づいてユーザの話者に対する好感度を判定する。ステップS64で、好感度の判定結果に基づいて話者情報を新規に登録、または更新する。
【0096】
以上のように、第4の実施形態によれば、ユーザが予め話者情報を登録することなく自動的に話者情報が登録され、優先度が最適に設定される。よって、不特定多数の話者からの音声データが配信されてくる情報配信システムにおいては特に有効である。
【0097】
なお、第3の実施形態および第4の実施形態では、第2の実施形態のシステムを基礎として話者照合による音声データの出力制限を行っているが、これに限らず、ユーザからの音声データを配信するシステム全般に適用することができる。例えば、一例として、ユーザから情報通信端末や電話を通じて提供された音声データを、その内容に関わらず、各情報通信端末に全て配信し、情報通信端末で、これら配信された複数の音声データの中から1つの音声データが任意のタイミングで選出されて出力されるようなシステムに適用することもできる。
【図面の簡単な説明】
【図1】図1は、本発明の第1の実施形態に係る情報配信システムの全体構成を示すブロック図である。
【図2】図2は、情報通信端末の構成を示すブロック図である。
【図3】図3は、センター装置の構成を示すブロック図である。
【図4】図4は、属性抽出部の構成を示すブロック図である。
【図5】図5は、提供音声情報格納部に格納されるデータの一例を示す図である。
【図6】図6は、センター装置の動作を示すフローチャートである。
【図7】図7は、第1の実施形態の一変形例における情報通信端末の構成を示すブロック図である。
【図8】図8は、第1の実施形態の一変形例におけるセンター装置の構成を示すブロック図である。
【図9】図9は、本発明の第2の実施形態に係る情報配信装置における情報通信端末の構成を示すブロック図である。
【図10】図10は、第2の実施形態におけるセンター装置の構成を示すブロック図である。
【図11】図11は、嗜好属性記憶部に記憶されるデータの一例を示す図である。
【図12】図12は、受信音声情報格納部に格納されるデータの一例を示す図である。
【図13】図13は、通信回線が接続されていないときの情報通信端末の動作を示すフローチャートである。
【図14】図14は、音声データ受信時のセンター装置の動作を示すフローチャートである。
【図15】図15は、音声データ配信時のセンター装置の動作を示すフローチャートである。
【図16】図16は、本発明の第3の実施形態に係る情報配信装置における情報通信端末の構成を示すブロック図である。
【図17】図17は、話者情報格納部に格納されるデータの一例を示す図である。
【図18】図18は、受信音声情報格納部に格納されるデータの一例を示す図である。
【図19】図19は、情報通信端末においてセンター装置から受信した音声データを登録するまでの動作を示すフローチャートである。
【図20】図20は、本発明の第4の実施形態に係る情報配信装置における情報通信端末の構成を示すブロック図である。
【図21】図21は、音声情報格納部に格納されるデータの一例を示す図である。
【図22】図22は、情報通信端末において音声を出力してから話者情報を登録するまでの動作を示すフローチャートである。
【図23】図23は、第1の従来例に係るペット型ロボットの構成を示すブロック図である。
【図24】図24は、第2の従来例に係る情報配信システムの全体構成を示すブロック図である。
【図25】図25は、第2の従来例におけるセンター装置の構成を示すブロック図である。
【図26】図26は、第2の従来例における情報通信端末の構成を示すブロック図である。
【符号の説明】
10 マイクロホン
11 音声情報送信部
12 情報受信部
13 音声出力部
14 音声情報受信部
15 データベース登録部
16 属性抽出部
17 配信情報データベース
18 データベース検索部
19 情報配信部
20 提供音声情報格納部
21 音声認識部
22 意味解析部
23 属性判別部
24 音声情報一時記憶部
25 データベース登録部
26 受信音声情報格納部
27 データベース検索部
28 嗜好属性記憶部
29 話者照合部
30 話者情報検索部
31 話者情報格納部
32 受信音声情報格納部
33 受信音声情報格納部
34 好感度判定部
35 話者情報登録部
100a〜100c 情報通信端末
101a、102a、103a、104a 情報通信端末
200 インターネット
300、301、302 センター装置
Claims (16)
- センター装置から複数の情報通信端末に対して通信回線を通じて種々の配信情報を配信する情報配信システムであって、
ユーザが前記情報通信端末と会話した音声を音声データに変換する音声入力手段と、
前記音声入力手段によって変換された音声データから当該音声データの属性を抽出する属性抽出手段と、
前記音声入力手段によって変換された音声データを前記属性抽出手段によって抽出された属性と対応付けて格納する格納手段と、
前記格納手段にすでに格納されている、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データの中から、所望の属性の音声データを検索する検索手段と、
前記検索手段によって検索された音声データを、所定の情報通信端末に配信する情報配信手段と、
前記情報配信手段によって配信された音声データを音声に変換して出力する音声出力手段とを備え、
前記音声入力手段および前記音声出力手段は、前記複数の情報通信端末のそれぞれに設けられ、前記格納手段、前記検索手段および前記情報配信手段は、前記センター装置に設けられることを特徴とする情報配信システム。 - 前記属性抽出手段は、音声データをテキストデータに変換する音声認識手段と、前記テキストデータから意味のあるキーワードを抽出する意味解析手段と、前記キーワードに基づいて前記音声データの属性を判別する属性判別手段とを含み、
前記格納手段は、前記音声認識手段でテキストデータに変換された音声データを前記属性抽出手段によって抽出された属性と対応付けて格納することを特徴とする、請求項1記載の情報配信システム。 - 前記検索手段は、前記格納手段にすでに格納されている複数の音声データの中から前記音声入力手段によって変換された音声データの属性に対応する属性の音声データを検索し、
前記情報配信手段は、前記音声入力手段によって変換された音声データの送信元の情報通信端末に対して前記検索手段によって検索された音声データを配信することを特徴とする、請求項1記載の情報配信システム。 - 前記センター装置は、前記属性抽出手段によって抽出された属性を、ユーザの嗜好属性としてユーザに対応づけて記憶しておく嗜好属性記憶手段をさらに備え、
前記検索手段は、前記嗜好属性記憶手段によって記憶されているユーザの嗜好属性を参照して、前記格納手段によってすでに格納されている複数の音声データの中から情報配信先のユーザの嗜好属性に対応する属性の音声データを検索することを特徴とする、請求項1記載の情報配信システム。 - 前記属性抽出手段が少なくとも前記複数の情報通信端末のそれぞれに設けられており、
前記情報配信手段は、前記検索手段によって検索された音声データを当該音声データの属性とともに配信し、
前記情報通信端末は、それぞれ
前記情報配信手段によって配信された音声データを属性と対応づけて格納する受信音声情報格納手段と、
前記受信音声情報格納手段によって格納されている複数の音声データの中から、前記属性抽出手段によって抽出された属性に対応する属性の音声データを検索する端末側検索手段とをさらに備え、
前記音声出力手段は、前記端末側検索手段によって検索された音声データを音声に変換して出力することを特徴とする、請求項4記載の情報配信システム。 - 前記情報通信端末は、それぞれ、前記通信回線が接続されていない間に前記音声入力手段によって変換された音声データを、前記通信回線が接続されるまで一時的に記憶しておく音声情報一時記憶手段をさらに備える、請求項5記載の情報配信システム。
- センター装置から通信回線を通じて配信される種々の配信情報を受信する情報通信端末であって、
ユーザが当該情報通信端末と会話した音声を音声データに変換する音声入力手段と、
前記音声入力手段によって変換された音声データから当該音声データの属性を抽出する属性抽出手段と、
前記音声入力手段によって変換された音声データを前記属性抽出手段によって抽出された当該音声データの属性とともに前記センター装置に送信する音声情報送信手段と、
前記センター装置から配信された音声データを音声に変換して出力する音声出力手段とを備える情報通信端末。 - 前記属性抽出手段は、音声データをテキストデータに変換する音声認識手段と、前記テキストデータから意味のあるキーワードを抽出する意味解析手段と、前記キーワードに基づいて前記音声データの属性を判別する属性判別手段とを含む、請求項7記載の情報通信端末。
- 前記センター装置からは、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データが当該音声データの属性とともに配信され、
前記センター装置から配信された音声データを属性と対応づけて格納する受信音声情報格納手段と、
前記受信音声情報格納手段によって格納されている複数の音声データの中から、前記属性抽出手段によって抽出された属性に対応する属性の音声データを検索する端末側検索手段とをさらに備え、
前記音声出力手段は、前記端末側検索手段によって検索された音声データを音声に変換して出力することを特徴とする、請求項7記載の情報通信端末。 - 前記通信回線が接続されていない間に前記音声入力手段によって変換された音声データを、前記通信回線が接続されるまで一時的に記憶しておく音声情報一時記憶手段をさらに備える、請求項9記載の情報通信端末。
- 複数の情報通信端末に対して通信回線を通じて種々の配信情報を配信するセンター装置であって、
前記情報通信端末から、当該情報通信端末のユーザが当該情報通信端末と会話した音声に対応する音声データを受信する音声情報受信手段と、
前記受信された音声データを当該音声データの属性と対応付けて格納する格納手段と、
前記格納手段によってすでに格納されている、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データの中から、所望の属性の音声データを検索する検索手段と、
前記検索手段によって検索された音声データを、所定の情報通信端末に配信する情報配信手段とを備えるセンター装置。 - 前記音声情報受信手段によって受信された音声データから当該音声データの属性を抽出する属性抽出手段をさらに備え、
前記格納手段は、前記受信された音声データを前記属性抽出手段によって抽出された属性と対応付けて格納することを特徴とする、請求項11記載のセンター装置。 - 前記属性抽出手段は、音声データをテキストデータに変換する音声認識手段と、前記テキストデータから意味のあるキーワードを抽出する意味解析手段と、前記キーワードに基づいて前記音声データの属性を判別する属性判別手段とを含み、
前記格納手段は、前記音声認識手段でテキストデータに変換された音声データを前記属性抽出手段によって抽出された属性と対応付けて格納することを特徴とする、請求項11記載のセンター装置。 - 前記検索手段は、前記格納手段によってすでに格納されている複数の音声データの中から前記音声情報受信手段によって受信された音声データの属性に対応する属性の音声データを検索し、
前記情報配信手段は、前記音声情報受信手段によって受信された音声データの送信元の情報通信端末に対して前記検索手段によって検索された音声データを配信することを特徴とする、請求項11記載のセンター装置。 - 前記音声情報受信手段によって受信された音声データの属性を、ユーザの嗜好属性としてユーザに対応づけて記憶しておく嗜好属性記憶手段をさらに備え、
前記検索手段は、前記嗜好属性記憶手段によって記憶されているユーザの嗜好属性を参照して、前記格納手段によってすでに格納されている複数の音声データの中から情報配信先のユーザの嗜好属性に対応する属性の音声データを検索することを特徴とする、請求項11記載のセンター装置。 - センター装置から複数の情報通信端末に対して通信回線を通じて種々の配信情報を配信する情報配信方法であって、
ユーザが前記情報通信端末と会話した音声を音声データに変換する音声入力ステップと、
前記音声入力ステップによって変換された音声データから当該音声データの属性を抽出する属性抽出ステップと、
前記音声入力ステップによって変換された音声データを前記属性抽出ステップによって抽出された属性と対応付けて格納する格納ステップと、
前記格納ステップによってすでに格納されている、複数のユーザが各々の所有する情報通信端末と会話した音声にそれぞれ対応する複数の音声データの中から、所望の属性の音声データを検索する検索ステップと、
前記検索ステップによって検索された音声データを、所定の情報通信端末に配信する情報配信ステップと、
前記情報配信ステップによって配信された音声データを音声に変換して出力する音声出力ステップとを備え、
前記音声入力ステップおよび前記音声出力ステップは、前記複数の情報通信端末のそれぞれにおいて実行され、前記格納ステップ、前記検索ステップおよび前記情報配信ステップは、前記センター装置において実行されることを特徴とする情報配信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001342197A JP3705587B2 (ja) | 2001-11-07 | 2001-11-07 | 情報配信システムおよび情報配信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001342197A JP3705587B2 (ja) | 2001-11-07 | 2001-11-07 | 情報配信システムおよび情報配信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003140688A JP2003140688A (ja) | 2003-05-16 |
JP3705587B2 true JP3705587B2 (ja) | 2005-10-12 |
Family
ID=19156092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001342197A Expired - Fee Related JP3705587B2 (ja) | 2001-11-07 | 2001-11-07 | 情報配信システムおよび情報配信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3705587B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4307177B2 (ja) * | 2003-08-08 | 2009-08-05 | 学校法人同志社 | 在宅者支援システム |
JP4468716B2 (ja) * | 2004-03-03 | 2010-05-26 | 株式会社デンソーアイティーラボラトリ | 音声データ出力制御装置 |
JP2005321730A (ja) | 2004-05-11 | 2005-11-17 | Fujitsu Ltd | 対話システム、対話システム実行方法、及びコンピュータプログラム |
JP4599522B2 (ja) * | 2006-02-21 | 2010-12-15 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
US9123345B2 (en) * | 2013-03-14 | 2015-09-01 | Honda Motor Co., Ltd. | Voice interface systems and methods |
JP6859283B2 (ja) * | 2017-11-30 | 2021-04-14 | 日本電信電話株式会社 | 好感度推定装置、好感度推定方法、プログラム |
CN108925456A (zh) * | 2018-05-31 | 2018-12-04 | 广州粤创富科技有限公司 | 一种与宠物互动的方法、装置及可穿戴设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188787A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 会話処理装置および方法、並びに記録媒体 |
JP2001290493A (ja) * | 2000-04-06 | 2001-10-19 | Asahi Kasei Corp | 自動対話方法 |
-
2001
- 2001-11-07 JP JP2001342197A patent/JP3705587B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003140688A (ja) | 2003-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10121475B2 (en) | Computer-implemented system and method for performing distributed speech recognition | |
US7844454B2 (en) | Apparatus and method for providing voice recognition for multiple speakers | |
US9761241B2 (en) | System and method for providing network coordinated conversational services | |
US9214154B2 (en) | Personalized text-to-speech services | |
US7130404B2 (en) | Apparatus and method for providing advanced communication conferencing operations | |
US6895257B2 (en) | Personalized agent for portable devices and cellular phone | |
CA2345660C (en) | System and method for providing network coordinated conversational services | |
US6327343B1 (en) | System and methods for automatic call and data transfer processing | |
US6507643B1 (en) | Speech recognition system and method for converting voice mail messages to electronic mail messages | |
US20140016760A1 (en) | System and method for multi-modal personal communication services | |
US8259910B2 (en) | Method and system for transcribing audio messages | |
EP1798945A1 (en) | System and methods for enabling applications of who-is-speaking (WIS) signals | |
US20040021765A1 (en) | Speech recognition system for managing telemeetings | |
US20150339390A1 (en) | System and method to perform textual queries on voice communications | |
US20010053977A1 (en) | System and method for responding to email and self help requests | |
US20090234643A1 (en) | Transcription system and method | |
US6760704B1 (en) | System for generating speech and non-speech audio messages | |
JP3705587B2 (ja) | 情報配信システムおよび情報配信方法 | |
JP2017191531A (ja) | コミュニケーションシステム、サーバ及びコミュニケーション方法 | |
JP7055327B2 (ja) | 会話収集装置、会話収集システム及び会話収集方法 | |
KR20010014991A (ko) | 음성 메시지 분류 방법 | |
CN112435669B (zh) | 一种机器人多轮对话语音交互方法、系统和终端设备 | |
US6640210B1 (en) | Customer service operation using wav files | |
JP4116367B2 (ja) | 会話制御システム、会話制御方法、プログラム | |
CN108234783A (zh) | 一种ivr语音播放的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050725 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080805 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130805 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |