JP5160653B2 - 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体 - Google Patents
情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP5160653B2 JP5160653B2 JP2010543746A JP2010543746A JP5160653B2 JP 5160653 B2 JP5160653 B2 JP 5160653B2 JP 2010543746 A JP2010543746 A JP 2010543746A JP 2010543746 A JP2010543746 A JP 2010543746A JP 5160653 B2 JP5160653 B2 JP 5160653B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- information providing
- communication terminal
- user
- phrase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 title claims description 73
- 238000000034 method Methods 0.000 title claims description 35
- 238000000605 extraction Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 235000012054 meals Nutrition 0.000 description 6
- 235000009419 Fagopyrum esculentum Nutrition 0.000 description 5
- 240000008620 Fagopyrum esculentum Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 235000015220 hamburgers Nutrition 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000219051 Fagopyrum Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Computational Linguistics (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
[0001]
この発明は、通信端末で出力する情報を提供する情報提供装置、情報提供システム、情報提供方法、情報提供プログラムおよび記録媒体に関する。また、この発明は、情報提供装置から提供された情報を出力する通信端末、情報出力方法、情報出力プログラムおよび記録媒体に関する。ただし、本発明の利用は上述した情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体に限られない。
背景技術
[0002]
従来、車両などの移動体に搭載されるナビゲーション装置において、ワイヤレスネットワークを用いて広域ネットワーク(たとえばインターネットなど)上の情報を収集する技術が知られている。このようなナビゲーション装置では、たとえば、ナビゲーション用の地図上に表示された施設が選択されると、無線通信部を制御してネットワークにアクセスし、サーバ装置から施設に関連する情報を取得し、取得した情報をディスプレイに表示させる(たとえば、下記特許文献1参照。)。
[0003]
特許文献1:特開2006−106442号公報
発明の開示
発明が解決しようとする課題
[0004]
しかしながら、上記の従来技術では、たとえば、走行中などにおいて急に情報が必要になった場合に情報を入手することができないという問題点が一例として挙げられる。特に、情報を要求する際の入力や操作に対する反応が遅い場合には、必要なタイミングで情報を得ることができない可能性が高い。また、入手した情報の内容がユーザに必要とされているものであるとは限らず、情報を活用し得ない場合があるという問題点が一例として挙げられる。
[0005]
さらに、上記の従来技術のようなナビゲーション装置は車両など移動体で使用されるため、移動中にワイヤレスネットワークへの接続が途切れる可能性がある。このため、情報の取得を常時おこなうことが困難であるという問題点が一例として挙げられる。また、運転中は安全確認をおこなう必要があるため、情報をディスプレイに表示させても、視認することが困難な場合があるという問題点が一例として挙げられる。
課題を解決するための手段
[0006]
上述した課題を解決し、目的を達成するため、この発明にかかる情報提供システムは、情報提供装置から提供された情報を通信端末で出力する情報提供システムであって、前記情報提供装置は、前記通信端末の位置情報と、前記通信端末のユーザの無作為な発話に含まれる複数の検索語句に関する情報を順次受信する受信手段と、前記受信手段によって受信された前記位置情報と前記無作為な発話に含まれる複数の検索語句に関する情報と、に基づいて、当該検索語句を受信した都度、前記通信端末の位置周辺に関する情報を広域ネットワーク内から検索する検索手段と、前記検索手段によって検索された、前記受信された検索語句に関する情報毎の前記位置周辺に関する情報を音声データに変換する変換手段と、前記変換手段によって変換された音声データを順次前記通信端末に送信する送信手段と、を備え、前記通信端末は、前記ユーザの無作為な発話に含まれる検索語句を複数抽出する抽出手段と、自端末の位置情報と、前記抽出手段によって抽出された複数の前記検索語句に関する情報を当該抽出の都度、前記情報提供装置に送信する送信手段と、前記情報提供装置から、前記検索語句に関する情報に基づき検索された自端末の位置周辺に関する情報を示す音声データを順次受信する受信手段と、前記受信手段によって順次受信された音声データを記憶する記憶手段と、前記ユーザの無作為な発話に含まれる、前記記憶手段に記憶された音声データのいずれかを出力するための確定語句を検出する検出手段と、前記検出手段によって前記確定語句が検出された場合に、当該確定語句が発話されたタイミングに基づいて特定される前記記憶手段に記憶された自端末の位置周辺に関する情報を示す音声データを出力する出力手段と、を備えたことを特徴とする。
[0007]
また、この発明にかかる通信端末は、上記の情報出力システムに用いられる通信端末であって、ユーザの無作為な発話に含まれる検索語句を複数抽出する抽出手段と、自端末の位置情報と、前記抽出手段によって抽出された複数の前記検索語句に関する情報を当該抽出の都度、情報提供装置に送信する送信手段と、前記情報提供装置から、前記検索語句に関する情報に基づき検索された自端末の位置周辺に関する情報を示す音声データを順次受信する受信手段と、前記受信手段によって順次受信された音声データを記憶する記憶手段と、前記ユーザの無作為な発話に含まれる、前記記憶手段に記憶された音声データのいずれかを出力するための確定語句を検出する検出手段と、前記検出手段によって前記確定語句が検出された場合に、当該確定語句が発話されたタイミングに基づいて特定される前記記憶手段に記憶された自端末の位置周辺に関する情報を示す音声データを出力する出力手段と、を備えたことを特徴とする。
[0008]
また、この発明にかかる情報出力方法は、情報提供装置から提供された情報を出力する通信端末における情報出力方法であって、ユーザの無作為な発話に含まれる検索語句を複数抽出する抽出工程と、前記通信端末の位置情報と、前記抽出工程で抽出された複数の前記検索語句に関する情報を当該抽出の都度、前記情報提供装置に送信する送信工程と、前記情報提供装置から、前記検索語句に関する情報に基づき検索された前記通信端末の位置周辺に関する情報を示す音声データを順次受信する受信工程と、前記受信工程で順次受信された音声データを記憶手段に記憶する記憶工程と、前記ユーザの無作為な発話に含まれる、前記記憶工程で記憶された音声データのいずれかを出力するための確定語句を検出する検出工程と、前記検出工程で前記確定語句が検出された場合に、当該確定語句が発話されたタイミングに基づいて特定される前記記憶手段に記憶された前記通信端末の位置周辺に関する情報を示す音声データを出力する出力工程と、を含んだことを特徴とする。
[0009]
また、この発明にかかる情報出力プログラムは、上記の情報出力方法をコンピュータに実行させることを特徴とする。
[0010]
また、この発明にかかる記録媒体は、上記の情報出力プログラムをコンピュータに読み取り可能な状態で記録したことを特徴とする。
[0011]
[0012]
[0013]
図面の簡単な説明
[0014]
[図1]図1は、実施の形態にかかる情報提供システムの機能的構成を示すブロック図である。
[図2]図2は、情報提供装置による情報提供処理の手順を示すフローチャートである。
[図3]図3は、通信端末による情報出力処理の手順を示すフローチャートである。
【図4】図4は、実施例にかかる情報提供システムのシステム構成について説明する説明図である。
【図5】図5は、ポータブル端末装置のハードウェア構成を示すブロック図である。
【図6】図6は、情報提供システムにおけるポータブル端末装置の処理の手順を示すフローチャートである。
【図7】図7は、特徴語句データベースの一例を示す説明図である。
【図8】図8は、図6の処理を説明するための説明図である。
【図9】図9は、情報提供システムにおける情報提供サーバの処理の手順を示すフローチャートである。
【図10】図10は、情報提供システムにおけるポータブル端末装置の他の処理の手順を示すフローチャートである。
【符号の説明】
【0015】
100 情報提供システム
110 情報提供装置
111 受信部
112 検索部
113 変換部
114 送信部
120 通信端末
121 抽出部
122 送信部
123 受信部
124 出力部
130 広域ネットワーク
【発明を実施するための最良の形態】
【0016】
以下に添付図面を参照して、この発明に係る情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体の好適な実施の形態を詳細に説明する。
【0017】
(実施の形態)
図1は、実施の形態にかかる情報提供システムの機能的構成を示すブロック図である。実施の形態にかかる情報提供システム100は、情報提供装置110と通信端末120によって構成され、情報提供装置110によって提供された情報を通信端末120で出力する。
【0018】
情報提供装置110は、受信部111、検索部112、変換部113、送信部114によって構成される。受信部111は、通信端末120の位置情報と、通信端末120のユーザの発話に含まれる語句に関する情報を受信する。通信端末120の位置情報とは、たとえば通信端末120の現在位置の緯度経度または住所の情報である。通信端末120が移動している場合には、その移動方向や移動速度の情報などを受信してもよい。また、ユーザの発話に含まれる語句に関する情報とは、たとえば、所定の事柄に関する語句がユーザの発話に含まれている旨の情報である。ここで、所定の事柄としては、たとえば「食事」が挙げられ、これに関する語句としては「蕎麦」「お腹がすいた」などが挙げられる。
【0019】
検索部112は、受信部111によって受信された位置情報と語句に関する情報とに基づいて、通信端末120の位置周辺に関する情報を広域ネットワーク130内から検索する。検索部112は、たとえば、語句に関する情報として、食事に関する語句が発話に含まれている旨の情報を受信した場合には、通信端末120の位置周辺にある飲食店を検索する。なお、通信端末120の位置周辺とは、受信部111で受信した位置情報が示す位置の他、通信端末120が移動している場合に、所定時間後に移動していると予測される位置であってもよい。
【0020】
変換部113は、検索部112によって検索された位置周辺に関する情報を音声データに変換する。送信部114は、検索部112によって検索された位置周辺に関する情報を通信端末120に送信する。より詳細には、送信部114は、変換部113によって変換された音声データを通信端末120に送信する。
【0021】
また、通信端末120は、抽出部121、送信部122、受信部123、出力部124によって構成される。抽出部121は、ユーザの発話に含まれる語句を抽出する。抽出部121は、たとえば、ユーザの発話を常時監視し、所定の事柄に関する語句がユーザの発話に含まれているか否かを判断する。送信部122は、抽出部121によって抽出された語句に関する情報と自装置の位置情報とを情報提供装置110に送信する。送信部122は、たとえば抽出部121によって、所定の事柄に関する語句がユーザの発話に含まれていると判断された場合には、その情報を情報提供装置110に送信する。受信部123は、情報提供装置110から自装置の位置周辺に関する情報を受信する。
【0022】
出力部124は、受信部123によって受信された位置周辺に関する情報を出力する。出力部124は、たとえば、情報提供装置110の変換部113によって音声データに変換された位置周辺に関する情報を音声出力する。また、出力部124は、抽出部121によってユーザの発話中に特定の語句が抽出された場合に、位置に関する情報を出力するようにしてもよい。具体的には、たとえばユーザの発話に所定の事柄が確定した旨の発話(たとえば「決まり」「決定」など)があったタイミングで情報を出力する。
【0023】
つぎに、情報提供システム100における情報提供の手順について説明する。図2は、情報提供装置による情報提供処理の手順を示すフローチャートである。図2のフローチャートにおいて、情報提供装置110は、まず、通信端末120から位置情報および語句に関する情報を受信する(ステップS201)。つぎに、ステップS201で受信した位置情報および語句に関する情報に基づいて、検索部112で通信端末120の位置周辺に関する情報を検索する(ステップS202)。つづいて、ステップS202で検索した情報を変換部113で音声データに変換する(ステップS203)。最後に、ステップS203で変換した音声データを通信端末120に送信して(ステップS204)、本フローチャートによる処理を終了する。
【0024】
図3は、通信端末による情報出力処理の手順を示すフローチャートである。図3のフローチャートにおいて、通信端末120は、抽出部121でユーザの発話に含まれる語句を抽出する(ステップS301)。つぎに、送信部122で、ステップS301で抽出した語句に関する情報と自装置の位置情報とを情報提供装置110に送信する(ステップS302)。通信端末120は、受信部123で情報提供装置110から自装置の位置周辺に関する情報を受信する(ステップS303)。
【0025】
そして、通信端末120は、抽出部121によってユーザの発話中に特定の語句が抽出されるまで待機する(ステップS304:Noのループ)。特定の語句が抽出されると(ステップS304:Yes)、出力部124で通信端末120の位置周辺の情報を出力して(ステップS305)、本フローチャートによる処理を終了する。
【0026】
なお、上述した説明では、情報提供装置110に変換部113を設けたが、これに限らず、通信端末120に変換部を設けてもよい。この場合、情報提供装置110は、検索部112で検索された情報をそのまま通信端末120に送信し、通信端末120の変換部で音声データに変換する。
【0027】
また、通信端末120が移動体に搭載されている場合、通信端末120の送信部122は、移動体が移動する予定経路情報を情報提供装置110に送信してもよい。予定経路情報とは、たとえば、移動体が移動を予定している経路の特徴地点(たとえば、出発地点や目的地点、右左折をおこなう地点など)の位置情報である。この場合、受信部123は、予定経路周辺に関する情報を情報提供装置110から受信し、出力部124は、移動体が予定経路上の所定地点に到達した場合、予定経路周辺に関する情報のうち所定地点周辺に関する情報を出力する。
【0028】
以上説明したように、情報提供システム100は、ユーザの位置および発話に含まれる語句に基づいて自動的に情報を検索する。このため、ユーザに情報検索のための操作をおこなわせることなく、必要な情報を提供することができる。また、情報提供システム100は、検索した情報を音声データに変換して出力するので、ユーザに目や手を用いさせることなく必要な情報を提供することができる。特に、ユーザが車両などを運転している場合は、安全のため目や手を用いた操作はおこなわないことが望ましい。情報提供システム100によれば、車両などを運転しているユーザに対しても安全に情報を提供することができる。
【0029】
また、情報提供システム100は、ユーザが特定の語句、具体的には所定の事柄が決定したことを示す語句を発話した際に情報を出力する。このため、ユーザにとって不要な情報が出力される頻度を低減することができる。さらに、情報提供システム100は、移動経路上の情報をあらかじめ取得しておき、所定地点に到達した時点でその地点の情報を出力する。これにより、情報提供装置110と通信端末120との間の通信がおこなえない場合であっても、ユーザは必要な情報を得ることができる。
【実施例】
【0030】
以下に、本発明の実施例について説明する。本実施例では、情報提供システム100における情報提供装置110を情報提供サーバ410とし、通信端末120を位置情報機能付きの移動ならびに通信可能なポータブル端末装置420(以下、単に「ポータブル端末装置420」と称する)として本発明を適用した場合の一例について説明する。なお、ポータブル端末としては、たとえば、車両に搭載されたナビゲーション装置、車両に着脱可能なポータブルナビゲーション装置、携帯可能なパーソナル・コンピュータ、携帯電話等が挙げられる。
【0031】
(情報提供システムのシステム構成)
まず、実施例にかかる情報提供システムのシステム構成について説明する。図4は、実施例にかかる情報提供システムのシステム構成について説明する説明図である。図4において、情報提供システム400は、情報提供装置としての情報提供サーバ410と、通信端末としてのポータブル端末装置420とによって構成される。情報提供サーバ410は、ポータブル端末装置420からの要求に応じて、インターネットなどの広域ネットワーク440上の情報を検索し、その結果をポータブル端末装置420に送信する。また、ポータブル端末装置420は、情報提供サーバ410から送信された情報を出力する。
【0032】
より詳細には、情報提供システム400において、ポータブル端末装置420は、たとえば、ユーザの発話から抽出した特徴語句および自装置の位置情報を含んだ検索条件情報を情報提供サーバ410に送信する。情報提供サーバ410は、検索条件情報に基づいて、ユーザが必要としている情報を広域ネットワーク440から検索し、音声データに変換した上でポータブル端末装置420に送信する。ポータブル端末装置420は、情報提供サーバ410から送信された情報が真に必要とされた段階でユーザに提供する。このような処理を逐次おこなうことによって、ユーザが必要としている情報を迅速かつ安全に提供することができる。
【0033】
(ポータブル端末装置420および情報提供サーバ410のハードウェア構成)
つぎに、ポータブル端末装置420および情報提供サーバ410のハードウェア構成について説明する。図5は、ポータブル端末装置420のハードウェア構成を示すブロック図である。図5において、ポータブル端末装置420は、CPU501と、ROM502と、RAM503と、記録再生部504と、記録部505と、音声I/F(インターフェース)508と、マイク509と、スピーカ510と、入力デバイス511と、映像I/F512と、ディスプレイ513と、通信I/F514と、GPSユニット515と、各種センサ516と、カメラ517と、を備えている。各構成部501〜517は、バス520によってそれぞれ接続されている。
【0034】
まず、CPU501は、ポータブル端末装置420の全体の制御を司る。ROM502は、ブートプログラム、データ更新プログラムなどのプログラムを記録している。また、RAM503は、CPU501のワークエリアとして使用される。すなわち、CPU501は、RAM503をワークエリアとして使用しながら、ROM502に記録された各種プログラムを実行することによって、ポータブル端末装置420の全体の制御を司る。
【0035】
記録再生部504は、CPU501の制御にしたがって記録部505に対するデータの読み取り/書き込みを制御する。記録部505は、記録再生部504の制御で書き込まれたデータを記録する。記録再生部としては、磁気/光ディスクドライブ等を用いることができ、記録部としては、たとえば、HD(ハードディスク)、FD(フレキシブルディスク)、MO、SSD(Solid State Disk)、メモリーカード、フラッシュメモリ等を用いることができる。
【0036】
記録部に記録される情報の一例としては、コンテンツデータや地図データが挙げられる。コンテンツデータは、たとえば楽曲データや静止画像データ、動画像データなどである。また、地図データは、建物、河川、地表面などの地物(フィーチャ)をあらわす背景データと、道路の形状をあらわす道路形状データとを含んでおり、地区ごとに分けられた複数のデータファイルによって構成されている。
【0037】
音声I/F508は、音声入力用のマイク509および音声出力用のスピーカ510に接続される。マイク509に受音された音声は、音声I/F508内でA/D変換される。マイク509は、たとえば、車両のサンバイザー付近に設置され、その数は単数でも複数でもよい。スピーカ510からは、所定の音声信号を音声I/F508内でD/A変換した音声が出力される。
【0038】
入力デバイス511は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、タッチパネルなどが挙げられる。入力デバイス511は、リモコン、キーボード、タッチパネルのうちいずれか1つの形態によって実現されてもよいが、複数の形態によって実現することも可能である。
【0039】
映像I/F512は、ディスプレイ513に接続される。映像I/F512は、具体的には、たとえば、ディスプレイ513全体を制御するグラフィックコントローラと、即時表示可能な画像情報を一時的に記録するVRAM(Video RAM)などのバッファメモリと、グラフィックコントローラから出力される画像データに基づいてディスプレイ513を制御する制御ICなどによって構成される。
【0040】
ディスプレイ513には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字や画像などの各種データが表示される。ディスプレイ513には、上述した地図データが、2次元または3次元に描画される。ディスプレイ513としては、たとえば、CRT、TFT液晶ディスプレイ、プラズマディスプレイなどを用いることができる。
【0041】
通信I/F514は、無線を介してネットワークに接続され、ポータブル端末装置420とCPU501とのインターフェースとして機能する。通信I/F514は、さらに、無線を介してインターネットなどの通信網に接続され、この通信網とCPU501とのインターフェースとしても機能する。
【0042】
GPSユニット515は、GPS衛星からの電波を受信し、自装置の現在位置を示す情報を出力する、GPSユニット515の出力情報は、CPU501による自装置の現在位置の算出に際して利用される。現在位置を示す情報は、たとえば緯度、経度、高度などの1点を特定する情報である。
【0043】
各種センサ516は、車速センサ、加速度センサ、角速度センサなどの、車両の位置や挙動を判断するための情報を出力する。各種センサ516の出力値は、CPU501による車両の現在位置の算出や、速度や方位の変化量の算出に用いられる。
【0044】
カメラ517は、ポータブル端末装置420の周辺の映像を撮影する。カメラ517で撮影できる映像は静止画あるいは動画のどちらでもよく、たとえば、カメラ517によってユーザの挙動を撮影し、撮影した映像を映像I/F512を介して記録部505などの記録媒体に出力する。
【0045】
また、情報提供サーバ410は、図5に示した構成のうち、CPU501と、ROM502と、RAM503と、記録再生部504と、記録部505と、音声I/F(インターフェース)508と、通信I/F514と、を備えていればよい。
【0046】
図1に示した情報提供装置110および通信端末120の各構成部は、図5におけるROM502、RAM503、記録部505などに記録されたプログラムやデータを用いて、CPU501が所定のプログラムを実行し、各部を制御することによってその機能を実現する。
【0047】
(情報提供システムによる情報提供処理)
つづいて、情報提供システム400による情報提供処理について説明する。図6は、情報提供システムにおけるポータブル端末装置の処理の手順を示すフローチャートである。図6のフローチャートにおいて、ポータブル端末装置420は、GPSユニット515および各種センサ516によって得られる情報を用いて自装置の現在位置情報を算出する(ステップS601)。また、ポータブル端末装置420は、マイク509に入力されたユーザの発話を音声解析して(ステップS602)、特徴語句が発話されたか否かを判断する(ステップS603)。ここで、特徴語句とは、所定の事柄(たとえば食事など)に関連する語句である。ポータブル端末装置420は、特徴語句のデータベース(特徴語句データベース)を有しており、ユーザの発話中に特徴語句データベース中の語句が含まれているかを判断する。
【0048】
特徴語句が発話されるまでは(ステップS603:Noのループ)、ステップS601に戻り、以降の処理を繰り返す。特徴語句が発話されると(ステップS603:Yes)、ポータブル端末装置420は、特徴語句に基づいて検索条件情報を生成して(ステップS604)、検索条件情報を情報提供サーバ410に送信する(ステップS605)。検索条件情報には、少なくとも自装置の位置情報および特徴語句(または特徴語句に関連するキーワード)が含まれている。
【0049】
情報提供サーバ410は、ポータブル端末装置420から送信された検索条件情報に基づいて、広域ネットワーク440からユーザが必要としている情報を検索し、検索結果を音声データに変換した上でポータブル端末装置420に送信する。ポータブル端末装置420は、情報提供サーバ410から検索結果データを受信すると(ステップS606)、受信した検索結果データを検索結果データベースに保存する(ステップS607)。
【0050】
つづいて、ポータブル端末装置420は、ユーザによって呼び出し語句が発話されたか否かを判断する(ステップS608)。呼び出し語句とは、「決まり」「決定」など、それまでの会話の内容が確定したことを示す語句である。ユーザが呼び出し語句を発話した場合(ステップS608:Yes)、ポータブル端末装置420は、検索結果データベース内の検索結果データを出力する(ステップS609)。検索結果データは音声データに変換されているので、ポータブル端末装置420は、スピーカ510から検索結果データを音声出力する。一方、ユーザが呼び出し語句を発話しない場合は(ステップS608:No)、検索結果データを出力せずに、ステップS601に戻り以降の処理を繰り返す。
【0051】
ポータブル端末装置420は、情報出力の停止指示があるまでは(ステップS610:Noのループ)、ステップS601に戻り以降の処理を繰り返す。そして、情報出力の停止指示があると(ステップS610:Yes)、本フローチャートによる処理を終了する。
【0052】
図7は、特徴語句データベースの一例を示す説明図である。図7の特徴語句データベース701の語句は、大分類語句702、小分類語句703、および関連キーワード804に分類されている。図7の例では、大分類語句702の一例として「食事」「ガソリン」などが登録されている。また、大分類語句702「食事」に関連づけられて、小分類語句703である「イタリアン」「和食」などの語句が登録されている。さらに、関連キーワードとして「○○バーガー」「蕎麦」などの語句が登録されている。また、図7の特徴語句データベース701には呼び出し語句705が登録されている。図7では、呼び出し語句として「決まり」「決定」などが登録されている。
【0053】
図8は、図6の処理を説明するための説明図である。図8の表801は、AさんおよびBさんの食事に関する会話を示している。図8中下線を引いた語句「○○バーガー」「蕎麦」が特徴語句データベースに登録されている。ポータブル端末装置420は、Aさんによる発話5において特徴語句である「○○バーガー」が発話されると、自装置の周辺にある○○バーガーを検索する検索条件1(802a)を作成し、情報提供サーバ410に送信する。情報提供サーバ410は、検索条件1(802a)によって広域ネットワーク440上の情報を検索し、検索結果1(803a)をポータブル端末装置420に送信する。ポータブル端末装置420は、検索結果1(803a)を検索結果データベース804に格納し、検索結果1(803a)を出力情報の候補とする。
【0054】
つぎに、ポータブル端末装置420は、Bさんによる発話6において特徴語句である「蕎麦」が発話されると、自装置の現在位置周辺にある蕎麦店を検索する検索条件2(802b)を作成し、情報提供サーバ410に送信する。情報提供サーバ410は、検索条件2(802b)によって広域ネットワーク440上の情報を検索し、検索結果2(803b)をポータブル端末装置420に送信する。ポータブル端末装置420は、検索結果2(803b)を検索結果データベース804に格納し、検索結果1(803a)に代えて検索結果2(803b)を出力情報の候補とする。
【0055】
Bさんによる発話8において特徴語句である「○○バーガー」が発話されているが、すでに検索した語句であるので、検索条件の作成はおこなわず、代わりに検索結果2(803b)に代えて検索結果1(803a)を出力情報の候補とする。そして、Aさんによる発話9において呼び出し語句である「決まり」が発話されると、現在の出力情報の候補である検索結果1(803a)を出力する。
【0056】
なお、あらかじめユーザの行動履歴などを元にユーザの嗜好や趣味を解析しておき、検索条件情報を生成する際に、ユーザの嗜好や趣味が反映された検索結果が得られるような検索条件情報を生成するようにしてもよい。具体的には、たとえば、ユーザが特定のチェーン店を利用する頻度が多い場合には、そのチェーン店のみに検索対象を絞ったり、そのチェーン店の情報を検索結果の上位に位置させたりする。
【0057】
つぎに、情報提供サーバ410の処理を説明する。図9は、情報提供システムにおける情報提供サーバの処理の手順を示すフローチャートである。図9のフローチャートにおいて、情報提供サーバ410は、あらかじめ広域ネットワーク440上の情報を検索し、分類し、蓄積しておく(ステップS901)。このようにすることによって、ポータブル端末装置420からの情報の要求に対して、迅速に対応することができる。
【0058】
ポータブル端末装置420から検索条件情報を受信するまでは(ステップS902:Noのループ)、情報提供サーバ410はステップS901に戻り、広域ネットワーク440上の情報の検索・分類・蓄積を継続する。ポータブル端末装置420から検索条件情報を受信すると(ステップS902:Yes)、情報提供サーバ410は蓄積しているデータ(蓄積データ)を検索し(ステップS903)、検索条件に適合する情報があるか否かを判断する(ステップS904)。検索条件に適合する情報が蓄積データ中にある場合は(ステップS904:Yes)、ステップS907に移行する。一方、検索条件に適合する情報が蓄積データ中にない場合は(ステップS904:No)、広域ネットワーク440上の情報を検索し(ステップS905)、検索条件に適合する情報を取得する(ステップS906)。
【0059】
そして、ポータブル端末装置420は、検索条件に適合する情報を音声データに変換して(ステップS907)、ポータブル端末装置420に送信して(ステップS908)、本フローチャートによる処理を終了する。以上のような処理により、情報提供サーバ410はポータブル端末装置420に情報を提供する。
【0060】
以上説明したように、情報提供システム400は、ユーザの位置および発話に含まれる語句に基づいて自動的に情報を検索する。このため、ユーザに情報検索のための操作をおこなわせることなく、必要な情報を提供することができる。また、情報提供システム400は、検索した情報を音声データに変換して出力するので、ユーザに目や手を用いさせることなく必要な情報を提供することができる。たとえば、ユーザが車両を運転している場合は、安全のため目や手を用いた操作はおこなわないことが望ましい。情報提供システム400によれば、車両を運転しているユーザに対しても安全に情報を提供することができる。
【0061】
また、情報提供システム400は、ユーザが呼び出し語句を発話した際に情報を出力する。このため、ユーザにとって不要な情報が出力される頻度を低減することができる。さらに、情報提供システム400は、ユーザの位置および発話に含まれる語句に基づいて必要な情報を当該発話があったタイミングにて検索して、取得する。よって、ユーザが呼び出し語句を発話した際には、既に情報が取得済みの状態であるため、当該ユーザに対し即座に情報を出力することができる。
【0062】
なお、たとえば、車両の移動経路が決まっている場合、あらかじめ情報提供サーバ410から情報を受信しておき、必要に応じて情報を出力してもよい。これは、ユーザが移動体などで移動している際に、ポータブル端末装置420と情報提供サーバ410との間で通信がおこなえず、情報を送受信できない場合があるためである。
【0063】
図10は、情報提供システムにおけるポータブル端末装置の他の処理の手順を示すフローチャートである。図10は、ポータブル端末装置420が車両に搭載(または装着)されている場合を例にしたフローチャートである。ポータブル端末装置420は、車両が走行する経路の経路情報を、検索条件情報として情報提供サーバ410に送信する(ステップS1001)。このとき、ユーザの嗜好や趣味に関する情報を検索条件情報に含めてもよい。また、経路情報は全経路中の一部(たとえば、通信がおこなえないと予想される区間)の情報であってもよい。情報提供サーバ410は、ポータブル端末装置420から送信された検索条件情報に基づいて、広域ネットワーク440からユーザが必要としている情報を検索し、検索結果を音声データに変換した上でポータブル端末装置420に送信する。
【0064】
ポータブル端末装置420は、情報提供サーバ410から検索結果データを受信すると(ステップS1002)、受信した情報を検索結果データベースに保存する(ステップS1003)。ポータブル端末装置420は、マイク509に入力されたユーザの会話を音声解析して(ステップS1004)、特徴語句が発話されるまで待機する(ステップS1005:Noのループ)。特徴語句が発話されると(ステップS1005:Yes)、ポータブル端末装置420は、検索結果データベースを検索し(ステップS1006)、特徴語句に関する現在位置周辺の情報を出力候補情報として抽出する(ステップS1007)。
【0065】
ポータブル端末装置420は、ユーザが呼び出し語句を発話するまでは(ステップS1008:Noのループ)、ステップS1004に戻り、以降の処理を継続する。そして、ユーザが呼び出し語句を発話した場合(ステップS1008:Yes)、ポータブル端末装置420は、出力候補情報を出力する(ステップS1009)。ポータブル端末装置420は、車両が走行を終了するまでは(ステップS1010:Noのループ)、ステップS1004に戻り以降の処理を繰り返す。そして、車両が走行を終了すると(ステップS1010:Yes)、本フローチャートによる処理を終了する。以上のような処理により、ポータブル端末装置420と情報提供サーバ410との間で通信がおこなえない場合であっても、ユーザは必要な情報を得ることができる。
【0066】
なお、上述した説明では、検索した情報を情報提供サーバ410で音声データに変換したが、ポータブル端末装置420で音声データに変換してもよい。また、上述した説明では、ポータブル端末装置420でユーザの発話を音声認識したが、たとえば、会話の音声データをそのまま情報提供サーバ410にアップロードして、情報提供サーバ410において音声認識をおこなってもよい。
【0067】
また、上述した説明では、ユーザの発話の解析結果を情報検索にのみ用いたが、たとえば、コンテンツ再生装置などの機器の操作に用いてもよい。具体的には、ユーザの発話に機器の操作指示が含まれている場合、ポータブル端末装置420において操作指示を実行するための制御信号を生成し、機器に対して送信する。また、操作する機器は、ポータブル端末装置420とネットワークを介して接続された家庭内機器やコンテンツ・オンデマンド・サーバなどであってもよい。
【0068】
また、本実施の形態で説明した情報提供方法および情報出力方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
Claims (5)
- 情報提供装置から提供された情報を通信端末で出力する情報出力システムであって、
前記情報提供装置は、
前記通信端末の位置情報と、前記通信端末のユーザの無作為な発話に含まれる複数の特徴語句に関する情報を順次受信する受信手段と、
前記受信手段によって受信された前記位置情報と前記無作為な発話に含まれる複数の特徴語句に関する情報と、に基づいて、当該特徴語句を受信した都度、前記通信端末の位置周辺に関する情報を広域ネットワーク内から検索する検索手段と、
前記検索手段によって検索された、前記受信された特徴語句に関する情報毎の前記位置周辺に関する情報を音声データに変換する変換手段と、
前記変換手段によって変換された音声データを順次前記通信端末に送信する送信手段と、
を備え、
前記通信端末は、
前記ユーザの無作為な発話に含まれる特徴語句を複数抽出する抽出手段と、
自端末の位置情報と、前記抽出手段によって抽出された複数の前記特徴語句に関する情報を当該抽出の都度、前記情報提供装置に送信する送信手段と、
前記情報提供装置から、前記特徴語句に関する情報に基づき検索された自端末の位置周辺に関する情報を示す音声データを順次受信する受信手段と、
前記受信手段によって順次受信された音声データを記憶する記憶手段と、
前記ユーザの無作為な発話に含まれる、前記記憶手段に記憶された音声データのいずれかを出力するための呼び出し語句を検出する検出手段と、
前記検出手段によって前記呼び出し語句が検出された場合に、当該呼び出し語句が発話されたタイミングに基づいて特定される前記記憶手段に記憶された自端末の位置周辺に関する情報を示す音声データを出力する出力手段と、
を備えたことを特徴とする情報出力システム。 - 請求項1に記載の情報出力システムに用いられる通信端末であって、
ユーザの無作為な発話に含まれる特徴語句を複数抽出する抽出手段と、
自端末の位置情報と、前記抽出手段によって抽出された複数の前記特徴語句に関する情報を当該抽出の都度、情報提供装置に送信する送信手段と、
前記情報提供装置から、前記特徴語句に関する情報に基づき検索された自端末の位置周辺に関する情報を示す音声データを順次受信する受信手段と、
前記受信手段によって順次受信された音声データを記憶する記憶手段と、
前記ユーザの無作為な発話に含まれる、前記記憶手段に記憶された音声データのいずれかを出力するための呼び出し語句を検出する検出手段と、
前記検出手段によって前記呼び出し語句が検出された場合に、当該呼び出し語句が発話されたタイミングに基づいて特定される前記記憶手段に記憶された自端末の位置周辺に関する情報を示す音声データを出力する出力手段と、
を備えたことを特徴とする通信端末。 - 情報提供装置から提供された情報を出力する通信端末における情報出力方法であって、
ユーザの無作為な発話に含まれる特徴語句を抽出手段により複数抽出する抽出工程と、
前記通信端末の位置情報と、前記抽出工程で抽出された複数の前記特徴語句に関する情報を当該抽出の都度、前記情報提供装置に送信手段により送信する送信工程と、
前記情報提供装置から、前記特徴語句に関する情報に基づき検索された前記通信端末の位置周辺に関する情報を示す音声データを受信手段により順次受信する受信工程と、
前記受信工程で順次受信された音声データを記憶手段に記憶する記憶工程と、
前記ユーザの無作為な発話に含まれる、前記記憶工程で記憶された音声データのいずれかを出力するための呼び出し語句を検出手段により検出する検出工程と、
前記検出工程で前記呼び出し語句が検出された場合に、当該呼び出し語句が発話されたタイミングに基づいて特定される前記記憶手段に記憶された前記通信端末の位置周辺に関する情報を示す音声データを出力手段により出力する出力工程と、
を含んだことを特徴とする情報出力方法。 - 請求項3に記載の情報出力方法をコンピュータに実行させることを特徴とする情報出力プログラム。
- 請求項4に記載の情報出力プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2008/073845 WO2010073406A1 (ja) | 2008-12-26 | 2008-12-26 | 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010073406A1 JPWO2010073406A1 (ja) | 2012-05-31 |
JP5160653B2 true JP5160653B2 (ja) | 2013-03-13 |
Family
ID=42287073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010543746A Expired - Fee Related JP5160653B2 (ja) | 2008-12-26 | 2008-12-26 | 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20110258228A1 (ja) |
JP (1) | JP5160653B2 (ja) |
WO (1) | WO2010073406A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5965175B2 (ja) * | 2012-03-27 | 2016-08-03 | ヤフー株式会社 | 応答生成装置、応答生成方法および応答生成プログラム |
EP3232413B1 (en) * | 2016-04-15 | 2021-11-24 | Volvo Car Corporation | Method and system for enabling a vehicle occupant to report a hazard associated with the surroundings of the vehicle |
JP6625508B2 (ja) * | 2016-10-24 | 2019-12-25 | クラリオン株式会社 | 制御装置、制御システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197564A (ja) * | 2000-01-13 | 2001-07-19 | Nec Corp | 移動端末における周辺情報の即時検索方法及びそのシステム並びに情報記録媒体 |
JP2002297374A (ja) * | 2001-03-30 | 2002-10-11 | Alpine Electronics Inc | 音声検索装置 |
JP2006139203A (ja) * | 2004-11-15 | 2006-06-01 | Mitsubishi Electric Corp | 施設検索装置 |
JP2006195732A (ja) * | 2005-01-13 | 2006-07-27 | Fujitsu Ten Ltd | 車載情報提供装置 |
JP2006285416A (ja) * | 2005-03-31 | 2006-10-19 | Kenwood Corp | 電子機器、アシスタント表示方法、アシスタント表示用プログラム、および、電子機器システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7376640B1 (en) * | 2000-11-14 | 2008-05-20 | At&T Delaware Intellectual Property, Inc. | Method and system for searching an information retrieval system according to user-specified location information |
US7533020B2 (en) * | 2001-09-28 | 2009-05-12 | Nuance Communications, Inc. | Method and apparatus for performing relational speech recognition |
KR100679042B1 (ko) * | 2004-10-27 | 2007-02-06 | 삼성전자주식회사 | 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템 |
US7509215B2 (en) * | 2005-12-12 | 2009-03-24 | Microsoft Corporation | Augmented navigation system |
US20080221899A1 (en) * | 2007-03-07 | 2008-09-11 | Cerra Joseph P | Mobile messaging environment speech processing facility |
US8219406B2 (en) * | 2007-03-15 | 2012-07-10 | Microsoft Corporation | Speech-centric multimodal user interface design in mobile technology |
-
2008
- 2008-12-26 WO PCT/JP2008/073845 patent/WO2010073406A1/ja active Application Filing
- 2008-12-26 JP JP2010543746A patent/JP5160653B2/ja not_active Expired - Fee Related
- 2008-12-26 US US13/141,990 patent/US20110258228A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197564A (ja) * | 2000-01-13 | 2001-07-19 | Nec Corp | 移動端末における周辺情報の即時検索方法及びそのシステム並びに情報記録媒体 |
JP2002297374A (ja) * | 2001-03-30 | 2002-10-11 | Alpine Electronics Inc | 音声検索装置 |
JP2006139203A (ja) * | 2004-11-15 | 2006-06-01 | Mitsubishi Electric Corp | 施設検索装置 |
JP2006195732A (ja) * | 2005-01-13 | 2006-07-27 | Fujitsu Ten Ltd | 車載情報提供装置 |
JP2006285416A (ja) * | 2005-03-31 | 2006-10-19 | Kenwood Corp | 電子機器、アシスタント表示方法、アシスタント表示用プログラム、および、電子機器システム |
Also Published As
Publication number | Publication date |
---|---|
US20110258228A1 (en) | 2011-10-20 |
JPWO2010073406A1 (ja) | 2012-05-31 |
WO2010073406A1 (ja) | 2010-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6571118B2 (ja) | 音声認識処理のための方法、車載システム及び不揮発性記憶媒体 | |
KR102000267B1 (ko) | 컨텍스트에 기초한 입력 명확화 | |
US8694323B2 (en) | In-vehicle apparatus | |
JP2011179917A (ja) | 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体 | |
US10452351B2 (en) | Information processing device and information processing method | |
JP5160653B2 (ja) | 情報提供装置、通信端末、情報提供システム、情報提供方法、情報出力方法、情報提供プログラム、情報出力プログラムおよび記録媒体 | |
US9791925B2 (en) | Information acquisition method, information acquisition system, and non-transitory recording medium for user of motor vehicle | |
JP6387287B2 (ja) | 不明事項解消処理システム | |
JP2019133670A (ja) | 情報提示方法、情報提示システム及び情報提示プログラム | |
JP2008157885A (ja) | 情報案内装置、ナビゲーション装置、情報案内方法、ナビゲーション方法、情報案内プログラム、ナビゲーションプログラム、および記録媒体 | |
JP2006145331A (ja) | ナビゲーション装置、ナビゲーション方法、およびナビゲーション用プログラム | |
WO2011030404A1 (ja) | オペレーティングシステム及びオペレーティング方法 | |
JP2007280104A (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよびコンピュータに読み取り可能な記録媒体 | |
JP2009086132A (ja) | 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識装置を備えた電子機器、音声認識方法、音声認識プログラム、および記録媒体 | |
JP2022103553A (ja) | 情報提供装置、情報提供方法、およびプログラム | |
JP4767360B2 (ja) | 電子機器、制御方法、制御プログラムおよびコンピュータに読み取り可能な記録媒体 | |
JP2014106496A (ja) | 情報出力装置、情報出力方法、情報出力プログラム、情報出力システム、サーバおよび端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5160653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |