WO2003102816A1

WO2003102816A1 - Systeme fournisseur de donnees

Info

Publication number: WO2003102816A1
Application number: PCT/JP2003/006851
Authority: WO
Inventors: Takuichi Nishimura; Masanori Ihara
Original assignee: National Institute Of Advanced Industrial Science And Technology; Sharp Kabushiki Kaisha
Priority date: 2002-05-30
Filing date: 2003-05-30
Publication date: 2003-12-11
Also published as: US20050228645A1; EP1513078A1; JP2004054915A; EP1513078A4

Description

明細書

情報提供システム

技術分野

本発明は、情報提供システムに関するものである。さらに詳しくは、本発明は、市街情報などの各種情報のデータベースへの登録およびデータベースからの検索を簡単に行うことのできる、新しい情報提供システム、ならびにそれに用いられる携帯情報端末および情報処理装置に関するものである。

背景技術

一般的に、市街情報などの各種情報のデータベースへの登録やデータべ一スからの検索を行うシステムにおいて、その情報は、力一ナビゲーシヨンの地図やインターネット上の地図などのように、電子化された図面データや文字記号デ一夕により構成されている。

しかしながら、一般的に情報の電子化作業は、キーボードやマウスなどの入力用装置、画像取込み装置、専用の地図読込プログラムなどの電子化用の各種装置の操—作に慣れた熟練者が正確に行う必要があり、誰にでも簡単に電子化してデータベースへ入力し登録できるというわけではない。このことは市街情報であっても同様である。

また、データベースからの検索も、たとえばコンピュータのキーボード入力などが必要であり、それらの操作に不慣れな人にとってはやはり不便である。また、昨今、携帯電話などの携帯端末で市街情報を検索し取得できるようにもなつてきているが、操作に不慣れな人にとってはもちろんのこと、操作に慣れている人にとっても小さな入力キーでは時間がかかり、簡単な作業とは言えない。

そこで、音声入力を利用して登録や検索を行う.方法も考えられるが、従来の音声認識技術では固有名詞や造語、短縮された表現や俗語のような辞書に登録されていない単語の認識に関しては単語データへの変換精度が低く、特に固有名詞が頻繁に用いられる市街情報については認識精度が非常に低いという問題がある。

本発明は、以上のとおりの事情に鑑みてなされたものであり、市街情報を代表とする各種情報のデ一夕ベースへの登録およびデ一夕ベースからの検索を、誰でも簡単かつ精度良く行うことのできる、新しい情報提供システム、ならびにそれに用いられる携帯情報端末および情報処理装置を提供することを課題としている。発明の開示

本発明は、上記の課題を解決するものとして、第 1には、データベースに登録する情報を携帯情報端末から情報処理装置へ提供する情報提供システムであつて、携帯情報端末は、情報登録時に登録情報としての音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部—と、情報登録時に登録情報としての携帯情報端末の位置情報を取得する位置確認部と、情報登録時に登録情報としての前記音声情報および前記位置情報に関連する付加情報を入力する付加情報入力部と、音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および付加情報入力部により入力された前記付加情報を情報処理装置へ送信する送信部とを備えており、情報処理装置は、携帯情報端末から送られてきた前記音声情報、前記位置情報および前記付加情報を受信する受信部と、受信部により受信された前記音声情報、前記位置情報および前記付加情報を互いに関連付けてデータべ一スに記憶させる情報処理部とを備えている、ことを特徴とする情報提供システムを提供する。

第 2には、デ一夕ベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、携帯情報端末は、情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、音声演算部により得られた前記音声情報および位置確認部により得られた前記位置情報を情報処理装置へ送信する送信部と、情報処理装置から送られてきた付加情報を前記要求する情報として受信する受信部とを備えており、情報処理装置は、携帯情報端末から送られてきた前記音声情報および前記位置情報を受信する受信部と、音声情報、位置情報および付加情報を互いに関連付けて予め記憶しているデータベースから、受信部により受信された前記音声情報および前記位置情報に関連する付加情報を検索する情報処理部と、情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、ことを特徴とする情報提供システムを提供する。

第 3には、データべ—ースに登録する情報を携帯情報端末から情報処理装置へ提供し、—またデータベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、情報登録時に登録情報としての音声を入力し、また情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力部と、情報登録時に音声入力部により入力された前記音声に基づく音声情報を取得し、また情報提供要求時に音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報登録時に登録情報としての携帯情報端末の位置情報を取得し、また情報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、情報登録時に登録情報としての前記音声情報および前記位置情報に関連する付加情報を入力する付加情報入力部と、情報登録時に青声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および付加情報入力部により入力された前記付加情報を情報処理装置へ送信し、また情報提供要求時に音声演算部により得られた前記音声情報および位置確認部により得られた前記位置情報を情報処理装置へ送信する送信部と、情報処理装置から送られてきた付加情報を前記要求する情報として受信する受信部とを備えており、情報処理装置は、情報登録時に携帯情報端末から送られてきた前記音声情報、前記位置情報および前記付加情報を受信し、また情報提供要求時に携帯情報端末から送られてきた前記音声情報および前記位置情報を受信する受信部と、情報登録時に受信部により受信された前記音声情報、前記位置情報および前記付加情報を互いに関連付けてデータベースに記憶させ、また当該データベースから、情報提供要求時に受信部により受信された前記音声情報および前記位置情報に関連する付加情報を検索する情報処理部と、情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、ことを特徴とする情報提供システムを提供する。

また、本発明は、上記の課題を解決するものとし、第 4には、デ一夕べ一スに登録-する情報を携帯情報端末から情報処理装置へ提供する情報提供システムであって、携帯情報端末は、情報登録時に登録情報としての音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報登録時に登録情報としての携帯情報端末の位置情報を取得する位置確認部と、情報登録時に登録情報としての画像を撮像する画像撮像部と、画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、情報登録時に登録情報としての前記音声情報、前記位置情報および前記画像情報に関連する付加情報を入力する付加情報入力部と、音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報、画像演算部により得られた前記画像情報および付加情報入力部により入力された前記付加情報を情報処理装置へ送信する送信部とを備えており、情報処理装置は、携帯情報端末から送られてきた前記音声情報、前記位置情報、前記画像情報および前記付加情報を受信する受信部と、受信部により受信された前記音声情報、前記位置情報、前記画像情報および前記付加情報を互いに関連付けてデー夕ベースに記憶させる情報処理部とを備えている、ことを特徴とする情報提供システムを提供する。

第 5には、データベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、携帯情報端末は、情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、情報提供要求時に検索キーとしての画像を撮像する画像撮像部と、画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および画像演算部により得られた前記画像情報を倩報処理装一置へ送信する送信部と、情報処理装置から送られてきた付加情報を前記要求する情報として受信する受信部とを備えており、情報処理装置は、携帯情報端末から送られてきた前記音声情報、前記位置情報および前記画像情報を受信する受信部と、音声情報、位置情報、画像情報および付加情報を互いに関連付けて予め記憶しているデータベースから、受信部により受信された前記音声情報、前記位置情報および前記画像情報に関連する付加情報を検索する情報処理部と、情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、ことを特徴とする情報提供システムを提供する。第 6には、データベースに登録する情報を携帯情報端末から情報処理装置へ提供し、またデ一夕ベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、情報登録時に登録情報としての音声を入力し、また情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力部と、情報登録時に音声入力部により入力された前記音声に基づく音声情報を取得し、また情報提供要求時に音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報登録時に登録情報としての携帯情報端末の位置情報を取得し、また情報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、情報登録時に登録情報としての画像を撮像し、また情報提供要求時に検索キ —としての画像を撮像する画像撮像部と、情報登録時に画像撮像部により撮像された前記画像に基づく画像情報を取得し、情報提供要求時に画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、情報登録時に登録情報としての前記音声情報、前記位置情報および前記画像情報に関連する付加情報を入力する付加情報入力部と、情報登録時に音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報、画像演算部により得られた画像情報および付加情報入力部により入力された前記付加情報を情報処理装一俊へ送信し、また情報提供要求時に音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および画像演算部により得られた画像情報を情報処理装置へ送信する送信部と、情報処理装置から送られてきた付加情報を前記要求する情報として受信する受信部とを備えており、情報処理装置は、情報登録時に携帯情報端末から送られてきた前記音声情報、前記位置情報、前記画像情報および前記付加情報を受信し、また情報提供要求時に携帯情報端末から送られてきた前記音声情報、前記位置情報および前記画像情報を受信する受信部と、情報登録時に受信部により受信された前記音声情報、前記位置情報、前記画像情報および前記付加情報を互いに関連付けてデータべースに記憶させ、また当該データベースから、情報提供要求時に受信部により受信された前記音声情報、前記位置情報および前記画像情報に関連する付加情報を検索する情報処理部と、情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、ことを特徴とする情報提供システム。そして、第 7には、前記音声情報は前記音声の音素列を含む情報であることを特徴とする情報提供システム、第 8には、前記画像情報は前記画像の特徴であることを特徴とする情報提供システムをも提供する。

またさらに、本発明は、上記の課題を解決するものとして、デ一夕ベースに登録する情報を情報処理装置へ提供する携帯情報端末であって、情報登録時に登録情報としての音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報登録時に登録情報としての携帯情報端末の位置情報を取得する位置確認部と、情報登録時に登録情報としての前記音声情報および前記位置情報に関連する付加情報を入力する付加情報入力部と、音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および付加情報入力部により入力された前記付加情報を、それらを互いに関連付けてデ一夕ベースに記憶させる情報処理装置へ送信する送信部—とを備えている、ことを特徴とする携帯情報端末、第 1 0には、デー夕ベースに登録されている情報を情報提供要求して情報処理装置から提供される携帯情報端末であって、情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、音声演算部により得られた前記音声情報および位置確認部により得られた前記位置情報を情報処理装置へ送信する送信部と、情報処理装置により音声情報、位置情報および付加情報が互いに関連付けて予め記憶されているデータベースから検索されて送られてきた、前記音声情報および前記位置情報に関連する付加情報を前記要求する情報として受信する受信部とを備えている、ことを特徴とする携帯情報端末、第 1 1には、データベースに登録する情報を情報処理装置へ提供する携帯情報端末であって、情報登録時に登録情報としての音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報登録時に登録情報としての携帯情報端末の位置情報を取得する位置確認部と、情報登録時に登録情報としての画像を撮像する画像撮像部と、画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、情報登録時に登録情報としての前記音声情報、前記位置情報および前記画像情報に関連する付加情報を入力する付加情報入力部と、音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報、画像演算部により得られた前記画像情報および付加情報入力部により入力された前記付加情報を、それらを互いに関連付けてデータベースに記憶させる情報処理装置へ送信する送信部とを備えている、ことを特徴とする携帯情報端末、第 1 2には、データべースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置か —ら提供する携帯情報端末であって、情報提供要求時に検索キーとしての要求する情報に-関連する音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、情報提供要求時に検索キ一としての携帯情報端末の位置情報を取得する位置確認部と、情報提供要求時に検索キーとしての画像を撮像する画像撮像部と、画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および画像演算部により得られた前記画像情報を情報処理装置へ送信する送信部と、情報処理装置により音声情報、位置情報、画像情報および付加情報が互いに関連付けて予め記憶されているデータベースから検索されて送られてきた、前記音声情報、前記位置情報および前記画像情報に関連する付加情報を前記要求する情報として受信する受信部とを備えている、ことを特徴とする携帯情報端末、第 1 3には、前記音声情報は前記音声の音素列を含む情報であることを特徴とする携帯情報端末、第 1 4には、前記画像情報は前記画像の特徴であることを特徴とする携帯情報端末を提供する。

そしてさらに、本発明は、上記の課題を解決するものとして、第 1 5には、携帯情報端末から提供された情報をデータベースに登録する情報処理装置であつて、携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報、当該携帯情報端末の位置情報および当該携帯情報端末にて入力されたこれら音声情報および位置情報に関連する付加情報を受信する受信部と、受信部により受信された前記音声情報、前記位置情報および前記付加情報を互いに関連付けてデータベースに記憶させる情報処理部とを備えている、ことを特徴とする情報処理装置、第 1 6には、データベースに登録されている情報を情報提供要求した携帯情報端末へ提供する情報処理装置であって、携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報および当該携帯情報端—末の位置情報を受信する受信部と、音声情報、位置情報お—よび付加情報を互いに関連付けて登録情報として予め記憶しているデ一夕ベースから、受信部により受信された前記音声情報および前記位置情報に関連する付加情報を検索する情報処理部と、情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、ことを特徴とする情報処理装置、第 1 7には、携帯情報端末から提供された情報をデータべ一スに登録する情報処理装置であって、携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報、当該携帯情報端末の位置情報、当該携帯情報端末にて撮像された画像に基づく画像情報および当該携帯倩報端末にて入力されたこれら音声情報、位置情報および画像情報に関連する付加情報を受信する受信部と、受信部により受信された前記音声情報、前記位置情報、前記画像情報および前記付加情報を互いに関連付けてデータベースに記憶させる情報処理部とを備えている、ことを特徴とする情報処理装置、第 1 8には、デ一夕ベースに登録されている情報を情報提供要求した携帯情報端末へ提供する情報処理装置であって、携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報、当該携帯情報端末の位置情報および当該携帯情報端末にて撮像された画像に基づく画像情報を受信する受信部と、音声情報、位置情報、画像情報および付加情報を互いに関連付けて予め記憶しているデ一夕ベースから、受信部により受信された前記音声情報、前記位置情報および前記画像情報に関連する付加情報を検索する情報処理部と、情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、ことを特徴とする情報処理装置、第 1 9には、前記音声情報は前記音声の音素列を含む情報であることを特徴とする情報処理装置、第 2 0には、前記画像情報は前記画像の特徴であることを特徴とする情報処理装置を提供する。図面の簡単な説明

図 1は-、本発明におけるデ一夕ベースへの登録の流れを示す図である。図 2は、本発明におけるデ一夕べ一スからの検索の流れを示す図である。図 3は、本発明における携帯情報端末（端末局）の一実施形態を示す機能ブロック図である。

図 4 (A ) は、本発明における情報処理装置（基地局）の一実施形態を示す機能ブロック図であり、図 4 ( B ) は、本発明における情報提供システムの一実施形態を示すシステム構成図である。

図 5は、本発明におけるデ一夕ベースへの登録処理のより具体的なフローチャ一卜図である。

図 6は、本発明におけるデータベースのデータ構成例.を示す図である。図 7は、本発明におけるデータベースからの検索処理のより具体的なフローチャート図である。

図中の各符号は以下のとおりである。

A, A' 携帯情報端末（端末局）

10 アンテナ

1 1 制御部

1 5 入力部

1 5 a 文字入力部

1 5 b 音声入力部

1 7 表示部

2 1 演算部

21 a 音声特徴抽出部

2 1 b 音声列生成部

2 1 c 画像特徴抽出部

23 通信制御部

25 像

27 位置確認部

3 1 情報合成部

33 記憶部

B, B' 情報処理装置（基地局）

40 アンテナ

41 通信制御部

45 情報処理装置 4 7 情報処理部

5 1 記憶部

5 3 音声情報記憶領域

5 5 位置情報記憶領域

5 7 画像情報記憶領域

6 1 付加情報記憶領域

C ネットワーク

D B , D B ' データべ一ス発明を実施するための最良の形態

本発明の実施の形態について説明する前に、まず、本発明の発明者の行った考察について説明する。

発明者は、特に地名などには特有の固有名詞が多く用いられており、声を入力しこれを単語に変換する際の変換効率 ·変換精度が良くないという状況と、携帯情報端末においてはキーによる文字入力が困難であるという状況に鑑み、誤認識の発生しやすい単語レベルの音声認識を行うのではなく、より音声波形に近い音声特徴や音素特徴などの記号列、つまり「音素列」を音声情報として用いて市-街情報の入力を行うことで、効率的な情報の入力を実現できると考えた。

「音素」とは、音声を構成する要素である母音や子音を指し、ここではこの音素として「音素片」や「連続音素片」を考慮してもよい。「音素片」とは、 1つの音素をより細かく分割した要素である。「連続音素片」とは、音素片の連続状態を示した情報、たとえば「あ」の始端、「あ」の中盤、「あ」の終端と分割した音素片の変化を踏まえて、どのようにこれらの要素が繋がるかを示した情報である。そして「音素列」とは、これら音素が並んだ列を指す。このような「音素列」を音声情報として用い、これと音声が発話された際の携帯情報端末の位置や方向などの位置情報とを関連付けして、さらには携帯情報端末に付属する撮像装置や携帯情報端末にデータ提供可能な別体の撮像装置などにより撮影された近隣の画像情報とを関連付けして情報のデ一夕ベースへの登録やデータベースからの検索などの管理を行う情報処理装置に提供するようにすれば、情報登録および情報検索を簡単にかつ高精度で実現できるのである。なお、この際、登録 ·検索対象としての市街情報を統計的に収束させることにより、市街情報の効率的な登録と、該登録内容の閲覧に伴うサービスを提供することもできる。

ここで、上記情報処理装置は、たとえば、主記憶部、補助記憶部、演算処理部、通信部などを有する情報登録および情報検索が可能な装置により構成されるものとし、パーソナルコンピュー夕や大型コンピュー夕などを考慮できる。また、データベースに記録されている情報の統計的分析を行うプログラムを用いて情報分析が可能な装置とするこがより好ましい。

上記携帯情報端末は、たとえば、携帯電話や P D A ( P e r s o n a 1 D i g i t a 1 A s s i s t a n t )、ノート型コンピュータ、ウェアラブルコンピュータ、腕時計型コンピュータ、車載型コンピュータなどのいわゆる可搬型の情—報端末を考慮でき、移動 ·装着 ·保持等の方法や形態、形状などは限定されるものではない。

これら情報処理装置と携帯情報端末との間は、無線 L A Nや携帯電話などを経由してインターネット、イントラネットなどの通信網により情報の交換や相互検索を行うことができるように構成されていてもよい。

データべ—スは、情報処理装置に内蔵されていても、情報処理装置とは別体のものとされていても良く、別体のものである場合には情報処理装置に無線有線を問わず何らかの手段により双方向通信可能に構築する。上記考察に基づき、以下に本発明の一実施の形態による情報提供技術について、図面を参照して説明する。

<<登録 ·検索処理の原理説明 >>

まず、図 1およぴ図 2に基づき、本実施の形態による情報提供技術のうち、デ一夕をデータベースに登録するための処理とデータベースを用いたデ一夕の検索処理の原理を簡単に説明する。

<登録処理の原理フロー >

図 1に示すように、まずステップ S 1において、音声波形と位置情報とを入力する。ステップ S 2において、音声特徴を抽出する。ステップ S 3において、評価関数により音素列判定を行う。次いで、ステップ S 4において、音素列と位置情報とを関連付けてデータベースに登録する。

ぐ検索処理の原理フロー >

図 2に示すように、まずステップ S 1 1において、音声波形と位置情報とを入力する。ステップ S 1 2において、音声特徴を抽出する。ステップ S 1 3において、評価関数により音素列判定を行う。次いで、ステップ S 1 4において、音素列と位置情報とに基づいてデータベース中のデータの検索を行う。ステップ S"" l 5において、検索された結果を出力する。

<<携—帯情報端末、情報処理装置、データベース、システムの説明 >> 以下に、登録処理および検索処理に用いられる携帯情報端末、情報処理装置、およびデータベースならびにそれらで構成されるシステムのより具体的な例について、図面を参照して説明する。図 3は、携帯情報端末（端末局）の構成例を示す機能ブロック図である。図 4 (A) は、情報処理装置（基地局）の構成例を示す機能ブロック図であり、図 4 ( B ) は、システム全体の構成例を示す概略図である。

ぐ携帯情報端末 > . 図 3に示すように、ユーザ側の携帯情報端末 Aは、アンテナ 1 0と、端末 A 全体の制御を行う制御部 1 1と、データ入力を行う入力部 1 5と、データ等の表示を行う例えば L C Dなどを用いた表示部 1 7と、種々の演算を行う演算部 2 1と、他の機器との間の通信を制御する通信制御部 2 3と、画像データなどを取得するための撮像部 2 5と、 G P Sなどを含む位置（方向を含む）確認部 2 7と、各種情報を合成する情報合成部 3 1と、データの記憶を行う記憶部 3 3とを備えている。

入力部 1 5は、文字入力部 1 5 aと音声入力部 1 5 bとを備えている。演算部 2 1は、音声特徴抽出部 2 1 aと音素列生成部 2 1 bと画像特徴抽出部 2 1 cとを備えている。

音声特徴抽出部 2 1 aは、音声入力部 1 5 aから入力された音声の音声波形から抽出される特徴を例えば数値で表して、音声特徴を構成する。音素列生成部 2 l bは、音声入力部 1 5 aから入力された音声に基づいて、音素の列である音素列を生成する。画像特徴抽出部 2 1 cは、撮像部 2 5により撮像された画像に基づいて、画像の特徴（ある画像から得られる傾向など）を構成する。ぐ情報処理装置 >

図 4 (A ) に示すように、サ一-ビス提供者側のサーバなどの情報処理装置 B は、アンテナ 4 0と、通信制御部 4 1と、情報処理部 4 7と、記憶部 5 1とを含んで構成される。

記憶部は、音声に閧する情報を記憶するための音声情報記憶領域 5 3と、位置 ·方向に関する情報を記憶するための位置情報記憶領域 5 5と、撮影された画像に関する情報を記憶するための画像情報記憶領域 5 7と、これらの情報と関連する付加的な情報を記憶する付加情報記憶領域 6 1とを有している。

なお、図 4 (A) は、情報処理装置 B中において、通信制御部 4 1と情報処理装置 4 5とが一体化されている構成を例示しているが、これらが記号 L 1で表されるように別体となっていてもよい。

<デ一夕べ一ス>

これらの携帯情報端末 Aおよび情報処理装置 Bを介してデータの登録 ·蓄積および検索が行われるデータベースに'ついては、たとえば、図 3に示す携帯情報端末 A内の記憶部 3 3に作成してもよいが、多数のユーザから情報が提供されたり要求されたりするという観点から、図 4 (A) に示す情報処理装置 B内の記憶部 5 1に設けるようにしてもよい。

<システム >

図 4 ( B ) は、データベース D B， D B ' が端末局としての携帯情報端末 A , A ' および基地局としての情報処理装置 B , B ' とは別になつているシステム構成例を示している。これにおいて、携帯情報端末（端末局） A—情報処理装置（基地局） Bの対と携帯情報端末（端末局） A ' —情報処理装置（基地局 ) B ' の対とが、それぞれネットワーク Cに関連付けされており、さらにデー夕べ一ス D B , D B ' がネットワーク Cを介して情報処理装置（基地局） B， B ' と関連付けされている。もちろん、この他の様々な接続形態を有していてもよい。

<<登録 ·検索処理の具体的説明 >>

次に、 ^_図 5から図 7までを参照して、本発明の一実施の形態による情報提供システムにおける処理の流れとデータベースのデータ構成例とを説明する。適宜、図 3およぴ図 4をも参照する。

<登録処理の具体的フロー >

図 5は、デ一夕ベースへ情報を登録する処理の流れを示す具体的なフローチヤート図である。なお、この登録処理はデータベース作成処理とも呼ぶことができる。

まず、ステップ S 2 1において、データベース登録処理を開始する。ステツプ S 2 2において、携帯情報端末 Aにおける入力部 1 5の音声入力部 1 5 により、携帯情報端末 Aのユーザからの音声を入力する。.ステップ S 2 3において、演算部 2 1の音声特徴抽出部 2 1 aにより、入力された音声の分析を行つて音声特徴や音素特徴を抽出する。ステップ S 2 4において、演算部 2 1の音素列生成部 2 l bにより、抽出された音声特徴や音素特徴から音素列を生成する。

さらに、ステップ S 2 5において、音声入力に応じて、位置確認部 2 7により、 G P S等を用いて携帯情報端末 Aの位置を確認する（位置 ·方向検出ステップ）。位置情報中には、緯度 ·経度を用いて特定される位置、住所番地などにより特定される固有の位置、ある特定の建物などの位置基準に対してどの方向に対象物が存在するか否かなどの相対的な位置などの情報が含まれる。ステップ S 2 6において、これらの情報中から'必要な位置情報を選択 ·特定する。さらに、ステップ S 2 7において、音声入力に応じて、撮像部 2 5により撮像を行う。ステップ S 2 8において、演算部 2 1の画像特徴抽出部 2 1 cにより、撮像された画像から画像特徴を抽出する。

そして、ステップ S 2 9において、情報合成部 3 1により、上記音素列と選択された上記位置情報と上記画像特徴とを関連付けする。併せて、ステップ S

3 0に示すように、上記音素列と選択された上記位置情報と上記画像特徴とに関連する関連付加情報を作成する。ステップ S 3 1において、上記音素列と選択された上記位置情報と上記画像特徴と、そして関連付加情報とを関連付けした状態で、デ一夕ベースに登録する。ステップ S 3 2において、データベースへの登録処理が終了する。

データベース内に登録されているデータの構成例を図 6に示す。音声情報と位置情報と画像情報と付加情報とが対応付けされて配置されている。なお、図 6に示す例では、説明の便宜上、音声情報を力夕カナの読みで示しているが、実際には音素列としてアルファべットゃ発音記号等を用いて格納されている。

1行目のデ一夕構成は、音声情報がシブャデパート（実際には実在する名称が用いられる）であり、位置情報が渋谷区…であり、画像情報（特徴）がそのシブャデパートの画像である場合を示している。付加情報としては、たとえばシブャデパート内における新装開店セールの情報が載せられている。

2行面のデータ構成は、音声情報がハチであり、位置情報が渋谷区…であり、画像情報（特徴）が忠犬ハチ公の画像である場合を示している。付加情報としては、たとえば渋谷駅ハチ公口の地図情報が載せ.られている。

- 5行目のデ一夕構成は、音声情報がカイラクェンであり、位置情報が水戸市 …であり、画像情報（特徴）が梅林の画像である場合を示している。付加情報としては、たとえば水戸偕楽園、弘道館の梅祭り開催時期の情報が載せられている。

以上のように、音声情報、位置情報および画像情報に基づいて、お互いに関連するデータを対応付けしたデータベースに構築することができる。

なお、 3行目と 4行目のデータに関しては後述する。

以上の処理について、以下により具体的に説明する。

たとえば、渋谷において、複数のカメラ（撮像部）や G P S (位置確認部）等が付属したウェアラブルコンピュータを所持する人を散歩させたり、複数のカメラや G P U等が付属したウェアラブルコンピュータを車椅子、自転車などに装着して動かしたり、あるいは、ラジコンなどを操作したり、口ポットを巡回させつつ周囲の状況をモニタ一したりする動作などにより、カメラに写る事物、視線上にある画像、風景の名称などを発音させる。

たとえば、ハチ公の銅像にあわせ「ハチ」又は「ハチ公」と発音させ、デパートの前で「シブャデパート」と発音させ、これらの音声に基づいて、時系列的な音声特徴パラメ一夕、音素記号、音韻記号、音素片記号などと、携帯情報端末 Aの位置情報とを対応させてデータベースに登録する。この際、撮像部 2

5により撮像した画像に基づき画像特徴抽出部 2.1 cにより得られた画像特徴なども対応させてデ一夕ベースに記憶させてもよい。

次に、これらの情報を、位置に基づいて分析し記号列を統計的に収束させる。これらの収束における演算方法は、公知の統計学的な手法によって容易に構成できる。たとえば、平均と分散に基づいてユークリッド距離を求める方法や

、ベイズ式による類似度評価、 kミーンズクラスタリングによる VQ (Ve c t o r Qu a n t i t y :べク卜ル量子化）コード化後の V Qコードの距離評価等があげられる。この結果、ある位置から見える事象に関する音声から変換される記号列が統計的に評価され、ある位置において、頻繁に発話された音声から変換された記号列を位置や方向に基づいて分類し記録することが可能となり、細部にわたりデ一夕べ一ス化することができる。

データベースを作成する際に、画像処理技術等により画像特徴を直接関連付けて記録してもよいし、看板などの文字を認識してラベリングの情報に用い、認識した文字列を音素列に展開して、本発明の情報提供システムにより利用できるようにしてもよい。また、収録の際に音素展開しデータベースに登録するときの日本語表記が「シプヤ百貨店」に対して「s h i b uy ahy a k k a t e n」と [s h i b uy a d e p a— t o] などのような複数通りの読み方 (発音）が入力される可能性があることをも考慮し、複数の利用者の発話をデ一夕ベースに記録することもできる。また、話者の年齢や性別、出身地などの付随的な情報を加味して処理を行うこともできる。発音する音素系列において、出現頻度の高い方を統計的に割り出してデータベースに登録する処理を行うことにより、間違った呼び方や方言による変化、喋り方の癖、言語の違いなどを吸収するように統計的処理によりデータを収束させてもよい。これらの分析において、イントネ一シヨンやアクセントの情報を付加させるとより効率的な分析や検索が可能となる。さらに、携帯情報端末 A、情報処理装置 Bに学習機能を付加することにより、一層効率的な分析や検索が可能となる。

上述のような処理によりデータベースを作成することは、地図情報と周囲の画像特徴とに対して音声ラベルを与えながら地域情報を収録することにも対応する。収録された情報を位置に基づき前述の統計的手法により分析することで、ある地域を歩いた時に視界内に入る建物等の名称や関連用語のデ一夕べ一スを構築することができる。この際、音素列だけではなく、単語文字列、音声波形特徴または音声 V Qコードなどに基づいて種々の情報との関連付けを行うことも可能である。あるいは、上記各要素を適宜組み合わせることにより、関連情報との対応の精度を向上させてラベリングを行うことも可能である。

また、画像を見ながらキーボードゃ入力キーなどにより単語を入力して位置に関する内容をラベリングしたい場合には、その単語を、音素や音素片等の記号により形成される時系列デ一夕に展開し、これを検索ラベルとして用いてもよい。

このように構成されたデータベースによれば、音声認識により単語や漢字を含むテキストラベルに変換する処理を行わなくてもよい。すなわち、音素列が連続して力されるため、音素列同士を D Pマッチングや H MM (H i d d e n M a" r k o v M o d e 1 ：隠れマルコフモデル）などの手法により評価し、検索することが可能となり、正確な単語を同定せずに現在位置における適切な情報の検索が可能となる。

もちろん、音素同士の類似性を距離評価のためのテ一ブルとしてまとめておき、 D P ( D y n a m i c P r o g r a mm i n g ：動的計画法）マツチングにおける一致度評価の効率を向上させる方法も考えられる。また、 1つの音素列に対し複数の意味タグや画像特徴を付加することにより、 1つの呼称に対して幾つかの意味や形状情報を与えたり、 1つの意味タグや形状情報に対して複数の音素列を関連させて構成させたりすることにより、同じ音素列タグに関連している事象を、同音異義語や同一形状に対する別の呼称として収束させたり、逆に同じ形状の呼称や意味タグに関連する音素列を異音同義語としたり、意味タグ自体を音素列で構成するといつた方法を用いて意味検索を実現することも可能である。

また、類似性の高い画像特徴に対し、異なる音素列を有するものは異音同義語として取り扱う場合に、言語の違いによる音素の出現率や遷移確率などを考慮して、異言語間での意味を共有できるように構成してもよい。さらに、異なる画像特徵に対する類似した音素ラベル系列から、視線方向に基づく形状の違いとして評価する方法も可能である。

上記データベースを用いる際に、店舗などの商業を目的とした検索であれば、店舗の種類や店舗の開店時間、店舗のジャンル、大型店舗内の出店一覧といつた、より細かい項目によって分類しておくことで、より効率的な検索が可能となる。また、インタ一ネット上の情報を併せて用いたり、インタ一ネット経由で情報を共有したりしてもよい。また、携帯電話やウェアラブルコンピュー夕、力一ナビゲーシヨンシステムなどの携行 ·装着型の端末だけではなく、ぺットロポットゃエージェントロポットなどの情報処理機能を有する装置、ロボットを用いることも可能である。

<検索処理の具体的フロー >

次に、図 7を参照して、音声に基づいて情報をキーにしてデータベースから関連する情報を検索する処理を説明する。

まず、ステップ S 5 1において、検索処理を開始する。ステップ S 5 2において、携帯情報端末 Aにおける入力部 1 5の音声入力部 1 5 bにより、情報提供要求者である携帯情報端末 Aのユーザが要求する情報に関連する音声を入力する。ステップ S 5 3において、演算部 2 1の音声特徴抽出部 2 1 aにより、入力された音声の音声分析を行って音声特徴や音素特徴を抽出する。ステップ

S 5 4において、演算部 2 1の音素列生成部 2 l. bにより、抽出された音声特徵ゃ音素特徴に基づいて音素列を生成する。

音声に関する上記処理とともに、ステップ S 5 5において、音声入力に応じて、位置確認部 2 7により、携帯情報端末 Aの位置を検出する。ステップ S 2 6において、必要な位置情報を選択 ·特定する。加えて、ステップ S 5 7において、音声入力に応じて、撮像部 2 5により周辺環境に関する撮像を行い、ステツプ S 2 8において、演算部 2 1の画像特徴抽出部 2 1 cにより、撮像された画像から画像特徴を抽出する。

上記各ステップにおいて得られた各情報であって、同じ音声入力に応じて得られた情報に基づき、ステップ S 5 9において、情報処理装置 Bにより、デ一夕ベースから関連する情報を検索し、併せて付加情報をも付加して、携帯情報端末 Aに送られる。

これらの関連する情報が、たとえば携帯情報端末 Aの表示部 1 7に表示される。ユーザは表示部 1 7に表示された情報を参考にして行動することができる上記検索結果を利用者に提示するサービスは、たとえば、グラフィ—カルな地図や経路動画像を表示し、指定の店舗までの経路を提示したり、音声を用いて要所要所において方向を指示したりしてもよい。また、店舗に勤務する者やその店舗の利用者が、宣伝や評価などの情報を付加すること、利用時間帯に応じて昼は食事、夜は居酒屋の情報に切り替えるなどの工夫をすることで、有効かつ効率的な情報支援を行うことができる。

さらに、上記サービスに関する統合的な応用例として、 G P Sなどの様々な技術で渋谷駅の「ハチ公像」の前であることを位置情報により特定した後、「八チ」「ビデオ」などのキーワードを用いた多重条件検索を行うと「忠犬ハチ公」の映画を見ることができるようにすることも可能である。また、映画の中の会話で「ハチ」と言う単語が出てきている場面や「ハチ公」の出ている画面のみを検索することも可能である。

なお、再び図 6を参照して説明すると、「八チ」という音声情報が入力された場合であっても、確認された位置が、例えば水戸市内である場合や、江戸下町界隈に特定された場合における検索結果は、異なるものとなる場合がある。たとえば、位置情報が水戸市と特定された場合には、「ハチ」に関連した登場人物を有し、且つ「水戸市」に関連した人気テレビ番組の情報が優先的に付加されるようにしてもよい。また、位置情報が東京下町である場合には、「ハチ j に関連した「東京下町」の貧乏長屋の人物についての話しである古典落語に関連する情報が提示される。

このように、同音である塲合には紛らわしいため、位置情報をも加味することにより、認識の精度を向上させることができる。

上述の水戸偕楽園の例に示すように、各地の名所案内とその名所に関連する情報の提示も可能であり、旅行ガイドとして用いることもできる。また、障害者の誘導などに応用することも可能であろう。

この際、従来の音声認識技術を用いて、複数の単語の関係に対し文法的規制 'を入れた一り、構文解析を施したりすることにより、より効率的な検索条件の設定を行ってもよい。

なお、位置や方向を検出する方法としては、 G P S、速度センサー、地磁気センサ一などを組み合わせ、カーナビゲーシヨンシステムのように位置を検出したり、それぞれの場所に位置を示す I Dを発信するタグなどを設け、受信した I Dに基づいて位置を検出してもよい。

もちろん、これらのラベリングを施す倩報は店舗や看板、時刻表、案内図、記念碑などの地域に根ざした市街情報に限らず、生えている木や草花、動物や昆虫などの郊外の自然情報などであってもよい。たとえば、音声情報が「ォゼ J であり、位置情報が尾瀬の方向に向かっている場合には、尾瀬の水芭蕉の花の見所などの関連情報が提供されるようにしてもよい。そして、これらの検索に自然情報を用いる場合、次のような手法が考えられる。

まず、入力された周囲の風景を季節、天候、時間帯といった自然状況に応じて変化する形状や輪郭の周波数分布、色彩や輝度、彩度の変化をはじめとした画像情報や騒音や環境音などの音響情報、風力、気温、雨量、地磁気の変化などの自然における具体的な状況の変化に基づいて条件を構成しデータ分類する。次に、画像や地域に関わる特徴情報を用いて統計的な特徴の偏りを分析するそして、この評価結果を登録された情報の自然情報に関するラベリングに用いたり、検索における天候などの状況変化を踏まえた利用者への送信内容の修正や補正に用いたりするといつた方法や、利用者自身が検索キーに用いたり、システムが自動的に挿入する検索キ一として利用することも可能である。もちろん、これらの情報を表現する音声を元に I Dや音素列による意味タグを構成してもよいし、その音声特徴を調査、研究するための音素デ一夕ベースを構築に用いてもよい。

このよ—うなデ一夕ベース構成するために、そのラベル入力者はインデクサ一もしくはラベラーという職業として確立されるようにしてもよい。また、この作業を職業として行う上で、嘘や間違い、偽りの情報を入力するラベラーが賃金支払いに関し課題となると予想できる。しかし、他のラベラーとの、たとえば、同一地域における特定の名称や天候といった客観的情報の類似度、データ利用者のラベリング情報に対する評価といった情報、データベース構築側からの信頼できるスタッフの派遣、既に登録されている地図方法に基づいた客観的な情報の登録状況といった手法を用いて、個々のラベラ一における発言登録内容の信憑性を統計的に評価し課題の解決を図ることが可能である。

また、これらの情報入力作業は、移動することができ、周囲の物体の名称や状況を発話できれば、従来の地図などの書類や現地の看板を見ながらキ一ボードにより入力するよりも効率的な地域'関連情報の入力が可能となる。このため、年齢や教育、経験といった能力差の影響を受けない労働環境の提供も可能となり、長期失業者や定年退職者といった労働力によるデ一夕ベース構築が実現可能である。そして、これらの賃金体系は先の信憑性や他のラベラ一が気付かない情報を入力してくれるラベラー、利用者の多い情報を入力するラベラーといった情報の利用者評価に基づいて勤務評価をするといつたオークション的方法を取ることもできる。また、ラベラーはデ一夕ベース側に登録されていなかつたり、デ一夕べ一ス内での類似度や尤度の評価において的確な対象特徴情報群が特定できない場合に、データベース側からの依頼に応じて、新しくラベリングを施すための情報を提供してもよい。もちろん、画像、音声または位置などの情報を得るために、光学や画像、音像、形状、色彩、音響などの各種特徴を相互に組み合わせたり、統計的関連性による重み付けを行い検索することも可能である。

もちろん、本発明は以上の実施形態に限定されるものではなく、細部については様々な態様が可能である。産業上の利用可能性

以上詳しく説明したとおり、本発明によって、市街情報を代表とする各種情報のデータベースへの登録およびデータベースからの検索を、誰でも簡単にかつ精度良く行うことのできる新しい情報提供システム、ならびにそれに用いられる携帯情報端末および情報処理装置が提供される。これにより、手間を要するラベリング作業を、音声と位置に関する情報に基づいて関連付けすることにより、都市データベースを構築することが可能となり、生活者に対する情報支援を実現することにより、生活利便性の向上を図.ること.も可能である。

Claims

請求の範囲

1 . データベースに登録する情報を携帯情報端末から情報処理装置へ提供する情報提供システムであって、

携帯情報端末は、

情報登録時に登録情報としての音声を入力する音声入力部と、

音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、 ' 情報登録時に登録情報としての携帯情報端末の位置情報を取得する位置確認部と、

情報登録時に登録情報としての前記音声情報および前記位置情報に関連する付加情報を入力する付加情報入力部と、

音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および付加情報入力部により入力された前記付加情報を情報処理装置へ送信する送信部とを備えており、

情報処理装置は、

携帯情報端末から送られてきた前記音声-情報、前記位置情報および前記付加情報を-受信する受信部と、

受信部により受信された前記音声情報、前記位置情報および前記付加情報を互いに関連付けてデータベースに記憶させる情報処理部とを備えている、ことを特徴とする情報提供システム。

2 . データベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、

携帯情報端末は、

情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力部と、

音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、

情報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、

音声演算部により得られた前記音声情報および位置確認部により得られた前記位置情報を情報処理装置へ送信する送信部と、

情報処理装置から送られてきた付加情報を前記要求する情報として受信する受信部とを備えており、 - 情報処理装置は、

携帯情報端末から送られてきた前記音声情報および前記位置情報を受信する受信部と、

音声情報、位置情報および付加情報を互いに関連付けて予め記憶しているデータベースから、受信部により受信された前記音声情報および前記位置情報に関連する付加情報を検索する情報処理部と、

情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、

ことを特-徵とする情報提供システム。

3 . データベースに登録する情報を携帯情報端末から情報処理装置へ提供し、またデータベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、

携帯情報端末は、

情報登録時に登録情報としての音声を入力し、また情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力部と、

情報登録時に音声入力部により入力された前記音声に基づく音声情報を取得し、また情報提供要求時に音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、 .

情報登録時に登録情報としての携帯情報端末の位置情報を取得し、また倩報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、

情報登録時に音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および付加情報入力部により入力された前記付加情報を情報処理装置へ送信し、また情報提供要求時に音声演算部により得られた前記音声倩報および位置確認部により得られた前記位置情報を情報処理装置へ送信する送信部と、

情報処理装置から送られてきた付加情報を前記要求する情報として受信する受信部とを備えており、

情報処理装置は、

情報登録時に携帯情報端末から送られてきた前記音声情報、前記位置情報および前記付加情報を受信し、また情報提供要求時に携帯情報端末から送られてきた前—記音声情報および前記位置情報を受信する受信部と、

情報登録時に受信部により受信された前記音声情報、前記位置情報および前記付加情報を互いに関連付けてデータベースに記憶させ、また当該データべースから、情報提供要求時に受信部により受信された前記音声情報および前記位置情報に関連する付加情報を検索する情報処理部と、

ことを特徴とする情報提供システム。

4 . データベースに登録する情報を携帯情報端末から情報処理装置へ提供する情報提供システムであって、

携帯情報端末は、

情報登録時に登録情報としての携帯情報端末の位置情報を取得する位置確認部と、

情報登録時に登録情報としての画像を撮像する画像撮像部と、

画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、

情報登録時に登録情報としての前記音声情報、前記位置情報および前記画像情報に関連する付加情報を入力する付加情報入力部と、

音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報、画像演算部により得られた前記画像情報および付加情報入力部により入力された前記付加情報を情報処理装置へ送信する送信部とを備えており、情報処理装置は、

携帯—情報端末から送られてきた前記音声情報、前記位置情報、前記画像情報および前記付加情報を受信する受信部と、

受信部により受信された前記音声情報、前記位置情報、前記画像情報および前記付加情報を互いに関連付けてデータベースに記憶させる情報処理部とを備えている、

ことを特徴とする情報提供システム。

5 . データベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、携帯情報端末は、

倩報提供要求時に検索キーとしての画像を撮像する画像撮像部と、画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、

音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報およぴ画像演算部により得られた前記画像情報を情報処理装置へ送信する送信部と、

情報処理装置は、

携帯情報端末から送られてきた前記音声情報、前記位置情報および前記画像情報を一受信する受信部と、

音声情報、位置情報、画像情報および付加情報を互いに関連付けて予め記憶しているデータベースから、受信部により受信された前記音声情報、前記位置情報および前記画像情報に関連する付加情報を検索する情報処理部と、

ことを特徴とする情報提供システム。

6 . データベースに登録する情報.を携帯情報端末から情報処理装置へ提供し、またデータベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する情報提供システムであって、 .

携帯情報端末は、

情報登録時に音声入力部により入力された前記音声に基づく音声情報を取得し、また情報提供要求時に音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、

情報登録時に登録情報としての携帯情報端末の位置情報を取得し、また情報提供要求時に検索キーとしての携帯情報端末の位置情報を取得する位置確認部と、

情報登録時に登録情報としての画像を撮像し、また情報提供要求時に検索キーとしての画像を撮像する画像撮像部と、

情報登録時に画像撮像部により撮像された前記画像に基づく画像情報を取得し、情報提供要求時に画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、

情報登録時に音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報、画像演算部により得られた画像情報および付加情報入力部により入力された前記付加情報を情報処理装置へ送信し、また情報提供要求時に音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および画像演算部により得られた画像情報を情報処理装置へ送信する送信部と、

情報処理装置は、

情報登録時に携帯情報端末から送られてきた前記音声情報、前記位置情報、前記画像情報および前記付加情報を受信し、また情報提供要求時に携帯情報端末から送られてきた前記音声情報、前記位置情報および前記画像情報を受信する受信部と、

情報登録時に受信部により受信された前記音声情報、前記位置情報、前記画像情報および前記付加情報を互いに関連付けてデータベースに記憶させ、また当該デ一夕ベースから、情報提供要求時に受信部により受信された前記音声情報、前記位置情報および前記画像情報に関連する付加情報を検索する情報処理部と、

ことを特徴とする情報提供システム。

7 . 前記音声情報は前記音声の音素列を含む情報である、

ことを特徴とする請求項 1ないし 6のいずれかに記載の情報提供システム。

8 . 前記画像情報は前記画像の特徴である、

ことを特徴とする請求項 4ないし 6のいずれかに記載の情報提供システム。

9 . データベースに登録する情報を情報処理装置へ提供する携帯情報端末であって、

情報登録時に登録情報としての携帯情報端末の位置情報を取得する位置確認部と、情報登録時に登録情報としての前記音声情報および前記位置情報に関連する付加情報を入力する付加情報入力部と、

音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および付加情報入力部により入力された前記付加情報を、それらを互いに関連付けてデータベースに記憶させる情報処理装置へ送信する送信部とを備えている、

ことを特徴とする携帯情報端末。

1 0 . データベースに登録されている情報を情報提供要求して情報処理装置から提供される携帯情報端末であって、

情報処装置により音声情報、位置情報および付加情報が互いに関連付けて予め記憶されているデータベースから検索されて送られてきた、前記音声情報および前記位置情報に関連する付加情報を前記要求する情報として受信する受信部とを備えている、

ことを特徴とする携帯情報端末。

1 1 . データベースに登録する情報を情報処理装置へ提供する携帯情報端末であって、

情報登録時に登録情報としての音声を入力する音声入力部と、音声入力部により入力された前記音声に基づく音声情報を取得する音声演算部と、

音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報、画像演算部により得られた前記画像情報および付加情報入力部により入力された前記付加情報を、それらを互いに関連付けてデータベースに記憶させる情報処理装置へ送信する送信部とを備えている、

ことを特徴とする携帯情報端末。

1 2 . データベースに登録されている情報を情報提供要求した携帯情報端末へ情報処理装置から提供する携帯情報端末であって、

情報提供要求時に検索キーとしての要求する情報に関連する音声を入力する音声入力一部と、

情報提供要求時に検索キーとしての画像を撮像する画像撮像部と、画像撮像部により撮像された前記画像に基づく画像情報を取得する画像演算部と、音声演算部により得られた前記音声情報、位置確認部により得られた前記位置情報および画像演算部により得られた前記画像情報を情報処理装置へ送信する送信部と、

情報処理装置により音声情報、位置情報、画像情報および付加情報が互いに関連付けて予め記憶されているデータべ一スから検索されて送られてきた、前記音声情報、前記位置情報および前記画像情報に関連する付加情報を前記要求する情報として受信する受信部とを備えている、

ことを特徴とする携帯情報端末。

1 3 . 前記音声情報は前記音声の音素列を含む情報である、

ことを特徴とする請求項 9ないし 1 2のいずれかに記載の携帯情報端末。

1 4 . 前記画像情報は前記画像の特徴である、

ことを特徴とする請求項 1 1または 1 2に記載の携帯情報端末。

1 5 . 携帯情報端末から提供された情報をデータベースに登録する情報処理装置であって、

携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報、当該携帯情報端末の位置情報および当該携帯情報端末にて入力されたこれら音声情報および位置情報に関連する付加情報を受信する受信部と受信部により受信された前記音声情報、前記位置情報および前記付加情報を互いに関連付けてデータベースに記億させる情報処理部とを備えている、 • ことを特徴とする情報処理装置。

1 6 . データべ一スに登録されている情報を情報提供要求した携帯情報端末へ提供する情報処理装置であって、

携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報および当該携帯情報端末の位置情報を受信する受信部と、音声情報、位置情報および付加情報を互いに関連付けて登録情報として予め記憶しているデータベースから、受信部により受信された前記音声情報および前記位置情報に関連する付加情報を検索する情報処理部と、

ことを特徴とする情報処理装置。

1 7 . 携帯情報端末から提供された情報をデータベースに登録する情報処理装置であって、

携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報、当該携帯情報端末の位置情報、当該携帯情報端末にて撮像された画像に基づく画像情報および当該携帯情報端末にて入力されたこれら音声情報、位置情報および画像情報に関連する付加情報を受信する受信部と、受信部により受信された前記音声情報、前記位置情報、前記画像情報および前記付加情報を互いに関連付けてデータベースに記憶させる情報処理部とを備えている、

ことを特徴とする情報処理装置。

1 8 . データベースに登録されている情報を情報提供要求した携帯情報端末へ提供す _る情報処理装置であって、

携帯情報端末から送られてきた、当該携帯情報端末にて入力された音声に基づく音声情報、当該携帯情報端末の位置情報および当該携帯情報端末にて撮像された画像に基づく画像情報を受信する受信部と、

音声情報、位置情報、画像情報および付加情報を互いに関連付けて予め記憶しているデ一夕ベースから、受信部により受信された前記音声情報、前記位置情報および前記画像情報に関連する付加情報を検索する情報処理部と、情報処理部により検索された付加情報を携帯情報端末へ送信する送信部とを備えている、

ことを特徴とする情報処理装置。

1 9 . 前記音声情報は前記音声の音素列を含む情報である、

ことを特徴とする請求項 1 5ないし 1 8のいずれかに記載の情報処理装置

2 0 . 前記画像情報は前記画像の特徴である、

ことを特徴とする請求項 1 7または 1 8に記載の情報処理装置。