JPH10133847A - Mobile terminal system for voice recognition, database search, and resource access communications - Google Patents

Mobile terminal system for voice recognition, database search, and resource access communications

Info

Publication number
JPH10133847A
JPH10133847A JP8285086A JP28508696A JPH10133847A JP H10133847 A JPH10133847 A JP H10133847A JP 8285086 A JP8285086 A JP 8285086A JP 28508696 A JP28508696 A JP 28508696A JP H10133847 A JPH10133847 A JP H10133847A
Authority
JP
Japan
Prior art keywords
mobile terminal
search
data
unit
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8285086A
Other languages
Japanese (ja)
Inventor
Toru Yamakita
徹 山北
Original Assignee
Casio Comput Co Ltd
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Comput Co Ltd, カシオ計算機株式会社 filed Critical Casio Comput Co Ltd
Priority to JP8285086A priority Critical patent/JPH10133847A/en
Publication of JPH10133847A publication Critical patent/JPH10133847A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To realize voice recognition, database search, and resource access function as a user interface with practical accuracy and cost in communications environment using a mobile terminal. SOLUTION: In the mobile terminal 101, a voice signal inputted from an input part 109 is transmitted to a PHS network 103 from a control part 110 and a communication part 111, and transmitted to a voice control host unit 108 from there via a control host unit 104 and an internet 105. This voice signal is received by a mobile terminal communication control part 116 via a packet transmitting/receiving part 115 in the same unit, and after recognized in a sentence voice recognizing part 117, its search key word is extracted in a search control part 118, and a search processing is executed to a prescribed database engine. The search result HTML sentence data obtained as a result of that is returned to the mobile terminal 101 and received by the control part 110 via the communication part 111 and displayed at an output part 112. By selecting a hyper text on the displayed search result HTML sentence, a user accesses to an arbitrary resource on the internet 105.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、移動(携帯)端末装置において入力された通話音声等の音声を認識しその認識結果に基づいてデータベースを検索する技術、及びインターネット上等のリソースにアクセスする技術に関する。 BACKGROUND OF THE INVENTION The present invention has access to a mobile (portable) terminal recognizes the voice, such as call voice input technology to search the database on the basis of the recognition result in the device, and the Internet Choice Resources about the technology.

【0002】 [0002]

【従来の技術及び発明が解決しようとする課題】音声信号を認識して、文字データに変換して蓄積したり、認識結果を種々のサービスの利用に供したりするための音声認識技術は、様々な産業分野で従来から要請されている。 It recognizes the voice signal BACKGROUND OF 0006], or converted and stored in the character data, voice recognition technology to or subjected to recognition results on the use of various services, various It has been requested from the conventional in such industrial fields.

【0003】近年では、音声認識アルゴリズムの発達により、メインフレームコンピュータ又はワークステーションコンピュータ等を用いた音声認識システムが開発されている。 [0003] In recent years, with the development of speech recognition algorithms, the voice recognition system using a mainframe computer or a workstation computer, etc. have been developed.

【0004】これらのシステムは、例えば、電話音声を入力とする銀行の残高照会システムや座席予約システム、作業員の音声を認識して荷物の自動配送を行う配送荷物の仕分システムを始めとして、種々の産業分野に取り入られつつある。 [0004] These systems are, for example, including the sorting system of delivery luggage to carry out bank balance inquiry system and seat reservation system that receives the telephone voice, the automatic delivery of luggage to recognize the voice of the workers, various It is being Toriira in the industrial field.

【0005】しかし、このような音声認識システムは、 [0005] However, such a speech recognition system,
上述のような大規模なコンピュータシステムの環境のもとでようやく実用的な認識精度を有するレベルに到達したばかりであり、いわゆるパーソナルコンピュータのような小型のコンピュータシステム環境のもとでは、実用的な認識精度を有する安価な音声認識システムは未だ実現されていないのが現状である。 It has just reached a level having finally practical recognition accuracy under environment of large-scale computer system as described above, under such small computer system environment as so-called personal computer, practical inexpensive speech recognition systems with recognition accuracy is has not yet been realized.

【0006】一方、上述のような情報処理技術と並行して、近年、自動車電話・携帯電話やPHS(パーソナルハンディホンシステム)等の移動端末が、急速に普及しつつある。 [0006] On the other hand, in parallel with the information processing technology, such as described above, in recent years, mobile terminals such as a car telephone, mobile phones and PHS (personal handy phone system) is rapidly becoming popular.

【0007】特に、PHSは、小型であると同時に、自動車電話・携帯電話に比較して通話料金が安く、かつ、 [0007] In particular, PHS and, at the same time there is a small, cheaper call rates in comparison with the car phone and mobile phone, and,
「いつでも、どこでも、誰とでも」高い品質で通話ができるという特徴を備えており、爆発的に普及しつつある。 It equipped with a feature that can call in the "anytime, anywhere, with anyone in the" high quality, explosively becoming popular. 更に、PHSは、ISDN(Integrated Services In addition, PHS is, ISDN (Integrated Services
Digital Network:サービス統合デジタル網)をバックボーンとする公衆網であるため、32キロビット/秒の伝送レートでの高速デジタル通信が可能であり、マルチメディア通信分野への応用に対する期待も高まっている。 Digital Network: for a public network to the backbone of the Integrated Services Digital Network), is capable of high-speed digital communication at a transmission rate of 32 kbit / s, there is growing expectations for its application to multimedia communication field.

【0008】更には、移動端末の利便性をいかすべく、 [0008] Furthermore, in order to take advantage of the convenience of the mobile terminal,
携帯電話装置としてだけではなく、携帯情報管理装置としても利用できるような、マルチメディア情報管理/通信端末装置としての実現の可能性も期待されている。 Not only as a mobile telephone device, even such available as a portable information management device, the possibility of realization of a multimedia information management / communication terminal apparatuses are expected. 具体的には、このような移動端末は、通話機能/FAX機能を備えることはもちろん、インターネットや社内ネットワークへのアクセス機能としてのホームページアクセス機能や電子メール通信機能を備えることが予想されるほか、アドレス管理、スケジュール管理、データベース検索/蓄積等の情報管理機能をも兼ね備えることが期待される。 Besides Specifically, such a mobile terminal, it is of course, to be expected to comprise a homepage access function and an e-mail communication function as an access function to the internet or corporate network with call function / FAX function, address management, schedule management, are expected to also combine information management functions such as database search / storage.

【0009】そして、このような移動端末は、人が気軽に利用できるよう、できる限り人にやさしく自然なユーザインタフェースを備えることが要請される。 [0009] In addition, such a mobile terminal, so that people can feel free to use, be equipped with a gentle natural user interface to people as much as possible is requested. 現在実現されているユーザインタフェースとしては、キーボードやマウスによる指操作入力、電子ペンによる手書き入力等が実用化されているが、音声入力等にも対応することができれば、ユーザインタフェースとして理想的である。 The user interface that is currently implemented, the finger operation input by a keyboard or mouse, but the handwriting input or the like with the electronic pen has been put into practical use, if it is possible to cope with voice input, etc., it is ideal as a user interface . 即ち例えば、基本機能としての通話機能を利用しながら通話内容を示す音声信号をデータとして処理し、その処理結果に基づいてインターネット上のデータベースを検索すること等が可能になれば、移動端末の利便性を飛躍的に増大させることが可能になる。 In other words, for example, to process an audio signal indicating the telephone conversation contents while utilizing call function as a basic function as a data, if it becomes possible, such as searching a database on the Internet based on the processing result, convenience of the mobile terminal sex and it is possible to dramatically increase. ここに、移動端末に対してユーザインタフェースとして音声認識機能を適用することの価値を見出すことができる。 Here, it is possible to find the value of applying a speech recognition function as a user interface to the mobile terminal.

【0010】しかし、移動端末は小型でありその情報処理能力は限られている反面、前述したように、現在の音声認識処理では、メインフレームコンピュータ又はワークステーションコンピュータクラスの環境のもとでないと、実用的な認識精度を実現することは困難である。 [0010] However, while the mobile terminal are limited in and its information processing capability small, as described above, in the current speech recognition process, unless Under the mainframe computer or workstation computer class environment, it is difficult to realize a practical recognition accuracy. 従って、現状では、移動端末のユーザインタフェースとして音声認識機能を実現することは非常に困難である、という問題点を有している。 Therefore, at present, it is very difficult to realize a speech recognition function as a user interface of the mobile terminal has a problem that.

【0011】本発明の課題は、移動端末を用いた通信環境において、そのユーザインタフェースとしての音声認識機能を実用的な精度及びコストで実現し、インターネット上でのデータベース検索及び各種リソースへのアクセスを可能とすることにある。 [0011] An object of the present invention, in a communication environment using mobile terminals, and realize the voice recognition function as a user interface at a practical accuracy and cost, the access to the database search and the various resources on the Internet possible that there is to be.

【0012】 [0012]

【課題を解決するための手段】本発明はまず、以下の構成を含む移動端末を有する。 Means for Solving the Problems The present invention first comprises a mobile terminal including the following configuration. 即ち、ホスト接続手段(制御部110、通信部111)は、無線網又は有線網の何れか一方又は両方から構成される中継網(PHS網10 That is, the host connection means (control unit 110, a communication unit 111), a wireless network or relay network configured from either or both of the wired network (PHS network 10
3とインターネット105)を介して間接的に又はその中継網を介さずに直接的にホスト装置である音声制御ホスト装置(音声制御ホスト装置108)に接続する。 3 and is a direct host device not through the indirect or relay network via the Internet 105) connected to the voice control host device (audio control host unit 108).

【0013】音声入力手段(入力部109)は、音声を入力する。 [0013] Voice input means (input unit 109) inputs the speech. 音声データ送信手段(制御部110、通信部111)は、ホスト接続手段による接続動作の後、音声入力手段から入力される音声データを音声制御ホスト装置に送信する。 Audio data transmitting unit (control unit 110, a communication unit 111) after the connection operation by the host connection means, for transmitting the audio data input from the voice input means to the speech control host unit.

【0014】検索結果HTML文章データ受信手段(制御部110、通信部111)は、音声制御ホスト装置から返信されハイパーテキストマークアップ言語HTML [0014] Results HTML text data receiving means (control unit 110, a communication unit 111), Hypertext Markup Language HTML is returned from the speech control host unit
によって記述された検索結果HTML文章データを受信する。 It receives the search results HTML text data that has been described by.

【0015】検索結果HTML文章データ表示/処理手段(制御部110、出力部112)は、その受信された検索結果HTML文章データを表示及び処理する。 [0015] Results HTML text data display / processing unit (control unit 110, an output unit 112) displays and processes the received search result HTML text data. リソースアクセス処理手段(制御部110、通信部111) Resource access processing unit (control unit 110, a communication unit 111)
は、表示される検索結果HTML文章データに含まれかつユーザが指定したアクセス情報(ハイパーテキストに含まれるURL)に対応するホスト装置上のリソース(ホームページデータ、Javaアプレット、ファイルデータ、そのホスト装置のログインアカウント等)に、 The search result HTML text data to the included and the user resource (website data on the host device corresponding to the specified access information (URL that is included in the hyper-text) to be displayed, Java applet, file data, of the host device the login account, etc.),
中継網を介して間接的に又は中継網を介さずに直接的にアクセスして、そのリソースを処理する。 In direct access without going through the indirect or relay network via a relay network, it processes the resource. より具体的には、リソースアクセス処理手段は、上記アクセス情報であるURLにより示されるインターネット等に接続されるホスト装置上のホームページデータやJavaアプレットやファイルデータやそのホスト装置のログインアカウント等の各種リソースに対し、そのURLにより指定されるHTTP(Hyper Text Transfer Protocol)(ホームページデータの取得又はJavaアプレットの取得/実行の場合)、FTP(File TransferProtocol) More specifically, the resource access processing unit, various resources login account or the like of the access information in a home page data and Java applets or file data and its host system on the host device connected to the Internet or the like indicated by the URL for, HTTP, which is designated by the URL (the case of the home page data acquisition or acquisition / execution of Java applets) (Hyper Text Transfer Protocol), FTP (File TransferProtocol)
(ファイルデータの取得の場合)、又はTELNET (In the case of acquisition of file data), or TELNET
(ホスト装置へのログインの場合)等の通信プロトコルを用いて、アクセスする。 Using a communication protocol such as (for login to the host device) to access. この場合、リソースアクセス処理手段は、上記URLによってホームページデータやJavaアプレットやファイルデータ等の取得又は実行が指定されている場合には、それらを、上記HTTP又はFTP等の通信プロトコルを用いてホスト装置から移動端末に転送させて、表示し(ホームページデータの取得の場合)、実行し(Javaアプレットの取得及び実行の場合)、又は蓄積する(ファイルデータの取得の場合)。 In this case, the resource access processing unit, if the acquisition or execution of such home page data or Java applets or file data by the URL is specified, they, the host device using the communication protocol such as the HTTP or FTP thereby transferred to the mobile terminal from the display and (homepage if the acquisition of the data), run (in the case of acquisition and execution of Java applets), or accumulation (for acquisition of the file data). 或いは、リソースアクセス処理手段は、上記UR Alternatively, the resource access processing means, the UR
Lによってホスト装置に対するログインが指定されている場合は、TELNETプロトコルを用いてそのホスト装置にログインする。 If the login to the host apparatus is specified by L, logging in to the host device using the TELNET protocol.

【0016】次に、本発明は、以下の構成を含む音声制御ホスト装置108を有する。 [0016] Next, the present invention has a voice control host device 108 that includes the following configuration. 即ち、移動端末接続手段(パケット送受信部115、移動端末通信制御部11 That is, the mobile terminal connection means (packet transceiver 115, the mobile terminal communication control section 11
6)は、移動端末内のホスト接続手段による接続動作に応答して、移動端末を識別して接続する。 6), in response to a connection operation by the host connection means in the mobile terminal, connecting to identify the mobile terminal.

【0017】音声データ受信手段(パケット送受信部1 The audio data receiving unit (packet transmission unit 1
15、移動端末通信制御部116)は、現在接続されている移動端末毎に、音声データを受信する。 15, the mobile terminal communication control section 116), for each mobile terminal currently connected to receive the audio data. 音声認識手段(移動端末通信制御部116、文音声認識部117) Speech recognition means (mobile terminal communication control section 116, Bun'onsei recognition section 117)
は、現在接続されている移動端末毎に、音声データ受信手段により受信された音声データに対して音声認識処理を実行する。 , For each mobile terminal that is currently connected, to perform a speech recognition process on the voice data received by voice data receiving means.

【0018】検索制御手段(検索制御部118)は、現在接続されている移動端末毎に、音声認識手段による音声認識処理によって得られる認識音声データから検索キーワードを抽出し、その検索キーワードに対応するリソースに対するアクセス情報を含む検索結果HTML文章データを所定のデータベースシステムから検索する。 The search control means (search control unit 118), for each mobile terminal that is currently connected, and extracts a search keyword from the recognized speech data obtained by the speech recognition processing by the speech recognition means, corresponding to the search keyword results HTML text data including the access information for the resource to search from a given database system. この所定のデータベースシステムは、例えば、インターネットに接続される所定のホスト装置が提供する。 The predetermined database system, for example, a given host device connected to the Internet provides.

【0019】また、上述の検索制御手段は、例えば、以下の検索インデックス作成手段、検索キーワード抽出手段、及び検索実行手段を含む。 Further, the above-described search control means comprises, for example, the following search indexing means, the search keyword extracting means, and the search executing means. 即ちまず、検索インデックス作成手段は、現在接続されている移動端末毎に、音声認識手段による音声認識処理によって得られる認識音声データを所定の分類規則に従って分類することにより、より具体的には、例えば入力されたデータ中に現れる各単語を出現回数の多い順に分類することによって、 That first search index creation means, for each mobile terminal that is currently connected, by classifying according to a predetermined classification rule recognized speech data obtained by the speech recognition processing by the speech recognition means, more specifically, for example, by classifying each word appearing in the input data in descending order of the number of occurrences,
検索インデックスを作成する。 To create a search index. 検索キーワード抽出手段は、現在接続されている移動端末毎に、検索インデックス作成手段により作成される検索インデックスから所定の抽出基準を満たす語句を抽出し、より具体的には、例えば出現回数が所定回数以上の単語又は所定の出現回数順位以上の順位の単語を抽出し、その抽出された語句から所定の不要キーワードを除去し、その結果得られる語句のうち新規のものを検索キーワードとして抽出する。 Search keyword extracting means, for each mobile terminal that is currently connected, and extracts the word that satisfies the predetermined extraction reference from the search index that is created by the search index creation means, more specifically, for example, number of occurrences predetermined number extracting words or more words or predetermined number of occurrences rank higher rank, removing a predetermined unnecessary keywords from the extracted words to extract the ones novel of words obtained as a result as a search keyword.
そして、検索実行手段は、検索キーワードに対応する検索結果HTML文章データを所定のデータベースシステムから検索する。 The search execution unit searches the search result HTML text data corresponding to the search keyword from a predetermined database system. なお、検索インデックスの作成処理と不要キーワードの除去処理は、逆の順序で実行されてもよく、それも本発明の権利範囲である。 Incidentally, removal processing of the creation process and unwanted keyword search index may be executed in reverse order, it is also a scope of the present invention.

【0020】検索結果HTML文章データ返信手段(移動端末通信制御部116、パケット送受信部115) [0020] Results HTML text data return means (mobile terminal communication control unit 116, packet transmission unit 115)
は、現在接続されている移動端末毎に、検索制御手段による検索処理によって得られる検索結果HTML文章データを、それに対応する移動端末に返信する。 , For each mobile terminal that is currently connected, the search results HTML text data obtained by the search processing by the search control unit, and returns to the mobile terminal corresponding thereto.

【0021】以上の移動端末と音声制御ホスト装置を含む本発明による通信移動端末音声認識/データベース検察通信システムにより、移動端末は、高度な音声認識/ [0021] With the above mobile terminal and communication mobile device voice recognition / database prosecution communication system according to the invention comprising a speech control host unit, mobile terminal, advanced speech recognition /
データベース検索/リソースアクセス環境を設備する必要がなく実用的な精度を有する音声認識/データベース検索機能の提供を低コストで受けることができる。 Providing voice recognition / database search function with practical accuracy is not necessary to the equipment database search / resource access environment can be received at a low cost.

【0022】上述の発明の構成は、下記の限定を含むことができる。 [0022] The foregoing invention construction may include limiting the following. 即ち、まず、移動端末は、パーソナルハンディホンシステム通信機能(通信部111)を備える。 That is, first, the mobile terminal includes a personal handy phone system communication function (communication section 111).

【0023】次に、中継網は、パーソナルハンディホンシステム通信網(PHS網103)とインターネット(インターネット105)を含む。 [0023] Next, the relay network, including personal handy phone system communication network (PHS network 103) the Internet (Internet 105). また、音声制御ホスト装置及び前述のアクセス情報に対応するホスト装置は、インターネットに接続する。 The host device corresponding to the voice control host device and the aforementioned access information, to connect to the Internet.

【0024】そして、移動端末内のホスト接続手段又はリソースアクセス処理手段は、パーソナルハンディホンシステム通信網を介して、そのパーソナルハンディホンシステム通信網を含む公衆網とインターネットとの間のゲートウエイ機能を有する移動端末制御ホスト装置(移動端末制御ホスト装置104)に発信し接続することによって、インターネット上の通信プロトコルを使用して、移動端末制御ホスト装置からインターネットを介して音声制御ホスト装置又は前述のアクセス情報に対応するホスト装置に接続又はアクセスする。 [0024] Then, the host connection means or resource access processing unit in the mobile terminal, via a personal handy phone system network has a gateway function between the public network and the Internet, including the personal handyphone system network by the sending connected to mobile terminal controller host device (mobile terminal controller host device 104), using a communication protocol of the Internet, voice control host device or the aforementioned access information from the mobile terminal control host unit via the Internet connect or access to a host apparatus corresponding to.

【0025】この限定構成によって、現在全国的及び全世界的に普及しつつあるパーソナルハンディホンシステム通信網及びインターネットを経由することにより、実用的な精度を有する音声認識機能と、ワールドワイドなデータベース検索、及びその検索結果に対応するリソースへのアクセス機能の提供を、より低コスト及び手軽に受けることができると同時に、本発明が提供する機能とパーソナルハンディホンシステム通話機能及びインターネットアクセス機能とを、シームレスに結合することができる。 [0025] This limited configuration, by way of the personal handy phone system network and the Internet that is currently becoming popular nationwide and worldwide, a voice recognition function having practical accuracy, worldwide database search , and provides the ability to access resources corresponding to the search results, and a lower cost and at the same time can easily receive it, function and personal handy phone system call function and Internet access feature provided by the present invention, it can be seamless to the binding.

【0026】更に、ホスト接続手段が使用する通信プロトコルは、下記の限定を含むことができる。 Furthermore, the communication protocol host connection means used may include a limited following. 即ち、上記通信プロトコルは、インターネットプロトコル(IP) That is, the communication protocol is Internet Protocol (IP)
層及びトランスミッションコントロールプロトコル(T Layer and Transmission Control Protocol (T
CP)層を含む階層プロトコルである。 A hierarchy protocols including CP) layer.

【0027】次に、インターネット上を伝送されるインターネットプロトコル層のパケットデータであるインターネットプロトコルデータグラム(IPデータグラム) Next, the Internet Protocol datagram is a packet data Internet Protocol layer transmitted on the Internet (IP datagram)
のヘッダ(IPヘッダ)フィールドには、インターネット上での移動端末及び音声制御ホスト装置のアドレスを指定する送信元インターネットプロトコルアドレス及び宛先インターネットプロトコルアドレスが格納され、そのインターネットプロトコルデータグラムのデータフィールドには、トランスミッションコントロールプロトコル層のパケットデータであるトランスミッションコントロールプロトコルセグメントが格納される。 The header (IP header) field, a source Internet Protocol address and destination Internet protocol address that specifies the mobile terminal and the address of the voice control host device over the Internet is stored, in the data field of the internet protocol datagrams , transmission control protocol segment is a packet data transmission control protocol layer is stored.

【0028】また、トランスミッションコントロールプロトコルセグメント(TCPセグメント)のヘッダ(T Further, the header of the Transmission Control Protocol segment (TCP segment) (T
CPヘッダ)フィールドには、音声認識/データベース検索処理のための通信プロトコルを特定する送信元ポート番号及び宛先ポート番号が格納され、そのトランスミッションコントロールプロトコルセグメントのデータフィールドには、移動端末を識別するための端末識別コード、音声データ、又は検索結果HTML文章データが格納される。 The CP header) field, source port number and destination port number specifying the communication protocol for the voice recognition / database search process is stored, in the data field of the Transmission Control Protocol segments to identify mobile terminal terminal identification code, audio data, or search results HTML document data is stored.

【0029】この限定構成によって、移動端末と音声制御ホスト装置とを全世界的に容易に特定できると共に、 [0029] This limited configuration, a mobile terminal and a voice control host device worldwide can be easily identified,
音声認識/データベース検索処理サービスと、その検索結果に基づくリソースへのアクセスサービス、及びその他の情報処理サービスとの共存を容易に実現できる。 A speech recognition / database search processing services, access services to a resource based on the search result, and the coexistence with other information processing services can be easily realized.

【0030】ここまでの発明の構成において、音声制御ホスト装置は、網によって相互に接続され、移動端末接続手段、音声データ受信手段、音声認識手段、データベース手段、検索制御手段、及び検索結果HTML文章データ返信手段に対応する機能を分散して実現する複数のホストコンピュータから構成されるように実現することができる。 [0030] In the configuration of the invention thus far, the speech control host unit are connected to each other by the network, the mobile terminal connection means, the audio data receiving means, speech recognition means, data base means, the search control means, and the search result HTML document a function corresponding to the data return means can be implemented as a plurality of host computers for implementing distributed.

【0031】この限定構成によって、ホスト装置側の負荷分散を容易に実現できる。 [0031] This limited configuration, it is possible to easily realize the load distribution on the host device side. なお、上述した移動端末及び音声制御ホスト装置の単体も、本発明の権利範囲である。 Incidentally, a single mobile terminal described above, and voice control host device is also a scope of the present invention.

【0032】 [0032]

【発明の実施の形態】以下、図面を参照しながら本発明の実施の形態について詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with reference to the drawings, embodiments of the present invention will be described in detail. 本実施の形態では、PHS機能が組み込まれた移動端末において、通話時に又はオフライン状態でマイクから入力された音声信号が、PHS網からインターネットを介して特定の音声サービスプロバイダ内のLANに接続される音声制御ホスト装置に送られ、そこで上記音声信号が認識された後、その認識結果が自動的に分類され、その分類結果に基づいてインターネット上の特定のデータベース検索エンジンがアクセスされ、そこでのデータベースが検索される。 In this embodiment, the mobile terminal PHS function is incorporated, the audio signal input from the microphone or offline during a call is connected to the LAN in a particular voice service provider via the Internet from the PHS network is sent to the voice control host device, where after the audio signal is recognized, the recognition result is automatically classified, the classification based on the result the specific database search engine on the Internet is accessed, the database there It is searched. この結果、音声制御ホスト装置は、移動端末で入力された音声の内容に関連するデータベース情報をインターネットから取得し、それをリアルタイムに移動端末に返送する。 As a result, the voice control host device, the database information related to the content of the voice input in the mobile terminal acquired from the Internet and returns it to the mobile terminal it in real time. このデータベース情報は、移動端末で入力された音声の内容に関連するキーワードを含むインターネット上のホームページ等の各種リソースに対する統一形式アクセス情報であるURLが記述されているハイパーテキストを含むHTML文章(検索結果HTML文章データ)として表現される。 This database information, the unified format access information in a HTML document that contains the hypertext URL have been described (search results for various resources of a Web page or the like on the Internet that contain keywords related to the content of the voice input at the mobile terminal HTML document data) is expressed as. 移動端末は、この検索結果HTML文章データを受信すると、ホームページの閲覧のためのブラウザアプリケーションを起動し、上述の検索結果HTML文章データをホームページ形式で表示する。 The mobile terminal receives this search result HTML text data, launch a browser application for browsing the home page, to display the above-mentioned results HTML text data on the website format. 移動端末のユーザは、ハイパーテキストの一部として表示されたアンカー(テキストアンカー又はグラフィックスアンカー)を電子ペンでタッチ等して選択することによって、そのアンカーと共にハイパーテキストに含まれるURLに対応するインターネット上のホームページやJavaアプレットやファイルやホスト装置のログインアカウント等の各種リソースにアクセスし、移動端末に転送する必要のある場合には、それらのリソースを、移動端末101に転送した後、表示、実行、又は蓄積することができる。 The user of the mobile terminal by selecting an anchor that is displayed as part of a hypertext (text anchor or graphics anchors) Touch like an electronic pen, which corresponds to the URL contained in the hypertext with its anchor Internet accesses various resources login account or the like of the above home page or Java applets, files, host device, when it is necessary to transfer to the mobile terminal, after those resources were transferred to the mobile terminal 101, display, execute , or it can be accumulated. このように、本実施の形態では、 Thus, in this embodiment,
移動端末は、高度な音声認識環境を設備する必要がなく実用的な精度を有する音声認識機能の提供を低コストで受けることができ、かつインターネット上のデータベースの対話的検索機能をも装備することができることが、 Mobile terminal may be provided with a voice recognition function having practical accuracy without the need to facilities advanced speech recognition environment at low cost, and be equipped also an interactive search capabilities of a database on the Internet that it is,
本発明に関連する大きな特徴である。 It is a major feature of the present invention. <システム構成>図1は、本発明の実施の形態の全体システム構成図である。 <System Configuration> FIG. 1 is an overall system diagram of an embodiment of the present invention.

【0033】移動端末101は、PHS端末機能を有しており、無線基地102を介して、無線通信によってP The mobile terminal 101 has a PHS terminal function, via the wireless base 102, P through wireless communication
HS網103に接続される。 It is connected to the HS network 103. 無線基地102は、街路の公衆電話ボックス、電柱、ビル屋上、地下通路等に設けられる公衆無線基地、又は加入者宅内の親子電話装置等である。 The radio base 102, public telephone box streets, utility pole, a rooftop of a building, a public radio base provided in underground passage or the like, or child telephone device such as a customer premises. なお、親子電話装置に接続される場合は、PH Incidentally, when connected to the parent telephone unit, PH
S網を介さずに、直接公衆電話網に接続される。 It not through the S network, is connected directly to the public telephone network. なお、 It should be noted that,
無線基地102の代わりに、有線接続装置を介して、有線通信によってPHS網103又は公衆電話網に接続されるように構成されてもよい。 Instead of the wireless base 102, via a wired connection device may be configured to be connected to the PHS network 103 or the public telephone network by wired communication.

【0034】PHS網103は、公衆電話網又はISD [0034] PHS network 103, public telephone network or ISD
N網と相互接続しており、これらの網には、高速デジタル専用線等によってインターネット105に接続している移動端末制御ホスト装置104が接続されている。 N network and are interconnected, these networks, the mobile terminal control host unit 104 is connected with an Internet connection 105 by high-speed digital dedicated line or the like.

【0035】移動端末101は、無線基地102及びP The mobile terminal 101, the radio base 102 and P
HS網103を介して、上記公衆電話網又はISDN網に接続されている移動端末制御ホスト装置104に自動的にダイヤルアップ発信することによって、インターネット105に接続することができる。 Via the HS network 103, automatically by dialing up call to the mobile terminal control host unit 104 connected to the public telephone network or ISDN network, it can be connected to the Internet 105.

【0036】インターネット105には、高速デジタル専用線等を介して所定の音声サービスプロバイダのLA [0036] Internet 105, the predetermined voice service provider via a high-speed digital dedicated line or the like LA
N107に接続しているルータ装置106が接続されている。 Router device 106 that is connected is connected to the N107. LAN107は、イーサネット方式、ATM(As LAN107 is, the Ethernet system, ATM (As
ynchronous Transfer Mode)方式、又はFDDI方式によるローカルエリアネットワークである。 ynchronous Transfer Mode) system, or a local area network by FDDI systems. LAN107 LAN107
には、更に音声制御ホスト装置108が接続されている。 In is further connected to the speech control host unit 108.

【0037】移動端末101は、移動端末制御ホスト装置104に自動的にダイヤルアップ発信した後に、インターネット105、ルータ装置106、及びLAN10 The mobile terminal 101 may automatically after dial-up call to the mobile terminal control host unit 104, the Internet 105, router 106, and LAN10
7を介して、音声制御ホスト装置108と通信することができる。 7 through, can communicate with the voice control host unit 108.

【0038】今、移動端末101内の入力部109において、ユーザが、タッチパネルから音声制御ホスト装置108との通信を指示すると、制御部110は、通信部111に対して、音声制御ホスト装置108との通信開始を依頼する。 [0038] Now, the input unit 109 in the mobile terminal 101, when the user instructs the communication with voice control host unit 108 from the touch panel, the control unit 110, the communication unit 111, a voice control host device 108 and requests the start of communication.

【0039】通信部111は、制御部110から通信開始を依頼されると、現在移動端末制御ホスト装置104 The communication unit 111, when requested to initiate communication from the control unit 110, the current mobile terminal controller host device 104
に接続していなければ、無線基地(又は有線接続装置) If not connected to the wireless base (or wired connecting device)
102に無線(又は有線)発信してPHS網103に接続した後、移動端末制御ホスト装置104のアクセス電話番号を指定してダイヤルアップ発信する。 After connecting to the PHS network 103 and wireless (or wired) originating in 102, by specifying the access telephone number of the mobile terminal control host unit 104 to dial-up call.

【0040】移動端末制御ホスト装置104が着信すると、移動端末101内の通信部111は、まず、移動端末制御ホスト装置104内の接続確立部113と通信することにより、インターネット105上の標準通信プロトコルであるTCP/IP及びPPP方式による接続の確立のためのネゴシエーションを行う。 [0040] When the mobile terminal control host unit 104 arrives, the communication unit 111 in the mobile terminal 101 first by communicating with the connection establishment section 113 of the mobile terminal control host unit 104, standard communication protocols on the Internet 105 negotiate for the establishment of connection by TCP / IP and PPP scheme is. この結果、移動端末制御ホスト装置104から、移動端末101内の通信部111に対して、インターネット105上の識別アドレスであるIPアドレスが付与され、移動端末101 As a result, the mobile terminal controller host apparatus 104, the communication unit 111 in the mobile terminal 101, IP address is assigned is the identification address on the Internet 105, the mobile terminal 101
は、インターネット105へのアクセスが可能となる。 Is, it is possible to access to the Internet 105.

【0041】移動端末101内の通信部111は、既に移動端末制御ホスト装置104に接続していれば、上記タイヤルアップ発信は省略する。 The mobile communication unit 111 of the terminal 101, as long as connected already to the mobile terminal control host unit 104, the tire Le up outgoing will be omitted. その後、移動端末10 Thereafter, the mobile terminal 10
1内の通信部111は、予め設定されている音声制御ホスト装置108のIPアドレスである“宛先IPアドレス”と、移動端末制御ホスト装置104から付与されたIPアドレスである“送信元IPアドレス”と、移動端末101を識別するための“端末識別コード”(例えばPHS電話番号)と、ユーザの指定に基づく文音声認識/データベース検索処理の開始要求コマンド又は文音声認識/データベース検索処理の終了要求コマンドとが格納されたTCP/IPパケットを、インターネット10 The communication unit 111 in one is the IP address of the voice control host device 108 is preset to "destination IP address" is an IP address is assigned from the mobile terminal control host unit 104 "source IP address" If "terminal identification code" for identifying the mobile terminal 101 (for example, PHS telephone number), start request command or Bun'onsei recognition / termination request database search process Bun'onsei recognition / database search process based on the specification of the user the TCP / IP packet in which the command is stored, the Internet 10
5に向けて送出する。 And sends it toward the 5.

【0042】このTCP/IPパケットは、それに格納されている“宛先IPアドレス”に基づき、移動端末制御ホスト装置104内のルーティング部114とインターネット105内の特には図示しない中継ホスト装置によって、音声サービスプロバイダ内のルータ装置106 [0042] This TCP / IP packet, based on the "destination IP address" stored in it, especially in the mobile terminal control host unit routing unit 114 and the Internet 105 in the 104 are not illustrated relay host device, voice services router in the provider device 106
まで転送された後、更に、LAN107を介して音声制御ホスト装置108内のパケット送受信部115まで転送される。 After being transferred to, and is further transferred to the packet transceiver unit 115 in the speech control host unit 108 through the LAN 107.

【0043】パケット送受信部115は、受信したTC The packet transceiver 115, the received TC
P/IPパケットから、“送信元IPアドレス”と、 From P / IP packet, and "source IP address",
“端末識別コード”と、文音声認識/データベース検索処理の開始要求コマンド又は文音声認識/データベース検索処理の終了要求コマンドとを取り出して、音声制御ホスト装置108内の移動端末通信制御部116に引き渡す。 And "terminal identification code", it is taken out and a command of request of completion of start request command or Bun'onsei recognition / database search process Bun'onsei recognition / database search process, delivers to the mobile terminal communication control section 116 in the speech control host unit 108 .

【0044】移動端末通信制御部116は、引き渡された“送信元IPアドレス”と、“端末識別コード”と、 The mobile terminal communication control section 116, and delivered the "source IP address", the "terminal identification code",
文音声認識/データベース検索処理の開始要求コマンド又は文音声認識/データベース検索処理の終了要求コマンドに関する情報を後述する処理端末登録テーブル(図12)に登録した後、パケット送受信部115に対して、送信許可データが格納されたTCP/IPパケットの移動端末101への返信を依頼する。 After registering the Bun'onsei recognition / database search start the processing request command or Bun'onsei recognition / database search processing processing terminal registration table described below information about completion request command (Fig. 12), the packet transmitting and receiving unit 115, transmission requesting a reply to the mobile terminal 101 of the authorization data are stored TCP / IP packets.

【0045】パケット送受信部115は、対応するTC The packet transceiver 115, the corresponding TC
P/IPパケットを、移動端末101に対応するIPアドレスに向けて送信する。 The P / IP packet, and transmits it to the IP address corresponding to the mobile terminal 101. このようにして、音声制御ホスト装置108は、移動端末101から転送されてくる音声データに対して文音声認識/データベース検索処理を実行することが可能となる。 In this way, the voice control host device 108, it is possible to execute the sentence speech recognition / database search processing on the audio data transferred from the mobile terminal 101.

【0046】移動端末101内の通信部111は、音声制御ホスト装置108から上記送信許可データが格納されたTCP/IPパケットを受信すると、それに格納されている送信許可データを制御部110に引き渡す。 The communication unit 111 of the mobile terminal 101 receives the TCP / IP packets the transmission permission data is stored from the voice control host unit 108 passes the transmission permission data stored on it to the control unit 110.

【0047】移動端末101内の制御部110は、上記送信許可データを引き渡された後、通信部111に対して、通話動作又はオフライン状態での音声入力動作によってマイクから入力された音声データの音声制御ホスト装置108への送信を依頼する。 The control unit 110 of the mobile terminal 101, after being handed over to the transmission permissible data to the communication unit 111, the voice of the voice data inputted from the microphone by the voice input operation at call operation or off-line state to request transmission to the control host unit 108.

【0048】通信部111は、上記音声データが格納されたTCP/IPパケットを、音声制御ホスト装置10 The communication unit 111, a TCP / IP packets the audio data is stored, the voice control host device 10
8に対応するIPアドレスに向けて送信する。 It is transmitted to the IP address corresponding to the 8. このTC This TC
P/IPパケットは、それに格納されている“宛先IP P / IP packet is stored in it, "destination IP
アドレス”に基づき、移動端末制御ホスト装置104内のルーティング部114、インターネット105内の特には図示しない中継ホスト装置、音声サービスプロバイダ内のルータ装置106、及びLAN107を介して、 Based on the address ", the mobile terminal control host unit 104 of the routing unit 114, the relay host apparatus is especially in the Internet 105 (not shown), via a router device 106, and LAN107 voice service provider,
音声制御ホスト装置108内のパケット送受信部115 Packet transceiver 115 of the voice control host device 108
まで転送される。 Until it is transferred.

【0049】パケット送受信部115は、受信したTC The packet transceiver 115, the received TC
P/IPパケットに格納されている音声データを取り出し、それを音声制御ホスト装置108内の移動端末通信制御部116に引き渡す。 Taking out the audio data stored in the P / IP packet, and passes it to the mobile terminal communication control section 116 in the speech control host unit 108.

【0050】移動端末通信制御部116は、引き渡された音声データを文音声認識部117に引き渡す。 The mobile terminal communication control section 116 transfers the audio data delivered to Bun'onsei recognition unit 117. 文音声認識部117は、引き渡された音声データに対し文音声認識処理を実行し、認識結果である認識音声文章データを検索制御部118に引き渡す。 Bun'onsei recognition unit 117 executes the statement speech recognition processing on the audio data passed, pass the recognized speech text data is the recognition result to the search control unit 118. 検索制御部118は、 The search control unit 118,
認識音声文章データを、移動端末101別にインデックス分類し、その結果得られる検索インデックスに基づき不要キーワード辞書を参照しながら検索キーワードを抽出する。 The recognized speech text data, the mobile terminal 101 to separate the index classification, extracts a search keyword by referring to unnecessary keyword dictionary based on the search index obtained as a result. そして、検索制御部118は、インターネット105上の予め登録されている特定のデータベース検索エンジンに対して、検索キーワードによる問合せを依頼する。 Then, the search control unit 118, for a particular database search engines that are registered in advance on the Internet 105 and requests the query by the search keyword. その結果、検索制御部118は、データベース検索エンジンから返される検索結果に基づき検索結果HT As a result, the search control unit 118, the search results based on the search results returned from the database search engine HT
ML文章データを生成し、それを移動端末通信制御部1 Generates ML text data, the mobile terminal communication control section 1 it
16に引き渡す。 Deliver to 16. この検索結果HTML文章データは、 The search result HTML text data,
移動端末101で入力された音声の内容に関連する上記検索キーワードを含むインターネット105上の任意のホームページ等の各種リソースに対する統一形式アクセス情報であるURL(Uniform Resource Locator)が記述されているハイパーテキストを含むハイパーテキストマークアップランゲージHTMLである。 The hypertext URL is uniform format access information to the various resources, such as any home page on the Internet 105 that contain the search keywords related to the content of the voice input in the mobile terminal 101 (Uniform Resource Locator) is described is a hypertext mark-up language HTML, including.

【0051】今、例えば、移動端末101におけるPH [0051] Now, for example, PH in the mobile terminal 101
S通話において、図17に示されるような会話がやりとりされたとする。 In S call, the were exchanged conversation as shown in Figure 17. これに対して、文音声認識部117 On the other hand, Bun'onsei recognition unit 117
は、途中経過として、図18に示されるような認識音声文章データを出力する。 As-progress, and it outputs the recognized speech text data as shown in FIG. 18. なお、“*”は、文音声認識部117によって付加される単語の区切りである。 Note that "*" is a delimiter of a word that is added by the Bun'onsei recognition unit 117. この認識音声文章データを入力した検索制御部118は、途中経過として、例えば、図19に示されるような検索インデックスを作成して、その中で例えば出現回数が2回を超えた単語“時計”及び“カシオ”を、検索キーワードとして抽出する。 The search control unit 118 has received the recognized speech text data as-progress, for example, by creating a search index as shown in FIG. 19, the words for example number of occurrences in therein exceeds twice "watch" and the "Casio", is extracted as a search keyword. そして、この検索キーワード(アンド条件)によるインターネット105上の特定のデータベース検索エンジンに対する問合せの結果として、図20 Then, as a result of a query for a particular database search engine on the internet 105 by the search keyword (AND condition), FIG. 20
に示されるような検索結果HTML文章データを生成する。 To generate search results HTML text data such as that shown in. このHTMLデータにおいて、例えば、“<A HREF In this HTML data, for example, "<A HREF
="http://www.casio.co.jp/">カシオホームページ</A = "Http://www.casio.co.jp/"> Casio home page </ A
>”がカシオホームページに対応するハイパーテキストで、"http://www.casio.co.jp/"が上記ホームページのURLを示し、“カシオホームページ”がそのURLにアクセスするためのテキストアンカーを示している。上記URLは、アドレス情報“www.casio.co.jp/”と、そのアドレスのリソースにアクセスするための通信プロトコル情報“http”とを含む。また、それに続く“<DD>” > "Is in hypertext corresponding to the Casio website," http://www.casio.co.jp/ "indicates the URL of the home page," shows the text anchor for Casio Homepage "to access the URL and are. the URL includes the address information "www.casio.co.jp/", and a communication protocol information "http" to access the resources of the address. Further, followed by "<DD>"
以降の文章が、上述のデータベース検索エンジンから自動的に得られる説明文である。 Throughout the following text is a description of automatically obtained from the database search engine above. なお、“ <”と“> ”で囲まれた記号は、表示制御用の記号である。 The symbol surrounded by "<" and ">" is a symbol for the display control.

【0052】移動端末通信制御部116は、検索結果H [0052] The mobile terminal communication control section 116, the search result H
TML文章データが格納されたTCP/IPパケットの移動端末101への返信を依頼する。 TML text data is requested to reply to the mobile terminal 101 of the stored TCP / IP packets. パケット送受信部115は、対応するTCP/IPパケットを、移動端末101に対応するIPアドレスに向けて送信する。 Packet transceiver 115, the corresponding TCP / IP packet, and transmits it to the IP address corresponding to the mobile terminal 101.

【0053】移動端末101内の通信部111は、音声制御ホスト装置108から上記検索結果HTML文章データが格納されたTCP/IPパケットを受信すると、 [0053] The mobile communication unit 111 of the terminal 101 receives the TCP / IP packet that the search results HTML document data is stored from the voice control host device 108,
それに格納されている検索結果HTML文章データを制御部110に引き渡す。 Search stored in it the result passes the HTML document data to the control unit 110.

【0054】移動端末101内の制御部110は、ブラウザアプリケーションを起動して、引き渡された検索結果HTML文章データを、ホームページ形式でLCD表示部に表示する。 [0054] The control unit 110 of the mobile terminal 101 activates the browser application, the search results HTML text data passed is displayed on the LCD display unit on the homepage format.

【0055】今、例えば、前述の図20に示される検索結果HTML文章データが受信されると、LCD表示部311(図2の203)には、例えば図21のように検索結果が表示される。 [0055] Now, for example, search results are displayed as the search result HTML document data shown in FIG. 20 described above is received, the LCD display unit 311 (203 in FIG. 2), for example, FIG. 21 . ここで、下線が付加されたキーワードが、インターネット105上のホームページ等の各種リソースのURLと共にハイパーテキストに含まれるテキストアンカーを示している。 Here, underline is added keyword indicates the text anchors included in the hypertext with the URL of the various resources of the Web page or the like on the Internet 105.

【0056】移動端末101のユーザが、上述のように表示されたアンカーを電子ペンでタッチ等することにより選択すると、移動端末101は、ブラウザアプリケーションの機能により、移動端末制御ホスト装置104を介し、上記アンカーと共にハイパーテキストに含まれるURLにより示されるインターネット105に接続されるホスト装置上のホームページデータやJavaアプレットやファイルデータやホスト装置のログインアカウント等の各種リソースに対し、そのURLにより指定されるHTTP(Hyper Text Transfer Protocol)(ホームページデータの取得又はJavaアプレットの取得及び実行の場合)、FTP(File TransferProtocol)(ファイルデータの取得の場合)、又はTELNET(ホスト装置へのログインの場合)等の通信 [0056] The user of the mobile terminal 101, when an anchor is displayed as described above to select by touching the like with the electronic pen, the mobile terminal 101 by the function of the browser application, via the mobile terminal control host unit 104, to the various resources of the login account, such as the home page data or Java applets and file data or host devices on the host device connected to the Internet 105 as indicated by the URL contained in the hypertext together with the anchor, HTTP, which is designated by the URL (Hyper Text Transfer Protocol) (in the case of acquisition or acquisition and execution of Java applet of the home page data), FTP (file TransferProtocol) (in the case of acquisition of file data), or TELNET (in the case of logging in to the host device) communication such as プロトコルを用いて、アクセスする。 Using a protocol, to access. この場合、移動端末101は、上記URLによってホームページデータやJavaアプレットやファイルデータ等の取得又は実行が指定されている場合には、それらを、上記HTTP又はFTP等の通信プロトコルを用いてホスト装置から移動端末101に転送させて、LCD表示部311(図2の203)に表示し(ホームページデータの取得の場合)、CPU316 In this case, the mobile terminal 101, if the acquisition or execution of such home page data or Java applets or file data is specified by the URL, they, from the host device using the communication protocol such as the HTTP or FTP by transferring to the mobile terminal 101, and displayed on the LCD display unit 311 (203 in FIG. 2) (in the case of acquisition of the home page data), CPU 316
に実行させ(Javaアプレットの取得及び実行の場合)、又はRAM317に蓄積する(ファイルデータの取得の場合)。 It is performed (in the case of acquisition and execution of Java applets), or accumulate in RAM 317 (in the case of acquisition of file data). 或いは、移動端末101は、上記URL Alternatively, the mobile terminal 101, the URL
によってホスト装置に対するログインが指定されている場合は、TELNETプロトコルを用いてそのホスト装置にログインする。 If the login to the host device is specified by the logs into the host device using the TELNET protocol.

【0057】今、図21に示される検索結果の表示画面上で、ユーザが、例えば、テキストアンカー“ WATCH WA [0057] Now, the search results on the display screen shown in Figure 21, the user, for example, text anchor "WATCH WA
TCHES! ”を選択すると、URL“http://www.casio.co. TCHES! "If you select, URL" http://www.casio.co.
jp”を有するインターネット105上のホスト装置内の“ww”ディレクトリから、HTTP通信プロトコルを用いて、図22に示されるようなホームページが取得され、LCD表示部311(図2の203)に表示される。同様に、ユーザが、例えば、テキストアンカー“カシオホームページ”を選択すると、URL“http://ww From ww "directory" in the host device on the Internet 105 with a "uk, using HTTP communication protocol, the acquired home, as shown in FIG. 22, is displayed on the LCD display unit 311 (203 in FIG. 2) . that Similarly, the user is, for example, when you select the text anchor "Casio home page", URL "http: // ww
w.casio.co.jp”を有するインターネット105上のホスト装置内の“/ ”ディレクトリ(Webルートディレクトリ)から、図23に示されるようなホームページが取得され、LCD表示部311(図2の203)に表示される。 <移動端末101の外観構成>図2は、図1の移動端末101の外観図である。 From / "directory" in the host device on the Internet 105 with a "W.Casio.Co.Jp (Web root directory), the home page shown in Figure 23 is obtained, the LCD display unit 311 (FIG. 2 203 2 <external structure of the mobile terminal 101> is the. display on) is an external view of a mobile terminal 101 in FIG.

【0058】移動端末101は、コンパクトな携帯情報管理装置の外観を有し、音声を入力するための送話器を兼ねたマイク201と、本発明には特には関連しないが画像を入力するためのカメラ202と、各種情報を表示し、またタッチ入力又はペン入力を受け付けるタッチパネル機能を有するLCD表示部203と、音声を出力するための受話器を兼ねたスピーカ204を有する、また、図1の無線基地102に発信するための無線アンテナ205と、無線基地102の代わりの有線接続装置に接続するためのソケット206を有する。 [0058] The mobile terminal 101 has the appearance of a compact portable information management device, a microphone 201 which also serves as a transmitter for inputting voice, especially because in the present invention is not related to input an image and the camera 202, displays various information, and an LCD display unit 203 having a touch panel function of receiving a touch input or stylus input, a speaker 204 which also serves as a receiver for outputting voice, also in FIG. 1 radio having a radio antenna 205 for transmitting to the base 102, a socket 206 for connection to a wired connection device instead of the radio base 102.

【0059】更に、各種ICカードを挿入するためのI [0059] In addition, I for the insertion of the various types of IC card
Cカードスロット207と、他の移動端末101又はパーソナルコンピュータ等との間で赤外線光通信を行うための光送受信機208を有する。 A C card slot 207 has an optical transceiver 208 for performing infrared optical communication between such other mobile terminal 101 or a personal computer.

【0060】スイッチ209は、電源スイッチである。 [0060] switch 209 is a power switch. <移動端末101の機能ブロック構成>図3は、移動端末101の機能ブロック図である。 Figure 3 <Functional block configuration of mobile terminal 101> is a functional block diagram of a mobile terminal 101.

【0061】移動端末101は、図1にも示したように、入力部109、制御部110、通信部111、及び出力部112から構成され、それぞれバス326によって相互に接続されている。 [0061] mobile terminal 101, as shown in FIG. 1, the input unit 109, the control unit 110, and a communication unit 111, and an output section 112, they are interconnected by a respective bus 326.

【0062】まず、入力部109は、音声を入力する部分と、本発明には特には関連しないが画像を入力する部分と、出力部112の動作において後述するタッチパネル機構の部分とから構成される。 [0062] First, the input unit 109 is composed of a part for inputting a voice, and a part especially in the present invention is not relevant for inputting an image, a portion of the touch panel mechanism described later in the operation of the output unit 112 .

【0063】音声を入力する部分は、マイク301、A [0063] portion of the input audio, microphone 301, A
/D変換部302、及びマイク制御部303から構成される。 / D conversion unit 302, and a microphone controller 303. マイク301(図2の201に対応)は、PHS Microphone 301 (corresponding to 201 in FIG. 2) is, PHS
電話の送話器を兼ねており、ユーザが発声した音声を入力する。 Also it serves as a transmitter of the telephone, and inputs the voice the user has uttered.

【0064】A/D変換部302は、マイク301から入力されたアナログ音声信号をデジタル音声データに変換し、更にそのデジタル音声データを、PHSの標準音声符号化方式であるADPCM(Adaptive Differentia [0064] A / D conversion unit 302 converts the analog audio signal input from the microphone 301 into digital voice data, further the digital audio data, ADPCM is a standard speech coding system of PHS (Adaptive Differentia
l Pulse Code Modulation:適応差分線形パルス符号化) l Pulse Code Modulation: adaptive differential linear pulse coding)
方式によって符号化する。 Encoding the scheme. なお、この部分は、PHS端末を構成するLSI集積回路として、既に実用化されている。 Note that this portion, as an LSI integrated circuit constituting a PHS terminal, has already been put into practical use.

【0065】マイク制御部303は、上述の符号化された音声データを、通話時には、通信部111内の通信制御部321に転送して通話チャネルに載せると共に、文音声認識/データベース検索処理時には、更に制御部1 [0065] microphone control section 303, the encoded audio data of the above, at the time of a call, with placed on communication channel is transferred to the communication control unit 321 in the communication unit 111, at the time Bun'onsei recognition / database search process, further, the control unit 1
10内のRAM317に転送する。 And transfers it to the RAM317 in the 10.

【0066】一方、画像を入力する部分は、CCD(Ch [0066] On the other hand, part for inputting an image, CCD (Ch
arge Coupled Device )カメラ304、A/D変換部3 arge Coupled Device) camera 304, A / D converter 3
05、メモリ306、及びカメラ制御部307から構成される。 05, and a memory 306 and a camera control unit 307.

【0067】CCDカメラ304は、ユーザの操作に基づいて任意の画像を撮像する。 [0067] CCD camera 304 captures an arbitrary image on the basis of the operation of the user. A/D変換部305は、 A / D converter 305,
CCDカメラ304によって撮像されたアナログ映像信号を、デジタル画像データに変換する。 The analog video signal captured by the CCD camera 304 into digital image data.

【0068】メモリ306は、デジタル画像データをフレーム単位で記憶する。 [0068] Memory 306 stores the digital image data in frame units. カメラ制御部307は、CCD The camera control unit 307, CCD
カメラ304、A/D変換部305、及びメモリ306 Camera 304, A / D conversion unit 305, and memory 306
の動作を制御する。 To control the operation.

【0069】次に、出力部112は、音声を出力する部分と、画像を出力する部分とから構成される。 Next, the output unit 112 is composed of a part for outputting audio, a portion for outputting an image. 音声を出力する部分は、スピーカ308、D/A変換部309、 Portion for outputting sound, a speaker 308, D / A conversion unit 309,
及びスピーカ制御部310から構成される。 And a speaker control unit 310.

【0070】スピーカ制御部310は、通信部111内の通信制御部321から受信されたPHS通話音声データ、又は制御部110内のRAM317から受信された合成音声データを、D/A変換部309に転送する。 [0070] speaker control unit 310, PHS call voice data received from the communication control unit 321 in the communication unit 111, or a synthesized voice data received from the RAM317 of the control unit 110, the D / A converter section 309 Forward.

【0071】D/A変換部309は、受信された音声データを復号し、アナログ音声信号に変換し、それをスピーカ308(図2の204に対応)から音声として放音させる。 [0071] D / A conversion unit 309 decodes the received audio data, into an analog audio signal, which is sounded as a sound from the speaker 308 (corresponding to 204 in FIG. 2).

【0072】画像を出力する部分は、LCD表示部20 [0072] portion for outputting an image, LCD display unit 20
3、LCDドライバ312、メモリ313、及びLCD 3, LCD driver 312, memory 313, and LCD
制御部314から構成される。 And a control unit 314. LCD制御部314は、 LCD controller 314,
制御部110内のRAM317から受信された文字データ、イメージデータ、コマンドボタンデータ等の各種画像データをメモリ313にフレーム単位で保持させ、L Character data received from the RAM317 in the control unit 110, image data, various types of image data such as a command button data is held in the memory 313 in frame units, L
CDドライバ312に起動をかける。 The CD driver 312 apply a start-up.

【0073】LCDドライバ312は、メモリ313からフレーム単位で読み出される画像データを、LCD表示部311(図2の203に対応)に表示する。 [0073] The LCD driver 312, the image data read from the memory 313 in frame units, is displayed on the LCD display unit 311 (corresponding to 203 in FIG. 2). なお、 It should be noted that,
LCD表示部311(図2の203)の表面には、透明タッチパネルが配設されており、ユーザは、LCD表示部311に表示されるコマンドボタンデータ等に従って、タッチパネルに指タッチ又はペンタッチすることにより、コマンド入力を行うことができる。 On the surface of the LCD display portion 311 (203 in FIG. 2), and a transparent touch panel is provided, the user, according to the command button data or the like displayed on the LCD display unit 311, by finger touch or pen touch on the touch panel , it is possible to perform the command input. この入力信号は、タッチパネル制御部315によって制御部110内のRAM317に転送される。 The input signal is forwarded to the RAM317 in the control unit 110 by the touch panel control unit 315.

【0074】続いて、制御部110は、CPU316、 [0074] Subsequently, the control unit 110, CPU316,
RAM317、及びROM318と、ICカードインタフェース部319、及び必要に応じてICカードスロット207(図2)に挿入されるICカード320とから構成される。 RAM 317, and a ROM318, composed of an IC card 320. inserted into the IC card slot 207 (FIG. 2) in accordance IC card interface unit 319, and necessary.

【0075】CPU316は、ROM318に記憶された制御プログラムに従って、RAM317をワークエリアとして使用しながら、移動端末101全体の動作を制御する。 [0075] CPU316 according to a control program stored in the ROM318, while using the RAM317 as a work area, and controls the mobile terminal 101 overall operation.

【0076】ICカードインタフェース部319は、I [0076] IC card interface unit 319, I
Cカード320に対するデータの入出力を制御する。 Controlling the input and output of data to C card 320. 最後に、通信部111は、通信制御部321、無線ドライバ322、無線アンテナ323、有線ドライバ324、 Finally, the communication unit 111, the communication control unit 321, a wireless driver 322, the wireless antenna 323, a wired driver 324,
及びソケット325から構成される。 And it consists of the socket 325.

【0077】通信制御部321は、PHS通話処理及びインターネット105との間のTCP/IP通信処理(後述する)を実行し、無線ドライバ322又は有線ドライバ324を制御する。 [0077] The communication control unit 321 performs TCP / IP communication process between the PHS call processing and Internet 105 (described later), and controls the radio drivers 322 or wired driver 324.

【0078】無線ドライバ322は、無線通信時に、通信データを、無線アンテナ323(図2の205に対応)を介して送受信されるPHS無線信号との間で相互変換する。 [0078] Wireless driver 322, at the time of wireless communication, the communication data, interconvert between PHS radio signal transmitted and received through the wireless antenna 323 (corresponding to 205 in FIG. 2). PHS無線信号は、1.9GHzの無線周波数と、300kHzのキャリア周波数間隔と、4チャネル/キャリアのTDMA−TDD無線アクセス方式と、 PHS radio signal, a radio frequency of 1.9 GHz, and 300kHz carrier frequency interval, the TDMA-TDD radio access technology 4 channels / carriers,
π/4シフトQPSK変調方式と、384kbits/ [pi / 4-shift QPSK modulation scheme and, 384 kbits /
secの無線伝送速度に基づく無線信号である。 A radio signal based on the radio transmission rate of sec.

【0079】一方、有線ドライバ324は、有線通信時に、通信データを、ソケット325(図2の206に対応)を介して送受信される有線信号との間で相互変換する。 [0079] On the other hand, wired driver 324, at the time of wired communication, the communication data, interconvert between wireline signals transmitted and received through a socket 325 (corresponding to 206 in FIG. 2). これは、一般的な電話帯域モデム変調信号である。 This is a common telephone band modem modulated signal.
以上の構成を有する本発明の実施の形態の動作について、以下に詳細に説明する。 The operation of the embodiment of the present invention having the above configuration will be described in detail below. <移動端末101の処理>まず、移動端末101の処理について説明する。 <Processing of the mobile terminal 101> First, a description will be given of processing of the mobile terminal 101.

【0080】図4は、図3の制御部110内のCPU3 [0080] Figure 4, CPU 3 in the controller 110 of FIG. 3
16が、電源投入後に、制御部110内のROM318 16, after power-on, in the controller 110 ROM318
に記憶されている制御プログラムを実行する動作として実現される制御動作を示す全体動作フローチャートである。 It is an overall flowchart illustrating a control operation to be realized as an operation for executing a control program stored in the.

【0081】なお、図4、図5、及び図8の動作フローチャートで示される各機能を実現する制御プログラム及びそれに必要なデータは、例えば、図2に示されるIC [0081] Incidentally, IC 4, 5, and data necessary control program and its realizing the functions shown in the operation flowchart in FIG. 8, for example, shown in FIG. 2
カードスロット207に着脱自在なICカード320 Removable IC card into the card slot 207 320
に、CPU316が読み取り可能なプログラムコードの形態で記憶され、そのプログラムコードがCPU316 A, CPU 316 is stored in the form of readable program codes, the program code CPU 316
によって直接実行され、又は、そのプログラムコードが必要に応じてRAM317又は書込み可能なROM31 It is performed directly by or, RAM 317 or writable if necessary its program code ROM31
8にロードされてCPU316によって実行されるように構成されてもよい。 8 may be configured to be executed by the CPU316 is loaded into. 或いは、上述の制御プログラム及びそれに必要なデータは、無線又は有線の通信回線又は光送受信機208(図2)から通信部111を介して他の機器から受信されて、RAM317又は書込み可能なROM318にロードされてCPU316によって実行されるように構成されてもよい。 Alternatively, the control program and data necessary for it described above, is received from another device via the communication unit 111 from the wireless or wired communication line, or an optical transceiver 208 (FIG. 2), the RAM317 or writable ROM318 it may be configured to be executed by the CPU316 is loaded.

【0082】まず、ステップ401→402→403→ [0082] First, step 401 → 402 → 403 →
404→401の繰返しループにおいては、図3のタッチパネル制御部315からタッチパネル入力の検出が通知されたか否かの判定処理(401)、音声制御ホスト装置108(図1)から検索結果HTML文章データが受信されたか否かの判定処理(402)、その他の受信/表示処理(403)、及び必要なデータの送信処理(404)が実行される。 404 In → 401 repeat loop, process of determining whether or not the detection of the touch panel input has been notified from the touch panel control unit 315 of FIG. 3 (401), the search results HTML text data from the voice control host unit 108 (FIG. 1) the received process of determining whether or not (402), the other reception / display processing (403), and the transmission processing of the necessary data (404) is executed.

【0083】タッチパネル制御部315からタッチパネル入力の検出が通知されステップ401の判定がYES [0083] Detection of the touch panel control unit 315 of the touch panel input is notified YES determination in step 401
となると、ステップ405又は406で、上記タッチパネル入力が図3のCCDカメラ304(図2の202) When the, at step 405 or 406, CCD camera 304 of the touch panel input is 3 (202 in FIG. 2)
の入力指示又は図3のマイク301(図2の201)の入力指示であるか否かが、判定される。 An input instruction whether microphone 301 inputs instructions or 3 (201 in FIG. 2) of, are determined.

【0084】タッチパネル入力が図3のCCDカメラ3 [0084] The touch panel input is CCD camera 3 shown in FIG. 3
04(図2の202)の入力指示であってステップ40 04 an input instruction (202 in FIG. 2) Step 40
5の判定がYESとなると、ステップ407で、図3の入力部109内のカメラ制御部307に対して、例えば手書き文字画像等の入力処理の開始が指示される。 When the judgment at 5 is YES, and in step 407, the camera control section 307 in the input unit 109 of FIG. 3, for example, the start of the input processing, such as handwritten character image is instructed. その後、ステップ404の送信処理に進む。 Thereafter, the process proceeds to the transmission processing in step 404. 画像入力処理は、本発明には特には関連しないため、その詳細な説明は省略する。 Image input process, since not related specifically to the present invention, a detailed description thereof is omitted.

【0085】タッチパネル入力が図3のマイク301 [0085] touch panel input is as shown in FIG. 3 microphone 301
(図2の201)の入力指示であってステップ406の判定がYESとなると、ステップ408で、図3の入力部109内のマイク制御部303に対し、音声入力処理の開始が指示される。 When the determination of an input instruction step 406 of (201 in FIG. 2) becomes YES, and in step 408, to the microphone control section 303 in the input unit 109 of FIG. 3, the start of the voice input process is instructed. この音声入力処理の開始指示は、 Start instruction of the voice input processing,
例えばPHS通話処理の開始指示、又は文音声認識/データベース検索処理を実行するためのオフライン状態での音声入力処理の開始指示である。 For example, the start instruction of the PHS call processing, or is a start instruction of the voice input process in the off-line state for performing Bun'onsei recognition / database search process.

【0086】マイク制御部303は、上述のCPU31 [0086] microphone controller 303, described above CPU31
6からの指示によって、マイク301(図2の201) An instruction from 6, a microphone 301 (201 in FIG. 2)
及びA/D変換部302に対して、音声入力の開始を指示する。 And the A / D conversion unit 302, and instructs the start of the voice input. この結果、A/D変換部302からは、マイク301(図2の201)から入力された音声データが出力される。 As a result, from the A / D conversion unit 302, the audio data inputted from the microphone 301 (201 in FIG. 2) is output.

【0087】その後、上述の音声入力処理の開始指示がPHS通話の開始指示である場合には、上述の音声データは、通信制御部321の特には図示しない送信処理によって、所定の通話チャネルに載せられて通話相手に送信される。 [0087] Thereafter, when the start instruction of the voice input process described above is the start instruction of the PHS call, voice data described above, by the transmission processing not shown especially in the communication control unit 321, mounted to a predetermined speech channel is sent to the other party it is.

【0088】また、上述の音声入力処理の開始指示が文音声認識/データベース検索処理のための音声入力処理の開始指示を含む場合には、それ以後マイク301(図2の201)から入力されマイク制御部303から出力された音声データは、後述するステップ404の送信処理において、そこで音声制御ホスト装置108に向けて送信される。 [0088] When the start instruction of the voice input process described above contains an instruction to start speech input processing for Bun'onsei recognition / database retrieval processing is inputted thereto from further microphone 301 (201 in FIG. 2) Microphone audio data output from the controller 303, in the transmission processing in step 404 to be described later, where it is transmitted to the voice control host unit 108.

【0089】タッチパネル入力が図3のCCDカメラ3 [0089] The touch panel input is CCD camera 3 shown in FIG. 3
04(図2の202)の入力指示でも図3のマイク30 04 microphone 30 of FIG. Also the input instruction (202 in FIG. 2) 3
1(図2の201)の入力指示でもない場合には、ステップ405及び406の判定がNOとなって、ステップ409で、他のキー入力処理が実行される。 1 if not an input instruction (201 in FIG. 2), the determination of step 405 and 406 becomes NO, and in step 409, another key input processing is executed. その後、ステップ404の送信処理に進む。 Thereafter, the process proceeds to the transmission processing in step 404.

【0090】一方、音声制御ホスト装置108(図1) [0090] On the other hand, voice control host unit 108 (FIG. 1)
から通信部111を介して制御部110内のRAM31 The control unit 110 via the communication unit 111 from the RAM31
7に検索結果HTML文章データが受信され、ステップ401→402→403→404→401の繰返しループにおけるステップ402の判定がYESとなると、ステップ410において、上記検索結果HTML文章データがRAM317から出力部112内のメモリ313に転送され、LCD制御部314に対して上記検索結果H 7 Results HTML text data is received, when the determination in step 402 becomes YES in the repeating loop of steps 401 → 402 → 403 → 404 → 401, at step 410, the output unit 112 from the search results HTML text data RAM317 is transferred to the memory 313 of the inner, the search result to the LCD controller 314 H
TML文章データの表示が指示される。 TML display of text data is instructed.

【0091】この結果、LCD制御部314の制御によって、メモリ313からLCDドライバ312を介してLCD表示部311(図2の203)に、受信された検索結果HTML文章データが表示される。 [0091] Consequently, the control of the LCD control unit 314, the LCD display unit 311 from the memory 313 via the LCD driver 312 (203 in FIG. 2), the received search result HTML text data is displayed.

【0092】次に、ステップ404の送信処理について説明する。 Next, a description will be given of the transmission processing in step 404. 図5は、上記送信処理の詳細を示す動作フローチャートである。 Figure 5 is a flowchart showing details of the transmission processing. まず、ステップ501では、図4のステップ409の他キー入力処理によって処理されたタッチパネルからのキー入力が送信指示を伴っているか否かが判定される。 First, in step 501, whether or not the key input from the touch panel that has been processed by another key input processing in step 409 of FIG. 4 is accompanied by transmission instruction is determined. この判定がNOの場合には、ステップ505の処理へ進む。 This determination is NO, the process proceeds to step 505.

【0093】ステップ501の判定がYESの場合には、ステップ502で、移動端末101が現在図1の移動端末制御ホスト装置104に接続中であるか否かが判定される。 [0093] If the determination in step 501 is YES, at step 502, the mobile terminal 101 whether a currently connected to mobile terminal controller host device 104 of the present Figure 1 is determined.

【0094】移動端末101が現在図1の移動端末制御ホスト装置104に接続中でありステップ502の判定がYESならば、図3の制御部110内のCPU316 [0094] determination is YES in the mobile terminal 101 is currently connected to mobile terminal controller host apparatus 104 of the current view 1 step 502, CPU 316 in the controller 110 of FIG. 3
は、ステップ504で、移動端末101の“端末識別コード”とキー入力処理に対応するコマンドの送信指示を、図3の通信部111内の通信制御部321に対し依頼する。 In step 504, the transmission instruction command and the corresponding to the key input processing "terminal identification code" of the mobile terminal 101, and requests to the communication control unit 321 in the communication unit 111 of FIG. この結果、通信制御部321は、上記“端末識別コード”とコマンドが格納されたTCP/IPパケットを生成し、それをインターネット105に接続されている所定のホスト(例えば図1の音声制御ホスト装置1 As a result, the communication controller 321, the "terminal identification code" and command generates a TCP / IP packets stored, predetermined host it is connected to the Internet 105 (e.g., voice control host device of FIG. 1 1
08)に向け送信する。 To send towards the 08).

【0095】移動端末101が現在図1の移動端末制御ホスト装置104に接続中ではなくステップ502の判定がNOならば、図3の制御部110内のCPU316 [0095] If the determination of the mobile terminal 101 is the step 502 instead of being connected to the mobile terminal control host unit 104 of the present Figure 1 is NO, CPU 316 in the controller 110 of FIG. 3
は、ステップ503で、図3の通信部111内の通信制御部321に対して発信処理を依頼してから、ステップ504を実行する。 In step 503, after requesting the calling process to the communication control unit 321 in the communication unit 111 of FIG. 3, it performs step 504.

【0096】後に詳述するように、ユーザの指定に基づく文音声認識/データベース検索処理の開始要求コマンドの送信指示及び文音声認識/データベース検索処理の終了要求コマンドの送信指示は、上述のステップ504 [0096] As described later in detail, the transmission instruction command of request of completion of transmission instruction and Bun'onsei recognition / database search processing start request command Bun'onsei recognition / database search process based on the specified user, the above-described step 504
において発行される。 It is issued in.

【0097】前述したようにステップ501の判定がN [0097] determination in step 501 as described above is N
Oの場合又はステップ504の処理の後、ステップ50 After the processing of O or when step 504, step 50
5では、図4のステップ408によって、文音声認識/ In 5, the step 408 of FIG. 4, Bun'onsei recognition /
データベース検索処理のための音声入力処理の開始指示が実行されており、音声データの音声制御ホスト装置1 Start instruction of the voice input process for the database search processing has been executed, the speech control host unit 1 audio data
08(図1)への送信指示がなされているか否かが判定される。 08 whether the transmission instruction to (1) have been made is determined.

【0098】この判定がNOの場合には、ステップ51 [0098] If the determination is NO, step 51
0の処理へ進む。 0 advances to the processing. ステップ505の判定がYESの場合には、ステップ506で、音声制御ホスト装置108から文音声認識/データベース検索処理の開始要求コマンドに対する応答である送信許可データが既に返信されているか否かが判定される。 If the determination in step 505 is YES, at step 506, it is determined whether the transmission permission data is a response to the start request command Bun'onsei recognition / database retrieval processing from the voice control host unit 108 has already been replies that.

【0099】この判定がNOの場合には、音声制御ホスト装置108がまだ移動端末101からの文音声認識/ [0099] If the determination is NO, sentence speech recognition from the speech control host unit 108 is still mobile terminal 101 /
データベース検索処理の開始要求コマンドに対する準備が完了していないため、ステップ510の処理へ進む。 Since the preparation for the start request command database search process is not completed, the process proceeds to step 510.

【0100】音声制御ホスト装置108から文音声認識/データベース検索処理の開始要求コマンドに対する応答である送信許可データが既に返信されておりステップ506の判定がYESの場合には、更に、ステップ50 [0100] If the determination of the speech control host unit 108 from Bun'onsei recognition / database search transmission permission data is a response to the start request command process has already been returned step 506 is YES, further steps 50
7で、移動端末101が現在図1の移動端末制御ホスト装置104に接続中であるか否かが判定される。 7, the mobile terminal 101 whether a currently connected to mobile terminal controller host device 104 of the present Figure 1 is determined.

【0101】移動端末101が現在図1の移動端末制御ホスト装置104に接続中でありステップ507の判定がYESならば、図3の制御部110内のCPU316 [0102] determination is YES in the mobile terminal 101 is currently connected to mobile terminal controller host apparatus 104 of the current view 1 step 507, CPU 316 in the controller 110 of FIG. 3
は、ステップ509で、図3に示される入力部109内のマイク制御部303から制御部110内のRAM31 In step 509, RAM 31 of the control unit 110 from the microphone control section 303 in the input unit 109 shown in FIG. 3
7に転送されてきている音声データの送信指示を、通信部111内の通信制御部321に対し依頼する。 The transmission instruction of the audio data have been transferred to 7, and requests to the communication control unit 321 in the communication unit 111. この結果、通信制御部321は、上記音声データが格納されたTCP/IPパケットを生成し、それをインターネット105に接続されている図1の音声制御ホスト装置10 As a result, the communication control unit 321 generates a TCP / IP packets the audio data is stored, it voice control host device of FIG. 1 connected to the Internet 105 10
8に向けて送信する。 It is transmitted to the 8.

【0102】移動端末101が現在図1の移動端末制御ホスト装置104に接続中ではなくステップ507の判定がNOならば、図3の制御部110内のCPU316 [0102] If the determination of the mobile terminal 101 is the step 507 instead of being connected to the mobile terminal control host unit 104 of the present Figure 1 is NO, CPU 316 in the controller 110 of FIG. 3
は、ステップ508で、図3の通信部111内の通信制御部321に対して発信処理を依頼してから、ステップ509を実行する。 In step 508, after requesting the calling process to the communication control unit 321 in the communication unit 111 of FIG. 3, it executes step 509.

【0103】後に詳述するように、文音声認識/データベース検索処理のための音声データの送信指示は、上述のステップ509において発行される。 [0103] As described later in detail, the transmission instruction of the voice data for Bun'onsei recognition / database search process is issued in step 509 described above. 前述したようにステップ505又は506の判定がNOの場合又はステップ509の処理の後、ステップ510では、図4のステップ407によって、画像入力処理の開始指示が実行されており、画像データを図1のインターネット105 After determination in step 505 or 506 as described above is a process in a case or step 509 NO, the step 510, in step 407 of FIG. 4, the start instruction of the image input process is running, Fig image data 1 Internet 105
に接続されている特には図示しない画像制御ホスト装置への送信指示がなされているか否かが判定される。 Transmission instruction to the image control host unit (not shown) is especially connected whether has been made is determined on.

【0104】この判定がNOの場合には、図4のステップ404の送信処理を終了する。 [0104] In a case in which this determination is NO, it ends the transmission processing in step 404 of FIG. 4. ステップ510の判定がYESの場合には、ステップ511で、移動端末10 If YES, the determination in step 510, in step 511, the mobile terminal 10
1が現在図1の移動端末制御ホスト装置104に接続中であるか否かが判定される。 1 is whether or not being connected to the mobile terminal control host unit 104 of the present Figure 1 is determined.

【0105】移動端末101が現在図1の移動端末制御ホスト装置104に接続中でありステップ511の判定がYESならば、図3の制御部110内のCPU316 [0105] determination is YES in the mobile terminal 101 is currently connected to mobile terminal controller host apparatus 104 of the current view 1 step 511, CPU 316 in the controller 110 of FIG. 3
は、ステップ513で、図3に示される入力部109内のメモリ306に得られている画像データの送信指示を、通信部111内の通信制御部321に対して依頼する。 In step 513, the transmission instruction of the image data obtained in the memory 306 in the input unit 109 shown in FIG. 3, requests the communication control section 321 in the communication unit 111. この結果、通信制御部321は、上記画像データが格納されたTCP/IPパケットを生成し、それをインターネット105に接続されている特には図示しない画像制御ホスト装置108に向けて送信する。 As a result, the communication control unit 321 generates a TCP / IP packet that the image data is stored, and transmits it to the especially connected to the Internet 105 to the image control host unit 108 (not shown).

【0106】移動端末101が現在図1の移動端末制御ホスト装置104に接続中ではなくステップ511の判定がNOならば、図3の制御部110内のCPU316 [0106] If the determination of the mobile terminal 101 is the step 511 instead of being connected to the mobile terminal control host unit 104 of the present Figure 1 is NO, CPU 316 in the controller 110 of FIG. 3
は、ステップ512で、図3の通信部111内の通信制御部321に対して発信処理を依頼してから、ステップ513を実行する。 In step 512, after requesting the calling process to the communication control unit 321 in the communication unit 111 of FIG. 3, it executes step 513.

【0107】なお、ステップ513の画像データの送信指示は、本発明には特には関連しないため、その詳細な説明は省略する。 [0107] The transmission instruction of the image data in step 513, since no related specifically to the present invention, a detailed description thereof is omitted. 前述したようにステップ510の判定がNOの場合又はステップ513の処理の後、図4のステップ404の送信処理を終了する。 After determination in step 510 as described above is a process in a case or step 513 NO, the ends the transmission processing in step 404 of FIG. 4. <通信データのフォーマット>図6は、移動端末101 <Format of Communication Data> FIG. 6, the mobile terminal 101
と移動端末制御ホスト装置104及びインターネット1 A mobile terminal controller host device 104 and the Internet 1
05(音声制御ホスト装置108)との間で通信される通信データのフォーマット図である。 05 is a format diagram of the communication data communicated between the (voice control host device 108).

【0108】移動端末101と移動端末制御ホスト装置104との間では、通信データは、PPP(Point-to-P [0108] In between the mobile terminal 101 and the mobile terminal control host unit 104, communication data, PPP (Point-to-P
oint Protocol )と呼ばれる通信プロトコルに基づき、 Based on the communication protocol called oint Protocol),
図6(a) に示されるPPPフレーム(図の左から右に向けて転送される)を用いて、PHS規格の32kbit Figure 6 using a PPP frame shown in (a) (toward the right from the left in FIG transferred), the PHS standard 32kbit
s/secの伝送レートを有するデジタル通信チャネル上を伝送される。 Transmitted over digital communication channels having a transmission rate of s / sec.

【0109】PPPフレームを構成する、“フラグ”、 [0109] constitute the PPP frame, "flag",
“アドレス”、“コントロール”の各フィールドは、図6(a) に示される各固定ビット列が設定される。 Each field of "address", "control" is the fixed bit sequence shown in FIG. 6 (a) is set. 2オクテットのデータ長を有するFCSは、フレームチェックシーケンスと呼ばれ、PPPフレームデータの誤り検出/訂正用のデータである。 FCS having a data length of 2 octets is called a frame check sequence, the data for error detection / correction of PPP frame data. 移動端末101と移動端末制御ホスト装置104との間でPPPリンクが確立した後に転送されるPPPフレームの“インフォメーション” The PPP frames are transferred after the PPP link is established between the mobile terminal 101 and the mobile terminal control host unit 104 "info"
フィールド(可変データ長を有する)には、インターネット105(図1)上のデータの基本伝送単位であるI The field (with variable data length) is a basic transmission unit of data on the Internet 105 (Fig. 1) I
Pデータグラムが格納され、その場合に、2オクテットのデータ長を有する“プロトコル”フィールドには、” P datagram is stored, in which case, the "protocol" field has a data length of 2 octets, "
インフォメーション”フィールドにIPデータグラムが格納されていることを示す16進値“0021”が格納される。 0021 "" hexadecimal value indicates that the IP datagram is stored in the field "is stored to the information.

【0110】PPPフレームの“インフォメーション” [0110] The PPP frame "Information"
フィールドには、上述のようにIPデータグラムが格納される。 The field, IP datagrams are stored as described above. このIPデータグラムは、上述のようにインターネット105上のデータの基本伝送単位である。 The IP datagram is a basic transmission unit of data on the Internet 105 as described above. IP IP
データグラムは、インターネットプロトコル(IP)に従って規定され、その“データ”フィールドに格納されたデータをインターネット105上の宛先のホスト装置まで一意に転送するための機能を提供し、インターネット105上でのアドレスを特定する機能、そのIPデータグラム自身を“宛先IPアドレス”で指定されたホストまでインターネット105上の一定の経路で転送する機能、そのIPデータグラム自身のフラグメント化(分割)と再組立てを行う機能等を備える。 Datagram is defined according to the Internet Protocol (IP), the "data" has been stored in the field data provides the ability to transfer unique to the host device of the destination on the Internet 105, address on the Internet 105 function to identify the ability to transfer a fixed path on the Internet 105 to the host that the IP datagram itself specified by "destination IP address", perform reassembly and fragmentation of the IP datagram itself (division) provided with a function, and the like.

【0111】IPデータグラムは、図6(b) に示されるように、IPヘッダフィールドとデータフィールドとから構成される。 [0111] IP datagrams, as shown in FIG. 6 (b), composed of an IP header and data fields. IPヘッダフィールドには、それが含まれるIPデータグラム自身を配送するために必要な全ての情報が含まれる。 The IP header field includes all the information required to deliver the IP datagrams itself in which it is contained. 図7(a)は、IPヘッダのフォーマット図である。 7 (a) is a format diagram of the IP header.

【0112】IPヘッダは、32ビットを1ワードとして、5乃至6ワードのデータ長を有し、このデータ長は第1ワードの“ヘッダ長”フィールドに格納され、また、IPデータグラム全体のデータ長は、第1ワードの“IPデータグラムの全長”フィールドに格納される。 [0112] IP header, the 32 bits as one word has a data length of 5 to 6 words, the data length is stored in "header length" field of the first word, also, IP datagrams across data long, are stored in the "total length of the IP datagram" field of the first word.

【0113】第1ワードの“バージョン”フィールドには、IPデータグラムの転送方法を規定するインターネットプロトコル(IP)のバージョンが設定され、現在のバージョンは4である。 [0113] The "Version" field of the first word is set version of the Internet Protocol (IP) which defines the method of transferring the IP datagram, the current version is 4.

【0114】第1ワードの“サービスの種類”フィールドには、配送の優先度を表わす情報等が格納されるが、 [0114] The "service type" field of the first word, but information such as representing the priority of delivery is stored,
ここは本発明には特には関連しない。 Here is not particularly relevant to the present invention. 第2ワードの各フィールドは、IPデータグラムがインターネット105 Each field of the second word, IP datagram Internet 105
上での転送の制約によりフラグメント化(分割)される場合における制御情報を規定する。 Defining control information in case of fragmented (divided) by the constraints of the transfer in the above. まず、“識別番号” First, "identification number"
フィールドには、分割されたフラグメントであるこのI The field is divided fragments this I
Pデータグラムが属する分割前のIPデータグラムを識別するための一意な整数が設定される。 Unique integer is set to P datagram identifying the IP datagram before division to which it belongs. 次に、”フラグメントのオフセット”フィールドには、分割されたフラグメントであるこのIPデータグラムが分割前のIPデータグラムのどの部分に相当するかを示すオフセット情報が設定される。 Then, the field "Offset fragments", the offset information indicating whether the IP datagram is broken fragment corresponds to which part of the IP datagram before division is set. そして、”フラグ列”フィールドには、分割されたフラグメントであるこのIPデータグラムに、それが属する分割前のIPデータグラムを構成する他のフラグメントが後続するか否かが設定される。 Then, the "flag sequence" field, this IP datagram is broken fragment, other fragments that make up the IP datagram before division to which it belongs is whether subsequent are set. 以上の情報により、インターネット105上の中継ホストにおいてIPデータグラムがフラグメント化されても、 With the above information, also IP datagram in the relay host on the Internet 105 is fragmented,
受信側で分割前のIPデータグラムを正確に復元することができる。 The IP datagram before division on the receiving side can accurately restored.

【0115】第3ワードの“生存期間”(TTL:Time [0115] "survival" of the third word (TTL: Time
To Live)フィールドには、そのIPデータグラムがインターネット105上にどれだけの時間の間存在することを許すかを示す秒単位の時間情報が設定される。 The To Live) field, the time information of seconds that indicates allow that the IP datagram is present between how much time on the Internet 105 is set. インターネット105上の中継ホストは、IPデータグラムを処理する毎に上記フィールド値を減算し、値が0以下になったIPデータグラムはインターネット105上から廃棄する。 Relay host on the Internet 105, the field value is subtracted each time to process the IP datagram, IP datagram value becomes 0 or less is discarded from the top Internet 105. これにより、インターネット105上での過度なトラヒックの発生が抑制される。 Thus, the occurrence of excessive traffic on the Internet 105 can be suppressed. なお、廃棄されたIPデータグラムに関する再送制御は、そのIPデータグラムに格納されるTCPセグメントに対する制御処理において実行される。 Note that retransmission control for IP datagrams discarded is performed in the control process for the TCP segment is stored in the IP datagram.

【0116】第3ワードの“プロトコル”フィールドには、そのIPデータグラムの“データ”フィールドに格納されるデータのフォーマットを規定するための整数値が設定される。 [0116] The "Protocol" field of the third word, the integer value for defining the format of data stored in the "data" field of the IP datagram is set. 本実施の形態の場合には、図6(c) に示されるように、IPデータグラムの“データ”フィールドにはTCPセグメントデータが格納されるため、そのフォーマットを規定する整数値6が設定される。 In the case of this embodiment, as shown in FIG. 6 (c), the "data" field of the IP datagram for TCP segment data is stored, the integer value 6 is set to define the format that.

【0117】第3ワードの“ヘッダのチェックサム”フィールドには、IPヘッダのデータの誤りを検出するためのチェックサムデータが設定される。 [0117] The field "header checksum" of the third word, checksum data for detecting errors in the data of the IP header is set. 第4ワードには、32ビットの“送信元IPアドレス”が設定される。 The fourth word, 32-bit "source IP address" is set. 例えばIPデータグラムが移動端末101から音声制御ホスト装置108へ転送される場合には、“送信元IPアドレス”としては、後述する発信処理により移動端末制御ホスト装置104から移動端末101に対して付与されたIPアドレスが設定される。 For example, when the IP datagram is transferred from the mobile terminal 101 to the voice control host unit 108, as the "source IP address", assigned to the mobile terminal 101 from the mobile terminal control host unit 104 by the transmission processing to be described later the IP address is set. 図1の音声制御ホスト装置108は、この“送信元IPアドレス”を記憶することにより、インターネット105を介して移動端末101に対して、フォーマット文章データ等を返信することができる。 Voice control host unit 108 in FIG. 1, by storing the "source IP address", the mobile terminal 101 via the Internet 105, it is possible to return the format text data and the like.

【0118】第5ワードには、32ビットの“宛先IP [0118] The fifth word, the 32-bit "destination IP
アドレス”が設定される。例えばIPデータグラムが移動端末101から音声制御ホスト装置108へ転送される場合には、“宛先IPアドレス”としては、音声制御ホスト装置108に固定的に割当てられているIPアドレスが設定される。移動端末制御ホスト装置104内のルーティング部114、インターネット105上の各中継ホスト装置、及び音声サービスプロバイダ内のルータ装置106は、受信したIPデータグラムに格納されている上記“宛先IPアドレス”を識別することによって、予め各装置が有する経路制御テーブル情報に従って、そのIPデータグラムの配送経路を決定し、最終的にそのIPデータグラムを音声サービスプロバイダ内の音声制御ホスト装置108まで転送することができる。 Address "is set. For example, when the IP datagram is transferred from the mobile terminal 101 to the voice control host unit 108," as the destination IP address "is fixedly assigned to the speech control host unit 108 IP address is set. mobile routing unit 114 of the terminal control host unit 104, the relay host unit on the Internet 105, and the router device 106 of the voice service provider is stored in the IP datagram received the by identifying the "destination IP address", according to the routing control table information included in advance each device, to determine the delivery route of the IP datagram, finally the IP datagram voice control host device voice services provider to it can be transferred to 108.

【0119】第6ワードの“IPオプション”フィールドは、オプションであり、インターネット105を構成する各ネットワークのテスト又はデバッグのための情報や、インターネット105上での配送経路を制御又は監視するための制御情報等が設定されるが、ここは本発明には特には関連しない。 [0119] "IP Options" field of the sixth word is optional, and information for testing or debugging the network to configure Internet 105, the control or control for monitoring the delivery path on the Internet 105 Although the information and the like are set, where is not particularly relevant to the present invention.

【0120】第6ワードの“パディング”フィールドには、データ長を合わせるためのパディングデータが設定される。 [0120] The "padding" field of the sixth word, padding data for adjusting the data length is set. 次に、IPデータグラムの“データ”フィールドには、TCPセグメントデータが格納される。 Next, the "data" field of the IP datagram, TCP segment data is stored. このT The T
CPセグメントは、トランスミッションコントロールプロトコル(TCP)に従って規定され、その“データ” CP segment is defined in accordance with Transmission Control Protocol (TCP), the "data"
フィールドに格納されたデータをインターネット105 The data stored in the field data Internet 105
上の宛先のホスト装置まで正確に適切な順序で配送するための機能を備える。 A function for delivering in exactly the proper order to the host device of the above destination. IPデータグラムがインターネット105上でのデータの一意な転送の機能のみを提供し、データの信頼性を確保する機能(再送制御機能等) Function IP datagram provides only unique transfer function of the data on the Internet 105, to ensure the reliability of data (retransmission control function, etc.)
を提供しないのに対して、TCPセグメントは、データの信頼性を確保する機能を提供するものである。 Whereas not provide, TCP segments is to provide the ability to ensure the reliability of data.

【0121】このように、通信データが、(PPPフレームと)IPデータグラムとTCPセグメントという階層構造を有するのは、インターネット105上ではなるべく小さい処理負荷のもとで効率良くデータを配送する必要があり、エンド対エンド間ではできるかぎり信頼性の高いデータ配送を実現する必要があるという異なる要請に効率的に対処するためである。 [0121] Thus, communication data, (a PPP frame) has a hierarchical structure of IP datagrams and TCP segments, is necessary to deliver the data efficiently under as small as possible processing load on the Internet 105 There is to efficiently cope with the different requirements that it is necessary to achieve a reliable data delivery as possible between the end-to-end. これにより、インターネット105上の中継ホスト装置は、IPデータグラムのIPヘッダのみを参照することにより、そのIPデータグラムの“データ”フィールドに格納された情報(TCPセグメント)をできる限り高速かつ効率的に宛先ホスト装置まで配送することができ、エンド対エンド(送信元ホスト装置と宛先ホスト装置)間では、TCP Accordingly, the relay host unit on the Internet 105, by referencing only the IP header of the IP datagram, fast and efficient as possible "data" information stored in the field of the IP datagram (TCP segment) to be able to deliver to the destination host device, between the end-to-end (source host device and the destination host device), TCP
セグメントのTCPヘッダを参照することにより、再送制御等の信頼性の高いデータ通信を実現することができるのである。 By referring to the TCP header of a segment, it is possible to realize a highly reliable data communication retransmission control and the like.

【0122】TCPセグメントは、図6(b) に示されるように、TCPヘッダフィールドとデータフィールドとから構成される。 [0122] TCP segment, as shown in FIG. 6 (b), composed of a TCP header and data fields. 図7(b) は、TCPヘッダのフォーマット図である。 7 (b) is a format diagram of a TCP header.

【0123】TCPヘッダは、IPヘッダの場合と同様に、32ビットを1ワードとして、5乃至6ワードのデータ長を有し、このデータ長は第4ワードの“ヘッダ長”フィールドに格納され、また、IPデータグラム全体のデータ長は、第1ワードの“IPデータグラムの全長”フィールドに格納される。 [0123] TCP header, as in the case of IP header, the 32 bits as one word has a data length of 5 to 6 words, the data length is stored in "header length" field of the fourth word, Further, the data length of the entire IP datagram is stored in the "total length of the IP datagram" field of the first word.

【0124】第1ワードの“送信元ポート番号”フィールド及び“宛先ポート番号”フィールドには、文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定される。 [0124] The "source port number" field and "destination port number" field of the first word, a 16 bit integer value for specifying a communication protocol for Bun'onsei recognition / database search processing is set.

【0125】音声制御ホスト装置108内のパケット送受信部115(図1)は、文音声認識/データベース検索処理のための音声データが格納されたTCPセグメントのほかにも、電子メールデータを始めとする様々なデータが格納された様々なTCPセグメントを送受信するため、受信したTCPセグメントのTCPヘッダに設定されている“宛先ポート番号”フィールドの値を認識することによって、そのTCPセグメントの“データ”フィールドに格納されているデータを音声制御ホスト装置108で実行されるどのアプリケーションに引き渡すかを決定することができる。 [0125] audio control host unit packet transceiver 115 in 108 (FIG. 1) In addition to the TCP segment speech data is stored for Bun'onsei recognition / database search process, including e-mail data for sending and receiving various TCP segments having various data are stored, by recognizing the value of that have been set "destination port number" field in the TCP header of the TCP segment received, "data" field of the TCP segment the data stored in it can be determined whether delivered to any application that is executed by the speech control host unit 108.

【0126】そして、パケット送受信部115は、受信したTCPセグメントのTCPヘッダに設定されている“宛先ポート番号”フィールドの値が文音声認識/データベース検索処理のための通信プロトコルに対応する値を示している場合には、そのTCPセグメントの“データ”フィールドに格納されている音声データを移動端末通信制御部116に引き渡すことができる。 [0126] Then, the packet transmitting and receiving unit 115, indicates a value corresponding to the communication protocol for the value of the "destination port number" field is set in the TCP header of the TCP segment received by the Bun'onsei recognition / database search process If it is, it is possible to deliver the audio data stored in the "data" field of the TCP segment to the mobile terminal communication control section 116.

【0127】同様に、移動端末101の通信部111内の通信制御部321(図3)も、検索結果HTML文章データが格納されたTCPセグメントの他にも、ホームページデータや電子メールデータを始めとする様々なデータが格納された様々なTCPセグメントを送受信するため、受信したTCPセグメントのTCPヘッダに設定されている“宛先ポート番号”フィールドの値を認識することにより、そのTCPセグメントの“データ”フィールドに格納されているデータを移動端末101で実行されるどのアプリケーションに引き渡すかを決定することができる。 [0127] Similarly, the communication control unit 321 in the communication unit 111 of the mobile terminal 101 (FIG. 3), in addition to the TCP segment Results HTML text data is stored, O started home page data and email data for sending and receiving various TCP segments having various data are stored for, by recognizing the value of that have been set "destination port number" field in the TCP header of the TCP segment received, the TCP segment "data" You can determine delivered to any application that runs the data stored in the field in the mobile terminal 101.

【0128】そして、通信制御部321は、受信したT [0128] The communication control unit 321, the received T
CPセグメントのTCPヘッダに設定されている“宛先ポート番号”フィールドの値が文音声認識/データベース検索処理のための通信プロトコルに対応する値を示している場合には、制御部110(図1、図3)に、文音声認識/データベース検索処理のためのデータの受信を通知し、そのTCPセグメントの“データ”フィールドに格納されている検索結果HTML文章データを引き渡すことができる。 When the value of the "destination port number" field is set in the TCP header of the CP segment indicates a value corresponding to the communication protocol for Bun'onsei recognition / database search process, the control unit 110 (FIG. 1, Figure 3), it is possible to notify the reception of data for Bun'onsei recognition / database search process, passes the "data" Search results HTML text data stored in the field of the TCP segment.

【0129】更に、音声制御ホスト装置108内のパケット送受信部115及び移動端末101の通信部111 [0129] Further, the communication unit 111 of the packet reception unit 115 and the mobile terminal 101 in the speech control host unit 108
内の通信制御部321は、受信したTCPセグメントのTCPヘッダに設定されている“送信元ポート番号”を確認することにより、送信元のアプリケーションを確認することができる。 The communication control unit 321 of the inner is by checking the set in the TCP header of the TCP segment received "source port number", it is possible to verify the source of the application.

【0130】次に、図7に示されるTCPヘッダの第2 [0130] Next, a second TCP header shown in FIG. 7
ワードの“シーケンス番号”フィールドは、現在のTC "Sequence number" field of the word, the current TC
Pコネクションにおいて送信側から受信側に送信される全バイトストリームのうち、このTCPセグメントの“データ”フィールドに格納されているデータの先頭が上記全バイトストリームの何バイト目にあたるかを、送信側から受信側に通知するためのフィールドである。 Of the total byte stream sent from a sender to a receiver in the P connection, whether the head of the data stored in the "data" field of the TCP segment corresponds to what byte of the whole byte stream from the transmitting side a field for notifying the receiving side. 逆に、第3ワードの“確認応答番号”フィールドは、現在のTCPコネクションにおいて送信側から受信側に送信される全バイトストリームのうち、受信側が現在何バイト目までを誤り無く受信したかを、受信側から送信側に通知するためのフィールドである。 Conversely, "acknowledgment number" field of the third word, out of the total byte stream to be transmitted from the transmission side to the reception side in the current TCP connection, the receiving side whether it has received without error up to now many bytes, a field for notifying the transmitting side from the receiving side. これにより、例えば移動端末101から音声制御ホスト装置108に対して、音声データを正しい順序でかつ高い信頼性のもとで転送することが可能となる。 Thus, for example, from the mobile terminal 101 to the audio control host unit 108, it is possible to transfer voice data in and under high reliability correct order.

【0131】第4ワードの“フラグ列”フィールドには、TCPセグメントの種類を示す値が設定される。 [0131] The "flag sequence" field of the fourth word, the value indicating the type of TCP segment is set. T
CP通信においては、例えばコネクションの開始時又は終了時等において確認応答のための様々な制御データが通信されるが、それらの制御データの種類が、“フラグ列”フィールドに設定される。 In CP communication, for example, various control data for the acknowledgment at the beginning or at the end or the like of the connection is the communication, the type of their control data is set to "flag column" field.

【0132】第4ワードの“ウインドウ”フィールドは、受信側が現在何バイトのデータを連続して受信することが可能であるかを示すウインドウデータを、受信側から送信側に通知するためのフィールドである。 [0132] "window" field of the fourth word, the receiving side window data indicating whether it is possible to continuously receives data of the current number of bytes, a field for notifying the transmitting side from the reception side is there. これにより、受信側から送信側に対するデータのフロー制御が可能となり、例えば音声制御ホスト装置108の負荷が高いような場合には移動端末101に対して音声データの送信を抑制させる、といようなきめの細かい制御が可能となる。 This enables flow control of data to the transmission side from the reception side, for example, when voice control host device 108 load is high, such as is to suppress the transmission of voice data to the mobile terminal 101, a strange texture fine control of it is possible.

【0133】第4ワードの“予約済”フィールドは、予約用のフィールドである。 [0133] "reserved" field of the fourth word is a field for the reservation. 第5ワードの“チェックサム”フィールドには、TCPヘッダ及び“データ”フィールドに格納されているデータの誤りを検出するためのチェックサムデータが格納される。 The "checksum" field of the fifth word, checksum data for detecting an error of the data stored in the TCP header and the "data" field is stored. これにより、例えば音声制御ホスト装置108は、移動端末101から音声データを正確に受信することができる。 Thus, for example, voice control host unit 108 can correctly receive the audio data from the mobile terminal 101.

【0134】第5ワードの“緊急ポインタ”は、緊急データ(インタラプトデータやアボートデータ等)を通信するための制御データであるが、これは本発明には特には関連しない。 [0134] The fifth word of "urgent pointer" is the control data for communicating emergency data (interrupt data or abort data, etc.), which is not particularly relevant to the present invention.

【0135】第6ワードの“オプション”フィールドは、例えば送受信装置間で通信可能な最大セグメント長を指定するため等に使用されるが、これは本発明には特には関連しない。 [0135] "Optional" field of the sixth word is, for example, are used like for specifying the maximum segment length can communicate between the transmitter device, which is not particularly relevant to the present invention.

【0136】第6ワードの“パディング”フィールドには、データ長を合わせるためのパディングデータが設定される。 [0136] The "padding" field of the sixth word, padding data for adjusting the data length is set. 上述の構成を有するTCPセグメントの通信(終端)処理機能は、移動端末101においては通信部111内の通信制御部321(図3)において実現され、音声制御ホスト装置108においてはパケット送受信部115(図1)において実現される。 Communication (termination) processing function of a TCP segment having the above configuration, the mobile terminal 101 is implemented in the communication control unit 321 in the communication unit 111 (FIG. 3), the packet transmitting and receiving unit 115 in the speech control host unit 108 ( Figure 1) it is implemented in. なお、移動端末101においてCPU316が実行する制御プログラムが上記処理機能を実現するように構成されてもよい。 It is noted that control programs CPU316 executes in the mobile terminal 101 may be configured to implement the processing functions. <発信処理>前述のように、移動端末101の制御部1 <Delivery Processing> As described above, the control unit 1 of the mobile terminal 101
10内のCPU316(図3)は、図4のステップ40 In 10 CPU 316 (FIG. 3), the steps of FIG. 4 40
4に対応する図5に示される送信処理のうち、移動端末101が現在図1の移動端末制御ホスト装置104に接続中でなくステップ502、507、又は511の判定がNOである場合には、ステップ503、508、又は512において、図3の通信部111内の通信制御部3 4 of the transmission process shown in FIG. 5 corresponding to, if the determination of the mobile terminal 101 is the step 502 and 507 not being connected to the mobile terminal control host unit 104 of the present Figure 1, or 511 is NO, step 503,508, or at 512, the communication control unit 3 in the communication unit 111 of FIG. 3
21に対して発信処理を依頼する。 And requests the transmission process to the 21. この依頼によって、 By this request,
通信制御部321が実行する発信処理は、図8の動作フローチャートによって示される。 Transmission processing by the communication control unit 321 is executed, as indicated by the operation flowchart in FIG.

【0137】まず、ステップ801では、リンク確立フェーズが実行される。 [0137] First, in step 801, the link establishment phase is performed. このフェーズでは、移動端末制御ホスト装置104のアクセス電話番号に対して自動的にダイヤルアップが行われ移動端末制御ホスト装置104 In this phase, automatically dial-up to the access telephone number of the mobile terminal control host unit 104 is made mobile terminal controller host device 104
が着信した後、リンクコントロールプロトコル(LC After There was incoming, Link Control Protocol (LC
P)と呼ばれるプロトコルを使用し、通信に使用されるPPPフレーム(図6(a) )の最大データ長の決定、エスケープされるべき非透過文字の決定、PPPフレームの“プロトコル”フィールド(図6(a) )のデータ長を2オクテットから1オクテットに圧縮することの有無の決定、PPPフレームの固定値“11111111”を有する“アドレス”フィールド(図6(a) )を省略(圧縮)することの有無の決定等に関するネゴシエーションが、移動端末制御ホスト装置104内の接続確立部113(図1)との間で実行される。 Using a protocol called P), the maximum data length determination of the determination of non-transparent character to be escaped of PPP frames used in the communication (FIG. 6 (a)), "Protocol" field of the PPP frame (FIG. 6 (a) determining the presence or absence of compressing the data length 1 octets 2 octets), omitting the fixed value "11111111" having an "address" field of the PPP frame (FIG. 6 (a)) (compression) to negotiate the determination or the like of the presence or absence of is performed between the mobile terminal control host unit 104 of the connection establishment section 113 (FIG. 1). この場合、移動端末101の通信部111内の通信制御部321と移動端末制御ホスト装置104内の接続確立部113との間の通信は、図6(a) に示されるフォーマットを有するPPPフレームを用いて、その“プロトコル”フィールドにLCPを特定する16進値“c021”を設定し、その“インフォメーションフィールド”に、必要な制御データを設定して、 In this case, the communication between the communication control unit 321 in the communication unit 111 of the mobile terminal 101 and the mobile terminal control connection establishment section 113 of the host device 104, a PPP frame having the format shown in FIG. 6 (a) used to set the "protocol" hexadecimal value identifying the LCP in the field "c021", in the "information field", and set the necessary control data,
実行される。 It is executed.

【0138】次に、ステップ802においては、認証フェーズが実行される。 [0138] Next, in step 802, the authentication phase is executed. このフェーズでは、PAP(Pass In this phase, PAP (Pass
word Authentication Protocol)又はCHAP(Challe word Authentication Protocol) or CHAP (Challe
ngeHandshake Authentication Protocol )と呼ばれる認証プロトコルを使用し、移動端末101を使用するユーザの認証が、移動端末制御ホスト装置104内の接続確立部113(図1)から移動端末101に対して実行される。 Using an authentication protocol called ngeHandshake Authentication Protocol), authentication of a user using the mobile terminal 101 is performed on the mobile terminal 101 from the mobile terminal control host apparatus 104 a connection establishment section 113 (FIG. 1). これにより、移動端末制御ホスト装置104を運営するインターネットプロバイダは、移動端末101 Thus, the Internet provider that operates the mobile terminal control host unit 104, the mobile terminal 101
を使用するユーザが契約されたユーザであるか否かを決定できる。 The can determine whether the user the user is contracted to be used. この場合、移動端末101の通信部111内の通信制御部321と移動端末制御ホスト装置104内の接続確立部113との間の通信は、図6(a) に示されるフォーマットを有するPPPフレームを用いて、その“プロトコル”フィールドにPAPを特定する16進値“c023”又はCHAPを特定する16進値“c223”を設定し、その“インフォメーションフィールド”に、必要な認証用データを設定して、実行される。 In this case, the communication between the communication control unit 321 in the communication unit 111 of the mobile terminal 101 and the mobile terminal control connection establishment section 113 of the host device 104, a PPP frame having the format shown in FIG. 6 (a) used to set the "protocol" hexadecimal value identifying the PAP in the field "c023" or hexadecimal value "c223" that identifies the CHAP, its "information field", and set the required authentication data , it is executed.

【0139】最後に、ステップ803では、ネットワークレイヤプロトコルフェーズが実行される。 [0139] Finally, in step 803, the network layer protocol phase is performed. 本実施の形態の場合、このフェーズでは、IPコントロールプロトコル(IPCP)と呼ばれるプロトコルを使用して、T In the present embodiment, in this phase, using a protocol called IP Control Protocol (IPCP), T
CPヘッダ(図7(b) 参照)の圧縮の有無が決定されると共に、移動端末制御ホスト装置104が割当てることのできる空き(未使用)IPアドレスのうちの1つが移動端末101に対して割り当てられ、加えて、必要な経路情報が移動端末101の通信部111内の通信制御部321(図3)と移動端末制御ホスト装置104内のルーティング部114(図1)に設定される。 With the presence or absence of compression of the CP header (see FIG. 7 (b)) is determined, one assigned to the mobile terminal 101 of the free (unused) IP address of which can be assigned the mobile terminal control host unit 104 is, in addition, the required path information is set in the communication control unit 321 in the communication unit 111 of the mobile terminal 101 the routing unit 114 (FIG. 3) and the mobile terminal control host unit 104 (FIG. 1). これ以後、 Since then,
移動端末101は、そのIPアドレスを使用することによって、インターネット105に接続される音声制御ホスト装置108、及びインターネット105上のユーザが希望する任意のリソースにアクセスすることが可能となる。 Mobile terminal 101, by using its IP address, voice control host device 108 connected to the Internet 105, and a user on the Internet 105 so that it is possible to access any desired resource. この場合、移動端末101の通信部111内の通信制御部321と移動端末制御ホスト装置104内の接続確立部113との間の通信は、図6(a) に示されるフォーマットを有するPPPフレームを用いて、その“プロトコル”フィールドにIPCPを特定する16進値“8021”を設定し、その“インフォメーションフィールド”に、必要なIPアドレスのネゴシエーションのためのデータ等を設定して、実行される。 In this case, the communication between the communication control unit 321 in the communication unit 111 of the mobile terminal 101 and the mobile terminal control connection establishment section 113 of the host device 104, a PPP frame having the format shown in FIG. 6 (a) used to set the hexadecimal value "8021" that identifies the IPCP to the "protocol" field, its "information field", by setting the data such as for the required IP address negotiation, it is performed.

【0140】以上の一連の動作により、移動端末101 [0140] Through the above series of operations, the mobile terminal 101
は、移動端末制御ホスト装置104内のルーティング部114との間で通信用のTCP/IPパケットが格納されたPPPフレームを授受することが可能となり、移動端末101は、インターネット105上のリソースに自由にアクセスすることが可能になる。 , It becomes possible to transfer the PPP frame TCP / IP packets for communication is stored between the routing unit 114 of the mobile terminal control host unit 104, the mobile terminal 101, the free resources on the Internet 105 it is possible to access to.

【0141】なお、PHS通話時にも音声制御ホスト装置108等へのアクセスを可能とするために、移動端末101は、例えば2チャネル同時通信機能を有するように構成することができる。 [0141] In order to allow access to voice control host unit 108 or the like even when PHS call, mobile terminal 101 may be configured for example so as to have a 2-channel simultaneous communication function.

【0142】また、移動端末101の通信部111内の通信制御部321(図3)は、一定時間(例えば10分間)送受信データを検出しなかった場合に、移動端末制御ホスト装置104との間のPPPリンクを自動的に切断するように構成することができる。 [0142] The communication controller 321 in the communication unit 111 of the mobile terminal 101 (FIG. 3), when not detected a predetermined time (e.g. 10 minutes) the transmitted and received data, between a mobile terminal control host unit 104 it is possible to configure the PPP link to automatically cut. <文音声認識/データベース検索処理に関する移動端末101の送受信処理の詳細動作>ユーザが移動端末10 <Detailed Operation of the transmission and reception processing of the mobile terminal 101 related Bun'onsei recognition / database retrieval process> user mobile terminal 10
1のタッチパネルを操作して文音声認識/データベース検索処理の開始を指示した場合及びそれ以後に移動端末101が実行する送受信処理の詳細な動作について、説明する。 The detailed operation of the transmission and reception processing by the mobile terminal 101 executes if instructed and since then the start of the operation to sentence voice recognition / database search process one of the touch panel will be described.

【0143】上述のタッチパネルの操作は、図3のタッチパネル制御部315において検出された後、制御部1 [0143] Operation of the above touch panel, after being detected in the touch panel control unit 315 of FIG. 3, the control unit 1
10内のCPU316(図3)によって、それが実行される前述した図4の動作フローチャートに対応する制御動作において、ステップ401の判定がYES、ステップ405及び406の判定がNOとなって、ステップ4 The inside 10 CPU 316 (FIG. 3), the control operation corresponding to the operation flowchart in FIG. 4 described above it is executed, YES is determined in step 401, the determination in step 405 and 406 becomes NO, a step 4
09の他キー入力処理が実行されることにより、検出される。 By another key input processing 09 is executed, it is detected. 更に、ステップ404の送信処理において、前述した図5のステップ501の判定がYESとなり、必要に応じてステップ503で発信処理が実行された後、ステップ504において、移動端末101の“端末識別コード”と上述の文音声認識/データベース検索処理の開始指示を示すキー入力処理に対応するコマンドの送信指示が、図3の通信部111内の通信制御部321に対して依頼される。 Further, in the transmission processing in step 404, after the determination is YES in step 501 of FIG. 5 described above, the transmission processing in step 503 as needed is executed, in step 504, the mobile terminal 101 "terminal identification code" a transmission instruction command corresponding to the key input processing indicating the start instruction sentence speech recognition / database search process described above, is requested to the communication control unit 321 in the communication unit 111 of FIG.

【0144】この結果、通信制御部321は、まず、図6(c) に示されるフォーマットを有するTCPセグメントを生成する。 [0144] Consequently, the communication control unit 321 first generates a TCP segment having the format shown in FIG. 6 (c). この場合、図6(c) 及び図7(b) に示されるフォーマットを有するTCPヘッダにおいて、“送信元ポート番号”フィールド及び“宛先ポート番号”フィールドには、文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定される。 In this case, the TCP header having the format shown in FIG. 6 (c) and 7 (b), the "transmission source port number" field and "destination port number" field, for Bun'onsei recognition / database search process integer values ​​are set for 16 bits identifying the communication protocol. そして、TCPセグメントの“データ”フィールドには、移動端末101を特定する“端末識別コード”(例えばそのPHS電話番号)と、ユーザの指定に基づく文音声認識/データベース検索処理の開始要求コマンドとが格納される。 Then, in the "data" field of the TCP segment, and to identify the mobile terminal 101 "terminal identification code" (e.g., the PHS telephone number), the start request command Bun'onsei recognition / database search process based on the specified users It is stored.

【0145】次に、通信制御部321は、上述のTCP [0145] Next, the communication controller 321, the above TCP
セグメントが“データ”フィールドに格納された図6 Segment is stored in the "data" field 6
(b) に示されるフォーマットを有するIPデータグラムを生成する。 It generates an IP datagram having the format shown in (b). この場合に、図6(b) 及び図7(a) に示されるフォーマットを有するIPヘッダにおいて、“プロトコル”フォーマットには、その“データ”フィールドに格納されるTCPセグメントデータのフォーマットを規定する整数値6が設定される。 In this case, the IP header having the format shown in FIG. 6 (b) and FIG. 7 (a), the "Protocol" format, integer defining the format of the TCP segment data stored in the "data" field the number 6 is set. また、“送信元IPアドレス”フィールドには、既に実行されている発信処理(図8のステップ803の説明を参照)によって移動端末制御ホスト装置104内の接続確立部113から移動端末101の通信部111内の通信制御部321に対して付与されたIPアドレスが設定される。 Further, the "transmission source IP address" field, calling processing is already running communication unit of the mobile terminal 101 from the connection establishment unit 113 of the mobile terminal control host unit 104 (refer to the description of step 803 in FIG. 8) IP address assigned to the communication control unit 321 in the 111 are set. 更に、“宛先IPアドレス”フィールドには、音声制御ホスト装置1 In addition, the "destination IP address" field, the speech control host unit 1
08に割り当てられているIPアドレスが設定される。 Assigned to the 08 IP address has is set.

【0146】そして、通信制御部321は、上述のIP [0146] The communication control unit 321, the above-described IP
データグラムが“インフォメーション”フィールドに格納され、その”インフォメーション”フィールドにIP Datagram is stored in the "Information" field, IP in the "Information" field
データグラムが格納されていることを示す16進値“00 16 indicates that the datagram is stored binary value "00
21”が“プロトコル”フィールドに格納された図6(a) 21 "is" is stored in the protocol "field FIGS. 6 (a)
に示されるフォーマットを有するPPPフレームを生成し、通信制御部321内に設定されている経路情報(図8のステップ803の説明を参照)に従って、上記PP According generates PPP frames, route information set in the communication control unit 321 (see the description of step 803 in FIG. 8) having the format shown in the above PP
Pフレームを移動端末制御ホスト装置104に送信する。 Transmitting a P-frame to the mobile terminal control host unit 104. 以降、上述のTCPセグメント、IPデータグラム、及びPPPフレームとからなるデータ単位がインターネット105内を転送される場合に、そのデータ単位を単にTCP/IPパケットと呼ぶ。 Thereafter, the above-mentioned TCP segment, if an IP datagram, and the data unit composed of a PPP frame is transferred through the Internet 105, simply referred to as TCP / IP packets the data unit.

【0147】このTCP/IPパケットは、それを構成するIPデータグラムのIPヘッダに格納されている“宛先IPアドレス”に基づいて、移動端末制御ホスト装置104内のルーティング部114とインターネット105内の特には図示しない中継ホスト装置によって、 [0147] The TCP / IP packets, IP datagrams based on the "destination IP address" stored in the IP header of the mobile terminal control host unit routing unit 114 and the Internet 105 in 104 constituting it the relay host device which is not shown in FIG. 3,
音声サービスプロバイダ内のルータ装置106まで転送された後、更に、LAN107を介して音声制御ホスト装置108内のパケット送受信部115まで転送される。 After being transferred to the router device 106 of the voice service provider, further, it is transferred to the packet transceiver unit 115 in the speech control host unit 108 through the LAN 107.

【0148】パケット送受信部115は、転送されてきたTCP/IPパケットを構成するIPデータグラムのIPヘッダの“宛先IPアドレス”フィールドに自分である音声制御ホスト装置108のIPアドレスが設定されていることを識別することによって、そのTCP/I [0148] The packet transceiver unit 115, IP address, the voice control host unit 108 is yourself "destination IP address" field of the IP header of the IP datagram constituting the TCP / IP packet transferred is set by identifying that, the TCP / I
Pパケットを受信する。 It receives a P packet.

【0149】そして、パケット送受信部115は、受信したTCP/IPパケットを構成するTCPセグメントの“宛先ポート番号”フィールド及び“送信元ポート番号”フィールドに文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定されていることを確認することによって、移動端末通信制御部116(図1)に対して受信通知を通知する。 [0149] Then, the packet transmitting and receiving unit 115, the received TCP / IP packets of the TCP segment constituting the communication protocol for Bun'onsei recognition / database search process "destination port number" field and "transmission source port number" field by confirming that the 16 bit integer value for specifying is set, and notifies the acknowledgment to the mobile terminal communication control section 116 (FIG. 1).

【0150】この通知と共に、パケット送受信部115 [0150] with this notification, the packet transmission and reception unit 115
は、受信したTCP/IPパケットを構成するIPデータグラムのIPヘッダから“送信元IPアドレス”を取り出し、上記TCP/IPパケットを構成するTCPセグメントの“データ”フィールドから“端末識別コード”と文音声認識/データベース検索処理の開始要求コマンドとを取り出して、それらのデータを移動端末通信制御部116に引き渡す。 Retrieves from the IP header "source IP address" of the IP datagram constituting the received TCP / IP packets, the TCP / IP packet from the "data" field of the TCP segment constituting the as "terminal identification code" statements removed a start request command voice recognition / database search process and delivers the data to the mobile terminal communication control section 116.

【0151】この結果、後述するようにして音声制御ホスト装置108から移動端末101に対して、送信許可データが格納されたTCP/IPパケットが返信される。 [0151] As a result, the mobile terminal 101 from the speech control host unit 108 as described later, TCP / IP packet transmission permission data is stored is returned. このTCP/IPパケットは、それを構成するIP The TCP / IP packets, IP configure it
データグラムのIPヘッダに格納されている“宛先IP "Destination IP stored in the IP header of datagrams
アドレス”に基づいて、音声サービスプロバイダ内のルータ装置106と、インターネット105内の特には図示しない中継ホスト装置によって、移動端末制御ホスト装置104内のルーティング部114まで転送された後、更に、PHS網103(図1)を介して移動端末1 Based on the address ", the router apparatus 106 of the voice service provider, by the relay host apparatus is especially in the Internet 105 (not shown), after being transferred to the mobile terminal control host unit routing portion 114 in 104, further, PHS network 103 mobile terminal 1 via a (FIG. 1)
01の通信部111内の通信制御部321(図3)まで転送される。 The communication control unit 321 in 01 of the communication unit 111 to (3) are transferred.

【0152】移動端末101の通信部111内の通信制御部321は、転送されてきたTCP/IPパケットを構成するIPデータグラムのIPヘッダの“宛先IPアドレス”フィールドに自分である移動端末101(に一時的又は動的)に割当てられているのIPアドレスが設定されていることを識別することによって、そのTCP [0152] The communication control unit 321 in the communication unit 111 of the mobile terminal 101, the mobile terminal 101 is yourself "destination IP address" field of the IP header of the IP datagram constituting the TCP / IP packet transferred ( by identifying that it is configured with an IP address of the assigned temporary or dynamic) in its TCP
/IPパケットを受信する。 / Receives an IP packet.

【0153】そして、通信制御部321は、受信したT [0153] The communication control unit 321, the received T
CP/IPパケットを構成するTCPセグメントの“宛先ポート番号”フィールド及び“送信元ポート番号”フィールドに文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定されていることを確認することにより、移動端末101の制御部110内のCPU316に対して受信通知を通知する。 16 bit integer value for specifying a communication protocol for Bun'onsei recognition / database search process is set to "destination port number" field and "source port number" field of the TCP segment constituting the CP / IP packet by confirming that notifies a reception notification to the CPU316 of the control unit 110 of the mobile terminal 101.

【0154】この通知と共に、通信制御部321は、受信したTCP/IPパケットを構成するTCPセグメントの“データ”フィールドから送信許可データを取り出し、それをCPU316に引き渡す。 [0154] with this notification, the communication control unit 321 takes out the transmission permission data from the "data" field of the TCP segment constituting the received TCP / IP packet, and passes it to the CPU 316.

【0155】CPU316は、上述の受信通知と送信許可データを、前述した図4のステップ403で処理し、 [0155] CPU316 is an acknowledgment transmission permission data described above, and processed in step 403 of FIG. 4 mentioned above,
その送信許可データをRAM317に記憶する。 It stores the transmission permissible data in RAM 317. 移動端末101では、ユーザがタッチパネルを操作して文音声認識/データベース検索処理の開始を指示することによって、CPU316が、前述した図4のステップ408 In the mobile terminal 101, by the user instructs the start of operation to sentence voice recognition / database search process a touch panel, is CPU 316, the steps of FIG. 4 described above 408
で、図3の入力部109内のマイク制御部303に対して、PHS通話処理の開始指示、又は文音声認識/データベース検索処理を実行するためのオフライン状態での音声入力処理の開始を指示する。 In respect microphone control section 303 in the input unit 109 of FIG. 3, an instruction to start speech input processing in the offline state for executing the start instruction of the PHS call processing, or Bun'onsei recognition / database search process . これにより、ユーザは、通話動作又はオフライン状態での音声入力動作によってマイク301(図2の201)からの音声の入力を開始している。 Thus, the user has started the input voice from the microphone 301 (201 in FIG. 2) by the voice input operation at call operation or off-line state.

【0156】これ以後、CPU316により前述した図4のステップ401→402→403→404→401 [0156] Hereafter, the step 401 of FIG. 4 described above by CPU316 → 402 → 403 → 404 → 401
の繰返しループの1処理として実行されるステップ40 Steps performed as the processing of one repeat loop 40
4の送信処理において、図5のステップ505、506 In the transmission process in 4, the steps of FIG. 5 505,506
の判定がYESとなり、必要に応じてステップ508で再度の発信処理が実行された後、ステップ509で、図3に示される入力部109内のマイク制御部303から制御部110内のRAM317に転送されてきている音声データの送信指示が、通信部111内の通信制御部3 The determination is YES, after the transmission processing again at step 508 has been executed as necessary, in step 509, the RAM317 in the control unit 110 from the microphone control section 303 in the input unit 109 shown in FIG. 3 Transfer transmission instruction of the audio data have been the communication control unit 3 in the communication unit 111
21に対して依頼される。 It is request to 21.

【0157】この結果、通信制御部321は、まず、図6(c) に示されるフォーマットを有するTCPセグメントを生成する。 [0157] Consequently, the communication control unit 321 first generates a TCP segment having the format shown in FIG. 6 (c). この場合に、図6(c) 及び図7(b) に示されるフォーマットを有するTCPヘッダにおいて、 In this case, the TCP header having the format shown in FIG. 6 (c) and 7 (b),
“送信元ポート番号”フィールド及び“宛先ポート番号”フィールドには、文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定される。 The "transmission source port number" field and "destination port number" field, a 16 bit integer value for specifying a communication protocol for Bun'onsei recognition / database search processing is set. そして、TCPセグメントの“データ”フィールドには、図3に示される入力部109内のマイク制御部303から制御部110内のRAM317 Then, in the "data" field of the TCP segment, RAM 317 of the control unit 110 from the microphone control section 303 in the input unit 109 shown in FIG. 3
に転送されてきている音声データが格納される。 Audio data have been transferred to is stored.

【0158】次に、通信制御部321は、上述のTCP [0158] Next, the communication controller 321, the above TCP
セグメントが“データ”フィールドに格納された図6 Segment is stored in the "data" field 6
(b) に示されるフォーマットを有するIPデータグラムを生成する。 It generates an IP datagram having the format shown in (b). この場合に、図6(b) 及び図7(a) に示されるフォーマットを有するIPヘッダにおいて、“プロトコル”フォーマットには、その“データ”フィールドに格納されるTCPセグメントデータのフォーマットを規定する整数値6が設定される。 In this case, the IP header having the format shown in FIG. 6 (b) and FIG. 7 (a), the "Protocol" format, integer defining the format of the TCP segment data stored in the "data" field the number 6 is set. また、“送信元IPアドレス”フィールドには、既に実行されている発信処理(図8のステップ803の説明を参照)によって移動端末制御ホスト装置104内の接続確立部113から移動端末101の通信部111内の通信制御部321に対して付与されたIPアドレスが設定される。 Further, the "transmission source IP address" field, calling processing is already running communication unit of the mobile terminal 101 from the connection establishment unit 113 of the mobile terminal control host unit 104 (refer to the description of step 803 in FIG. 8) IP address assigned to the communication control unit 321 in the 111 are set. 更に、“宛先IPアドレス”フィールドには、音声制御ホスト装置1 In addition, the "destination IP address" field, the speech control host unit 1
08に割り当てられているIPアドレスが設定される。 Assigned to the 08 IP address has is set.

【0159】そして、通信制御部321は、上述のIP [0159] The communication control unit 321, the above-described IP
データグラムが“インフォメーション”フィールドに格納され、その”インフォメーション”フィールドにIP Datagram is stored in the "Information" field, IP in the "Information" field
データグラムが格納されていることを示す16進値“00 16 indicates that the datagram is stored binary value "00
21”が“プロトコル”フィールドに格納された図6(a) 21 "is" is stored in the protocol "field FIGS. 6 (a)
に示されるフォーマットを有するPPPフレームを生成し、通信制御部321内に設定されている経路情報(図8のステップ803の説明を参照)に従って、上記PP According generates PPP frames, route information set in the communication control unit 321 (see the description of step 803 in FIG. 8) having the format shown in the above PP
Pフレームを移動端末制御ホスト装置104に送信する。 Transmitting a P-frame to the mobile terminal control host unit 104.

【0160】このTCP/IPパケットは、それを構成するIPデータグラムのIPヘッダに格納されている“宛先IPアドレス”に基づいて、移動端末制御ホスト装置104内のルーティング部114とインターネット105内の特には図示しない中継ホスト装置によって、 [0160] The TCP / IP packets, IP datagrams based on the "destination IP address" stored in the IP header of the mobile terminal control host unit routing unit 114 and the Internet 105 in 104 constituting it the relay host device which is not shown in FIG. 3,
音声サービスプロバイダ内のルータ装置106まで転送された後、更に、LAN107を介して音声制御ホスト装置108内のパケット送受信部115まで転送される。 After being transferred to the router device 106 of the voice service provider, further, it is transferred to the packet transceiver unit 115 in the speech control host unit 108 through the LAN 107.

【0161】パケット送受信部115は、転送されてきたTCP/IPパケットを構成するIPデータグラムのIPヘッダの“宛先IPアドレス”フィールドに自分である音声制御ホスト装置108のIPアドレスが設定されていることを識別することによって、そのTCP/I [0161] The packet transceiver unit 115, IP address, the voice control host unit 108 is yourself "destination IP address" field of the IP header of the IP datagram constituting the TCP / IP packet transferred is set by identifying that, the TCP / I
Pパケットを受信する。 It receives a P packet. そして、パケット送受信部11 The packet transceiver 11
5は、受信したTCP/IPパケットを構成するTCP 5 constitutes the received TCP / IP packet TCP
セグメントの“宛先ポート番号”フィールド及び“送信元ポート番号”フィールドに文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定されていることを確認することにより、 By a 16 bit integer value for specifying a communication protocol for the "destination port number" field and Bun'onsei recognition / database search process "source port number" field of the segment to ensure that it is set,
移動端末通信制御部116(図1)に対して受信通知を通知する。 And it notifies the acknowledgment to the mobile terminal communication control section 116 (FIG. 1).

【0162】この通知と共に、パケット送受信部115 [0162] with this notification, the packet transmission and reception unit 115
は、受信したTCP/IPパケットを構成するIPデータグラムのIPヘッダから“送信元IPアドレス”を取り出し、上記TCP/IPパケットを構成するTCPセグメントの“データ”フィールドから音声データを取り出して、それらのデータを移動端末通信制御部116に引き渡す。 Retrieves from the IP header "source IP address" of the IP datagram constituting the received TCP / IP packet, retrieves the audio data from the "data" field of the TCP segment constituting the TCP / IP packets, they It passes the data to the mobile terminal communication control section 116.

【0163】この結果、移動端末通信制御部116は、 [0163] As a result, the mobile terminal communication control section 116,
後述するようにして文音声認識/データベース検索処理の制御を実行し、文音声認識部117に対して受信した音声データの認識処理を実行させ、それによって得られる認識音声文章データについて検索制御部118に対してデータベース検索処理を実行させる。 Executes a control statement speech recognition / database search process as described later, Bun'onsei recognition unit 117 to execute the recognition processing of audio data received for, the search control unit 118 for recognizing the speech text data obtained thereby to execute a database search process on. そして、移動端末通信制御部116は、後述するようにして、検索制御部118から得た検索結果HTML文章データが格納されたTCP/IPパケットを、移動端末101に対して返信する。 Then, the mobile terminal communication control section 116, as described later, the TCP / IP packets Results HTML text data is stored obtained from the search control unit 118, and returns to the mobile terminal 101.

【0164】このTCP/IPパケットは、それを構成するIPデータグラムのIPヘッダに格納されている“宛先IPアドレス”に基づいて、音声サービスプロバイダ内のルータ装置106と、インターネット105内の特には図示しない中継ホスト装置によって、移動端末制御ホスト装置104内のルーティング部114まで転送された後、更に、PHS網103(図1)を介して移動端末101の通信部111内の通信制御部321(図3)まで転送される。 [0164] The TCP / IP packet based on the IP datagram IP header of the stored "destination IP address" constituting it, the router device 106 of the voice service provider, especially in the Internet 105 by an unillustrated relay host device, after being transferred to the routing unit 114 of the mobile terminal control host unit 104, further, PHS network 103 (FIG. 1) the communication control unit 321 in the communication unit 111 of the mobile terminal 101 via the ( Figure 3) until it is transferred.

【0165】移動端末101の通信部111内の通信制御部321は、転送されてきたTCP/IPパケットを構成するIPデータグラムのIPヘッダの“宛先IPアドレス”フィールドに自分である移動端末101(に一時的又は動的)に割当てられているのIPアドレスが設定されていることを識別することによって、そのTCP [0165] The communication control unit 321 in the communication unit 111 of the mobile terminal 101, the mobile terminal 101 is yourself "destination IP address" field of the IP header of the IP datagram constituting the TCP / IP packet transferred ( by identifying that it is configured with an IP address of the assigned temporary or dynamic) in its TCP
/IPパケットを受信する。 / Receives an IP packet.

【0166】そして、通信制御部321は、受信したT [0166] The communication control unit 321, the received T
CP/IPパケットを構成するTCPセグメントの“宛先ポート番号”フィールド及び“送信元ポート番号”フィールドに文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定されていることを確認することにより、移動端末101の制御部110内のCPU316に対して受信通知を通知する。 16 bit integer value for specifying a communication protocol for Bun'onsei recognition / database search process is set to "destination port number" field and "source port number" field of the TCP segment constituting the CP / IP packet by confirming that notifies a reception notification to the CPU316 of the control unit 110 of the mobile terminal 101.

【0167】この通知と共に、通信制御部321は、受信したTCP/IPパケットを構成するTCPセグメントの“データ”フィールドから検索結果HTML文章データを取り出し、それをCPU316に引き渡す。 [0167] with this notification, the communication control unit 321 retrieves the search result HTML text data from the "data" field of the TCP segment constituting the received TCP / IP packet, and passes it to the CPU 316.

【0168】CPU316は、上述の受信通知と検索結果HTML文章データを、前述した図4のステップ40 [0168] CPU316 is an acknowledgment and search results HTML text data described above, the steps of FIG. 4 described above 40
2で処理し、ブラウザアプリケーションを起動して、引き渡された検索結果HTML文章データを、ハイパーテキストの一部であるアンカーを含むホームページ形式でLCD表示部311(図2の203)に表示する。 Was treated with 2, launch a browser application, a search result HTML text data passed, and displays on the LCD display unit 311 (203 in FIG. 2) on the homepage format including an anchor that is part of a hypertext.

【0169】移動端末101のユーザが、上述のように表示されたホームページ上のアンカーを電子ペンでタッチ等することにより選択すると、移動端末101は、ブラウザアプリケーションの機能によって、移動端末制御ホスト装置104を介して、上記アンカーと共にハイパーテキストに含まれるURLにより示されるインターネット105に接続されるホスト装置上のホームページデータやJavaアプレットやファイルデータやホスト装置のログインアカウント等の各種リソースに対して、そのURLによって示されるHTTPやFTP等の通信プロトコルを用いて、アクセスする。 [0169] When the user of the mobile terminal 101, an anchor on the homepage is displayed as described above to select by touching the like with the electronic pen, the mobile terminal 101 by the function of the browser application, mobile terminal controller host device 104 through, for various resources login account or the like of the home page data or Java applets or file data and the host device on the host device connected to the Internet 105 as indicated by the URL included in the hypertext with the anchor, the URL using a communication protocol such as HTTP or FTP as indicated by accesses.

【0170】ユーザは、移動端末101のタッチパネルを操作することによって、音声制御ホスト装置108に対して文音声認識/データベース検索処理の終了を示すための、文音声認識/データベース検索処理の終了要求コマンドを指示することができる。 [0170] The user can operate the touch panel of the mobile terminal 101, for indicating the end of sentence speech recognition / database search processing on the voice control host unit 108, completion request command Bun'onsei recognition / database search process it is possible to instruct.

【0171】この場合に、上述のタッチパネルの操作は、図3のタッチパネル制御部315において検出された後、制御部110内のCPU316(図3)によって、それが実行される前述した図4の動作フローチャートに対応する制御動作において、ステップ401の判定がYES、ステップ405及び406の判定がNOとなって、ステップ409の他キー入力処理が実行されることにより、検出される。 [0171] In this case, operation of the above-described touch panel, after being detected in the touch panel control unit 315 of FIG. 3, the CPU316 of the control unit 110 (FIG. 3), the operation of FIG. 4 mentioned above it is performed in the control operation corresponding to the flowchart, the determination in step 401 is YES, the determination of step 405 and 406 becomes NO, and by other key input process of step 409 is performed, is detected. 更に、ステップ404の送信処理において、前述した図5のステップ501の判定がY Further, in the transmission processing in step 404, the determination in step 501 of FIG. 5 described above Y
ESとなり、必要に応じてステップ503で発信処理が実行された後、ステップ504において、移動端末10 After ES next, the transmission processing in step 503 as needed is executed, in step 504, the mobile terminal 10
1の“端末識別コード”と上述の文音声認識/データベース検索処理の終了要求コマンドの送信指示が、図3の通信部111内の通信制御部321に対して依頼される。 1 transmission instruction command of request of completion of the "terminal identification code" and sentence speech recognition / database search process described above, is requested to the communication control unit 321 in the communication unit 111 of FIG.

【0172】この結果、通信制御部321は、まず、 [0172] Consequently, the communication control unit 321, first,
“データ”フィールドに移動端末101を特定する“端末識別コード”と文音声認識/データベース検索処理の終了要求コマンドとが格納された図6(c) に示されるフォーマットを有するTCPセグメントを生成し、次に、 Identifying the mobile terminal 101 to the "data" field generates a TCP segment having the format and command of request of completion of the "terminal identification code" and Bun'onsei recognition / database search process is shown in Figure 6 stored (c), next,
そのTCPセグメントが“データ”フィールドに格納された図6(b) に示されるフォーマットを有するIPデータグラムを生成し、更に、そのIPデータグラムが“インフォメーション”フィールドに格納された図6(a) に示されるフォーマットを有するPPPフレームを生成し、それらからなるTCP/IPパケットを送信する。 The TCP segment generates an IP datagram having the format shown in Figure 6 (b) stored in the "data" field, further, FIG. 6 in which the IP datagram is stored in the "info" field (a) generates a PPP frame having the format shown in, it sends a TCP / IP packet consisting.
この場合に、TCPヘッダ(図6(c) 、図7(b) )、I In this case, TCP header (FIG. 6 (c), the FIG. 7 (b)), I
Pヘッダ(図6(b) 、図7(a) )、及び“プロトコル” P header (FIG. 6 (b), the FIG. 7 (a)), and "Protocol"
フィールド(図6(a) )に設定される各情報は、前述の文音声認識/データベース検索処理の開始要求コマンドが送信される場合に設定される各情報と同一である。 Field each information set in (FIG. 6 (a)) are identical to the information start request command sentence speech recognition / database search process described above is set when sent.

【0173】この結果、上述のTCP/IPパケットは、前述の文音声認識/データベース検索処理の開始要求コマンド等が格納されたTCP/IPパケットの場合と全く同様にして、インターネット105を介して音声制御ホスト装置108内のパケット送受信部115まで転送される。 [0173] As a result, TCP / IP packets described above, in the same manner as the case of TCP / IP packets start request command such sentence speech recognition / database search process described above is stored, voice over the Internet 105 until the packet reception unit 115 of the control host unit 108 is transferred.

【0174】パケット送受信部115は、前述の文音声認識/データベース検索処理の開始要求コマンド等が格納されたTCP/IPパケットが転送されてきた場合と全く同様にして、転送されてきたTCP/IPパケットを受信し、移動端末通信制御部116(図1)に対して受信通知を通知する。 [0174] The packet transceiver unit 115, in the same manner as if the TCP / IP packet start request command such sentence speech recognition / database search process described above is stored has been transferred, TCP / IP, which has been transferred receiving a packet, and notifies the acknowledgment to the mobile terminal communication control section 116 (FIG. 1).

【0175】この通知と共に、パケット送受信部115 [0175] with this notification, the packet transmission and reception unit 115
は、受信したTCP/IPパケットを構成するTCPセグメントの“データ”フィールドから“端末識別コード”と文音声認識/データベース検索処理の終了要求コマンドとを取り出して、それらのデータを移動端末通信制御部116に引き渡す。 Takes out a command of request of completion of Bun'onsei recognition / database search process and "data" from the field "terminal identification code" of TCP segment constituting the received TCP / IP packets, the mobile terminal communication control unit such data deliver to 116.

【0176】この結果、移動端末通信制御部116は、 [0176] As a result, the mobile terminal communication control section 116,
後述するようにしてその移動端末101に対する文音声認識/データベース検索処理を終了する。 As described later is terminated Bun'onsei recognition / database search processing for the mobile terminal 101. <移動端末通信制御部116、文音声認識部117、及び検索制御部118の概略動作>次に、音声制御ホスト装置108内の移動端末通信制御部116、文音声認識部117、及び検索制御部118の概略動作について説明する。 <Mobile terminal communication control section 116, general operation of Bun'onsei recognition unit 117, and a search control unit 118> Next, the mobile terminal communication control section 116 in the speech control host unit 108, Bun'onsei recognition unit 117, and a search control unit 118 schematic operation will be described.

【0177】移動端末通信制御部116は、文音声認識/データベース検索処理の開始要求コマンドを送信した移動端末101に割当てられている“端末識別コード” [0177] The mobile terminal communication control unit 116 is allocated to the mobile terminal 101 which has transmitted the start request command Bun'onsei recognition / database search process "terminal identification code"
(上記コマンドを転送してきたTCPセグメントに格納されている)毎に、図12に示されるデータ構造を有する処理端末登録テーブルにエントリを登録すると共に、 For each (stored in TCP segment has been transferred to the command), and registers an entry in the processing terminal registration table having a data structure shown in FIG. 12,
音声データの受信用のバッファファイル(音声バッファファイル)と、認識音声文章データの一時保存用のバッファファイル(文章バッファファイル)と、検索結果H A buffer file for reception of the audio data (audio buffer file), a buffer file for temporary storage of speech recognition text data (text buffer file), the search result H
TML文章データの送信用のバッファファイル(検索結果バッファファイル)、及びその他の必要なバッファファイルを音声制御ホスト装置108が管理するファイルシステム上に作成する。 TML text data buffer file for transmission (search result buffer file), and the other required buffer file voice control host unit 108 is created on the file system that manages. また、移動端末通信制御部11 The mobile terminal communication control section 11
6は、上記エントリとファイルの登録に成功すると、上記コマンドを転送してきたIPデータグラムに格納されていた“送信元IPアドレス”の移動端末101に向けて、送信許可データを返信する。 6, a successful registration of the entries and file to the mobile terminal 101 of the command has been stored in the IP datagram has been transferred "source IP address", and returns the transmission permission data.

【0178】移動端末通信制御部116は、それ以後移動端末101から受信した音声データを、その“送信元IPアドレス”(それを転送してきたIPデータグラムに格納されている)に対応する処理端末登録テーブルのエントリから特定される音声バッファファイルに追加書き込みする。 [0178] The mobile terminal communication control section 116, processing terminal the voice data received thereafter from the mobile terminal 101, corresponding to the "transmission source IP address" (stored in the IP datagram which has transferred it) Add writing to the audio buffer file specified from the entry of the registration table.

【0179】文音声認識部117は、図12に示される処理端末登録テーブルのエントリ毎に、各エントリから特定される音声バッファファイルに音声データが受信されていればそれに対して文音声認識処理を実行し、その結果得られる認識音声文章データを上記各エントリに対応する文章バッファファイルに追加書き込みする。 [0179] Bun'onsei recognition unit 117, for each entry of the processing terminal registration table shown in FIG. 12, a sentence speech recognition processing on it if it is received audio data to the audio buffer file specified from the entry run, adds writes recognized speech text data obtained as a result of the sentence buffer file corresponding to each entry.

【0180】検索制御部118(図1)は、図12に示される処理端末登録テーブルのエントリ毎に、各エントリから特定される文章バッファファイルに認識音声文章データが得られていればそれに対してデータベース検索処理を実行し、その結果得られる検索結果HTML文章データを上記各エントリに対応する検索結果バッファファイルに追加書き込みする。 [0180] The search control unit 118 (FIG. 1), for each entry of the processing terminal registration table shown in FIG. 12, whereas if the recognized speech text data in the text buffer file specified from the entry obtained perform database search process, adding writes the search result HTML document data obtained as the result to the search result buffer file corresponding to each entry.

【0181】移動端末通信制御部116は、処理端末登録テーブルのエントリ毎に、各エントリから特定される検索結果バッファファイルに検索結果HTML文章データが得られていれば、それを各エントリに登録されている“送信元IPアドレス”の移動端末101に向けて返信する。 [0181] The mobile terminal communication control section 116, for each entry of the processing terminal registration table, if the search results HTML text data to the search result buffer file specified from the entry is obtained, registered it in each entry to reply to the mobile terminal 101 of which "the source IP address".

【0182】移動端末通信制御部116は、文音声認識/データベース検索処理の終了要求コマンドを受信した処理端末登録テーブルのエントリ、又は最終アクセス時刻が現在時刻から一定時間前の時刻よりも更に前の時刻である処理端末登録テーブルのエントリについて、そのエントリの内容を削除し、それから特定される各バッファファイルを削除する。 [0182] The mobile terminal communication control section 116 of the processing terminal registration table, which has received the termination request command Bun'onsei recognition / database search process entry, or the last access time is further previous than time before a predetermined time from the current time the entry of the processing terminal registration table, which is time, delete the contents of the entry, and then delete each buffer file identified. <移動端末通信制御部116の詳細動作>図9〜図11 <Detailed Operation of the mobile terminal communication control section 116> 9-11
は、上記機能を実現するために、移動端末通信制御部1 In order to realize the above functions, the mobile terminal communication control section 1
16が実行する制御動作を示す動作フローチャートである。 16 is a flowchart illustrating a control operation to be executed. この動作フローチャートは、移動端末通信制御部1 The operation flowchart is the mobile terminal communication control section 1
16を制御する特には図示しないプロセッサが、特には図示しない制御プログラムを実行する動作として実現される。 Processor is especially not shown which controls the 16, in particular is realized as an operation for executing a control program (not shown).

【0183】まず、ステップ901で、音声制御ホスト装置108内のパケット送受信部115(図1)から受信通知が通知されたか否かが判定される。 [0183] First, in step 901, whether the received notification is notified from the packet reception unit 115 in the speech control host unit 108 (FIG. 1) is determined. 前述したように、パケット送受信部115は、インターネット105 As described above, the packet reception unit 115, the Internet 105
から転送されてきたTCP/IPパケットを構成するI I that make up the TCP / IP packet that has been transferred from the
PデータグラムのIPヘッダの“宛先IPアドレス”フィールドに自分である音声制御ホスト装置108のIP P datagram IP header for "destination IP address" field of the voice control host unit 108 is my IP
アドレスが設定されていることを識別することにより、 By identifying that the address is set,
そのTCP/IPパケットを受信し、かつ、それを構成するTCPセグメントの“宛先ポート番号”フィールド及び“送信元ポート番号”フィールドに文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定されていることを確認することによって、移動端末通信制御部116に対して受信通知を通知する。 Receives the TCP / IP packet, and 16 bits for specifying a communication protocol for Bun'onsei recognition / database search process "destination port number" field and "source port number" field of the TCP segment constituting the by integer to confirm that it is set, and notifies the acknowledgment to the mobile terminal communication control section 116. この受信通知は、文音声認識/データベース検索処理の開始要求コマンド、文音声認識/データベース検索処理の対象である音声データ、又は文音声認識/データベース検索処理の終了要求コマンドの何れかに関する受信通知である。 This reception notification is start request command Bun'onsei recognition / database search processing, audio data that is the subject of Bun'onsei recognition / database search process, or Bun'onsei recognition / in receiving notifications about any termination request command database search process is there.

【0184】パケット送受信部115から受信通知が通知されステップ901の判定がYESとなると、ステップ902で、パケット送受信部115から受信通知と共に引き渡されたデータが取り込まれる。 [0184] If the decision of the received notification from the packet reception unit 115 is notified step 901 is YES, and in step 902, the data passed with received notification from the packet reception unit 115 is captured. この場合に、受信通知が、文音声認識/データベース検索処理の開始要求コマンドの受信通知である場合には、“送信元IPアドレス”と“端末識別コード”と上記コマンドとが取り込まれる。 In this case, the reception notification is, when a reception notification of the start request command Bun'onsei recognition / database search process, and the command is taken as "transmission source IP address" and "terminal identification code". また、受信通知が、音声データの受信通知である場合には、“送信元IPアドレス”と音声データとが取り込まれる。 The reception notification, if it is received notification voice data, and the audio data are taken as "transmission source IP address". 更に、受信通知が、文音声認識/データベース検索処理の終了要求コマンドの受信通知である場合には、“端末識別コード”とそのコマンドとが取り込まれる。 Furthermore, the reception notification, if it is received notification of end request command Bun'onsei recognition / database search process, "terminal identification code" and its command is fetched.

【0185】ステップ902の処理の後に、図9のステップ903、図10のステップ907、又は図10のステップ909の判定が順に検査され、何れかの判定結果がYESとなる。 [0185] After the process of step 902, step 903 of FIG. 9, the determination in step 909 of step 907, or 10 in FIG. 10 is examined in order, one of the determination result is YES. 即ち、ステップ902でパケット送受信部115から引き渡されたデータが、文音声認識/データベース検索処理の開始要求コマンドに関するものである場合はステップ903の判定がYESとなってステップ904〜906が実行され、音声データに関するものである場合は図10のステップ907の判定がYES That is, the data passed from the packet reception unit 115 at step 902, if it relates to the start request command Bun'onsei recognition / database search processing steps 904 to 906 becomes YES, the determination at Step 903 is executed, YES determination in step 907 of FIG. 10 when it relates to audio data
となってステップ908が実行され、文音声認識/データベース検索処理の終了要求コマンドに関するものである場合には図10のステップ909の判定がYESとなってステップ910と911が実行される。 Becomes step 908 is executed, and when it relates to completion request command Bun'onsei recognition / database search processing step 910 and 911 determination is YES in step 909 in FIG. 10 is executed.

【0186】パケット送受信部115から受信通知が通知されておらずステップ901の判定がNOの場合、又は上述の各コマンド又は音声データの受信に対応する処理の後には、図11のステップ912と913で検索結果HTML文章データの送信処理が実行され、それに続くステップ914及び915で最終アクセス時刻が一定時間以上前である移動端末101との通信を終了させるための処理が行われた後、再び図9のステップ901の判定処理に戻る。 [0186] If step 901 has not been notified reception notification from the packet reception unit 115 is NO, or after the processing corresponding to the reception of the command or speech data described above, step 912 in FIG. 11 and 913 in the search result transmission processing of an HTML document data is executed, after the last access time in the subsequent step 914 and 915 in which it processes in order to terminate the communication with the mobile terminal 101 is earlier than a predetermined time is performed again Figure It returns to the determination processing in step 901 of 9.

【0187】ステップ901の判定がYESであり、ステップ902でパケット送受信部115から引き渡されたデータが文音声認識/データベース検索処理の開始要求コマンドに関するものである場合において、ステップ903の判定がYESとなって実行されるステップ90 [0187] a YES determination in step 901, when data passed from the packet reception unit 115 in step 902 is related to the start request command Bun'onsei recognition / database search processing, and YES is determined in step 903 sounding step is performed 90
4〜905の処理について説明する。 The processing of 4-905 will be explained.

【0188】まず、ステップ904では、音声データの受信用のバッファファイルである音声バッファファイルと、認識音声文章の一時保存用のバッファファイルである文章バッファファイルと、検索制御部118が使用する検索済キーワードバッファファイル及び検索インデックスバッファファイルと、検索結果HTML文章データの送信用のバッファファイルである検索結果バッファファイルとが、音声制御ホスト装置108が管理するファイルシステム上に作成される。 [0188] First, in step 904, the audio buffer file is a buffer file for reception of audio data, and text buffer file is a buffer file for temporary storage of speech recognition sentence Searched the search control unit 118 using and keywords buffer file and search index buffer file, the search results search results and the buffer file is a buffer file for transmission of HTML document data is created on the file system on the voice control host unit 108 manages.

【0189】次に、ステップ904では、移動端末通信制御部116内の特には図示しないメモリに記憶される図12に示されるデータ構造を有する処理端末登録テーブルに、1つのエントリ(横1行のデータ組)が確保される。 [0189] Next, in step 904, the processing terminal registration table having a data structure shown in FIG. 12 which is stored in a memory not shown especially in the mobile terminal communication control section 116, one entry (one horizontal line of data set) is ensured. そして、そのエントリに、“端末識別コード” Then, the entry, "terminal identification code"
と、“送信元IPアドレス”と、最終アクセス時刻と、 And, a "source IP address", and last access time,
音声バッファファイル名と、文章バッファファイル名と、検索済キーワードバッファファイル名と、検索インデックスバッファファイル名と、検索結果バッファファイル名とが、登録される。 And the audio buffer file name, and the text buffer file name, and the search already keyword buffer file name, and the search index buffer file name, and the search result buffer file name, is registered. “端末識別コード”は、ステップ902でパケット送受信部115から引き渡されたデータであり、移動端末101から転送されてきたTC "Terminal identification code" is data that has been passed from the packet reception unit 115 in step 902, it has been transferred from the mobile terminal 101 TC
P/IPパケットを構成するTCPセグメントの“データ”フィールドに格納されていたものである(図6(c) Those which have been stored in the "data" field of the TCP segment constituting the P / IP packet (Fig. 6 (c)
参照)。 reference). “送信元IPアドレス”は、やはりステップ9 "Source IP address" is, again step 9
02においてパケット送受信部115から引き渡されたデータであり、移動端末101から転送されてきたTC A data passed from the packet reception unit 115 in 02, TC transferred from the mobile terminal 101
P/IPパケットを構成するIPデータグラムのIPヘッダに格納されていたものである(図6(b) 、図7(a) Those which have been stored in the IP header of the IP datagram constituting the P / IP packet (FIG. 6 (b), the FIGS. 7 (a)
参照)。 reference). 最終アクセス時刻には、現在時刻が設定される。 The last access time, is set to the current time. 各バッファファイル名は、ステップ904で作成された各ファイルを示すファイル名である。 Each buffer file name is a file name indicating the respective file created in step 904.

【0190】ステップ905の処理の後、ステップ90 [0190] After the processing of step 905, step 90
6では、ステップ902でパケット送受信部115から引き渡され処理端末登録テーブルの上記エントリに登録された“送信元IPアドレス”に向けて、送信許可データが返信される。 In 6, toward the "source IP address" registered in the entry of the delivered processing terminal registration table from the packet reception unit 115 in step 902, transmission permission data is returned.

【0191】具体的には、移動端末通信制御部116 [0191] Specifically, the mobile terminal communication control section 116
は、“送信元IPアドレス”への送信許可データの返信を、パケット送受信部115(図1)に対して依頼する。 Is a reply transmission permission data to the "source IP address", it requests the packet transmission and reception unit 115 (FIG. 1). この結果、パケット送受信部115は、まず、図6 As a result, the packet transceiver unit 115, first, FIG. 6
(c) に示されるフォーマットを有するTCPセグメントを生成する。 Generating a TCP segment having the format shown in (c). この場合、図6(c) 及び図7(b) に示されるフォーマットを有するTCPヘッダにおいて、“送信元ポート番号”フィールド及び“宛先ポート番号”フィールドには、文音声認識/データベース検索処理のための通信プロトコルを特定する16ビットの整数値が設定される。 In this case, the TCP header having the format shown in FIG. 6 (c) and 7 (b), the "transmission source port number" field and "destination port number" field, for Bun'onsei recognition / database search process integer values ​​are set for 16 bits identifying the communication protocol. そして、TCPセグメントの“データ”フィールドには、送信許可データが格納される。 Then, in the "data" field of the TCP segment, transmit authorization data is stored.

【0192】次に、パケット送受信部115は、上述のTCPセグメントが“データ”フィールドに格納された図6(b) に示されるフォーマットを有するIPデータグラムを生成する。 [0192] Then, the packet transmitting and receiving unit 115 generates an IP datagram having the format shown in FIG. 6 a TCP segment described above is stored in the "data" field (b). この場合に、図6(b) 及び図7(a) に示されるフォーマットを有するIPヘッダにおいて、 In this case, the IP header having the format shown in FIG. 6 (b) and FIG. 7 (a), the
“プロトコル”フォーマットには、その“データ”フィールドに格納されるTCPセグメントデータのフォーマットを規定する整数値6が設定される。 The "protocol" format, an integer value 6 that defines the format of the TCP segment data stored in the "data" field is set. また、“送信元IPアドレス”フィールドには、音声制御ホスト装置1 Further, the "transmission source IP address" field, the speech control host unit 1
08に割当てられているIPアドレスが設定される。 Assigned to 08 IP addresses that are set. 更に、“宛先IPアドレス”フィールドには、図9のステップ902でパケット送受信部115から引き渡された“送信元IPアドレス”が設定される。 In addition, the "destination IP address" field, passed from the packet reception unit 115 at step 902 of FIG. 9 "source IP address" is set.

【0193】そして、パケット送受信部115は、上述のIPデータグラムが格納されたLAN107上のプロトコルに従ったフレームを生成し、それをLAN107 [0193] Then, the packet transmitting and receiving unit 115 generates a frame according to the protocol on LAN107 the IP datagrams described above is stored, it LAN107
に送出する。 And it sends it to. 例えば、LAN107がイーサネット方式によるローカルエリアネットワークであれば、上記フレームは、イーサネットフレームである。 For example, if the local area network LAN107 is an Ethernet system, the frame is an Ethernet frame.

【0194】上記フレームとIPデータグラムとTCP [0194] The frame and IP datagram and TCP
セグメントとから構成されるTCP/IPパケットは、 TCP / IP packet constituted by the segment,
それを構成するIPデータグラムのIPヘッダに格納されている“宛先IPアドレス”に基づいて、ルータ装置106及びインターネット105を介して移動端末制御ホスト装置104まで転送された後、更に、PHS網1 Based on the IP datagram is stored in the IP header of the "destination IP address" constituting it, after being transferred to the mobile terminal control host unit 104 through the router apparatus 106 and the Internet 105, further, PHS network 1
03及び無線基地(又は有線接続装置)102を介して、移動端末101の通信部111内の通信制御部32 03 and via the radio base (or wired connection device) 102, the communication control in the communication unit 111 of the mobile terminal 101 32
1(図3)まで転送される。 To 1 (FIG. 3) is transferred.

【0195】これ以降、移動端末101から音声制御ホスト装置108へは、前述したようにして、音声データが転送されてくる。 [0195] Subsequent, the mobile terminal 101 to the voice control host unit 108, as described above, audio data is transferred. ステップ906の処理の後は、図1 After the process of step 906, FIG. 1
1のステップ912と913で検索結果HTML文章データの送信処理が実行され、それに続くステップ914 Results transmission processing HTML document data in a step 912 and 913 is performed, step 914 followed by
及び915で最終アクセス時刻が一定時間以上前である移動端末101との通信を終了させるための処理が行われた後、再び図9のステップ901の判定処理に戻る。 And after the processing for the last access time 915 to terminate the communication with the mobile terminal 101 is earlier than a predetermined time is performed, returns to the determination process of step 901 in FIG.

【0196】次に、図9のステップ901の判定がYE [0196] Next, YE determination in step 901 of FIG. 9
Sであり、ステップ902でパケット送受信部115から引き渡されたデータが音声データである場合において、図10のステップ907の判定がYESとなって実行されるステップ908の処理について説明する。 S, and data passed from the packet reception unit 115 at step 902 when a voice data, will be described processing in step 908 it is determined at step 907 of FIG. 10 is executed it becomes YES.

【0197】即ち、ステップ908では、図9のステップ902でパケット送受信部115から引き渡されたのと同じ“送信元IPアドレス”が記憶されている処理端末登録テーブル(図12)のエントリが検索され、該当するエントリに記憶されている音声バッファファイル名に対応する音声バッファファイル(図9のステップ90 [0197] That is, in step 908, is searched entry processing terminal registration table is the same "source IP address" that was delivered from the packet reception unit 115 at step 902 of FIG. 9 is stored (FIG. 12) , audio buffer file corresponding to the audio buffer file name stored in the corresponding entry (step 9 90
4参照)に、図9のステップ902でパケット送受信部115から引き渡された音声データが追加書き込みされる。 4 reference), audio data passed from the packet reception unit 115 at step 902 of FIG. 9 is additionally written. なお、追加書込み時の音声バッファファイルのサイズは、音声制御ホスト装置108が管理するファイルシステムによって自動的に調整される。 The size of the audio buffer file when adding writing is automatically adjusted by the file system voice control host unit 108 manages.

【0198】また、ステップ908では、上記該当するエントリに記憶されている最終アクセス時刻が、現在時刻に更新される。 [0198] In step 908, the last access time stored in the corresponding entry is updated to the current time. このようにして、移動端末101毎(“端末識別コード”毎)の音声バッファファイルを介して、移動端末通信制御部116から文音声認識部11 In this way, through the audio buffer file of the mobile terminal 101 each (each "terminal identification code"), Bun'onsei recognition unit 11 from the mobile terminal communication control section 116
7(図1)に音声データが引き渡される。 7 audio data is passed to (Figure 1). 文音声認識部117は、後述するように、図12に示される処理端末登録テーブルのエントリ毎に、各エントリから特定される音声バッファファイルに音声データが受信されていればそれに対して文音声認識処理を実行し、その結果得られる認識音声文章データを上記各エントリに対応する文章バッファファイルに追加書き込みすることになる。 Bun'onsei recognition unit 117, as described below, for each entry of the processing terminal registration table shown in FIG. 12, text speech recognition whereas if it is received audio data to the audio buffer file specified from the entry process was executed, the recognized speech text data obtained as a result to additional writing in the text buffer file corresponding to each entry. 更に、検索制御部118(図1)は、後述するように、図12に示される処理端末登録テーブルのエントリ毎に、 Furthermore, the search control unit 118 (FIG. 1), as described below, for each entry of the processing terminal registration table shown in FIG. 12,
各エントリから特定される文章バッファファイルに認識音声文章データが得られていればそれに対してデータベース検索処理を実行し、その結果得られる検索結果HT Perform a database search process whereas if speech recognition text data is obtained in the text buffer file specified from the entry, the search results HT of the resulting
ML文章データを上記各エントリに対応する検索結果バッファファイルに追加書き込みすることになる。 The ML document data will be additionally written to the search result buffer file corresponding to each entry.

【0199】ステップ908の処理の後は、図11のステップ912と913で検索結果HTML文章データの送信処理が実行され、それに続くステップ914及び9 [0199] After the process of step 908, the transmission processing of the search results HTML text data in step 912 and 913 in FIG. 11 is performed, step 914 and 9 subsequent
15で最終アクセス時刻が一定時間以上前である移動端末101との通信を終了させるための処理が行われた後、再び図9のステップ901の判定処理に戻る。 After the processing for the last access time in the 15 to terminate the communication with the mobile terminal 101 is earlier than a predetermined time is performed, returns to the determination process of step 901 in FIG.

【0200】次に、図9のステップ901の判定がYE [0200] Next, YE determination in step 901 of FIG. 9
Sであり、ステップ902でパケット送受信部115から引き渡されたデータが文音声認識/データベース検索処理の終了要求コマンドに関するものである場合において、図10のステップ909の判定がYESとなって実行されるステップ910と911の処理について説明する。 S, and data passed from the packet reception unit 115 in step 902 when it relates to completion request command Bun'onsei recognition / database search processing, the determination in step 909 of FIG. 10 is executed becomes YES step 910 and the process 911 will be described.

【0201】まず、ステップ910で、図9のステップ902でパケット送受信部115から引き渡されたのと同じ“端末識別コード”が記憶されている処理端末登録テーブル(図12)のエントリの内容が全て削除される。 [0202] First, in step 910, the content of the entry in step 902 was delivered from the packet reception unit 115 in the same "terminal identification code" is stored processing terminal registration table of FIG. 9 (FIG. 12) All It is deleted.

【0202】次に、ステップ911で、上記エントリに記憶されていた音声バッファファイル名、文章バッファファイル名、検索済キーワードバッファファイル名、検索インデックスバッファファイル名、及び検索結果バッファファイル名に対応する各バッファファイルが、音声制御ホスト装置108が管理するファイルシステム上から削除される。 [0202] Then, in step 911, the audio buffer file name has been stored in the entry, the text buffer file name, the search already keyword buffer file name, the search index buffer file name, and the search results each corresponding to the buffer file name buffer file is deleted from the file system voice control host unit 108 manages.

【0203】ステップ911の処理の後は、図11のステップ912と913で検索結果HTML文章データの送信処理が実行され、それに続くステップ914及び9 [0203] After the process of step 911, the transmission processing of the search results HTML text data in step 912 and 913 in FIG. 11 is performed, step 914 and 9 subsequent
15で最終アクセス時刻が一定時間以上前である移動端末101との通信を終了させるための処理が行われた後、再び図9のステップ901の判定処理に戻る。 After the processing for the last access time in the 15 to terminate the communication with the mobile terminal 101 is earlier than a predetermined time is performed, returns to the determination process of step 901 in FIG.

【0204】パケット送受信部115から受信通知が通知されておらず図9のステップ901の判定がNOの場合、又は上述の各コマンド又は音声データの受信に対応する処理の後に実行される、図11のステップ912と913の処理、及びそれに続くステップ914と915 [0204] If step 901 of FIG. 9 has not been notified reception notification from the packet reception unit 115 is NO, or is performed after the processing corresponding to the reception of the command or speech data described above, FIG. 11 step 912 of the process 913, and a step 914 followed by 915
の処理について説明する。 It will be described processing.

【0205】これらの処理において、文音声認識部11 [0205] In these processes, Bun'onsei recognition unit 11
7から得られている検索結果HTML文章データの送信処理が実行される。 Transmission processing of the resulting by that search results HTML text data from 7 is executed. まず、ステップ912では、処理端末登録テーブル(図12)において、検索結果バッファファイル名に対応する検索結果バッファファイルに検索結果HTML文章データが存在するエントリがあるか否かが判定される。 First, in step 912, the processing terminal registration table (FIG. 12), the search result whether the buffer corresponding to the file name search results to the search results buffer file HTML document data is an entry that exists is determined.

【0206】そのようなエントリが無くステップ912 [0206] Such an entry is no step 912
の判定がNOの場合には、ステップ913での検索結果HTML文章データの送信処理は実行されずに、ステップ914及び915の処理に進む。 Of If the determination is NO, the search result transmission processing of an HTML document data at step 913 is not executed, the process proceeds to step 914 and 915.

【0207】上述のようなエントリが1つ以上存在しステップ912の判定がYESの場合には、ステップ91 [0207] If the determination there is one or more entries as described above step 912 is YES, step 91
3で、該当するエントリ毎に、そのエントリに記憶されている“送信元IPアドレス”に向けて、そのエントリに記憶されている検索結果バッファファイル名に対応する検索結果バッファファイル内の検索結果HTML文章データが送信され、その送信された検索結果HTML文章データが上記検索結果バッファファイルから削除される。 3, corresponding to each entry, toward the "source IP address" stored in the entry, the search results HTML search results buffer file corresponding to the search result buffer file name stored in that entry text data is transmitted, the transmission search results HTML text data is deleted from the search result buffer file. なお、削除時の検索結果バッファファイルのサイズは、音声制御ホスト装置108が管理するファイルシステムによって自動的に調整される。 The size of the search result buffer file when deleting is automatically adjusted by the file system voice control host unit 108 manages.

【0208】上述のステップ913の処理の後又はステップ912の判定がNOである場合に、ステップ914 [0208] When the result of the determination or after step 912 of the above-described processing of step 913 is NO, a step 914
が実行される。 There is executed. ここでは、処理端末登録テーブル(図1 Here, the processing terminal registration table (FIG. 1
2)のエントリのうち、最終アクセス時刻が現在時刻から一定時間前の時刻より更に前の時刻であるエントリが検出され、そのエントリの内容が全て削除される。 Among the entries of 2), the last access time is detected entry is further previous time from the predetermined time before the time from the current time, the contents of the entry are deleted.

【0209】また、ステップ915で、上記エントリに記憶されていた音声バッファファイル名、文章バッファファイル名、検索済キーワードバッファファイル名、検索インデックスバッファファイル名、及び検索結果バッファファイル名に対応する各バッファファイルが、音声制御ホスト装置108が管理するファイルシステム上から削除される。 [0209] In addition, in step 915, the audio buffer file name that has been stored in the entry, the text buffer file name, the search already keyword buffer file name, the search index buffer file name, and the search results each buffer corresponding to the buffer file name file is deleted from the file system voice control host unit 108 manages.

【0210】ステップ915の処理の後、再び図9のステップ901の判定処理に戻る。 [0210] After step 915, returns to the determination process of step 901 in FIG. <文音声認識部117の詳細動作>図13は、文音声認識部117の機能ブロック図である。 13 <Detailed Operation of Bun'onsei recognition unit 117> is a functional block diagram of a Bun'onsei recognition unit 117.

【0211】この文音声認識部117は、前述したように、図12に示される処理端末登録テーブルのエントリ毎に、各エントリから特定される音声バッファファイルに音声データが受信されていればそれに対して文音声認識を実行し、その結果得られる認識音声文章データを上記各エントリに対応する文章バッファファイルに追加書き込みする。 [0211] The sentence speech recognition unit 117, as described above, for each entry of the processing terminal registration table shown in FIG. 12, contrast if the audio data is received in the audio buffer file specified from the entry Te running Bun'onsei recognition, adding writes recognized speech text data obtained as a result of the sentence buffer file corresponding to each entry.

【0212】上述のエントリ毎の音声バッファファイルからの音声データの読出しと文章バッファファイルへの認識音声文章データの書込みは、図13の入出力制御部1309が制御する。 [0212] Writing recognition voice text data to the read and text buffer file of the audio data from the audio buffer file for each above entry, controls the output control unit 1309 of FIG. 13. まず、この入出力制御部1309 First, the input and output control unit 1309
の制御動作につき説明する。 It described control operation of the per. 図14は、入出力制御部1 14, input-output control unit 1
309が実行する制御動作を示す動作フローチャートである。 309 is a flowchart illustrating a control operation to be executed. この動作フローチャートは、入出力制御部130 The operation flowchart is the input-output control unit 130
9を制御する特には図示しないプロセッサが、特には図示しない制御プログラムを実行する動作として実現される。 Processor is especially not shown, for controlling the 9, in particular it is realized as an operation for executing a control program (not shown).

【0213】まず、ステップ1401では、処理端末登録テーブル(図12)において、音声バッファファイル名に対応する音声バッファファイルに音声データが記憶されているエントリが存在するか否かが判定される。 [0213] First, in step 1401, the processing terminal registration table (FIG. 12), whether the audio data to the audio buffer file corresponding to the audio buffer file name is present entries stored is determined.

【0214】そのようなエントリが存在しステップ14 [0214] Step 14 there is no such entry
01の判定がYESならば、ステップ1402で、該当するエントリ毎に、そのエントリに記憶されている“端末識別コード”と、そのエントリに記憶されている音声バッファファイル名に対応する音声バッファファイル上の音声データとが、図13の入力バッファキュー130 If 01 of the judgment is YES, at step 1402, for each corresponding entry, and stored are "terminal identification code" in the entry, the audio buffer file corresponding to the audio buffer file name stored in that entry and audio data of the input buffer queue 130 in FIG. 13
1に書き込まれ、その音声データが音声バッファファイルから削除される。 Written to 1, the audio data is deleted from the audio buffer file.

【0215】入力バッファキュー1301は、それがキューイングしている音声データを、音声区間検出部13 [0215] Input buffer queue 1301, a voice data which it is queued, the speech section detecting unit 13
02に順次流し込む機能を有する。 With sequentially poured function to 02. 音声区間検出部13 The voice section detection unit 13
02以降に接続されている音声分析部1303、音素認識部1304、単語認識部1306、及び文章認識部1 02 speech analysis section 1303 that is connected to the subsequent phoneme recognition section 1304, word recognition unit 1306, and the sentence recognition unit 1
307は、データ処理パイプラインを形成しており、相互に独立して、入力データを処理する機能を有する。 307 forms a data processing pipeline, independently of one another, have the function of processing input data. また、1302〜1307の各部分は、現在処理している音声データに対応する“端末識別コード”(入力バッファキュー1301から入力される)を認識することができる。 Further, each part of 1302-1307 can recognize the corresponding sound data being processed "terminal identification code" (input from the input buffer queue 1301). 従って、最終的に文章認識部1307から出力バッファキュー1308へは、“端末識別コード”と認識音声文章データとの組が出力されることになる。 Therefore, from the final sentence recognition unit 1307 to the output buffer queue 1308, it will be set between the recognized speech text data "terminal identification code" is outputted.

【0216】ステップ1402の処理の後又はステップ1401の判定がNOの場合には、ステップ1403 [0216] When the result of the determination or after step 1401 in the processing in step 1402 is NO, step 1403
で、図13の出力バッファキュー1308に、“端末識別コード”と認識音声文章データの組が得られているか否かが判定される。 In the output buffer queue 1308 in FIG. 13, whether "terminal identification code" and a set of recognized speech text data is obtained it is determined.

【0217】そのような組が得られておりステップ14 [0217] step has obtained such a set of 14
03の判定がYESならば、ステップ1404で、出力バッファキュー1308内の組毎に、その組の“端末識別コード”に対応する処理端末登録テーブルのエントリについて、そのエントリに記憶されている文章バッファファイル名に対応する文章バッファファイルに、出力バッファキュー1308内の組の認識音声文章データが追加書き込みされる。 03 of the determination is If YES, in step 1404, each set in the output buffer queue 1308, the entry of the processing terminal registration table corresponding to the "terminal identification code" in the set, the text buffer stored in the entry in the text buffer file corresponding to the file name, a set of speech recognition text data in the output buffer queue 1308 is added to the writing.

【0218】ステップ1404の処理の後又はステップ1403の判定がNOの場合には、再びステップ140 [0218] When the result of the determination or after step 1403 in the processing in step 1404 is NO, again step 140
1の判定処理が実行される。 First determination processing is executed. 以上のようにして文音声認識部117は、流れ作業的に効率良く、複数の移動端末101から要求された音声データに対する文音声認識処理を実行することができる。 More statements speech recognition unit 117 as is, flow work efficiency better, it is possible to perform the Bun'onsei recognition processing on audio data requested from a plurality of mobile terminals 101.

【0219】次に、文音声認識処理を実現するための1 [0219] Next, 1 for realizing the Bun'onsei recognition process
302〜1307の各部分の機能につき、以下に説明する。 The function of each part of the 302 to 1,307 per will be described below. なお、以下に説明する各方式は、例えば、文献「電子・情報工学入門シリーズ2 音響・音声工学」(古井著、近代科学社)第14章」を参照することにより、実現することができる。 In addition, each method described below, for example, the literature "Electronic and Information Engineering, Introduction to Series 2 acoustic and sound engineering" (sieve al., Modern Science Co., Ltd.) by referring to the Chapter 14 ", can be realized.

【0220】音声区間検出部1302は、入力バッファキュー1301から入力される音声データのサンプル時系列について、音声が存在する区間を検出する。 [0220] voice section detection unit 1302, the sample time series of voice data that is input from the input buffer queue 1301, detects a section where voice is present. より具体的には、音声区間検出部1302は、所定サンプル(例えば8kHzサンプリングデータについて32乃至256サンプル)ずつの平均パワー(電力)を計算し、 More specifically, the speech section detecting unit 1302 calculates a predetermined sample (e.g. 32 to 256 samples for 8kHz sampling data) by the average power of the (power),
その平均パワーが所定の閾値を超えた状態が所定回数以上連続して続く区間を、音声区間として検出する。 A section condition where the average power exceeds a predetermined threshold value continues successively a predetermined number of times or more, is detected as a speech section. これにより、音声が存在しない区間で文音声が誤認識されてしまうのを防ぐことができる。 Thus, it is possible to prevent the statements voice section voice does not exist would be erroneously recognized.

【0221】音声分析部1303は、音声区間検出部1 [0221] speech analysis unit 1303, voice section detector 1
302から出力される音声データについて、その特徴分析を行うことによって、特徴量パラメータベクトルを検出する。 The audio data output from 302, by performing the feature analysis, to detect a feature quantity parameter vector. 音声分析方式としては、以下の周知の分析方式の何れかを採用することができる。 The speech analysis method, it is possible to adopt any of the following known analysis methods. (1)音声データ時系列を入力とする帯域フィルタバンクの各出力を平滑化し、それらの平滑化された各出力を特徴量パラメータベクトルの要素とする方式。 (1) smoothes the outputs of the bandpass filter bank that receives the speech data time series, a method of an element of the feature amount parameter vector each is their smooth output. (2)連続する所定サンプルずつの音声データ時系列を入力とする高速フーリエ変換(FFT)によって計算した各短時間スペクトル成分を平滑化し、それらの平滑化された各成分値を特徴量パラメータベクトルの要素とする方式。 (2) by smoothing each short-time spectrum components computed by fast Fourier transform (FFT) for the input speech data time series by a predetermined consecutive samples of the feature parameter vector component values ​​which are their smooth system composed of the elements. (3)連続する所定サンプルずつの音声データ時系列を入力とするケプストラム分析によってケプストラム係数群を計算し、それらを特徴量パラメータベクトルの要素とする方式。 (3) a cepstrum coefficient group calculated by the cepstrum analysis to input speech data time series by a predetermined consecutive samples, a method of an element of the feature amount parameter vector them. (4)上記(3)のケプストラム係数群に加えて、それらに対するΔ(デルタ)ケプストラム(ケプストラムの微係数)群を計算し、それらを特徴量パラメータベクトルの要素に加える方式。 (4) In addition to the cepstrum coefficient group of the above (3), calculate them for delta (delta) cepstrum group (derivative of cepstrum), add them to the elements of the feature amount parameter vector method. (5)連続する所定サンプルずつの音声データ時系列を入力とする線形予測分析(LPC分析、更に具体的には線スペクトル対分析:LSP分析)によって、LPC (5) linear predictive analysis (LPC analysis, more specifically to the line-spectral pair analysis: LSP analysis) that receives the voice data time series by a predetermined successive samples by, LPC
(LSP)係数群を計算し、それらを特徴量パラメータベクトルの要素とする方式。 (LSP) a coefficient group is calculated and method of an element of their feature amount parameter vector. (6)連続する所定サンプルずつの音声データ時系列を入力とする自己相関分析によって自己相関関数を計算し、それらに基づいて検出される音声のピッチ基本周波数パターンを特徴量パラメータベクトルの1つの要素に加える方式。 (6) computes the autocorrelation function by the autocorrelation analysis to enter voice data time series by a predetermined consecutive samples, one element of the feature amount parameter vector pitch fundamental frequency pattern of the audio to be detected on the basis of their method to be applied to. 次に、音素認識部1304は、所定フレーム周期(所定サンプル)毎に音声分析部1303から出力される特徴量パラメータベクトルと、音素標準パターン辞書130 Next, the phoneme recognition section 1304, a feature quantity parameter vector output from the voice analysis unit 1303 at every predetermined frame period (predetermined sample), phonemic standard pattern dictionary 130
5に蓄積されている各音素の特徴量パラメータベクトルの標準パターンとの類似度(距離)を計算し、その結果所定フレーム周期毎に得られる類似度の高い音素の組をその類似度と共に音素ラティスデータとして出力する。 Similarity between the standard pattern of each phoneme feature amount parameter vector 5 stored in the (distance) is calculated and phoneme lattice and the results given frame period phoneme-set high similarity obtained for each with its similarity and outputs it as data.
音素認識部1304は、音素の認識誤りの発生を回避するために、所定フレーム周期毎に最終的な音素を決定することはせずに、音素候補を表にした音素ラティスデータの形式で結果データを出力する。 Phoneme recognition section 1304, in order to avoid the occurrence of the phoneme recognition errors, without the determining the final phoneme every predetermined frame period, results phoneme candidates in the form of a phoneme lattice data in table data to output.

【0222】単語認識部1306は、所定フレーム周期毎に音素認識部1304から出力される音素ラティスデータを入力として、所定フレーム周期毎に単語候補を表にして単語ラティスデータを出力する。 [0222] Word Recognition unit 1306 as an input phoneme lattice data output from the phoneme recognition section 1304 for each predetermined frame period, a word candidate and outputs the word lattice data in the table for each predetermined frame cycle. 単語認識方式としては、以下の周知の分析方式の何れかを採用することができる。 The word recognition method, it is possible to adopt any of the following known analysis methods. (1)単語認識部1306は、音素認識部1304から出力される複数のフレーム周期にまたがる音素ラティスデータの時系列と、単語辞書に蓄積されている全音素標準パターン系列とで、時間正規化(DPマッチング or (1) word recognition unit 1306, in a time series of phoneme lattice data across multiple frame periods, which is output from the phoneme recognition section 1304, and the total phoneme standard pattern sequence stored in the word dictionary, the time normalization ( DP matching or
DTW:DynamicTime Warping)を実行し、単語ラティスデータを出力する。 DTW: DynamicTime Warping) is executed, and outputs the word lattice data. この場合も、単語認識部1306 In this case, word recognition unit 1306
は、単語の認識誤りの発声を回避するために、所定フレーム周期毎に最終的な単語を決定することはせずに、単語候補を表にした単語ラティスデータの形式で結果データを出力する。 In order to avoid the utterance recognition error words, without the determining the final word every predetermined frame period, and outputs the result data word candidates in the form of a word lattice data in the table. (2)単語認識部1306は、HMM(Hidden Markov (2) the word recognition section 1306, HMM (Hidden Markov
Model )によって、全単語をモデル化し、音素認識部1 By Model), to model the whole word, phoneme recognition unit 1
304から出力される複数のフレーム周期にまたがる音素ラティスデータの時系列をHMM分析部に入力し、生起確率の大きいものから複数個のモデルに対応する各単語を、単語候補である単語ラティスデータとして出力する。 The time series of phonemes lattice data across multiple frame periods, which is output from the 304 input to HMM analysis unit, each word corresponding to a plurality of models from those probabilities large, as a word lattice data is a word candidate Output. 最後に、文章認識部1307は、その第1段処理として、単語認識部1306から出力される単語ラティスデータを順次入力し、日本語(英語でもよい)の文節構造に関する文節内文法(語順規則)に従って、種々の文節の可能性を文節ラティスデータとして算出する。 Finally, the sentence recognition unit 1307, as a first step treatment, sequentially enter the word lattice data output from the word recognizer 1306, Japanese phrase within a grammar relating clause structure (which may be in English) (word order rules) according, to calculate the likelihood of the various clauses as clause lattice data. そして、文章認識部1307は、その第2段処理として、文節間文法に従って文節間の意味的な係り受けを解析し、 The sentence recognition unit 1307, as a second stage process, analyzes the semantic dependency between clauses accordance clauses between grammar,
認識音声文章データを決定し、それを、入力バッファキュー1301から順次伝達されてきた“端末識別コード”と対について、出力バッファキュー1308に書き込む。 Determines the recognized speech text data, it, for sequentially been transferred "terminal identification code" pair from the input buffer queue 1301 is written to the output buffer queue 1308. <検索制御部118の詳細動作>図15は、検索制御部118の機能ブロック図である。 15 <Detailed Operation of the search control unit 118> is a functional block diagram of the search control unit 118.

【0223】この検索制御部118は、前述したように、図12に示される処理端末登録テーブルのエントリ毎に、各エントリから特定される文章バッファファイルに文音声認識部117によって認識音声文章データが得られていればそれに対してデータベース検索処理を実行し、その結果得られる検索結果HTML文章データを上記各エントリに対応する検索結果バッファファイルに追加書き込みする。 [0223] The search control unit 118, as described above, for each entry of the processing terminal registration table shown in FIG. 12, the speech recognition text data by Bun'onsei recognition unit 117 in the text buffer file specified from the entry if obtained running the database search processing to it, adding writes the search result HTML document data obtained as the result to the search result buffer file corresponding to each entry.

【0224】上述のエントリ毎の文章バッファファイルからの認識音声文章データの読出しと検索結果バッファファイルへの検索結果HTML文章データの書込みは、 [0224] of the search results HTML text data to the speech recognition text data read and search result buffer file of from the text buffer file for each of the above-mentioned entry write,
図15の入出力制御部1507が制御する。 Output control unit 1507 of FIG. 15 is controlled. まず、この入出力制御部1507の制御動作につき説明する。 First, it will be described a control operation of the output control unit 1507. 図1 Figure 1
6は、入出力制御部1507が実行する制御動作を示す動作フローチャートである。 6 is a flowchart illustrating a control operation of the input-output control unit 1507 executes. この動作フローチャートは、入出力制御部1507を制御する特には図示しないプロセッサが、特には図示しない制御プログラムを実行する動作として実現され、前述した、文音声認識部11 The operation flowchart is the especially for controlling the input and output control unit 1507 processor (not shown), in particular is realized as an operation for executing a control program (not shown), described above, Bun'onsei recognition unit 11
7内の図13に示される入出力制御部1309と同様の制御動作を実現する。 To realize the same control operation output control unit 1309 shown in FIG. 13 in 7.

【0225】まず、ステップ1601では、処理端末登録テーブル(図12)において、文章バッファファイル名に対応する文章バッファファイルに認識音声文章データが記憶されているエントリが存在するか否かが判定される。 [0225] First, in step 1601, the processing terminal registration table (FIG. 12), whether an entry text buffer file in recognized speech text data is stored corresponding to the text buffer file name exists is determined .

【0226】そのようなエントリが存在しステップ16 [0226] Step 16 there is no such entry
01の判定がYESならば、ステップ1602で、該当するエントリ毎に、そのエントリに記憶されている“端末識別コード”と、そのエントリに記憶されている文章バッファファイル名に対応する文章バッファファイル上の認識音声文章データとが、図15の入力バッファキュー1501に書き込まれ、その認識音声文章データが文章バッファファイルから削除される。 01 of the determination is If YES, in step 1602, appropriate for each entry, the "terminal identification code" is stored in the entry, the text buffer file on corresponding to the sentence buffer file name stored in that entry and speech recognition text data is written to the input buffer queue 1501 in FIG. 15, the recognized speech text data is deleted from the text buffer file.

【0227】入力バッファキュー1501は、それがキューイングしている認識音声文章データを、検索インデックス作成部1502に順次流し込む機能を有する。 [0227] The input buffer queue 1501, it is a recognized voice text data that is queued, with the sequential pouring function in the search index creation unit 1502. 検索インデックス作成部1502以降に接続されている検索キーワード抽出部1503及び検索実行部1505 Search is connected after the search index creation unit 1502 keyword extraction section 1503 and the retrieval executing section 1505
は、図13に示される文音声認識部117の構成の場合と同様に、データ処理パイプラインを形成しており、相互に独立して、入力データを処理する機能を有する。 As in the case of construction of Bun'onsei recognition unit 117 shown in FIG. 13, it forms a data processing pipeline, independently of one another, have the function of processing input data. また、1502〜1505の各部分は、現在処理している認識音声文章データに対応する“端末識別コード”(入力バッファキュー1501から入力される)を認識することができる。 Further, each part of 1502-1505 can recognize the corresponding recognized speech text data being processed "terminal identification code" (input from the input buffer queue 1501). 従って、最終的に検索実行部1505から出力バッファキュー1506へは、“端末識別コード”と検索結果HTML文章データとの組が出力されることになる。 Therefore, from the final search execution unit 1505 to the output buffer queue 1506, will be set of the "terminal identification code" and the search results HTML text data is output.

【0228】ステップ1602の処理の後又はステップ1601の判定がNOの場合には、ステップ1603 [0228] When the result of the determination or after step 1601 in the processing in step 1602 is NO, step 1603
で、図15の出力バッファキュー1506に、“端末識別コード”と検索結果HTML文章データの組が得られているか否かが判定される。 In the output buffer queue 1506 in FIG. 15, whether "terminal identification code" and results for HTML document data set is obtained it is determined.

【0229】そのような組が得られておりステップ16 [0229] step has obtained such a set of 16
03の判定がYESならば、ステップ1604で、出力バッファキュー1506内の組毎に、その組の“端末識別コード”に対応する処理端末登録テーブルのエントリについて、そのエントリに記憶されている検索結果バッファファイル名に対応する検索結果バッファファイルに、出力バッファキュー1506内の組の検索結果HT If step 03 is YES, at step 1604, the output each set in the buffer queue 1506, the entry of the processing terminal registration table corresponding to the "terminal identification code" in the set, the search result stored in the entry in the search results buffer file corresponding to the buffer file name, a set of search results in the output buffer queue 1506 HT
ML文章データが追加書き込みされる。 ML sentence data is added writing.

【0230】ステップ1604の処理の後又はステップ1603の判定がNOの場合には、再びステップ160 [0230] When the result of the determination or step 1603 after step 1604 is NO, again step 160
1の判定処理が実行される。 First determination processing is executed. 以上のようにして検索制御部118は、文音声認識部117の場合と同様に、流れ作業的に効率良く、複数の移動端末101からの要求に基づいて文音声認識部117において得られた認識音声文章データに対するデータベース検索処理を実行することができる。 Search control unit 118 as described above, as in the case of Bun'onsei recognition unit 117, Production and efficiently, resulting in Bun'onsei recognition unit 117 based on requests from a plurality of mobile terminals 101 recognizes it is possible to perform a database search processing for the speech text data.

【0231】次に、データベース検索処理を実現するための1502〜1505の各部分の機能につき、以下に説明する。 [0231] Next, a function of each part of 1502-1505 for implementing a database search process will be described below. 検索インデックス作成部1502は、入力バッファキュー1401から順次入力される“端末識別コード”と認識音声文章データとの組のそれぞれについて、その組の“端末識別コード”に対応する処理端末登録テーブルのエントリに記憶されている検索インデックスバッファファイル名から得られる検索インデックスバッファファイルを使用しながら、移動端末101別に認識音声文章データを構成する単語を一定の基準に従って分類したリストである検索インデックスを作成し、それを上記組の“端末識別コード”と共に検索キーワード抽出部1503に出力する。 Search index creation unit 1502, for each set of inputs is sequentially input from the buffer queue 1401 "terminal identification code" and the recognized speech text data, the entry of the processing terminal registration table corresponding to the set of "terminal identification code" while using the search index buffer file obtained from the search index buffer file name stored in, creating a search index is a word that constitutes the mobile terminal 101 separately recognized speech text data list classified according to certain criteria, it outputs to the search keyword extracting section 1503 with the sets of "terminal identification code". 具体的には、検索インデックス作成部1502は、例えば、その組の認識音声文章データを構成する例えば図18に示されるような各単語の出現回数をカウントすることにより、出現回数の大きい順にリスト化された単語表である検索インデックスを例えば図19に示されるように作成する。 Specifically, the search index creation unit 1502, for example, by counting the number of occurrences of each word, as shown in example FIG. 18 constituting the set of recognized speech text data, listed in descending order of occurrence counts creating a search index is a word table that is as shown in Figure 19, for example. この場合、検索インデックスバッファファイルには、1つの移動端末1 In this case, the search index buffer file, one mobile terminal 1
01から文音声認識/データベース検索処理の開始要求コマンドが指定された以後の検索インデックスが蓄積されており、その検索インデックスと今回入力された認識音声文章データを構成する各単語とに基づいて、新たな検索インデックスが作成され、それが検索インデックスバッファファイルに蓄積される。 The subsequent search index start request command has been specified Bun'onsei recognition / database search processing 01 are accumulated, based on the respective words constituting the recognized speech text data entered their search index and the current, new Do search index is created, it is stored in the search index buffer file. このため、上記コマンドの指定以後に1つの移動端末101から入力された音声に現れる単語が、一定の基準で、即ち例えば出現回数の多い順で、検索インデックス上でリスト化されることになる。 Therefore, the word appearing in the speech that is input from one of the mobile terminal 101 to the specified after the command, on a regular basis, in order i.e. greater example of appearance frequency, will be listed on the search index. なお、認識音声文章データには、例えば図18 Incidentally, the recognized speech text data, for example, FIG. 18
の“*”として示されるように単語の区切り情報が含まれる。 It included the word delimiter information as shown as "*" of. この単語の区切り情報は、文章バッファファイル及び入力バッファキュー1501を介して、文音声認識部117内の文章認識部1407から引き渡されるため、認識音声文章データ上での各単語の区切りは容易に識別できる。 Delimiter information in this word, via a text buffer file and the input buffer queue 1501, because it is delivered from the sentence recognition unit 1407 Bun'onsei the recognition unit 117 divides each word on the recognized speech text data is easily identified it can.

【0232】次に、検索キーワード抽出部1503は、 [0232] Next, the search keyword extraction unit 1503,
検索インデックス作成部1502から出力される“端末識別コード”と検索インデックスとの組のそれぞれにつき、その組の検索インデックス中で所定の基準を満たす単語、例えば出現回数が一定回数以上の(又は一定の出現回数順位以上の順位の)単語を抽出する。 Search outputted from the index creation unit 1502 for each of the set of the "terminal identification code" and the search index, a word which satisfies the predetermined criteria in the set of search index in, for example, number of occurrences is more than a certain number (or a fixed the advent of the number of times rank or higher rank) to extract a word. 更に、検索キーワード抽出部1503は、抽出された単語のうち、 Moreover, the search keyword extraction unit 1503, among the extracted words,
不要キーワード辞書1504に登録されていない単語を抽出し、更に、上記検索インデックスと共に検索インデックス作成部1502から出力されている“端末識別コード”に対応する処理端末登録テーブルのエントリに記憶されている検索済キーワードバッファファイル名から得られる検索済キーワードバッファファイルに登録されている検索済キーワード以外の単語を抽出し、それを検索キーワードとして上記組の“端末識別コード”と共に出力する。 Extracting word not registered in the required keyword dictionary 1504, further search stored in the entry of the processing terminal registration table corresponding to the search are outputted from the index creation unit 1502 "terminal identification code" with the search index already keyword extracting word other than searched keywords registered in the search already keyword buffer file obtained from the buffer file name, outputs together with the set of "terminal identification code" it as a search keyword. また、検索キーワード抽出部1503は、その検索キーワードを、上記検索済キーワードバッファファイルに登録する。 In addition, the search keyword extraction unit 1503, the search keyword is registered in the search already keyword buffer file.

【0233】不要キーワード辞書1504には、普通動詞、形容詞、副詞、助動詞、助詞、接続詞、前置詞等の単語が登録されている。 [0233] to unnecessary keyword dictionary 1504, usually a verb, adjective, adverb, auxiliary verb, particle, conjunction, the word of prepositions, etc. are registered. この辞書が参照されることにより、無意味な単語がデータベース検索処理されることを回避することができ、移動端末101に対して有意な検索結果HTML文章データのみを提供することができる。 By this dictionary is referenced, it is possible to meaningless words can be prevented from being database search process, providing only significant Results HTML text data to the mobile terminal 101.

【0234】また、検索済キーワードバッファファイルには、1つの移動端末101から文音声認識/データベース検索処理の開始要求コマンドが指定された以後にデータベース検索処理された検索キーワードが登録されている。 [0234] Also, the search already keyword buffer file, search keywords into a database search process from one mobile terminal 101 for subsequent of the start request command Bun'onsei recognition / database search process is specified are registered. このファイルが参照されることにより、同じ検索キーワードが重複してデータベース検索処理されることを回避することができる。 By this file is referenced, it is that the same search keyword to avoid being a database search process overlap.

【0235】検索実行部1505は、検索キーワード抽出部1503から出力される“端末識別コード”と検索キーワードの組のそれぞれについて、その組の検索キーワードを用いて、インターネット105上の予め登録されている特定のデータベース検索エンジンに対して、問合せを依頼する。 [0235] Search execution unit 1505, for each set of search terms and "terminal identification code" is outputted from the search keyword extracting unit 1503, using the set of search terms, are registered in advance on the Internet 105 for a particular database search engine, to request the inquiry. この場合、複数検索キーワードが例えばアンド結合又はオア結合されることによって問合せデータが作成される。 In this case, query data is created by a plurality search keywords are for example and coupled or OR bond. そして、この問合せデータは、上述のデータベース検索エンジンが存在するインターネット105に接続されるホスト装置上のWebサーバに対するHTTPの通信プロトコルに基づく要求データとして、TCP/IPパケットに格納されパケット送受信部115(図1)を介して送信される。 Then, the inquiry data, the requested data based on the communication protocol of HTTP to the Web server on the host device connected to the Internet 105 to the presence of a database search engine above, TCP / stored in the IP packet packet transceiver 115 ( Figure 1) it is transmitted via. その結果、検索制御部118は、インターネット105上の上記ホスト装置からルータ装置106、LAN107、及びパケット送受信部115(図1)を介して返される検索結果に基づいて、図20に示されるような検索結果HTML文章データを生成し、それを上記組の“端末識別コード”と共に出力バッファキュー1408に書き込む。 As a result, the search control unit 118, based on from the host device on the Internet 105 router device 106, LAN 107, and packet transmission unit 115 (FIG. 1) through the search results returned, as shown in FIG. 20 results generates HTML text data, and writes it to the output buffer queue 1408 with the sets of "terminal identification code". <他の実施の形態>以上説明した実施の形態では、移動端末101は、PHS端末であって、移動端末101と音声制御ホスト装置108とは、PHS網103とインターネット105を介して接続されている。 In the embodiment described <Other Embodiments> As described above, the mobile terminal 101 is a PHS terminal, a mobile terminal 101 and the voice control host device 108 is connected via the PHS network 103 and the Internet 105 there. しかし、本発明は、これに限られるものではなく、無線又は有線によって間接的又は直接的に音声制御ホスト装置108に接続される形態であれば、どのような形態であっても本発明をそれに適用することができる。 However, the present invention is not limited thereto, as long as the form is connected indirectly or directly voice control host device 108 via a wireless or wired, to be present invention in any form to it it is possible to apply.

【0236】また、本実施の形態では、検索制御部11 [0236] Further, in the present embodiment, the search control unit 11
8によって検索されるデータベース検索エンジンは、インターネット105に接続されるホスト装置上のWeb Database search engine that is retrieved by 8, Web on the host device connected to the Internet 105
サーバが管理するものであるが、本発明はこれに限られるものではなく、例えば音声制御ホスト装置108内又はLAN107に接続される他のホスト装置内に検索キーワードに対するホームページ情報を格納したローカルなデータベースを構築し、検索制御部118はそれにアクセスして検索結果を得るように構成されてもよい。 But in which server manages, the present invention is not limited to this, the local database storing homepage information to the search keyword, for example, voice control host device other host device connected to a 108 or within LAN107 building a search control unit 118 may be configured to obtain search results by accessing to it.

【0237】 [0237]

【発明の効果】本発明によれば、移動端末は、高度な音声認識/データベース検索/リソースアクセス環境を設備する必要がなく実用的な精度を有する音声認識/データベース検索機能の提供を低コストで受けることが可能となる。 According to the present invention, the mobile terminal is a low cost to provide a voice recognition / database search function with practical accuracy is not necessary to equipment advanced speech recognition / database search / resource access environment It can be received and made.

【0238】また、本発明によれば、現在全国的及び全世界的に普及しつつあるパーソナルハンディホンシステム通信網及びインターネットを経由することにより、実用的な精度を有する音声認識機能と、ワールドワイドなデータベース検索、及びその検索結果に対応するリソースへのアクセス機能の提供を、より低コスト及び手軽に受けることができると同時に、本発明が提供する機能とパーソナルハンディホンシステム通話機能及びインターネットアクセス機能とを、シームレスに結合することが可能となる。 [0238] Further, according to the present invention, by way of the personal handy phone system network and the Internet that is currently becoming popular nationwide and worldwide, a voice recognition function having practical accuracy, Worldwide a database search, and the search to provide results to the access function to the resource correspondence, at the same time can receive a lower cost and easy, functionality present invention provides a personal handy phone system call function and Internet access function the door, it is possible to seamlessly join.

【0239】更に、本発明によれば、移動端末と音声制御ホスト装置とを全世界的に容易に特定できると共に、 [0239] Further, according to the present invention, together with a mobile terminal and a voice control host device worldwide can be easily identified,
音声認識/データベース検索処理サービスと、その検索結果に基づくリソースへのアクセスサービス、及びその他の情報処理サービスとの共存を容易に実現することが可能となる。 A speech recognition / database search processing services, the search results based on the access service to the resource, and it is possible to easily realize the coexistence with other information processing services.

【0240】加えて、本発明によれば、ホスト装置側の負荷分散を容易に実現することが可能となる。 [0240] In addition, according to the present invention, it is possible to easily realize the load distribution on the host device side.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】全システム構成図である。 FIG. 1 is a whole system configuration diagram.

【図2】移動端末の外観図である。 FIG. 2 is an external view of a mobile terminal.

【図3】移動端末の機能ブロック図である。 3 is a functional block diagram of a mobile terminal.

【図4】移動端末の処理の全体動作フローチャートである。 Figure 4 is an overall flowchart of the process of the mobile terminal.

【図5】送信処理の動作フローチャートである。 5 is a flowchart of the transmission process.

【図6】通信データのフォーマット図である。 FIG. 6 is a format diagram of a communication data.

【図7】IPヘッダとTCPヘッダのフォーマット図である。 FIG. 7 is a format diagram of the IP header and the TCP header.

【図8】PPPを用いた発信処理の動作フローチャートである。 8 is a flowchart of transmission processing using the PPP.

【図9】移動端末通信制御部の動作フローチャート(その1)である。 9 is an operational flowchart of the mobile terminal communication control unit (1).

【図10】移動端末通信制御部の動作フローチャート(その2)である。 10 is an operational flowchart of the mobile terminal communication control unit (2).

【図11】移動端末通信制御部の動作フローチャート(その3)である。 11 is an operational flowchart of the mobile terminal communication control unit (3).

【図12】処理端末登録テーブルのデータ構成図である。 12 is a data configuration diagram of the processing terminal registration table.

【図13】文音声認識部の構成図である。 13 is a configuration diagram of a Bun'onsei recognition unit.

【図14】文音声認識部内の入出力制御部の動作フローチャートである。 14 is an operation flowchart of the input-output control unit Bun'onsei the recognition unit.

【図15】検索制御部の構成図である。 FIG. 15 is a block diagram of the search control unit.

【図16】検索制御部内の入出力制御部の動作フローチャートである。 16 is an operation flowchart of the input-output control unit in the search control unit.

【図17】PHS会話内容の例を示す図である。 FIG. 17 is a diagram illustrating an example of the PHS conversation content.

【図18】認識音声文章データの例を示す図である。 FIG. 18 is a diagram showing an example of a recognized voice text data.

【図19】検索インデックスの例を示す図である。 FIG. 19 is a diagram showing an example of a search index.

【図20】検索結果HTML文章データの例を示す図である。 20 is a diagram showing an example of the search result HTML text data.

【図21】検索結果HTML文章データの表示画面例を示す図である。 FIG. 21 is a diagram showing an example of a display screen of the search result HTML text data.

【図22】ハイパーリンク先のホームページの表示画面例(その1)を示す図である。 FIG. 22 is a diagram showing an example of a display screen of the hyperlinked website (Part 1).

【図23】ハイパーリンク先のホームページの表示画面例(その2)を示す図である。 FIG. 23 is a diagram showing an example of a display screen of the hyperlinked website (Part 2).

【符号の説明】 DESCRIPTION OF SYMBOLS

101 移動端末 102 無線基地(有線接続装置) 103 PHS網(公衆電話網、ISDN網) 104 移動端末制御ホスト装置 105 インターネット 106 ルータ装置 107 LAN(ローカルエリアネットワーク) 108 音声制御ホスト装置 109 入力部 110 制御部 111 通信部 112 出力部 113 接続確立部 114 ルーティング部 115 パケット送受信部 116 移動端末通信制御部 117 文音声認識部 118 検索制御部 201、301 マイク 202、304 カメラ(CCDカメラ) 203、311 LCD表示部 204、308 スピーカ 205、323 無線アンテナ 206、325 ソケット(通信用) 207 ICカードスロット 208 光送受信機(光通信用) 302、305 A/D変換部 303 マイク 101 mobile terminal 102 base (wired connecting device) 103 PHS network (public telephone network, ISDN network) 104 mobile terminal controller host device 105 Internet 106 router device 107 LAN (Local Area Network) 108 audio control host unit 109 input unit 110 control part 111 The communication unit 112 output unit 113 connection establishing unit 114 routing unit 115 packet transmission unit 116 the mobile terminal communication control section 117 Bun'onsei recognition section 118 searches the control unit 201, 301 a microphone 202, 304 camera (CCD camera) 203,311 LCD display parts 204,308 speakers 205,323 radio antenna 206,325 socket (communication) 207 IC card slot 208 optical transceiver (optical communication) 302 and 305 A / D conversion unit 303 microphone 制御部 306、313 メモリ 307 カメラ制御部 309 D/A変換部 310 スピーカ制御部 312 LCDドライバ 314 LCD制御部 315 タッチパネル制御部 316 CPU 317 RAM 318 ROM 319 ICカードインタフェース部 320 ICカード 321 通信制御部 322 無線ドライバ 324 有線ドライバ 1401、1501 入力バッファキュー 1402 音声区間検出部 1403 音声分析部 1404 音素認識部 1405 音素標準パターン辞書 1406 単語認識部 1407 文章認識部 1408、1506 出力バッファキュー 1409、1507 入出力制御部 1502 検索インデックス作成部 1503 検索キーワード抽出部 1504 不要キーワード辞書 1505 検索実行部 Controller 306,313 memory 307 camera control unit 309 D / A converter 310 speaker control unit 312 LCD driver 314 LCD controller 315 touch panel control unit 316 CPU 317 RAM 318 ROM 319 IC card interface section 320 IC card 321 communication control unit 322 wireless driver 324 wired driver 1401, 1501, input buffer queue 1402 speech section detection unit 1403 sound analysis unit 1404 phoneme recognition section 1405 phoneme standard pattern dictionary 1406 word recognition unit 1407 sentence recognition unit 1408,1506 output buffer queue 1409,1507 output control unit 1502 search index creation unit 1503 Search keyword extraction section 1504 unnecessary keyword dictionary 1505 Search execution unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 6識別記号 FI H04M 11/08 H04B 7/26 109M ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 6 identifications FI H04M 11/08 H04B 7/26 109M

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 移動端末がホスト装置と通信する通信システムであって、 前記移動端末内に、 無線網又は有線網の何れか一方又は両方から構成される中継網を介して間接的に又は該中継網を介さずに直接的に前記ホスト装置である音声制御ホスト装置に接続するホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力手段から入力される音声データを前記音声制御ホスト装置に送信する音声データ送信手段と、 前記音声制御ホスト装置から返信されハイパーテキストマークアップ言語HTMLによって記述された検索結果HTML文章データを受信する検索結果HTML文章データ受信手段と、 該受信された検索結果HTML文章データを表示及び処理する検索結果HTML文章データ 1. A mobile terminal is a communication system that communicates with a host device, said mobile terminal, one or through a configured relay network both indirectly or the wireless network or wired network a host connection means for connecting to a voice control host device is the host device directly without passing through the relay network, a voice input means for inputting a voice, after the connection operation by the host connection means, from said voice input means and audio data transmission means for transmitting the audio data to the audio control host unit is input, the search result HTML document to receive the search results HTML text data described by the hypertext mark-up language HTML is returned from the speech control host unit data receiving means, the search results HTML text data to display and process the search results HTML text data with the received 表示/処理手段と、 該表示される検索結果HTML文章データに含まれかつユーザが指定したアクセス情報に対応するホスト装置上のリソースに、前記中継網を介して間接的に又は該中継網を介さずに直接的にアクセスして、該リソースを処理するリソースアクセス処理手段と、 を含み、 前記音声制御ホスト装置内に、 前記移動端末内のホスト接続手段による接続動作に応答して、前記移動端末を識別して接続する移動端末接続手段と、 現在接続されている移動端末毎に、前記音声データを受信する音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信手段により受信された音声データに対して音声認識処理を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段による音声認識処理 A display / processor unit, the resources on the host device corresponding to the search results HTML included in the text data and access information specified by the user to be the display indirectly or via the said transit network via the relay network in direct access without, anda resource access processing means for processing the resource, the voice control host in the apparatus, in response to a connection operation by the host interface means in said mobile terminal, said mobile terminal a mobile terminal connecting means for connecting to identify, for each mobile terminal that is currently connected, the audio data receiving means for receiving the voice data, for each mobile terminal that is currently connected, by the audio data receiving means a speech recognition means for executing speech recognition processing on the received audio data, for each mobile terminal that is currently connected, the speech recognition processing by the speech recognition means によって得られる認識音声データから検索キーワードを抽出し、該検索キーワードに対応するリソースに対する前記アクセス情報を含む前記検索結果HTML文章データを所定のデータベースシステムから検索する検索制御手段と、 現在接続されている移動端末毎に、前記検索制御手段による検索処理によって得られる検索結果HTML文章データを、それに対応する移動端末に返信する検索結果H Extracting a search keyword from the recognized speech data obtained by the retrieval control means for searching said search results HTML text data including the access information to the resource corresponding to the search keyword from a predetermined database system, the currently connected for each mobile terminal, the search for search results HTML text data obtained by the search processing by the control means, the search results reply to the mobile terminal corresponding thereto H
    TML文章データ返信手段と、 を含む、 ことを特徴とする移動端末音声認識/データベース検索/リソースアクセス通信システム。 TML text data including a return means, a mobile device voice recognition / database search / resource access communication system, characterized in that.
  2. 【請求項2】 移動端末がホスト装置と通信する通信システムに使用される前記移動端末であって、 無線網又は有線網の何れか一方又は両方から構成される中継網を介して間接的に又は該中継網を介さずに直接的に前記ホスト装置である音声制御ホスト装置に接続するホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力手段から入力される音声データを前記音声制御ホスト装置に送信する音声データ送信手段と、 前記音声制御ホスト装置から返信されハイパーテキストマークアップ言語HTMLによって記述された検索結果HTML文章データを受信する検索結果HTML文章データ受信手段と、 該受信された検索結果HTML文章データを表示及び処理する検索結果HTML文章 2. A the mobile terminal that the mobile terminal is used in a communication system that communicates with a host device, indirectly or through the configured relay network from either or both of the wireless network or wired network a host connection means for connecting to a voice control host device is the host device directly without passing through the relay network, a voice input means for inputting a voice, after the connection operation by the host connection means, said speech input means results HTML for receiving the audio data transmitting means for transmitting the voice data to the voice control host device, the search result HTML text data described by the hypertext mark-up language HTML is returned from the speech control host unit inputted from and text data receiving means, for displaying and processing the search results HTML text data with the received search result HTML document ータ表示/処理手段と、 該表示される検索結果HTML文章データに含まれかつユーザが指定したアクセス情報に対応するホスト装置上のリソースに、前記中継網を介して間接的に又は該中継網を介さずに直接的にアクセスして、該リソースを処理するリソースアクセス処理手段と、 を含むことを特徴とする移動端末。 And over data display / processing means, the resources on the host device corresponding to the search results included in the HTML document data and access information specified by the user to be the display indirectly or the relay network via the relay network the directly accessed without going through the mobile terminal, characterized in that it comprises a resource access processing means for processing the resource, the.
  3. 【請求項3】 移動端末がホスト装置と通信する通信システムに使用される前記ホスト装置であって、 無線網又は有線網の何れか一方又は両方から構成される中継網を介して間接的に又は該中継網を介さずに直接的に前記移動端末が実行する接続動作に応答して、前記移動端末を識別して接続する移動端末接続手段と、 現在接続されている移動端末毎に、音声データを受信する音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信手段により受信された音声データに対して音声認識処理を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段による音声認識処理によって得られる認識音声データから検索キーワードを抽出し、該検索キーワードに対応するリソースに対するアクセス情報 Wherein the mobile terminal is a said host device for use in a communication system that communicates with a host device, indirectly or through the configured relay network from either or both of the wireless network or wired network in response to a connection operation directly the mobile terminal performs not through the relay network, a mobile terminal connecting means for connecting to identify the mobile terminal, for each mobile terminal that is currently connected, the audio data and audio data receiving means for receiving, for each mobile terminal that is currently connected, the speech recognition means for executing speech recognition processing on the audio data received by the audio data receiving section, the mobile that is currently connected for each terminal, the extracted search keyword from recognized speech data obtained by the speech recognition processing by the speech recognition means, access information to the resource corresponding to the search keyword 含みハイパーテキストマークアップ言語HTMLによって記述された検索結果HTML文章データを所定のデータベースシステムから検索する検索制御手段と、 現在接続されている移動端末毎に、前記検索制御手段による検索処理によって得られる検索結果HTML文章データを、それに対応する移動端末に返信する検索結果H And search control means for retrieving search results HTML text data described by the hypertext markup language HTML from a predetermined database system includes, for each mobile terminal that is currently connected, obtained by the search processing by the search control unit Search the results HTML text data, to reply to the mobile terminal corresponding to the search results H
    TML文章データ返信手段と、 を含むことを特徴とする音声制御ホスト装置。 Voice control host device which comprises a TML text data return means.
  4. 【請求項4】 前記移動端末は、パーソナルハンディホンシステム通信機能を備え、 前記中継網は、パーソナルハンディホンシステム通信網とインターネットを含み、 前記音声制御ホスト装置及び前記アクセス情報に対応するホスト装置は、前記インターネットに接続し、 前記移動端末内のホスト接続手段又はリソースアクセス処理手段は、前記パーソナルハンディホンシステム通信網を介して、該パーソナルハンディホンシステム通信網を含む公衆網と前記インターネットとの間のゲートウエイ機能を有する移動端末制御ホスト装置に発信し接続することによって、前記インターネット上の通信プロトコルを使用して、前記移動端末制御ホスト装置から前記インターネットを介して前記音声制御ホスト装置又は前記アクセス情報に対応する Wherein said mobile terminal comprises a personal handy phone system communication function, the relay network may include a personal handy phone system network and the Internet, the host device corresponding to the voice control host device and the access information , connected to the Internet, the host connection means or resource access processing unit in the mobile terminal, via the personal handy phone system network, between the Internet and public networks including the personal handyphone system network by originated in the mobile terminal control host unit having a gateway function connection, using said communication protocol over the Internet, the voice control host device or the access information from the mobile terminal control host unit via the Internet respond to ホスト装置に接続又はアクセスする、 ことを特徴とする請求項1乃至3の何れか1項に記載の移動端末音声認識/データベース検索/リソースアクセス通信システム、移動端末、又は音声制御ホスト装置。 Connect or access to the host device, the mobile device voice recognition / database search / resource access communication system according to any one of claims 1 to 3, characterized in that, the mobile terminal, or voice control host device.
  5. 【請求項5】 前記ホスト接続手段が使用する通信プロトコルは、インターネットプロトコル層及びトランスミッションコントロールプロトコル層を含む階層プロトコルであって、 前記インターネット上を伝送される前記インターネットプロトコル層のパケットデータであるインターネットプロトコルデータグラムのヘッダフィールドには、前記インターネット上での前記移動端末及び前記音声制御ホスト装置のアドレスを指定する送信元インターネットプロトコルアドレス及び宛先インターネットプロトコルアドレスが格納され、該インターネットプロトコルデータグラムのデータフィールドには、前記トランスミッションコントロールプロトコル層のパケットデータであるトランスミッションコントロールプロトコルセグメントが格納さ Communication protocol wherein said host connection means used is a hierarchy protocols including Internet Protocol layer and Transmission Control Protocol layer, Internet Protocol is a packet data of the internet protocol layer to be transmitted over the Internet the header field of the datagram, wherein the mobile terminal and the source Internet protocol address and a destination Internet protocol address specifies the address of the voice control host device over the Internet is stored, in the data field of the internet protocol datagrams is, the transmission control protocol segment is a packet data transmission control protocol layer is stored 、 前記トランスミッションコントロールプロトコルセグメントのヘッダフィールドには、前記音声認識/データベース検索処理のための通信プロトコルを特定する送信元ポート番号及び宛先ポート番号が格納され、該トランスミッションコントロールプロトコルセグメントのデータフィールドには、前記移動端末を識別するための端末識別コード、前記音声データ、又は前記検索結果HTML The header fields of the Transmission Control Protocol segment, the transmission source port number and destination port number specifying the communication protocol for the voice recognition / database search process is stored, in the data field of the Transmission Control Protocol segment, terminal identification code for identifying the mobile terminal, the audio data, or the search result HTML
    文章データが格納される、 ことを特徴とする請求項4に記載の移動端末音声認識/ Text data is stored, that the mobile device voice recognition according to claim 4, wherein the /
    データベース検索/リソースアクセス通信システム、移動端末、又は音声制御ホスト装置。 Database search / resource access communication system, the mobile terminal, or voice control host device.
  6. 【請求項6】 前記音声制御ホスト装置は、網によって相互に接続され、前記移動端末接続手段、前記音声データ受信手段、前記音声認識手段、前記データベース手段、前記検索制御手段、及び前記検索結果HTML文章データ返信手段に対応する機能を分散して実現する複数のホストコンピュータから構成される、 ことを特徴とする請求項1、又は3乃至5の何れか1項に記載の移動端末音声認識/データベース検索/リソースアクセス通信システム又は音声制御ホスト装置。 Wherein said speech control host unit are connected to each other by the network, the mobile terminal connection unit, the audio data receiving means, said speech recognition means, said database means, said search control means, and the search result HTML including a plurality of host computers for implementing distributed functions corresponding to text data returning means, according to any one of claims 1, or 3 to 5, wherein the mobile device voice recognition / database Search / resource access communication system or voice control host device.
  7. 【請求項7】 前記検索制御手段は、 現在接続されている移動端末毎に、前記音声認識手段による音声認識処理によって得られる認識音声データを所定の分類規則に従って分類することにより、検索インデックスを作成する検索インデックス作成手段と、 現在接続されている移動端末毎に、前記検索インデックス作成手段により作成される検索インデックスから所定の抽出基準を満たす語句を抽出し、該抽出された語句から所定の不要キーワードを除去し、その結果得られる語句のうち新規のものを検索キーワードとして抽出する検索キーワード抽出手段と、 該検索キーワードに対応する検索結果HTML文章データを前記所定のデータベースシステムから検索する検索実行手段と、 を含むことを特徴とする請求項1、又は3乃至6の何れ Wherein said search control means, for each mobile terminal that is currently connected, by classifying according to a predetermined classification rule recognized speech data obtained by the speech recognition processing by the voice recognition unit, creating a search index a search index creation means for, for each mobile terminal that is currently connected, the search is created by the index creation means extracts a phrase which satisfies the predetermined extraction reference from the search index, required from the extracted phrase predetermined keyword was removed, a search keyword extracting means for extracting the ones novel of words obtained as a result as a search keyword, and search execution means for searching the search result HTML text data corresponding to the search keyword from the predetermined database system , any claim 1, or 3 to 6, characterized in that it comprises 1項に記載の移動端末音声認識/データベース検索/ Mobile device voice recognition according to one of claims / database search /
    リソースアクセス通信システム又は音声制御ホスト装置。 Resource access communication system or voice control host device.
  8. 【請求項8】 前記検索インデックス作成手段は、入力されたデータ中に現れる各単語を、出現回数の多い順に分類することにより、前記検索インデックスを作成し、 前記検索キーワード抽出手段は、前記検索インデックスから、出現回数が所定回数以上の単語又は所定の出現回数順位以上の順位の単語を抽出し、該抽出された語句から所定の不要キーワードを除去し、その結果得られる語句のうち新規のものを検索キーワードとして抽出することを特徴とする請求項7に記載の移動端末音声認識/データベース検索/リソースアクセス通信システム又は音声制御ホスト装置。 Wherein said search index creation means, each word appearing in the input data, by classifying the descending order of the number of occurrences, said creating a search index, the search keyword extraction means, said search index from number of occurrences extracts words or word or a predetermined number of occurrences rank higher rank predetermined number, to remove said extracted unnecessary from the phrase predetermined keyword, those new among the words obtained as a result mobile device voice recognition / database search / resource access communication system or voice control host device according to claim 7, characterized in that the extract as a search keyword.
  9. 【請求項9】 前記所定のデータベースシステムは、前記インターネットに接続される所定のホスト装置が提供する、 ことを特徴とする請求項4に記載の移動端末音声認識/ Wherein said predetermined database system, a given host device connected to the Internet provides, that the mobile device voice recognition according to claim 4, wherein the /
    データベース検索/リソースアクセス通信システム又は音声制御ホスト装置。 Database search / resource access communication system or voice control host device.
JP8285086A 1996-10-28 1996-10-28 Mobile terminal system for voice recognition, database search, and resource access communications Pending JPH10133847A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8285086A JPH10133847A (en) 1996-10-28 1996-10-28 Mobile terminal system for voice recognition, database search, and resource access communications

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8285086A JPH10133847A (en) 1996-10-28 1996-10-28 Mobile terminal system for voice recognition, database search, and resource access communications

Publications (1)

Publication Number Publication Date
JPH10133847A true JPH10133847A (en) 1998-05-22

Family

ID=17686964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8285086A Pending JPH10133847A (en) 1996-10-28 1996-10-28 Mobile terminal system for voice recognition, database search, and resource access communications

Country Status (1)

Country Link
JP (1) JPH10133847A (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1134948A2 (en) * 2000-03-15 2001-09-19 Nec Corporation Information search system using radio portable terminal
WO2003001780A1 (en) * 2001-06-21 2003-01-03 Sharp Kabushiki Kaisha Communication relay apparatus, communication system, data transmission method, and data transmission program
JP2003510903A (en) * 1999-09-21 2003-03-18 テレフオンアクチーボラゲット エル エム エリクソン(パブル) Starting the application from the built-in indicator to the message of the short message service
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
US7225134B2 (en) 2000-06-20 2007-05-29 Sharp Kabushiki Kaisha Speech input communication system, user terminal and center system
US7809663B1 (en) 2006-05-22 2010-10-05 Convergys Cmg Utah, Inc. System and method for supporting the utilization of machine language
US7865367B2 (en) 2002-09-27 2011-01-04 International Business Machines Corporation System for enhancing live speech with information accessed from the world wide web
US8379830B1 (en) 2006-05-22 2013-02-19 Convergys Customer Management Delaware Llc System and method for automated customer service with contingent live interaction
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8953886B2 (en) 2004-12-03 2015-02-10 Google Inc. Method and system for character recognition
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9030699B2 (en) 2004-04-19 2015-05-12 Google Inc. Association of a portable scanner with input/output and storage devices
US9075779B2 (en) 2009-03-12 2015-07-07 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9268852B2 (en) 2004-02-15 2016-02-23 Google Inc. Search engines and systems with handheld document data capture devices
US9275051B2 (en) 2004-07-19 2016-03-01 Google Inc. Automatic modification of web pages
US9299053B2 (en) 2003-12-17 2016-03-29 West View Research, Llc Portable computerized wireless apparatus
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9412367B2 (en) 1999-06-10 2016-08-09 West View Research, Llc Computerized information and display apparatus

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
US9710225B2 (en) 1999-06-10 2017-07-18 West View Research, Llc Computerized information and display apparatus with automatic context determination
US9412367B2 (en) 1999-06-10 2016-08-09 West View Research, Llc Computerized information and display apparatus
US9709972B2 (en) 1999-06-10 2017-07-18 West View Research, Llc Computerized information and display apparatus with remote environment control
US9715368B2 (en) 1999-06-10 2017-07-25 West View Research, Llc Computerized information and display apparatus with rapid convergence algorithm
JP2003510903A (en) * 1999-09-21 2003-03-18 テレフオンアクチーボラゲット エル エム エリクソン(パブル) Starting the application from the built-in indicator to the message of the short message service
US7805145B2 (en) 2000-03-15 2010-09-28 Nec Corporation Information search system using radio portable terminal
EP1134948A3 (en) * 2000-03-15 2003-04-23 Nec Corporation Information search system using radio portable terminal
CN100403707C (en) 2000-03-15 2008-07-16 日本电气株式会社 Information searching system, a terminal and a center of the information searching system
EP1134948A2 (en) * 2000-03-15 2001-09-19 Nec Corporation Information search system using radio portable terminal
US7225134B2 (en) 2000-06-20 2007-05-29 Sharp Kabushiki Kaisha Speech input communication system, user terminal and center system
WO2003001780A1 (en) * 2001-06-21 2003-01-03 Sharp Kabushiki Kaisha Communication relay apparatus, communication system, data transmission method, and data transmission program
US7865367B2 (en) 2002-09-27 2011-01-04 International Business Machines Corporation System for enhancing live speech with information accessed from the world wide web
US9607280B2 (en) 2003-12-17 2017-03-28 West View Research, Llc Methods for shipping element processing
US9424547B2 (en) 2003-12-17 2016-08-23 West View Research, Llc Methods of transport of one or more items between locations
US9781110B2 (en) 2003-12-17 2017-10-03 West View Research, Llc Computerized methods for location-based service provision
US9396450B2 (en) 2003-12-17 2016-07-19 West View Research, Llc Computerized apparatus and methods for transfer between locations
US9349112B2 (en) 2003-12-17 2016-05-24 West View Research, Llc Computerized apparatus for transfer between locations
US9299053B2 (en) 2003-12-17 2016-03-29 West View Research, Llc Portable computerized wireless apparatus
US10057265B2 (en) 2003-12-17 2018-08-21 West View Research, Llc Computerized vehicular apparatus for location-based service provision
US9268852B2 (en) 2004-02-15 2016-02-23 Google Inc. Search engines and systems with handheld document data capture devices
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9633013B2 (en) 2004-04-01 2017-04-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9514134B2 (en) 2004-04-01 2016-12-06 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9030699B2 (en) 2004-04-19 2015-05-12 Google Inc. Association of a portable scanner with input/output and storage devices
US9275051B2 (en) 2004-07-19 2016-03-01 Google Inc. Automatic modification of web pages
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8953886B2 (en) 2004-12-03 2015-02-10 Google Inc. Method and system for character recognition
US8379830B1 (en) 2006-05-22 2013-02-19 Convergys Customer Management Delaware Llc System and method for automated customer service with contingent live interaction
US9549065B1 (en) 2006-05-22 2017-01-17 Convergys Customer Management Delaware Llc System and method for automated customer service with contingent live interaction
US7809663B1 (en) 2006-05-22 2010-10-05 Convergys Cmg Utah, Inc. System and method for supporting the utilization of machine language
US9075779B2 (en) 2009-03-12 2015-07-07 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images

Similar Documents

Publication Publication Date Title
CA2467220C (en) Semantic object synchronous understanding implemented with speech application language tags
US8898065B2 (en) Configurable speech recognition system using multiple recognizers
US6807529B2 (en) System and method for concurrent multimodal communication
US6477494B2 (en) Unified messaging system with voice messaging and text messaging using text-to-speech conversion
CN100456234C (en) Method and system for synchronizing visual and speech events in a multimodal application
CN103198830B (en) A method and apparatus for implementing distributed applications in a multi-mode
AU762282B2 (en) Network interactive user interface using speech recognition and natural language processing
US7054818B2 (en) Multi-modal information retrieval system
US8543396B2 (en) Continuous speech transcription performance indication
US6243681B1 (en) Multiple language speech synthesizer
US7529675B2 (en) Conversational networking via transport, coding and control conversational protocols
CN1158644C (en) Reliable text convension of voice in radio communication system and method
US7930183B2 (en) Automatic identification of dialog timing problems for an interactive speech dialog application using speech log data indicative of cases of barge-in and timing problems
CN100580769C (en) Method and apparatus for selective speech recognition
US6801604B2 (en) Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
US20120035926A1 (en) Platform for Enabling Voice Commands to Resolve Phoneme Based Domain Name Registrations
US7286990B1 (en) Universal interface for voice activated access to multiple information providers
CN101297355B (en) Systems and methods for responding to natural language speech utterance
US6970935B1 (en) Conversational networking via transport, coding and control conversational protocols
EP1482479A1 (en) Semantic object synchronous understanding for highly interactive interface
US20030144846A1 (en) Method and system for modifying the behavior of an application based upon the application&#39;s grammar
US6532446B1 (en) Server based speech recognition user interface for wireless devices
US8358747B2 (en) Real time automatic caller speech profiling
EP1320961B1 (en) System and method for communicating reference information via a wireless terminal
US20040025115A1 (en) Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050412

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060411