JPH10134047A - 移動端末音声認識/議事録作成通信システム - Google Patents

移動端末音声認識/議事録作成通信システム

Info

Publication number
JPH10134047A
JPH10134047A JP8285085A JP28508596A JPH10134047A JP H10134047 A JPH10134047 A JP H10134047A JP 8285085 A JP8285085 A JP 8285085A JP 28508596 A JP28508596 A JP 28508596A JP H10134047 A JPH10134047 A JP H10134047A
Authority
JP
Japan
Prior art keywords
data
minutes
mobile terminal
voice
host device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8285085A
Other languages
English (en)
Inventor
Toru Yamakita
徹 山北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP8285085A priority Critical patent/JPH10134047A/ja
Publication of JPH10134047A publication Critical patent/JPH10134047A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Document Processing Apparatus (AREA)

Abstract

(57)【要約】 【課題】 移動端末を用いた通信環境において、音声認
識機能を実用的な精度及びコストで実現し、その認識結
果に基づいてフォーマット化された議事録の自動作成を
可能にすることにある。 【解決手段】 移動端末101において、入力部109
から入力された音声信号が、制御部110及び通信部1
11からPHS網103に送出され、そこから移動端末
制御ホスト装置104及びインターネット105を介し
て、音声制御ホスト装置108に送られる。この音声信
号は、同装置内のパケット送受信部115を介して移動
端末通信制御部116で受信され、文音声認識部117
で認識された後、その音声の会話内容を示す議事録文章
データが議事録作成部118で作成され蓄積される。こ
の議事録文章データ又はそのリストは、移動端末101
のユーザからのコマンドにより、移動端末101に返送
され、通信部111を介して制御部110で受信され、
出力部112で表示される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、移動(携帯)端末
装置において入力された通話音声等の音声を認識しその
認識結果に基づきフォーマット化された議事録を自動作
成する技術に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】音声信
号を認識して、文字データに変換して蓄積したり、認識
結果を種々のサービスの利用に供したりするための音声
認識技術は、様々な産業分野で従来から要請されてい
る。
【0003】近年では、音声認識アルゴリズムの発達に
より、メインフレームコンピュータ又はワークステーシ
ョンコンピュータ等を用いた音声認識システムが開発さ
れている。
【0004】これらのシステムは、例えば、電話音声を
入力とする銀行の残高照会システムや座席予約システ
ム、作業員の音声を認識して荷物の自動配送を行う配送
荷物の仕分システムを始めとして、種々の産業分野に取
り入られつつある。
【0005】しかし、このような音声認識システムは、
上述のような大規模なコンピュータシステムの環境のも
とでようやく実用的な認識精度を有するレベルに到達し
たばかりであり、いわゆるパーソナルコンピュータのよ
うな小型のコンピュータシステム環境のもとでは、実用
的な認識精度を有する安価な音声認識システムは未だ実
現されていないのが現状である。
【0006】一方、上述のような情報処理技術と並行し
て、近年、自動車電話・携帯電話やPHS(パーソナル
ハンディホンシステム)等の移動端末が、急速に普及し
つつある。
【0007】特に、PHSは、小型であると同時に、自
動車電話・携帯電話に比較して通話料金が安く、かつ、
「いつでも、どこでも、誰とでも」高い品質で通話がで
きるという特徴を備えており、爆発的に普及しつつあ
る。更に、PHSは、ISDN(Integrated Services
Digital Network:サービス統合デジタル網)をバックボ
ーンとする公衆網であるため、32キロビット/秒の伝
送レートでの高速デジタル通信が可能であり、マルチメ
ディア通信分野への応用に対する期待も高まっている。
【0008】更に、移動端末の利便性をいかすべく、携
帯電話装置としてだけではなく、携帯情報管理装置とし
ても利用できるような、マルチメディア情報管理/通信
端末装置としての実現の可能性も期待されている。具体
的には、このような移動端末は、通話機能/FAX機能
を備えることはもちろん、インターネットや社内ネット
ワークへのアクセス機能としてのホームページアクセス
機能や電子メール通信機能を備えることが予想されるほ
か、議事録管理、アドレス管理、スケジュール管理、デ
ータベース検索等の情報管理機能をも兼ね備えることが
期待される。
【0009】そして、このような移動端末は、人が気軽
に利用できるよう、できる限り人にやさしく自然なユー
ザインタフェースを備えることが要請される。現在実現
されているユーザインタフェースとしては、キーボード
やマウスによる指操作入力、電子ペンによる手書き入力
等が実用化されているが、音声入力等にも対応すること
ができれば、ユーザインタフェースとして理想的であ
る。即ち例えば、基本機能としての通話機能を利用しな
がら通話内容を示す音声信号をデータとして、議事録の
作成等が可能になれば、移動端末の利便性を飛躍的に増
大させることが可能になる。ここに、移動端末に対して
ユーザインタフェースとして音声認識機能を適用するこ
との価値を見出すことができる。
【0010】しかし、移動端末は小型でありその情報処
理能力は限られている反面、前述したように、現在の音
声認識処理では、メインフレームコンピュータ又はワー
クステーションコンピュータクラスの環境のもとでない
と、実用的な認識精度を実現することは困難である。従
って、現状では、移動端末のユーザインタフェースとし
て音声認識機能を実現することは非常に困難である、と
いう問題点を有している。
【0011】本発明の課題は、移動端末を用いた通信環
境において、そのユーザインタフェースとしての音声認
識機能を実用的な精度及びコストで実現し、その認識結
果に基づいてフォーマット化された議事録の自動作成を
可能にすることにある。
【0012】
【課題を解決するための手段】本発明はまず、以下の構
成を含む移動端末を有する。即ち、ホスト接続手段(制
御部110、通信部111)は、無線網又は有線網の何
れか一方又は両方から構成される中継網(PHS網10
3とインターネット105)を介して間接的に又はその
中継網を介さずに直接的にホスト装置である音声制御ホ
スト装置(音声制御ホスト装置108)に接続する。
【0013】音声入力手段(入力部109)は、音声を
入力する。音声データ送信手段(制御部110、通信部
111)は、ホスト接続手段による接続動作の後、音声
入力手段から入力される音声データを音声制御ホスト装
置に送信する。
【0014】コマンド送信手段(制御部110、通信部
111)は、ホスト接続手段による接続動作の後、音声
データが示す会話内容を記録した議事録文章データに関
する情報データの返信を要求するための議事録情報デー
タ転送要求コマンドを音声制御ホスト装置に送信する。
この議事録文章データに関する情報データは、議事録文
章データそのもの、又は議事録文章データのリストを示
すリストデータの何れかであり、上述の議事録情報デー
タ転送要求コマンドは、議事録文章データの転送を要求
するための議事録の転送要求コマンド又はリストデータ
の転送を要求するための議事録のリスト転送要求コマン
ドの何れかである。
【0015】議事録情報データ受信手段(制御部11
0、通信部111)は、音声制御ホスト装置から返信さ
れた議事録文章データに関する情報データを受信する。
議事録情報データ表示/編集手段(制御部110、出力
部112)は、その受信された議事録情報データを表示
又は編集する。
【0016】次に、本発明は、以下の構成を含む音声制
御ホスト装置108を有する。即ち、移動端末接続手段
(パケット送受信部115、移動端末通信制御部11
6)は、移動端末内のホスト接続手段による接続動作に
応答して、移動端末を識別して接続する。
【0017】音声データ受信手段(パケット送受信部1
15、移動端末通信制御部116)は、現在接続されて
いる移動端末毎に、音声データを受信する。音声認識手
段(移動端末通信制御部116、文音声認識部117)
は、現在接続されている移動端末毎に、音声データ受信
手段により受信された音声データに対して音声認識処理
を実行する。
【0018】議事録作成手段(議事録作成部118)
は、現在接続されている移動端末毎に、音声認識手段に
よる音声認識処理によって得られる認識音声データが示
す会話内容を記録した議事録文章データを作成し保持す
る。
【0019】この議事録作成手段は、例えば、以下の不
要語削除手段、繰返し削除手段、文体修正手段、及び議
事録形式フォーマット手段を含む。即ち、不要語削除手
段(不要語削除部1502、不要語辞書1503)は、
認識音声データから、議事録文章データとして不要な不
要語を削除する。繰返し削除手段(繰返し削除部150
4)は、認識音声データ中で繰り返される文章を削除す
る。文体修正手段(文体修正部1505、文体修正辞書
1506)は、認識音声データの文体を議事録文章デー
タに適した文体に修正する。そして、議事録形式フォー
マット手段(議事録形式フォーマット部1506)は、
不要語削除手段、繰返し削除手段、及び文体修正手段に
よって処理された認識音声データにおいて、所定のキー
ワードを検出することにより、その認識音声データを複
数のフィールドからなる議事録文章データにフォーマッ
ト化する。
【0020】コマンド受信手段(パケット送受信部11
5、移動端末通信制御部116)は、現在接続されてい
る移動端末毎に、議事録情報データ転送要求コマンドを
受信する。
【0021】議事録情報データ返信手段(移動端末通信
制御部116、パケット送受信部115)は、現在接続
されている移動端末毎に、コマンド受信手段が受信した
議事録情報データ転送要求コマンドに対応し議事録作成
手段が作成し保持している議事録文章データに関する情
報データを、それに対応する移動端末に返信する。
【0022】以上の移動端末と音声制御ホスト装置を含
む本発明による移動端末音声認識/議事録作成通信シス
テムにより、移動端末は、高度な音声認識環境を設備す
る必要がなく実用的な精度を有する音声認識機能及び議
事録作成機能の提供を低コストで受けることができる。
【0023】上述の発明の構成は、下記の限定を含むこ
とができる。即ち、まず、移動端末は、パーソナルハン
ディホンシステム通信機能(通信部111)を備える。
【0024】次に、中継網は、パーソナルハンディホン
システム通信網(PHS網103)とインターネット
(インターネット105)を含む。また、音声制御ホス
ト装置は、インターネットに接続する。
【0025】そして、移動端末内のホスト接続手段は、
パーソナルハンディホンシステム通信網を介して、その
パーソナルハンディホンシステム通信網を含む公衆網と
インターネットとの間のゲートウエイ機能を有する移動
端末制御ホスト装置(移動端末制御ホスト装置104)
に発信し接続することによって、インターネット上の通
信プロトコルを使用して、移動端末制御ホスト装置から
インターネットを介して音声制御ホスト装置に接続す
る。
【0026】この限定構成によって、現在全国的及び全
世界的に普及しつつあるパーソナルハンディホンシステ
ム通信網及びインターネットを経由することにより、実
用的な精度を有する音声認識機能及び議事録作成機能の
提供をより低コスト及び手軽に受けることができると同
時に、本発明が提供する機能とパーソナルハンディホン
システム通話機能及びインターネットアクセス機能と
を、シームレスに結合することができる。
【0027】更に、上述の通信プロトコルは、下記の限
定を含むことができる。即ち、上記通信プロトコルは、
インターネットプロトコル(IP)層及びトランスミッ
ションコントロールプロトコル(TCP)層を含む階層
プロトコルである。
【0028】次に、インターネット上を伝送されるイン
ターネットプロトコル層のパケットデータであるインタ
ーネットプロトコルデータグラム(IPデータグラム)
のヘッダ(IPヘッダ)フィールドには、インターネッ
ト上での移動端末及び音声制御ホスト装置のアドレスを
指定する送信元インターネットプロトコルアドレス及び
宛先インターネットプロトコルアドレスが格納され、そ
のインターネットプロトコルデータグラムのデータフィ
ールドには、トランスミッションコントロールプロトコ
ル層のパケットデータであるトランスミッションコント
ロールプロトコルセグメントが格納される。
【0029】また、トランスミッションコントロールプ
ロトコルセグメント(TCPセグメント)のヘッダ(T
CPヘッダ)フィールドには、音声認識/議事録作成処
理のための通信プロトコルを特定する送信元ポート番号
及び宛先ポート番号が格納され、そのトランスミッショ
ンコントロールプロトコルセグメントのデータフィール
ドには、移動端末を識別するための端末識別コード、音
声データ、議事録情報データ転送要求コマンド、又は議
事録文章データに関する情報データが格納される。
【0030】この限定構成によって、移動端末と音声制
御ホスト装置とを全世界的に容易に特定できると共に、
音声認識/議事録作成処理サービスと他の情報処理サー
ビスとの共存を容易に実現できる。
【0031】ここまでの発明の構成において、音声制御
ホスト装置は、網によって相互に接続され、移動端末接
続手段、音声データ受信手段、音声認識手段、及び認識
音声データ返信手段に対応する機能を分散して実現する
複数のホストコンピュータから構成されるように実現す
ることができる。
【0032】この限定構成によって、ホスト装置側の負
荷分散を容易に実現できる。更に、ここまでの発明の構
成において、音声認識手段は、音声データの話者を識別
する話者識別手段を含み、議事録作成手段は、現在接続
されている移動端末毎に、音声認識手段による音声認識
処理によって得られる認識音声データが示す会話内容を
話者分類手段が識別した話者毎に分類して記録した議事
録文章データを作成し保持するように構成することがで
きる。
【0033】この限定構成によって、話者毎に適切に分
類された読みやすい議事録を作成することができる。な
お、上述した移動端末及び音声制御ホスト装置の単体
も、本発明の権利範囲である。
【0034】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について詳細に説明する。本実施の形態で
は、PHS機能が組み込まれた移動端末において、通話
時に又はオフライン状態でマイクから入力された音声信
号が、PHS網からインターネットを介して特定の音声
サービスプロバイダ内のLANに接続される音声制御ホ
スト装置に送られ、そこで上記音声信号が認識された後
に、その認識結果の内容が自動判別され、会話内容を示
す議事録が自動作成され、音声制御ホスト装置内に蓄積
される。移動端末のユーザは、あとで、音声制御ホスト
装置に蓄積されている自分に関する議事録のリスト及び
各内容を自由に移動端末に転送し、情報管理処理に利用
することができる。これが、本発明に関連する大きな特
徴である。このようなシステムにより、移動端末は、高
度な音声認識環境を設備する必要がなく実用的な精度を
有する音声認識機能の提供を低コストで受けることがで
き、かつ音声認識結果に基づく議事録の自動作成機能を
も装備することができる。 <システム構成>図1は、本発明の実施の形態の全体シ
ステム構成図である。
【0035】移動端末101は、PHS端末機能を有し
ており、無線基地102を介して、無線通信によってP
HS網103に接続される。無線基地102は、街路の
公衆電話ボックス、電柱、ビル屋上、地下通路等に設け
られる公衆無線基地、又は加入者宅内の親子電話装置等
である。なお、親子電話装置に接続される場合は、PH
S網を介さずに、直接公衆電話網に接続される。なお、
無線基地102の代わりに、有線接続装置を介して、有
線通信によってPHS網103又は公衆電話網に接続さ
れるように構成されてもよい。
【0036】PHS網103は、公衆電話網又はISD
N網と相互接続しており、これらの網には、高速デジタ
ル専用線等によってインターネット105に接続してい
る移動端末制御ホスト装置104が接続されている。
【0037】移動端末101は、無線基地102及びP
HS網103を介して、上記公衆電話網又はISDN網
に接続されている移動端末制御ホスト装置104に自動
的にダイヤルアップ発信することによって、インターネ
ット105に接続することができる。
【0038】インターネット105には、高速デジタル
専用線等を介して所定の音声サービスプロバイダのLA
N107に接続しているルータ装置106が接続されて
いる。LAN107は、イーサネット方式、ATM(As
ynchronous Transfer Mode)方式、又はFDDI方式に
よるローカルエリアネットワークである。LAN107
には、更に音声制御ホスト装置108が接続されてい
る。
【0039】移動端末101は、移動端末制御ホスト装
置104に自動的にダイヤルアップ発信した後に、イン
ターネット105、ルータ装置106、及びLAN10
7を介して、音声制御ホスト装置108と通信すること
ができる。
【0040】今、移動端末101内の入力部109にお
いて、ユーザが、タッチパネルから音声制御ホスト装置
108との通信を指示すると、制御部110は、通信部
111に対して、音声制御ホスト装置108との通信開
始を依頼する。
【0041】通信部111は、制御部110から通信開
始を依頼されると、現在移動端末制御ホスト装置104
に接続していなければ、無線基地(又は有線接続装置)
102に無線(又は有線)発信してPHS網103に接
続した後、移動端末制御ホスト装置104のアクセス電
話番号を指定してダイヤルアップ発信する。
【0042】移動端末制御ホスト装置104が着信する
と、移動端末101内の通信部111は、まず、移動端
末制御ホスト装置104内の接続確立部113と通信す
ることにより、インターネット105上の標準通信プロ
トコルであるTCP/IP及びPPP方式による接続の
確立のためのネゴシエーションを行う。この結果、移動
端末制御ホスト装置104から、移動端末101内の通
信部111に対して、インターネット105上の識別ア
ドレスであるIPアドレスが付与され、移動端末101
は、インターネット105へのアクセスが可能となる。
【0043】移動端末101内の通信部111は、既に
移動端末制御ホスト装置104に接続していれば、上記
タイヤルアップ発信は省略する。その後、移動端末10
1内の通信部111は、予め設定されている音声制御ホ
スト装置108のIPアドレスである“宛先IPアドレ
ス”と、移動端末制御ホスト装置104から付与された
IPアドレスである“送信元IPアドレス”と、移動端
末101を識別するための“端末識別コード”(例えば
PHS電話番号)と、ユーザの指定に基づく文音声認識
/議事録作成処理の開始要求コマンドが格納されたTC
P/IPパケットを、インターネット105に向けて送
出する。
【0044】このTCP/IPパケットは、それに格納
されている“宛先IPアドレス”に基づき、移動端末制
御ホスト装置104内のルーティング部114とインタ
ーネット105内の特には図示しない中継ホスト装置に
よって、音声サービスプロバイダ内のルータ装置106
まで転送された後、更に、LAN107を介して音声制
御ホスト装置108内のパケット送受信部115まで転
送される。
【0045】パケット送受信部115は、受信したTC
P/IPパケットから、“送信元IPアドレス”と、
“端末識別コード”と、文音声認識/議事録作成処理の
開始要求コマンドを取り出して、音声制御ホスト装置1
08内の移動端末通信制御部116に引き渡す。
【0046】移動端末通信制御部116は、引き渡され
た“送信元IPアドレス”と、“端末識別コード”等を
後述する処理端末登録テーブル(図12)に登録した
後、パケット送受信部115に対して、送信許可データ
が格納されたTCP/IPパケットの移動端末101へ
の返信を依頼する。
【0047】パケット送受信部115は、対応するTC
P/IPパケットを、移動端末101に対応するIPア
ドレスに向けて送信する。このようにして、音声制御ホ
スト装置108は、移動端末101から転送されてくる
音声データに対して文音声認識/議事録作成処理を実行
することが可能となる。
【0048】移動端末101内の通信部111は、音声
制御ホスト装置108から上記送信許可データが格納さ
れたTCP/IPパケットを受信すると、それに格納さ
れている送信許可データを制御部110に引き渡す。
【0049】移動端末101内の制御部110は、上記
送信許可データを引き渡された後、通信部111に対し
て、通話動作又はオフライン状態での音声入力動作によ
ってマイクから入力された音声データの音声制御ホスト
装置108への送信を依頼する。
【0050】通信部111は、上記音声データが格納さ
れたTCP/IPパケットを、音声制御ホスト装置10
8に対応するIPアドレスに向けて送信する。このTC
P/IPパケットは、それに格納されている“宛先IP
アドレス”に基づき、移動端末制御ホスト装置104内
のルーティング部114、インターネット105内の特
には図示しない中継ホスト装置、音声サービスプロバイ
ダ内のルータ装置106、及びLAN107を介して、
音声制御ホスト装置108内のパケット送受信部115
まで転送される。
【0051】パケット送受信部115は、受信したTC
P/IPパケットに格納されている音声データを取り出
し、それを音声制御ホスト装置108内の移動端末通信
制御部116に引き渡す。
【0052】移動端末通信制御部116は、引き渡され
た音声データを文音声認識部117に引き渡す。文音声
認識部117は、引き渡された音声データに対して文音
声認識処理を実行し、認識結果である認識音声文章デー
タを議事録作成部118に引き渡す。議事録作成部11
8は、文音声認識部117が出力する認識音声文章デー
タから、不要語及び繰返しを削除し、文体を修正して、
例えば図17に示されるような議事録形式の文章データ
に整形し、それを移動端末101別の議事録バッファフ
ァイルに蓄積する。
【0053】移動端末通信制御部116は、後に、移動
端末101から議事録のリスト転送要求コマンド又は議
事録の転送要求コマンドを受信したタイミングで、パケ
ット送受信部115に対して、蓄積しておいた議事録文
章データのリスト又は議事録文章データそのものが格納
されたTCP/IPパケットの移動端末101への返信
を依頼する。
【0054】パケット送受信部115は、対応するTC
P/IPパケットを、移動端末101に対応するIPア
ドレスに向けて送信する。移動端末101内の通信部1
11は、音声制御ホスト装置108から上記議事録文章
データのリスト又は議事録文章データが格納されたTC
P/IPパケットを受信すると、それに格納されている
議事録文章データのリスト又は議事録文章データを制御
部110に引き渡す。
【0055】移動端末101内の制御部110は、上記
議事録文章データのリスト又は議事録文章データを、出
力部112に出力する。出力部112は、それらに対応
する文章を、LCD表示部に表示する。ユーザは、この
文章データを、任意に蓄積又は加工することができる。
【0056】一方、移動端末101は、音声制御ホスト
装置108との通信のほかに、それが装備するホームペ
ージ閲覧ツールや電子メールを利用して、移動端末制御
ホスト装置104にダイヤルアップ発信することによ
り、インターネット105上の所望のリソースに自由に
アクセスすることが可能である。 <移動端末101の外観構成>図2は、図1の移動端末
101の外観図である。
【0057】移動端末101は、コンパクトな携帯情報
管理装置の外観を有し、音声を入力するための送話器を
兼ねたマイク201と、本発明には特には関連しないが
画像を入力するためのカメラ202と、各種情報を表示
し、またタッチ入力又はペン入力を受け付けるタッチパ
ネル機能を有するLCD表示部203と、音声を出力す
るための受話器を兼ねたスピーカ204を有する、ま
た、図1の無線基地102に発信するための無線アンテ
ナ205と、無線基地102の代わりの有線接続装置に
接続するためのソケット206を有する。
【0058】更に、各種ICカードを挿入するためのI
Cカードスロット207と、他の移動端末101又はパ
ーソナルコンピュータ等との間で赤外線光通信を行うた
めの光送受信機208を有する。
【0059】スイッチ209は、電源スイッチである。 <移動端末101の機能ブロック構成>図3は、移動端
末101の機能ブロック図である。
【0060】移動端末101は、図1にも示したよう
に、入力部109、制御部110、通信部111、及び
出力部112から構成され、それぞれバス326によっ
て相互に接続されている。
【0061】まず、入力部109は、音声を入力する部
分と、本発明には特には関連しないが画像を入力する部
分と、出力部112の動作において後述するタッチパネ
ル機構の部分とから構成される。
【0062】音声を入力する部分は、マイク301、A
/D変換部302、及びマイク制御部303から構成さ
れる。マイク301(図2の201に対応)は、PHS
電話の送話器を兼ねており、ユーザが発声した音声を入
力する。
【0063】A/D変換部302は、マイク301から
入力されたアナログ音声信号をデジタル音声データに変
換し、更にそのデジタル音声データを、PHSの標準音
声符号化方式であるADPCM(Adaptive Differentia
l Pulse Code Modulation:適応差分線形パルス符号化)
方式によって符号化する。なお、この部分は、PHS端
末を構成するLSI集積回路として、既に実用化されて
いる。
【0064】マイク制御部303は、上述の符号化され
た音声データを、通話時には、通信部111内の通信制
御部321に転送して通話チャネルに載せると共に、文
音声認識処理時には、更に制御部110内のRAM31
7に転送する。
【0065】一方、画像を入力する部分は、CCD(Ch
arge Coupled Device )カメラ304、A/D変換部3
05、メモリ306、及びカメラ制御部307から構成
される。
【0066】CCDカメラ304は、ユーザの操作に基
づいて任意の画像を撮像する。A/D変換部305は、
CCDカメラ304によって撮像されたアナログ映像信
号を、デジタル画像データに変換する。
【0067】メモリ306は、デジタル画像データをフ
レーム単位で記憶する。カメラ制御部307は、CCD
カメラ304、A/D変換部305、及びメモリ306
の動作を制御する。
【0068】次に、出力部112は、音声を出力する部
分と、画像を出力する部分とから構成される。音声を出
力する部分は、スピーカ308、D/A変換部309、
及びスピーカ制御部310から構成される。
【0069】スピーカ制御部310は、通信部111内
の通信制御部321から受信されたPHS通話音声デー
タ、又は制御部110内のRAM317から受信された
合成音声データを、D/A変換部309に転送する。
【0070】D/A変換部309は、受信された音声デ
ータを復号し、アナログ音声信号に変換し、それをスピ
ーカ308(図2の204に対応)から音声として放音
させる。
【0071】画像を出力する部分は、LCD表示部20
3、LCDドライバ312、メモリ313、及びLCD
制御部314から構成される。LCD制御部314は、
制御部110内のRAM317から受信された文字デー
タ、イメージデータ、コマンドボタンデータ等の各種画
像データをメモリ313にフレーム単位で保持させ、L
CDドライバ312に起動をかける。
【0072】LCDドライバ312は、メモリ313か
らフレーム単位で読み出される画像データを、LCD表
示部311(図2の203に対応)に表示する。なお、
LCD表示部311(図2の203)の表面には、透明
タッチパネルが配設されており、ユーザは、LCD表示
部311に表示されるコマンドボタンデータ等に従っ
て、タッチパネルに指タッチ又はペンタッチすることに
より、コマンド入力を行うことができる。この入力信号
は、タッチパネル制御部315によって制御部110内
のRAM317に転送される。
【0073】続いて、制御部110は、CPU316、
RAM317、及びROM318と、ICカードインタ
フェース部319、及び必要に応じてICカードスロッ
ト207(図2)に挿入されるICカード320とから
構成される。
【0074】CPU316は、ROM318に記憶され
た制御プログラムに従って、RAM317をワークエリ
アとして使用しながら、移動端末101全体の動作を制
御する。
【0075】ICカードインタフェース部319は、I
Cカード320に対するデータの入出力を制御する。最
後に、通信部111は、通信制御部321、無線ドライ
バ322、無線アンテナ323、有線ドライバ324、
及びソケット325から構成される。
【0076】通信制御部321は、PHS通話処理及び
インターネット105との間のTCP/IP通信処理
(後述する)を実行し、無線ドライバ322又は有線ド
ライバ324を制御する。
【0077】無線ドライバ322は、無線通信時に、通
信データを、無線アンテナ323(図2の205に対
応)を介して送受信されるPHS無線信号との間で相互
変換する。PHS無線信号は、1.9GHzの無線周波
数と、300kHzのキャリア周波数間隔と、4チャネ
ル/キャリアのTDMA−TDD無線アクセス方式と、
π/4シフトQPSK変調方式と、384kbits/
secの無線伝送速度に基づく無線信号である。
【0078】一方、有線ドライバ324は、有線通信時
に、通信データを、ソケット325(図2の206に対
応)を介して送受信される有線信号との間で相互変換す
る。これは、一般的な電話帯域モデム変調信号である。
以上の構成を有する本発明の実施の形態の動作につい
て、以下に詳細に説明する。 <移動端末101の処理>まず、移動端末101の処理
について説明する。
【0079】図4は、図3の制御部110内のCPU3
16が、電源投入後に、制御部110内のROM318
に記憶されている制御プログラムを実行する動作として
実現される制御動作を示す全体動作フローチャートであ
る。なお、図4、図5、及び図8の動作フローチャート
で示される各機能を実現する制御プログラム及びそれに
必要なデータは、例えば、図2に示されるICカードス
ロット207に着脱自在なICカード320に、CPU
316が読み取り可能なプログラムコードの形態で記憶
され、そのプログラムコードがCPU316によって直
接実行され、又は、そのプログラムコードが必要に応じ
てRAM317又は書込み可能なROM318にロード
されてCPU316によって実行されるように構成され
てもよい。或いは、上述の制御プログラム及びそれに必
要なデータは、無線又は有線の通信回線又は光送受信機
208(図2)から通信部111を介して他の機器から
受信されて、RAM317又は書込み可能なROM31
8にロードされてCPU316によって実行されるよう
に構成されてもよい。
【0080】まず、ステップ401→402→403→
404→401の繰返しループにおいては、図3のタッ
チパネル制御部315からタッチパネル入力の検出が通
知されたか否かの判定処理(401)、音声制御ホスト
装置108(図1)から議事録文章データのリスト又は
議事録文章データが受信されたか否かの判定処理(40
2)、その他の受信/表示処理(403)、及び必要な
データの送信処理(404)が実行される。
【0081】タッチパネル制御部315からタッチパネ
ル入力の検出が通知されステップ401の判定がYES
となると、ステップ405又は406で、上記タッチパ
ネル入力が図3のCCDカメラ304(図2の202)
の入力指示又は図3のマイク301(図2の201)の
入力指示であるか否かが、判定される。
【0082】タッチパネル入力が図3のCCDカメラ3
04(図2の202)の入力指示であってステップ40
5の判定がYESとなると、ステップ407で、図3の
入力部109内のカメラ制御部307に対して、例えば
手書き文字画像等の入力処理の開始が指示される。その
後、ステップ404の送信処理に進む。画像入力処理
は、本発明には特には関連しないため、その詳細な説明
は省略する。
【0083】タッチパネル入力が図3のマイク301
(図2の201)の入力指示であってステップ406の
判定がYESとなると、ステップ408で、図3の入力
部109内のマイク制御部303に対して、音声入力処
理の開始が指示される。この音声入力処理の開始指示
は、例えばPHS通話処理の開始指示、又は文音声認識
/議事録作成処理を実行するためのオフライン状態での
音声入力処理の開始指示である。
【0084】マイク制御部303は、上述のCPU31
6からの指示によって、マイク301(図2の201)
及びA/D変換部302に対して、音声入力の開始を指
示する。この結果、A/D変換部302からは、マイク
301(図2の201)から入力された音声データが出
力される。
【0085】その後、上述の音声入力処理の開始指示が
PHS通話の開始指示である場合には、上述の音声デー
タは、通信制御部321の特には図示しない送信処理に
よって、所定の通話チャネルに載せられて通話相手に送
信される。
【0086】また、上述の音声入力処理の開始指示が文
音声認識/議事録作成処理のための音声入力処理の開始
指示を含む場合は、それ以後マイク301(図2の20
1)から入力されマイク制御部303から出力された音
声データは、後述するステップ404の送信処理におい
て、そこで音声制御ホスト装置108に向けて送信され
る。
【0087】タッチパネル入力が図3のCCDカメラ3
04(図2の202)の入力指示でも図3のマイク30
1(図2の201)の入力指示でもない場合には、ステ
ップ405及び406の判定がNOとなって、ステップ
409で、他のキー入力処理が実行される。その後、ス
テップ404の送信処理に進む。
【0088】一方、音声制御ホスト装置108(図1)
から通信部111を介して制御部110内のRAM31
7に議事録文章データのリスト又は議事録文章データが
受信され、ステップ401→402→403→404→
401の繰返しループにおけるステップ402の判定が
YESとなると、ステップ410において、上記議事録
文章データのリスト又は議事録文章データがRAM31
7から出力部112内のメモリ313に転送され、LC
D制御部314に対して上記議事録文章データのリスト
又は議事録文章データの表示が指示される。
【0089】この結果、LCD制御部314の制御によ
って、メモリ313からLCDドライバ312を介して
LCD表示部311(図2の203)に、受信された議
事録文章データのリスト又は議事録文章データが表示さ
れる。
【0090】次に、ステップ404の送信処理について
説明する。図5は、上記送信処理の詳細を示す動作フロ
ーチャートである。まず、ステップ501では、図4の
ステップ409の他キー入力処理によって処理されたタ
ッチパネルからのキー入力が送信指示を伴っているか否
かが判定される。
【0091】この判定がNOの場合には、ステップ50
5の処理へ進む。ステップ501の判定がYESの場合
には、ステップ502で、移動端末101が現在図1の
移動端末制御ホスト装置104に接続中であるか否かが
判定される。
【0092】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ502の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ504で、移動端末101の“端末識別コ
ード”とキー入力処理に対応するコマンドの送信指示
を、図3の通信部111内の通信制御部321に対し依
頼する。この結果、通信制御部321は、上記“端末識
別コード”とコマンドが格納されたTCP/IPパケッ
トを生成し、それをインターネット105に接続されて
いる所定のホスト(例えば図1の音声制御ホスト装置1
08)に向け送信する。
【0093】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ502の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ503で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
504を実行する。
【0094】後に詳述するように、ユーザの指定に基づ
く文音声認識/議事録作成処理の開始要求コマンド、議
事録のリスト転送要求コマンド、又は議事録の転送要求
コマンドの送信指示は、上述のステップ504において
発行される。
【0095】前述したようにステップ501の判定がN
Oの場合又はステップ504の処理の後、ステップ50
5では、図4のステップ408によって、文音声認識/
議事録作成処理のための音声入力処理の開始指示が実行
されており、音声データの音声制御ホスト装置108
(図1)への送信指示がなされているか否かが判定され
る。
【0096】この判定がNOの場合には、ステップ51
0の処理へ進む。ステップ505の判定がYESの場合
には、ステップ506で、音声制御ホスト装置108か
ら文音声認識/議事録作成処理の開始要求コマンドに対
する応答である送信許可データが既に返信されているか
否かが判定される。
【0097】この判定がNOの場合には、音声制御ホス
ト装置108がまだ移動端末101からの文音声認識/
議事録作成処理の開始要求コマンドに対する準備が完了
していないため、ステップ510の処理へ進む。
【0098】音声制御ホスト装置108から文音声認識
/議事録作成処理の開始要求コマンドに対する応答であ
る送信許可データが既に返信されておりステップ506
の判定がYESの場合には、更に、ステップ507で、
移動端末101が現在図1の移動端末制御ホスト装置1
04に接続中であるか否かが判定される。
【0099】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ507の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ509で、図3に示される入力部109内
のマイク制御部303から制御部110内のRAM31
7に転送されてきている音声データの送信指示を、通信
部111内の通信制御部321に対し依頼する。この結
果、通信制御部321は、上記音声データが格納された
TCP/IPパケットを生成し、それをインターネット
105に接続されている図1の音声制御ホスト装置10
8に向けて送信する。
【0100】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ507の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ508で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
509を実行する。
【0101】後に詳述するように、文音声認識/議事録
作成処理のための音声データの送信指示は、上述のステ
ップ509において発行される。前述したようにステッ
プ505又は506の判定がNOの場合又はステップ5
09の処理の後、ステップ510では、図4のステップ
407によって、画像入力処理の開始指示が実行されて
おり、画像データを図1のインターネット105に接続
されている特には図示しない画像制御ホスト装置への送
信指示がなされているか否かが判定される。
【0102】この判定がNOの場合には、図4のステッ
プ404の送信処理を終了する。ステップ510の判定
がYESの場合には、ステップ511で、移動端末10
1が現在図1の移動端末制御ホスト装置104に接続中
であるか否かが判定される。
【0103】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中でありステップ511の判定
がYESならば、図3の制御部110内のCPU316
は、ステップ513で、図3に示される入力部109内
のメモリ306に得られている画像データの送信指示
を、通信部111内の通信制御部321に対して依頼す
る。この結果、通信制御部321は、上記画像データが
格納されたTCP/IPパケットを生成し、それをイン
ターネット105に接続されている特には図示しない画
像制御ホスト装置108に向けて送信する。
【0104】移動端末101が現在図1の移動端末制御
ホスト装置104に接続中ではなくステップ511の判
定がNOならば、図3の制御部110内のCPU316
は、ステップ512で、図3の通信部111内の通信制
御部321に対して発信処理を依頼してから、ステップ
513を実行する。
【0105】なお、ステップ513の画像データの送信
指示は、本発明には特には関連しないため、その詳細な
説明は省略する。前述したようにステップ510の判定
がNOの場合又はステップ513の処理の後、図4のス
テップ404の送信処理を終了する。 <通信データのフォーマット>図6は、移動端末101
と移動端末制御ホスト装置104及びインターネット1
05(音声制御ホスト装置108)との間で通信される
通信データのフォーマット図である。
【0106】移動端末101と移動端末制御ホスト装置
104との間では、通信データは、PPP(Point-to-P
oint Protocol )と呼ばれる通信プロトコルに基づき、
図6(a) に示されるPPPフレーム(図の左から右に向
けて転送される)を用いて、PHS規格の32kbit
s/secの伝送レートを有するデジタル通信チャネル
上を伝送される。
【0107】PPPフレームを構成する、“フラグ”、
“アドレス”、“コントロール”の各フィールドは、図
6(a) に示される各固定ビット列が設定される。2オク
テットのデータ長を有するFCSは、フレームチェック
シーケンスと呼ばれ、PPPフレームデータの誤り検出
/訂正用のデータである。移動端末101と移動端末制
御ホスト装置104との間でPPPリンクが確立した後
に転送されるPPPフレームの“インフォメーション”
フィールド(可変データ長を有する)には、インターネ
ット105(図1)上のデータの基本伝送単位であるI
Pデータグラムが格納され、その場合に、2オクテット
のデータ長を有する“プロトコル”フィールドには、”
インフォメーション”フィールドにIPデータグラムが
格納されていることを示す16進値“0021”が格納され
る。
【0108】PPPフレームの“インフォメーション”
フィールドには、上述のようにIPデータグラムが格納
される。このIPデータグラムは、上述のようにインタ
ーネット105上のデータの基本伝送単位である。IP
データグラムは、インターネットプロトコル(IP)に
従って規定され、その“データ”フィールドに格納され
たデータをインターネット105上の宛先のホスト装置
まで一意に転送するための機能を提供し、インターネッ
ト105上でのアドレスを特定する機能、そのIPデー
タグラム自身を“宛先IPアドレス”で指定されたホス
トまでインターネット105上の一定の経路で転送する
機能、そのIPデータグラム自身のフラグメント化(分
割)と再組立てを行う機能等を備える。
【0109】IPデータグラムは、図6(b) に示される
ように、IPヘッダフィールドとデータフィールドとか
ら構成される。IPヘッダフィールドには、それが含ま
れるIPデータグラム自身を配送するために必要な全て
の情報が含まれる。図7(a)は、IPヘッダのフォーマ
ット図である。
【0110】IPヘッダは、32ビットを1ワードとし
て、5乃至6ワードのデータ長を有し、このデータ長は
第1ワードの“ヘッダ長”フィールドに格納され、ま
た、IPデータグラム全体のデータ長は、第1ワードの
“IPデータグラムの全長”フィールドに格納される。
【0111】第1ワードの“バージョン”フィールドに
は、IPデータグラムの転送方法を規定するインターネ
ットプロトコル(IP)のバージョンが設定され、現在
のバージョンは4である。
【0112】第1ワードの“サービスの種類”フィール
ドには、配送の優先度を表わす情報等が格納されるが、
ここは本発明には特には関連しない。第2ワードの各フ
ィールドは、IPデータグラムがインターネット105
上での転送の制約によりフラグメント化(分割)される
場合における制御情報を規定する。まず、“識別番号”
フィールドには、分割されたフラグメントであるこのI
Pデータグラムが属する分割前のIPデータグラムを識
別するための一意な整数が設定される。次に、”フラグ
メントのオフセット”フィールドには、分割されたフラ
グメントであるこのIPデータグラムが分割前のIPデ
ータグラムのどの部分に相当するかを示すオフセット情
報が設定される。そして、”フラグ列”フィールドに
は、分割されたフラグメントであるこのIPデータグラ
ムに、それが属する分割前のIPデータグラムを構成す
る他のフラグメントが後続するか否かが設定される。以
上の情報により、インターネット105上の中継ホスト
においてIPデータグラムがフラグメント化されても、
受信側で分割前のIPデータグラムを正確に復元するこ
とができる。
【0113】第3ワードの“生存期間”(TTL:Time
To Live)フィールドには、そのIPデータグラムがイ
ンターネット105上にどれだけの時間の間存在するこ
とを許すかを示す秒単位の時間情報が設定される。イン
ターネット105上の中継ホストは、IPデータグラム
を処理する毎に上記フィールド値を減算し、値が0以下
になったIPデータグラムはインターネット105上か
ら廃棄する。これにより、インターネット105上での
過度なトラヒックの発生が抑制される。なお、廃棄され
たIPデータグラムに対する再送制御は、そのIPデー
タグラムに格納されるTCPセグメントに対する制御処
理において実現される。
【0114】第3ワードの“プロトコル”フィールドに
は、そのIPデータグラムの“データ”フィールドに格
納されるデータのフォーマットを規定するための整数値
が設定される。本実施の形態の場合には、図6(c) に示
されるように、IPデータグラムの“データ”フィール
ドにはTCPセグメントデータが格納されるため、その
フォーマットを規定する整数値6が設定される。
【0115】第3ワードの“ヘッダのチェックサム”フ
ィールドには、IPヘッダのデータの誤りを検出するた
めのチェックサムデータが設定される。第4ワードに
は、32ビットの“送信元IPアドレス”が設定され
る。例えばIPデータグラムが移動端末101から音声
制御ホスト装置108へ転送される場合には、“送信元
IPアドレス”としては、後述する発信処理により移動
端末制御ホスト装置104から移動端末101に対して
付与されたIPアドレスが設定される。図1の音声制御
ホスト装置108は、この“送信元IPアドレス”を記
憶することにより、インターネット105を介して移動
端末101に対して、議事録文章データのリスト又は議
事録文章データ等を返信することができる。
【0116】第5ワードには、32ビットの“宛先IP
アドレス”が設定される。例えばIPデータグラムが移
動端末101から音声制御ホスト装置108へ転送され
る場合には、“宛先IPアドレス”としては、音声制御
ホスト装置108に固定的に割当てられているIPアド
レスが設定される。移動端末制御ホスト装置104内の
ルーティング部114、インターネット105上の各中
継ホスト装置、及び音声サービスプロバイダ内のルータ
装置106は、受信したIPデータグラムに格納されて
いる上記“宛先IPアドレス”を識別することによっ
て、予め各装置が有する経路制御テーブル情報に従っ
て、そのIPデータグラムの配送経路を決定し、最終的
にそのIPデータグラムを音声サービスプロバイダ内の
音声制御ホスト装置108まで転送することができる。
【0117】第6ワードの“IPオプション”フィール
ドは、オプションであり、インターネット105を構成
する各ネットワークのテスト又はデバッグのための情報
や、インターネット105上での配送経路を制御又は監
視するための制御情報等が設定されるが、ここは本発明
には特には関連しない。
【0118】第6ワードの“パディング”フィールドに
は、データ長を合わせるためのパディングデータが設定
される。次に、IPデータグラムの“データ”フィール
ドには、TCPセグメントデータが格納される。このT
CPセグメントは、トランスミッションコントロールプ
ロトコル(TCP)に従って規定され、その“データ”
フィールドに格納されたデータをインターネット105
上の宛先のホスト装置まで正確に適切な順序で配送する
ための機能を備える。IPデータグラムがインターネッ
ト105上でのデータの一意な転送の機能のみを提供
し、データの信頼性を確保する機能(再送制御機能等)
を提供しないのに対して、TCPセグメントは、データ
の信頼性を確保する機能を提供するものである。
【0119】このように、通信データが、(PPPフレ
ームと)IPデータグラムとTCPセグメントという階
層構造を有するのは、インターネット105上ではなる
べく小さい処理負荷のもとで効率良くデータを配送する
必要があり、エンド対エンド間ではできるかぎり信頼性
の高いデータ配送を実現する必要があるという異なる要
請に効率的に対処するためである。これにより、インタ
ーネット105上の中継ホスト装置は、IPデータグラ
ムのIPヘッダのみを参照することにより、そのIPデ
ータグラムの“データ”フィールドに格納された情報
(TCPセグメント)をできる限り高速かつ効率的に宛
先ホスト装置まで配送することができ、エンド対エンド
(送信元ホスト装置と宛先ホスト装置)間では、TCP
セグメントのTCPヘッダを参照することにより、再送
制御等の信頼性の高いデータ通信を実現することができ
るのである。
【0120】TCPセグメントは、図6(b) に示される
ように、TCPヘッダフィールドとデータフィールドと
から構成される。図7(b) は、TCPヘッダのフォーマ
ット図である。
【0121】TCPヘッダは、IPヘッダの場合と同様
に、32ビットを1ワードとして、5乃至6ワードのデ
ータ長を有し、このデータ長は第4ワードの“ヘッダ
長”フィールドに格納され、また、IPデータグラム全
体のデータ長は、第1ワードの“IPデータグラムの全
長”フィールドに格納される。
【0122】第1ワードの“送信元ポート番号”フィー
ルドと“宛先ポート番号”フィールドには、文音声認識
/議事録作成処理のための通信プロトコルを特定する1
6ビットの整数値が設定される。
【0123】音声制御ホスト装置108内のパケット送
受信部115(図1)は、文音声認識/議事録作成処理
のための音声データが格納されたTCPセグメントのほ
かにも、電子メールデータを始めとする様々なデータが
格納された様々なTCPセグメントを送受信するため、
受信したTCPセグメントのTCPヘッダに設定されて
いる“宛先ポート番号”フィールドの値を認識すること
によって、そのTCPセグメントの“データ”フィール
ドに格納されているデータを音声制御ホスト装置108
で実行されるどのアプリケーションに引き渡すかを決定
することができる。
【0124】そして、パケット送受信部115は、受信
したTCPセグメントのTCPヘッダに設定されている
“宛先ポート番号”フィールドの値が文音声認識/議事
録作成処理のための通信プロトコルに対応する値を示し
ている場合には、そのTCPセグメントの“データ”フ
ィールドに格納されている音声データを移動端末通信制
御部116に引き渡すことができる。
【0125】同様に、移動端末101の通信部111内
の通信制御部321(図3)も、議事録文章データのリ
スト又は議事録文章データが格納されたTCPセグメン
トのほかにも、ホームページデータや電子メールデータ
を始めとする様々なデータが格納された様々なTCPセ
グメントを送受信するため、受信したTCPセグメント
のTCPヘッダに設定されている“宛先ポート番号”フ
ィールドの値を認識することによって、そのTCPセグ
メントの“データ”フィールドに格納されているデータ
を移動端末101で実行されるどのアプリケーションに
引き渡すかを決定することができる。
【0126】そして、通信制御部321は、受信したT
CPセグメントのTCPヘッダに設定されている“宛先
ポート番号”フィールドの値が文音声認識/議事録作成
処理のための通信プロトコルに対応する値を示している
場合には、制御部110(図1、図3)に、文音声認識
/議事録作成処理のためのデータの受信を通知し、その
TCPセグメントの“データ”フィールドに格納されて
いる議事録文章データのリスト又は議事録文章データ等
を引渡すことができる。
【0127】更に、音声制御ホスト装置108内のパケ
ット送受信部115及び移動端末101の通信部111
内の通信制御部321は、受信したTCPセグメントの
TCPヘッダに設定されている“送信元ポート番号”を
確認することにより、送信元のアプリケーションを確認
することができる。
【0128】次に、図7に示されるTCPヘッダの第2
ワードの“シーケンス番号”フィールドは、現在のTC
Pコネクションにおいて送信側から受信側に送信される
全バイトストリームのうち、このTCPセグメントの
“データ”フィールドに格納されているデータの先頭が
上記全バイトストリームの何バイト目にあたるかを、送
信側から受信側に通知するためのフィールドである。逆
に、第3ワードの“確認応答番号”フィールドは、現在
のTCPコネクションにおいて送信側から受信側に送信
される全バイトストリームのうち、受信側が現在何バイ
ト目までを誤り無く受信したかを、受信側から送信側に
通知するためのフィールドである。これにより、例えば
移動端末101から音声制御ホスト装置108に対し
て、音声データを正しい順序でかつ高い信頼性のもとで
転送することが可能となる。
【0129】第4ワードの“フラグ列”フィールドに
は、TCPセグメントの種類を示す値が設定される。T
CP通信においては、例えばコネクションの開始時又は
終了時等において確認応答のための様々な制御データが
通信されるが、それらの制御データの種類が、“フラグ
列”フィールドに設定される。
【0130】第4ワードの“ウインドウ”フィールド
は、受信側が現在何バイトのデータを連続して受信する
ことが可能であるかを示すウインドウデータを、受信側
から送信側に通知するためのフィールドである。これに
より、受信側から送信側に対するデータのフロー制御が
可能となり、例えば音声制御ホスト装置108の負荷が
高いような場合には移動端末101に対して音声データ
の送信を抑制させる、といようなきめの細かい制御が可
能となる。
【0131】第4ワードの“予約済”フィールドは、予
約用のフィールドである。第5ワードの“チェックサ
ム”フィールドには、TCPヘッダ及び“データ”フィ
ールドに格納されているデータの誤りを検出するための
チェックサムデータが格納される。これにより、例えば
音声制御ホスト装置108は、移動端末101から音声
データを正確に受信することができる。
【0132】第5ワードの“緊急ポインタ”は、緊急デ
ータ(インタラプトデータやアボートデータ等)を通信
するための制御データであるが、これは本発明には特に
は関連しない。
【0133】第6ワードの“オプション”フィールド
は、例えば送受信装置間で通信可能な最大セグメント長
を指定するため等に使用されるが、これは本発明には特
には関連しない。
【0134】第6ワードの“パディング”フィールドに
は、データ長を合わせるためのパディングデータが設定
される。上述の構成を有するTCPセグメントの通信
(終端)処理機能は、移動端末101においては通信部
111内の通信制御部321(図3)において実現さ
れ、音声制御ホスト装置108においてはパケット送受
信部115(図1)において実現される。なお、移動端
末101においてCPU316が実行する制御プログラ
ムが上記処理機能を実現するように構成されてもよい。 <発信処理>前述のように、移動端末101の制御部1
10内のCPU316(図3)は、図4のステップ40
4に対応する図5に示される送信処理のうち、移動端末
101が現在図1の移動端末制御ホスト装置104に接
続中でなくステップ502、507、又は511の判定
がNOである場合には、ステップ503、508、又は
512において、図3の通信部111内の通信制御部3
21に対して発信処理を依頼する。この依頼によって、
通信制御部321が実行する発信処理は、図8の動作フ
ローチャートによって示される。
【0135】まず、ステップ801では、リンク確立フ
ェーズが実行される。このフェーズでは、移動端末制御
ホスト装置104のアクセス電話番号に対して自動的に
ダイヤルアップが行われ移動端末制御ホスト装置104
が着信した後、リンクコントロールプロトコル(LC
P)と呼ばれるプロトコルを使用し、通信に使用される
PPPフレーム(図6(a) )の最大データ長の決定、エ
スケープされるべき非透過文字の決定、PPPフレーム
の“プロトコル”フィールド(図6(a) )のデータ長を
2オクテットから1オクテットに圧縮することの有無の
決定、PPPフレームの固定値“11111111”を有する
“アドレス”フィールド(図6(a) )を省略(圧縮)す
ることの有無の決定等に関するネゴシエーションが、移
動端末制御ホスト装置104内の接続確立部113(図
1)との間で実行される。この場合、移動端末101の
通信部111内の通信制御部321と移動端末制御ホス
ト装置104内の接続確立部113との間の通信は、図
6(a) に示されるフォーマットを有するPPPフレーム
を用いて、その“プロトコル”フィールドにLCPを特
定する16進値“c021”を設定し、その“インフォメー
ションフィールド”に、必要な制御データを設定して、
実行される。
【0136】次に、ステップ802においては、認証フ
ェーズが実行される。このフェーズでは、PAP(Pass
word Authentication Protocol)又はCHAP(Challe
ngeHandshake Authentication Protocol )と呼ばれる
認証プロトコルを使用し、移動端末101を使用するユ
ーザの認証が、移動端末制御ホスト装置104内の接続
確立部113(図1)から移動端末101に対して実行
される。これにより、移動端末制御ホスト装置104を
運営するインターネットプロバイダは、移動端末101
を使用するユーザが契約されたユーザであるか否かを決
定できる。この場合、移動端末101の通信部111内
の通信制御部321と移動端末制御ホスト装置104内
の接続確立部113との間の通信は、図6(a) に示され
るフォーマットを有するPPPフレームを用いて、その
“プロトコル”フィールドにPAPを特定する16進値
“c023”又はCHAPを特定する16進値“c223”を設
定し、その“インフォメーションフィールド”に、必要
な認証用データを設定して、実行される。
【0137】最後に、ステップ803では、ネットワー
クレイヤプロトコルフェーズが実行される。本実施の形
態の場合、このフェーズでは、IPコントロールプロト
コル(IPCP)と呼ばれるプロトコルを使用して、T
CPヘッダ(図7(b) 参照)の圧縮の有無が決定される
と共に、移動端末制御ホスト装置104が割当てること
のできる空き(未使用)IPアドレスのうちの1つが移
動端末101に対して割り当てられ、加えて、必要な経
路情報が移動端末101の通信部111内の通信制御部
321(図3)と移動端末制御ホスト装置104内のル
ーティング部114(図1)に設定される。これ以後、
移動端末101は、そのIPアドレスを使用することに
よって、インターネット105に接続される音声制御ホ
スト装置108、及びインターネット105上のユーザ
が希望する任意のリソースにアクセスすることが可能と
なる。この場合、移動端末101の通信部111内の通
信制御部321と移動端末制御ホスト装置104内の接
続確立部113との間の通信は、図6(a) に示されるフ
ォーマットを有するPPPフレームを用いて、その“プ
ロトコル”フィールドにIPCPを特定する16進値
“8021”を設定し、その“インフォメーションフィール
ド”に、必要なIPアドレスのネゴシエーションのため
のデータ等を設定して、実行される。
【0138】以上の一連の動作により、移動端末101
は、移動端末制御ホスト装置104内のルーティング部
114との間で通信用のTCP/IPパケットが格納さ
れたPPPフレームを授受することが可能となり、移動
端末101は、インターネット105上のリソースに自
由にアクセスすることが可能になる。
【0139】なお、PHS通話時にも音声制御ホスト装
置108等へのアクセスを可能とするために、移動端末
101は、例えば2チャネル同時通信機能を有するよう
に構成することができる。
【0140】また、移動端末101の通信部111内の
通信制御部321(図3)は、一定時間(例えば10分
間)送受信データを検出しなかった場合に、移動端末制
御ホスト装置104との間のPPPリンクを自動的に切
断するように構成することができる。 <文音声認識/議事録作成処理に関する移動端末101
の送受信処理の詳細動作>ユーザが移動端末101のタ
ッチパネルを操作して文音声認識/議事録作成処理の開
始を指示した場合及びそれ以後に移動端末101が実行
する送受信処理の詳細な動作について、説明する。
【0141】上述のタッチパネルの操作は、図3のタッ
チパネル制御部315において検出された後、制御部1
10内のCPU316(図3)によって、それが実行さ
れる前述した図4の動作フローチャートに対応する制御
動作において、ステップ401の判定がYES、ステッ
プ405及び406の判定がNOとなって、ステップ4
09の他キー入力処理が実行されることにより、検出さ
れる。更に、ステップ404の送信処理において、前述
した図5のステップ501の判定がYESとなり、必要
に応じてステップ503で発信処理が実行された後、ス
テップ504において、移動端末101の“端末識別コ
ード”と上述の文音声認識/議事録作成処理の開始指示
を示すキー入力処理に対応するコマンドの送信指示が、
図3の通信部111内の通信制御部321に対して依頼
される。
【0142】この結果、通信制御部321は、まず、図
6(c) に示されるフォーマットを有するTCPセグメン
トを生成する。この場合に、図6(c) 及び図7(b) に示
されるフォーマットを有するTCPヘッダにおいて、
“送信元ポート番号”フィールド及び“宛先ポート番
号”フィールドには、文音声認識/議事録作成処理のた
めの通信プロトコルを特定する16ビットの整数値が設
定される。そして、TCPセグメントの“データ”フィ
ールドには、移動端末101を特定する“端末識別コー
ド”(例えばそのPHS電話番号)と、ユーザの指定に
基づく文音声認識/議事録作成処理の開始要求コマンド
とが格納される。
【0143】次に、通信制御部321は、上述のTCP
セグメントが“データ”フィールドに格納された図6
(b) に示されるフォーマットを有するIPデータグラム
を生成する。この場合に、図6(b) 及び図7(a) に示さ
れるフォーマットを有するIPヘッダにおいて、“プロ
トコル”フォーマットには、その“データ”フィールド
に格納されるTCPセグメントデータのフォーマットを
規定する整数値6が設定される。また、“送信元IPア
ドレス”フィールドには、既に実行されている発信処理
(図8のステップ803の説明を参照)によって移動端
末制御ホスト装置104内の接続確立部113から移動
端末101の通信部111内の通信制御部321に対し
て付与されたIPアドレスが設定される。更に、“宛先
IPアドレス”フィールドには、音声制御ホスト装置1
08に割り当てられているIPアドレスが設定される。
【0144】そして、通信制御部321は、上述のIP
データグラムが“インフォメーション”フィールドに格
納され、その”インフォメーション”フィールドにIP
データグラムが格納されていることを示す16進値“00
21”が“プロトコル”フィールドに格納された図6(a)
に示されるフォーマットを有するPPPフレームを生成
し、通信制御部321内に設定されている経路情報(図
8のステップ803の説明を参照)に従って、上記PP
Pフレームを移動端末制御ホスト装置104に送信す
る。以降、上述のTCPセグメント、IPデータグラ
ム、及びPPPフレームとからなるデータ単位がインタ
ーネット105内を転送される場合に、そのデータ単位
を単にTCP/IPパケットと呼ぶ。
【0145】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、移動端末制御ホスト
装置104内のルーティング部114とインターネット
105内の特には図示しない中継ホスト装置によって、
音声サービスプロバイダ内のルータ装置106まで転送
された後、更に、LAN107を介して音声制御ホスト
装置108内のパケット送受信部115まで転送され
る。
【0146】パケット送受信部115は、転送されてき
たTCP/IPパケットを構成するIPデータグラムの
IPヘッダの“宛先IPアドレス”フィールドに自分で
ある音声制御ホスト装置108のIPアドレスが設定さ
れていることを識別することによって、そのTCP/I
Pパケットを受信する。
【0147】そして、パケット送受信部115は、受信
したTCP/IPパケットを構成するTCPセグメント
の“宛先ポート番号”フィールド及び“送信元ポート番
号”フィールドに文音声認識/議事録作成処理のための
通信プロトコルを特定する16ビットの整数値が設定さ
れていることを確認することによって、移動端末通信制
御部116(図1)に対して受信通知を通知する。
【0148】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから“端末識別コー
ド”と文音声認識/議事録作成処理の開始要求コマンド
とを取り出して、それらのデータを移動端末通信制御部
116に引き渡す。
【0149】この結果、後述するようにして音声制御ホ
スト装置108から移動端末101に対して、送信許可
データが格納されたTCP/IPパケットが返信され
る。このTCP/IPパケットは、それを構成するIP
データグラムのIPヘッダに格納されている“宛先IP
アドレス”に基づいて、音声サービスプロバイダ内のル
ータ装置106と、インターネット105内の特には図
示しない中継ホスト装置によって、移動端末制御ホスト
装置104内のルーティング部114まで転送された
後、更に、PHS網103(図1)を介して移動端末1
01の通信部111内の通信制御部321(図3)まで
転送される。
【0150】移動端末101の通信部111内の通信制
御部321は、転送されてきたTCP/IPパケットを
構成するIPデータグラムのIPヘッダの“宛先IPア
ドレス”フィールドに自分である移動端末101(に一
時的又は動的)に割当てられているのIPアドレスが設
定されていることを識別することによって、そのTCP
/IPパケットを受信する。
【0151】そして、通信制御部321は、受信したT
CP/IPパケットを構成するTCPセグメントの“宛
先ポート番号”フィールド及び“送信元ポート番号”フ
ィールドに文音声認識/議事録作成処理のための通信プ
ロトコルを特定する16ビットの整数値が設定されてい
ることを確認することにより、移動端末101の制御部
110内のCPU316に対して受信通知を通知する。
【0152】この通知と共に、通信制御部321は、受
信したTCP/IPパケットを構成するTCPセグメン
トの“データ”フィールドから送信許可データを取り出
し、それをCPU316に引き渡す。
【0153】CPU316は、上述の受信通知と送信許
可データを、前述した図4のステップ403で処理し、
その送信許可データをRAM317に記憶する。移動端
末101では、ユーザがタッチパネルを操作して文音声
認識/議事録作成処理の開始を指示することによって、
CPU316が、前述した図4のステップ408で、図
3の入力部109内のマイク制御部303に対して、P
HS通話処理の開始指示、又は文音声認識/議事録作成
処理を実行するためのオフライン状態での音声入力処理
の開始を指示する。これにより、ユーザは、通話動作又
はオフライン状態での音声入力動作によってマイク30
1(図2の201)からの音声の入力を開始している。
【0154】これ以後、CPU316により前述した図
4のステップ401→402→403→404→401
の繰返しループの1処理として実行されるステップ40
4の送信処理において、図5のステップ505、506
の判定がYESとなり、必要に応じてステップ508で
再度の発信処理が実行された後、ステップ509で、図
3に示される入力部109内のマイク制御部303から
制御部110内のRAM317に転送されてきている音
声データの送信指示が、通信部111内の通信制御部3
21に対して依頼される。
【0155】この結果、通信制御部321は、まず、図
6(c) に示されるフォーマットを有するTCPセグメン
トを生成する。この場合に、図6(c) 及び図7(b) に示
されるフォーマットを有するTCPヘッダにおいて、
“送信元ポート番号”フィールド及び“宛先ポート番
号”フィールドには、文音声認識/議事録作成処理のた
めの通信プロトコルを特定する16ビットの整数値が設
定される。そして、TCPセグメントの“データ”フィ
ールドには、図3に示される入力部109内のマイク制
御部303から制御部110内のRAM317に転送さ
れてきている音声データが格納される。
【0156】次に、通信制御部321は、上述のTCP
セグメントが“データ”フィールドに格納された図6
(b) に示されるフォーマットを有するIPデータグラム
を生成する。この場合に、図6(b) 及び図7(a) に示さ
れるフォーマットを有するIPヘッダにおいて、“プロ
トコル”フォーマットには、その“データ”フィールド
に格納されるTCPセグメントデータのフォーマットを
規定する整数値6が設定される。また、“送信元IPア
ドレス”フィールドには、既に実行されている発信処理
(図8のステップ803の説明を参照)によって移動端
末制御ホスト装置104内の接続確立部113から移動
端末101の通信部111内の通信制御部321に対し
て付与されたIPアドレスが設定される。更に、“宛先
IPアドレス”フィールドには、音声制御ホスト装置1
08に割り当てられているIPアドレスが設定される。
【0157】そして、通信制御部321は、上述のIP
データグラムが“インフォメーション”フィールドに格
納され、その”インフォメーション”フィールドにIP
データグラムが格納されていることを示す16進値“00
21”が“プロトコル”フィールドに格納された図6(a)
に示されるフォーマットを有するPPPフレームを生成
し、通信制御部321内に設定されている経路情報(図
8のステップ803の説明を参照)に従って、上記PP
Pフレームを移動端末制御ホスト装置104に送信す
る。
【0158】このTCP/IPパケットは、それを構成
するIPデータグラムのIPヘッダに格納されている
“宛先IPアドレス”に基づいて、移動端末制御ホスト
装置104内のルーティング部114とインターネット
105内の特には図示しない中継ホスト装置によって、
音声サービスプロバイダ内のルータ装置106まで転送
された後、更に、LAN107を介して音声制御ホスト
装置108内のパケット送受信部115まで転送され
る。
【0159】パケット送受信部115は、転送されてき
たTCP/IPパケットを構成するIPデータグラムの
IPヘッダの“宛先IPアドレス”フィールドに自分で
ある音声制御ホスト装置108のIPアドレスが設定さ
れていることを識別することによって、そのTCP/I
Pパケットを受信する。
【0160】そして、パケット送受信部115は、受信
したTCP/IPパケットを構成するTCPセグメント
の“宛先ポート番号”フィールド及び“送信元ポート番
号”フィールド文音声認識/議事録作成処理のための通
信プロトコルを特定する16ビットの整数値が設定され
ていることを確認することにより、移動端末通信制御部
116(図1)に対して受信通知を通知する。
【0161】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから音声データを取り
出して、それらのデータを移動端末通信制御部116に
引き渡す。
【0162】この結果、移動端末通信制御部116は、
後述するようにして文音声認識/議事録作成処理の制御
を実行し、文音声認識部117に対して受信した音声デ
ータの認識処理を実行させ、それによって得られる認識
音声文章データについて議事録作成部118に対して議
事録作成処理を実行させる。この結果得られる議事録文
章データは、移動端末101別の議事録バッファファイ
ルに蓄積される。
【0163】ユーザは、音声の入力の後、適当な時期
に、移動端末101のタッチパネルを操作することによ
り、音声制御ホスト装置108に蓄積されている議事録
文章データのリスト又は議事録文章データを移動端末1
01に転送させるための、議事録のリスト転送要求コマ
ンド又は議事録の転送要求コマンドを指示することがで
きる。
【0164】この場合に、上述のタッチパネルの操作
は、図3のタッチパネル制御部315において検出され
た後、制御部110内のCPU316(図3)によっ
て、それが実行される前述した図4の動作フローチャー
トに対応する制御動作において、ステップ401の判定
がYES、ステップ405及び406の判定がNOとな
って、ステップ409の他キー入力処理が実行されるこ
とにより、検出される。更に、ステップ404の送信処
理において、前述した図5のステップ501の判定がY
ESとなり、必要に応じてステップ503で発信処理が
実行された後、ステップ504において、移動端末10
1の“端末識別コード”と上述の議事録のリスト転送要
求コマンド又は議事録の転送要求コマンドの送信指示
が、図3の通信部111内の通信制御部321に対して
依頼される。
【0165】この結果、通信制御部321はまず、“デ
ータ”フィールドに移動端末101を特定する“端末識
別コード”と議事録のリスト転送要求コマンド又は議事
録の転送要求コマンドとが格納された図6(c) に示され
るフォーマットを有するTCPセグメントを生成し、次
に、そのTCPセグメントが“データ”フィールドに格
納された図6(b) に示されるフォーマットを有するIP
データグラムを生成し、更にそのIPデータグラムが
“インフォメーション”フィールドに格納された図6
(a) に示されるフォーマットを有するPPPフレームを
生成し、それらからなるTCP/IPパケットを送信す
る。この場合に、TCPヘッダ(図6(c) 、図7(b)
)、IPヘッダ(図6(b) 、図7(a) )、及び“プロ
トコル”フィールド(図6(a) )に設定される各情報
は、前述の文音声認識/議事録作成処理の開始要求コマ
ンド等が送信される場合に設定される各情報と同一であ
る。
【0166】この結果、上述のTCP/IPパケット
は、前述の文音声認識/議事録作成処理の開始要求コマ
ンド等が格納されたTCP/IPパケットの場合と全く
同様にして、インターネット105を介して音声制御ホ
スト装置108内のパケット送受信部115まで転送さ
れる。
【0167】パケット送受信部115は、前述の文音声
認識/議事録作成処理の開始要求コマンド等が格納され
たTCP/IPパケットが転送されてきた場合と全く同
様にして、転送されてきたTCP/IPパケットを受信
し、移動端末通信制御部116(図1)に対して受信通
知を通知する。
【0168】この通知と共に、パケット送受信部115
は、受信したTCP/IPパケットを構成するIPデー
タグラムのIPヘッダから“送信元IPアドレス”を取
り出し、上記TCP/IPパケットを構成するTCPセ
グメントの“データ”フィールドから“端末識別コー
ド”と議事録のリスト転送要求コマンド又は議事録の転
送要求コマンドとを取り出して、それらのデータを移動
端末通信制御部116に引き渡す。
【0169】この結果、移動端末通信制御部116は、
後述するようにして、議事録文章データのリスト又は議
事録文章データが格納されたTCP/IPパケットを、
移動端末101に対して転送する。
【0170】このTCP/IPパケットは、前述したよ
うにして通信制御部321(図3)まで転送された後、
通信制御部321からCPU316に、受信通知と議事
録文章データのリスト又は議事録文章データが引き渡さ
れる。
【0171】CPU316は、上記受信通知と議事録文
章データのリスト又は議事録文章データを、前述した図
4のステップ402で処理し、その議事録文章データの
リスト又は議事録文章データをLCD表示部311(図
2の203)に表示する。 <移動端末通信制御部116と文音声認識部117、及
び議事録作成部118の概略動作>次に、音声制御ホス
ト装置108内の移動端末通信制御部116、文音声認
識部117、及び議事録作成部118の概略動作につい
て説明する。
【0172】移動端末通信制御部116は、文音声認識
/議事録作成処理の開始要求コマンドを送信した移動端
末101に割当てられている“端末識別コード”(上記
コマンドを転送してきたTCPセグメントに格納されて
いる)毎に、図12に示されるデータ構造を有する処理
端末登録テーブルにエントリを登録すると共に、音声デ
ータの受信用のバッファファイル(音声バッファファイ
ル)と認識音声文章データの一時保存用のバッファファ
イル(文章バッファファイル)と議事録文章データの蓄
積用のバッファファイル(議事録バッファファイル)と
を音声制御ホスト装置108が管理するファイルシステ
ム上に作成する。また、移動端末通信制御部116は、
上記エントリとファイルの登録に成功すると、上記コマ
ンドを転送してきたIPデータグラムに格納されていた
“送信元IPアドレス”の移動端末101に向けて、送
信許可データを返信する。
【0173】移動端末通信制御部116は、それ以後移
動端末101から受信した音声データを、その“送信元
IPアドレス”(それを転送してきたIPデータグラム
に格納されている)に対応する処理端末登録テーブルの
エントリから特定される音声バッファファイルに追加書
き込みする。
【0174】文音声認識部117は、図12に示される
処理端末登録テーブルのエントリ毎に、各エントリから
特定される音声バッファファイルに音声データが受信さ
れていればそれに対して文音声認識処理を実行し、その
結果得られる認識音声文章データを上記各エントリに対
応する文章バッファファイルに追加書き込みする。
【0175】議事録作成部118(図1)は、図12に
示される処理端末登録テーブルのエントリ毎に、各エン
トリから特定される文章バッファファイルに認識音声文
章データが得られていればそれに対して議事録作成処理
を実行し、その結果得られる議事録文章データを上記各
エントリに対応する議事録バッファファイルに追加書き
込みする。
【0176】移動端末通信制御部116は、処理端末登
録テーブルの各エントリについて、そのエントリの内容
とそれから特定される各バッファファイルは、対応する
移動端末101との通信終了後も保存し、後に、その移
動端末101から議事録のリスト転送要求コマンド又は
議事録の転送要求コマンドを受信した時点で、その移動
端末101の“端末識別コード”に対応する処理端末登
録テーブルのエントリから特定される議事録バッファフ
ァイルに保存されていた認識音声文章データのリスト又
は議事録文章データそのものを、上記コマンドを転送し
てきたIPデータグラムに格納されていた“送信元IP
アドレス”の移動端末101に向けて送信する。 <移動端末通信制御部116の詳細動作>図9〜図11
は、上記機能を実現するために、移動端末通信制御部1
16が実行する制御動作を示す動作フローチャートであ
る。この動作フローチャートは、移動端末通信制御部1
16を制御する特には図示しないプロセッサが、特には
図示しない制御プログラムを実行する動作として実現さ
れる。
【0177】まず、ステップ901で、音声制御ホスト
装置108内のパケット送受信部115(図1)から受
信通知が通知されたか否かの待機状態が実行されてい
る。前述したように、パケット送受信部115は、イン
ターネット105から転送されてきたTCP/IPパケ
ットを構成するIPデータグラムのIPヘッダの“宛先
IPアドレス”フィールドに自分である音声制御ホスト
装置108のIPアドレスが設定されていることを識別
することにより、そのTCP/IPパケットを受信し、
かつ、それを構成するTCPセグメントの“宛先ポート
番号”フィールド及び“送信元ポート番号”フィールド
に文音声認識/議事録作成処理のための通信プロトコル
を特定する16ビットの整数値が設定されていることを
確認することによって、移動端末通信制御部116に対
して受信通知を通知する。この受信通知は、文音声認識
/議事録作成処理の開始要求コマンド、文音声認識/議
事録作成処理の対象である音声データ、議事録のリスト
転送要求コマンド、又は議事録の転送要求コマンドの何
れかに関する受信通知である。
【0178】パケット送受信部115から受信通知が通
知されステップ901の判定がYESとなると、ステッ
プ902で、パケット送受信部115から受信通知と共
に引き渡されたデータが取り込まれる。この場合に、受
信通知が、文音声認識/議事録作成処理の開始要求コマ
ンド、議事録のリスト転送要求コマンド、又は議事録の
転送要求コマンドの何れかの受信通知である場合は、
“送信元IPアドレス”と“端末識別コード”と上記コ
マンドとが取り込まれる。また、受信通知が、音声デー
タの受信通知である場合には、“送信元IPアドレス”
と音声データとが取り込まれる。
【0179】ステップ902の処理の後に、図9のステ
ップ903、図10のステップ909、図10のステッ
プ911、又は図11のステップ913の判定が順に検
査され、何れかの判定結果がYESとなる。即ち、ステ
ップ902でパケット送受信部115から引き渡された
データが、文音声認識/議事録作成処理の開始要求コマ
ンドに関するものである場合はステップ903の判定が
YESとなってステップ904〜908が実行され、音
声データに関するものである場合は図10のステップ9
09の判定がYESとなってステップ910が実行さ
れ、議事録のリスト転送要求コマンドに関するものであ
る場合には図10のステップ911の判定がYESとな
ってステップ912が実行され、議事録の転送要求コマ
ンドに関するものである場合には図11のステップ91
3の判定がYESとなってステップ914〜917が実
行される。
【0180】ステップ901の判定がYESであり、ス
テップ902でパケット送受信部115から引き渡され
たデータが文音声認識/議事録作成処理の開始要求コマ
ンドに関するものである場合において、ステップ903
の判定がYESとなって実行されるステップ904〜9
08の処理について説明する。
【0181】まず、ステップ904では、ステップ90
2でパケット送受信部115から引き渡された“端末識
別コード”に対応するエントリが、処理端末登録テーブ
ルに登録されているか否かが判定される。
【0182】移動端末101から初めて文音声認識/議
事録作成処理の開始要求コマンドが指定された場合に
は、この判定はNOとなる。その結果、ステップ905
では、音声データの受信用のバッファファイルである音
声バッファファイルと、認識音声文章データの一時保存
用ののバッファファイルである文章バッファファイル
と、議事録文章データの蓄積用のバッファファイルであ
る議事録バッファファイルとが、音声制御ホスト装置1
08が管理するファイルシステム上に作成される。
【0183】次に、ステップ906では、移動端末通信
制御部116内の特には図示しないメモリに記憶される
図12に示されるデータ構造を有する処理端末登録テー
ブルに、1つのエントリ(横1行のデータ組)が確保さ
れる。そして、そのエントリに、“端末識別コード”
と、“送信元IPアドレス”と、音声バッファファイル
名と、文章バッファファイル名と、議事録バッファファ
イル名が、登録される。“端末識別コード”は、ステッ
プ902においてパケット送受信部115から引き渡さ
れたデータであり、移動端末101から転送されてきた
TCP/IPパケットを構成するTCPセグメントの
“データ”フィールドに格納されていたものである(図
6(c) 参照)。“送信元IPアドレス”は、やはりステ
ップ902においてパケット送受信部115から引き渡
されたデータであり、移動端末101から転送されてき
たTCP/IPパケットを構成するIPデータグラムの
IPヘッダに格納されていたものである(図6(b) 、図
7(a) 参照)。音声バッファファイル名と文章バッファ
ファイル名と議事録バッファファイル名は、ステップ9
05で作成された各ファイルを示すファイル名である。
【0184】次に、前述したように、移動端末101か
ら初めて文音声認識/議事録作成処理の開始要求コマン
ドが指定された場合には、処理端末登録テーブルに対応
するエントリは存在しないため、前述したステップ90
4の判定はYESとなる。また、後述するように(図1
1のステップ915〜917参照)、移動端末101か
ら文音声認識/議事録作成処理の開始要求コマンドが指
定されて文音声認識/議事録作成処理の実行が開始され
た後に、議事録の転送要求コマンドによって議事録バッ
ファファイル中の全ての議事録文章データが移動端末1
01に転送された場合に、処理端末登録テーブル上の対
応するエントリは削除される。
【0185】しかし、移動端末101から文音声認識/
議事録作成処理の開始要求コマンドが指定されて文音声
認識/議事録作成処理の実行が開始された後に、処理端
末登録テーブル上の対応するエントリが削除されないう
ちに、再び同じ移動端末101から文音声認識/議事録
作成処理の開始要求コマンドが指定された場合は、ステ
ップ904の判定はYESとなる。
【0186】このような場合には、処理端末登録テーブ
ル上の削除されていない前回と同じエントリが使用され
る。そして、ステップ907において、処理端末登録テ
ーブル上の上記エントリに記憶されている“送信元IP
アドレス”のみが、図9のステップ902においてパケ
ット送受信部115から引き渡された新しいデータに更
新される。
【0187】前述したステップ906又は上記ステップ
907の処理の後、ステップ908では、ステップ90
2でパケット送受信部115から引き渡され処理端末登
録テーブルの上記エントリに登録された“送信元IPア
ドレス”に向けて、送信許可データが返信される。
【0188】具体的には、移動端末通信制御部116
は、“送信元IPアドレス”への送信許可データの返信
を、パケット送受信部115(図1)に対して依頼す
る。この結果、パケット送受信部115は、まず、図6
(c) に示されるフォーマットを有するTCPセグメント
を生成する。この場合、図6(c) 及び図7(b) に示され
るフォーマットを有するTCPヘッダにおいて、“送信
元ポート番号”フィールド及び“宛先ポート番号”フィ
ールドには、文音声認識/議事録作成処理のための通信
プロトコルを特定する16ビットの整数値が設定され
る。そして、TCPセグメントの“データ”フィールド
には、送信許可データが格納される。
【0189】次に、パケット送受信部115は、上述の
TCPセグメントが“データ”フィールドに格納された
図6(b) に示されるフォーマットを有するIPデータグ
ラムを生成する。この場合に、図6(b) 及び図7(a) に
示されるフォーマットを有するIPヘッダにおいて、
“プロトコル”フォーマットには、その“データ”フィ
ールドに格納されるTCPセグメントデータのフォーマ
ットを規定する整数値6が設定される。また、“送信元
IPアドレス”フィールドには、音声制御ホスト装置1
08に割当てられているIPアドレスが設定される。更
に、“宛先IPアドレス”フィールドには、図9のステ
ップ902でパケット送受信部115から引き渡された
“送信元IPアドレス”が設定される。
【0190】そして、パケット送受信部115は、上述
のIPデータグラムが格納されたLAN107上のプロ
トコルに従ったフレームを生成し、それをLAN107
に送出する。例えば、LAN107がイーサネット方式
によるローカルエリアネットワークであれば、上記フレ
ームは、イーサネットフレームである。
【0191】上記フレームとIPデータグラムとTCP
セグメントとから構成されるTCP/IPパケットは、
それを構成するIPデータグラムのIPヘッダに格納さ
れている“宛先IPアドレス”に基づいて、ルータ装置
106及びインターネット105を介して移動端末制御
ホスト装置104まで転送された後、更に、PHS網1
03及び無線基地(又は有線接続装置)102を介し
て、移動端末101の通信部111内の通信制御部32
1(図3)まで転送される。
【0192】これ以降、移動端末101から音声制御ホ
スト装置108へは、前述したようにして、音声データ
が転送されてくる。ステップ908の処理の後は、再び
ステップ901の受信待機処理に戻る。
【0193】次に、図9のステップ901の判定がYE
Sであり、ステップ902でパケット送受信部115か
ら引き渡されたデータが音声データである場合におい
て、図10のステップ909の判定がYESとなって実
行されるステップ910の処理について説明する。
【0194】即ち、ステップ910では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“送信元IPアドレス”が記憶されている処理端
末登録テーブル(図12)のエントリが検索され、該当
するエントリに記憶されている音声バッファファイル名
に対応する音声バッファファイル(図9のステップ90
6参照)に、図9のステップ902でパケット送受信部
115から引き渡された音声データが追加書き込みされ
る。なお、追加書込み時の音声バッファファイルのサイ
ズは、音声制御ホスト装置108が管理するファイルシ
ステムによって自動的に調整される。
【0195】このようにして、移動端末101毎(“端
末識別コード”毎)の音声バッファファイルを介して、
移動端末通信制御部116から文音声認識部117(図
1)に音声データが引き渡される。即ち、文音声認識部
117は、後述するように、図12に示される処理端末
登録テーブルのエントリ毎に、各エントリから特定され
る音声バッファファイルに音声データが受信されていれ
ばそれに対して文音声認識処理を実行し、その結果得ら
れる認識音声文章データを上記各エントリに対応する文
章バッファファイルに追加書き込みすることになる。
【0196】ステップ910の処理の後は、再び図9の
ステップ901の受信待機処理に戻る。次に、図9のス
テップ901の判定がYESであり、ステップ902で
パケット送受信部115から引き渡されたデータが議事
録のリスト転送要求コマンドに関するものである場合に
おいて、図10のステップ911の判定がYESとなっ
て実行されるステップ912の処理について説明する。
【0197】即ち、ステップ912では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“端末識別コード”が記憶されている処理端末登
録テーブル(図12)のエントリに記憶されている議事
録バッファファイル名から得られる議事録バッファファ
イルについて、それに記憶されている議事録文章データ
のリストを作成し、それが1つ以上のTCP/IPパケ
ットに格納され、図9のステップ902でパケット送受
信部115から引き渡された“送信元IPアドレス”に
向けて送信される。
【0198】具体的には、移動端末通信制御部116
は、“送信元IPアドレス”への議事録文章データのリ
ストの送信を、パケット送受信部115に対し依頼す
る。この結果、パケット送受信部115は、まず、図6
(c) に示されるフォーマットを有するTCPセグメント
を生成する。この場合、図6(c) 及び図7(b) に示され
るフォーマットを有するTCPヘッダにおいて、“送信
元ポート番号”フィールド及び“宛先ポート番号”フィ
ールドには、文音声認識/議事録作成処理のための通信
プロトコルを特定する16ビットの整数値が設定され
る。そして、TCPセグメントの“データ”フィールド
には、議事録文章データのリストが格納される。
【0199】次に、パケット送受信部115は、上述の
TCPセグメントが“データ”フィールドに格納された
図6(b) に示されるフォーマットを有するIPデータグ
ラムを生成する。この場合に、図6(b) 及び図7(a) に
示されるフォーマットを有するIPヘッダにおいて、
“プロトコル”フォーマットには、その“データ”フィ
ールドに格納されるTCPセグメントデータのフォーマ
ットを規定する整数値6が設定される。また、“送信元
IPアドレス”フィールドには、音声制御ホスト装置1
08に割当てられているIPアドレスが設定される。更
に、“宛先IPアドレス”フィールドには、図9のステ
ップ902でパケット送受信部115から引き渡された
“送信元IPアドレス”が設定される。
【0200】そして、パケット送受信部115は、上述
のIPデータグラムが格納されたLAN107上のプロ
トコルに従ったフレームを生成し、それをLAN107
に送出する。
【0201】上記フレームとIPデータグラムとTCP
セグメントとから構成されるTCP/IPパケットは、
それを構成するIPデータグラムのIPヘッダに格納さ
れている“宛先IPアドレス”に基づいて、ルータ装置
106及びインターネット105を介して移動端末制御
ホスト装置104まで転送された後、更に、PHS網1
03及び無線基地(又は有線接続装置)102を介し
て、移動端末101の通信部111内の通信制御部32
1(図3)まで転送され、前述したように、移動端末1
01のLCD表示部311(図2の203)に表示され
る。
【0202】このようにして、移動端末101のユーザ
は、以前の自分の音声会話に基づいて音声制御ホスト装
置108に蓄積されている議事録文章データのリストを
確認することができる。このリストを確認した後、移動
端末101のユーザは、必要な議事録文章データのみ又
は全ての議事録文章データに対する議事録の転送要求コ
マンドを、音声制御ホスト装置108に対して指定する
ことができる。
【0203】図10のステップ912の処理の後は、再
び図9のステップ901の受信待機処理に戻る。続い
て、図9のステップ901の判定がYESであり、ステ
ップ902でパケット送受信部115から引き渡された
データが議事録の転送要求コマンドに関するものである
場合において、図11のステップ913の判定がYES
となって実行されるステップ914〜917の処理につ
いて説明する。
【0204】まず、ステップ914では、図9のステッ
プ902でパケット送受信部115から引き渡されたの
と同じ“端末識別コード”が記憶されている処理端末登
録テーブル(図12)のエントリに記憶されている議事
録バッファファイル名から得られる議事録バッファファ
イルから、図9のステップ902でパケット送受信部1
15から引き渡された議事録の転送要求コマンドによっ
て指定されている番号又は全部の議事録文章データが読
み出され、それが1つ以上のTCP/IPパケットに格
納され、図10のステップ912における議事録文章デ
ータのリストの送信の場合と全く同様にして、図9のス
テップ902でパケット送受信部115から引き渡され
た“送信元IPアドレス”に向けて送信される。
【0205】この結果、議事録文章データが格納された
TCP/IPパケットが、それを構成するIPデータグ
ラムのIPヘッダに格納されている“宛先IPアドレ
ス”に基づいて、パケット送受信部115からルータ装
置106及びインターネット105を介して移動端末制
御ホスト装置104まで転送された後、更に、PHS網
103及び無線基地(又は有線接続装置)102を介し
て、移動端末101の通信部111内の通信制御部32
1(図3)まで転送され、前述したように、移動端末1
01のLCD表示部311(図2の203)に表示され
る。
【0206】次に、図11のステップ915では、ステ
ップ914で処理された処理端末登録テーブルのエント
リに対応する議事録バッファファイルの内容が空になっ
たか否かが判定される。
【0207】上記議事録バッファファイルの内容が空に
なっておらずステップ915の判定がNOならば、再び
図9のステップ901の受信待機処理に戻る。一方、上
記議事録バッファファイルの内容が空になりステップ9
15の判定がYESとなると、ステップ916で、ステ
ップ914において処理された処理端末登録テーブルの
エントリの内容が全て削除される。
【0208】また、ステップ917で、上記エントリに
記憶されていた音声バッファファイル名に対応する音声
バッファファイル、文章バッファファイル名に対応する
文章バッファファイル、及び議事録バッファファイル名
に対応する議事録バッファファイルが、音声制御ホスト
装置108が管理するファイルシステム上から削除され
る。
【0209】ステップ918の処理の後は、再び図9の
ステップ901の受信待機処理に戻る。 <文音声認識部117の詳細動作>図13は、文音声認
識部117の機能ブロック図である。
【0210】この文音声認識部117は、前述したよう
に、図12に示される処理端末登録テーブルのエントリ
毎に、各エントリから特定される音声バッファファイル
に音声データが受信されていればそれに対して文音声認
識処理を実行し、その結果得られる認識音声文章データ
を上記各エントリに対応する文章バッファファイルに追
加書き込みする。
【0211】上述のエントリ毎の音声バッファファイル
からの音声データの読出しと文章バッファファイルへの
認識音声文章データの書込みは、図13の入出力制御部
1309が制御する。まず、この入出力制御部1309
の制御動作につき説明する。図14は、入出力制御部1
309が実行する制御動作を示す動作フローチャートで
ある。この動作フローチャートは、入出力制御部130
9を制御する特には図示しないプロセッサが、特には図
示しない制御プログラムを実行する動作として実現され
る。
【0212】まず、ステップ1401では、処理端末登
録テーブル(図12)において、音声バッファファイル
名に対応する音声バッファファイルに音声データが記憶
されているエントリが存在するか否かが判定される。
【0213】そのようなエントリが存在しステップ14
01の判定がYESならば、ステップ1402で、該当
するエントリ毎に、そのエントリに記憶されている“端
末識別コード”と、そのエントリに記憶されている音声
バッファファイル名に対応する音声バッファファイル上
の音声データとが、図13の入力バッファキュー130
1に書き込まれ、その音声データが音声バッファファイ
ルから削除される。
【0214】入力バッファキュー1301は、それがキ
ューイングしている音声データを、音声区間検出部13
02に順次流し込む機能を有する。音声区間検出部13
02以降に接続されている音声分析部1303、音素認
識部1304、単語認識部1306、及び文章認識部1
307は、データ処理パイプラインを形成しており、相
互に独立して、入力データを処理する機能を有する。ま
た、1302〜1307の各部分は、現在処理している
音声データに対応する“端末識別コード”(入力バッフ
ァキュー1301から入力される)を認識することがで
きる。従って、最終的に文章認識部1307から出力バ
ッファキュー1308へは、“端末識別コード”と認識
音声文章データとの組が出力されることになる。
【0215】ステップ1402の処理の後又はステップ
1401の判定がNOの場合には、ステップ1403
で、図13の出力バッファキュー1308に、“端末識
別コード”と認識音声文章データの組が得られているか
否かが判定される。
【0216】そのような組が得られておりステップ14
03の判定がYESならば、ステップ1404で、出力
バッファキュー1308内の組毎に、その組の“端末識
別コード”に対応する処理端末登録テーブルのエントリ
について、そのエントリに記憶されている文章バッファ
ファイル名に対応する文章バッファファイルに、出力バ
ッファキュー1308内の組の認識音声文章データが追
加書き込みされる。
【0217】ステップ1404の処理の後又はステップ
1403の判定がNOの場合には、再びステップ140
1の判定処理が実行される。以上のようにして文音声認
識部117は、流れ作業的に効率良く、複数の移動端末
101から要求された音声データに対する文音声認識処
理を実行することができる。
【0218】次に、文音声認識処理を実現するための1
302〜1307の各部分の機能につき、以下に説明す
る。なお、以下に説明する各方式は、例えば、文献「電
子・情報工学入門シリーズ2 音響・音声工学」(古井
著、近代科学社)第14章」を参照することにより、実
現することができる。
【0219】音声区間検出部1302は、入力バッファ
キュー1301から入力される音声データのサンプル時
系列について、音声が存在する区間を検出する。より具
体的には、音声区間検出部1302は、所定サンプル
(例えば8kHzサンプリングデータについて32乃至
256サンプル)ずつの平均パワー(電力)を計算し、
その平均パワーが所定の閾値を超えた状態が所定回数以
上連続して続く区間を、音声区間として検出する。これ
により、音声が存在しない区間で文音声が誤認識されて
しまうのを防ぐことができる。
【0220】音声分析部1303は、音声区間検出部1
302から出力される音声データについて、その特徴分
析を行うことによって、特徴量パラメータベクトルを検
出する。音声分析方式としては、以下の周知の分析方式
の何れかを採用することができる。 (1)音声データ時系列を入力とする帯域フィルタバン
クの各出力を平滑化し、それらの平滑化された各出力を
特徴量パラメータベクトルの要素とする方式。 (2)連続する所定サンプルずつの音声データ時系列を
入力とする高速フーリエ変換(FFT)によって計算し
た各短時間スペクトル成分を平滑化し、それらの平滑化
された各成分値を特徴量パラメータベクトルの要素とす
る方式。 (3)連続する所定サンプルずつの音声データ時系列を
入力とするケプストラム分析によってケプストラム係数
群を計算し、それらを特徴量パラメータベクトルの要素
とする方式。 (4)上記(3)のケプストラム係数群に加えて、それ
らに対するΔ(デルタ)ケプストラム(ケプストラムの
微係数)群を計算し、それらを特徴量パラメータベクト
ルの要素に加える方式。 (5)連続する所定サンプルずつの音声データ時系列を
入力とする線形予測分析(LPC分析、更に具体的には
線スペクトル対分析:LSP分析)によって、LPC
(LSP)係数群を計算し、それらを特徴量パラメータ
ベクトルの要素とする方式。 (6)連続する所定サンプルずつの音声データ時系列を
入力とする自己相関分析によって自己相関関数を計算
し、それらに基づいて検出される音声のピッチ基本周波
数パターンを特徴量パラメータベクトルの1つの要素に
加える方式。次に、音素認識部1304は、所定フレー
ム周期(所定サンプル)毎に音声分析部1303から出
力される特徴量パラメータベクトルと、音素標準パター
ン辞書1305に蓄積されている各音素の特徴量パラメ
ータベクトルの標準パターンとの類似度(距離)を計算
し、その結果所定フレーム周期毎に得られる類似度の高
い音素の組をその類似度と共に音素ラティスデータとし
て出力する。音素認識部1304は、音素の認識誤りの
発生を回避するために、所定フレーム周期毎に最終的な
音素を決定することはせずに、音素候補を表にした音素
ラティスデータの形式で結果データを出力する。
【0221】単語認識部1306は、所定フレーム周期
毎に音素認識部1304から出力される音素ラティスデ
ータを入力として、所定フレーム周期毎に単語候補を表
にして単語ラティスデータを出力する。単語認識方式と
しては、以下の周知の分析方式の何れかを採用すること
ができる。 (1)単語認識部1306は、音素認識部1304から
出力される複数のフレーム周期にまたがる音素ラティス
データの時系列と、単語辞書に蓄積されている全音素標
準パターン系列とで、時間正規化(DPマッチング or
DTW:DynamicTime Warping)を実行し、単語ラティ
スデータを出力する。この場合も、単語認識部1306
は、単語の認識誤りの発声を回避するために、所定フレ
ーム周期毎に最終的な単語を決定することはせずに、単
語候補を表にした単語ラティスデータの形式で結果デー
タを出力する。 (2)単語認識部1306は、HMM(Hidden Markov
Model )によって、全単語をモデル化し、音素認識部1
304から出力される複数のフレーム周期にまたがる音
素ラティスデータの時系列をHMM分析部に入力し、生
起確率の大きいものから複数個のモデルに対応する各単
語を、単語候補である単語ラティスデータとして出力す
る。最後に、文章認識部1307は、その第1段処理と
して、単語認識部1306から出力される単語ラティス
データを順次入力し、日本語(英語でもよい)の文節構
造に関する文節内文法(語順規則)に従って、種々の文
節の可能性を文節ラティスデータとして算出する。そし
て、文章認識部1307は、その第2段処理として、文
節間文法に従って文節間の意味的な係り受けを解析し、
認識音声文章データを決定し、それを、入力バッファキ
ュー1301から順次伝達されてきた“端末識別コー
ド”と対について、出力バッファキュー1308に書き
込む。 <議事録作成部118の詳細動作>図15は、議事録作
成部118の機能ブロック図である。
【0222】この議事録作成部118は、前述したよう
に、図12に示される処理端末登録テーブルのエントリ
毎に、各エントリから特定される文章バッファファイル
に文音声認識部117によって認識音声文章データが得
られていればそれに対して議事録作成処理を実行し、そ
の結果得られる議事録文章データを上記各エントリに対
応する議事録バッファファイルに追加書き込みする。
【0223】上述のエントリ毎の文章バッファファイル
からの認識音声文章データの読出しと議事録バッファフ
ァイルへの議事録文章データの書込みは、図15の入出
力制御部1509が制御する。まず、この入出力制御部
1509の制御動作につき説明する。図16は、入出力
制御部1509が実行する制御動作を示す動作フローチ
ャートである。この動作フローチャートは、入出力制御
部1509を制御する特には図示しないプロセッサが、
特には図示しない制御プログラムを実行する動作として
実現され、前述した、文音声認識部117内の図13に
示される入出力制御部1309と同様の制御動作を実現
する。
【0224】まず、ステップ1601では、処理端末登
録テーブル(図12)において、文章バッファファイル
名に対応する文章バッファファイルに認識音声文章デー
タが記憶されているエントリが存在するか否かが判定さ
れる。
【0225】そのようなエントリが存在しステップ16
01の判定がYESならば、ステップ1602で、該当
するエントリ毎に、そのエントリに記憶されている“端
末識別コード”と、そのエントリに記憶されている文章
バッファファイル名に対応する文章バッファファイル上
の認識音声文章データとが、図15の入力バッファキュ
ー1501に書き込まれ、その認識音声文章データが文
章バッファファイルから削除される。
【0226】入力バッファキュー1501は、それがキ
ューイングしている認識音声文章データを、不要語削除
部1502に順次流し込む機能を有する。不要語削除部
1502以降に接続されている繰返し削除部1504、
文体修正部1505、及び議事録形式フォーマット部1
507は、図13に示される文音声認識部117の構成
の場合と同様に、データ処理パイプラインを形成してお
り、相互に独立して、入力データを処理する機能を有す
る。また、1502〜1507の各部分は、現在処理し
ている認識音声文章データに対応する“端末識別コー
ド”(入力バッファキュー1501から入力される)を
認識することができる。従って、最終的に議事録形式フ
ォーマット部1507から出力バッファキュー1508
へは、“端末識別コード”と議事録文章データとの組が
出力されることになる。
【0227】ステップ1602の処理の後又はステップ
1601の判定がNOの場合には、ステップ1603
で、図15の出力バッファキュー1508に、“端末識
別コード”と議事録文章データの組が得られているか否
かが判定される。
【0228】そのような組が得られておりステップ16
03の判定がYESなら、ステップ1604で、出力バ
ッファキュー1508内の組毎に、その組の“端末識別
コード”に対応する処理端末登録テーブルのエントリに
ついて、そのエントリに記憶されている議事録バッファ
ファイル名に対応する議事録バッファファイルに、出力
バッファキュー1508内の組の議事録文章データが追
加書き込みされる。
【0229】ステップ1604の処理の後又はステップ
1603の判定がNOの場合には、再びステップ160
1の判定処理が実行される。以上のようにして議事録作
成部118は、文音声認識部117の場合と同様にし
て、流れ作業的に効率良く、複数の移動端末101から
の要求に基づいて文音声認識部117において得られた
認識音声文章データに対する議事録作成処理を実行する
ことができる。
【0230】次に、議事録作成処理を実現するための1
502〜1505の各部分の機能につき、以下に説明す
る。まず、不要語削除部1502は、入力バッファキュ
ー1501から順次入力される“端末識別コード”と認
識音声文章データとの組のそれぞれにつき、不要語辞書
1503を参照することにより、認識音声文章データか
ら、“は”“です”等の不要語を削除し、その結果得ら
れる認識音声文章データを、“端末識別コード”と共
に、繰返し削除部1504に出力する。
【0231】繰返し削除部1504は、不要語削除部1
502から出力される“端末識別コード”と認識音声文
章データとの組のそれぞれにつき、認識音声文章データ
中での文節の繰返しを検出し、その重複を削除し、その
結果得られる認識音声文章データを、“端末識別コー
ド”と共に、繰返し削除部1504に出力する。
【0232】文体修正部1505は、繰返し削除部15
04から出力される“端末識別コード”と認識音声文章
データとの組のそれぞれにつき、文体修正辞書1506
を参照しながら、認識音声文章データの“ですます”調
の文体を“である”調の文体に修正して、その結果得ら
れる認識音声文章データを、“端末識別コード”と共
に、議事録形式フォーマット部1506に出力する。
【0233】最後に、議事録形式フォーマット部150
6は、文体修正部1505から出力される“端末識別コ
ード”と認識音声文章データとの組のそれぞれについ
て、認識音声文章データ中の“会議名は・・・”“出席
者は・・・”“議題は・・・”“次会議予定は・・・”
等のキーワードを検出することにより、例えば図17に
示される議事録フォーマットの“会議名”フィールド、
“出席者”フィールド、“議題”フィールド、及び“次
会議予定”フィールドに、自動的に認識音声文章データ
の内容を挿入し、また、“日時”フィールドには、本日
の日時を自動的に挿入することにより、議事録文章デー
タを作成する。 <他の実施の形態>以上説明した実施の形態において、
音声制御ホスト装置108内に、文音声認識部117と
共に、受信した音声データの話者を識別する話者識別部
を設けるように構成することもできる。この話者識別部
は、各認識音声文章データにつき、その話者を、話者
A、話者B、・・・というように識別する。そして、議
事録作成部118は、例えば、 話者A:「・・・」 話者B:「・・・」 話者C:「・・・」 ・ ・ ・ などというように、話者毎に分類された議事録文章デー
タを作成するように構成することも可能である。
【0234】これにより、話者毎に適切に分類された読
みやすい議事録を作成することができる。また、上述の
実施の形態では、移動端末101は、PHS端末であっ
て、移動端末101と音声制御ホスト装置108とは、
PHS網103とインターネット105を介して接続さ
れている。しかし、本発明は、これに限られるものでは
なく、無線又は有線によって間接的又は直接的に音声制
御ホスト装置108に接続される形態であれば、どのよ
うな形態であっても本発明をそれに適用することができ
る。
【0235】
【発明の効果】本発明によれば、移動端末は、高度な音
声認識環境を設備する必要がなく実用的な精度を有する
音声認識機能及び議事録作成機能の提供を低コストで受
けることが可能となる。
【0236】また、本発明によれば、現在全国的及び全
世界的に普及しつつあるパーソナルハンディホンシステ
ム通信網及びインターネットを経由することにより、実
用的な精度を有する音声認識機能及び議事録作成機能の
提供をより低コスト及び手軽に受けることができると同
時に、本発明が提供する機能とパーソナルハンディホン
システム通話機能及びインターネットアクセス機能と
を、シームレスに結合することが可能となる。
【0237】更に、本発明によれば、移動端末と音声制
御ホスト装置とを全世界的に容易に特定できると共に、
音声認識/議事録作成処理サービスと他の情報処理サー
ビスとの共存を容易に実現することが可能となる。
【0238】また、本発明によれば、ホスト装置側の負
荷分散を容易に実現することが可能である。加えて、本
発明によれば、話者毎に適切に分類された読みやすい議
事録を作成することが可能である。
【図面の簡単な説明】
【図1】全システム構成図である。
【図2】移動端末の外観図である。
【図3】移動端末の機能ブロック図である。
【図4】移動端末の処理の全体動作フローチャートであ
る。
【図5】送信処理の動作フローチャートである。
【図6】通信データのフォーマット図である。
【図7】IPヘッダとTCPヘッダのフォーマット図で
ある。
【図8】PPPを用いた発信処理の動作フローチャート
である。
【図9】移動端末通信制御部の動作フローチャート(そ
の1)である。
【図10】移動端末通信制御部の動作フローチャート
(その2)である。
【図11】移動端末通信制御部の動作フローチャート
(その3)である。
【図12】処理端末登録テーブルのデータ構成図であ
る。
【図13】文音声認識部の構成図である。
【図14】音声認識部内の入出力制御部の動作フローチ
ャートである。
【図15】議事録作成部の動作フローチャートである。
【図16】議事録作成部内の入出力制御部の動作フロー
チャートである。
【図17】議事録フォーマット例を示す図である。
【符号の説明】
101 移動端末 102 無線基地(有線接続装置) 103 PHS網(公衆電話網、ISDN網) 104 移動端末制御ホスト装置 105 インターネット 106 ルータ装置 107 LAN(ローカルエリアネットワーク) 108 音声制御ホスト装置 109 入力部 110 制御部 111 通信部 112 出力部 113 接続確立部 114 ルーティング部 115 パケット送受信部 116 移動端末通信制御部 117 文音声認識部 118 議事録作成部 201、301 マイク 202、304 カメラ(CCDカメラ) 203、311 LCD表示部 204、308 スピーカ 205、323 無線アンテナ 206、325 ソケット(通信用) 207 ICカードスロット 208 光送受信機(光通信用) 302、305 A/D変換部 303 マイク制御部 306、313 メモリ 307 カメラ制御部 309 D/A変換部 310 スピーカ制御部 312 LCDドライバ 314 LCD制御部 315 タッチパネル制御部 316 CPU 317 RAM 318 ROM 319 ICカードインタフェース部 320 ICカード 321 通信制御部 322 無線ドライバ 324 有線ドライバ 1301 入力バッファキュー 1302 音声区間検出部 1303 音声分析部 1304 音素認識部 1305 音素標準パターン辞書 1306 単語認識部 1307 文章認識部 1308 出力バッファキュー 1309 入出力制御部 1501 入力バッファキュー 1502 不要語削除部 1503 不要語辞書 1504 繰返し削除部 1505 文体修正部 1506 文体修正辞書 1507 議事録形式フォーマット部 1508 出力バッファキュー 1509 入出力制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04B 7/26 109T H04Q 7/04 D

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 移動端末がホスト装置と通信する通信シ
    ステムであって、 前記移動端末内に、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記ホスト装置である音声制御ホスト装置に接続する
    ホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力
    手段から入力される音声データを前記音声制御ホスト装
    置に送信する音声データ送信手段と、 前記ホスト接続手段による接続動作の後、前記音声デー
    タが示す会話内容を記録した議事録文章データに関する
    情報データの返信を要求するための議事録情報データ転
    送要求コマンドを前記音声制御ホスト装置に送信するコ
    マンド送信手段と、 前記音声制御ホスト装置から返信された前記議事録文章
    データに関する情報データを受信する議事録情報データ
    受信手段と、 該受信された議事録文章データに関する情報データを表
    示又は編集する議事録情報データ表示/編集手段と、 を含み、 前記音声制御ホスト装置内に、 前記移動端末内のホスト接続手段による接続動作に応答
    して、前記移動端末を識別して接続する移動端末接続手
    段と、 現在接続されている移動端末毎に、前記音声データを受
    信する音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信
    手段により受信された音声データに対して音声認識処理
    を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段に
    よる音声認識処理によって得られる認識音声データが示
    す会話内容を記録した議事録文章データを作成し保持す
    る議事録作成手段と、 現在接続されている移動端末毎に、前記議事録情報デー
    タ転送要求コマンドを受信するコマンド受信手段と、 現在接続されている移動端末毎に、前記コマンド受信手
    段が受信した議事録情報データ転送要求コマンドに対応
    し前記議事録作成手段が作成し保持している議事録文章
    データに関する情報データを、それに対応する移動端末
    に返信する議事録情報データ返信手段と、 を含む、 ことを特徴とする移動端末音声認識/議事録作成通信シ
    ステム。
  2. 【請求項2】 移動端末がホスト装置と通信する通信シ
    ステムに使用される前記移動端末であって、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記ホスト装置である音声制御ホスト装置に接続する
    ホスト接続手段と、 音声を入力する音声入力手段と、 前記ホスト接続手段による接続動作の後、前記音声入力
    手段から入力される音声データを前記音声制御ホスト装
    置に送信する音声データ送信手段と、 前記ホスト接続手段による接続動作の後、前記音声デー
    タが示す会話内容を記録した議事録文章データに関する
    情報データの返信を要求するための議事録情報データ転
    送要求コマンドを前記音声制御ホスト装置に送信するコ
    マンド送信手段と、 前記音声制御ホスト装置から返信された前記議事録文章
    データに関する情報データを受信する議事録情報データ
    受信手段と、 該受信された議事録文章データに関する情報データを表
    示又は編集する議事録情報データ表示/編集手段と、 を含むことを特徴とする移動端末。
  3. 【請求項3】 移動端末がホスト装置と通信する通信シ
    ステムに使用される前記ホスト装置であって、 無線網又は有線網の何れか一方又は両方から構成される
    中継網を介して間接的に又は該中継網を介さずに直接的
    に前記移動端末が実行する接続動作に応答して、前記移
    動端末を識別して接続する移動端末接続手段と、 現在接続されている移動端末毎に、音声データを受信す
    る音声データ受信手段と、 現在接続されている移動端末毎に、前記音声データ受信
    手段により受信された音声データに対して音声認識処理
    を実行する音声認識手段と、 現在接続されている移動端末毎に、前記音声認識手段に
    よる音声認識処理によって得られる認識音声データが示
    す会話内容を記録した議事録文章データを作成し保持す
    る議事録作成手段と、 現在接続されている移動端末毎に、前記音声データが示
    す会話内容を記録した議事録文章データに関する情報デ
    ータの返信を要求するための議事録情報データ転送要求
    コマンドを受信するコマンド受信手段と、 現在接続されている移動端末毎に、前記コマンド受信手
    段が受信した議事録情報データ転送要求コマンドに対応
    し前記議事録作成手段が作成し保持している議事録文章
    データに関する情報データを、それに対応する移動端末
    に返信する議事録情報データ返信手段と、 を含むことを特徴とする音声制御ホスト装置。
  4. 【請求項4】 前記議事録文章データに関する情報デー
    タは、前記議事録文章データそのもの、又は該議事録文
    章データのリストを示すリストデータの何れかであり、 前記議事録情報データ転送要求コマンドは、前記議事録
    文章データの転送を要求するための議事録の転送要求コ
    マンド又は前記リストデータの転送を要求するための議
    事録のリスト転送要求コマンドの何れかである、 ことを特徴とする請求項1乃至3の何れか1項に記載の
    移動端末音声認識/議事録作成通信システム、移動端
    末、又は音声制御ホスト装置。
  5. 【請求項5】 前記移動端末は、パーソナルハンディホ
    ンシステム通信機能を備え、 前記中継網は、パーソナルハンディホンシステム通信網
    とインターネットを含み、 前記音声制御ホスト装置は、前記インターネットに接続
    し、 前記移動端末内のホスト接続手段は、前記パーソナルハ
    ンディホンシステム通信網を介して、該パーソナルハン
    ディホンシステム通信網を含む公衆網と前記インターネ
    ットとの間のゲートウエイ機能を有する移動端末制御ホ
    スト装置に発信し接続することによって、前記インター
    ネット上の通信プロトコルを使用して、前記移動端末制
    御ホスト装置から前記インターネットを介して前記音声
    制御ホスト装置に接続する、 ことを特徴とする請求項1乃至4の何れか1項に記載の
    移動端末音声認識/議事録作成通信システム、移動端
    末、又は音声制御ホスト装置。
  6. 【請求項6】 前記通信プロトコルは、インターネット
    プロトコル層及びトランスミッションコントロールプロ
    トコル層を含む階層プロトコルであって、 前記インターネット上を伝送される前記インターネット
    プロトコル層のパケットデータであるインターネットプ
    ロトコルデータグラムのヘッダフィールドには、前記イ
    ンターネット上での前記移動端末及び前記音声制御ホス
    ト装置のアドレスを指定する送信元インターネットプロ
    トコルアドレス及び宛先インターネットプロトコルアド
    レスが格納され、該インターネットプロトコルデータグ
    ラムのデータフィールドには、前記トランスミッション
    コントロールプロトコル層のパケットデータであるトラ
    ンスミッションコントロールプロトコルセグメントが格
    納され、 前記トランスミッションコントロールプロトコルセグメ
    ントのヘッダフィールドには、前記音声認識/議事録作
    成処理のための通信プロトコルを特定する送信元ポート
    番号及び宛先ポート番号が格納され、該トランスミッシ
    ョンコントロールプロトコルセグメントのデータフィー
    ルドには、前記移動端末を識別するための端末識別コー
    ド、前記音声データ、前記議事録情報データ転送要求コ
    マンド、又は前記議事録文章データに関する情報データ
    が格納される、 ことを特徴とする請求項5に記載の移動端末音声認識/
    議事録作成通信システム、移動端末、又は音声制御ホス
    ト装置。
  7. 【請求項7】 前記音声制御ホスト装置は、網によって
    相互に接続され、前記移動端末接続手段、前記音声デー
    タ受信手段、前記音声認識手段、前記議事録作成手段、
    及び前記議事録情報データ返信手段に対応する機能を分
    散して実現する複数のホストコンピュータから構成され
    る、 ことを特徴とする請求項1乃至6の何れか1項に記載の
    移動端末音声認識/議事録作成通信システム、移動端
    末、又は音声制御ホスト装置。
  8. 【請求項8】 前記議事録作成手段は、 前記認識音声データから、前記議事録文章データとして
    不要な不要語を削除する不要語削除手段と、 前記認識音声データ中で繰り返される文章を削除する繰
    返し削除手段と、 前記認識音声データの文体を前記議事録文章データに適
    した文体に修正する文体修正手段と、 前記不要語削除手段、前記繰返し削除手段、及び前記文
    体修正手段によって処理された認識音声データにおい
    て、所定のキーワードを検出することにより、該認識音
    声データを複数のフィールドからなる議事録文章データ
    にフォーマット化する議事録形式フォーマット手段と、 を含むことを特徴とする請求項1、又は3乃至7の何れ
    か1項に記載の移動端末音声認識/議事録作成通信シス
    テム又は音声制御ホスト装置。
  9. 【請求項9】 前記音声認識手段は、前記音声データの
    話者を識別する話者識別手段を含み、 前記議事録作成手段は、現在接続されている移動端末毎
    に、前記音声認識手段による音声認識処理によって得ら
    れる認識音声データが示す会話内容を前記話者分類手段
    が識別した話者毎に分類して記録した議事録文章データ
    を作成し保持する、 ことを特徴とする請求項1、又は3乃至8の何れか1項
    に記載の移動端末音声認識/議事録作成通信システム又
    は音声制御ホスト装置。
JP8285085A 1996-10-28 1996-10-28 移動端末音声認識/議事録作成通信システム Pending JPH10134047A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8285085A JPH10134047A (ja) 1996-10-28 1996-10-28 移動端末音声認識/議事録作成通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8285085A JPH10134047A (ja) 1996-10-28 1996-10-28 移動端末音声認識/議事録作成通信システム

Publications (1)

Publication Number Publication Date
JPH10134047A true JPH10134047A (ja) 1998-05-22

Family

ID=17686951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8285085A Pending JPH10134047A (ja) 1996-10-28 1996-10-28 移動端末音声認識/議事録作成通信システム

Country Status (1)

Country Link
JP (1) JPH10134047A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148179A (ja) * 1998-11-12 2000-05-26 Internatl Business Mach Corp <Ibm> サブ語彙を指定する方法及びプログラム記憶装置
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
WO2011102246A1 (ja) * 2010-02-18 2011-08-25 株式会社ニコン 情報処理装置、携帯型装置及び情報処理システム
WO2011105191A1 (ja) * 2010-02-26 2011-09-01 ブラザー工業株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP5535238B2 (ja) * 2009-11-30 2014-07-02 株式会社東芝 情報処理装置
JP2014186062A (ja) * 2013-03-21 2014-10-02 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP2018005461A (ja) * 2016-06-30 2018-01-11 京セラドキュメントソリューションズ株式会社 情報処理装置、及び画像形成装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148179A (ja) * 1998-11-12 2000-05-26 Internatl Business Mach Corp <Ibm> サブ語彙を指定する方法及びプログラム記憶装置
US7068676B1 (en) 1999-04-30 2006-06-27 Fujitsu Limited Wireless terminal device and node device
JP5535238B2 (ja) * 2009-11-30 2014-07-02 株式会社東芝 情報処理装置
WO2011102246A1 (ja) * 2010-02-18 2011-08-25 株式会社ニコン 情報処理装置、携帯型装置及び情報処理システム
CN102934107A (zh) * 2010-02-18 2013-02-13 株式会社尼康 信息处理装置、便携式装置以及信息处理系统
US9013399B2 (en) 2010-02-18 2015-04-21 Nikon Corporation Information processing device, portable device and information processing system
US9626151B2 (en) 2010-02-18 2017-04-18 Nikon Corporation Information processing device, portable device and information processing system
WO2011105191A1 (ja) * 2010-02-26 2011-09-01 ブラザー工業株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2011180780A (ja) * 2010-02-26 2011-09-15 Brother Industries Ltd 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2014186062A (ja) * 2013-03-21 2014-10-02 Fuji Xerox Co Ltd 情報処理装置及びプログラム
JP2018005461A (ja) * 2016-06-30 2018-01-11 京セラドキュメントソリューションズ株式会社 情報処理装置、及び画像形成装置

Similar Documents

Publication Publication Date Title
JP3402100B2 (ja) 音声制御ホスト装置
JPH10133847A (ja) 移動端末音声認識/データベース検索/リソースアクセス通信システム
US6208959B1 (en) Mapping of digital data symbols onto one or more formant frequencies for transmission over a coded voice channel
US7003463B1 (en) System and method for providing network coordinated conversational services
US6424945B1 (en) Voice packet data network browsing for mobile terminals system and method using a dual-mode wireless connection
US20020138274A1 (en) Server based adaption of acoustic models for client-based speech systems
US20020143551A1 (en) Unified client-server distributed architectures for spoken dialogue systems
US20100135269A1 (en) Retrieving voice-based content in conjunction with wireless application protocol browsing
US20030161298A1 (en) Multi-modal content and automatic speech recognition in wireless telecommunication systems
EP1125279A1 (en) System and method for providing network coordinated conversational services
US7392184B2 (en) Arrangement of speaker-independent speech recognition
JPH0823383A (ja) 通信システム
US20020077811A1 (en) Locally distributed speech recognition system and method of its opration
JPH10177469A (ja) 移動端末音声認識/データベース検索/リソースアクセス通信システム
US20140180668A1 (en) Service server apparatus, service providing method, and service providing program
TW200304638A (en) Network-accessible speaker-dependent voice models of multiple persons
JPH10126852A (ja) 移動端末音声認識/データベース検索通信システム
JPH10177468A (ja) 移動端末音声認識/データベース検索通信システム
US20050278177A1 (en) Techniques for interaction with sound-enabled system or service
JPH10134047A (ja) 移動端末音声認識/議事録作成通信システム
JPH10124291A (ja) 移動端末音声認識通信システム
JPH10190865A (ja) 移動端末音声認識/フォーマット文章作成システム
US20020077814A1 (en) Voice recognition system method and apparatus
KR100486030B1 (ko) 음성인식을 이용한 이동통신 단말기의 인터넷 사이트접속장치 및 방법
KR100414064B1 (ko) 음성인식에 의한 이동통신 단말기 제어시스템 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040929

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080404