JP4119880B2 - 端末装置及びプログラム - Google Patents

Description

本発明は、電子メール又はワープロなどの入力文書に音声及び又は映像を複合的に入力することのできる端末装置及びプログラムに関する。

近年のパーソナルコンピュータ（ＰＣ）及び通信環境の発展に伴い、電子メール及びワードプロセッサソフトを用いた文書入力業務は、最も主要な業務となっている。これら電子メール及び文書入力業務における文書入力は、キーボードやマウス並びに日本語入力ソフトウェアを使用し、文書を作成することが行われている。

このキーボードを用いた文書入力は、日本語入力ソフトウェアの機能向上や入力者の慣れによって、ある程度の速度向上が図れるものの、音声による入力速度や映像入力による表現力比較すれば、入力速度、表現力、総情報量に関して雲泥の差があることが知られている。

一方、近年のＶｏＩＰ技術の発展にあいまって、ＰＣにカメラ／マイクなどを標準で装備するケースが増えてきており、前述の音声入力や映像入力が容易な環境も整いつつある。

この文書入力に加えて音声や画像をも入力する技術が記載された文献としては、例えば下記特許公報が挙げられ、例えば特許文献１には、音声入力手段及び音声認識手段を備え、音声命令によって定型文書のテンプレートの読み出しや宛先の自動選択を行うことが記載され、特許文献２には、音声処理を行うアプリケーションプログラムを、音声入力／音声認識／音声合成／音声出力などの各種機能をメニューの中から選択しながら、ＰＡＤ図に埋め込み、ＧＵＩ的に作成構築を行なっていく技術が記載されている。
特開２００１−１８８６６９号公報 特開平６−１６１７０４号公報

前記特許文献に記載された技術は、特に音声入力によりメニュー選択を行う技術や音声認識による入力等の音声のみの単一入力を想定しており、一般の文書入力において、音声／映像／キーボード／マウスなどの複数のデバイスを用いた文書と音声等の異種データの同時入力を想定した技術まで開示されていない。

従来技術によるキーボードとマウス間の入力の競合に関しては、一般に同じオペレータが操作することを考慮し、キーボードとマウスとを同時に操作したとしても、それぞれを瞬間のイベントとして発生させ、イベント発生時間を基にＦａｓｔ−Ｉｎ−Ｆａｓｔ−Ｏｕｔで処理する様に構成されている。

しかしながら、前述のキーボード及びマウスを用いた入力に音声入力や映像入力が加わった場合、音声や映像の入力時間は瞬間でないため、即ちある程度長い時間をもって入力されるため、前述のイベント時間時間による単純な制御を行うとキーボードやマウスの入力との重なりが発生し、例えば音声入力中はマウス及びキーボード操作を受け付けることができず、操作上、ウィンドウの切替が発生して煩わしく、入力時間も冗長になると言う不具合があった。

本発明の目的は、前述の従来技術による不具合を除去することであり、文書入力中に音声や映像等の他イベント入力が発生しても、従来の入力作業の延長で、しかも、自然な形で入力を行うことができ、操作性向上、入力時間短縮を行うことができる端末装置及びプログラムを提供することである。

前記目的を達成するために本発明は、文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置において、前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力とし、前記音声入力開始イベント及び音声入力完了イベントの入力を受けた後、ファンクションキーイベントの有無を判定し、該ファンクションキーイベントが有る場合、音声入力された音声データを前記ファンクションキーイベントにより文書入力の区切りが示された文字データの後に音声データの連結情報を埋め込む複合文書を生成する制御手段を備えることを第１の特徴とする。

また本発明は、文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置において、前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力とし、前記音声入力開始イベント及び音声入力完了イベントとの入力を受けた後にファンクションキーイベントの入力を受け付けたとき、文字入力手段を用いたファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する制御手段を備えることを第２の特徴とする。

更に本発明は、文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置において、前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力とし、前記音声入力開始イベントの入力を受け付けてから音声入力完了イベントの入力を受けた間にファンクションキーイベントの入力を受け付けたとき、前記文字データのファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する制御手段を備えることを第３の特徴とする。

また本発明は、文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置のプログラムにおいて、前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力する第１機能と、前記音声入力開始イベント及び音声入力完了イベントの入力を受けた後、ファンクションキーイベント入力の有無を判定する第２機能と、該第２機能によりファンクションキーイベントが有ると判定したとき、音声入力された音声データを前記ファンクションキーイベントにより文書入力の区切りが示された文字データの後に音声データの連結情報を埋め込む複合文書を生成する第３機能を実現することを第４の特徴とする。

更に本発明は、文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置のプログラムにおいて、前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力する第１機能と、前記音声入力開始イベントの入力及び音声入力完了イベントの入力とを受けた後にファンクションキーイベントを受け付けたとき、文字入力手段を用いたファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する第４機能とを実現させることを第５の特徴とする。

更に本発明は、文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置のプログラムにおいて、前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力する第１機能と、前記音声入力開始イベントの入力を受け付けてから音声入力完了イベントの入力を受けた間にファンクションキーイベントの入力を受け付けたとき、前記文字データのファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する第５機能とを実現することを第６の特徴とする。

本発明によれば、音声データの発生を示す音声情報入力発生イベント及び音声データの入力の完了を示す音声入力完了イベントと、文字入力の区切りを示すファンクションキーイベントとの時間的相対位置を判定し、ファンクションキーイベントの発生に続いて音声入力完了イベントを受け付けたときには前記ファンクションキーイベントが発生した文書データに続いて音声データの連結情報を埋め込み、音声入力完了イベントとを受けた後にファンクションキーイベントを受け付けたとき、文字入力手段を用いて入力された文字データの後方に音声データの連結情報を埋め込み、前記音声入力開始イベントを受け付けてから音声入力完了イベントを受けた間にファンクションキーイベントを受け付け、文字入力手段を用いて入力された文書データが複数あるとき、該複数の文書データ間に音声データの連結情報を埋め込む複合文書を生成することによって、通常のキーボード、マウス操作の自然な流れに沿った、映像または音声の複合入力を可能とし、操作性向上、入力時間短縮を図ることができる。

以下、本発明による端末装置及びプログラムの一実施形態を図面を参照して詳細に説明する。図１は、本発明の一実施形態によるハードウェアブロック図、図２は本実施形態によるソフトウェアを説明するためのブロック図、図３は本実施形態における受信メールの一例を示す図、図４は本実施形態における返信メールの一例を示す図、図５は本実施形態における返信メールの音声リンク情報の一例を示す図、図６は本実施形態における返信メールへの音声入力操作ケース１の一例を示す図、図７は本実施形態における返信メールへの音声入力操作ケース２の一例を示す図、図８は本実施形態における返信メールへの音声入力操作ケース３の一例を示す図、図９は本実施形態におけるソフトウェアの処理部における動作の一例を説明する図、図１０は本実施形態における入力電文の一例を説明する図、図１１は本実施形態における音声入力方法のフローチャート図、図１２は本実施形態における入力した音声ＫＢ入力ジャーナルの一例を示す図、図１３は本実施形態における状態と入力のイベントによる処理を示す状態遷移図、図１４は本実施形態における状態遷移図による処理内容を示す図である。

本実施形態による端末装置は、図１に示す如く、パーソナルコンピュータ（ＰＣ）１１と、該ＰＣ１１に接続され画面表示を行うモニタ１２と、ＰＣ１１に接続されるキーボード１３／マウス１４／マイク１５／スピーカー１６とから構成され、前記ＰＣ１１は、ＰＣ１１全体を制御するＣＰＵ１０１と、一時記憶手段であるメモリ１０２と、モニタ１２を制御する表示制御手段１０３と、プログラム及びデータを記憶するＨＤＤ１０４と、前記キーボード１３及びマウス１４を制御する入力制御手段１０５と、マイク１５及びスピーカー１６を制御する音声制御手段１０６とを備える。尚、本発明による端末装置は、前記構成に限られるものではなく、外部とのデータ通信機能を備えるＰＣやＰＤＡや携帯電話であっても良い。

前記ＨＤＤ１０４に記憶される本実施形態によるソフトウェア２は、図２に示す如く、文書／音声入力の全体制御を行うアプリケーション部２０１と、該ソフトウェア２の入力処理を制御するイベント制御部２０２と、前記ソフトウェア２の日本語処理を行う日本語入力処理２０３と、ソフトウェア２の音声処理を行う音声入力処理２０４と、ソフトウェア２の基礎ソフトであるオペレーションシステム（ＯＳ）２０５と、ソフトウェア２のキーボードの制御を行うＫＢ制御部２０６と、ソフトウェア２のマウス制御を行うマウス制御部２０７と、ソフトウェア２のマイク制御を行うマイク制御部２０８と、ソフトウェア２のＯＳ２０５より音声出力を制御するスピーカー制御部２０９と、ソフトウェア２のアプリケーション部２０１からＯＳ２０５を介して画面表示を制御する表示制御部２１０とから成る。

前記日本語入力処理部２０３は、通常モードと日本語入力モードを備え、通常モードは、キーボードより入力されたキーコードを英数字に変換し、イベント制御部２０２へ伝え、ＥＮＴＥＲキーなどのファンクションキーも一般にイベント制御部２０２へ伝える機能を備え、日本語入力モードは、入力されたキーコードを日本語へ変換し、変換完了を一般にＥＮＴＥＲキー入力で変換成立とみなし、変換の都度、変換成立した文字データを繰り返し、イベント制御部２０２へ伝え、前記変換完了のＥＮＴＥＲキーその他のファンクションキーは、イベント制御部２０２へは伝えず、単独で入力されたＥＮＴＥＲキーその他のファンクションキーは、イベント制御部２０２へ伝える機能を備える。

本実施形態の対象となる受信メール３は、例えば図３に示す如く、宛先／文書内容／発信者の文章が入力されるものであり、図３の例では文書のみのメール例を示しているが、表計算用のデータなどの文書等であってもよい。

本実施形態による受信メールに対する返信メール４は、図４に示す如く、返信メール４のオリジナルの受信部分である受信部分４０２と、この受信部分に対する返送内容である返信追加部分４０１とから成り、本例においては受信部分４０２に音声による回答コメントを挿入したことを示す音声コメントマーク４０３及び４０４を挿入したことを示しており、返信メールの参照側が前記音声コメント４０３及び４０４のマークをダブルクリックすることにより音声を再生することができる。

この図４に示した返信メール４のコンテンツのソース形式は、図５に示す如く、音声コメント４０３及び４０４の部分にＨＴＭＬと同様にソース文であるリンク情報５０１及び５０２が連結情報として埋めこまれ、例えば、リンク情報５０１の“ＬＩＮＫ＝００１．ｍｐ３”が連結されている音声データのファイル名を示し、“ＬＯＧＯ＝ｓｐｅａｋｅｒ.ｉｍｇ”により、スピーカマークのロゴマークを表示することを示し、音声データが連結されていることを表示している。
＜音声／文字入力例１＞

図６は、音声入力とキーボード入力操作との組合せシーケンスのケース例１と、その結果作成された文書の表示例を示す。
このケース例１は、典型的なキーボード入力と音声入力とがシリアルに行われるケースを示し、キーボード１３から入力された文字データＡ（符号６０１）と、キーボード１３から入力されたファンクションキー、本例では、ＥＮＴＥＲキー６０２と、マイク１５から入力されている音声データＡ（符号６０３）と、文字データＨ（符号６０４）とが順次時間的重複がない状態で入力された例である。

本例における文書の表示例は、図６下段に示している。文字データＡ（符号６１１）の入力に続いてＥＮＴＥＲキー６０２が押されることにより文字データＡ（符号６１１）が埋めこまれると共にカーソル位置が改行して移動し、この移動した位置に次に入力された音声データＡ（符号６１３）が音声データＡ（符号６１３）として埋めこまれ、この音声データＡ（符号６１３）に続いて文字データＨ（符号６１４）が埋め込まれることを表している。
＜音声／文字入力例２＞

前記ケース１の例では、文字データと音声データとがシリアルに行われるケースを示したが、キーボード入力と音声入力とが並行に行われても良く、このシーケンス例２を図７を参照して説明する。
図７に示す例は、たまたま、文字データＣ（符号７０２）の入力と音声データＢ（符号７０５）の入力とが重なった例を示しており、キーボード１３から入力された文字データＢ（符号７０１）の入力に続いて文字データＣ（符号７０２）と音声データＢ（符号７０５）とが並行して入力され、これに続いて文字データＤ（符号７０３）が入力され、最後にＥＮＴＥＲキー７０４が押された例を示している。

本例の入力シーケンスの結果、作成される文書例は、図７下段に示す如く、文字データＢ（符号７１１）と文字データＣ（符号７１２）文字データＤ（符号７１３）が同一行に一列に表示され、該文字データの表示行から改行した下位置に音声データＢ（符号７１５）が表示される形式となることを表している。
＜音声／文字入力例３＞

図８は、音声入力操作ケース３の組合せシーケンスと作成文書の一例であり、このケース３は、キーボード入力と音声入力が並行に行われる他の例である。

図８に示す例は、図７と同様に、たまたま、文字データＦ（符号８０２）、ＥＮＴＥＲキー（符号８０３）の入力および、その以後に、音声データＣ（符号８０４）の入力とが重なった例を示しており、キーボード１３から入力された文字データＥ（符号８０１）の入力に続いて文字データＦ（符号８０２）と音声データＣ（符号８０４）との入力が同時に並行して開始され、該文字データＦ（符号８０２）が音声データＣ（符号８０４）に比べて時間的に短く終了し、この終了をＥＮＴＥＲキー８０３により確定し、前記音声データＣ（符号８０４）の終了後に再び文字データＧ（符号８０５）が入力される例を示している。

本例の入力シーケンスの結果、作成される文書例は、図８下段に示す如く、文字データＥ（符号８１１）と文字データＦ（符号８１２）とが連続して一行に表示され、該文字列行から改行した次行に音声データＣ（符号８１４）が表示され、該音声データＣ（符号８１４）に続いて文字データＧ（符号８１５）が表示される形式となることを表している。
＜処理手順＞

次に本実施形態による端末装置及びプログラムの処理手順を図９以降を参照して説明する。この処理手順は、前述のソフトウェア２の日本語入力処理部２０３／音声入力処理部２０４／イベント制御部２０２／アプリケーション部２０１が後述する処理を実行するものであり、まず、ＰＣ１１のキーボード１３からの入力又はマウス１４からの入力があった場合、日本語入力処理部２０３が、ＫＢ入力処理（ステップＳ９０１）を実行することにより文字入力電文１０３０とファンクションキー電文１０４０とをイベント制御部２０２の音声ＫＢ入力処理（ステップＳ９０３）に送信する。

一方、本処理は、マイク１５からの入力があった場合、音声入力処理部２０４が、音声入力処理（ステップＳ９０２）を実行することにより、音声入力開始１０１０の電文をイベント制御部２０２の音声ＫＢ入力処理（Ｓ９０３）に送信すると共に、音声をＨＤＤ１０４の音声ファイル１０６０に記録し、音声入力が終了したことを検知したときに音声入力完了１０２０の電文に、上記記録された音声データをセットし、同様に音声ＫＢ入力処理（ステップＳ９０３）に送信する。尚、前記音声入力開始イベント１０１０はマイクからの音声を自動認識することにより発生し、音声入力完了１０２０イベントはマイクからの無音状態が一定期間続くことで発生させる。また、前記音声データをセットする代わりに、音声ファイル名をセットし、音声ＫＢ入力処理（ステップＳ９０３）に送信する様にしても良い。

前記音声入力開始１０１０の電文を受けた音声ＫＢ入力処理（ステップＳ９０３）では、ＨＤＤ１０４の音声ＫＢ入力ジャーナル１０７０に文字／音声データ／ファンクションキー等の入力トレースを記録し、入力された文字データと入力された音声データからなる複合文書１０５０をアプリケーション部２０１の文書処理（ステップＳ９０４）に送信する。これを受けた文書処理（ステップＳ９０４）は、複合文書１０５０を電子メールとして送信したり、ファイルへ保存する様に動作する。
＜電文の説明＞

次に前述した各種電文を図１０を参照して説明する。図１０中の符号（１）で示す音声入力開始電文１０１０は、音声入力処理部２０４で作成され、音声入力開始イベント１０１１がセットされた例であり、符号（２）で示す音声入力完了電文１０２０は、音声入力完了のイベント１０２１と音声データのコンテンツ２０２２がセットされている例であり、符号（３）で示す文字入力電文１０３０は、日本語入力処理部２０３で作成され、文字入力イベント１０３１及び文字データ“あいう”のコンテンツ１０３２がセットされている例であり、符号（４）で示すファンクションキー電文１０４０は、ファンクションキー入力によるイベント１０４１及びファンクションキーの種類（本例では、“ＥＮＴＥＲ”キー）を示すコンテンツ１０４２がセットされている例であり、符号（５）で示す複合電文１０５０は、イベント制御部２０２で作成され、文字入力されたテキストデータであるテキスト部１０５１と、複数の音声ファイル名（「００１．ｍｐ３」１０５３、「００２．ｍｐ３」１０５４）を含む音声部１０５２とがセットされた例である。
＜音声入力処理＞

次に本実施形態による端末装置及びプログラムによる音声入力処理を図１１を参照して説明する。この音声入力処理は、図１１に示す如く、マイク１５が音声を検出（ステップＳ１１０１）すると、音声入力処理部２０４が音声入力開始電文１０１０を作成し、イベント制御部２０２に送信（ステップＳ１１０２）し、これを受けた音声入力処理部２０４がＨＤＤ１０４の音声ファイル１０６０に音声を記録（ステップＳ１１０３）し、マイク１５が一定時間無音か否かを判定（ステップＳ１１０４）し、一定時間無音の場合、音声入力処理部２０４が音声入力が終了したとみなして音声入力完了電文１０２０を作成し、記録した音声データをセットし、イベント制御部２０２に送信（ステップＳ１１０５）する様に動作する。この様に本実施形態による音声入力処理は、マイクに音が入力されることにより録音を開始し、一定時間以上の無音を判定した際には音声データを含む音声入力完了電文１０２０をイベント制御部２０２へ報告する様に動作する。
＜音声ＫＢ入力ジャーナル＞

本実施形態による音声ＫＢ入力ジャーナル１０７０は、図１２に示す如く、イベント発生記録日時欄１０７１と、イベントの種類（文字入力／ファンクションキー入力／音声入力開始／音声入力完了などのイベント種）を格納するイベント欄１０７２と、発生したイベントの補助データであるコンテンツデータを格納するコンテンツ欄１０７３と、本ジャーナルデータを順次参照しながら、文書作成する際、参照完了した場合処理済フラグとして“○”がセットされる処理済みフラグ欄１０７４との各欄から成り、各レコードが発生順に記録されている。
＜状態遂移＞

次いで本実施形態による端末装置及びプログラムによるイベントとステータスとの関係を図１３及び図１４を参照して説明する。まず、本端末装置の処理は、図１４の処理表１４００に示す如く、処理Ｐ０は、［１］音声ＫＢ入力ジャーナル１０７０へ文字入力イベント／コンテンツを追加書き込みを行う処理であり、処理Ｐ１は、［１］音声ＫＢ入力ジャーナル１０７０へファンクションキー入力イベント／コンテンツの追加書き込みを行い、且つ［２］本ジャーナルを過去に遡って、処理済フラグ１０７４がスペース（未処理）のレコードを調べ、入力された文字データの合成、音声入力レコードが含まれていれば、音声入力開始から音声入力完了までの音声データを合成し、複合文書形式にし、アプリケーション部２０１の文書処理Ｓ９０４へ送信し、［３］処理対象となったレコードの処理済フラグ１０７４を○（処理済）にセットする処理である。尚、複合文書形式への文字、音声の埋め込む位置は、入力文字、ファンクションキーの種類に応じて、文字入力位置のカーソル制御を行うことにより、埋め込む位置が決められる。

また処理Ｐ２は、［１］音声ＫＢ入力ジャーナル１０７０へ、音声入力開始入力イベントの追加書き込みを行うことを示し、処理Ｐ３は、［１］音声ＫＢ入力ジャーナル１０７０へ音声入力完了イベント／コンテンツの追加書き込みを行い、且つ［２］直前のレコード（最近にキーボードから入力されたレコード）がファンクションキー入力のレコードかどうか検査し、［３］もし、ファンクションキー入力レコードであれば、本ジャーナルを過去に遡って、処理済フラグ１０７４がスペース（未処理）のレコードを調べ、音声入力開始から今回の音声入力完了までの音声データを合成し、複合文書形式にして、アプリケーション部２０１の文書処理Ｓ９０４へ送信し、その後、処理対象となったレコードの処理済フラグ１０７４を○（処理済）にセットする処理である。この処理Ｐ３において、［４］ファンクションキー入力レコードが直前にある場合は、リターンコードをＹＥＳにして、それ以外は、ＮＯにして、本処理をリターンする。

更に処理Ｐ４は、［１］本ジャーナルを直前に遡って処理済フラグ１０７４がスペース（未処理）のレコードを調べ、音声入力開始から今回の音声入力完了までの音声データを合成し、複合文書形式にして、アプリケーション部２０１の文書処理Ｓ９０４へ送信する処理である。

ここで図１３は、イベント制御部２０２における音声ＫＢ入力処理（Ｓ９０３）の処理内容を状態遷移図１３００として表したものであり、ステータス１３０１である状態は、Ｓ０（初期状態）、Ｓ１（音声入力中）、Ｓ２（音声入力完了かつ直前にファンクションキー入力待ち）から成り、イベント１３０２は、Ｅ０（文字入力）、Ｅ１（ファンクションキー入力）、Ｅ２（音声入力開始）、Ｅ３（音声入力完了）から成り、符号１３０３は、該当する状態で該当イベントが発生した場合の処理（Ｐ０、Ｐ１、Ｐ２、Ｐ３，Ｐ４）と、処理結果の分岐先を示している。

本実施形態による状態遂移は、図１３に示す如く、初期状態Ｓ０且つ文字入力イベントＥ０の場合は、「ジャーナルへ“文字入力”のレコードを追加」する処理Ｐ０から初期状態Ｓ０に戻り、初期状態Ｓ０且つファンクションキー入力イベントＥ１の場合は、「ジャーナルの過去の未処理の文字データ、音声入力完了があれば音声データを合成した複合文書形式に４７変換し、アプリケーション部へ送信」する処理Ｐ１から初期状態Ｓ０に戻り、初期状態Ｓ０で音声入力開始イベントＥ２が発生した場合は、「ジャーナルに“音声入力開始”のレコードを追加」する処理Ｐ２から音声入力中状態Ｓ１に移り、初期状態Ｓ０且つ音声入力完了のイベントＥ３が発生し、直前のレコードが“ファンクションキー入力”の場合、初期状態Ｓ０に移行し、直前のレコードが“ファンクションキー入力”でない場合、音声入力完了且つファンクションキー入力待ち状態を状態Ｓ２に移行する。

更に本例においては、ステータスが音声入力中状態Ｓ１において、ａ：文字入力イベントＥ０が発生した場合、「ジャーナルへ“文字入力”のレコードを追加」する処理Ｐ０からステータスＳ１に戻り、ｂ：ファンクションキー入力イベントＥ１が発生した場合、ステータスＳ１に戻り、ｃ：音声入力完了イベントＥ３が発生し、直前のレコードが“ファンクションキー入力”の場合、初期状態Ｓ０に移行し、直前のレコードが“ファンクションキー入力”でない場合、音声入力完了且つファンクションキー入力待ち状態を状態Ｓ２に移行することを示す。

更に本例は、ステータスが音声入力完了且つファンクションキー入力待ちの状態Ｓ２において、ａ：文字入力イベントＥ０が発生した場合、「ジャーナルへ“文字入力”のレコードを追加」する処理Ｐ０からステータスＳ０に戻り、ｂ：ファンクションキー入力イベントＥ１が発生した場合、ステータスＳ０に戻り、ｃ：音声入力完了イベントＥ３が発生した場合、ステータスＳ１に移行することを示す。

即ち本実施形態による端末装置及びプログラムは、（Ａ）ステータスＳ０〜Ｓ３（初期状態、音声入力中、音声入力完了且つファンクションキー入力待ち）において、ファンクションキー入力イベントＥ１が発生した場合、「ジャーナルの過去の未処理の文字データ、音声入力完了があれば音声データを合成紙複合文書形式に４７変換」を含む処理Ｐ１を実行し、（Ｂ）ステータスＳ２において音声入力開始イベントＥ２が発生したとき、「直前の“音声入力開始”〜“音声入力完了”までの音声データを複合文書形式に変換」を含む処理Ｐ４を実行し、（Ｃ）ステータスＳ０又はＳ１において、音声入力完了イベントＥ３が発生したとき、「直前のレコードが“ファンクションキー入力”のレコードのとき、“音声入力開始”〜“音声入力完了”までの音声データを、複合文書形式に変換」を含む処理Ｐ３を実行することによって、キーボート等を用いた文章の入力中にマイクから入力した音声データを容易に付加することができる。

この図１３を用いて前述の図６に示した入力ケース１を説明すると、状態Ｓ０において、イベントＥ０（文字データＡ）→状態Ｓ０→イベントＥ１（ＥＮＴＥＲキー）→状態Ｓ０→イベントＥ２（音声データＡ開始）→状態Ｓ１→イベントＥ３（音声データＡ完了）→状態Ｓ０という遷移を行っていくことが判り、図７の入力ケース２においては、状態Ｓ０において、イベントＥ０（文字データＢ）→状態Ｓ０→イベントＥ２（音声データＢ開始）→状態Ｓ１→イベントＥ０（文字データＣ）→状態Ｓ１→イベントＥ３（音声データＢ完了）→状態Ｓ２→イベントＥ０（文字データＤ）→状態Ｓ０→イベントＥ１（ＥＮＴＥＲキー）→状態Ｓ０という遷移を行っていくことが判り、図８の入力ケース３においては、状態Ｓ０において、イベントＥ０（文字データＥ）→状態Ｓ０→イベントＥ２（音声データＣ開始）→状態Ｓ１→イベントＥ０（文字データＦ）→状態Ｓ１→イベントＥ１（ＥＮＴＥＲキー）→状態Ｓ１→イベントＥ３（音声データＣ完了）→状態Ｓ０→イベントＥ０（文字データＧ）→状態Ｓ０という遷移を行っていくことが判る。

尚、本明細書においては、ファンクションキーの典型例として文書入力においてポピュラーなＥＮＴＥＲキーを例として説明したが、本発明はこれに限られるものではなく、他のファンクションキーであっても良く、マウスによる選択により同様のファンクションキー入力相当の効果を生み出すことでも良い。また前記実施形態においては、ＥＮＴＥＲキーをきっかけに、音声データを埋め込む方式としたが、例えば、図８の入力ケース３の場合などにおいて、音声データを埋め込むタイミングとして、ＥＮＴＥＲキー入力直後の最初の任意のキー入力で埋め込む方法を取っても良い。また音声入力開始１０１０イベントは、マイクからの音声を自動認識することにより発生し、音声入力完了１０２０イベントは、マイクからの無音状態を検出することにより発生させる例を説明したが、本発明はこれに限られるものではなく、マイクのオン／オフスイッチによりそれぞれ、発生させる様に構成しても良い。更に、音声／マイクを映像／カメラに置換えることにより、キーボード／マウスと、ビデオ映像の入力にも同様に適用することができる。ビデオ入力の開始／完了に関しても、音声と同様に、特定の像の自動検出又はカメラのスイッチのオンオフで発生する様にしても良い。この時、音声データを映像データに置換え、音声制御手段、音声入力処理部の代わりに、映像制御手段、映像入力処理部とすることで適用可能である。
尚、挿入された音声データ／ビデオ映像データは、リプレイ／削除／差替えは通常の文書ファイルと同様に行えることは言うまでもなく、更に対象となる文書としては、メールだけでなく、ワープロ／表計算などにも同様に適用することができる。

更に本発明は、ＩＰ電話機能を装備しているＰＣにおいて、ＩＰ電話用のカメラ／マイクを、上記入力用に兼用することでも良く、更に話相手のスピーカーからの音声データも同様に音声入力情報として取り扱っても良い。更に電話会議システムにおいて、キーボードによる議事録作成と同時に、それに対応して、音声情報を埋め込む様に構成しても良い。

本発明の一実施形態によるハードウェアブロック図。 本実施形態によるソフトウェアを説明するためのブロック図。 本実施形態における受信メールの一例を示す図。 本実施形態における返信メールの一例を示す図。 本実施形態における返信メールの音声リンク情報の一例を示す図。 本実施形態における返信メールへの音声入力操作ケース１を示す図。 本実施形態における返信メールへの音声入力操作ケース２を示す図。 本実施形態における返信メールへの音声入力操作ケース３を示す図。 本実施形態におけるソフトウェアの処理部における動作を示す図。 本実施形態における入力電文の一例を説明する図。 本実施形態における音声入力方法のフローチャート図。 本実施形態における入力した音声ＫＢ入力ジャーナルを示す図。 本実施形態における状態と入力のイベント処理を示す状態遷移図。 本実施形態における状態遷移図による処理内容を示す図。

符号の説明

１１：ＰＣ、１２：モニタ、１３：キーボード、１４：マウス、１５：マイク、１６：スピーカー、１０１：ＣＰＵ、１０２：メモリ、１０３：表示制御手段、１０４：ＨＤＤ、１０５：入力制御手段、１０６：音声制御手段、２：ソフトウェア、２０１：アプリケーション部、２０２：イベント制御部、２０３：日本語入力処理、２０４：音声入力処理、２０５：ＯＳ、２０６：ＫＢ制御部、２０７：マウス制御部、２０８：マイク制御部、２０９：スピーカー制御部、２１０：表示制御部、３：受信メール、４：返信メール、４０１：返信追加部分、４０２：受信部分、４０３及び４０４：音声コメント、５：文書例、５０１及び５０２：リンク情報、６０１及び６１１：文字データＡ、６０２及び６０４：ＥＮＴＥＲキー、６０３及び６１３：音声データＡ、７０１及び７１１：文字データＢ、７０２及び７１２：文字データＣ、７０３及び７１３：文字データＤ、７０４：ＥＮＴＥＲキー、７０５及び７１５：音声データＢ、８０１及び８１１：文字データＥ、８０２及び８１２：文字データＦ、８０３：ＥＮＴＥＲキー、８０４及び８１４：音声データＣ、８０５及び８１５：文字データＧ、１０１０：音声入力開始電文、１０１１：音声入力開始イベント、１０２０：音声入力完了電文、１０２１：音声入力完了イベント、１０２２：音声データコンテンツ、１０３０：文字入力電文、１０３１：文字入力イベント、１０３２：文字コンテンツ、１０４０：ファンクションキー電文、１０４１：ファンクションキー入力イベント、１０４２：ＥＮＴＥＲコンテンツ、１０５０：複合電文、１０５１：テキスト部、１０５２：音声部、１０５３：音声例（００１．ｍｐ３）、１０５４：音声例（００２．ｍｐ３）、１０７０：音声ＫＢ入力ジャーナル、１０７１：日時、１０７２：イベント、１０７３：コンテンツ、１０７４：処理済フラグ、１０７５：入力ケース１、１０７６：入力ケース２、１０７７：入力ケース３、１３００：状態遷移、１３０１：ステータス、１３０２：イベント、１３０３：処理、１４００：処理表、１４０１：処理名、１４０２：処理内容。

Claims (6)

1. 文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置であって、
   前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力とし、
   前記音声入力開始イベント及び音声入力完了イベントの入力を受けた後、ファンクションキーイベントの有無を判定し、該ファンクションキーイベントが有る場合、音声入力された音声データを前記ファンクションキーイベントにより文書入力の区切りが示された文字データの後に音声データの連結情報を埋め込む複合文書を生成する制御手段を備えることを特徴とする端末装置。
2. 文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置であって、
   前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力とし、
   前記音声入力開始イベント及び音声入力完了イベントとの入力を受けた後にファンクションキーイベントの入力を受け付けたとき、文字入力手段を用いたファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する制御手段を備えることを特徴とする端末装置。
3. 文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置であって、
   前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力とし、
   前記音声入力開始イベントの入力を受け付けてから音声入力完了イベントの入力を受けた間にファンクションキーイベントの入力を受け付けたとき、前記文字データのファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する制御手段を備えることを特徴とする端末装置。
4. 文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置のプログラムであって、
   前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力する第１機能と、前記音声入力開始イベント及び音声入力完了イベントを受けた後、ファンクションキーイベント入力の有無を判定する第２機能と、該第２機能によりファンクションキーイベントの入力が有ると判定したとき、音声入力された音声データを前記ファンクションキーイベントにより文書入力の区切りが示された文字データの後に音声データの連結情報を埋め込む複合文書を生成する第３機能を実現することを特徴とする端末装置のプログラム。
5. 文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置のプログラムであって、
   前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力する第１機能と、前記音声入力開始イベントの入力及び音声入力完了イベントの入力とを受けた後にファンクションキーイベントの入力を受け付けたとき、文字入力手段を用いたファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する第４機能とを実現させることを特徴とする端末装置のプログラム。
6. 文字を入力するための文字入力手段と、音声を入力するための音声制御手段と、前記文字入力手段から入力された文字データと音声制御手段から入力された音声データとが混在した複合文書を生成する制御手段とを備える端末装置のプログラムであって、
   前記文字入力手段を用いて文字データが入力されたことを示す文字情報入力発生イベントと、前記音声データが入力されたことを示す音声入力開始イベントと、音声データの入力の完了を示す音声入力完了イベントと、文書入力の区切りを示すファンクションキーイベントとを入力する第１機能と、前記音声入力開始イベントの入力を受け付けてから音声入力完了イベントの入力を受けた間にファンクションキーイベントを受け付けたとき、前記文字データのファンクションキーイベントにより文書入力の区切りが入力された文字データの後方に音声データの連結情報を埋め込む複合文書を生成する第５機能とを実現することを特徴とする端末装置のプログラム。

Images