JP4440148B2 - 音声メッセージを文字メッセージに変換する移動端末機及び方法 - Google Patents

Description

本発明は、移動端末機に関し、特に、限定されたメモリーで音声メッセージを文字メッセージに変換して保存する移動端末機及び方法に関する。

現在、一番多く使う移動端末機の応用サービスの中で一つがＳＭＳ(Short Message Service:短文メッセージサービス)である。しかし、移動通信技術の発達により単純に文字だけではなく音声及び絵などが含まれているメッセージも交換することができるようになった。データを伝送する際に、一回に伝送するＡｌｌ−ＩＰ(Internet Protocol)網の端末機使用者は、固有ＩＰを有していつもインターネットに接続されているので、各種メッセージを一対一に交換することができる。この場合、端末機はサーバーに接続しなくても直ちにメッセージを確認することができる。その典型的な例として、ＰＴＴ(Push-To-Talk)がある。ＰＴＴとは、使用者がインターネットに連結された相手の端末機にダイヤリングなしに直ちに音声メッセージや絵及びファイルを伝送することができるサービスである。

このようにＡｌｌ−ＩＰ網では、中央サーバーに依存しなくても文字だけではなく音声及び絵が添付されたマルチメディアメッセージを相手と交換することができる特徴がある。したがって、メッセージのサイズが既存文字メッセージに比べて数百〜数千倍大きくてもよい。

通常の移動端末機は、ハードウェア的制約により多数のマルチメディアメッセージを収容するメモリーを確保していない。したがって、移動端末機使用者は、自分が受信したメッセージの量がメッセージ領域メモリーの容量に近接したか否かを常に検査し、これを整理しなければならない。

既存の音声メッセージサービスの場合、発信者が声を録音してサーバーにアップロードすれば、サーバーがＳＭＳを通じて受信者にマルチメディアメッセージが来たことを知らせ、受信者の移動端末機はサーバーに接続して音声メッセージを受信する。

音声メッセージの特性上、メッセージ当たりデータのサイズは、文字メッセージに比べてずっと大きい。例えば、“こんにちは”という文章を録音する場合、文章を読む速度や多様な環境要素によりデータサイズが違うが、一般的に数十キロバイトの容量を占める。しかし、これをテキストに変換すれば、ハングルの場合は、一字当たり２バイトを占めるので、前記“こんにちは”という文章は、１２バイトだけを占める。結局、同一な情報を有しているが表現方式によって数千倍の差を示す。

移動端末機が音声メッセージを受信する場合、使用者が音声メッセージを直接確認して削除する前まで音声メッセージは移動端末機の音声メッセージ領域メモリーに引き続き残っているようになる。移動端末機の特性上、制約されたメモリーのサイズのために使用者が音声メッセージを確認しないか確認しても削除しない音声メッセージが引き続き格納される場合、新たに受信した音声メッセージを保存するメモリーが不足になる。

従来のＳＭＳの場合、移動端末機は総保存メッセージのサイズが一定比率以上になれば、使用者に削除する必要がることを知らせることにより使用者は削除するメッセージを直接選択削除した。

特許文献１の“Ｐａｒｔｉａｌ ｖｏｉｃｅ ｍｅｓｓａｇｅ ｄｅｌｅｔｉｏｎ”には、自動応答器においてメモリーの使用量が一定比率以上になれば、保存されたメッセージを自動削除してメモリーのサイズを一定に維持することにより、新しいメッセージを受信することができるようにする方法が開示されている。しかし、前記方法を利用する場合、使用者がまた確認する必要があるメッセージを削除することもでき、初めから使用者が確認しなかったメッセージを削除することもできる。自動削除を使用しなくても自動応答器はメッセージを削除する際に、使用者にいちいち確認を受けてこそメッセージを削除することができる。

音声−文字変換技術としては、発信者が声をサーバーにアップロードすれば、サーバーがこれを文字メッセージに変換して受信者の移動端末機に伝送する技術が提案された。

特許文献２(２００３.０７.０４)の“音声データと文字データの相互変換機能を有する端末機及びその端末機における音声データと文字データの相互変換方法”には、音声データと文字データの相互変換に関する方法が開示されている。しかし、前記発明は、端末機が受信した音声或いは文字メッセージを受信者が希望する形態、即ち、音声メッセージを受信する場合には文字に変換して出力するようにし、文字メッセージを受信した場合には音声に出力するようにして、障害者もメッセージを受信することができるようにすることを目的とする。
米国特許第６５２６１２８号明細書 大韓民国特許出願第１０−２００３−００４５４４０号公報

本発明は、上述したような従来技術の問題点を解決するためになされたもので、その目的は、限定されたメモリーにおいて、音声メッセージを文字メッセージに変換して変換された文字メッセージを保存できる移動端末機及び方法を提供することにある。

上記目的を達成するための本発明による音声メッセージを文字メッセージに変換する移動端末機は、音声及び文字メッセージが保存されるメッセージ領域を含み、音声メッセージを文字メッセージに変換する際に必要な条件情報が保存されるメモリーと、音声メッセージから音声信号を抽出する音声データ検出部と、前記音声信号を文字メッセージに変換する音声文字変換部と、前記条件情報に基づいて音声−文字メッセージ変換が必要な音声メッセージをチェックして前記チェックされた音声メッセージを前記音声データ検出部及び音声文字変換部を通じて文字メッセージに変換して前記メモリーの文字メッセージ領域に保存する制御部と、を含むことを特徴とする。

また、本発明による移動端末機のメッセージ管理方法は、音声−文字メッセージ変換が必要な音声メッセージを判断する過程と、前記音声−文字メッセージ変換が必要な音声メッセージを判断する過程を通じて選択された音声メッセージから音声信号を抽出する過程と、前記音声信号を文字メッセージに変換する過程と、前記変換された文字メッセージをメモリーに保存する過程からなることを特徴とする。

本発明によれば、移動端末機の使用者が不定期的に到着する音声メッセージを長期間確認しないか確認しても削除しない等の疎かな管理により音声メッセージ領域のメモリーが不足になって新しい音声メッセージの受信が不可能になる不便を根本的に解消することができる。

また、本発明によれば、移動端末機の使用者が受信した音声メッセージの量がメモリー容量に近接したか否かを自動に検査する。

また、限定されたメモリーを有する移動端末機でメモリーを節約するために、音声メッセージを文字メッセージに変換させてデータのサイズを画期的に減らしながらもメッセージが有している固有の情報を損失させないで維持することができる。

また、本発明の方法を応用することにより、画像情報が保存されるマルチメディアメッセージの場合、画像情報を完全に削除するか解像度を落とすかカラー映像を黒白映像に変えるかする方法によりデータのサイズを減らすことができる。

また、あまり重要ではない音声メッセージを文字メッセージに変換させることにより、一層余裕のあるメモリー空間を確保することができる。

以下、本発明の好適な一実施形態について添付図面を参照しつつ詳細に説明する。下記の説明において、本発明の要旨のみを明確にする目的で、関連した公知機能又は構成に関する具体的な説明は省略する。
図１は、本発明の好ましい実施の形態による音声メッセージを文字メッセージに変換する移動端末機の構成を示すブロック図である。
図１に示したように、本発明による音声メッセージを文字メッセージに変換する移動端末機は、後述する図２の文字メッセージ領域であるＭ１、音声メッセージ領域であるＭ２及び音声−文字メッセージ変換に必要な条件情報が保存される領域であるＭ３で構成されたメモリー１００と、音声メッセージから音声信号を抽出する音声データ検出部３００と、音声データ検出部３００から抽出された音声信号を文字メッセージに変換する音声文字変換部４００と、Ｍ３に保存された条件情報に基づいて音声−文字メッセージ変換が必要な音声メッセージをチェックしてチェックされた音声メッセージを音声データ検出部３００及び音声文字変換部４００を通じて文字メッセージに変換してＭ１に保存する制御部２００と、外部からメッセージを送受信する送受信部５００と、使用者に情報を表示する表示部６００と、を含む。

図２は、図１に示した移動端末機のメモリーマップを示す構成図である。
図２に示したように、メモリー１００は、外部から受信された文字メッセージや図１の音声文字変換部４００で変換された文字メッセージが保存される文字メッセージ領域であるＭ１と、外部から受信された音声メッセージが保存される音声メッセージ領域であるＭ２と、音声−文字メッセージ変換に必要な条件情報が保存される領域であるＭ３と、を含む。

条件情報は、Ｍ２に保存された音声メッセージの総サイズが一定水準を越えないように設定された限界値と、文字メッセージに変換させる音声メッセージの選択基準情報と、を含む。勿論、条件情報は、使用者により多様な条件に設定できる。

例えば、“Ｍ２に保存された音声メッセージの総サイズがＭ２保存容量の８０％を越えるかＭ２に保存されたすべての音声メッセージの中で受信してから２週間が過ぎた音声メッセージの中で保護設定されていない音声メッセージ”という条件情報がＭ３保存されいる。制御部２００は、Ｍ２に保存された音声メッセージの総サイズを条件情報に設定された音声メッセージの総サイズの限界値と比較する。Ｍ２に保存された音声メッセージの総サイズが、斜線に表示したように、Ｍ２容量の８０％を越えた場合、制御部２００は、Ｍ３の条件情報に設定された選択基準情報を満足させる音声メッセージを選択する。

ここで、選択基準情報を満足させる音声メッセージが１個以上である場合、制御部２００は、受信された時間が一番古い音声メッセージを文字メッセージに変換する第１の順位の音声メッセージと指定し、その後は、時間手順どおり音声−文字メッセージ変換順位を決める。

音声データ検出部３００は、制御部２００により選択された音声メッセージから音声信号を抽出する。まず、音声データ検出部３００は、アプリケーション或いはプロトコルによって相違に保存できる多様なメッセージ形式から音声データのみを抽出する。そして、音声データ検出部３００は、抽出された音声データに使用されたコデック(codec)を認識して実質的な音声信号を抽出する。例えば、音声データ検出部３００は、ＸＭＬ(Extensible Markup Language)＋ＭＩＭＥ(Multipurpose Internet Mail Extension)形式に保存されており、Ｇ.７２３.１ 方式にエンコードされた音声メッセージから音声信号を抽出する。前記Ｇ.７２３.１は、インターネット網(ＰＳＴＮ:Public Switched Telephone Network、ＩＳＤＮ:Intergrated Service Digital Network、ＬＡＮ:Local Area Network、ＷＡＮ:Wide Area Network)を通じた音声通信標準として、Ｇ.７２３.１コンソーシアム(ＤＳＰＧ、Ｃｉｓｃｏ、Ｆｒａｎｃｅ Ｔｅｌｅｃｏｍ、ＮＴＴ、ＡｕｄｉｏＣｏｄｅｓ、Ｕｎｉｖ Ｓｈｅｒｂｒｏｏｋｅ)により開発された。

音声文字変換部４００は、音声データ検出部３００から抽出された音声信号からその特徴を抽出する。そして、音声文字変換部４００は、その特徴を基準モデルと比較して類似度を測定して文字化させて文字メッセージを生成する。どのような方式により音声を認識するかは本発明に属しない公知技術なのでその詳細な説明は省略する。

図３は、図１に示された移動端末機において音声メッセージを文字メッセージに変換する方法を示す流れ図である。
まず、図１の制御部２００は、送受信部５００を通じて外部から音声メッセージを受信する(Ｓ１００)。
音声メッセージを受信した後、制御部２００は受信した音声メッセージを含んだＭ２の音声メッセージの総サイズとＭ３の条件情報に設定された限界値とを比較する(Ｓ２００)。

Ｍ２に保存された音声メッセージの総サイズが限界値より大きい場合、制御部２００は、使用者が移動端末機を使用中であるか否かを検査する(Ｓ３００)。
ここで、本発明の特徴は、応用分野の特性上、音声−文字メッセージ変換が必ずリアルタイムで行われる必要がないことである。

例えば、移動端末機が外部から音声メッセージを受信すれば、使用者は直ちに音声メッセージを確認するか、後に確認するか、音声メッセージ受信アラムを認知しなくて確認できないかも知れないなどのさまざまな場合がある。制御部２００は、このような場合をステップ３００で検査して使用者が移動端末機を使用中である場合、音声−文字メッセージ変換プロセスを待機させる。

使用者がメッセージを確認する状態だけではなく移動端末機をどんな用途でも使用しない場合は、制御部２００は、待機状態を終了させてステップ３００以後の段階である音声−文字メッセージ変換プロセスを実行する。即ち、音声−文字メッセージ変換プロセスは、移動端末機で実行される多様なプロセスの中で低い優先順位でＣＰＵ資源を受ける。

したがって、一般サーバー級コンピューターに比べて一層少ないＣＰＵ資源を有している移動端末機でも満足すべき性能を得ることができる。音声−文字メッセージ変換プロセスは、実時間性ではないのでより十分な時間を確保することができることにより、演算能力が落ちる移動端末機のプロセッサでも音声−文字メッセージ変換において高い認識率を達成することができる。

該検査の結果、使用者が移動端末機を使用中ではない場合、制御部２００は、音声−文字メッセージ変換の第１の順位の音声メッセージをＭ３の条件情報に設定された選択基準情報によって選択する(Ｓ４００)。

第１の順位の音声メッセージを選択した後、制御部２００は、第１の順位の音声メッセージが保護設定されているか否かを検査する(Ｓ５００)。
該検査の結果、第１の順位の音声メッセージが保護設定されている場合には、制御部２００は、前記第１の順位の音声メッセージの次の順位の音声メッセージを音声−文字メッセージ変換の第１の順位の音声メッセージに変更した後、ステップ５００段階を進行する(Ｓ６００)。

一方、該検査の結果、第１の順位の音声メッセージが保護設定されていない場合には、制御部２００は、音声データ検出部３００を通じて第１の順位の音声メッセージから音声信号を抽出する(Ｓ７００)。
音声信号を抽出した後、制御部２００は、音声文字変換部４００を通じて音声信号を文字メッセージに変換した後、変換された文字メッセージをＭ１に保存する(Ｓ８００)。
文字メッセージを保存した後、制御部２００は、表示部６００を通じて使用者に変換された文字メッセージの受信を知らせる(Ｓ９００)。

変換された文字メッセージの受信を知らせた後、制御部２００は、ステップ２００段階に帰って文字メッセージに変換された音声メッセージにより小くなった Ｍ２の音声メッセージの総サイズがＭ３に保存された条件情報に設定された限界値より小さくなるまで音声−文字メッセージ変換作業を反復実行する。
Ｍ２に保存された音声メッセージの総サイズがＭ３の条件情報に設定された限界値より小さくても使用者は任意に直接文字メッセージに変換する音声メッセージを選択して音声メッセージを文字メッセージに変換することにより、音声メッセージが有している固有の情報を損失させないでＭ２に保存された音声メッセージのサイズを調節することができる。

以上、本発明を具体的な実施形態を参照して詳細に説明したが、本発明の範囲は前述の実施形態によって限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で様々な変形が可能なことは、当該技術分野における通常の知識を持つ者には明らかである。

本発明の好ましい実施の形態による音声メッセージを文字メッセージに変換する移動端末機の構成を示すブロック図である。 図１に示した移動端末機のメモリーマップを示す構成図である。 図１に示した移動端末機において音声メッセージを文字メッセージに変換する方法を示す流れ図である。

符号の説明

１００ メモリー
２００ 制御部
３００ 音声データ検出部
４００ 音声文字変換部
５００ 送受信部
６００ 表示部

Claims (11)

1. 音声−文字メッセージの変換プロセスを実行する移動端末機であって、
   前記音声−文字メッセージの変換プロセスが発生したときに、前記音声−文字メッセージの変換の対象である音声メッセージであって受信されて保存された音声メッセージの中から特定の音声メッセージを選択することについて判断するための条件情報が保存されるメモリーであるとともに、音声メッセージを保存するための音声メッセージ領域と、文字メッセージを保存するための文字メッセージ領域とを含むメモリーと、
   前記特定の音声メッセージから音声信号を抽出する音声データ検出部と、
   前記音声信号を文字メッセージに変換する音声文字変換部と、
   前記条件情報に基づいて、前記受信されて保存された音声メッセージに対して音声−文字メッセージの変換が必要であるか否か判断するとともに、前記特定の音声メッセージを選択して、前記音声文字変換部によって変換された前記文字メッセージを前記文字メッセージ領域に保存する制御部と、
   を含み、
   前記制御部は、前記音声−文字メッセージの変換が必要であるか否かについて、前記音声メッセージの総サイズと前記条件情報の中に設定された限界値とを比較することによって判断し、
   前記制御部は、前記音声メッセージの総サイズが前記限界値よりも大きい場合、前記条件情報の中に設定された選択基準情報に基づいて、前記音声メッセージの中から音声−文字メッセージ変換について最優先順位の音声メッセージを選択し、
   前記制御部は、前記最優先順位の音声メッセージが保護設定されているか否かチェックし、
   前記制御部は、前記音声メッセージが保護設定されていない場合には、音声−文字メッセージ変換について前記最優先順位の音声メッセージを選択し、前記音声メッセージが保護設定されている場合には、新たな最優先順位を持つものとして第２優先順位の他の音声メッセージを選択する移動端末機。
2. 前記制御部で実行される前記音声−文字メッセージ変換のためのプロセスは、前記移動端末機で実行される多様なプロセスの中で低い優先順位でＣＰＵ資源を受けることを特徴とする請求項１記載の音声メッセージを文字メッセージに変換する移動端末機。
3. 前記制御部は、前記メモリーの音声メッセージ領域に保存された音声メッセージの総サイズと前記限界値とを比較することを特徴とする請求項１記載の音声メッセージを文字メッセージに変換する移動端末機。
4. 前記制御部は、前記第１の順位の音声メッセージが保護設定されているか否かを検査し、保護設定されていない場合には、前記音声データ検出部を通じて前記第１の順位の音声メッセージから音声信号を抽出し、保護設定されている場合には、前記第１の順位の音声メッセージの次の順位の音声メッセージを音声−文字メッセージ変換の第１の順位の音声メッセージに選択することを特徴とする請求項１記載の音声メッセージを文字メッセージに変換する移動端末機。
5. 前記制御部は、第１の順位の音声メッセージから抽出した音声信号を前記音声文字変換部を通じて文字メッセージに変換することを特徴とする請求項４記載の音声メッセージを文字メッセージに変換する移動端末機。
6. 前記制御部は、前記音声文字変換部を通じて変換された文字メッセージを使用者に知らせることを特徴とする請求項１記載の音声メッセージを文字メッセージに変換する移動端末機。
7. 移動端末機において音声メッセージを文字メッセージに変換する方法であって、
   前記音声メッセージの総サイズと条件情報の中に設定された限界値とを比較することによって、音声−文字メッセージ変換が必要であるか否かを判断し、前記音声メッセージの総サイズが前記限界値よりも大きい場合、前記条件情報の中に設定された選択基準情報に基づいて、前記音声メッセージの中から音声−文字メッセージ変換について最優先順位の音声メッセージを選択する過程と、
   前記最優先順位の音声メッセージが保護設定されているか否かチェックするとともに、前記音声メッセージが保護設定されていない場合には、音声−文字メッセージ変換について前記最優先順位の音声メッセージを選択し、前記音声メッセージが保護設定されている場合には、新たな最優先順位を持つものとして第２優先順位の他の音声メッセージを選択する過程と、
   前記音声−文字メッセージ変換が必要である場合には、前記音声−文字メッセージの変換の対象である音声メッセージであって受信されて保存された音声メッセージの中から特定の音声メッセージを選択する過程と、
   前記特定の音声メッセージから音声信号を抽出する過程と、
   前記音声信号を文字メッセージに変換する過程と、
   前記文字メッセージをメモリーに保存する過程と
   を含むことを特徴とする音声メッセージを文字メッセージに変換する方法。
8. 前記音声メッセージを選択する過程は、使用者により予め設定された音声−文字メッセージ変換条件情報に基づいて音声−文字メッセージ変換が必要な音声メッセージを判断する過程をさらに含むことを特徴とする請求項７記載の音声メッセージを文字メッセージに変換する方法。
9. 前記音声−文字メッセージ変換が必要な音声メッセージを判断する過程は、音声メッセージの総サイズと、前記音声−文字メッセージ変換条件情報に設定された限界値と、を比較する段階と、
   前記音声メッセージの総サイズが前記限界値より大きい場合は、前記音声−文字メッセージ変換条件情報に設定された選択基準情報を用いて音声−文字メッセージ変換の第１の順位の音声メッセージを選択する段階と、
   前記第１の順位の音声メッセージが保護設定されているか否か検査する段階と、
   前記第１の順位の音声メッセージが保護設定されていない場合には、前記第１の順位の音声メッセージを音声−文字メッセージ変換が必要な音声メッセージに選択し、前記第１の順位の音声メッセージが保護設定されている場合には、前記第１の順位の音声メッセージの次の順位の音声メッセージを音声−文字メッセージ変換の第１の順位の音声メッセージに選択する段階からなることを特徴とする請求項８記載の音声メッセージを文字メッセージに変換する方法。
10. 前記変換された文字メッセージを使用者に知らせる過程をさらに含むことを特徴とする請求項７記載の音声メッセージを文字メッセージで変換する方法。
11. 前記文字メッセージに変換された音声メッセージにより小さくなった音声メッセージの総サイズが前記限界値より小さくなるまで音声−文字メッセージの変換作業を反復することを特徴とする請求項９記載の音声メッセージを文字メッセージに変換する方法。

Images