JP4651613B2

JP4651613B2 - マルチメディアおよびテキストエディタを用いた音声起動メッセージ入力方法および装置

Info

Publication number: JP4651613B2
Application number: JP2006506254A
Authority: JP
Inventors: ノースカット、ジョン、ダブリュ．
Original assignee: ソニーエリクソンモバイルコミュニケーションズ，エービー
Priority date: 2003-03-06
Filing date: 2004-01-05
Publication date: 2011-03-16
Anticipated expiration: 2024-01-05
Also published as: US20040176114A1; EP1600018B1; EP1600018A1; WO2004080095A1; DE602004012071D1; JP2006523988A; DE602004012071T2; CN1739309A; CN100409700C

Description

（背景技術）
移動電話機の最も使用される特徴の１つはメッセージング、ショートメッセージングサービス（ＳＭＳ）テキストメッセージングまたはマルチメディア・メッセージングサービス（ＭＭＳ）メッセージングである。加入者は相手方に電話をかける代わりに、しばしば、これらのサービスを使用する。さらに、ＭＭＳはメッセージに可聴および視覚アタッチメントを含める能力を提供する。

メッセージングは相手方の電話呼出し手段を中断しないため望ましい。受話者は会議中の他人に迷惑をかけずに会議中にメッセージを別個に受信することができる。

移動電話機を介してＳＭＳまたはＭＭＳメッセージングを使用することの最大の欠点は、移動電話機のキーパッドが比較的小さいサイズであるためメッセージの入力が困難となることである。さらに、数字キーパッドはテキストを入力するのにぎこちない手段となる。テキスト入力を容易にするキーパッド付属品が移動電話機用として入手できるが、それらも極めて小型で有効に管理するのが困難である。

相手方へのＳＭＳまたはＭＭＳメッセージの作成および送信を簡単にするシステムおよび方法が必要とされている。

移動電話機メーカは電話機のメモリ内にしばしば「予め準備された(canned)」メッセージを含めることがある。これらの予め準備されたメッセージは頻繁に反復されるものである。ユーザは予め準備されたメッセージのリストをスクロールしてその１つを選んで送るだけである。スクロールして予め準備されたメッセージを選択する行為は、恐らく、同じメッセージをスクラッチから編集するよりも時間がかからない。また、ユーザは予め準備されたメッセージのリストに自分等で作成したものを付与することができる。

予め準備されたメッセージはメッセージの開始点を与える時にはうまく働くが、常にメッセージの詳細を提供することはできない。例えば、予め準備されたメッセージは「_に_で私と会おう」とすることができ、最初の空欄は時間（例えば、今日、今夜、明日）を指定することができ、第２の空欄は場所（例えば、家、工場、学校）を指定することができる。明らかに、単一の予め準備されたメッセージでは所望するメッセージの全ての順列をカバーすることはできない。また、各順列に対して予め準備されたメッセージを生成するのは実際的でない。最も効率的な解決策はユーザのその時のニーズに適するように編集することができる一般的な予め準備されたメッセージを使用することである。

しかし、予め準備されたメッセージの編集により前記したのと同じ移動電話機データ入力問題が起こる。１つの解決策はＳＭＳおよびＭＭＳメッセージの編集をアシストするスピーチ・ツー・テキスト処理を内蔵することである。

本発明の一実施例では、ＭＭＳメッセージの音声部がテキスト部の逐語的表現である、マルチメディア音声およびテキストメッセージを移動電話機上に生成するシステムおよび方法が記述される。移動電話機は音声およびテキストに応答するメッセージング機能を含んでいる。メッセージ作成者は移動電話機のメッセージング機能にアクセスしてメッセージを話し込む。話し込まれたメッセージは記録されテキストメッセージに変換される。最後に、テキスト部と話し込まれた部分とが結合されてＭＭＳメッセージとなり、移動電話機のメッセージング機能を使用して受取人へ送られる。

本発明のもう１つの実施例では、ＭＭＳメッセージの音声部とテキスト部とが異なる場合にマルチメディア音声およびテキストメッセージを移動電話機上に生成するシステムおよび方法が記述される。それにより、メッセージ作成者はテキスト部または音声部をパーソナライズすることができる。メッセージ作成者は移動電話機のメッセージング機能にアクセスしてメッセージを話し込む。話し込まれたメッセージは記録されテキストメッセージに変換される。このとき、メッセージ作成者は文脈上テキストメッセージに関連する第２の話し込まれたメッセージを記録する。ここで、テキスト部と第２の話し込まれたメッセージが結合されてＭＭＳメッセージとなり、移動電話機のメッセージング機能を使用して受取人へ送られる。

本発明のさらにもう１つの実施例では、予め準備されたメッセージおよびそれを編集するスピーチ・ツー・テキストアシスタンスを利用してＭＭＳメッセージを移動電話機上に生成するシステムおよび方法が記述される。メッセージ作成者は移動電話機のメッセージング機能にアクセスして、音声またはテキストにより、メッセージの一部を入力する。移動電話機はこの入力をデータベースと比較して入力とごく近く一致するテキストメッセージのリストを表示する。テキストメッセージは特定の情報を記入してメッセージを完成するための少なくとも１つのオープンフィールドを含んでいる。メッセージ作成者は表示されたテキストメッセージの１つを選択する。次に、このメッセージは完成できるようにテキスト編集機能内で特徴づけられる。

選択されたテキストメッセージの編集はスピーチ・ツー・テキストアシスタンスにより達成される。選択されたテキストメッセージ内の最初/次のオープンフィールドに対して音声入力が受信される。音声入力はテキスト入力に変換される。テキスト入力は一致を見つけるためにデータベースと比較される。

一致すれば、その一致は語（句）、イメージ、または両方に対応するかどうか確認される。一致が語（句）であれば、オープンフィールドに語（句）が記入される。一致がイメージであれば、オープンフィールドにイメージが記入される。一致が語（句）またはイメージの両方に対応すれば、メッセージ作成者は語（句）またはイメージを選択してオープンフィールドに選択したものを記入する。予め準備されたメッセージ内にさらにオープンフィールドがあるかどうか調べられる。さらにオープンフィールドがあれば、制御は音声入力ステップに戻りプロセスが繰り返される。そうでなければ、編集プロセスは終結する。

一致しなければ、移動電話機はデータベース内の最も近い一致を表示して、それを使用するかどうかメッセージ作成者に尋ねる。

最も近い一致を使用する場合には、オープンフィールドに最も近い一致が記入される。予め準備されたメッセージ内にさらにオープンフィールドがあるかどうか調べられる。さらにオープンフィールドがあれば、制御は音声入力ステップに戻りプロセスが繰り返される。そうでなければ、編集プロセスは終結する。

最も近い一致が使用されなければ、移動電話機は現在のテキスト入力をデータベースに加えるようメッセージ作成者に促す。現在の入力がオープンフィールドに入れられる。予め準備されたメッセージ内にさらにオープンフィールドがあるかどうか調べられる。さらにオープンフィールドがあれば、制御は音声入力ステップに戻りプロセスが繰り返される。そうでなければ、編集プロセスは終結する。

（発明を実施するための最善のモード）
図１は予め準備されたメッセージからＳＭＳまたはＭＭＳメッセージを生成して送ることを記述するフロー図である。ユーザ（メッセージ作成者）は移動電話機のメッセージング機能（１０５）にアクセスする。これは典型的に移動電話機内にプログラムされたグラフィカル・ユーザインターフェイス（ＧＵＩ）メニュー構造をナビゲートして行われる。あるいは、移動電話機は音声入力に応答してメッセージング機能をナビゲートするようにプログラムすることができる。メッセージ作成者は移動電話機のマイクロホンにメッセージ（１１０）を話し込んで移動電話機の画面が話し込まれたメッセージに最もごく近く一致する予め準備されたメッセージのリスト（１１５）を表示するようにする。

これは最初に話し込まれたメッセージをテキストへ変換しそれを予め準備されたテキストメッセージのデータベースと比較して達成される。あるいは、話し込まれたメッセージをテキスト解釈と関連付けられる話し込まれた「予め準備された」メッセージのデータベースと比較することができる。いずれにせよ、結果はメッセージ作成者の話し込まれたメッセージにごく近く一致するテキストメッセージの表示されたリストである。

次に、ユーザはリストに載せられた予め準備されたメッセージの中から選択する（１２０）。次に、このメッセージは編集できる画面上に単独で特徴づけられる（１２５）。編集が完了すると、メッセージ作成者はテキストメッセージに音声タグまたはイメージを加えるよう促される（１３０）。メッセージに音声タグもイメージも加えられなければ、メッセージはＳＭＳメッセージ（テキストのみ）として受取人へ送られる（１３５）。そうでなければ、テキストおよび音声および/またはイメージはＭＭＳメッセージとされ移動電話機のＭＭＳ機能を使用して送られる（１４０）。

ステップ１１０（電話機内にメッセージを話し込む）および１１５（予め準備されたメッセージのリストを表示する）はスピーチ・ツー・テキスト処理を必要とする。このスピーチ・ツー・テキスト処理は移動電話機内のデジタル信号プロセッサ（ＤＳＰ）により達成される。ＤＳＰはテキストベース、音ベース、またはその両方とすることができる予め準備されたメッセージのデータベースだけでなく移動電話機のマイクロホン、画面ディスプレイに接続される。ＤＳＰはその処理を音や音素ではなく語や句に限定することにより単純化することができる。これはあまりロバストなインプリメンテーションではないが、消費電力を含む処理要求条件に関して遥かに楽なシステムである。しかし、より大きなスピーチ・ツー・テキスト処理能力を提供する、より複雑なＤＳＰをインプリメントすることができる。

前記したように、ＳＭＳまたはＭＭＳメッセージを生成して送るための最も効率的な妥協策は「予め準備された」メッセージテンプレートを開始点として利用することである。これらのメッセージは空欄フィールドに特定のデータを記入して完成する必要がある。これらのフィールドはテキスト入力または音声入力を介して記入することができる。音声入力は前記したスピーチ・ツー・テキスト処理能力を使用する。

図２は音声および/または予測テキスト入力を使用して予め準備されたメッセージを編集する図１のステップ１２５のプロセスを記述するフロー図である。テキストおよび音声入力プロセスは非常に類似しているため、適切であれば特に音声またはテキストを参照して一緒に記述される。さらに、予め準備されたメッセージの編集プロセスはテキストおよび/または音声入力の混成プロセスとすることができる。

予め準備されたメッセージテンプレートは選択されると（図１ステップ１２０）、テキストエディタ内へ持ち込まれる。これは予め準備されたメッセージが移動電話機により編集できるように表示されることを意味する。テキストエディタは予め準備されたメッセージ内の第１の空欄フィールドにカーソルを動かして（２０５）音声またはテキスト入力を待つ（２１０）。音声または予測テキスト入力は一致を見つけるために入力のデータベースと比較される（２１５，２２０）。

入力が音声入力であれば、スピーチ・ツー・テキスト処理を利用して音声をテキストへ変換しテキストベース・データベースと比較する。あるいは、音声入力を音ベースデータベースと比較することができる。データベース内の各音（語または句）は音声一致が見つかればテキスト応答が返えされるように語または句のテキスト表現と関連付けられる。データベースはイメージに対するポインタも含むことができる。例えば、「鳥」という語はテキストを表すことができ、あるいは鳥のイメージを表すことができる。

データベース内で正確な一致が見つかれば、その一致は語（または句）、イメージ、またはその両方に関するものかどうか確認される（２２５）。語とイメージの両方がデータ入力に一致する場合、メッセージ作成者は現在のメッセージに対してどちらを使用するか選択するよう促される（２３０）。選択がなされると、それは予め準備されたメッセージフィールド内に置かれる（２３５）。現在のメッセージ内にさらに空欄フィールドがあるかどうか調べられる。そうであれば、制御はステップ２０５へ戻されメッセージ作成者は予め準備されたメッセージ内の次のオープンフィールドに入力を提供できるようにされる。現在のメッセージ内にこれ以上空欄フィールドがなければ、メッセージ作成者はメッセージをさらに編集したいかどうかを確認するチェックがなされる（２４５）。そうであれば、メッセージ作成者はテキストまたは音声入力を介してメッセージを編集し（２５０）、その後編集プロセスを終結する（２５５）。追加メッセージ編集を望まなければ、編集プロセスが終結される（２５５）。

ステップ２１５，２２０を実施した後で一致が見つからなければ、データベースはデータベース内の最も近い一致を捜し（２６０）、最も近い一致が許容限界内であるかどうかを調べる（２６５）。データベースは全ての許容一致を表示し（２７０）、メッセージ作成者は最も近い一致の１つを選択するよう求められる（２７５）。最も近い一致の１つが選択されると、制御はステップ（２３５）へ送られ空欄フィールドに選択されたものが記入される。メッセージ作成者が最も近い一致を拒絶すると、その入力はデータベースに加えられる（２８０）。入力が音声入力でありかつ音データベースがあれば、それは音データベースに記録されたものとして加えられ文脈連関が生成される。音声入力もテキストに変換されてテキストデータベースに加えられる。次に、新しい入力がテキストとして現在の空欄フィールド内に置かれ（２８５）、制御は前記したような処理を行うためにステップ（２４０）へ送られる。

ステップ２６５を実施した後で許容限界内に一致がなければ、メッセージ作成者は現在の入力をデータベースに加えたいかどうかさらに調べられる（２９０）。そうであれば、制御はステップ２８０へ送られそこでメッセージ作成者は新しい入力をデータベースに加えるよう促され、処理は前記したように進む。現在の入力がメッセージ作成者にとって不満足なものでありそれをデータベース内に入力したくなければ、制御はステップ２１０へ戻され新しい音声またはテキスト入力が受信される。

データベースはユーザが別々に操作して既存の入力の追加、削除、または修正を行うことができる。データベース入力に対してイメージまたは音ポインタを生成することもできる。さらに、メッセージ受取人が移動電話機の電話帳の中にあり、たまたま電話帳エントリに付されたイメージを有する場合には、受取人の音声入力時にそのイメージをポップアップすることができる。これは移動電話機がメッセージ作成者の音声入力を正しく解釈したことを検証する手段を提供する。

前記したように、スピーチ・ツー・テキスト機能は音や音素とは異なり語や句のサブセットに対する語彙を限定することにより単純化することができる。正味の効果はＭＩＰ、メモリ、およびスピーチ・ツー・テキスト処理をインプリメントするのに必要な電力要求条件を低減することである。この目標を達成するために、スピーチ・ツー・テキスト機能は予め準備されたメッセージエディタ・アプリケーションに限定することができる。これによりデジタル信号プロセッサ（ＤＳＰ）サーチテーブル（データベース）は少数の予め準備された句に低減される。これらの句の文脈内に論理的に適合する語数も低減される。同様に、関連付けられるイメージおよび音の数も低減される。この低減によりスピーチ・ツー・テキストアルゴリズムの必要な学習も相応して低減される。アルゴリズム学習は製作プロセス中（移動電話機がエンドユーザの手に渡る前）に実施することができる。学習は予め準備されたメッセージ・アプリケーションにより指示されるテーブル（データベース）エントリを認識する。これによりアプリケーションを実施するのに必要なＭＩＰ数が低減される。さらに、スピーチ・ツー・テキストアルゴリズムは予め準備されたメッセージ・アプリケーションがアクティブであるときしか活性化する必要がない。これにより、非使用時にバックグラウンドで実行する電力消費プロセスを持つことが回避される。

本発明のもう１つの実施例は「予め準備された」メッセージテンプレートを使用しないインプリメンテーションである。図３はスピーチ・ツー・テキストアシスタンスによりＳＭＳまたはＭＭＳメッセージを生成して送ることを記述するフロー図である。この実施例では、メッセージが生成され音声タグまたはイメージがテキストメッセージと結合されてＭＭＳメッセージを形成する。得られるＭＭＳメッセージは、次に、受取人に送られる。音声タグはメッセージを読むか聴くかのオプションを受取人に与えるテキストメッセージの逐語的表現である。あるいは、音声タグはテキストメッセージを伴うパーソナル化されたメッセージとすることができる。

音声タグやイメージをメッセージに加えるオプションによりメッセージング・ユーティリティは著しく向上する。例えば、標準テキストメッセージは受取人に聴いてから応答するよう告げる音声タグを伴うことができる。パーソナル化されたメッセージの例はテキスト成分および音声タグ成分を有するＭＭＳメッセージであり、音声タグは、例えば、「ジョン、これを読んで話し合いのため電話してくれ」とすることができる。あるいは、音声タグは「ジョン、この新しい歌は好きかい」と尋ねるテキスト成分を有するコンテンツ（ＭＰ３断片のような）を含むことができる。同様に、「ジョン、この絵をどう思う」のような返答を求めるテキスト成分を有するＭＭＳメッセージとすることができる。

このプロセスも移動電話機のメッセージング機能にアクセスして開始する（３０５）。キーパッドテキスト入力またはスピーチ・ツー・テキスト音声入力を使用してテキストメッセージが生成される（３１０）。音声入力が選択された方法であれば、メッセージ作成者のスピーチはテキストに変換されるだけでなく記録される。

メッセージ作成者がテキストメッセージの音素コピーを欲しいだけであれば、テキストメッセージおよび音声記録は結合されてＭＭＳメッセージとなる（３１５）。次に、ＭＭＳメッセージは受取人へ送られる（３２０）。

メッセージ作成者はテキストメッセージをパーソナル化したい場合、テキストメッセージに付随するメモを話し込み記録する（３２５）。テキストメッセージおよびパーソナル化された音声記録は結合されてＭＭＳメッセージとなり（３３０）、受取人へ送られる（３３５）。

発明の特定実施例がここに開示されている。当業者ならば本発明は他の環境において他の応用を有することが容易に判る。事実、多くの実施例およびインプリメンテーションが可能である。特許請求の範囲は決して本発明の範囲を前記した特定の実施例に限定するものではない。さらに、「−する手段(meams for)」のいかなる詳述も要素の手段プラス機能としての解釈を喚起するものであり、「−する手段(meams for)」の詳述を特に使用しない任意の要素は、たとえ特許請求の範囲に「手段」という用語が含まれていても、手段プラス機能要素として解釈すべきものではない。

予め準備されたメッセージからＳＭＳまたはＭＭＳメッセージを生成して送るプロセスを記述するフロー図である。音声および/または予測テキスト入力を使用して予め準備されたメッセージを編集するプロセスを記述するフロー図である。スピーチ・ツー・テキストアシスタンスによりＳＭＳまたはＭＭＳメッセージを生成して送るプロセスを記述するフロー図である。

Claims

移動電話機上でメッセージを生成する方法であって，移動電話機は音声およびテキスト入力に応答するメッセージング機能を含み，前記方法は，
メッセージング機能にアクセスし（１０５），
音声入力からメッセージの一部を受信し（１１０），
少なくとも１つのオープンフィールドを含み，入力にごく近く一致するテキストメッセージのリストを表示し（１１５），
表示されたテキストメッセージの内の選択された１つを受信し（１２０），
選択されたテキストメッセージを編集する（１２５），
ステップを含む方法において，
選択されたテキストメッセージを編集するステップにおいて，
（ａ）選択されたテキストメッセージを表示し（２０５），
（ｂ）選択されたテキストメッセージ内のオープンフィールドに対する音声入力を受信し（２１０），
（ｃ）音声入力をテキスト入力へ変換し，
（ｄ）変換された音声入力とテキストのデータベースとの間の一致を捜し（２１５），
一致があれば（２２０），
（ｅ）一致は語，イメージ，またはその両方に対応するかどうかを確認し（２２５），
語またはイメージだけであれば，
（ｆ）オープンフィールドに対応する語または対応するイメージを記入し（２３５），
両方であれば，
（ｇ）対応する語または対応するイメージを選択して（２３０）オープンフィールドに選択したものを記入し，
（ｈ）さらにオープンフィールドを調べ（２４０），
さらにオープンフィールドがあれば，
（ｉ）ステップ（ｂ）に戻り，そうでなければ編集プロセスを終結し（２５５），
一致がなければ，
（ｊ）データベース内の最も近い一致を見つけ（２６０），
（ｋ）最も近い一致を使用するかどうかを促し（２７５），
最も近い一致を使用するならば，
（ｌ）オープンフィールドに最も近い一致を記入し（２３５），
（ｍ）さらにオープンフィールドを調べ（２４０），さらにオープンフィールドがあれば，ステップ（ｂ）に戻り，そうでなければ編集プロセスを終結し（２５５），
最も近い一致を使用しなければ，
（ｏ）現在のテキスト入力をデータベースに加えるよう促し（２８０），
（ｐ）オープンフィールドに現在のテキスト入力を記入し（２８５），
（ｑ）さらにオープンフィールドを調べ（２４０），さらにオープンフィールドがあれば，ステップ（ｂ）に戻り，そうでなければ編集プロセスを終結する（２５５），
ステップを含む方法。
請求項１に記載の方法であって，さらに，編集されたテキストメッセージに音声タグを随意加え（１３０），編集されたテキストメッセージと音声タグを結合してＭＭＳメッセージを形成する（１３５），ステップを含む方法。
請求項１に記載の方法であって，さらに，編集されたテキストメッセージにイメージを随意加え（１３０），編集されたテキストメッセージとイメージを結合してＭＭＳメッセージを形成する（１３５），ステップを含む方法。
請求項１に記載の方法であって，さらに，見つかった最も近い一致が許容限界内のテキスト入力に対応するかどうかを調べる（２６５）ステップを含む方法。
請求項４に記載の方法であって，見つかった最も近い一致が許容限界内のテキスト入力に対応しなければ，現在のテキスト入力をデータベースに加えるよう促す（２９０）方法。
請求項１に記載の方法であって，さらに，全てのオープンフィールドに記入がなされたらメッセージをさらに編集する（２４５，２５０）ステップを含む方法。
移動電話機上でメッセージを生成するシステムであって，移動電話機は音声およびテキスト入力に応答するメッセージング機能を含み，前記システムは，
メッセージング機能にアクセスする手段（１０５），
音声入力からメッセージの一部を受信する手段（１１０），
少なくとも１つのオープンフィールドを含み，入力にごく近く一致するテキストメッセージのリストを表示する手段（１１５），
表示されたテキストメッセージの内の選択された１つを受信する手段（１２０），および，
選択されたテキストメッセージを編集する手段（１２５），
を含むシステムにおいて，
選択されたテキストメッセージを編集する手段は，
選択されたテキストメッセージを表示する手段（２０５），
選択されたテキストメッセージ内のオープンフィールドに対する音声入力を受信する手段（２１０），
音声入力をテキスト入力へ変換する手段，
変換されたボイス・ツー・テキスト入力とデータベースとの間の一致を捜す手段（２１５），
一致がデータベース内の語，イメージ，またはその両方に対応するかどうかを確認する手段（２２５），
データベースから語またはイメージを選択する手段（２３０），
オープンフィールドに語またはイメージを記入する手段（２３５），
データベース内の変換されたボイス・ツー・テキスト入力に最も近い一致を見つける手段（２６０），
最も近い一致を使用するかどうかを促す手段（２７５），
オープンフィールドに最も近い一致を記入する手段（２３５），
変換されたボイス・ツー・テキスト入力をデータベースに加える手段（２８０），
変換されたボイス・ツー・テキスト入力をオープンフィールドに記入する手段（２８５），
選択されたテキスト内でさらにオープンフィールドを調べる手段（２４０），
選択されたテキストメッセージ内のオープンフィールドに対する音声入力を受信する手段に制御を戻す手段，および，
編集プロセスを終結する手段（２５５），
を含むシステム。
請求項７に記載のシステムであって，さらに，編集されたテキストメッセージに音声タグを加える手段（１３０），および編集されたテキストメッセージと音声タグを結合してＭＭＳメッセージを形成する手段（１３５），を含むシステム。
請求項７に記載のシステムであって，さらに，編集されたテキストメッセージにイメージを加える手段（１３０），および編集されたテキストメッセージとイメージを結合してＭＭＳメッセージを形成する手段（１３５）を含むシステム。
請求項７に記載のシステムであって，さらに，見つかった最も近い一致が許容限界内のテキスト入力に対応するかどうかを調べる手段（２６５）を含むシステム。
請求項１０に記載のシステムであって，さらに，見つかった最も近い一致が許容限界内のテキスト入力に対応しなければ，現在のテキスト入力をデータベースに加えるよう促す手段（２９０）を含むシステム。
請求項７に記載のシステムであって，さらに，全てのオープンフィールドに記入がなされたらメッセージをさらに編集する手段（２４５，２５０）を含むシステム。