JP5278064B2 - 携帯端末および音声認識されたテキストデータの利用方法 - Google Patents

Description

本発明は携帯端末に係り、特に音声認識機能を備えた携帯端末および音声認識されたテキストデータを利用する方法に関する。

今日、携帯電話機などの携帯端末には、通話中や任意のタイミングにおいて集音した音声を録音することができる機能を備えたものが知られている。この機能は、通話の内容を記録しておきたい場合や、手元に筆記具がない場合などにメモ代わりとして用いられることから、いわゆる通話メモや音声メモと呼ばれて広く利用されている。

また、従来、音声信号をデジタル音声信号として受け取って音声認識し、テキストデータに変換する機能を備えた端末装置が知られている（例えば、特許文献１参照）。

特開２００３−１４３２５６号公報

ここで、通話メモや音声メモに対しても、特許文献１に開示された技術を利用してテキストデータに変換することが考えられる。通話メモの音声などをテキストデータに変換することで、より通話メモの内容の確認を明確に行うことができる点で有効である。例えば、通話メモなどに後に必要となる情報（例えば電話番号や電子メールアドレスなど）が含まれている場合には、通話メモを再生して内容を確認するよりも、テキストデータを表示させて内容を確認するほうが、より正確に確認することができる。

しかし、音声認識機能が完璧にテキストデータ化できるとは限らず、誤ったテキストデータに変換してしまう可能性もある。例えば、周囲の雑音や、発声が不明瞭であった場合などは、正確にテキストデータ化されない可能性がある。

上述した特許文献１には、音声認識機能によるテキストデータ化の精度については一切触れられておらず、上述した課題を解決するに至る記載は一切なかった。また、特許文献１の端末装置は、テキストデータ化された通話内容を単に表示するに留まるものであった。

本発明はこのような事情を考慮してなされたもので、音声認識されたテキストデータを有効に活用することができる携帯端末を提供することを目的とする。

本発明に係る携帯端末は、デジタル音声信号を取得する音声取得手段と、前記音声取得手段により取得されたデジタル音声信号を音声認識してテキストデータに変換する音声認識手段と、前記音声認識手段により変換された前記テキストデータを表示する表示手段と、前記表示手段に表示された前記テキストデータの中から、任意のテキストの選択を受け付ける選択手段と、前記選択手段により選択された前記テキストに対応した所定の処理を実行する処理制御手段とを備え、前記表示手段は、前記選択手段により選択された前記テキストに対応して実行可能な少なくとも１つの処理を表示し、前記選択手段は、前記表示手段に表示された前記少なくとも１つの処理の中から、任意の処理の選択を受け付け、前記処理制御手段は、前記選択手段により選択された処理を実行し、前記音声認識手段により変換された前記テキストデータを、電子メール送受信履歴として記憶手段に記憶させることを特徴とする。

また、本発明に係る音声認識されたテキストデータの利用方法は、デジタル音声信号を取得する音声取得ステップと、前記音声取得ステップで取得されたデジタル音声信号を音声認識してテキストデータに変換する音声認識ステップと、前記音声認識ステップで変換された前記テキストデータを表示する表示ステップと、前記表示ステップで表示された前記テキストデータの中から、任意のテキストの選択を受け付ける選択ステップと、前記選択ステップで選択された前記テキストに対応する所定の処理を実行する処理制御ステップとを備え、前記表示ステップは、前記選択ステップにより選択された前記テキストに対応して実行可能な少なくとも１つの処理を表示し、前記選択ステップは、前記表示ステップに表示された前記少なくとも１つの処理の中から、任意の処理の選択を受け付け、前記処理制御ステップは、前記選択ステップにより選択された処理を実行し、前記音声認識ステップで変換する前記テキストデータを、電子メール送受信履歴として記憶手段に記憶することを特徴とする。

本発明に係る携帯端末は、音声認識されたテキストデータを有効に活用することができる。

本発明に係る携帯端末の一例である折り畳み式の携帯電話機の外観の構成を示す図。 本発明に係る携帯端末の一例である折り畳み式の携帯電話機の他の外観の構成を示す図。 本実施形態における携帯電話機の内部の構成を示す図。 本実施形態における携帯電話機の制御部により実行される音声認識処理を説明するフローチャート。 保存確認のポップアップがメインディスプレイに表示された場合の表示例を示す図。 保存確認のポップアップがメインディスプレイに表示された場合の他の表示例を示す図。 本実施形態における携帯電話機の制御部により実行される音声再生処理を説明するフローチャート。 テキストデータがメインディスプレイに表示された場合の表示例を示す図。 本実施形態における携帯電話機の制御部により実行される通信先情報利用処理を説明するフローチャート。 通信先情報に対して実行する操作の確認を行うポップアップの表示例を示す図。

本発明に係る携帯端末およびテキストデータの利用方法の実施形態を添付図面に基づいて説明する。

図１は、本発明に係る携帯端末の一例である折り畳み式の携帯電話機１の外観の構成を示す図である。図１（Ａ）は、携帯電話機１を約１８０度に開いた開状態のときの正面から見た外観の構成を示し、図１（Ｂ）は、携帯電話機１を開状態としたときの側面から見た外観の構成を示す。

図１（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第一の筐体１２と第二の筐体１３とがヒンジ結合されている。第一の筐体１２と第二の筐体１３とは、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図３のアンテナ３１）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。

第一の筐体１２には、その表面に操作キー１４が設けられる。操作キー１４は、特に、数字キー１５、十字キー１６、センタキー１７、メールキー１８、電源キー１９、左ソフトキー２０、右ソフトキー２１などで構成される。

数字キー１５は、「０」から「９」の数字や「あ」行から「わ」行のかな文字、「Ａ」から「Ｚ」のアルファベットの入力が可能となっている。

十字キー１６は、上下左右方向に操作されることによりメインディスプレイ２３に表示されたカーソルなどを上下左右方向に移動させることができる。また、センタキー１７が押下されることにより、種々の処理の確定処理が実行される。センタキー１７には、メインディスプレイ２３の下部に設けられたセンタキー機能表示部２３ａに表示される処理も割り当てられる。

さらに、第一の筐体１２の十字キー１６およびセンタキー１７の上部には、左ソフトキー２０および右ソフトキー２１が設けられる。第一の筐体１２の側面には、携帯電話機１の操作を行うサイドキー２２が設けられる。左ソフトキー２０、右ソフトキー２１およびサイドキー２２は、第一の筐体１２の内部方向に押下されることによって、それぞれ所定の処理が割り当てられている。特に左ソフトキー２０および右ソフトキー２１は、メインディスプレイ２３の下部に設けられた左ソフトキー機能表示部２３ｂおよび右ソフトキー機能表示部２３ｃに表示される処理が割り当てられる。

第一の筐体１２には、操作キー１４の下部にマイクロフォン２４が設けられており、マイクロフォン２４によって通話時などのユーザの音声を集音する。

なお、第一の筐体１２は、背面側に図示しないバッテリパックが挿着される。携帯は、電源キー１９が押下されてオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。

一方、第二の筐体１３には、その大部分の面積を占めるメインディスプレイ２３が設けられる。メインディスプレイ２３には、電波の受信状態、電池残量の他、電子メールの内容、簡易ホームページの文字・画像データなどが表示される。なお、メインディスプレイ２３は、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬディスプレイにより構成されるディスプレイである。

第二の筐体１３のメインディスプレイ２３の上部の所定の位置にはレシーバ（受話器）２５が設けられる。ユーザはこのレシーバ２５を用いて、音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ２５以外に音声を出力する手段として、スピーカ（図３のスピーカ４６）も設けられている。

図２は、本発明に係る携帯端末の一例である折り畳み式の携帯電話機１の他の外観の構成を示す図である。図２の携帯電話機１は、図１の携帯電話機１の状態から矢印Ｘ方向に回動させた閉状態を構成する。図２（Ａ）は、携帯電話機１が閉状態のときの正面から見た外観の構成を示し、図２（Ｂ）は、携帯電話機１が閉状態のときの側面から見た外観の構成を示す。

第二の筐体１３には、例えばＬＣＤで構成されるサブディスプレイ２８が設けられる。サブディスプレイ２８には、現在のアンテナの感度のレベルを示すアンテナピクト、携帯電話機１の現在の電池残量を示す電池ピクト、現在の時刻などが表示される。

図３は、本実施形態における携帯電話機１の内部の構成を示す図である。図示せぬ基地局から送信されてきた無線信号は、アンテナ３１で受信された後、アンテナ共用器（ＤＵＰ）３２を介して受信回路（ＲＸ）３３に入力される。受信回路３３は、受信された無線信号を周波数シンセサイザ（ＳＹＮ）３４から出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、受信回路３３は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。なお、周波数シンセサイザ３４から発生される局部発振信号の周波数は、制御部４１から出力される制御信号ＳＹＣによって指示される。

受信回路３３からの受信ベースバンド信号は、ＣＤＭＡ信号処理部３６に入力される。ＣＤＭＡ信号処理部３６は、図示せぬＲＡＫＥ受信機を備える。このＲＡＫＥ受信機では、受信ベースバンド信号に含まれる複数のパスがそれぞれの拡散符号（すなわち、拡散された受信信号の拡散符号と同一の拡散符号）で逆拡散処理される。そして、この逆拡散処理された各パスの信号は、位相が調停された後、コヒーレントＲａｋｅ合成される。Ｒａｋｅ合成後のデータ系列は、デインタリーブおよびチャネル復号（誤り訂正復号）が行われた後、２値のデータ判定が行われる。これにより、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは、圧縮伸張処理部３７に入力される。

圧縮伸張処理部３７は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などにより構成され、ＣＤＭＡ信号処理部３６から出力された受信パケットデータを図示せぬ多重分離部によりメディアごとに分離し、分離されたメディアごとのデータに対してそれぞれ復号処理を行う。例えば通話モードにおいては、受信パケットデータに含まれる通話音声などに対応する音声データをスピーチコーデックにより復号する。また、例えばテレビ電話モードなどのように、受信パケットデータに動画像データが含まれていれば、この動画像データをビデオコーデックにより復号する。さらに、受信パケットデータがダウンロードコンテンツであれば、このダウンロードコンテンツを伸張した後、伸張されたダウンロードコンテンツを制御部４１に出力する。

復号処理により得られたデジタル音声信号はＰＣＭコーデック３８に供給される。ＰＣＭコーデック３８は、圧縮伸張処理部３７から出力されたデジタル音声信号をＰＣＭ復号し、ＰＣＭ復号後のアナログ音声信号を受話増幅器３９に出力する。このアナログ音声信号は、受話増幅器３９にて増幅された後、レシーバ２５により出力される。

圧縮伸張処理部３７によりビデオコーデックにて復号されたデジタル動画像信号は、制御部４１に入力される。制御部４１は、圧縮伸張処理部３７から出力されたデジタル動画像信号に基づく動画像を、図示せぬビデオＲＡＭ（例えばＶＲＡＭなど）を介してメインディスプレイ２３に表示させる。

また、圧縮伸張処理部３７は、受信パケットデータが電子メールである場合、この電子メールを制御部４１に供給する。制御部４１は、圧縮伸張処理部３７から供給された電子メールを記憶部４２に記憶させる。そして、制御部４１は、ユーザによる操作キー１４の操作に応じて、記憶部４２に記憶されているこの電子メールを読み出し、読み出された電子メールをメインディスプレイ２３に表示させる。

一方、通話モードにおいて、マイクロフォン２４に入力された話者（ユーザ）の音声信号（アナログ音声信号）は、送話増幅器４０により適正レベルまで増幅された後、ＰＣＭコーデック３８によりＰＣＭ符号化される。このＰＣＭ符号化後のデジタル音声信号は、圧縮伸張処理部３７に入力される。また、制御部４１にて作成されたテキストデータである電子メールも、圧縮伸張処理部３７に入力される。

圧縮伸張処理部３７は、ＰＣＭコーデック３８から出力されたデジタル音声信号を所定の送信データレートに応じたフォーマットで圧縮符号化する。これにより、音声データが生成される。また、圧縮伸張処理部３７は、制御部４１から出力されたデジタル動画像信号を圧縮符号化して動画像データを生成する。そして、圧縮伸張処理部３７は、これらの音声データや動画像データを図示せぬ多重分離部で所定の伝送フォーマットに従って多重化した後にパケット化し、パケット化後の送信パケットデータをＣＤＭＡ信号処理部３６に出力する。なお、圧縮伸張処理部３７は、制御部４１から電子メールが出力された場合にも、この電子メールを送信パケットデータに多重化する。

ＣＤＭＡ信号処理部３６は、圧縮伸張処理部３７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施し、スペクトラム拡散処理後の出力信号を送信回路（ＴＸ）３５に出力する。送信回路３５は、スペクトラム拡散処理後の信号をＱＰＳＫ（Ｑｕａｄｒａｔｕｒｅ Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）方式などのデジタル変調方式を使用して変調する。送信回路３５は、デジタル変調後の送信信号を、周波数シンセサイザ３４から発生される局部発振信号と合成して無線信号に周波数変換（アップコンバート）する。そして、送信回路３５は、制御部４１により指示される送信電力レベルとなるように、このアップコンバートにより生成された無線信号を高周波増幅する。この高周波増幅された無線信号は、アンテナ共用器３２を介してアンテナ３１に供給され、このアンテナ３１から図示せぬ基地局に向けて送信される。

制御部４１は、ＣＰＵ（ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４２からＲＡＭにロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。また、制御部４１はビデオＲＡＭも備え、メインディスプレイ２３に表示される映像に関する情報が一時的に格納される。

記憶部４２は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などからなり、制御部４１のＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。電源回路４４は、バッテリ４３の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。また、携帯電話機１には、現在の正確な時刻や所定の時間を測定する時計回路４５が設けられている。

音声認識部４８は、入力されたデジタル音声信号を音声認識処理し、テキストデータに変換する。音声認識部４８に入力されるデジタル音声信号は、他の端末から送信され圧縮伸張処理部３７で伸張された通話相手の音声に基づくデジタル音声信号や、マイクロフォン２４で集音されＰＣＭコーデック３８から出力されたデジタル音声信号である。音声認識部４８は、音声認識処理したテキストデータを制御部４１に出力する。

音声認識部４８は、音響特徴量を抽出し辞書とのマッチングを取る公知の音声認識エンジンなどを適用することができ、特定話者、および不特定話者に対応可能な構成となっている。

本実施形態における携帯電話機１は、いわゆる通話メモ機能、音声メモ機能を備える。「通話メモ機能」は、音声通話時に通話相手（または携帯電話機１のユーザ）の音声を録音し、通話終了後に録音された音声を再生することができる機能である。「音声メモ機能」は、マイクロフォン２４で集音されたユーザや携帯電話機１の周囲の音声を録音し、録音された音声を再生することができる機能である。通話メモ機能および音声メモ機能を用いた音声の録音、再生は、例えばユーザが操作キー１４を操作することにより録音、再生の指示を受けた場合に実行されるようになっている。

携帯電話機１は、通話メモ機能などを利用して録音された音声を、音声認識してテキストデータに変換する機能を有する。また、携帯電話機１は、録音された音声、この音声に基づき変換されたテキストデータを利用して、各種処理を実行できるようになっている。

以下、携帯電話機１が取得したテキストデータを利用して実行される各種処理について説明する。

図４は、本実施形態における携帯電話機１の制御部４１により実行される音声認識処理を説明するフローチャートである。図４の音声認識処理では、他の端末と音声通話中である携帯電話機１において、通話メモ機能が実行された場合を適用して説明する。なお、携帯電話機１で音声メモ機能が実行された場合であってもほぼ同様の処理が行われるため、以下、音声メモ機能に関する詳細な説明は省略する。

ステップＳ１において、制御部４１は、通話メモ機能を開始させる指示を受け付けたか否かの判定を行う。制御部４１は、通話メモ機能の開始指示を受け付けていないと判定した場合、指示を受け付けるまで処理を待機する。

一方、制御部４１は、通話メモ機能の開始指示を受け付けたと判定した場合、ステップＳ２において、通話相手の音声に基づくデジタル音声信号を取得して、記憶部４２に記憶する(音声を録音する）。同時に、音声認識部４８は、通話相手の音声に基づくデジタル音声信号を音声認識してテキストデータに変換する。

ステップＳ３において、制御部４１は、音声認識部４８により変換されたテキストデータを保存する。テキストデータは、例えば記憶部４２の記憶領域に記憶される。

ステップＳ４において、制御部４１は、保存されたテキストデータが、単語として成立する単位であるか否かの判定を行う。制御部４１は、保存されたテキストデータが単語として成立しない場合、音声録音・認識ステップＳ２に戻り、単語として成立する単位のテキストデータが得られるまで引き続き音声の録音および音声認識を続行する。

なお、音声データに電話番号や電子メールアドレスからなる通信先情報が含まれていた場合には、制御部４１は、その電話番号や電子メールアドレスについては一の通信先情報を一の単語としてみなし、保存されたテキストデータが単語として成立するか否かを判定するものとする。

一方、制御部４１は、単語として成立する単位のテキストデータが保存されたと判定された場合、ステップＳ５において、テキストデータが単語として成立する区切りに対応する音声データおよびテキストデータにおける位置に関する情報を、単語情報として記憶する。制御部４１は、単語単位のテキストデータとその単語に対応する音声データとを対応付けて記憶する。

ステップＳ６において、制御部４１は、通話メモ機能の終了指示を受け付けたか否かの判定を行う。通話メモ機能の終了は、ユーザより所定の操作キー１４より指示を受け付けた場合や、他の端末との音声通話が終了した場合などに発生する。

制御部４１は、通話メモ機能の終了指示を受け付けていないと判定した場合、音声録音・認識ステップＳ２に戻り、以降の処理を繰り返す。

一方、制御部４１は、通話メモ機能の終了指示を受け付けたと判定した場合、ステップＳ７において、音声録音、音声認識を終了させる。

ステップＳ８において、制御部４１は、通話メモ機能により得られた音声データおよびテキストデータの保存確認を行う。制御部４１は、例えば、メインディスプレイ２３にポップアップを表示することにより保存確認を行う。

図５は、保存確認のポップアップがメインディスプレイ２３に表示された場合の表示例を示す図である。図６は、保存確認のポップアップがメインディスプレイ２３に表示された場合の他の表示例を示す図である。

図５に示すように、制御部４１は、通話メモ機能による録音が終了すると、通話相手の音声およびその音声が音声認識されて得られたテキストデータを保存した旨のポップアップ５０ａをメインディスプレイ２３に表示する。センタキー１７には、センタキー機能表示部２３ａに表示された「確認」の処理が割り当てられている。制御部４１は、ユーザよりセンタキー１７の入力操作を受け付けることにより、ポップアップ５０ａの内容が確認されたと判断し、ポップアップ５０ａの表示を終了させる。

また、図６に示すように、制御部４１は、保存するデータをユーザに選択させるポップアップ５０ｂをメインディスプレイ２３に表示することもできる。ポップアップ５０ｂには、音声データのみを保存する「１．音声を保存」と、テキストデータのみを保存する「２．Ｔｅｘｔを保存」と、音声データとテキストデータとを保存する「３．音声とＴｅｘｔを保存」と、いずれのデータも保存しない「４．保存しない」が選択可能な項目として表示される。

制御部４１は、ユーザより十字キー１６やセンタキー１７の入力操作を受け付け、ポップアップ５０ｂから任意の項目が選択されることにより、入力に応じた処理を実行すると共にポップアップの表示を終了する。

このポップアップ５０ｂを表示して保存対象を選択させることにより、音声データやテキストデータの必要性や携帯電話機１の記憶領域の空き容量に応じて、その都度ユーザが保存対象を選択できるという点で有効である。

なお、音声録音・認識ステップＳ２において、音声データからテキストデータへの変換の成功率を判断する処理を音声認識部４８で行わせ、変換の成功率が低いと判断された部分の音声データのみを保存するようにしてもよい。音声データは、テキストデータに比べてデータ容量が大きい。このため、保存容量の節約を意図して、音声認識部４８によるテキストデータの成功率が高い部分はテキストデータで保存し、成功率が低い部分については、後述する音声再生処理において音声データの確認が行えるように、音声データとテキストデータとを保存してもよい。

また、単語判定ステップＳ４においては、変換され保存されたテキストデータが単語として成立する単位か否かを判断したが、単語に限らず文節として成立する単位であるか否かを判断してもよい。

以上で、音声認識処理の説明を終了する。

次に、図４の音声認識処理で得られたテキストデータおよび音声データを利用した処理について説明する。音声認識処理で得られたテキストデータおよび音声データは、必要に応じて出力できるようになっている。以下は、テキストデータを表示した際に実行される処理について説明する。

図７は、本実施形態における携帯電話機１の制御部４１により実行される音声再生処理を説明するフローチャートである。この音声再生処理は、テキストデータの表示時、任意のテキストに対応する部分の音声データを再生させる処理である。

ステップＳ１１において、制御部４１は、保存されたテキストデータを表示する指示を受け付けたか否かの判定を行う。制御部４１は、テキストデータを表示する指示を受け付けていないと判定した場合、指示を受け付けるまで待機する。

一方、制御部４１は、テキストデータを表示する指示を受け付けたと判定した場合、ステップＳ１２において、メインディスプレイ２３にテキストデータを表示する。

図８は、テキストデータがメインディスプレイ２３に表示された場合の表示例を示す図である。

テキストデータは、音声認識処理の単語情報記憶ステップＳ５において記憶された単語情報に基づいて、単語毎に選択可能に表示される。また、制御部４１は、単語情報に基づいて、各単語を対応する音声データへハイパーリンクする。

ステップＳ１３において、制御部４１は、テキストデータの中から再生を行う一の単語（テキスト）の選択を受け付けたか否かの判定を行う。単語の選択は、ユーザ操作によりカーソル５１（図８では、「もしもし」に合わせられている）が十字キー１６で移動され、任意の単語に移動された後にセンタキー１７が押下されることにより行われる。なお、センタキー１７には、センタキー機能表示部２３ａに表示された「再生」処理の実行指示の入力が割り当てられている。

制御部４１は、一の単語の選択を受け付けていないと判定した場合、ステップＳ１５に進む。

一方、制御部４１は、単語の選択を受け付けたと判定した場合、ステップＳ１４において、選択されたテキストデータに対応する音声データを再生する。音声データは、レシーバ２５またはスピーカ４６より出力される。

例えば、ユーザは、図８のテキストデータに含まれる単語（テキスト）のうち、「こぬにちは」（正しくは「こ”ん”にちは」）や、電子メールアドレス「ａｂｃｔｅｆｇ＠ｔｏｓｈｉｂａ．ｃｏ．ｊｐ」（正しくは「ａｂｃ”ｄ”ｅｆｇ＠ｔｏｓｈｉｂａ．ｃｏ．ｊｐ」）のように、音声認識が誤っていると考えられる箇所の音声データを部分的に再生することができる。ユーザは、正しい音声を聞くことで、テキストデータの変換の正誤を部分的に確認することができる。

なお、再生される音声データは、テキストデータのうち選択された単語のみならず、選択された単語の前後の単語を含む音声データであってもよい。また、再生される音声データは、選択された単語の前後所定時間の音声データを含む音声データであってもよい。

例えば、テキストデータのうち単語「こぬにちは」が選択された場合、前後の単語を含めたテキストデータである「もしもし、こぬにちは。昨日は」に対応する音声データを再生するようにしてもよい。ユーザが文脈を考慮しながら音声を確認することができる点で有効である。

ステップＳ１５において、制御部４１は、テキストデータの表示を終了する指示を受け付けたか否かの判定を行う。制御部４１は、テキストデータの表示を終了する指示を受け付けていないと判定した場合、ステップＳ１２に戻り、終了する指示を受け付けるまでは表示ステップＳ１２〜終了判定ステップＳ１５の処理を繰り返す。

一方、制御部４１は、テキストデータの表示を終了する指示を受け付けたと判定した場合、ステップＳ１６においてテキストデータの表示を終了して、音声再生処理を終了する。

次に、音声認識処理で得られたテキストデータに、電話番号および電子メールアドレスからなる通信先情報として認識可能なテキストが含まれていた場合に実行される処理を説明する。

図９は、本実施形態における携帯電話機１の制御部４１により実行される通信先情報利用処理を説明するフローチャートである。この通信先情報利用処理は、上述した音声再生処理の選択判定ステップＳ１３において、メインディスプレイ２３に表示されたテキストデータの中から一の単語が選択された場合に実行される処理として説明する。

ステップＳ２１において、制御部４１は、選択された単語が電話番号または電子メールアドレスからなる通信先情報であるか否かの判定を行う。制御部４１は、選択された単語は通信先情報ではないと判定した場合、通信先情報利用処理を終了する。

一方、制御部４１は、選択された単語は通信先情報であると判定した場合、ステップＳ２２において、選択された通信先情報に対して実行する操作選択させるポップアップを表示する。

図１０は、通信先情報に対して実行する操作の確認を行うポップアップの表示例を示す図である。図１０は、表示されたテキストデータから電子メールアドレスが選択された例を適用して説明する。

図１０に示すように、メインディスプレイ２３には選択された電子メールアドレスに対して操作確認を行うためのポップアップ５０ｃが表示される。ポップアップ５０ｃには、電子メールアドレスに対応する音声データを再生する「１．音声再生」と、電子メールアドレスを送信先とする新規メールの作成を行う「２．新規メール作成」と、電子メールアドレスをアドレス帳に登録される連絡先として編集する「３．アドレス帳編集」が選択可能な項目として表示される。

なお、テキストデータから電話番号が選択された場合には、ポップアップ５０ｃの「２.新規メール作成」が「２．発呼」に替わるのみであり、他については同様であるため図を用いた説明を省略する。

ステップＳ２３において、制御部４１は、表示されたポップアップから実行する一の操作の選択を受け付けたか否かの判定を行う。制御部４１は、操作の選択を受け付けていないと判定した場合、選択を受け付けるまで処理を待機する。

一方、制御部４１は、操作の選択を受け付けたと判定した場合、ステップＳ２４において、選択された操作を実行する。

制御部４１は、音声再生操作の選択を受け付けた場合、選択された通信先情報に対応する音声データを再生する。また、制御部４１は、発呼または新規メール作成操作の選択を受け付けた場合、選択された電話番号に対する発呼処理、または選択された電子メールアドレスに対する新規メールの作成処理を実行する。さらに、制御部４１は、アドレス帳編集操作の選択を受け付けた場合、選択された電話番号または電子メールアドレスをアドレス帳に登録される連絡先として編集する画面を表示する。

なお、制御部４１は、音声データが通話メモであった場合には、アドレス帳編集操作の選択を受け付けた場合、通話メモが録音された通話の通話相手の電話番号を読み出し、アドレス帳に登録される連絡先として編集できるように構成してもよい。

以上で通信先情報利用処理の説明を終了する。

この携帯電話機１によれば、通話メモ機能や音声メモ機能を用いて録音された音声データを音声認識して得られたテキストデータを利用して、種々の処理を実行することができる。

携帯電話機１は、テキストデータを単語や文節などの所定単位で区切り、そのテキストに対応した音声データを部分的に再生することができる。例えば、音声認識されたテキストデータに誤りがあると思われる疑わしい箇所については、その箇所に対応した音声データを部分的に再生し、変換の正誤を容易に確認することができる。このため、テキストデータのうち、特定の箇所の音声データのみを聞きたいにも係わらず、全ての音声データを再生しなければいけない手間と時間を短縮できる点で有効である。

また、テキストデータに電話番号や電子メールアドレスなどの通信先情報が含まれている場合には、この通信先情報を用いて発呼や電子メール送信などの通信処理や、アドレス帳登録を行うことができる。このため、ユーザは、録音された音声データに含まれる通信先情報を利用して通信処理やアドレス帳登録を行いたい場合には、一旦メモ用紙などに書き出し、書き出された情報を見ながら再度携帯電話機１に入力を行うという手間を省くことができる。すなわち、録音された音声データに含まれる情報をテキストデータ化することで、複雑な動作（操作）を要することなくその情報に対する種々の操作を行うことができる。

また、通話メモで録音された音声データを変換することにより得られたテキストデータは、発着信履歴に表示された通話記録から確認するようにしてもよいし、電子メールの送受信履歴から確認するようにしてもよい。音声データより得られるテキストデータは、電子メールと同様な文字媒体で表現されるため、閲覧する際に他の電子メールと違和感なく確認することができる。

また、音声データに電子メールに関する内容（例えば「後でメールするね」や、「メールください」）が含まれている場合には、発着信履歴でテキストデータを確認した後にこの音声の内容に関連するメッセージを電子メールの送受信履歴を開いて確認するよりも、電子メールのテキストと同様に扱い、通話メモ内のメッセージの内容と、送受信履歴に含まれる他のメッセージとを対応させながら確認できる点で効果的である。

さらに、音声認識されたテキストデータを編集する操作が実行できるようにしたり、得られたテキストデータを文字入力の変換候補として変換辞書に追加したりして、単語や文節単位で区切られたテキストデータを利用することもできる。

なお、本発明に係る携帯電話機１は、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機、その他の録音機能を備えた携帯端末にも適用することができる。

また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

１ 携帯電話機
１１ ヒンジ部
１２ 第一の筐体
１３ 第二の筐体
１４ 操作キー
１５ 数字キー
１６ 十字キー
１７ センタキー
２３ メインディスプレイ
２３ａ センタキー機能表示部
２４ マイクロフォン
２５ レシーバ
２８ サブディスプレイ
３１ アンテナ
３２ アンテナ共用器（ＤＵＰ）
３３ 受信回路（ＲＸ）
３４ 周波数シンセサイザ（ＳＹＮ）
３５ 送信回路（ＴＸ）
３６ ＣＤＭＡ信号処理部
３７ 圧縮伸張処理部
３８ ＰＣＭコーデック
３９ 受話増幅器
４０ 送話増幅器
４１ 制御部
４２ 記憶部
４６ スピーカ
４８ 音声認識部
５０ａ、５０ｂ、５０ｃ ポップアップ
５１ カーソル

Claims (14)

1. デジタル音声信号を取得する音声取得手段と、
   前記音声取得手段により取得されたデジタル音声信号を音声認識してテキストデータに変換する音声認識手段と、
   前記音声認識手段により変換された前記テキストデータを表示する表示手段と、
   前記表示手段に表示された前記テキストデータの中から、任意のテキストの選択を受け付ける選択手段と、
   前記選択手段により選択された前記テキストに対応した所定の処理を実行する処理制御手段とを備え、
   前記表示手段は、前記選択手段により選択された前記テキストに対応して実行可能な少なくとも１つの処理を表示し、
   前記選択手段は、前記表示手段に表示された前記少なくとも１つの処理の中から、任意の処理の選択を受け付け、
   前記処理制御手段は、前記選択手段により選択された処理を実行し、前記音声認識手段により変換された前記テキストデータを、電子メール送受信履歴として記憶手段に記憶させることを特徴とする携帯端末。
2. 前記処理制御手段により実行される処理は、前記選択手段により選択された前記テキストに対応する前記音声を再生する処理である請求項１記載の携帯端末。
3. 前記表示手段は、前記テキストデータを単語または文節単位で区切って表示し、
   前記選択手段は、前記テキストデータの中から任意の単語または文節で区切られたテキストの選択を受け付ける請求項２記載の携帯端末。
4. 前記処理制御手段により実行される処理は、前記選択手段により選択を受け付けた任意のテキストが電話番号であった場合には、前記電話番号に対し発呼を行う処理である請求項１記載の携帯端末。
5. 前記処理制御手段により実行される処理は、前記選択手段により選択を受け付けた任意のテキストが電子メールアドレスであった場合、前記電子メールアドレスに対する電子メールの作成を行う処理である請求項１記載の携帯端末。
6. 前記処理制御手段により実行される処理は、前記選択手段により選択を受け付けた任意のテキストが電話番号または電子メールアドレスであった場合、前記電話番号または前記電子メールアドレスを、アドレス帳に登録される連絡先として編集する処理である請求項１記載の携帯端末。
7. 前記処理制御手段により実行される処理は、前記音声データが音声通話時に録音されたものであった場合、前記音声データが録音された前記音声通話の通話相手の電話番号をアドレス帳に登録される連絡先として編集する処理である請求項１記載の携帯端末。
8. デジタル音声信号を取得する音声取得ステップと、
   前記音声取得ステップで取得されたデジタル音声信号を音声認識してテキストデータに変換する音声認識ステップと、
   前記音声認識ステップで変換された前記テキストデータを表示する表示ステップと、
   前記表示ステップで表示された前記テキストデータの中から、任意のテキストの選択を受け付ける選択ステップと、
   前記選択ステップで選択された前記テキストに対応する所定の処理を実行する処理制御ステップとを備え、
   前記表示ステップは、前記選択ステップにより選択された前記テキストに対応して実行可能な少なくとも１つの処理を表示し、
   前記選択ステップは、前記表示ステップに表示された前記少なくとも１つの処理の中から、任意の処理の選択を受け付け、
   前記処理制御ステップは、前記選択ステップにより選択された処理を実行し、前記音声認識ステップで変換する前記テキストデータを、電子メール送受信履歴として記憶手段に記憶することを特徴とする音声認識されたテキストデータの利用方法。
9. 前記処理制御ステップで実行する処理は、前記選択ステップで選択される前記テキストに対応する前記音声を再生する処理である請求項８記載の音声認識されたテキストデータの利用方法。
10. 前記表示ステップは、前記テキストデータを単語または文節単位で区切って表示し、
    前記選択ステップは、前記テキストデータの中から任意の単語または文節で区切られたテキストの選択を受け付ける請求項９記載の音声認識されたテキストデータの利用方法。
11. 前記処理制御ステップで実行する処理は、前記選択ステップで選択を受け付ける任意のテキストが電話番号である場合には、前記電話番号に対し発呼を行う処理である請求項８記載の音声認識されたテキストデータの利用方法。
12. 前記処理制御ステップで実行する処理は、前記選択ステップで選択を受け付ける任意のテキストが電子メールアドレスである場合、前記電子メールアドレスに対する電子メールの作成を行う処理である請求項８記載の音声認識されたテキストデータの利用方法。
13. 前記処理制御ステップで実行する処理は、前記選択ステップで選択を受け付ける任意のテキストが電話番号または電子メールアドレスである場合、前記電話番号または前記電子メールアドレスを、アドレス帳に登録される連絡先として編集する処理である請求項８記載の音声認識されたテキストデータの利用方法。
14. 前記処理制御ステップで実行する処理は、前記音声データが音声通話時に録音されたものである場合、前記音声データが録音された前記音声通話の通話相手の電話番号をアドレス帳に登録される連絡先として編集する処理である請求項８記載の音声認識されたテキストデータの利用方法。

Images