JP4743686B2 - 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム - Google Patents
携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム Download PDFInfo
- Publication number
- JP4743686B2 JP4743686B2 JP2005012026A JP2005012026A JP4743686B2 JP 4743686 B2 JP4743686 B2 JP 4743686B2 JP 2005012026 A JP2005012026 A JP 2005012026A JP 2005012026 A JP2005012026 A JP 2005012026A JP 4743686 B2 JP4743686 B2 JP 4743686B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- speech
- coordinates
- unit
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
- H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
- H04M1/0214—Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
- H04M1/236—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof including keys on side or rear faces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/16—Details of telephonic subscriber devices including more than one display unit
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明は、表示中の項目を音声にて読み上げる機能を有する携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムに関するものである。
近年、携帯端末装置としてキー操作に対応して、このキー操作により設定された機能名等をアナウンスするようにした携帯電話機が提案されている（たとえば特許文献１参照）。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
この携帯電話機は、複数のキー操作部と、キー操作部の１あるいは複数のキー操作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成部とを有する。
また、音声出力機能を採用したシステムとして、電子メールによりテキストを送信する際に、送信者が受信側でのテキスト読み上げに使用される音質を選択することができる電子メールシステムが提案されている（たとえば特許文献２参照）。
特開平１１−２５２２１６号公報
特開２００４−１８５０５５号公報
ところで、上述したような音声読み上げ機能を有する携帯端末装置においては、読み上げるべき文章等を読み上げようエンジン（制御部や音声合成部）に通知することで実現している。
ところが、ＥＺｗｅｂ等の組み込みブラウザからは文字列を表示するための描画情報が携帯端末装置側に通知されるが、読み上げ用の文字列は通知されない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知すると文章が頻繁に途切れることになる。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、通知される順序で読み上げを行うと、適切な文章とならない。
描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
そして、その描画情報は、文字列が細かく分割されて通知されるため、そのまま読み上げエンジンに通知すると文章が頻繁に途切れることになる。
また、文字列が通知される順番は、必ず表示される上部から通知されるわけではないことから、通知される順序で読み上げを行うと、適切な文章とならない。
描画のスタイルによっては同じ行の文字列であっても、座標値がずれて通知されるため、同一行の文字列として扱うことができない。
また、ブラウザ側に修正を加え、読み上げインタフェースを追加して音声読み上げを実現しているものも知られているが、この場合であっても、一般のサイト（ＨＴＭＬ等）は表示することができず、特定サイトした対応してないのが現状である。
また、ブラウザに修正を加えているため、描画が通常のブラウザと大きく異なり（表示される文字列すべてにリンクが当たる状態）、ブラウザの閲覧に多くの制約をもたらしている。
また、ブラウザに修正を加えているため、描画が通常のブラウザと大きく異なり（表示される文字列すべてにリンクが当たる状態）、ブラウザの閲覧に多くの制約をもたらしている。
本発明の目的は、なめらかな音声読み上げを実現できる携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムを提供することにある。
上記目的を達成するため、本発明の第１の観点は、表示部と、文字列を音声に変換する音声合成部と、複数の表示オブジェクトと、当該複数の表示オブジェクトごとに予め規定された、縦横位置を指定する表示座標および表示形式、あるいは前記表示座標および表示サイズをそれぞれ対応付けて格納する記憶部と、前記複数の表示オブジェクトを、それぞれの対応する前記表示座標と前記表示形式、あるいは前記表示座標と前記表示サイズに準じて前記表示部に表示させる制御部と、を有し、前記制御部は、前記複数の表示オブジェクトを表示した状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示形式あるいは前記表示サイズを参照して前記複数の表示オブジェクトそれぞれの表示座標を補正すると共に当該補正後の座標に基づいて並べ替え、各表示オブジェクトから抽出される複数の文字列を前記音声合成部により並べ替えた順に連続して音声に変換させる携帯端末装置である。
好適には、前記制御部は、前記複数の表示オブジェクトを表示した状態において前記音声合成部の起動が要求されると、前記記憶部に格納される複数の表示オブジェクトの中から、カーソルが位置していることを示すための表示形式の対応付けられる表示オブジェクトを検索し、当該検索された表示オブジェクトの有する文字列について、少なくとも音声に変換させる。
好適には、前記制御部は、前記音声合成部にカーソルの位置の表示オブジェクトを標準と異なる音声で読み上げを行わせる。
好適には、前記制御部は、前記複数の表示オブジェクトのうち、リンクが指定される表示形式の対応付けられる表示オブジェクトがある場合、当該表示オブジェクトに含まれる文字列については前記音声合成部に標準と異なる音声で読み上げを行わせる。
好適には、前記制御部は、前記複数の文字列を連続して音声に変換させる間、前記表示部に新規に表示された表示オブジェクトの文字列を、前記音声合成部により音声に変換させる対象とする。
好適には、前記制御部は、前記複数の文字列を連続して音声に変換させているときに、別画面が表示されたときは前記音声合成部による音声変換を中断する。
好適には、前記制御部は、前記複数の文字列を連続して音声に変換させているときに、選択可能な表示オブジェクトにカーソル遷移した場合は、音声変換を中断してカーソル遷移した表示オブジェクトを前記音声合成部に音声変換させる。
好適には、前記制御部は、前記複数の表示オブジェクトのうち、前記表示部から一部はみだしている表示オブジェクトについては、当該表示オブジェクトに対応する表示座標を参照して、読み上げる対象範囲を決定する。
好適には、前記制御部は、前記表示部に前記複数の表示オブジェクトを表示しているものの、当該表示がキャッシュによる表示である場合には、前記記憶部に格納される前記複数の表示オブジェクトを再び描画要求する。
好適には、前記制御部は、前記音声合成部にカーソルの位置の表示オブジェクトを標準と異なる音声で読み上げを行わせる。
好適には、前記制御部は、前記複数の表示オブジェクトのうち、リンクが指定される表示形式の対応付けられる表示オブジェクトがある場合、当該表示オブジェクトに含まれる文字列については前記音声合成部に標準と異なる音声で読み上げを行わせる。
好適には、前記制御部は、前記複数の文字列を連続して音声に変換させる間、前記表示部に新規に表示された表示オブジェクトの文字列を、前記音声合成部により音声に変換させる対象とする。
好適には、前記制御部は、前記複数の文字列を連続して音声に変換させているときに、別画面が表示されたときは前記音声合成部による音声変換を中断する。
好適には、前記制御部は、前記複数の文字列を連続して音声に変換させているときに、選択可能な表示オブジェクトにカーソル遷移した場合は、音声変換を中断してカーソル遷移した表示オブジェクトを前記音声合成部に音声変換させる。
好適には、前記制御部は、前記複数の表示オブジェクトのうち、前記表示部から一部はみだしている表示オブジェクトについては、当該表示オブジェクトに対応する表示座標を参照して、読み上げる対象範囲を決定する。
好適には、前記制御部は、前記表示部に前記複数の表示オブジェクトを表示しているものの、当該表示がキャッシュによる表示である場合には、前記記憶部に格納される前記複数の表示オブジェクトを再び描画要求する。
本発明の第２の観点は、複数の表示オブジェクトと、当該複数の表示オブジェクトごとに予め規定された、縦横位置を指定する表示座標および表示形式、あるいは前記表示座標および表示サイズをそれぞれ対応付けて記憶する第１ステップと、前記複数の表示オブジェクトを、それぞれの対応する前記表示座標と前記表示形式、あるいは前記表示座標と前記表示サイズに準じて表示する第２ステップと、を有し、前記第２ステップにおいては、前記複数の表示オブジェクトを表示した状態において音声合成機能の起動が要求されると、前記第１ステップにて記憶される前記表示形式あるいは前記表示サイズを参照して前記複数の表示オブジェクトそれぞれの表示座標を補正すると共に当該補正後の座標に基づいて並べ替え、各表示オブジェクトから抽出される複数の文字列を前記並べ替えた順に連続して音声に変換する携帯端末装置の音声読み上げ方法である。
本発明の第３の観点は、複数の表示オブジェクトと、当該複数の表示オブジェクトごとに予め規定された、縦横位置を指定する表示座標および表示形式、あるいは前記表示座標および前記表示サイズをそれぞれ対応付けて記憶する第１手順と、前記複数の表示オブジェクトを、それぞれの対応する前記表示座標と前記表示形式、あるいは前記表示座標と前記表示サイズに準じて表示する第２手順と、を有し、前記第２手順においては、前記複数の表示オブジェクトを表示した状態において音声合成機能の起動が要求されると、前記第１手順にて記憶される前記表示形式あるいは前記表示サイズを参照して前記複数の表示オブジェクトそれぞれの表示座標を補正すると共に当該補正後の座標に基づいて並べ替え、各表示オブジェクトから抽出される複数の文字列を前記並べ替えた順に連続して音声に変換する携帯端末装置の音声読み上げをコンピュータで実行可能な音声読み上げプログラムである。
本発明によれば、描画スタイルによらず、表示している文章を途切れることなく、なめらかな音声読み上げを実現することができる。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明の携帯端末装置としての携帯電話機１０のシステム構成の一例を示すブロック図である。図２は、携帯電話機１の外観の一例を示す図である。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。
本実施形態に係る携帯電話機１０は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を表示部に表示可能に構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱い、ブラウザに手を加えずに通常のブラウザと同等の表示が可能となるように構成されている。
さらに、本実施形態に係る携帯電話機１０は、以下の処理機能を備えて構成されている。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得情報したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納されるスタイル（表示規定）を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
携帯電話機１０は、取得したＷｅｂ情報に基づいて、表示すべき表示オブジェクトと、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定を抽出し、表示オブジェクトと表示規定を対応付けて記憶部に格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得情報したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納されるスタイル（表示規定）を参照して表示オブジェクトから抽出される文字列を音声合成部により音声に変換する機能を有する。
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声に変換する機能を有する。
また、携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
また、携帯電話機１０は、複数の表示形式それぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、複数の表示サイズそれぞれについて表示座標に対する補正値を格納しておき、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて補正値にて補正した上で行う機能を有する。
また、携帯電話機１０は、取得したＷｅｂ情報の表示状態において音声読み上げ機能（音声合成部）の起動が要求されると、記憶部に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について、音声に変換する機能を有する。
以下、本実施形態に係る携帯電話機１０の各部の構成、機能、並びに、音声読み上げ制御について順を追って説明する。
図１に示すように、携帯電話機１０は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、キー操作部１３と、ダイヤル入力部１４と、サブ表示部１５と、メイン表示部１６と、スピーカ１７１およびマイクロフォン１７２を含む音声合成処理部１７と、読み上げキー入力部１８と、制御部（ＣＰＵ）１９とを有している。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。
通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵され、図２において外部に露出されていない。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、通信ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、無線通信ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵され、図２において外部に露出されていない。
メモリ（記憶部）１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される表示規定とが対応付けられた形態で格納される。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
メモリ１２は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクトと、表示オブジェクトを提供するサーバにて規定される表示規定とが対応付けられた形態で格納される。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。
キー操作部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部１９に出力する。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を制御部１９を通して設定可能である。
ダイヤル入力部１４は、図２（ｃ）に示すように、ユーザが開状態の携帯電話機１０を保持した時にユーザの親指により操作がしやすくなるように、表示側本体ケース１０２の側面に配設されるダイヤル式の入力部であり、上下２方向の操作が可能に構成される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。
サブ表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ｃ）に示すように、閉状態においてユーザに視認される。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、ブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、ブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。
音声合成処理部１７は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１７１と音声入力を行うマイクロフォン１７２とが接続されている。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
音声合成処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声合成処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声合成処理部１７は、音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声合成して音声出力させる。
読み上げキー操作部１８は、図２（ｂ）に示すように、表示側本体ケース１０２の中央に配設される押下式ボタン１８ａと、このボタンによるスイッチ入力に対する入力回路と、を含んで構成される。
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１９ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１より音声出力するように制御部１９により制御される。
本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１９ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ａにより音声出力し、開状態では受話スピーカ１７１より音声出力するように制御部１９により制御される。
制御部１９は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部１９は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１７に対する音声情報の処理、メイン表示部１６への情報の表示制御、キー入力部１３の入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。
制御部１９は、基本的にユーザによる押下式ボタン１８ａの操作がなされると、表示されるテキストの読み上げ機能を実行する。その際、読み上げ機能として、読み上げ用の音声データを出力する方式ではなく、テキスト列を抽出／生成してそのテキストを読み上げるテキスト読み上げ方式を用いている。
制御部１９は、ブラウザが起動し、取得したＷｅｂ情報から表示オブジェクトと、この表示オブジェクトを提供するサーバ３０上のコンテンツごとに規定される表示規定を抽出し、表示オブジェクトと表示規定とを対応付けてメモリ１２に格納する。
制御部１９は、抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
制御部１９は、抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声合成処理部１７に音声への変換を行わせる。
また、制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。
また、制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。
また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声合成処理部１７の起動が要求されると、メモリ１２に格納される複数の表示オブジェクトの中からカーソルの位置する表示を行うための表示形式の対応付けられる表示オブジェクトを検索し、検索された表示オブジェクトの有する文字列について音声合成処理部１７に音声に変換させる。
また、制御部１９は、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行うように制御する機能に加えて、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更するように音声合成処理部１７を制御する機能を有する。
また、制御部１９は別画面が表示されたときは読み上げを中断するように制御する。
また、制御部１９は、点滅などが指定されても同じ文字列に対して描画要求が複数通知されても一度目しか読み上げないように制御する。
制御部１９は、同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げるように音声合成処理部１７を制御する。
また、制御部１９は別画面が表示されたときは読み上げを中断するように制御する。
また、制御部１９は、点滅などが指定されても同じ文字列に対して描画要求が複数通知されても一度目しか読み上げないように制御する。
制御部１９は、同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げるように音声合成処理部１７を制御する。
また、制御部１９は、読み上げ中断を防止するために、読み上げ中は、新規に表示された文字列をバッファリングする。
また、制御部１９は、別画面が表示されたときは読み上げを中断するように音声合成処理部１７を制御する。
また、制御部１９は、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げるように音声合成処理部１７を制御する。
また、制御部１９は、重複した読み上げを防止するため、表示部１６，１５の表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定する。
また、制御部１９は、キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うように構成されている。
また、制御部１９は、別画面が表示されたときは読み上げを中断するように音声合成処理部１７を制御する。
また、制御部１９は、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げるように音声合成処理部１７を制御する。
また、制御部１９は、重複した読み上げを防止するため、表示部１６，１５の表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定する。
また、制御部１９は、キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うように構成されている。
次に、上記構成による動作を、ブラウザ起動時の情報の表示および音声読み上げ動作を中心に、図３から図８に関連付けて説明する。
図３は、ブラウザ起動時の情報の表示および音声読み上げ動作を説明するためのフローチャートである。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
図４は、特定スタイルでの表示画像のイメージを示す図である。
図５は、通知された情報、現在の文字サイズ、およびスタイル（リンク）の補正値の一例を示す図である。
図６は、文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示す図である。
図７は、文字列ソーティング後の蓄積管理情報と文言の格納領域における格納例を示す図である。
図８は、読み上げ要求のイメージ例を示す図である。
ブラウザが起動され（ＳＴ１）、描画開始要求通知が出されると（ＳＴ２）、描画すべき文字列、スタイル、座標が通知される（ＳＴ３）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング'）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴＲ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列をバッファをクリアする（ＳＴ１４）。
次に、取得した情報のうち、スタイル情報がオブジェクトの選択中であるか否かの判別を行う（ＳＴ４）。
ステップＳＴ４において、選択中ではないと判別すると、取得した文字列をたとえばメモリ１２に格納（バッファリング'）する（ＳＴ５）。
次に、取得したスタイルが補正対象スタイルであるか否かの判別を行う（ＳＴ６）。
ステップＳＴ６において、補正対象スタイルであると判別すると、座標値を補正（ＳＴＲ７）してステップＳＴ８の処理に移行し、補正対象スタイルではないと判別すると、ステップＳＴ７の補正処理を経ることなくステップＳＴ８の処理に移行する。
そして、ステップＳＴ８においては、座標が描画画面であるか否かの判別を行う。
描画画面でない場合は、文字列を破棄して（ＳＴ９）、ステップＳＴ１０の処理に移行し、描画画面である場合には、ステップＳＴ９の処理を経ることなくステップＳＴ１０の処理に移行する。
ステップＳＴ１０においては、描画処理が終了したか否かの判別を行い、終了していない場合には、ステップＳＴ２からの処理に移行する。
そして、ステップＳＴ１０において、描画終了したと判別すると、文字列のソーティング処理を行い（ＳＴ１１）、同一スタイルの文字列を渡す（ＳＴ１２）。
そして、ステップＳＴ４において、スタイルの選択中であると判別すると、該当オブジェクトの音声読み上げを行い（ＳＴ１３）、文字列をバッファをクリアする（ＳＴ１４）。
なお、本実施形態においては、ブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱う。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
そして、各要部ステップにおいては、具体的には以下に示すような処理が行われる。
ステップＳＴ７の座標補正は次のような処理となる。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリングのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
たとえば図４に示すように、特定スタイルでの描画では座標位置がずれるため、表示形式（スタイル）と文字サイズに応じて座標位置を補正する。
"りんご"など特別な表示オブジェクト（リンク）の座標位置を補正する。描画要求にてリングのスタイルが通知されたら、座標補正するためのデータベースから現在の文字サイズに応じた補正値を決定し補正する。
たとえば、図５に示すように、通知された"りんご"の情報が、座標値のＸが０、Ｙが５、スタイルが「リンク」、文字数が「３」であり、現在の文字サイズ設定値が「文字サイズ標準」であり、スタイル（リンク）の補正値として、文字サイズ小が「Ｙ−３」、文字サイズ標準が「Ｙ−５」、文字サイズ大「Ｙ−８」の場合を例とすると、次のように座標位置を補正する。
上記の情報を基に、座標値を補正する。スタイル（リンク）で文字サイズ標準であるため、"りんご"の３文字のＹ座標を−５加算し、座標値を（Ｘ：０、Ｙ：０）とする。
また、ステップＳＴ１１においては、描画要求を通知された順序で読み上げると文章にならないことがあることから、文字列に付随する座標値を用いてソート処理を行う。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」となっている。
なお、座標値は補正処理後の値を用いる。
図６に文字列のソーティング前の蓄積管理情報と文言の格納領域における格納例を示し、図７に文字列ソーティング後の格納例を示す。
これの例では、文字列ソーティング前の文言は、図６に示すように、「果物：」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」、「りんご」であるものが、文字列ソーティング後は、図７に示すように、「果物：」、「りんご」、「１００円」、「２個」、「みかん」、「２００円」、「メロン」、「３００円」、「いちご」、「４００円」となっている。
また、表示オブジェクトごとに異なる描画スタイルが通知されることから、表示オブジェクトに応じた読み上げを行う。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
図４の画面イメージを例にすると、リンクの文字列を標準と異なる音声（設定した音声）を読み上げる。
また、カーソルが遷移しているオブジェクトを描画スタイルによって特定し、該当する文字列を音声の種別を変更して読み上げを行う。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
図４の画面イメージを例にすると、"りんご"の文字列を標準と異なる音声で読み上げる。
また、行またはオブジェクトごとに描画要求が通知されるため、バッファリングし複数の描画要求をまとめて読み上げエンジン（制御部および音声合成処理部）に通知することでなめらかな読み上げを行う。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
たとえば、図８に示すように、１行ずつ文字列が通知されたとしても、改行などを無視して同じ読み上げ方法で読み上げることが可能である。
また、読み上げ中の行スクロールは新規に表示された行をバッファリングし、読み上げが終了した時点で読み上げエンジンに受け渡す。
また、ページスクロールや別画面へのジャンプについては、読み上げ中の文字列を破棄し、ページの先頭から読み上げを行う。
また、描画開始要求と描画終了要求の間に通知される文字列を読み上げ対象とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
また、同一座標で通知された文字列は、先に通知された文字列を有効とする。
選択可能なオブジェクトにカーソルを移動した場合は読み上げ中の文字列を中断して該当オブジェクトを読み上げる。
画面表示上、上部や下部において文字列が欠けて表示されることがあるが、この場合には座標値にて読み上げ対象範囲を決定する。
キャッシュに保存されている画面などを表示する場合は、描画要求が通知されないため、再描画要求を行うことで文字列を取得する。
文字列を有しないオブジェクトをスタイルによって判定し、特定の文言の読み上げを行う。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
たとえば、ラジオボタンなど文字列を有しないオブジェクトについては、遷移、決定した時点で、処理部内部の文字列をエンジンである制御部に受け渡すことで読み上げを実現する。
以上説明したように、本実施形態によれば、メモリ１２と、文字列を音声に変換する音声合成処理部１７と、通信部１１によりネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報から表示オブジェクトと、表示オブジェクトを提供するサーバ３０にて規定される表示規定を抽出し、表示オブジェクトと表示規定を対応付けてメモリ１２に格納し、表示規定に準じて表示部１６，１５に表示させる制御部１９と、を有し、制御部１９は、取得したＷｅｂ情報の表示状態において、音声合成処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声合成処理部１７により音声に変換させる。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
また、通知された文字列のスタイルに応じて座標値を補正し、通知された順序ではなく、座標によりソーティング後の読み上げを行い、また、描画スタイルに応じて読み上げの声質、スピード、イントネーション等を変更し、また、選択可能オブジェクトの遷移時に、読み上げの声質、スピード、イントネーションを変更し、また、点滅など同じ文字列が通知されても一度しか読み上げないように構成したことから、以下の効果を得ることができる。
なめらかな音声読み上げを実現することができる。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
描画要求を用いた読み上げのため、ブラウザに手を加えることなく、実現可能であり、その結果、通常のブラウザと同等の表示が可能となる。
同じ声質で読み上げる場合、いくつかに、分割して通知された文字列をまとめて読み上げることにより、読み上げが途切れることを防止でき、また、熟語が正しく読まれる確率が高まる。
また、読み上げ中は、新規に表示された文字列をバッファリングすることから、読み上げ終了後にバッファリングされている文字列を読み上げることができ、これにより、読み上げの中断を防止することができる。
また、別画面が表示されたときは読み上げを中断することができ、画面と読み上げの同調を図ることができる。
また、選択可能なオブジェクトにカーソル遷移した場合は読み上げを中断して該当オブジェクトを読み上げることができ、これにより、選択されたタイミングを逃すことなく読み上げが可能である。
また、表示エリアから一部はみだしている文字列については、座標値にて読み上げ対象範囲を決定することができ、重複した読み上げを防止することができる。
キャッシュ表示など文字列が通知されない場合は、再描画要求にて再度文字列の通知を行うことができ、文字列を入手して再度描画されても同じ画面が表示されるので、ちらつきが発生しない。
また、文字列を有しないオブジェクトをスタイルで判定することにより、特定の文字列を与え読み上げることが可能である。
なお、以上説明したような音声読み上げ処理は、端末装置（コンピュータ）で読み出し可能な記録媒体、半導体記憶装置（メモリ）、光ディスク、ハードディスク等に音声読み上げプログラムとして記録され、端末装置で読み出されて実行される。
１０…携帯電話機
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
１００…本体ケース
１０１…キー入力側本体ケース
１０２…表示側本体ケース
１１…通信処理部
１１１…送受信アンテナ
１２…メモリ
１３…キー操作部
１４…ダイヤル入力部
１５…サブ表示部
１６…メイン表示部
１７…音声合成処理部
１７１…スピーカ
１７２…マイクロフォン
１８…読み上げキー操作部
１９…制御部
Claims (11)
- 表示部と、
文字列を音声に変換する音声合成部と、
複数の表示オブジェクトと、当該複数の表示オブジェクトごとに予め規定された、縦横位置を指定する表示座標および表示形式、あるいは前記表示座標および表示サイズをそれぞれ対応付けて格納する記憶部と、
前記複数の表示オブジェクトを、それぞれの対応する前記表示座標と前記表示形式、あるいは前記表示座標と前記表示サイズに準じて前記表示部に表示させる制御部と、を有し、
前記制御部は、
前記複数の表示オブジェクトを表示した状態において前記音声合成部の起動が要求されると、前記記憶部に格納される前記表示形式あるいは前記表示サイズを参照して前記複数の表示オブジェクトそれぞれの表示座標を補正すると共に当該補正後の座標に基づいて並べ替え、各表示オブジェクトから抽出される複数の文字列を前記音声合成部により並べ替えた順に連続して音声に変換させる
ことを特徴とする携帯端末装置。 - 前記制御部は、前記複数の表示オブジェクトを表示した状態において前記音声合成部の起動が要求されると、前記記憶部に格納される複数の表示オブジェクトの中から、カーソルが位置していることを示すための表示形式の対応付けられる表示オブジェクトを検索し、当該検索された表示オブジェクトの有する文字列について、少なくとも音声に変換させる
ことを特徴とする請求項１に記載の携帯端末装置。 - 前記制御部は、前記音声合成部にカーソルの位置の表示オブジェクトを標準と異なる音声で読み上げを行わせる
ことを特徴とする請求項２に記載の携帯端末装置。 - 前記制御部は、前記複数の表示オブジェクトのうち、リンクが指定される表示形式の対応付けられる表示オブジェクトがある場合、当該表示オブジェクトに含まれる文字列については前記音声合成部に標準と異なる音声で読み上げを行わせる
ことを特徴とする請求項１から３のいずれか一に記載の携帯端末装置。 - 前記制御部は、前記複数の文字列を連続して音声に変換させる間、前記表示部に新規に表示された表示オブジェクトの文字列を、前記音声合成部により音声に変換させる対象とする
ことを特徴とする請求項１から４のいずれか一に記載の携帯端末装置。 - 前記制御部は、前記複数の文字列を連続して音声に変換させているときに、別画面が表示されたときは前記音声合成部による音声変換を中断する
ことを特徴とする請求項１から５のいずれか一に記載の携帯端末装置。 - 前記制御部は、前記複数の文字列を連続して音声に変換させているときに、選択可能な表示オブジェクトにカーソル遷移した場合は、音声変換を中断してカーソル遷移した表示オブジェクトを前記音声合成部に音声変換させる
ことを特徴とする請求項１から６のいずれか一に記載の携帯端末装置。 - 前記制御部は、前記複数の表示オブジェクトのうち、前記表示部から一部はみだしている表示オブジェクトについては、当該表示オブジェクトに対応する表示座標を参照して、読み上げる対象範囲を決定する
ことを特徴とする請求項１から７のいずれか一に記載の携帯端末装置。 - 前記制御部は、前記表示部に前記複数の表示オブジェクトを表示しているものの、当該表示がキャッシュによる表示である場合には、前記記憶部に格納される前記複数の表示オブジェクトを再び描画要求する
ことを特徴とする請求項１から８のいずれか一に記載の携帯端末装置。 - 複数の表示オブジェクトと、当該複数の表示オブジェクトごとに予め規定された、縦横位置を指定する表示座標および表示形式、あるいは前記表示座標および表示サイズをそれぞれ対応付けて記憶する第１ステップと、
前記複数の表示オブジェクトを、それぞれの対応する前記表示座標と前記表示形式、あるいは前記表示座標と前記表示サイズに準じて表示する第２ステップと、を有し、
前記第２ステップにおいては、
前記複数の表示オブジェクトを表示した状態において音声合成機能の起動が要求されると、前記第１ステップにて記憶される前記表示形式あるいは前記表示サイズを参照して前記複数の表示オブジェクトそれぞれの表示座標を補正すると共に当該補正後の座標に基づいて並べ替え、各表示オブジェクトから抽出される複数の文字列を前記並べ替えた順に連続して音声に変換する
ことを特徴とする携帯端末装置の音声読み上げ方法。 - 複数の表示オブジェクトと、当該複数の表示オブジェクトごとに予め規定された、縦横位置を指定する表示座標および表示形式、あるいは前記表示座標および前記表示サイズをそれぞれ対応付けて記憶する第１手順と、
前記複数の表示オブジェクトを、それぞれの対応する前記表示座標と前記表示形式、あるいは前記表示座標と前記表示サイズに準じて表示する第２手順と、を有し、
前記第２手順においては、
前記複数の表示オブジェクトを表示した状態において音声合成機能の起動が要求されると、前記第１手順にて記憶される前記表示形式あるいは前記表示サイズを参照して前記複数の表示オブジェクトそれぞれの表示座標を補正すると共に当該補正後の座標に基づいて並べ替え、各表示オブジェクトから抽出される複数の文字列を前記並べ替えた順に連続して音声に変換する
ことを特徴とする携帯端末装置の音声読み上げをコンピュータで実行可能な音声読み上げプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005012026A JP4743686B2 (ja) | 2005-01-19 | 2005-01-19 | 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム |
| US11/335,142 US8515760B2 (en) | 2005-01-19 | 2006-01-19 | Mobile terminal and text-to-speech method of same |
| CN2006100739593A CN1829254B (zh) | 2005-01-19 | 2006-01-19 | 移动终端及其文语转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005012026A JP4743686B2 (ja) | 2005-01-19 | 2005-01-19 | 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006201977A JP2006201977A (ja) | 2006-08-03 |
| JP4743686B2 true JP4743686B2 (ja) | 2011-08-10 |
Family
ID=36685106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005012026A Expired - Fee Related JP4743686B2 (ja) | 2005-01-19 | 2005-01-19 | 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8515760B2 (ja) |
| JP (1) | JP4743686B2 (ja) |
| CN (1) | CN1829254B (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7395078B2 (en) * | 2004-04-20 | 2008-07-01 | Voice Signal Technologies, Inc. | Voice over short message service |
| US8635069B2 (en) | 2007-08-16 | 2014-01-21 | Crimson Corporation | Scripting support for data identifiers, voice recognition and speech in a telnet session |
| US9531854B1 (en) | 2009-12-15 | 2016-12-27 | Google Inc. | Playing local device information over a telephone connection |
| CN102831888A (zh) * | 2011-06-15 | 2012-12-19 | 镇江佳得信息技术有限公司 | 一种移动通讯终端实现语音合成的方法 |
| US9384073B2 (en) * | 2012-03-01 | 2016-07-05 | Google Inc. | Cross-extension messaging using a browser as an intermediary |
| JP6379813B2 (ja) * | 2013-08-23 | 2018-08-29 | 株式会社リコー | 情報処理システム、方法、情報処理装置およびプログラム |
| US9558736B2 (en) * | 2014-07-02 | 2017-01-31 | Bose Corporation | Voice prompt generation combining native and remotely-generated speech data |
| US9311911B2 (en) | 2014-07-30 | 2016-04-12 | Google Technology Holdings Llc. | Method and apparatus for live call text-to-speech |
| US10033797B1 (en) | 2014-08-20 | 2018-07-24 | Ivanti, Inc. | Terminal emulation over HTML |
| US11100278B2 (en) | 2016-07-28 | 2021-08-24 | Ivanti, Inc. | Systems and methods for presentation of a terminal application screen |
| US10891939B2 (en) * | 2018-11-26 | 2021-01-12 | International Business Machines Corporation | Sharing confidential information with privacy using a mobile phone |
| CN113381922B (zh) * | 2020-03-09 | 2024-02-27 | 阿尔派株式会社 | 电子装置以及信息的再生控制方法 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4125868A (en) * | 1975-10-28 | 1978-11-14 | Automix Keyboards, Inc. | Typesetting terminal apparatus having searching and merging features |
| JP3133467B2 (ja) * | 1992-03-31 | 2001-02-05 | 三洋電機株式会社 | 可搬性文書読み上げ装置 |
| JP3276404B2 (ja) * | 1992-07-15 | 2002-04-22 | 富士通株式会社 | 端末データ入出力方法及び装置 |
| JPH08328590A (ja) * | 1995-05-29 | 1996-12-13 | Sanyo Electric Co Ltd | 音声合成装置 |
| US6819336B1 (en) * | 1996-05-07 | 2004-11-16 | Sun Microsystems, Inc. | Tooltips on webpages |
| JPH1078952A (ja) * | 1996-07-29 | 1998-03-24 | Internatl Business Mach Corp <Ibm> | 音声合成方法、音声合成装置、ハイパーテキストの制御方法及び制御装置 |
| US6282511B1 (en) * | 1996-12-04 | 2001-08-28 | At&T | Voiced interface with hyperlinked information |
| JP3445920B2 (ja) * | 1997-05-20 | 2003-09-16 | シャープ株式会社 | 表示画面処理装置及び表示画面処理装置制御プログラムを記憶した媒体 |
| US6226614B1 (en) * | 1997-05-21 | 2001-05-01 | Nippon Telegraph And Telephone Corporation | Method and apparatus for editing/creating synthetic speech message and recording medium with the method recorded thereon |
| US6052663A (en) * | 1997-06-27 | 2000-04-18 | Kurzweil Educational Systems, Inc. | Reading system which reads aloud from an image representation of a document |
| JP3195279B2 (ja) * | 1997-08-27 | 2001-08-06 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | 音声出力システムおよびその方法 |
| US20020002458A1 (en) * | 1997-10-22 | 2002-01-03 | David E. Owen | System and method for representing complex information auditorially |
| JPH11252216A (ja) | 1998-02-27 | 1999-09-17 | Kyocera Corp | 電話機 |
| US6115686A (en) * | 1998-04-02 | 2000-09-05 | Industrial Technology Research Institute | Hyper text mark up language document to speech converter |
| JP2000099624A (ja) * | 1998-09-22 | 2000-04-07 | Ricoh Co Ltd | イメージ文字を含むテキストの読み上げ装置 |
| US6718015B1 (en) * | 1998-12-16 | 2004-04-06 | International Business Machines Corporation | Remote web page reader |
| US6823311B2 (en) * | 2000-06-29 | 2004-11-23 | Fujitsu Limited | Data processing system for vocalizing web content |
| JP2002091473A (ja) * | 2000-06-30 | 2002-03-27 | Fujitsu Ltd | 情報処理装置 |
| JP4225703B2 (ja) * | 2001-04-27 | 2009-02-18 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報アクセス方法、情報アクセスシステムおよびプログラム |
| JP2002333895A (ja) * | 2001-05-10 | 2002-11-22 | Sony Corp | 情報処理装置および情報処理方法、記録媒体、並びにプログラム |
| JP2002358194A (ja) * | 2001-06-01 | 2002-12-13 | Kaisen Baitai Kenkyusho:Kk | 音声情報提供システム、音声情報提供方法及びそのシステムでの処理をコンピュータに行なわせるためのプログラムを格納した記憶媒体 |
| JP3848181B2 (ja) * | 2002-03-07 | 2006-11-22 | キヤノン株式会社 | 音声合成装置及びその方法、プログラム |
| US7653544B2 (en) * | 2003-08-08 | 2010-01-26 | Audioeye, Inc. | Method and apparatus for website navigation by the visually impaired |
| JP2004185055A (ja) | 2002-11-29 | 2004-07-02 | Kyocera Corp | 電子メールシステム及び通信端末 |
| AU2003279398A1 (en) * | 2002-12-16 | 2004-07-09 | Sony Ericsson Mobile Communications Ab | Device for generating speech, apparatus connectable to or incorporating such a device, and computer program product therefor |
| JP3992642B2 (ja) * | 2003-05-01 | 2007-10-17 | 日本電信電話株式会社 | 音声シナリオ生成方法、音声シナリオ生成装置、音声シナリオ生成プログラム |
| JP2005010992A (ja) * | 2003-06-18 | 2005-01-13 | Kddi Corp | 合成音声によるウェブページの説明および広告の方法及びサーバ |
| US6993707B2 (en) * | 2003-08-08 | 2006-01-31 | Freedom Scientific, Inc. | Document placemarker |
| US8826137B2 (en) * | 2003-08-14 | 2014-09-02 | Freedom Scientific, Inc. | Screen reader having concurrent communication of non-textual information |
| TWI281145B (en) * | 2004-12-10 | 2007-05-11 | Delta Electronics Inc | System and method for transforming text to speech |
| US20060190260A1 (en) * | 2005-02-24 | 2006-08-24 | Nokia Corporation | Selecting an order of elements for a speech synthesis |
| JP4442479B2 (ja) * | 2005-03-16 | 2010-03-31 | 富士通株式会社 | 情報提示装置 |
| JP5259050B2 (ja) * | 2005-03-30 | 2013-08-07 | 京セラ株式会社 | 音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム |
| JP4158937B2 (ja) * | 2006-03-24 | 2008-10-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 字幕修正装置 |
-
2005
- 2005-01-19 JP JP2005012026A patent/JP4743686B2/ja not_active Expired - Fee Related
-
2006
- 2006-01-19 CN CN2006100739593A patent/CN1829254B/zh not_active Expired - Fee Related
- 2006-01-19 US US11/335,142 patent/US8515760B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1829254A (zh) | 2006-09-06 |
| JP2006201977A (ja) | 2006-08-03 |
| CN1829254B (zh) | 2011-07-27 |
| US8515760B2 (en) | 2013-08-20 |
| US20060161426A1 (en) | 2006-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4743686B2 (ja) | 携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラム | |
| JP5259050B2 (ja) | 音声合成機能付き文字情報表示装置、およびその音声合成方法、並びに音声合成プログラム | |
| US10545645B2 (en) | Method for realizing user interface using camera and mobile communication terminal for the same | |
| US20080182599A1 (en) | Method and apparatus for user input | |
| US20150236988A1 (en) | Method and apparatus for changing font size of message in a mobile communication terminal | |
| US20090327948A1 (en) | Text input | |
| US20130002575A1 (en) | Character input device | |
| US7643819B2 (en) | Template based messaging | |
| US9928084B2 (en) | Electronic device and method for activating application | |
| JP3714159B2 (ja) | ブラウザ搭載装置 | |
| WO2011074548A1 (ja) | 携帯電子機器および表示制御方法 | |
| JP2003108487A (ja) | 通信端末 | |
| JP5220912B2 (ja) | 音声合成機能付き文字情報表示装置およびその制御方法 | |
| US20070094280A1 (en) | Mobile communication terminal | |
| US20070106498A1 (en) | Mobile communication terminal and method therefor | |
| WO2010146430A1 (en) | Improved input for keyboards in devices | |
| JP5248051B2 (ja) | 電子機器 | |
| JP5414458B2 (ja) | 音声合成機能付き文字情報表示装置、およびその音声合成方法 | |
| JP4583875B2 (ja) | 電子機器および電子機器の音声読み上げ制御方法 | |
| JP5062670B2 (ja) | 電子機器 | |
| JP2003338870A (ja) | 検索装置 | |
| JP2008011478A (ja) | 電子機器及びプログラム | |
| JP2004112327A (ja) | 携帯電話機 | |
| WO2011037230A1 (ja) | 電子機器及びアプリケーションの起動方法 | |
| JP5352417B2 (ja) | 電子機器及びアプリケーションの起動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110502 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4743686 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |