JP5248051B2 - 電子機器 - Google Patents

Description

本発明は、表示中の項目を音声にて読み上げる機能を有する携帯電話等の電子機器に関するものである。

近年、表示中の項目を音声にて読み上げる機能を有する携帯電話等の電子機器が提案されている（たとえば特許文献１、２参照）。

ところで、電子機器として、仕様により、音声読み上げ機能では、読み上げる文字列がある場合は、読み上げ可能であることを示す通知画像である読み上げピクトを点灯し、ない場合は消灯させる仕様がある。

特許文献１，２に開示された技術では、アプリケーション側から通知される描画文字列を読み上げる。このとき、アプリケーション（アプリ）側から通知される描画文字列のみを契機として読み上げを開始していることから、描画文字列の存在しないコンテンツ（インタラクティブ再生）の場合は通知が発生しない。

図５は、読み上げピクトの点灯、消灯処理フローを示す図である。
この例では、アプリＡが起動されると（ＳＴ１）、読み上げピクトを点灯する（ＳＴ２）。
そして、画面が遷移され、アプリＡを終了させるか否かの判定が行われる（ＳＴ３、ＳＴ４）。
ステップＳＴ４でアプリＡが終了するものと判定すると、読み上げピクトを消灯させ、（ＳＴ５）、アプリＡを終了させる（ＳＴ６）。
特開２００６−２０１９７７号公報 特開２００６−２７６８００号公報

ところで、特許文献１，２に開示された技術では、アプリケーション側から通知される描画文字列のみを契機として読み上げを開始していることから、描画文字列の存在しないコンテンツ（インタラクティブ再生）の場合は通知が発生しない。
その結果、描画文字列通知だけでは実際に表示されている内容が判断できないため、図６に示すように、読み上げピクト１は常時点灯させている。

仕様に従うと、文字列が表示されていない画面では読み上げピクトを消灯させることが正しい仕様であるが、文字列通知が行われないため消灯させる契機がない。
そのため、図７に示すように、インタラクティブ再生中も読み上げピクト１が点灯したままとなってしまう不適切な表示となる。

本発明は、上記事情に鑑みなされたもので、読み上げ可能であることを示す通知画像を適切に表示することが可能な電子機器を提供することにある。

本発明の第１の観点の電子機器は、表示情報を表示する表示手段と、前記表示情報を表示した際、音声読み上げが可能であることを示す通知画像を前記表示手段に表示するように制御する制御手段と、を有し、前記制御手段は、前記表示手段に表示される画像の再生方式が変更されると、当該再生方式に基づき、前記通知画像を表示するか否かの表示制御を行う。

本発明によれば、読み上げ可能であることを示す通知画像を適切に表示することができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の電子機器としての携帯電話機１０のシステム構成の一例を示すブロック図である。図２は、携帯電話機１０の外観の一例を示す図である。
携帯電話機１０は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、図２（ａ）は開かれた状態（開状態）での正面図を、（ｂ）は閉じられた状態（閉状態）での正面図を、（ｃ）は開状態での側面図を、（ｄ）は閉状態での側面図を、それぞれ示している。

本実施形態に係る携帯電話機１０は、ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を表示部に表示可能に構成されている。
また、本実施形態に係る携帯電話機１０は、通常の携帯電話機の機能に加えて、音声読み上げ機能を有し、たとえばブラウザから描画要求として通知される文字列を読み上げの文字列情報として扱う。また、本実施形態に係る携帯電話機１０は、ブラウザに手を加えていないため、通常のブラウザと同等の表示が可能となるように構成されている。

本実施形態の携帯電話機１０は、取得したＷｅｂ情報に基づいて、表示すべき表示オブジェクト（表示情報）と、表示オブジェクトを提供するサーバ３０上で運営されているコンテンツにて規定されるスタイル等の表示規定（読み出し情報）を抽出し、表示オブジェクトと表示規定を対応付けてメモリに格納しておき、抽出したスタイル等の表示規定に準じて表示オブジェクトを表示する。なお、表示規定には、表示座標（Ｘ，Ｙ）、表示形式（スタイル）、あるいは表示サイズを含んでいる。
そして、携帯電話機１０は、取得情報したＷｅｂ情報の表示状態において、読み上げのために音声読み上げ機能（音声処理部）の起動が要求されると、メモリに格納されるスタイル（表示規定）を参照して表示オブジェクトから抽出される文字列を音声処理部により音声に変換する機能を有する。

さらに、本実施形態に係る携帯電話機１０は、画面全体に画像が表示される再生方式により表示される画像である場合に読み上げ通知画像（本実施形態では読み上げピクト）を的確に消灯することができる、以下の処理機能を備えて構成されている。

すなわち、携帯電話機１０は、表示情報を取得すると、表示情報を表示部の画面に表示し、この表示情報を画面に表示した際、画面に音声読み上げが可能であることを示す通知画像（読み上げピクト）を表示する機能を有している。
そして、携帯電話機１０は、表示画像が、画面全体に画像が表示される再生方式により表示される画像であることを検知した場合に、読み上げピクトの表示を停止し（読み上げピクトを消灯し）、表示画像が、画面全体に画像が表示される再生方式により表示される画像以外の画像であることを検知した場合に読み上げピクトを表示する機能を有する。

本実施形態においては、画面全体に画像を表示する再生方式は、描画文字列が存在しないコンテンツを再生するインタラクティブ再生方式である。
また、携帯電話機１０は、ブラウザが終了した場合に、読み上げピクト（通知画像）の表示を停止する（読み上げピクトを消灯する）機能を有する。

以下、本実施形態に係る電子機器としての携帯電話機１０の各部の構成、機能、並びに、音声読み上げ制御（特に読み上げピクトの表示制御）について順を追って説明する。

図１に示すように、携帯電話機１０は、送受信アンテナ１１１を含む通信処理部１１と、メモリ１２と、キー操作部１３と、ダイヤル入力部１４と、サブ表示部１５と、メイン表示部１６と、スピーカ１７１およびマイクロフォン１７２を含む音声処理部１７と、読み上げキー操作部１８と、制御部（ＣＰＵ）１９とを有している。
また、図２（ａ）に示すように、携帯電話機１０の本体ケース１００は、第１の筐体としてのキー入力側本体ケース１０１と、第２の筐体としての表示側本体ケース１０２とが、図示しない可動機構により連結されて、開閉状態を形成するように構成される。

通信処理部１１は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作や電子メールの送受信動作などを行う。
通信処理部１１は、送受信アンテナ１１１を含んで構成され、電波を利用した無線通信で行うために、制御部１９で処理された音声情報、電子メール等を変調して送受信アンテナ１１１により図示しない基地局、ネットワーク２０を介してサーバ３０に送信する。
また、通信処理部１１は、基地局から無線により送信され、送受信アンテナ１１１で受信した電子メールや音声情報等の各種情報を復調して制御部１９に出力する。
通信処理部１１は、ネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報（取得情報）を制御部１９に出力する。
なお、本実施形態においては、送受信アンテナ１１１は、キー入力側本体ケース１０１または表示側本体ケース１０２に内蔵され、図２において外部に露出されていない。

メモリ（記憶部）１２は、ＥＥＰＲＯＭ等の不揮発性メモリを含んで構成され、通話やメールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ１２は、読み上げ機能に必要なテキスト列を含む音声読み上げデータベースを記憶する。このデータベースでは、読み上げのためのテキスト列について、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ１２は、音声読み上げ機能の制御テーブル、重み付けテーブルを記憶する。
メモリ１２は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキスト」および「説明テキスト」を記憶する。
メモリ１２には、制御部１９においてＷｅｂ情報により抽出される表示オブジェクト（表示情報）と、表示オブジェクトを提供するサーバにて規定される表示規定（読み出し情報）とが対応付けられた形態で格納される。
また、メモリ１２には、制御部１９により複数の表示形式それぞれについて表示座標に対する補正値が格納される。
また、メモリ１２には、制御部１９により複数の表示サイズそれぞれについて表示座標に対する補正値が格納される。

キー操作部１３は、終了（終話）／電源キー、開始（発呼）キー、数字等に対応した複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザからの入力情報を制御部１９に出力する。
また、キー操作部１３の操作により、メモリ１２に記憶される音声読み上げ機能の制御テーブルの各項目の読み上げするか否か（ＯＮ／ＯＦＦ）を、制御部１９を通して設定可能である。

ダイヤル入力部１４は、図２（ｃ）に示すように、ユーザが開状態の携帯電話機１０を保持した時にユーザの親指により操作がしやすくなるように、表示側本体ケース１０２の側面に配設されるダイヤル式の入力部であり、上下２方向の操作が可能に構成される。
ダイヤル入力部１４に対する操作により、ユーザは、音声の出力音量やサブ表示部１５およびメイン表示部１６に表示する文字サイズを変更することが可能となる。
また、図２（ｃ）および（ｄ）から明らかなように、閉状態と開状態のダイヤル入力部１４を比較すると、上下２方向の操作方向が物理的に逆転することになるが、本実施形態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と操作に対する作用（たとえば、上述した音量変更や表示フォントサイズ（表示する文字サイズ）の変更）が常に一致するように、制御部１９により制御される。

サブ表示部１５は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ｃ）に示すように、閉状態においてユーザに視認される。
メイン表示部１６は、液晶表示装置（ＬＣＤ）等の表示デバイスを有し、図２（ａ）に示すように、開状態においてユーザに視認される。
サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、受信した電子メールのテキストやメモリ１２に格納された様々なテキストデータを表示する。
また、サブ表示部１５およびメイン表示部１６は、それぞれ閉状態および開状態において、制御部１９の制御の下、取得したＷｅｂ情報をメモリ１２に格納された表示規定（表示座標、表示形式、または／および表示サイズ）に従った形態で表示する。

また、たとえばメイン表示部１６には、制御部１９の制御の下、読み上げピクトが表示される。
この場合、メイン表示部１６は、制御部１９の制御の下、表示画像が、画面全体に画像が表示される再生方式（インタラクティブ再生方式）により表示される画像である場合に、読み上げピクトの表示を停止する（読み上げピクトを消灯する）。
一方、メイン表示部１６は、制御部１９の制御の下、表示画像が、インタラクティブ再生方式により表示される画像以外の画像である場合に、読み上げピクトを表示する。

音声処理部１７は、音声処理回路を有し、通話機能のために音声出力を行うスピーカ１７１と音声入力を行うマイクロフォン１７２とが接続されている。
音声処理部１７は、マイクロフォン１７２により収音した音声に対して所定の処理を行って制御部１９に供給する。また、音声処理部１７は、制御部１９により供給された音声情報に対して所定の処理を行ってスピーカ１７１から出力させる。
また、図２（ａ），（ｂ）に示すように、スピーカ１７１は、受話スピーカ１７１ａおよびリンガスピーカ１７１ｂの２箇所の音声出力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声処理部１７は、音声合成回路を有し、読み上げを行う際に、制御部１９においてメモリ１２から読み出され抽出されたテキストデータを音声データに変換して音声合成し、音声出力部である受話スピーカ１７１ａまたはリンガスピーカ１７１ｂにより音声出力させる。

読み上げキー操作部１８は、図２（ｂ）に示すように、表示側本体ケース１０２の中央に配設される押下式ボタン１８ａと、このボタンによるスイッチ入力に対する入力回路と、を含んで構成される。
前述したように本実施形態における携帯電話機１０は、読み上げ機能を有し、押下式ボタン１８ａが押下（操作）されると、たとえば閉状態にリンガスピーカ１７１ｂにより音声出力し、開状態では受話スピーカ１７１ａより音声出力するように制御部１９により制御される。

制御部１９は、マイクロコンピュータを主体として構成され、携帯電話機１の全体の制御を行う。たとえば、制御部１９は、通信処理部１１における各種情報の無線による送受信の制御、音声処理部１７に対する音声情報の処理、メイン表示部１６への情報の表示制御、キー操作部１３の入力情報に応じた処理、メモリ１２に対するアクセス制御等を行う。

制御部１９は、基本的にユーザによる押下式ボタン１８ａの操作がなされると、表示されるテキストの読み上げ機能を実行する。その際、読み上げ機能として、読み上げ用の音声データを出力する方式ではなく、テキスト列を抽出／生成してそのテキストを読み上げるテキスト読み上げ方式を用いている。

制御部１９は、ブラウザを起動し、ブラウザを用いて取得したＷｅｂ情報から表示オブジェクト（表示情報）と、この表示オブジェクトを提供するサーバ３０上のコンテンツごとに規定される表示規定を抽出し、表示オブジェクトと表示規定とを対応付けてメモリ１２に格納する。従って、制御部１９は、ブラウザと共に本発明の取得手段として機能する。
制御部１９は、ブラウザにより抽出した表示規定に準じて表示オブジェクトをメイン表示部１６あるいはサブ表示部１５に表示させる。従って、制御部１９は、ブラウザと共に本発明の表示手段として機能する。
制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声処理部１７の起動が要求されると、メモリ１２に格納される表示規定を参照して表示オブジェクトから抽出される文字列を音声処理部１７により音声に変換させる。

また、制御部１９は、取得したＷｅｂ情報をメイン表示部１６あるいはサブ表示部１５に表示している表示状態において、たとえば読み上げキー操作部１８の操作により音声処理部１７の起動が要求されると、メモリ１２に格納される表示オブジェクトをそれぞれの表示座標についてソートした上で音声処理部１７に音声への変換を行わせる。
制御部１９は、取得した読み上げ情報について、画面左上に表示されている文字から読み上げるように、メモリ１２に保持されている管理テーブル上の文字描画座標（Ｘ，Ｙ）をもとに、読み上げすべき情報のソートを行う。

制御部１９は、読み上げ動作時には、メイン表示部１６に、読み上げピクトを表示させ（点灯させ）、あるいはその表示を停止させる（消灯させる）。
この場合、制御部１９は、表示画像が、画面全体に画像が表示される再生方式（インタラクティブ再生方式）により表示される画像である場合に、読み上げピクトの表示を停止する（読み上げピクトを消灯する）ようにメイン表示部１６を制御する。従って、制御部１９は、本発明の通知画像表示手段として機能する。
一方、制御部１９は、表示画像が、インタラクティブ再生方式により表示される画像以外の画像である場合に、読み上げピクトを表示するようにメイン表示部１６を制御する。

図３（Ａ）〜（Ｃ）は、読み上げピクトの表示制御（点灯制御）の概要を示す図である。

本実施形態においては、制御部１９は、描画文字列を読み上げる際には読み上げピクト４０を表示させる（点灯させる）。
この状態で画面が、描画文字列が存在しないコンテンツ再生、すなわちインタラクティブ再生方式により画像を表示する場合、制御部１９は、図３（Ｂ）に示すように、読み上げピクト４０の表示を停止する（消灯させる）。
そして、画面が描画文字列を存在する画面に遷移する場合に、制御部１９は、図３（Ｃ）に示すように、読み上げピクトを表示させる（点灯させる）。

本実施形態においては、文字列の通知だけではなく、インタラクティブ再生の通知も読み上げピクト４０の表示制御の判断契機としている。
また、インタラクティブ中は一律文字列が存在しない仕様扱いにし、インタラクティブ通知がされた段階で読み上げピクト４０の消灯を行う。
インタラクティブ再生終了（画面遷移）のタイミングで読み上げピクト４０の点灯処理を行う。

また、制御部１９は、メモリ１２に複数の表示形式それぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示形式に応じてメモリ１２に格納した補正値にて補正した上で行う。

また、制御部１９は、メモリ１２に、複数の表示サイズそれぞれについて表示座標に対する補正値を格納する。そして、制御部１９は、表示オブジェクトのソートは、表示オブジェクトごとの表示サイズに応じて前記補正値にて補正した上で行う。

次に、上記構成による読み上げピクトの表示制御動作を図４に関連付けて説明する。
図４は、制御部１９による、本実施形態の読み上げピクトの表示制御動作を説明するためのフローチャートである。

この例では、アプリＡが起動されると（ＳＴ１１）、読み上げピクトを点灯する（ＳＴ１２）。このアプリＡとして、例えばブラウザを挙げることができる。
そして、画面が遷移され、インタラクティブ再生要求があるか否かの判定を行う（ＳＴ１３，ＳＴ１４）。
ステップＳＴ１４において、インタラクティブ要求がないと判定すると、アプリＡが終了するか否かの判定が行われる（ＳＴ１５）。

ステップＳＴ１５において、終了しないと判定すると、ステップＳＴ１３の処理に移行する。
一方、ステップＳＴ１５において、アプリＡが終了するものと判定すると、読み上げピクトを消灯させ、（ＳＴ１６）、アプリＡを終了させる（ＳＴ１７）。

ステップＳＴ１４において、インタラクティブ再生要求があると判定すると、読み上げピクト４０を消灯させ（ＳＴ１８）、インタラクティブ再生を行い（ＳＴ１９）、インタラクティブ再生画像を表示する。
画面遷移要求があり（ＳＴ２０）、インタラクティブ再生が終了すると（ＳＴ２１）、読み上げピクトを点灯させ（ＳＴ２２）、ステップＳＴ１３の処理に移行する。

以上説明したように、本実施形態によれば、メモリ１２と、文字列を音声に変換する音声処理部１７と、通信処理部１１によりネットワーク２０に接続されるサーバ３０から取得したＷｅｂ情報から表示オブジェクト（表示情報）を取得し、表示オブジェクトと表示規定（読み出し情報）を対応付けてメモリ１２に格納し、表示規定に準じて表示部１６，１５に表示させる制御部１９と、を有する。
そして、本実施形態において制御部１９は、読み上げ動作時には、メイン表示部１６に、読み上げピクトを表示させ（点灯させ）、あるいはその表示を停止させる（消灯させる）。この場合、制御部１９は、表示画像が、画面全体に画像が表示される再生方式（インタラクティブ再生方式）により表示される画像である場合に、読み上げピクトの表示を停止する（読み上げピクトを消灯する）ようにメイン表示部１６を制御し、表示画像が、インタラクティブ再生方式により表示される画像以外の画像である場合に、読み上げピクトを表示するようにメイン表示部１６を制御するように構成したことから、以下の効果を得ることができる。

画面全体に画像が表示される再生方式により表示される画像である場合に読み上げ通知画像を適切に消灯することが可能となる。
すなわち、明らかに読み上げることができないインタラクティブ再生中の画像にて読み上げピクトを消灯させることができる。
本実施形態においては、描画する画像情報中に読み上げるべき文言があるか否かを解析するのではなく、画像の表示方式を検知するのみで適切な読み上げピクトの表示制御を行うことができる。

なお、以上説明したような音声読み上げ処理は、端末装置（コンピュータ）で読み出し可能な記録媒体、半導体記憶装置（メモリ）、光ディスク、ハードディスク等に音声読み上げプログラムとして記録され、端末装置で読み出されて実行される。

本実施形態に係る電子機器としての携帯電話機のシステム構成の一例を図解したブロック図である。 携帯電話機の外観の一例を図解した図であり、（ａ）は開状態での正面の外観図を、（ｂ）は閉状態での正面の外観図を、（ｃ）は開状態での側面の外観図を、（ｄ）は閉状態での側面の外観図を、それぞれ示す。 本実施形態の読み上げピクトの表示制御（点灯制御）の概要を示す図である。 本実施形態の読み上げピクトの表示制御動作を説明するためのフローチャートである。 読み上げピクトの点灯、消灯処理フローを示す図である。 読み上げピクトが常時点灯することをするための図である。 インタラクティブ再生中に読み上げピクトが点灯するという課題を説明するための図である。

符号の説明

１０・・・携帯電話機、１００・・・本体ケース、１０１・・・キー入力側本体ケース、１０２・・・表示側本体ケース、１１・・・通信処理部、１１１・・・送受信アンテナ、１２・・・メモリ、１３・・・キー操作部、１４・・・ダイヤル入力部、１５・・・サブ表示部、１６・・・メイン表示部、１７・・・音声処理部、１７１・・・スピーカ、１７２・・・マイクロフォン、１８・・・読み上げキー操作部、１９・・・制御部、４０・・・読み上げピクト。

Claims (1)

1. 表示情報を表示する表示手段と、
   前記表示情報を表示した際、音声読み上げが可能であることを示す通知画像を前記表示手段に表示するように制御する制御手段と、を有し、
   前記制御手段は、前記表示手段に表示される画像の再生方式が変更されると、当該再生方式に基づき、前記通知画像を表示するか否かの表示制御を行う
   電子機器。

Images