JP5062669B2 - 電子機器及びその制御方法 - Google Patents

Description

本発明は、再生プログラムにより画像や音声データの再生が可能であり、かつ音声読み上げ機能を有する電子機器及びその制御方法に関する。

近年、携帯通信端末が高機能化しており、通話機能以外にも、カメラ機能や、音楽再生機能、動画再生機能、テレビ或いはラジオ番組視聴機能、ナビゲーション機能等を実行可能であるものが増えてきている。
特に、インターネット等のネットワークに接続して情報を入手し、表示するウェブブラウザ機能を有する携帯通信端末は一般化しており、携帯通信端末を対象としたウェブサービスが充実してきている。

ウェブサービスの１つとして、ウェブページ内に画像或いは音声を埋め込み、埋め込まれたページが閲覧された際に当該画像或いは音声を再生する手法がある。ウェブブラウザ機能は、埋め込まれた画像或いは音声データを再生するための機能を有していない場合があるため、再生プログラム（プラグインプログラムとも称する）を使用して当該画像或いは音声データの再生を行う。
プラグインとは、メインのプログラムがサブルーチンを読み出して処理を進める際に、本来のサブルーチンを実行する代わりに、処理内容の詳細が異なるサブルーチン（例えば、外部のプログラムのサブルーチン）に差し替えて実行することである。換言すると、プラグインプログラムとは、メインのプログラムに追加されるプログラムを含むものである。以下では、ウェブブラウザプログラムの実行中に外部のプログラム、例えば画像や音声を読み込んで再生・表示を行うプラグインプログラムをサブルーチンで動作させ、ウェブブラウザ内に画像や音声を再生するプラグイン再生ウインドウを表示する機能をプラグイン再生と称する。

ところで、近年携帯通信端末に搭載されている機能として、音声読み上げ機能がある。音声読み上げ機能とは、例えば、メールの本文やウェブブラウザに表示された文字列等を、音声として再生する機能であり、読み上げるべき文字列を認識し、音声出力部等が音声として出力することにより実現される。
音声読み上げ機能については、例えば特許文献１及び２に開示されている。
特開平１１−２４９８６７号公報 特開２００６−２０１９７７号公報

特許文献１には、ウェブページ上の各種情報を音声により出力することが可能な音声ブラウザシステムが開示されている。
特許文献２には、ウェブ情報から表示オブジェクトを抽出し、表示オブジェクトから抽出される携帯端末装置、およびその音声読み上げ方法、並びに音声読み上げプログラムが開示されている。

ここで、上述した特許文献１及び２に開示された音声読み上げ機能を有する携帯通信端末において、プラグイン再生機能と、音声読み上げ機能とを、同一の処理チップ（例えば音声再生チップ等）で実行する場合がある。この場合、プラグイン再生ウインドウを有するウェブページを閲覧し、同時に当該ウェブページの音声読み上げを実行させようとすると、同一の処理チップでこれらを同時に処理することは出来ないため、どちらかの機能を停止させる必要が生じる。

音声読み上げ機能に関しては、新規のウェブページ表示と同時に音声読み上げが始まっては不自然である、という観点から、ウェブページ表示後、所定時間（例えば１秒）経過後に音声読み上げを開始するように設定されている場合がある。このような場合、かつ、プラグイン再生を停止させ音声読み上げを優先させる設定とした場合、新規にプラグイン再生ウインドウを有するウェブページが表示された際、まずプラグイン再生が開始されるが、音声読み上げ機能のほうが優先される設定であるため、音声読み上げ機能が開始される所定時間経過時までプラグイン再生が行われ、この後プラグイン再生機能が停止し音声読み上げ機能が実行されることになる。
すなわち、新規ウェブページ表示後、所定時間だけプラグイン再生の画像・音声再生が行われた後に音声再生が行われるため、ユーザに多大な違和感を与えてしまう、という不利益があった。
このような不利益は、複数の処理チップにより処理を分散させることにより容易に解消が可能であるが、複数の処理チップ搭載は消費電力量の増大や、コスト上昇等の原因となるため、実現されないことが多い。

本発明は上記した不利益を解消するためになされたものであり、所定時間だけ画像や音声の再生が実行されることによる違和感をユーザに与えない電子機器及びその制御方法を提供することを目的とする。

上記した課題を解決するために、第１の発明の電子機器は、再生プログラムにより再生される画像及び／または第１の音声データを含む画面を表示可能な表示部と、音声読み上げのための第２の音声データを記憶する記憶部と、前記記憶部に記憶された前記第２の音声データを使用して、前記表示部に表示された画面から抽出された音声読み上げ可能な文字列の音声読み上げを、前記表示部が前記画面を表示した所定時間後に実行開始する音声出力部と、制御部と、を有し、前記制御部は、前記再生プログラムにより再生される前記画像及び／または第１の音声データを含む画面を前記表示部に表示させる際に、当該画面に音声読み上げ可能な文字列が存在するか否かを判定し、音声読み上げ可能な文字列が存在すると判定した場合には、当該画面が表示されてから当該文字列の音声読み上げが終了するまでの間、前記再生プログラムによる前記画像及び第１の音声データの再生を停止する。

好適には、ウェブサーバと通信を行いウェブページデータを取得する通信部をさらに有し、前記制御部は、前記通信部が取得したウェブページデータが前記再生プログラムにより再生される画像及び／または第１の音声データを含むか否かの判定を行い、含むと判断した場合には、前記再生プログラムにより再生可能な画像及び／または第１の音声データを再生させずに当該ウェブページを前記表示部に表示させる。

第２の発明の電子機器の制御方法は、再生プログラムにより再生される画像及び／または第１の音声データを含む画面を表示可能であり、かつ当該画面から抽出された音声読み上げ可能な文字列の音声読み上げが可能である電子機器の制御方法であって、前記再生プログラムにより再生される前記画像及び／または第１の音声データを含む画面を表示させる際に、当該画面に音声読み上げ可能な文字列が存在するか否かを判定する工程と、前記工程において音声読み上げ可能な文字列が存在すると判定された場合には、当該画面が表示されてから当該文字列の音声読み上げが終了するまでの間、前記再生プログラムによる前記画像及び第１の音声データの再生を停止させる工程と、を有する。

本発明によれば、所定時間だけ画像や音声の再生が実行されることによる違和感をユーザに与えない電子機器及びその制御方法を提供することができる。

以下、本発明の電子機器の一例として、携帯端末１００について説明する。
本実施形態の携帯端末１００は、例えば携帯電話機である。
図１は、携帯端末１００の構成の一例を示す図である。
図１に示すように、携帯端末１００は、通信部１、記憶部２、表示部３、入力部４、音声出力部５、制御部６を有する。

通信部１は、図１に図示しない基地局等を介して、公衆ネットワークと通信を行い、データの送受信を行う無線通信ユニットである。通信部１が送受信を行うデータとしては、例えば、携帯端末１００の音声通話時の音声データや、ウェブブラウジング時のウェブページデータ等である。
記憶部２は、携帯端末１００の各種動作に必要なデータを記憶するメモリであり、例えば、ＳＲＡＭ（Static Random Access Memory）等により構成される。記憶部２に記憶されるデータは、例えば、携帯端末１００の各種動作を実行するためのプログラム、後述するウェブブラウジング時のプラグイン再生機能を実行するための、本発明の再生プログラムとしてのプラグインプログラム、音声通話やメール送受信用のアドレス帳データ、後述する音声読み上げ機能の実行に必要な音声データ等である。

表示部３は、携帯端末１００の各種動作にかかわる表示を行うための表示デバイスであり、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electro luminescence）パネル等により構成される。表示部３は、後述する表示制御部６１によって制御され、表示を行う。表示部３は、例えば音声発着信時の発着信画面、音声通話時の音声通話画面、ウェブブラウジング時のウェブブラウザ画面、メール作成画面やメール受信画面等である。
入力部４は、携帯端末１００に対する各種入力を受け付ける入力デバイスであり、例えば、十字キーやテンキー、タッチパネル等により構成される。

音声出力部５は、携帯端末１００の各種音声出力を行うための音声出力デバイスであり、例えば、音声出力用の音声データをＤ／Ａ（デジタル／アナログ）変換してアナログの音声信号を出力し、スピーカやヘッドホン・イヤホンを接続するための端子から出力する。音声出力部５は、後述する音声出力制御部６２の制御のもと音声出力を行う。

制御部６は、携帯端末１００の各種構成を統括的に制御するための制御デバイスであり、例えばＣＰＵ（Central Processing Unit）等により構成される。
制御部６は、表示制御部６１と音声出力制御部６２とをさらに有する。
表示制御部６１は、表示部３に表示を実行させるための制御を行うブロックである。
音声出力制御部６２は、音声出力部５に音声出力を実行させるための制御を行うブロックである。
制御部６は、携帯端末１００の各種構成を制御し、以下のような機能を実行可能である。すなわち、例えば、音声通話機能、メール送受信機能、ウェブブラウジング機能、音声読み上げ機能等である。

音声通話機能実行時には、制御部６は、図１に図示しない基地局に対する発信処理、或いは基地局からの着信処理を通信部１に実行させ、基地局との通信を確立し、図１に図示しないマイク等の音声入力デバイス等を介して取得した音声データに符号化等の処理を施して基地局に対して送信させる、或いは、通信部１が基地局から取得した音声データをデコードし、音声出力制御部６２が音声出力部５に再生・出力させる。

メール送受信機能実行時には、表示制御部６１がメール編集画面を表示部３に表示させて入力されたメールデータ（送信先アドレス、タイトル及び本文のテキストデータ、添付データ等を含む）を、制御部６が通信部１に送信させる。或いは、制御部６は通信部１を介してメールサーバからメールデータを取得し、表示制御部６１が表示部３に表示させる。

ウェブブラウジング機能実行時には、制御部６は、入力部４を介したユーザの入力等に応じて、ウェブブラウジング機能を実行する。この際、ウェブページ内にプラグイン再生用の画像・音声データが存在した場合、表示制御部６１が画像データをウェブページ上で再生させるためのウインドウを含むウェブページを表示部３に表示させると共に、音声出力制御部６２が音声データを音声出力部５に出力させる。なお、プラグイン再生用のデータは、本実施形態の携帯端末１００においては、当該プラグイン再生用データを含むウェブページデータが表示されたタイミングで再生が開始される。

プラグイン再生の一例について説明する。
図２は、本実施形態の携帯端末１００において、表示制御部６１がプラグイン再生される画像データを含むウェブページデータを表示部３に表示させた場合の画面構成の一例を示した図である。
図２に示すように、ウェブページ画面２００内に、プラグイン再生用のプラグイン再生ウインドウ２０１が表示されている。プラグイン再生ウインドウ２０１内において、プラグイン再生用の画像データが再生される。例えば、動画データの場合は、ウェブページ画面２００が表示されると同時に、プラグイン再生ウインドウ内においてプラグイン再生用の動画データが再生・表示される。

音声読み上げ機能実行時には、制御部６は、入力された音声読み上げ用のテキスト（文字列）データを取得し、音声出力制御部６２が音声出力部５にテキストデータの読み上げを行わせる。音声読み上げ用の音声データは、例えば記憶部２に単語・熟語・或いは単音で予め記憶されている。制御部６は入力された文字列データを例えば品詞や文節ごとに区切り、区切られた品詞・文節に適合する音声データがあるか否かを検索し、適合する品詞・文節がある場合は、音声出力制御部６２が当該音声データを音声出力部５に再生・出力させ、適合する音声データがない場合は単音ごとの音声データを組み合わせて再生・出力させる。
音声読み上げ機能は、携帯端末１００の様々な機能の実行時に並列動作を行うことが可能である。すなわち、メール送受信機能実行中に、メールサーバから受信し、表示部３に表示されたメールの本文や送信元アドレス等を音声読み上げしたり、ウェブブラウジング機能実行中に表示部３に表示されたコンテンツの文字列部分、或いは例えばリンク先ＵＲＩ（Uniform Resource Identifier）、予めコンテンツ内の画像データ等に設定されたキャプション等のテキストデータ等を音声読み上げしたりすることが可能である。

特に、ウェブブラウジング中に音声読み上げ機能が実行される場合には、制御部６は通信部１がウェブサーバから取得したウェブページデータ内の音声読み上げ可能な文字列を抽出し、当該文字列を品詞・文節ごとに区切り、音声出力制御部６２が適合する音声データを音声出力部５に再生・出力させる。
なお、本実施形態の携帯端末１００においては、音声読み上げ機能は音声読み上げされる対象が表示部３に表示されてから所定時間（例えば１秒）経過後に音声読み上げ開始されるように予め設定されている。すなわち、例えばウェブブラウジング時の音声読み上げでは、ウェブページが表示部３に表示されてから例えば１秒後に、音声出力制御部６２は音声出力部５に音声読み上げを開始させる。

次に、制御部６がプラグイン再生用のデータを含むウェブページを表示するためのウェブブラウジング機能と、当該ウェブページの音声読み上げ機能を同時に実行する場合について説明する。
上述したように、本実施形態の携帯端末１００では、音声読み上げ機能は他の機能実行時にでも実行可能となっているため、プラグイン再生用のデータを含むウェブページを表示するためのウェブブラウジング機能と、当該ウェブページの音声読み上げ機能とを制御部６が同時に実行する場合も起こりうる。
このような場合、プラグイン再生用の画像・音声データの再生と音声読み上げとが音声出力部５に同時に要求されることになるが、同時に再生・出力を行うことは不可能であるため、本実施形態の携帯端末１００では、音声読み上げを優先して行う設定とする。すなわち、プラグイン再生用の画像・音声データを含むウェブページの表示と、当該ウェブページの音声読み上げとが同時に実行される場合、音声読み上げが先に実行されてから、プラグイン再生が実行されるように設定されている。

図３に、本実施形態の携帯端末１００におけるウェブブラウジング機能起動時の動作例を示す。
図３は、本実施形態の携帯端末１００における、ウェブブラウジング機能起動時の動作例を示すフローチャートである。

ステップＳＴ１：
制御部６は、通信部１を介して、ウェブサーバからウェブページデータを取得する。取得する対象となるウェブページデータは、入力部４等を介してユーザにより指定されたウェブページのデータである。
ステップＳＴ２：
制御部６は、ステップＳＴ１において取得したウェブページデータ内にプラグイン再生用のデータ（画像データ、音声データ、或いは両方）が存在するか否かを判定する。プラグイン用のデータが存在する場合はステップＳＴ３に進み、プラグ引用のデータが存在しない場合はステップＳＴ１０に進む。

ステップＳＴ３：
表示制御部６１は、ステップＳＴ１において取得したウェブページデータを基に、表示部３にウェブページを表示させる。なお、本ステップＳＴ３においては、例えウェブページデータ内にプラグイン用のデータが存在したとしても、その再生は実行しない。
ステップＳＴ４：
制御部６は、音声読み上げ機能がオンになっているか否かの判定を行う。音声読み上げ機能は、例えば入力部４を介したユーザの入力等により、行うか行わないかを自由に設定できるようになっている。この設定は、例えば記憶部２に設定データとして記憶される。制御部６はこの設定データを参照し、音声読み上げ機能がオンであるか否かの判定を行う。音声読み上げ機能がオンに設定されていた場合はステップＳＴ５に進み、オンに設定されていなかった場合はステップＳＴ９に進む。

ステップＳＴ５：
制御部６は、ステップＳＴ１において取得したウェブページ内に音声読み上げが可能な文字列が存在するか否かの判定を行う。ウェブページ内に音声読み上げが可能な文字列が存在するか否かの判定は、ウェブページデータ内の各文字列がどの言語（英語、日本語、ＨＴＭＬ言語、それ以外等）で書かれているかを判定し、英語或いは日本語等、音声読み上げ可能な言語で記述された文字列が存在した場合に、読み上げ可能な文字列が存在すると判定することにより行う。本ステップＳＴ５において、音声読み上げ可能な文字列が存在すると判定された場合はステップＳＴ６に進み、そうでない場合はステップＳＴ９に進む。
ステップＳＴ６：
制御部６は、ステップＳＴ３のウェブページデータ表示から、音声読み上げの開始まで、予め設定された所定時間だけ待機する。待機する所定時間は、ウェブページの表示と同時に音声読み上げが開始されることに起因する違和感をユーザに与えないための時間であり、予め設定され記憶部２に記憶されている。本実施形態では、待機する所定時間は例えば１秒間とするが、１秒以外の時間であってもよい。

ステップＳＴ７：
音声出力制御部６２は、記憶部２に記憶された音声読み上げ用の音声データを使用して、ステップＳＴ５において判定された音声読み上げ可能な文字列を音声読み上げし、音声出力部５に出力させる。
ステップＳＴ８：
音声出力制御部６２は、ウェブページデータ内の音声読み上げ可能な文字列をすべて読み上げたら、音声読み上げ機能を終了する。

ステップＳＴ９：
制御部６は、ステップＳＴ８における音声読み上げ機能の終了に応じて、表示中のウェブページ内のプラグイン再生を開始する。すなわち、表示制御部６１はプラグイン再生用のデータが画像データであった場合には当該画像データを表示部３に表示させ、プラグイン再生用のデータが音声データであった場合には、音声出力制御部６２が当該音声データを音声出力部５に再生・出力させる。
このようにすることにより、プラグイン再生用のデータを含むウェブページの表示と、音声読み上げとが同時に実行される場合でも、音声読み上げが開始されるまでの所定時間内だけプラグイン再生が実行されてしまい、ユーザに違和感を与えてしまう不利益を解消することができる。

ステップＳＴ１０：
表示制御部６１は、ステップＳＴ１において取得したウェブページデータを基に、表示部３にウェブページを表示させる。なお、本ステップＳＴ１０においては、例えウェブページデータ内にプラグイン用のデータが存在したとしても、その再生は実行しない。
ステップＳＴ１１：
制御部６は、音声読み上げ機能がオンになっているか否かの判定を行う。音声読み上げ機能は、例えば入力部４を介したユーザの入力等により、行うか行わないかを自由に設定できるようになっている。この設定は、例えば記憶部２に設定データとして記憶される。制御部６はこの設定データを参照し、音声読み上げ機能がオンであるか否かの判定を行う。音声読み上げ機能がオンに設定されていた場合はステップＳＴ１２に進み、オンに設定されていなかった場合は処理を終了する。

ステップＳＴ１２：
制御部６は、ステップＳＴ１において取得したウェブページ内に音声読み上げが可能な文字列が存在するか否かの判定を行う。ウェブページ内に音声読み上げが可能な文字列が存在するか否かの判定は、ウェブページデータ内の各文字列がどの言語（英語、日本語、ＨＴＭＬ言語、それ以外等）で書かれているかを判定し、英語或いは日本語等、音声読み上げ可能な言語であった場合に、読み上げ可能な文字列が存在すると判定することにより行う。本ステップＳＴ１２において、音声読み上げ可能な文字列が存在すると判定された場合はステップＳＴ１３に進み、そうでない場合は処理を終了する。
ステップＳＴ１３：
制御部６は、ステップＳＴ１０のウェブページデータ表示から、音声読み上げの開始まで、予め設定された所定時間だけ待機する。待機する所定時間は、ウェブページの表示と同時に音声読み上げが開始されることに起因する違和感をユーザに与えないための時間であり、予め設定され記憶部２に記憶されている。

ステップＳＴ１４：
音声出力制御部６２は、記憶部２に記憶された音声読み上げ用の音声データを使用して、ステップＳＴ１２において判定された音声読み上げ可能な文字列を音声読み上げし、音声出力部５に出力させる。
ステップＳＴ１５：
音声出力制御部６２は、ウェブページデータ内の音声読み上げ可能な文字列をすべて読み上げたら、音声読み上げ機能を終了する。

以上説明したように、本実施形態の携帯端末１００によれば、ウェブブラウジング機能実行中に、プラグイン再生用のデータを含むウェブページを表示する際、音声読み上げ機能がオンになっている場合でも、音声読み上げ機能により音声読み上げが開始されるまでの所定時間内と、音声読み上げ中はプラグイン再生を完全に停止するようにしたため、プラグイン再生用のデータを含むウェブページの表示と、音声読み上げとが同時に実行される場合でも、音声読み上げが開始されるまでの所定時間内だけプラグイン再生が実行されてしまい、ユーザに違和感を与えてしまう不利益を解消することができる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

上述した実施形態では、プラグイン再生用のデータを含むウェブページ表示時に音声読み上げ機能がオンであった場合に、音声読み上げ開始までの所定時間と音声読み上げ中はプラグイン再生を停止する例について説明したが、本発明はこれには限定されない。プラグイン再生用のデータを含み、かつ音声読み上げの対象となる文字列を含むデータが表示される場合でも、本発明は適用可能である。すなわち、例えば、メール送受信機能において、受信したメールにプラグイン再生用のデータが含まれている際に、音声読み上げ機能がオンであった場合、音声読み上げ機能によってメール内の音声読み上げ対象となる文字列の音声読み上げが終了するまでプラグイン再生を停止するようにしてもよい。

また、上述した実施形態では、本発明の電子機器の一例として携帯端末１００について説明したが、本発明はこれには限定されない。すなわち、本発明の電子機器は、携帯電話機等の携帯端末以外でも、プラグイン再生用のデータを含むコンテンツデータを再生可能な機能と、当該コンテンツデータの文字列部分を音声読み上げすることが可能な音声読み上げ機能を有する全ての電子機器に適用が可能である。すなわちデスクトップ型のＰＣ（Personal Computer）等にも適用が可能することができる。

図１は、本実施形態の携帯端末の構成の一例を示す図である。 図２は、本実施形態の携帯端末において、表示制御部がプラグイン再生される画像データを含むウェブページデータを表示部に表示させた場合の画面構成の一例を示した図である。 図３は、本実施形態の携帯端末における、ウェブブラウジング機能起動時の動作例を示すフローチャートである。

符号の説明

１００…携帯端末、１…通信部、２…記憶部、３…表示部、４…入力部、５…音声出力部、６…制御部、６１…表示制御部、６２…音声出力制御部

Claims (3)

1. 再生プログラムにより再生される画像及び／または第１の音声データを含む画面を表示可能な表示部と、
   音声読み上げのための第２の音声データを記憶する記憶部と、
   前記記憶部に記憶された前記第２の音声データを使用して、前記表示部に表示された画面から抽出された音声読み上げ可能な文字列の音声読み上げを、前記表示部が前記画面を表示した所定時間後に実行開始する音声出力部と、
   制御部と、
   を有し、
   前記制御部は、前記再生プログラムにより再生される前記画像及び／または第１の音声データを含む画面を前記表示部に表示させる際に、当該画面に音声読み上げ可能な文字列が存在するか否かを判定し、音声読み上げ可能な文字列が存在すると判定した場合には、当該画面が表示されてから当該文字列の音声読み上げが終了するまでの間、前記再生プログラムによる前記画像及び第１の音声データの再生を停止する
   ことを特徴とする電子機器。
2. ウェブサーバと通信を行いウェブページデータを取得する通信部
   をさらに有し、
   前記制御部は、前記通信部が取得したウェブページデータが前記再生プログラムにより再生される画像及び／または第１の音声データを含むか否かの判定を行い、含むと判断した場合には、前記再生プログラムにより再生可能な画像及び／または第１の音声データを再生させずに当該ウェブページを前記表示部に表示させる
   ことを特徴とする請求項１に記載の電子機器。
3. 再生プログラムにより再生される画像及び／または第１の音声データを含む画面を表示可能であり、かつ当該画面から抽出された音声読み上げ可能な文字列の音声読み上げが可能である電子機器の制御方法であって、
   前記再生プログラムにより再生される前記画像及び／または第１の音声データを含む画面を表示させる際に、当該画面に音声読み上げ可能な文字列が存在するか否かを判定する工程と、
   前記工程において音声読み上げ可能な文字列が存在すると判定された場合には、当該画面が表示されてから当該文字列の音声読み上げが終了するまでの間、前記再生プログラムによる前記画像及び第１の音声データの再生を停止させる工程と、
   を有することを特徴とする電子機器の制御方法。

Images