JP4201641B2

JP4201641B2 - Mail receiving device

Info

Publication number: JP4201641B2
Application number: JP2003136277A
Authority: JP
Inventors: 優晃中江
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-05-14
Filing date: 2003-05-14
Publication date: 2008-12-24
Anticipated expiration: 2023-05-14
Also published as: JP2004341740A

Description

【０００１】
【発明の属する技術分野】
本発明は、メール受信装置に関し、特に、動画の画像データと共にメールの受信が可能なメール受信装置に関する。
【０００２】
【従来の技術】
従来、静止画や動画とともに、メッセージを通信できる携帯電話が広く用いられている。このような携帯電話において、画像とメッセージとをユーザにとってよりわかりやすく表示することが重要な課題となっている。
【０００３】
たとえば、画像と共に送信されたメッセージを表示する場合、画像とメッセージとを同時に表示するなどの工夫が用いられている。
【０００４】
具体的には、特許文献１には、電子メールに画像データが添付されている場合、画像データ上に電子メールのメッセージを表示させる携帯電話が開示されている。
【０００５】
【特許文献１】
特開２００２−２８８０８２公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示されているような、画像データ上にメッセージを表示する場合においては、一度に表示画面上に表示できる文字数が限られているため、たとえばユーザのキー操作に基づいたスクロール処理などの対応が必要となる。この場合、ユーザは、スクロール処理と、本文を読む動作と、画像を見聞する動作とを一度にこなさねばならず、メッセージが読みにくくなるという問題がある。この問題は、画像が動画の場合、特に顕著になる。
【０００７】
本発明は上述の問題点を解決するためになされたものであって、その目的は、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、メール受信装置は、通信文を表わす文データおよび動画を表わす動画ファイルを、メールとして受信できるメール受信装置である。メール受信装置は、文データおよび動画ファイルを記憶するための記憶手段と、文を、少なくとも一部について自動的に、スクロール表示するための第１の表示手段と、動画を表示するための第２の表示手段と、文が表示される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための制御手段とを含む。
【０００９】
すなわち、記憶手段は、文データおよび動画ファイルを記憶する。第１の表示手段は、文を、少なくとも一部について自動的に、スクロール表示する。第２の表示手段は、動画を表示する。制御手段は、文が表示される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、第１の表示手段および第２の表示手段のいずれかを制御する。これにより、動画が表示される時期の少なくとも一部において、文が、少なくとも一部について自動的に、スクロール表示される。その結果、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することができる。
【００１０】
また、上述の制御手段は、文が表示される時期および動画が表示される時期の一方が、他方のすべてに重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１１】
すなわち、制御手段は、文が表示される時期および動画が表示される時期の一方が、他方のすべてに重なるように、第１の表示手段および第２の表示手段のいずれかを制御できる。これにより、動画が表示される時期に、文がより的確にスクロール表示される。その結果、動画を見ると共に文の内容を知ることがより的確かつ容易なメール受信装置を提供することができる。
【００１２】
また、上述の制御手段は、文が表示される時期および動画が表示される時期が、それぞれの開始時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１３】
すなわち、制御手段は、文が表示される時期および動画が表示される時期が、それぞれの開始時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御できる。これにより、動画が表示される時期の開始時において、文が表示される。その結果、動画を見ると共に文の内容を知ることが、さらに的確かつ容易なメール受信装置を提供することができる。
【００１４】
また、上述の記憶手段は、動画のいずれかの時点の特定画像と文を構成する文字のいずれかである特定文字との対応関係を表わす対応情報を記憶するための手段をさらに含むことが望ましい。併せて、制御手段は、対応情報に基づいて、文が表示される時期のうち特定文字が表示される時期と、動画が表示される時期のうち特定画像が表示される時期とが重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１５】
すなわち、記憶手段は、動画のいずれかの時点の特定画像と文を構成する文字のいずれかである特定文字との対応関係を表わす対応情報を記憶する。制御手段は、対応情報に基づいて、文が表示される時期のうち特定文字が表示される時期と、動画が表示される時期のうち特定画像が表示される時期とが重なるように、第１の表示手段および第２の表示手段のいずれかを制御することができる。これにより、制御手段は、動画が表示される時期のいずれかにおいて、特定文字が表示されるように、第１の表示手段および第２の表示手段のいずれかを制御できる。その結果、動画を見ると共に文の内容を知ることが、より容易なメール受信装置を提供することができる。
【００１６】
また、上述のメール受信装置は、情報を入力するための入力手段をさらに含むことが望ましい。併せて、制御手段は、入力手段に所定の情報が入力されたことに応答して、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１７】
すなわち、入力手段は、情報を入力する。これにより、制御手段は、所定の情報が入力されたことに応答して、第１の表示手段および第２の表示手段のいずれかを制御できる。その結果、所定の情報が入力された場合に、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することができる。
【００１８】
また、上述のメール受信装置は、情報を入力するための入力手段をさらに含むことが望ましい。併せて、第１の表示手段は、入力手段に入力された情報に基づいて定められる方向に、文をスクロール表示するための手段を含むことが望ましい。
【００１９】
すなわち、入力手段は、情報を入力する。これにより、第１の表示手段は、入力手段に入力された情報に基づいて定められる方向に、文をスクロール表示できる。その結果、動画を見ると共に、入力された情報に基づいて定められる方向にスクロール表示される文の内容を知ることが容易なメール受信装置を提供することができる。
【００２０】
また、上述のメール受信装置は、情報を入力するための入力手段と、入力手段に入力された情報に基づいて、動画の、表示速度および表示の順逆のいずれかを決定するための決定手段とをさらに含むことが望ましい。
【００２１】
すなわち、入力手段は、情報を入力する。決定手段は、入力手段に入力された情報に基づいて、動画の、表示速度および表示の順逆のいずれかを決定できる。これにより、表示速度および表示の順逆のいずれかが決定された動画が、第２の表示手段によって表示される時期の少なくとも一部において、文が表示される。その結果、表示速度および表示の順逆のいずれかが決定された動画を見ると共に文の内容を知ることが容易で、かつより便利なメール受信装置を提供することができる。
【００２２】
また、上述のメール受信装置は、予め特定された動画の表示時間に基づいて、文の表示時間を特定するための特定手段をさらに含むことが望ましい。併せて、制御手段は、動画の表示時間および文の表示時間に基づいて、文が表示される時期および動画が表示される時期が、それぞれの終了時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００２３】
すなわち、特定手段は、予め特定された動画の表示時間に基づいて、文の表示時間を特定できる。制御手段は、動画の表示時間および文の表示時間に基づいて、文が表示される時期および動画が表示される時期が、それぞれの終了時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御できる。これにより、文が表示される時期および動画が表示される時期が、終了時において重なるように、第１の表示手段および第２の表示手段のいずれかをより容易に制御できる。その結果、動画を見ると共に文の内容を知ることがより容易なメール受信装置を提供することができる。
【００２４】
本発明の他の局面に従うと、メール受信装置は、通信文を表わす文データおよび動画を表わす動画ファイルを、メールとして受信できるメール受信装置である。メール受信装置は、文データおよび動画ファイルを記憶するための第１の記憶手段と、音声を表わす音声データを記憶するための第２の記憶手段と、文データおよび音声データに基づいて、通信文に対応する音声を出力するための出力手段と、動画を表示するための表示手段と、発音が出力される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、出力手段および表示手段のいずれかを制御するための制御手段とを含む。
【００２５】
すなわち、第１の記憶手段は、文データおよび動画ファイルを記憶する。第２の記憶手段は、音声を表わす音声データを記憶する。出力手段は、文データおよび音声データに基づいて、通信文に対応する音声を出力する。表示手段は、動画を表示する。制御手段は、発音が出力される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、出力手段および表示手段のいずれかを制御する。これにより、制御手段は、動画が表示される時期の少なくとも一部において、通信文に対応する音声を出力することができる。その結果、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することができる。
【００２６】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００２７】
＜第１の実施の形態＞
以下、本発明の第１の実施の形態に係る携帯電話について説明する。
【００２８】
図１を参照して、本実施の形態に係る携帯電話１は、制御回路２と、無線回路３と、スピーカ４と、キーパッド５と、ディスプレイ６と、メモリ７と、マイクロフォン８とを含む。制御回路２は、携帯電話１の全体の制御および動画とともに送信されるメールの処理を担当する。無線回路３は、他の携帯電話との間でメールを通信する。スピーカ４は、データを音声に変換して出力する。キーパッド５は、ユーザの命令などの入力を受付ける。ディスプレイ６は、画像とメッセージを表わす文（以下、「メッセージ」と称する）とを表示する。メモリ７は、動画を表わす動画ファイル、メッセージに関するデータを含むメッセージデータ、およびメールのプロパティを表わすプロパティデータを記憶する。これらのデータは、画像付きメールとして送信されたデータである。マイクロフォン８は、入力されたデータを、音声に変換できる状態で出力する。制御回路２は、第１カウンタ、第２カウンタ、およびタイマ（いずれも図示せず）を含む。第１カウンタおよび第２カウンタは、ディスプレイ６に表示させる画像および文字をそれぞれ特定するパラメータを特定する。タイマは、画像および文字の表示時間を計測する。
【００２９】
図２を参照して、ディスプレイ６は、動画表示領域６１と、文字表示領域６２とを含む。動画表示領域６１は、動画およびメールの一覧表を表示する領域である。文字表示領域６２は、メッセージを表示する領域である。メッセージデータは、通信文を表わす文データと、通信文の文字数を表わすデータとを含む。プロパティデータは、全再生時間を表わすデータと、動画の全フレーム数を表わすデータとを含む。
【００３０】
なお、いうまでもなく、携帯電話１の形態は、図１または図２に示される具体例に限定されるものではない。図１または図２に記載されない他の機能が含まれてもよいし、図１または図２に記載されている機能の必ずしもすべてが含まれていなくても構わない。たとえば、携帯電話１は、マイクロホン８を含まなくてもよい。
【００３１】
図３を参照して、携帯電話１で実行されるプログラムは、メールの選択と表示とに関し、以下のような制御構造を有する。
【００３２】
ステップ１００（以下、ステップをＳと略す。）にて、制御回路２はディスプレイ６の動画表示領域６１にメール一覧表を表示させる。Ｓ１０２にて、制御回路２は、メール一覧の中から選択されたメールの、メッセージデータ、動画ファイル、およびプロパティデータを呼出す。
【００３３】
Ｓ１０４にて、制御回路２は、メモリ７から呼出したデータに動画ファイルが含まれているか否かを判断する。もし動画ファイルが含まれていると判断した場合には（Ｓ１０４にてＹＥＳ）、処理はＳ１０８へと移される。もしそうでないと（Ｓ１０４にてＮＯ）、処理はＳ１０６へと移される。
【００３４】
Ｓ１０６にて、制御回路２は、メモリ７から呼出した文データを、ディスプレイ６に出力する。ディスプレイ６は、文字表示領域６２に、文データに対応する文字を表示する。Ｓ１０８にて、制御回路２は、速度およびタイミングの設定を実施する。Ｓ１１０にて、制御回路２は、動画の再生および文データの表示を実施する。
【００３５】
図４を参照して、携帯電話１で実行されるプログラムは、速度およびタイミングの設定に関し、以下のような制御構造を有する。
【００３６】
Ｓ１２０にて、制御回路２は、メモリ７に記憶されたプロパティデータから、動画の全再生時間を読出す。Ｓ１２２にて、制御回路２は、キーパッド５を用いてスクロール方向の選択を受付ける。Ｓ１２４にて、制御回路２は、キーパッド５から入力されたスクロール方向の選択が横方向か否かを判断する。選択が横方向と判断した場合には（Ｓ１２４にてＹＥＳ）、処理はＳ１２６へと移される。もしそうでないと（Ｓ１２４にてＮＯ）、処理はＳ１２８へと移される。
【００３７】
Ｓ１２６にて、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの、横方向のスクロール速度［文字／ＴＡ（ｍｓ）］を算出する。
【００３８】
（通信文の文字数）＝（動画の全再生時間）×（スクロール速度）
Ｓ１２８にて、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの、縦方向のスクロール速度を算出する。
【００３９】
（通信文の文字数）÷（文字表示領域６２の１行に表示可能な文字数）＝（動画の全再生時間）×（スクロール速度）
図５を参照して、携帯電話１で実行されるプログラムは、動画の再生およびメッセージの表示に関し、以下のような制御構造を有する。
【００４０】
Ｓ１４０にて、制御回路２は、内蔵するタイマおよびカウンタをリセットする。タイマは「０」にリセットされる。第１カウンタおよび第２カウンタはともに「１」にリセットされる。Ｓ１４２にて、制御回路２はメモリ７に記憶された全再生時間およびＳ１２６またはＳ１２８にて算出したスクロール速度に基づいて、動画１フレームあたりの再生時間ＴＢを算出する。
【００４１】
Ｓ１４４にて、制御回路２は、メモリ７を参照して、動画ファイルに第「Ｉ」フレームの画像のデータが含まれているか否かを判断する。画像のデータが含まれていると判断した場合には（Ｓ１４４にてＹＥＳ）、処理はＳ１４６へと移される。もしそうでないと（Ｓ１４４にてＮＯ）、処理はＳ１４８へと移される。
【００４２】
Ｓ１４６にて、制御回路２は、メモリ７の動画ファイルから第「Ｉ」フレームの画像のデータを呼出す。Ｓ１４８にて、制御回路２は、文データの第「Ｊ」番目の文字のデータがメモリ７に記憶されているか否かを判断する。データがメモリ７に記憶されていると判断した場合（Ｓ１４８にてＹＥＳ）、処理はＳ１５０へと移される。もしそうでないと（Ｓ１４８にてＮＯ）、処理はＳ１５２へと移される。
【００４３】
Ｓ１５０にて、制御回路２は、メモリ７に記憶された文データから第「Ｊ」番目の文字のデータを呼出す。Ｓ１５２にて、制御回路２は、ディスプレイ６に、呼出した画像のデータおよび文字のデータを出力する。文字のデータは、文字表示領域６２に、スクロール表示される。スクロールの方向（本実施の形態においては、縦方向および横方向のいずれかである）は、Ｓ１２４において判断された選択にしたがう。これにより、動画表示領域６１および文字表示領域６２において、同時に動画の表示およびメッセージの表示が開始する。Ｓ１２６およびＳ１２８の処理によって、本実施の形態における動画の全再生時間と通信文の全表示時間とは一致するので、動画表示領域６１および文字表示領域６２において、同時に動画の表示およびメッセージの表示が終了する。
【００４４】
Ｓ１５４にて、制御回路２は、タイマに基づいて１フレームあたりの再生時間ＴＢが経過したか否かを判断する。１フレームあたりの再生時間ＴＢが経過したと判断した場合には（Ｓ１５４にてＹＥＳ）、処理はＳ１５６へと移される。もしそうでないと（Ｓ１５４にてＮＯ）、処理はＳ１５８へと移される。Ｓ１５６にて、制御回路２は、第１カウンタの値に「１」を加算する。
【００４５】
Ｓ１５８にて、制御回路２は、表示時間ＴＡが経過したか否かを判断する。表示時間ＴＡが経過したと判断した場合には（Ｓ１５８にてＹＥＳ）、処理はＳ１６０へと移される。もしそうでないと（Ｓ１５８にてＮＯ）、処理はＳ１６６へと移される。
【００４６】
Ｓ１６０にて、制御回路２は、スクロール方向が横方向か否かを判断する。スクロール方向が横方向と判断した場合には（Ｓ１６０にてＹＥＳ）、処理はＳ１６２へと移される。もしそうでないと（Ｓ１６０にてＮＯ）、処理はＳ１６４へと移される。Ｓ１６２にて、制御回路２は、第２カウンタの値に「１」を加算する。Ｓ１６４にて、制御回路２は、第２カウンタの値に１行の文字数を加算する。
【００４７】
Ｓ１６６にて、制御回路２は、第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する。すなわち、第１カウンタの値が動画の全フレーム数以上であって、第２カウンタの値が通信文の文字数以上であるか否かを判断する。最大値以上と判断した場合には（Ｓ１６６にてＹＥＳ）、処理はメインルーチンに戻る。もしそうでないと（Ｓ１６６にてＮＯ）、処理はＳ１４４へと移される。
【００４８】
以上のような構造およびフローチャートに基づく、携帯電話１の動作について説明する。
【００４９】
［横方向のスクロール処理動作］
横方向のスクロールを選択した場合の動画およびメッセージの表示処理について説明する。
【００５０】
ディスプレイ６の動画表示領域６１にメール一覧が表示されると（Ｓ１００）、制御回路２は、メール一覧の中から選ばれたメールのメールデータを、メモリ７から呼出す（Ｓ１０２）。メールデータが呼出されると、制御回路２はメールデータの中に動画が添付されているか否かを判断する（Ｓ１０４）。この場合、動画が添付されているので（Ｓ１０４にてＹＥＳ）、制御回路２はメモリ７に記憶されたプロパティデータから、全再生時間を読出す（Ｓ１２０）。
【００５１】
全再生時間が読出されると、制御回路２はキーパッド５を用いてスクロール方向の選択を受付ける（Ｓ１２２）。選択が受付けられると、制御回路２はキーパッド５から入力されたスクロール方向の選択が横方向か否かを判断する（Ｓ１２４）。この場合、横方向のスクロールが選択されるので（Ｓ１２４にてＹＥＳ）、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの横方向のスクロール速度［文字／ＴＡ（ｍｓ）］を算出する（Ｓ１２６）。
【００５２】
（通信文の文字数）＝（動画の全再生時間）×（スクロール速度）
スクロール速度が算出されると、制御回路２は、タイマおよびカウンタをリセットする（Ｓ１４０）。カウンタがリセットされると、制御回路２はメモリ７に記憶された全再生時間およびスクロール速度に基づいて、１フレームあたりの再生時間ＴＢを算出する（Ｓ１４２）。
【００５３】
１フレームあたりの再生時間ＴＢが算出されると、制御回路２はメモリ７を参照して、動画ファイルに第「１」フレームの画像のデータが含まれているか否かを判断する（Ｓ１４４）。画像のデータは含まれているので（Ｓ１４４にてＹＥＳ）、制御回路２は、メモリ７の動画ファイルから第「１」フレームの画像のデータを呼出す（Ｓ１４６）。
【００５４】
画像のデータが呼出されると、制御回路２は、メモリ７に第「１」番目の文字のデータがあるか否かを判断する（Ｓ１４８）。第「１」番目の文字のデータがあるので（Ｓ１４８にてＹＥＳ）、制御回路２は、メモリ７の文データから第「１」番目の文字のデータを呼出す（Ｓ１５０）。
【００５５】
文字のデータが呼出されると、制御回路２は、ディスプレイ６に、呼出した画像のデータおよび文字のデータを出力する（Ｓ１５２）。データが出力されると、制御回路２はタイマに基づいて、１フレームあたりの再生時間ＴＢが経過したか否かを判断する（Ｓ１５４）。１フレームあたりの再生時間ＴＢが経過すると（Ｓ１５４にてＹＥＳ）、制御回路２は、第１カウンタの値に「１」を加算する（Ｓ１５６）。
【００５６】
カウンタの値に「１」が加算されると、制御回路２は、表示時間ＴＡが経過したか否かを判断する（Ｓ１５８）。表示時間が経過すると（Ｓ１５８にてＹＥＳ）、制御回路２は、スクロール方向が横方向か否かを判断する（Ｓ１６０）。この場合、スクロール方向は横方向なので（Ｓ１６０にてＹＥＳ）、制御回路２は、第２カウンタの値に「１」を加算する。
【００５７】
「１」が加算されると、制御回路２は第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する（Ｓ１６６）。この場合まだ最大値ではないので（Ｓ１６６にてＮＯ）、Ｓ１４４〜Ｓ１６２の動作を繰返し、制御回路２は、第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する（Ｓ１６６）。ともに最大値以上となった場合（Ｓ１６６にてＹＥＳ）、動画およびメッセージはすべて表示されたので処理を終了する。
【００５８】
［縦方向のスクロール処理］
縦方向のスクロールを選択した場合の動画およびメッセージの表示処理について説明する。
【００５９】
制御回路２が、キーパッド５を用いて、スクロール方向の選択を受付けると（Ｓ１２２）、制御回路２は、キーパッド５から入力されたスクロール方向の選択が横方向か否かを判断する（Ｓ１２４）。この場合、選択は縦方向なので（Ｓ１２４にてＮＯ）、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの、縦方向のスクロール速度を算出する（Ｓ１２８）。
【００６０】
（通信文の文字数）÷（文字表示領域６２の１行に表示可能な文字数）＝（動画の全再生時間）×（スクロール速度）
スクロール速度が算出されると、Ｓ１４０〜Ｓ１５８の処理を経て、制御回路２は、スクロール方向が横方向か否かを判断する（Ｓ１６０）。この場合、スクロール方向は縦方向なので（Ｓ１６０にてＮＯ）、制御回路２は、第２カウンタの値に１行の文字数を加算する（Ｓ１６４）。
【００６１】
文字数が加算されると、Ｓ１６６〜Ｓ１６４の処理を繰返して、制御回路２は、第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する（Ｓ１６６）。ともに最大値以上の場合（Ｓ１６６にてＹＥＳ）、動画およびメッセージはすべて表示されているので、処理を終了する。
【００６２】
以上のようにして、本実施の形態に係る携帯電話は、特別に操作しなくても、動画を見ると共に文の内容を知ることが容易にできる。本実施の形態に係る携帯電話は、大規模な装置を特に必要としない。本実施の形態に係る携帯電話は、キーパッド５によって入力された選択に基づいて定められる、縦方向および横方向のいずれかにスクロール表示されるメッセージを表示することができる。その結果、動画を見ると共に文の内容を知ることが容易な携帯電話を提供することができる。
【００６３】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る携帯電話について説明する。
【００６４】
本実施の形態に係る携帯電話１は、キーパッド５に、機能キー６３と、巻戻しキー６４と、再生キー６５と、早送りキー６６とを含む。図６を参照して、本実施の形態に係る携帯電話１のディスプレイを説明する。本実施の形態に係る携帯電話１において、ディスプレイ６はタッチパネルとなっている。ディスプレイ６は、キーパッド５のユーザインターフェイスの機能を併せ持っている。メモリ７は、方向フラグの値を表わすデータと、縦方向および横方向それぞれについてのスクロール速度を表わすデータと、機能フラグの値を表わすデータとをさらに含む。機能キー６３は、本実施の形態に係る動画が再生される時期とメッセージが表示される時期との制御をＯＮ／ＯＦＦするキーである。巻戻しキー６４は、動画を巻戻し再生するキーである。再生キー６５は、動画を標準の設定で再生するキーである。早送りキー６６は、動画を早送り再生するキーである。方向フラグとは、たとえば順送り、巻戻しといった動画の再生の方向を表わすフラグである。機能フラグとは、本実施の形態に係る動画の再生時期とメッセージの再生時期との制御を実施するか否かを表わすフラグである。スクロール速度とは、メッセージのスクロール速度を表わす値である。メモリ７に記憶されたメッセージデータは、対応情報をさらに含む。対応情報とは、動画を構成するフレームとメッセージを構成する文字との間の対応関係を表わすデータである。図７を参照して、本実施の形態に係る対応情報の内容を説明する。対応情報は、ヘッダと、文字位置と、フレームナンバーと、文字情報とを含む。ヘッダとは、１つの対応情報の始まりを表わすデータである。文字位置とは、メッセージの中における文字の順序を表わす値である。フレームナンバーとは、文字に対応している動画のフレームの番号を表わす値である。文字情報とは、対応情報が対応する文字そのものを表わすデータである。
【００６５】
なお、その他のハードウェア構成については前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００６６】
図８を参照して、携帯電話１で実行されるプログラムは、速度およびタイミングの設定に関し、以下のような制御構造を有する。なお、図８に示すフローチャートの中で、前述の図４に示した処理は同じステップ番号を付してある。それらの処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００６７】
Ｓ１８０にて、制御回路２は、機能キー６３が押されたか否かを判断する。機能キー６３が押されたと判断した場合（Ｓ１８０にてＹＥＳ）、処理はＳ１８２へと移される。もしそうでないと（Ｓ１８０にてＮＯ）、処理はＳ１８４へと移される。Ｓ１８２にて、制御回路２は、切換処理を実施する。切換処理は、Ｓ１９２〜Ｓ１９６のステップによって構成される処理である。
【００６８】
Ｓ１８４にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ１８４にてＹＥＳ）、処理はＳ１２２へと移される。もしそうでないと（Ｓ１８４にてＮＯ）、処理はＳ１８６へと移される。Ｓ１８６にて、制御回路２は、メモリ７から、縦方向のスクロール速度を呼出す。
【００６９】
Ｓ１８８にて、制御回路２は、メモリ７から、横方向のスクロール速度を呼出す。Ｓ１９０にて、制御回路２は、メモリ７から、縦方向のスクロール速度を呼出す。
【００７０】
図９を参照して、携帯電話１で実行されるプログラムは、切替処理に関し、以下のような制御構造を有する。
【００７１】
Ｓ１９２にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ１９２にてＹＥＳ）、処理はＳ１９４へと移される。もしそうでないと（Ｓ１９２にてＮＯ）、処理はＳ１９６へと移される。Ｓ１９４にて、制御回路２は、機能フラグを「１」に設定する。Ｓ１９６にて、制御回路２は、機能フラグを「０」に設定する。
【００７２】
図１０を参照して、携帯電話１で実行されるプログラムは、動画の再生の開始およびメール本文の表示に関し、以下のような制御構造を有する。なお、図１０に示すフローチャートの中で、前述の図５に示した処理は同じステップ番号を付してある。それらの処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００７３】
Ｓ２００にて、制御装置２は、方向フラグ、タイマおよびカウンタを設定する。方向フラグは「０」に設定される。タイマは「０」に設定される。第１カウンタは「１」に設定される。第２カウンタは「１」に設定される。Ｓ２０２にて、制御回路２はメモリ７に記憶された全再生時間およびスクロール速度に基づいて、表示時間ＴＡおよび１フレームあたりの再生時間ＴＢを算出する。
【００７４】
Ｓ２０４にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ２０４にてＹＥＳ）、処理はＳ２０６へと移される。もしそうでないと（Ｓ２０４にてＮＯ）、処理はＳ１４８へと移される。Ｓ２０６にて、制御回路２は、対応情報に基づいて、第１カウンタの値Ｉに対応する第２カウンタの値Ｊを特定する。
【００７５】
Ｓ２０８にて、制御回路２は、文データから第「Ｊ」番目以降の文字列のデータを呼出す。Ｓ２１０にて、制御回路２は、画像のデータおよび第「Ｊ」番目以降の文字列のデータを出力する。Ｓ２１２にて、制御回路２は、第１カウンタの値に「１」と方向フラグの値とを乗じた値を加算する。Ｓ２１４にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ２１４にてＹＥＳ）、処理はＳ２２２へと移される。もしそうでないと（Ｓ２１４にてＮＯ）、処理はＳ２１６へと移される。Ｓ２１６にて、制御回路２は、再生キー６５が押されたか否かを判断する。再生キー６５が押されたと判断した場合（Ｓ２１６にてＹＥＳ）、処理はＳ２１８へと移される。もしそうでないと（Ｓ２１６にてＮＯ）、処理はＳ１５８へと移される。Ｓ２１８にて、制御回路２は、次に再生キー６５が押されるまで、処理を一時停止する。
【００７６】
Ｓ２２０にて、制御回路２は、第２カウンタの値に１行の文字数と方向フラグの値とを乗じた値を加算する。Ｓ２２２にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ２２２にてＹＥＳ）、処理はＳ２２４へと移される。もしそうでないと（Ｓ２２２にてＮＯ）、処理はＳ１６６へと移される。Ｓ２２４にて、制御回路２は、再生キー６５が押されたか否かを判断する。再生キー６５が押されたと判断した場合（Ｓ２２４にてＹＥＳ）、処理はＳ２２６へと移される。もしそうでないと（Ｓ２２４にてＮＯ）、処理はＳ２２８へと移される。Ｓ２２６にて、制御回路２は標準化処理を実施する。この標準化処理は、Ｓ２４０〜Ｓ２４２のステップによって構成される処理である。
【００７７】
Ｓ２２８にて、制御回路２は、巻戻しキー６４が押されたか否かを判断する。巻戻しキー６４が押されたと判断した場合（Ｓ２２８にてＹＥＳ）、処理はＳ２３０へと移される。もしそうでないと（Ｓ２２８にてＮＯ）、処理はＳ２３２へと移される。Ｓ２３０にて、制御回路２は、巻戻し処理を実施する。巻戻し処理は、Ｓ２４６〜Ｓ２４８のステップによって構成される処理である。Ｓ２３２にて、制御回路２は、早送りキー６６が押されたか否かを判断する。早送りキー６６が押されたと判断した場合（Ｓ２３２にてＹＥＳ）、処理はＳ２３４へと移される。もしそうでないと（Ｓ２３２にてＮＯ）、処理はＳ１６６へと移される。Ｓ２３４にて、制御回路２は、早送り処理を実施する。早送り処理は、Ｓ２５０〜Ｓ２４２のステップによって構成される処理である。
【００７８】
図１１を参照して、携帯電話１で実行されるプログラムは、標準化処理に関し、以下のような制御構造を有する。
【００７９】
Ｓ２４０にて、制御回路２は、メモリ７に記憶された全再生時間に基づいて、１フレームあたりの再生時間ＴＢを算出する。Ｓ２４２にて、制御回路２は、方向フラグの値を「１」に設定する。
【００８０】
図１２を参照して、携帯電話１で実行されるプログラムは、巻戻し処理に関し、以下のような制御構造を有する。
【００８１】
Ｓ２４６にて、制御回路２は、１フレームあたりの再生時間ＴＢを「５００分の１」倍する。Ｓ２４８にて、制御回路２は、方向フラグの値を「−１」に設定する。
【００８２】
図１３を参照して、携帯電話１で実行されるプログラムは、早送り処理に関し、以下のような制御構造を有する。なお、図１３に示すフローチャートの中で、前述の図１１に示した処理は同じステップ番号を付してある。その処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００８３】
Ｓ２５０にて、制御回路２は、１フレームあたりの再生時間ＴＢを「３００分の１」倍する。
【００８４】
なお、その他の処理フローについては前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００８５】
以上のような構造およびフローチャートに基づく、携帯電話１の動作について説明する。
【００８６】
［機能キーが押された場合］
機能キー６３が押された場合の切換処理について説明する。
【００８７】
Ｓ１００〜Ｓ１２０の処理を経て、制御回路２は、機能キー６３が押されたか否かを判断する（Ｓ１８０）。機能キー６３が押されると（Ｓ１８０にてＹＥＳ）、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ１９２）。機能フラグが「０」とすると（Ｓ１９２にてＹＥＳ）、制御回路２は、機能フラグを「１」に設定する（Ｓ１９４）。機能フラグが設定されると、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ１８４）。この場合、機能フラグが「１」なので（Ｓ１９２にてＮＯ）、制御回路２は、縦方向のスクロール速度を呼出す（Ｓ１８６）。
【００８８】
縦方向のスクロール速度が呼出されると、制御回路２は、方向フラグ、タイマおよびカウンタを設定する（Ｓ２００）。設定されると、制御回路２はメモリ７に記憶された全再生時間およびスクロール速度に基づいて、表示時間ＴＡおよび１フレームあたりの再生時間ＴＢを算出する（Ｓ２０２）。表示時間などが算出されると、Ｓ１４４〜Ｓ１４６の処理を経て、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２０４）。この場合機能フラグは「１」なので（Ｓ２０４にてＮＯ）、制御回路２は、Ｓ１４８の処理を経て、文データから第「１」番目以降の文字列のデータを呼出す（Ｓ２０８）。これにより、本実施の形態に係る動画の表示時期とメッセージの表示時期との間に対する制御は実施されなくなる。文字列のデータが呼出されると、制御回路２は、画像のデータおよび第「１」番目から始まる文字列のデータを出力する（Ｓ２１０）。データが出力されると、１フレームあたりの再生時間ＴＢが経過するのを待って（Ｓ１５４にてＹＥＳ）、制御回路２は、第１カウンタの値に「１」と方向フラグの値とを乗じた値を加算する（Ｓ２１２）。この時点では、方向フラグの値は、まだ標準状態である「１」であるとする。値が加算されると、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２１４）。このとき、機能フラグは「１」なので（Ｓ２１４にてＮＯ）、制御回路２は、再生キー６５が押されたか否かを判断する（Ｓ２１６）。再生キー６５が押された場合（Ｓ２１６にてＹＥＳ）、制御回路２は、次に再生キー６５が押されるまで、処理を一時停止する（Ｓ２１８）。次に再生キー６５が押され、処理が再開されると、制御回路２は、Ｓ１５８の処理を経て、第２カウンタの値に「１」とその時点の方向フラグの値とを乗じた値を加算する（Ｓ２２０）。値が加算されると、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２２２）。このとき、機能フラグは「１」なので（Ｓ２２２にてＮＯ）、制御回路２は、Ｓ１６６以降の処理を繰返す。
【００８９】
［巻戻し処理の場合］
機能キー６３が押されず、巻戻しキー６４が押された場合の、巻戻し処理について説明する。
【００９０】
Ｓ１００〜Ｓ１２２の処理を経て、制御回路２は、選択が横方向か否かを判断する（Ｓ１２４）。この場合、選択は横方向とするので（Ｓ１２４にてＹＥＳ）、制御回路２は、メモリ７から横方向のスクロール速度を呼出す（Ｓ１８８）。スクロール速度が呼出されると、Ｓ２００〜Ｓ１４６の処理を経て、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２０４）。この場合機能フラグは「０」なので（Ｓ２０４にてＹＥＳ）、制御回路２は、第１カウンタの値Ｉに対応する第２カウンタの値Ｊを特定する（Ｓ２０６）。値が特定されると、Ｓ１４８〜Ｓ２１２の処理を経て、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２１４）。機能フラグは「０」なので（Ｓ２１４にてＹＥＳ）、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２２２）。機能フラグは「０」なので（Ｓ２２２にてＹＥＳ）、制御回路２は、再生キー６５が押されたか否かを判断する（Ｓ２２４）。再生キー６５は押されていないので（Ｓ２２４にてＮＯ）、制御回路２は巻戻しキー６４が押されたか否かを判断する（Ｓ２２８）。この場合、巻戻しキー６４が押されているので（Ｓ２２８にてＹＥＳ）、制御回路２は、１フレームあたりの再生時間ＴＢを「５００分の１」倍する（Ｓ２４６）。全再生時間が「５００分の１」倍されると、制御回路２は、方向フラグの値を「−１」に設定する（Ｓ２４８）。方向フラグの値が設定されると、Ｓ１６６〜Ｓ１５４の処理を経て、制御回路２は、第１カウンタの値に「１」と方向フラグの値「−１」とを乗じた値を加算する（Ｓ２１２）。これにより、順次巻戻し方向に動画が表示される。
【００９１】
［早送り処理の場合］
機能キー６３が押されず、早送りキー６６が押された場合の、早送り処理について説明する。
【００９２】
Ｓ１００〜Ｓ２２８の処理を経て、制御回路２は、早送りキー６６が押されたか否かを判断する（Ｓ２３２）。この場合、早送りキー６６が押されているので（Ｓ２３２にてＹＥＳ）、制御回路２は、１フレームあたりの再生時間ＴＢを「３００分の１」倍する（Ｓ２５０）。全再生時間が「３００分の１」倍されると、制御回路２は、方向フラグの値を「１」に設定する（Ｓ２４２）。方向フラグの値が設定されると、Ｓ１６６〜Ｓ２１０の処理を経て、制御回路２は、「３００分の１」になった１フレームあたりの再生時間ＴＢが経過するまで待つ（Ｓ１５４）。これを繰返すことにより、動画は早送り再生される。
【００９３】
［標準化処理の場合］
機能キー６３が押されず、再生キー６５が押された場合の、標準化処理について説明する。
【００９４】
Ｓ１００〜Ｓ２１４の処理を経て、制御回路２は再生キー６５が押されたか否かを判断する（Ｓ２２４）。この場合再生キー６５が押されるので（Ｓ２２４にてＹＥＳ）、制御回路２は、メモリ７に記憶された全再生時間に基づいて、１フレームあたりの再生時間ＴＢを算出する（Ｓ２４０）。再生時間ＴＢが算出されると、制御回路２は、方向フラグの値を「１」に設定する（Ｓ２４２）。方向フラグの値が設定されると、Ｓ１６６〜Ｓ２１０の処理を経て、制御回路２は、メモリ７に記憶された再生速度の値に基づいて定められた、１フレームあたりの再生時間ＴＢが経過するまで待つ（Ｓ１５４）。これにより、それまでの全再生時間および方向フラグの値にかかわらず、メモリ７に記憶された再生速度の値に基づいて動画が再生される。
【００９５】
以上のようにして、本実施の形態に係る携帯電話は、早送り再生の処理および巻戻し再生の処理をすることができる。携帯電話は、動画の特定の時点が表示されるときに、メッセージを構成する特定の文字が表示されるように制御する処理をすることができる。携帯電話は、機能キーが押されたことに応答して、動画表示領域および文字表示領域にそれぞれ動画およびメッセージが表示させる処理をすることができる。その結果、早送り再生された動画および巻戻し再生された動画のいずれかを見ると共に文の内容を知ることがより容易で、かつより便利な携帯電話を提供できる。
【００９６】
＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る携帯電話について説明する。
【００９７】
本実施の形態に係る携帯電話１は、メモリ７に音声データベースを含む。音声データベースは、メッセージを構成する文字、単語、慣用句、および熟語ごとに、その発音をスピーカ４によって出力できるデータが含まれたデータベースである。それらの熟語などと発音とはそれぞれ対応づけられている。なお、その他のハードウェア構成については前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００９８】
図１４を参照して、携帯電話１で実行されるプログラムは、動画の再生の開始およびメールの本文の表示に関し、以下のような制御構造を有する。なお、図１４に示すフローチャートの中で、前述の図５に示した処理は同じステップ番号を付してある。それらの処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００９９】
Ｓ３００にて、制御回路２は内蔵するバッファから文字列を呼出す。Ｓ３０２にて、制御回路２は、呼出した文字列にＳ１５０にて呼出した文字を追加する。
【０１００】
Ｓ３０４にて、制御回路２は、メモリ７に記憶された音声データベースに、文字列に該当する音声データがあるか否かを判断する。音声データがあると判断した場合には（Ｓ３０４にてＹＥＳ）、処理はＳ３０６へと移される。もしそうでないと（Ｓ３０４にてＮＯ）、処理はＳ３０８へと移される。Ｓ３０６にて、制御回路２は、該当する音声データを呼出す。Ｓ３０８にて、制御回路２は、バッファの文字列を更新する。
【０１０１】
Ｓ３１０にて、制御回路２は、呼出した音声データをスピーカ４に出力する。Ｓ３１２にて、制御回路２は、バッファのデータを抹消する。
【０１０２】
なお、その他の処理フローについては前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【０１０３】
以上のような構造およびフローチャートに基づく、携帯電話１の動作について説明する。画像のデータおよび文字のデータが出力されると（Ｓ１５２）、制御回路２は、内蔵するバッファから文字列を呼出す（Ｓ３００）。文字列が呼出されると、制御回路２は、文字列にＳ１５０にて呼出した文字を追加する（Ｓ３０２）。文字が追加されると、制御回路２は、メモリ７の音声データベースに、その文字列に対応するデータがあるか否かを判断する（Ｓ３０４）。該当するデータがない場合（Ｓ３０４にてＮＯ）、制御回路２は、バッファの文字列を更新する（Ｓ３０８）。文字列が更新されると、Ｓ１５４〜Ｓ３０２の処理を経て、制御回路２は、音声データベースに、新たに文字が追加された文字列に該当する音声データがあるか否かを判断する（Ｓ３０４）。音声データがある場合（Ｓ３０４にてＹＥＳ）、制御回路２は、該当する音声データを呼出す（Ｓ３０６）。音声データが呼出されると、制御回路２は、音声データをスピーカ４に出力する（Ｓ３１０）。音声データがスピーカに出力されると、制御回路２は、バッファのデータを抹消する（Ｓ３１２）。
【０１０４】
以上のようにして、本実施の形態に係る携帯電話は、メッセージに対応する音声を出力することができる。その結果、より容易に動画を見ると共に文の内容を知ることが容易な携帯電話を提供できる。
【０１０５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１０６】
【発明の効果】
本発明に係るメール受信装置は、動画を見ると共に文の内容を知ることが容易にできる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る携帯電話の制御ブロック図である。
【図２】本発明の第１の実施の形態に係るディスプレイの表示例を表わす図である。
【図３】本発明の第１の実施の形態に係るメールの選択と表示とに係る処理の制御の手順を示すフローチャートである。
【図４】本発明の第１の実施の形態に係る速度およびタイミングの設定処理の制御の手順を示すフローチャートである。
【図５】本発明の第１の実施の形態に係る動画の再生の開始およびメールの本文の表示処理の制御の手順を示すフローチャートである。
【図６】本発明の第２の実施の形態に係るディスプレイの表示例を表わす図である。
【図７】本発明の第２の実施の形態に係る対応情報の概念を説明する図である。
【図８】本発明の第２の実施の形態に係る速度およびタイミングの設定処理の制御の手順を示すフローチャートである。
【図９】本発明の第２の実施の形態に係る切替処理の制御の手順を示すフローチャートである。
【図１０】本発明の第２の実施の形態に係る動画の再生の開始およびメールの本文の表示処理の制御の手順を示すフローチャートである。
【図１１】本発明の第２の実施の形態に係る標準化処理の制御の手順を示すフローチャートである。
【図１２】本発明の第２の実施の形態に係る巻戻し処理の制御の手順を示すフローチャートである。
【図１３】本発明の第２の実施の形態に係る早送り処理の制御の手順を示すフローチャートである。
【図１４】本発明の第３の実施の形態に係る動画の再生の開始およびメールの本文の表示処理の制御の手順を示すフローチャートである。
【符号の説明】
１携帯電話、２制御回路、３無線回路、４スピーカ、５キーパッド、６ディスプレイ、７メモリ、８マイクロフォン、６１動画表示領域、６２文字表示領域、６３機能キー、６４巻戻しキー、６５再生キー、６６早送りキー。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mail receiving device, and more particularly to a mail receiving device capable of receiving mail together with moving image data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, mobile phones that can communicate messages with still images and moving images have been widely used. In such a mobile phone, displaying an image and a message more easily for the user is an important issue.
[0003]
For example, when displaying a message transmitted together with an image, a device such as displaying an image and a message at the same time is used.
[0004]
Specifically, Patent Document 1 discloses a mobile phone that displays an e-mail message on image data when image data is attached to the e-mail.
[0005]
[Patent Document 1]
JP 2002-288082 A
[0006]
[Problems to be solved by the invention]
However, when displaying a message on image data as disclosed in Patent Document 1, the number of characters that can be displayed on the display screen at a time is limited. For example, scrolling based on user key operations is performed. Handling such as processing is necessary. In this case, there is a problem that the user has to perform a scroll process, an operation of reading a text, and an operation of viewing an image at a time, which makes it difficult to read a message. This problem is particularly noticeable when the image is a moving image.
[0007]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an e-mail receiving apparatus in which it is easy to see the contents of a sentence while watching a moving image.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, according to an aspect of the present invention, a mail receiving device is a mail receiving device capable of receiving sentence data representing a communication sentence and a moving picture file representing a moving picture as mail. The mail receiving apparatus includes a storage unit for storing sentence data and a moving image file, a first display unit for automatically scrolling and displaying a sentence at least partially, and a second unit for displaying a moving image. Display means, and a control means for controlling either the first display means or the second display means so that at least a part of each of the time when the sentence is displayed and the time when the moving image is displayed overlap. including.
[0009]
That is, the storage means stores sentence data and a moving image file. The first display means automatically scrolls and displays at least a part of the sentence. The second display means displays a moving image. The control means controls either the first display means or the second display means so that at least a part of each of the time when the sentence is displayed and the time when the moving image is displayed overlap. Thereby, at least a part of the time when the moving image is displayed, the sentence is automatically scroll-displayed for at least a part. As a result, it is possible to provide an e-mail receiving device that allows easy viewing of moving images and the contents of sentences.
[0010]
Further, the above-described control means controls either the first display means or the second display means so that one of the time when the sentence is displayed and the time when the moving image is displayed overlaps all of the other. It is desirable to include means for
[0011]
That is, the control means can control either the first display means or the second display means so that one of the time when the sentence is displayed and the time when the moving image is displayed overlaps the other. As a result, the sentence is scrolled and displayed more accurately when the moving image is displayed. As a result, it is possible to provide an e-mail receiving apparatus that is more accurate and easy to view the moving image and know the content of the sentence.
[0012]
The above-mentioned control means controls either the first display means or the second display means so that the time when the sentence is displayed and the time when the moving image is displayed overlap each other at the start time. It is desirable to include these means.
[0013]
That is, the control means can control either the first display means or the second display means so that the time when the sentence is displayed and the time when the moving image is displayed overlap at the start time. Thereby, the sentence is displayed at the start of the time when the moving image is displayed. As a result, it is possible to provide a mail receiving apparatus that is more accurate and easy to see the moving image and know the content of the sentence.
[0014]
The storage means preferably further includes means for storing correspondence information representing a correspondence relationship between a specific image at any point in time of the moving image and a specific character that is one of characters constituting the sentence. . In addition, the control means, based on the correspondence information, causes the time when the specific character is displayed among the time when the sentence is displayed and the time when the specific image is displayed during the time when the moving image is displayed. It is desirable to include means for controlling any one of the first display means and the second display means.
[0015]
That is, the storage means stores correspondence information representing a correspondence relationship between a specific image at any point in the moving image and a specific character that is one of the characters constituting the sentence. Based on the correspondence information, the control means sets the first time so that the time when the specific character is displayed among the times when the sentence is displayed and the time when the specific image is displayed among the times when the moving image is displayed. Any one of the display means and the second display means can be controlled. Thereby, the control means can control either the first display means or the second display means so that the specific character is displayed at any time when the moving image is displayed. As a result, it is possible to provide an e-mail receiving device that makes it easier to see the moving image and know the content of the sentence.
[0016]
Moreover, it is preferable that the above-described mail receiving device further includes an input unit for inputting information. In addition, it is desirable that the control means includes means for controlling either the first display means or the second display means in response to the input of predetermined information to the input means.
[0017]
That is, the input means inputs information. Thereby, the control means can control either the first display means or the second display means in response to the input of the predetermined information. As a result, it is possible to provide an e-mail receiving apparatus that allows easy viewing of a moving image and knowing the content of a sentence when predetermined information is input.
[0018]
Moreover, it is preferable that the above-described mail receiving device further includes an input unit for inputting information. In addition, it is desirable that the first display means includes means for scrolling and displaying the sentence in a direction determined based on information input to the input means.
[0019]
That is, the input means inputs information. Thereby, the 1st display means can carry out the scroll display of the sentence in the direction defined based on the information input into the input means. As a result, it is possible to provide an e-mail receiving apparatus that can easily see the moving image and know the content of the sentence scroll-displayed in the direction determined based on the input information.
[0020]
In addition, the mail receiving device described above includes an input unit for inputting information, and a determination unit for determining one of the display speed and the display order of the moving image based on the information input to the input unit. It is desirable to further include.
[0021]
That is, the input means inputs information. The determining unit can determine either the display speed or the display order of the moving image based on the information input to the input unit. Thereby, the sentence is displayed at least at a part of the time when the moving image in which either the display speed or the display order is determined is displayed by the second display means. As a result, it is possible to provide a more convenient mail receiving apparatus that can easily view the moving image in which either the display speed or the display order is determined and know the content of the sentence.
[0022]
Moreover, it is preferable that the above-described mail receiving device further includes a specifying unit for specifying a sentence display time based on a moving image display time specified in advance. At the same time, the control means includes the first display means and the display means such that the time when the sentence is displayed and the time when the moving picture is displayed overlap at the end of each time based on the display time of the moving picture and the display time of the sentence. It is desirable to include means for controlling any of the second display means.
[0023]
That is, the specifying unit can specify the sentence display time based on the moving picture display time specified in advance. The control means, based on the display time of the moving image and the display time of the sentence, causes the time when the sentence is displayed and the time when the moving image is displayed to overlap at the end of each. Any of the display means can be controlled. Thereby, it is possible to more easily control either the first display means or the second display means so that the time when the sentence is displayed and the time when the moving image is displayed overlap at the end time. As a result, it is possible to provide an e-mail receiving apparatus in which it is easier to see the moving image and know the content of the sentence.
[0024]
According to another aspect of the present invention, the mail receiving device is a mail receiving device capable of receiving sentence data representing a communication sentence and a moving image file representing a moving image as mail. The mail receiving device includes a first storage unit for storing sentence data and a moving image file, a second storage unit for storing voice data representing voice, and a communication sentence based on the sentence data and the voice data. Output means for outputting sound corresponding to the above, a display means for displaying a moving image, and an output means and a display so that at least a part of each of the time when the pronunciation is output and the time when the moving image is displayed overlap each other Control means for controlling any of the means.
[0025]
That is, the first storage means stores sentence data and a moving image file. The second storage means stores voice data representing voice. The output means outputs a voice corresponding to the communication sentence based on the sentence data and the voice data. The display means displays a moving image. The control means controls either the output means or the display means so that at least a part of the time when the pronunciation is output and the time when the moving image is displayed overlap each other. Thereby, the control means can output the audio | voice corresponding to a communication sentence in at least one part of the time when a moving image is displayed. As a result, it is possible to provide an e-mail receiving device that allows easy viewing of moving images and the contents of sentences.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[0027]
<First Embodiment>
Hereinafter, a mobile phone according to a first embodiment of the present invention will be described.
[0028]
Referring to FIG. 1, mobile phone 1 according to the present embodiment includes a control circuit 2, a wireless circuit 3, a speaker 4, a keypad 5, a display 6, a memory 7, and a microphone 8. . The control circuit 2 is in charge of overall control of the mobile phone 1 and processing of mail transmitted together with moving images. The radio circuit 3 communicates mail with other mobile phones. The speaker 4 converts the data into sound and outputs it. The keypad 5 accepts input such as user commands. The display 6 displays an image and a sentence representing a message (hereinafter referred to as “message”). The memory 7 stores a moving image file representing moving images, message data including data relating to messages, and property data representing mail properties. These data are data transmitted as mail with images. The microphone 8 outputs the input data in a state where it can be converted into sound. Control circuit 2 includes a first counter, a second counter, and a timer (all not shown). The first counter and the second counter specify parameters that respectively specify images and characters to be displayed on the display 6. The timer measures the display time of images and characters.
[0029]
Referring to FIG. 2, display 6 includes a moving image display area 61 and a character display area 62. The moving image display area 61 is an area for displaying a moving image and a list of mails. The character display area 62 is an area for displaying a message. The message data includes sentence data representing a communication sentence and data representing the number of characters of the communication sentence. The property data includes data representing the total reproduction time and data representing the total number of frames of the moving image.
[0030]
Needless to say, the form of the mobile phone 1 is not limited to the specific example shown in FIG. 1 or FIG. Other functions not described in FIG. 1 or FIG. 2 may be included, or not all of the functions described in FIG. 1 or FIG. 2 may be included. For example, the mobile phone 1 may not include the microphone 8.
[0031]
Referring to FIG. 3, the program executed on mobile phone 1 has the following control structure regarding the selection and display of mail.
[0032]
In step 100 (hereinafter, step is abbreviated as S), the control circuit 2 displays a mail list in the moving image display area 61 of the display 6. In S102, the control circuit 2 calls the message data, moving image file, and property data of the mail selected from the mail list.
[0033]
In S104, the control circuit 2 determines whether or not the data called from the memory 7 includes a moving image file. If it is determined that a moving image file is included (YES in S104), the process proceeds to S108. If not (NO in S104), the process proceeds to S106.
[0034]
In S106, the control circuit 2 outputs the sentence data called from the memory 7 to the display 6. The display 6 displays characters corresponding to the sentence data in the character display area 62. In S108, the control circuit 2 sets the speed and timing. In S110, the control circuit 2 performs reproduction of moving images and display of sentence data.
[0035]
Referring to FIG. 4, the program executed by mobile phone 1 has the following control structure with respect to speed and timing settings.
[0036]
In S120, control circuit 2 reads the total playback time of the moving image from the property data stored in memory 7. At S122, control circuit 2 accepts the scroll direction selection using keypad 5. In S124, the control circuit 2 determines whether the scroll direction input from the keypad 5 is the horizontal direction. If it is determined that the selection is in the horizontal direction (YES in S124), the process proceeds to S126. If not (NO in S124), the process proceeds to S128.
[0037]
In S126, the control circuit 2 solves the following equation to calculate the horizontal scroll speed [character / TA (ms)] for each time TA [ms].
[0038]
(Number of characters in correspondence) = (total movie playback time) x (scrolling speed)
In S128, the control circuit 2 solves the following equation to calculate the vertical scroll speed for each time TA [ms].
[0039]
(Number of characters in communication text) ÷ (number of characters that can be displayed in one line of character display area 62) = (total playback time of moving image) × (scrolling speed)
Referring to FIG. 5, the program executed on mobile phone 1 has the following control structure regarding the reproduction of moving images and the display of messages.
[0040]
In S140, control circuit 2 resets the built-in timer and counter. The timer is reset to “0”. Both the first counter and the second counter are reset to “1”. In S142, the control circuit 2 calculates a playback time TB per frame of the moving image based on the total playback time stored in the memory 7 and the scroll speed calculated in S126 or S128.
[0041]
In S 144, control circuit 2 refers to memory 7 and determines whether or not the moving image file includes image data of the “I” frame. If it is determined that image data is included (YES in S144), the process proceeds to S146. If not (NO in S144), the process proceeds to S148.
[0042]
In S 146, the control circuit 2 calls the image data of the “I” th frame from the moving image file in the memory 7. In S 148, control circuit 2 determines whether or not the data of the “J” -th character of the sentence data is stored in memory 7. If it is determined that the data is stored in memory 7 (YES in S148), the process proceeds to S150. If not (NO in S148), the process proceeds to S152.
[0043]
In S150, control circuit 2 calls the data of the “J” -th character from the sentence data stored in memory 7. In S152, control circuit 2 outputs the data of the called image and character data to display 6. The character data is scroll-displayed in the character display area 62. The scroll direction (in the present embodiment, either the vertical direction or the horizontal direction) follows the selection determined in S124. Thereby, in the moving image display area 61 and the character display area 62, the display of the moving image and the display of the message are started simultaneously. Through the processing of S126 and S128, the total playback time of the moving image and the total display time of the communication text in the present embodiment coincide with each other. Therefore, the moving image display and the message display are simultaneously performed in the moving image display area 61 and the character display area 62. finish.
[0044]
In S154, control circuit 2 determines whether or not reproduction time TB per frame has elapsed based on a timer. If it is determined that playback time TB per frame has elapsed (YES in S154), the process proceeds to S156. If not (NO in S154), the process proceeds to S158. In S156, the control circuit 2 adds “1” to the value of the first counter.
[0045]
In S158, control circuit 2 determines whether display time TA has elapsed. If it is determined that display time TA has elapsed (YES in S158), the process proceeds to S160. If not (NO in S158), the process proceeds to S166.
[0046]
In S160, control circuit 2 determines whether or not the scroll direction is the horizontal direction. If it is determined that the scroll direction is the horizontal direction (YES in S160), the process proceeds to S162. If not (NO in S160), the process proceeds to S164. In S162, the control circuit 2 adds “1” to the value of the second counter. In S164, the control circuit 2 adds the number of characters in one line to the value of the second counter.
[0047]
In S166, control circuit 2 determines whether or not the values of the first counter and the second counter are both equal to or greater than the maximum value. That is, it is determined whether or not the value of the first counter is equal to or greater than the total number of frames of the moving image and the value of the second counter is equal to or greater than the number of characters in the communication text. If it is determined that the maximum value is exceeded (YES in S166), the process returns to the main routine. If not (NO in S166), the process proceeds to S144.
[0048]
The operation of the mobile phone 1 based on the structure and flowchart as described above will be described.
[0049]
[Horizontal scrolling operation]
A display process for moving images and messages when horizontal scrolling is selected will be described.
[0050]
When the mail list is displayed in the moving image display area 61 of the display 6 (S100), the control circuit 2 calls the mail data of the mail selected from the mail list from the memory 7 (S102). When the mail data is called, the control circuit 2 determines whether a moving image is attached to the mail data (S104). In this case, since a moving image is attached (YES in S104), control circuit 2 reads the total reproduction time from the property data stored in memory 7 (S120).
[0051]
When the total reproduction time is read, the control circuit 2 accepts the selection of the scroll direction using the keypad 5 (S122). When the selection is accepted, the control circuit 2 determines whether or not the selection of the scroll direction input from the keypad 5 is the horizontal direction (S124). In this case, since horizontal scrolling is selected (YES in S124), control circuit 2 solves the following equation and performs horizontal scrolling speed [character / TA (ms) every time TA [ms]. ] Is calculated (S126).
[0052]
(Number of characters in correspondence) = (total movie playback time) x (scrolling speed)
When the scroll speed is calculated, the control circuit 2 resets the timer and the counter (S140). When the counter is reset, the control circuit 2 calculates a playback time TB per frame based on the total playback time and scroll speed stored in the memory 7 (S142).
[0053]
When the reproduction time TB per frame is calculated, the control circuit 2 refers to the memory 7 and determines whether or not the moving image file includes image data of the “1st” frame (S144). Since the image data is included (YES in S144), the control circuit 2 calls the image data of the “1st” frame from the moving image file in the memory 7 (S146).
[0054]
When the image data is called, the control circuit 2 determines whether or not there is data of the “1” -th character in the memory 7 (S148). Since there is data for the “1” th character (YES in S148), control circuit 2 calls the data for the “1” th character from the sentence data in memory 7 (S150).
[0055]
When the character data is called, the control circuit 2 outputs the called image data and character data to the display 6 (S152). When the data is output, the control circuit 2 determines whether or not the reproduction time TB per frame has elapsed based on the timer (S154). When playback time TB per frame has elapsed (YES in S154), control circuit 2 adds “1” to the value of the first counter (S156).
[0056]
When “1” is added to the counter value, the control circuit 2 determines whether or not the display time TA has elapsed (S158). When the display time has elapsed (YES in S158), control circuit 2 determines whether or not the scroll direction is the horizontal direction (S160). In this case, since the scroll direction is the horizontal direction (YES in S160), control circuit 2 adds “1” to the value of the second counter.
[0057]
When “1” is added, the control circuit 2 determines whether or not both the values of the first counter and the second counter are equal to or greater than the maximum value (S166). In this case, since it is not yet the maximum value (NO in S166), the operations of S144 to S162 are repeated, and control circuit 2 determines whether or not the values of the first counter and the second counter are both equal to or greater than the maximum value (S166). ). If both are equal to or greater than the maximum value (YES in S166), the processing ends because all the moving images and messages are displayed.
[0058]
[Vertical scrolling]
A display process of moving images and messages when vertical scrolling is selected will be described.
[0059]
When the control circuit 2 accepts the selection of the scroll direction using the keypad 5 (S122), the control circuit 2 determines whether the selection of the scroll direction input from the keypad 5 is the horizontal direction (S124). ). In this case, since the selection is in the vertical direction (NO in S124), control circuit 2 solves the following equation to calculate the vertical scroll speed for each time TA [ms] (S128).
[0060]
(Number of characters in communication text) ÷ (number of characters that can be displayed in one line of character display area 62) = (total playback time of moving image) × (scrolling speed)
When the scroll speed is calculated, the control circuit 2 determines whether or not the scroll direction is the horizontal direction through the processes of S140 to S158 (S160). In this case, since the scroll direction is the vertical direction (NO in S160), control circuit 2 adds the number of characters in one line to the value of the second counter (S164).
[0061]
When the number of characters is added, the processing of S166 to S164 is repeated, and the control circuit 2 determines whether or not the values of the first counter and the second counter are both equal to or greater than the maximum value (S166). If both are equal to or greater than the maximum value (YES in S166), all the moving images and messages are displayed, and the process ends.
[0062]
As described above, the mobile phone according to the present embodiment can easily see the moving image and know the content of the sentence without special operation. The cellular phone according to the present embodiment does not particularly require a large-scale device. The mobile phone according to the present embodiment can display a message that is scroll-displayed in either the vertical direction or the horizontal direction, which is determined based on the selection input by the keypad 5. As a result, it is possible to provide a mobile phone in which it is easy to see the moving image and know the content of the sentence.
[0063]
<Second Embodiment>
A mobile phone according to the second embodiment of the present invention will be described below.
[0064]
The cellular phone 1 according to the present embodiment includes a function key 63, a rewind key 64, a reproduction key 65, and a fast-forward key 66 on the keypad 5. With reference to FIG. 6, a display of mobile phone 1 according to the present embodiment will be described. In the mobile phone 1 according to the present embodiment, the display 6 is a touch panel. The display 6 also has a user interface function of the keypad 5. Memory 7 further includes data representing the value of the direction flag, data representing the scroll speed in each of the vertical and horizontal directions, and data representing the value of the function flag. The function key 63 is a key for turning ON / OFF the control of the time when the moving image according to the present embodiment is reproduced and the time when the message is displayed. The rewind key 64 is a key for rewinding and reproducing the moving image. The reproduction key 65 is a key for reproducing a moving image with standard settings. The fast-forward key 66 is a key for fast-forwarding and reproducing a moving image. The direction flag is a flag indicating the direction of reproduction of a moving image such as forward forwarding and rewinding, for example. The function flag is a flag indicating whether or not to control the reproduction time of the moving image and the reproduction time of the message according to the present embodiment. The scroll speed is a value representing the scroll speed of the message. The message data stored in the memory 7 further includes correspondence information. The correspondence information is data representing a correspondence relationship between frames constituting a moving image and characters constituting a message. The content of the correspondence information according to the present embodiment will be described with reference to FIG. The correspondence information includes a header, a character position, a frame number, and character information. The header is data representing the start of one piece of correspondence information. The character position is a value representing the order of characters in the message. The frame number is a value representing the frame number of the moving image corresponding to the character. Character information is data representing the character itself corresponding to the corresponding information.
[0065]
Other hardware configurations are the same as those in the first embodiment described above. The function about them is the same. Therefore, detailed description thereof will not be repeated here.
[0066]
Referring to FIG. 8, the program executed by mobile phone 1 has the following control structure with respect to setting of speed and timing. In the flowchart shown in FIG. 8, the processing shown in FIG. 4 is given the same step number. These processes are the same. Therefore, detailed description thereof will not be repeated here.
[0067]
In S180, control circuit 2 determines whether function key 63 has been pressed or not. If it is determined that function key 63 has been pressed (YES in S180), the process proceeds to S182. If not (NO in S180), the process proceeds to S184. In S182, the control circuit 2 performs a switching process. The switching process is a process configured by steps S192 to S196.
[0068]
In S184, control circuit 2 determines whether or not the function flag is “0”. If “0” is determined (YES in S184), the process proceeds to S122. If not (NO in S184), the process proceeds to S186. In S186, the control circuit 2 calls the vertical scroll speed from the memory 7.
[0069]
In S188, the control circuit 2 calls the horizontal scroll speed from the memory 7. In S190, the control circuit 2 calls the vertical scroll speed from the memory 7.
[0070]
Referring to FIG. 9, the program executed by mobile phone 1 has the following control structure regarding the switching process.
[0071]
In S192, the control circuit 2 determines whether or not the function flag is “0”. If “0” is determined (YES in S192), the process proceeds to S194. If not (NO in S192), the process proceeds to S196. In S194, the control circuit 2 sets the function flag to “1”. In S196, the control circuit 2 sets the function flag to “0”.
[0072]
Referring to FIG. 10, the program executed on mobile phone 1 has the following control structure regarding the start of reproduction of moving images and the display of the mail text. In the flowchart shown in FIG. 10, the same step numbers are assigned to the processes shown in FIG. These processes are the same. Therefore, detailed description thereof will not be repeated here.
[0073]
In S200, control device 2 sets a direction flag, a timer, and a counter. The direction flag is set to “0”. The timer is set to “0”. The first counter is set to “1”. The second counter is set to “1”. In S202, control circuit 2 calculates display time TA and playback time TB per frame based on the total playback time and scroll speed stored in memory 7.
[0074]
In S204, control circuit 2 determines whether or not the function flag is “0”. If “0” is determined (YES in S204), the process proceeds to S206. If not (NO in S204), the process proceeds to S148. In S206, the control circuit 2 specifies the value J of the second counter corresponding to the value I of the first counter based on the correspondence information.
[0075]
In S208, the control circuit 2 calls the data of the “J” th and subsequent character strings from the sentence data. At S210, control circuit 2 outputs image data and data of the “J” th and subsequent character strings. In S212, the control circuit 2 adds a value obtained by multiplying the value of the first counter by “1” and the value of the direction flag. In S214, control circuit 2 determines whether or not the function flag is “0”. If “0” is determined (YES in S214), the process proceeds to S222. If not (NO in S214), the process proceeds to S216. In S216, control circuit 2 determines whether or not reproduction key 65 has been pressed. If it is determined that reproduction key 65 has been pressed (YES in S216), the process proceeds to S218. Otherwise (NO at S216), the process proceeds to S158. In S218, the control circuit 2 pauses the process until the reproduction key 65 is next pressed.
[0076]
In S220, control circuit 2 adds a value obtained by multiplying the value of the second counter by the number of characters in one line and the value of the direction flag. In S222, control circuit 2 determines whether or not the function flag is “0”. If “0” is determined (YES in S222), the process proceeds to S224. If not (NO in S222), the process proceeds to S166. In S224, control circuit 2 determines whether or not reproduction key 65 has been pressed. If it is determined that reproduction key 65 has been pressed (YES in S224), the process proceeds to S226. If not (NO in S224), the process proceeds to S228. In S226, the control circuit 2 performs standardization processing. This standardization process is a process composed of steps S240 to S242.
[0077]
In S228, control circuit 2 determines whether or not rewind key 64 has been pressed. If it is determined that rewind key 64 has been pressed (YES in S228), the process proceeds to S230. Otherwise (NO at S228), the process proceeds to S232. In S230, the control circuit 2 performs a rewinding process. The rewinding process is a process configured by steps S246 to S248. In S232, control circuit 2 determines whether or not fast-forward key 66 has been pressed. If it is determined that fast-forward key 66 has been pressed (YES in S232), the process proceeds to S234. If not (NO in S232), the process proceeds to S166. In S234, the control circuit 2 performs a fast-forward process. The fast-forward process is a process configured by steps S250 to S242.
[0078]
Referring to FIG. 11, the program executed on mobile phone 1 has the following control structure for standardization processing.
[0079]
In S240, control circuit 2 calculates a playback time TB per frame based on the total playback time stored in memory 7. In S242, the control circuit 2 sets the value of the direction flag to “1”.
[0080]
Referring to FIG. 12, the program executed on mobile phone 1 has the following control structure for the rewinding process.
[0081]
In S246, the control circuit 2 multiplies the reproduction time TB per frame by “1/500”. In S248, control circuit 2 sets the value of the direction flag to “−1”.
[0082]
Referring to FIG. 13, the program executed on mobile phone 1 has the following control structure for fast-forward processing. In the flowchart shown in FIG. 13, the same step numbers are assigned to the processes shown in FIG. The process is the same. Therefore, detailed description thereof will not be repeated here.
[0083]
In S250, the control circuit 2 multiplies the reproduction time TB per frame by “1/300”.
[0084]
Other processing flows are the same as those in the first embodiment. The function about them is the same. Therefore, detailed description thereof will not be repeated here.
[0085]
The operation of the mobile phone 1 based on the structure and flowchart as described above will be described.
[0086]
[When a function key is pressed]
A switching process when the function key 63 is pressed will be described.
[0087]
Through the processes of S100 to S120, the control circuit 2 determines whether or not the function key 63 has been pressed (S180). When function key 63 is pressed (YES in S180), control circuit 2 determines whether or not the function flag is “0” (S192). If the function flag is “0” (YES in S192), control circuit 2 sets the function flag to “1” (S194). When the function flag is set, the control circuit 2 determines whether or not the function flag is “0” (S184). In this case, since the function flag is “1” (NO in S192), control circuit 2 calls the vertical scroll speed (S186).
[0088]
When the vertical scroll speed is called, the control circuit 2 sets a direction flag, a timer, and a counter (S200). When set, the control circuit 2 calculates the display time TA and the playback time TB per frame based on the total playback time and scroll speed stored in the memory 7 (S202). When the display time and the like are calculated, the control circuit 2 determines whether or not the function flag is “0” through the processes of S144 to S146 (S204). In this case, since the function flag is “1” (NO in S204), the control circuit 2 calls the data of the “1” th and subsequent character strings from the sentence data through the processing of S148 (S208). Thereby, the control between the display time of the moving image and the display time of the message according to the present embodiment is not performed. When the character string data is called, the control circuit 2 outputs the image data and the character string data starting from the “1” th (S210). When the data is output, the control circuit 2 waits for the reproduction time TB per frame to elapse (YES in S154), and the control circuit 2 multiplies the value of the first counter by “1” and the value of the direction flag. The added values are added (S212). At this time, it is assumed that the value of the direction flag is “1” which is still in the standard state. When the values are added, the control circuit 2 determines whether or not the function flag is “0” (S214). At this time, since the function flag is “1” (NO in S214), control circuit 2 determines whether or not reproduction key 65 has been pressed (S216). When the reproduction key 65 is pressed (YES in S216), the control circuit 2 temporarily stops the process until the reproduction key 65 is next pressed (S218). Next, when the reproduction key 65 is pressed and the process is resumed, the control circuit 2 performs a process of S158, and multiplies the value of the second counter by “1” and the value of the direction flag at that time. Add (S220). When the values are added, the control circuit 2 determines whether or not the function flag is “0” (S222). At this time, since the function flag is “1” (NO in S222), control circuit 2 repeats the processes after S166.
[0089]
[For rewind processing]
A rewinding process when the function key 63 is not pressed and the rewind key 64 is pressed will be described.
[0090]
Through the processes of S100 to S122, the control circuit 2 determines whether or not the selection is in the horizontal direction (S124). In this case, since the selection is in the horizontal direction (YES in S124), control circuit 2 calls the horizontal scroll speed from memory 7 (S188). When the scroll speed is called, the control circuit 2 determines whether or not the function flag is “0” through steps S200 to S146 (S204). In this case, since the function flag is “0” (YES in S204), the control circuit 2 specifies the value J of the second counter corresponding to the value I of the first counter (S206). When the value is specified, the control circuit 2 determines whether or not the function flag is “0” through the processes of S148 to S212 (S214). Since the function flag is “0” (YES in S214), control circuit 2 determines whether or not the function flag is “0” (S222). Since the function flag is “0” (YES in S222), control circuit 2 determines whether or not reproduction key 65 has been pressed (S224). Since reproduction key 65 has not been pressed (NO in S224), control circuit 2 determines whether or not rewind key 64 has been pressed (S228). In this case, since the rewind key 64 is pressed (YES in S228), the control circuit 2 multiplies the reproduction time TB per frame by “1/500” (S246). When the total reproduction time is multiplied by “1/500”, the control circuit 2 sets the value of the direction flag to “−1” (S248). When the value of the direction flag is set, the control circuit 2 adds a value obtained by multiplying the value of the first counter by “1” and the value “−1” of the direction flag through the processing of S166 to S154 ( S212). Thereby, a moving image is sequentially displayed in the rewind direction.
[0091]
[For fast-forward processing]
The fast-forward process when the function key 63 is not pressed and the fast-forward key 66 is pressed will be described.
[0092]
Through the processes of S100 to S228, the control circuit 2 determines whether or not the fast-forward key 66 has been pressed (S232). In this case, since fast-forward key 66 has been pressed (YES in S232), control circuit 2 multiplies playback time TB per frame by "1/300" (S250). When the total reproduction time is multiplied by “1/300”, the control circuit 2 sets the value of the direction flag to “1” (S242). When the value of the direction flag is set, the control circuit 2 waits until the reproduction time TB per frame that has become “1/300” elapses through the processing of S166 to S210 (S154). By repeating this, the moving image is fast-forwarded.
[0093]
[For standardized processing]
A standardization process when the function key 63 is not pressed and the reproduction key 65 is pressed will be described.
[0094]
Through the processing of S100 to S214, the control circuit 2 determines whether or not the reproduction key 65 has been pressed (S224). In this case, since playback key 65 is pressed (YES in S224), control circuit 2 calculates playback time TB per frame based on the total playback time stored in memory 7 (S240). When the reproduction time TB is calculated, the control circuit 2 sets the value of the direction flag to “1” (S242). When the value of the direction flag is set, the playback time TB per frame determined based on the playback speed value stored in the memory 7 elapses after the processing of S166 to S210. (S154). Thereby, the moving image is reproduced based on the value of the reproduction speed stored in the memory 7 regardless of the total reproduction time and the direction flag value until then.
[0095]
As described above, the cellular phone according to the present embodiment can perform fast forward playback processing and rewind playback processing. The mobile phone can perform a process of controlling so that specific characters constituting the message are displayed when a specific time point of the moving image is displayed. In response to the function key being pressed, the mobile phone can perform processing for displaying a moving image and a message in the moving image display area and the character display area, respectively. As a result, it is possible to provide a mobile phone that is easier and more convenient to see either the fast-forwarded moving image or the rewinded moving image and to know the content of the sentence.
[0096]
<Third Embodiment>
Hereinafter, a mobile phone according to a third embodiment of the present invention will be described.
[0097]
The cellular phone 1 according to the present embodiment includes a voice database in the memory 7. The voice database is a database that includes data that can be output by the speaker 4 for each character, word, idiom, and phrase used in the message. Their idioms and pronunciations are associated with each other. Other hardware configurations are the same as those in the first embodiment described above. The function about them is the same. Therefore, detailed description thereof will not be repeated here.
[0098]
Referring to FIG. 14, the program executed on mobile phone 1 has the following control structure regarding the start of reproduction of moving images and the display of the text of an email. In the flowchart shown in FIG. 14, the same step numbers are assigned to the processes shown in FIG. These processes are the same. Therefore, detailed description thereof will not be repeated here.
[0099]
In S300, the control circuit 2 calls a character string from the built-in buffer. In S302, control circuit 2 adds the character called in S150 to the called character string.
[0100]
In S304, the control circuit 2 determines whether or not there is voice data corresponding to the character string in the voice database stored in the memory 7. If it is determined that there is audio data (YES in S304), the process proceeds to S306. If not (NO in S304), the process proceeds to S308. In S306, the control circuit 2 calls the corresponding voice data. In S308, the control circuit 2 updates the character string in the buffer.
[0101]
In S310, control circuit 2 outputs the called voice data to speaker 4. In S312, the control circuit 2 deletes the data in the buffer.
[0102]
Other processing flows are the same as those in the first embodiment. The function about them is the same. Therefore, detailed description thereof will not be repeated here.
[0103]
The operation of the mobile phone 1 based on the structure and flowchart as described above will be described. When the image data and the character data are output (S152), the control circuit 2 calls the character string from the built-in buffer (S300). When the character string is called, the control circuit 2 adds the character called in S150 to the character string (S302). When the character is added, the control circuit 2 determines whether or not there is data corresponding to the character string in the voice database of the memory 7 (S304). If there is no corresponding data (NO in S304), control circuit 2 updates the character string in the buffer (S308). When the character string is updated, through the processing of S154 to S302, the control circuit 2 determines whether or not there is voice data corresponding to the character string with the newly added character in the voice database (S304). . If there is audio data (YES in S304), control circuit 2 calls the corresponding audio data (S306). When the voice data is called, the control circuit 2 outputs the voice data to the speaker 4 (S310). When the audio data is output to the speaker, the control circuit 2 deletes the buffer data (S312).
[0104]
As described above, the mobile phone according to the present embodiment can output sound corresponding to a message. As a result, it is possible to provide a mobile phone that makes it easier to view moving images and know the content of sentences.
[0105]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[0106]
【The invention's effect】
The mail receiving device according to the present invention can easily know the content of a sentence while watching a moving image.
[Brief description of the drawings]
FIG. 1 is a control block diagram of a mobile phone according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a display example of the display according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing a control procedure of processing relating to mail selection and display according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a control procedure of speed and timing setting processing according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing a control procedure for starting reproduction of a moving image and displaying a mail text according to the first embodiment of the present invention.
FIG. 6 is a diagram illustrating a display example of a display according to a second embodiment of the present invention.
FIG. 7 is a diagram for explaining the concept of correspondence information according to the second embodiment of the present invention.
FIG. 8 is a flowchart showing a control procedure of speed and timing setting processing according to the second embodiment of the present invention.
FIG. 9 is a flowchart showing a control procedure of switching processing according to the second embodiment of the present invention.
FIG. 10 is a flowchart showing a control procedure for starting reproduction of a moving image and displaying mail text according to the second embodiment of the present invention.
FIG. 11 is a flowchart showing a control procedure of a standardization process according to the second embodiment of the present invention.
FIG. 12 is a flowchart showing a control procedure of rewinding processing according to the second embodiment of the present invention.
FIG. 13 is a flowchart showing a control procedure of fast-forward processing according to the second embodiment of the present invention.
FIG. 14 is a flowchart showing a control procedure for starting reproduction of a moving image and displaying mail text according to the third embodiment of the present invention.
[Explanation of symbols]
1 Cellular phone, 2 Control circuit, 3 Radio circuit, 4 Speaker, 5 Keypad, 6 Display, 7 Memory, 8 Microphone, 61 Movie display area, 62 Character display area, 63 Function key, 64 Rewind key, 65 Play key 66 Fast forward key.

Claims

In a mail receiving device capable of receiving sentence data representing a communication sentence and a moving image file representing a moving picture as mail,
Storage means for storing the sentence data and the moving image file;
First display means for automatically scrolling the sentence at least partially,
Second display means for displaying the moving image;
An input means for receiving a command from the user;
So as to overlap with the timing of time when the statement is displayed moving picture is displayed, the display of the sentence in the first display means, and, for controlling reproduction of the moving image in the second display means and a control means only including,
The control means includes
Accepting means for accepting selection of one of a horizontal direction and a vertical direction as a scroll direction of the sentence in the first display means from the user via the input means;
First calculating means for calculating a scrolling speed of the sentence according to the selected scrolling direction;
When the selected scroll direction is the horizontal direction, the first calculation means calculates the scroll speed of the sentence based on the total playback time of the moving image and the number of characters of the sentence specified in advance. When the selected scroll direction is the vertical direction, the scroll speed of the sentence is based on the total reproduction time, the number of characters of the sentence, and the number of characters that can be displayed in one line of the first display means. To calculate
The control means further includes a scroll processing means for performing a process of scrolling and displaying the sentence at the calculated scrolling speed in the selected scroll direction in the first display means. apparatus.

The scroll processing means outputs a character or a character line from the storage means according to the selected scroll direction at each first switching timing determined by the scroll speed of the sentence calculated by the first calculation means. The mail receiving apparatus according to claim 1, wherein the mail receiving apparatus reads and updates the display of the first display means.

The control means includes
Second calculating means for calculating a second switching timing that is a playback time per frame of the moving image;
3. The mail receiving apparatus according to claim 2, further comprising means for updating the display of the frame of the moving image on the second display means for each calculated second switching timing.

Said storage means further stores audio data representing the speech,
Based on the text data and voice data, further comprising output means for outputting sound corresponding to the communication statement,
Said control means, so as to overlap with the timing of time when the sound is output is the moving image is displayed, further comprising means for controlling the output hands stage, according to claim 1 Mail receiving device.