JP4944587B2

JP4944587B2 - Mobile terminal and program

Info

Publication number: JP4944587B2
Application number: JP2006327054A
Authority: JP
Inventors: 秀明相原
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Casio Mobile Communications Ltd
Priority date: 2006-12-04
Filing date: 2006-12-04
Publication date: 2012-06-06
Anticipated expiration: 2026-12-04
Also published as: JP2008141582A

Description

本発明は、テレビ情報を受信可能な携帯電話などに係り、通常音声と字幕読み上げ音声とを切り替える携帯端末及びプログラムに関する。 The present invention relates to a mobile phone or the like capable of receiving television information, and relates to a mobile terminal and a program for switching between normal voice and caption reading voice.

テレビ情報を受信可能な携帯電話において、電車に乗っている間は、イヤホンで音声を聞きながらテレビを視聴し、電車から降りるときなどは、携帯電話を閉じ、映像が見られないが、音声だけはイヤホンで続けて聞き続け、続きを知りたいという状況がある。 When a mobile phone that can receive TV information is on the train, listen to the sound with earphones while watching the TV, and when you get off the train, close the mobile phone and you cannot see the video, but only the sound There is a situation that wants to keep listening to the earphones and know the continuation.

従来技術として、デジタルテレビ放送視聴中、映像が見られない状態になると、弱視者等のための音声解説付き副音声に切り替えるという技術開示されている（例えば、特許文献１参照）。 As a conventional technique, a technique is disclosed in which, when viewing a digital television broadcast, when an image is not seen, switching to sub-audio with audio commentary for a low vision person or the like (see, for example, Patent Document 1).

特開２００５−１５１２１４号公報Japanese Patent Laying-Open No. 2005-151214

しかしながら、全ての番組が音声解説付き副音声を放送しているわけではないため、上述した従来技術では、映像が見られない状態で副音声に切り替えても全ての番組を視聴できるとは限らないという問題がある。 However, since not all programs broadcast sub-audio with audio commentary, the above-described prior art does not always allow all programs to be viewed even when switched to sub-audio while no video is seen. There is a problem.

一方、デジタルテレビ放送の特長の一つである字幕放送では、音声で外国語、字幕では日本語訳、あるいは、ドラマで台詞以外に情景の説明等を入れるなど、通常の音声のみを聞く場合よりも、これら文字情報の方が内容を把握しやすい場合があるという特長がある。しかしながら、当然、映像が見られない状態で、このような文字情報を見ることはできず、また、これら文字情報を見る、あるいは聞くことができる技術はなかった。 On the other hand, in subtitle broadcasting, which is one of the features of digital TV broadcasting, compared to listening to only normal audio, such as foreign language in audio, Japanese translation in subtitles, or explanation of scenes other than dialogue in drama, etc. However, there is a feature that the character information may be easier to grasp the contents. However, as a matter of course, such character information cannot be seen in a state in which no video is seen, and there has been no technique for seeing or listening to such character information.

そこで本発明は、映像が見られない状態であっても、放送内容を継続して把握することができる携帯端末及びプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a portable terminal and a program that can continuously grasp the contents of broadcasting even when a video is not seen.

上記目的達成のため、請求項１、４記載の発明は、当該携帯端末が開かれていることが検出された場合には、受信されるテレビ放送の映像情報を表示するとともに、テレビ放送の音声情報に基づく音声を出力し、閉じられていることが検出された場合には、前記映像情報の出力を中断すると共に、前記音声情報に基づく音声の出力を前記字幕情報に基づく合成音声に切り替える際に、現在視聴中の番組が属するジャンルを示すジャンル情報を取得し、該取得された現在視聴中の番組のジャンル情報に基づいて、前記音声の出力切り替えを制御することを特徴とする。 In order to achieve the above object, the inventions of claims 1 and 4 display video information of the received television broadcast and detect the audio of the television broadcast when it is detected that the mobile terminal is opened. outputting audio based on the information, when it is detected that is closed, along with interrupting the output of the video information, when switching the output of the sound based on the voice information in the synthesized speech based on the caption information In addition, genre information indicating a genre to which a currently viewed program belongs is acquired, and the audio output switching is controlled based on the acquired genre information of the currently viewed program .

また、好ましい態様として、例えば請求項２記載のように、請求項１記載の携帯端末において、前記テレビ放送の番組のジャンル毎に、前記出力制御手段による音声の出力切り替えを行うか否かを示す切替ジャンルフラグを記憶する記憶手段を具備し、前記音声切替制御手段は、前記番組ジャンル情報取得手段によって取得された現在視聴中の番組のジャンル情報が示すジャンルに対応する、前記記憶手段の切替ジャンルフラグを参照し、該切替ジャンルフラグに基づいて、前記出力制御手段による音声の出力切り替えを制御するようにしてもよい。 Further, as a preferred aspect, for example, as in claim 2, in the portable terminal according to claim 1 , whether or not the output control means performs audio output switching for each genre of the TV broadcast program is indicated. The storage means for storing a switching genre flag, wherein the audio switching control means corresponds to the genre indicated by the genre information of the currently viewed program acquired by the program genre information acquiring means. The output of the sound by the output control means may be controlled based on the switching genre flag with reference to the flag.

また、好ましい態様として、例えば請求項３記載のように、請求項２記載の携帯端末において、前記記憶手段に記憶されている切替ジャンルフラグの状態をユーザ指示に従って設定する設定手段を具備するようにしてもよい。 Further, as a preferred aspect, for example, as in claim 3, the portable terminal according to claim 2 further includes setting means for setting a state of the switching genre flag stored in the storage means in accordance with a user instruction. May be.

本発明によれば、映像が見られない状態であっても、放送内容を継続して把握することができるという利点が得られる。 According to the present invention, there is an advantage that broadcast contents can be continuously grasped even when a video is not seen.

以下、本発明の実施の形態を、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

Ａ．第１実施形態
本第１実施形態では、携帯電話として、筐体が蓋部と本体部とからなり、蓋部と本体部とをヒンジにより接合した折り畳み可能な携帯電話を想定している。また、本第１実施形態では、放送データの中の字幕文章を読上げる機能を搭載し、テレビ視聴中に携帯電話が閉じられたことを検知して、映像の表示を止め、自動的にイヤホン出力を音声出力から字幕音声読上げモード出力に切り替えるようにしている。 A. First Embodiment In the first embodiment, a foldable mobile phone is assumed in which a casing includes a lid and a main body, and the lid and the main body are joined by a hinge as the mobile phone. In the first embodiment, a function for reading subtitle texts in broadcast data is installed, and when the mobile phone is closed while watching TV, the display of video is stopped, and the earphone is automatically set. The output is switched from audio output to subtitle audio reading mode output.

また、本第１実施形態では、イヤホン出力を音声出力から字幕音声読上げモード出力に切り替える際には、番組のジャンルにより有効度が異なるので、ジャンルに応じて自動で切り替えたり、どのジャンルで切り替えるかを設定可能としている。 In the first embodiment, when the earphone output is switched from the audio output to the subtitle audio reading mode output, the effectiveness varies depending on the genre of the program. Can be set.

Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態による携帯電話の構成を示すブロック図である。図において、テレビ受信部１は、アンテナによって受信された放送信号から、所望のチャンネルに対応したテレビ信号を受信する。通信部２は、図示しない無線基地局を介して、発着信を制御して音声通話やデータ通信などを行う。 A-1. Configuration of First Embodiment FIG. 1 is a block diagram showing a configuration of a mobile phone according to a first embodiment of the present invention. In the figure, a television receiver 1 receives a television signal corresponding to a desired channel from a broadcast signal received by an antenna. The communication unit 2 controls voice calls and data communication through a wireless base station (not shown).

操作部３は、電話番号や、各種データ、動作指示などを入力する。開閉検出部４は、筐体の所定箇所に配置された磁石からの磁気検出等により当該携帯電話の開閉を検出する。記憶部５は、所定のプログラムや、各種パラメータ、音声合成に必要な辞書、音素データなどを記憶するとともに（ＲＯＭ）、各種データや、パラメータなどを記憶したり、制御部１０の作業用エリアとして用いられる（ＲＡＭ）。 The operation unit 3 inputs a telephone number, various data, operation instructions, and the like. The open / close detection unit 4 detects the opening / closing of the mobile phone by magnetic detection from a magnet disposed at a predetermined location of the housing. The storage unit 5 stores a predetermined program, various parameters, a dictionary necessary for speech synthesis, phoneme data, and the like (ROM), stores various data, parameters, and the like, and serves as a work area for the control unit 10. Used (RAM).

特に、本第１実施形態では、記憶部５には、当該携帯電話が閉じられたときに、通常の音声出力を字幕読上げ音声（合成音声）に切り替えるかを示す音声切替フラグと、番組のジャンル毎に、通常音声を字幕読上げ音声（合成音声）に切り替えるかを示す切替ジャンルフラグの状態を格納している切替ジャンルフラグテーブルとを保持している。なお、これら音声切替フラグと切替ジャンルテーブルの詳細については後述する。 In particular, in the first embodiment, the storage unit 5 includes an audio switching flag indicating whether normal audio output is switched to subtitle-reading audio (synthesized audio) when the mobile phone is closed, and a program genre. Each time, a switching genre flag table is stored which stores a state of a switching genre flag indicating whether normal voice is switched to subtitle-reading voice (synthesized voice). The details of the voice switching flag and the switching genre table will be described later.

メイン表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等で構成され、電源状態、電波強度、電池残量、サーバ接続状態もしくは未読メール等の動作状態、入力した電話番号、メール宛先、メール送信文書等や、動画および静止画、受信したテレビ放送の映像、着信時の発呼者の電話番号、着信メール文書、接続されたインターネット画面等の受信データ、携帯電話の機能を利用するために必要な画面などを表示する。 The main display unit 6 includes, for example, an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence), and the like, and includes a power state, a radio wave intensity, a remaining battery level, a server connection state or an unread mail operation state, and an input telephone. Numbers, e-mail addresses, e-mail transmission documents, etc., moving images and still images, received TV broadcast images, incoming caller's phone number, incoming e-mail document, received data such as connected Internet screens, mobile phone Display the screens necessary for using the function.

サブ表示部７は、筐体（蓋部）の外側に配置された比較的小さな画面を有し、メイン表示部６と同様に、ＬＣＤや有機ＥＬ等で構成されている。該サブ表示部７は、一般に、当該携帯電話が閉じられたときに、各種情報を表示するためのものである。 The sub display unit 7 has a relatively small screen disposed outside the casing (lid), and is configured by an LCD, an organic EL, or the like, similar to the main display unit 6. The sub display unit 7 is generally for displaying various information when the cellular phone is closed.

音声出力部８は、テレビ信号に含まれる音声データや、音楽データをアナログ信号に変換してスピーカ８−１またはイヤホンジャック８−２に出力する。イヤホンジェック８−２には、図示しないイヤホンが着脱される。電話部９は、音声通話において、マイク９−２からの音声を取り込み、デジタル信号に変換して制御部１０に供給する一方、相手電話の音声信号をアナログ信号に変換してスピーカ９−１から出力する。 The audio output unit 8 converts audio data or music data included in the television signal into an analog signal and outputs the analog signal to the speaker 8-1 or the earphone jack 8-2. An earphone (not shown) is attached to and detached from the earphone jack 8-2. In the voice call, the telephone unit 9 captures the voice from the microphone 9-2, converts it into a digital signal and supplies it to the control unit 10, while converting the voice signal of the other party telephone into an analog signal and from the speaker 9-1. Output.

制御部１０は、上述した各部の動作を所定のプログラムに従って制御する。特に、本第１実施形態では、通常の発着信処理や、通話処理、テレビアプリケーションによるテレビ放送受信処理など以外に、テレビ放送の字幕情報を合成音声に変換する処理や、端末の開閉に応じた通常音声と字幕読み上げとの切り替え、視聴中の番組のジャンルに応じた音声出力の切り替えなどを行うようになっている。電源部１１は、充電可能な二次電池からなり、上述した各部へ動作用の電力を供給する。 The control unit 10 controls the operation of each unit described above according to a predetermined program. In particular, according to the first embodiment, in addition to normal outgoing / incoming processing, call processing, TV broadcast reception processing by a TV application, processing for converting subtitle information of TV broadcast into synthesized sound, and switching according to terminal opening / closing Switching between normal audio and subtitle reading, switching of audio output according to the genre of the program being viewed, and the like are performed. The power supply unit 11 is composed of a rechargeable secondary battery, and supplies power for operation to the above-described units.

次に、図２は、上記記憶部５に記憶されている音声切替フラグ及び切替ジャンルフラグの状態とその意味を説明するための概念図である。音声切替フラグは、「０」に設定されている場合には、テレビ番組の視聴中に携帯電話が閉じられたときに通常音声を字幕読み上げに切り替えないことを示し（通常音声／字幕読み上げ切替無効）、「１」に設定されている場合には、携帯電話が閉じられたときに通常音声を字幕読み上げに切り替えることを示す（通常音声／字幕読み上げ切替有効）。なお、音声切替フラグは、デフォルトでは「１」に設定されているものとするが、ユーザによって適宜変更可能である（詳細は後述する）。 Next, FIG. 2 is a conceptual diagram for explaining the states and meanings of the voice switching flag and the switching genre flag stored in the storage unit 5. When the audio switching flag is set to “0”, it indicates that normal audio is not switched to caption reading when the mobile phone is closed while watching a TV program (normal voice / caption reading switching disabled) ), When set to “1”, indicates that normal voice is switched to caption reading when the mobile phone is closed (normal voice / caption reading switching enabled). The voice switching flag is set to “1” by default, but can be changed as appropriate by the user (details will be described later).

また、切替ジャンルフラグは、詳細は後述するが、番組ジャンル毎に設定され、「０」に設定されている場合には、通常音声を字幕読み上げに切り替えないジャンルであることを示し（切替無効ジャンル）、「１」に設定されている場合には、通常音声を字幕読み上げに切り替えるジャンルであることを示す（切替有効ジャンル）。 The switching genre flag is set for each program genre, details of which will be described later. When it is set to “0”, it indicates that the genre does not switch normal audio to caption reading (switching invalid genre). ), When “1” is set, it indicates that the genre is to switch normal voice to caption reading (switchable genre).

また、図３は、上述した切替ジャンルフラグが記憶されている切替ジャンルテーブル５−１の状態を示す概念図である。図３に示すように、切替ジャンルテーブル５−１には、番組ジャンル毎に、通常の音声出力を字幕読上げ音声（合成音声）に切り替えるか否かを示す切替ジャンルフラグが設定されている。図示の例では、映画、音楽、バラエティに関しては、切替ジャンルフラグが「０：無効」に設定されており、ドラマ、スポーツ、ニュース、教養、その他に関しては、切替ジャンルフラグが「１：有効」に設定されている。なお、図３に示す状態をデフォルトとするが、ユーザによって適宜変更可能である（詳細は後述する）。 FIG. 3 is a conceptual diagram showing a state of the switching genre table 5-1 in which the above-described switching genre flag is stored. As shown in FIG. 3, the switching genre table 5-1 is set with a switching genre flag indicating whether or not normal audio output is switched to subtitle-reading audio (synthesized audio) for each program genre. In the illustrated example, the switching genre flag is set to “0: invalid” for movies, music, and variety, and the switching genre flag is set to “1: valid” for drama, sports, news, culture, and others. Is set. Although the state shown in FIG. 3 is the default, it can be changed as appropriate by the user (details will be described later).

図４は、携帯電話を開いているときの動作状態の一例を示す模式図である。携帯電話を開いているときは、映像をメイン表示部６に表示し、イヤホンジャック８−２に装着されたイヤホンから音声出力し、字幕をＯＦＦとするようになっている。 FIG. 4 is a schematic diagram illustrating an example of an operation state when the mobile phone is opened. When the mobile phone is open, the video is displayed on the main display unit 6, the sound is output from the earphone attached to the earphone jack 8-2, and the subtitle is turned off.

また、図５は、携帯電話を閉じたときの動作状態の一例を示す模式図である。携帯電話を閉じたときは、映像、通常音声をＯＦＦとし、字幕読み上げ音声をイヤホンジャック８−２に装着されたイヤホンから出力するようになっている。 FIG. 5 is a schematic diagram illustrating an example of an operation state when the mobile phone is closed. When the mobile phone is closed, the video and normal sound are turned off, and the subtitle-reading sound is output from the earphone attached to the earphone jack 8-2.

Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。ここで、図６および図７は、本第１実施形態による携帯電話の動作（メインルーチン）を説明するためのフローチャートである。まず、電源がオンにされたか否かを判断し（ステップＳ１０）、電源がオンにされると、動作に必要なパラメータを初期化するなどの起動処理を行う（ステップＳ１２）。次に、待ち受け画面を表示し（ステップＳ１４）、テレビアプリケーションの起動操作があったか否かを判断する（ステップＳ１６）。 A-2. Operation of First Embodiment Next, the operation of the first embodiment described above will be described. Here, FIG. 6 and FIG. 7 are flowcharts for explaining the operation (main routine) of the mobile phone according to the first embodiment. First, it is determined whether or not the power is turned on (step S10). When the power is turned on, a startup process such as initialization of parameters necessary for the operation is performed (step S12). Next, a standby screen is displayed (step S14), and it is determined whether or not a TV application activation operation has been performed (step S16).

そして、テレビアプリケーションの起動操作がない場合には、設定操作があったか否かを判断し（ステップＳ１８）、設定操作があった場合には、各種パラメータの設定処理を実行し（ステップＳ２０）、ステップＳ１４に戻る。なお、該設定処理の詳細については後述する。一方、設定操作がなかった場合には、その他の操作があったか否かを判断し（ステップＳ２２）、その他の操作があった場合には、その他の操作に対応する処理を実行し（ステップＳ２４）、ステップＳ１４に戻る。 If there is no operation for starting the TV application, it is determined whether or not there is a setting operation (step S18). If there is a setting operation, various parameter setting processing is executed (step S20). Return to S14. Details of the setting process will be described later. On the other hand, if there is no setting operation, it is determined whether or not there is another operation (step S22). If there is another operation, processing corresponding to the other operation is executed (step S24). Return to step S14.

一方、テレビアプリケーションの起動操作があった場合には、まず、現在受信中の番組ジャンルを取得し（ステップＳ２６）、映像をメイン表示部６に出力する（ステップＳ２８）。次に、イヤホンがイヤホンジャック８−２に装着されているか否かを判断し（ステップＳ３０）、イヤホンが装着されている場合には、イヤホンから通常音声を出力する（ステップＳ３２）。次に、携帯電話を閉じたか否かを判断し（ステップＳ３４）、携帯電話が閉じられた場合には、端末閉処理を実行する（ステップＳ３６）。端末閉処理の詳細については後述するが、ここで簡単に説明すると、音声切替フラグと切替ジャンルフラグとが共に有効であり、字幕があった場合にのみ、イヤホンの音声出力を字幕読み上げ（合成音声）に切り替える。 On the other hand, when a TV application activation operation is performed, first, the currently received program genre is acquired (step S26), and the video is output to the main display unit 6 (step S28). Next, it is determined whether or not the earphone is attached to the earphone jack 8-2 (step S30). If the earphone is attached, normal sound is output from the earphone (step S32). Next, it is determined whether or not the mobile phone is closed (step S34). If the mobile phone is closed, a terminal closing process is executed (step S36). The details of the terminal closing process will be described later. To briefly explain here, both the audio switching flag and the switching genre flag are valid, and the audio output of the earphone is read out as a subtitle (synthesized audio) only when there is a subtitle. ).

次に、携帯電話を開いたか否かを判断し（ステップＳ４４）、携帯電話が開かれるまでこの状態を維持する。一方、携帯電話が開かれると、ステップＳ２８に戻り、再び、映像をメイン表示部６に出力するとともに、イヤホンジャック８−２に装着されたイヤホンから通常音声を出力し、視聴を継続させる。 Next, it is determined whether or not the mobile phone has been opened (step S44), and this state is maintained until the mobile phone is opened. On the other hand, when the mobile phone is opened, the process returns to step S28, and the video is output to the main display unit 6 again, and the normal sound is output from the earphone attached to the earphone jack 8-2 to continue viewing.

一方、ステップＳ３０で、イヤホンが装着されていないと判断された場合には、スピーカ８−１から通常音声を出力する（ステップＳ３８）。そして、携帯電話を閉じたか否かを判断し（ステップＳ４０）、携帯電話が閉じられた場合には、字幕読み上げに切り替えることなく、テレビアプリケーションを一時停止する（ステップＳ４２）。 On the other hand, if it is determined in step S30 that the earphone is not worn, normal sound is output from the speaker 8-1 (step S38). Then, it is determined whether or not the mobile phone has been closed (step S40). If the mobile phone has been closed, the television application is paused without switching to subtitle reading (step S42).

次に、携帯電話を開いたか否かを判断し（ステップＳ４４）、携帯電話が開かれるまで、テレビアプリケーションの一時停止状態を維持する。一方、携帯電話が開かれると、ステップＳ２８に戻り、再び、映像をメイン表示部６に出力するとともに、スピーカ８−１から通常音声を出力して視聴を再開させる。 Next, it is determined whether or not the mobile phone has been opened (step S44), and the television application is suspended until the mobile phone is opened. On the other hand, when the mobile phone is opened, the process returns to step S28, and the video is output to the main display unit 6 again, and normal audio is output from the speaker 8-1 to resume viewing.

また、上述したテレビ番組の視聴中において、携帯電話が閉じられなかった場合（ステップＳ３４のＮＯ、ステップＳ４０のＮＯ）には、番組切替操作があったか否かを判断する（ステップＳ４６）。そして、番組切替操作があった場合には、受信番組を変更し（ステップＳ４８）、ステップＳ２６に戻り、変更した番組の視聴を継続させる。 If the mobile phone is not closed while watching the TV program described above (NO in step S34, NO in step S40), it is determined whether a program switching operation has been performed (step S46). If there is a program switching operation, the received program is changed (step S48), and the process returns to step S26 to continue viewing the changed program.

一方、番組切替操作がなかった場合には、テレビアプリケーション終了操作があったか否かを判断する（ステップＳ５０）。そして、テレビアプリケーション終了操作があった場合には、テレビアプリケーション終了処理を実行し（ステップＳ５２）、ステップＳ１４の待ち受け画面に戻る。 On the other hand, if there is no program switching operation, it is determined whether or not a television application termination operation has been performed (step S50). If there is a TV application end operation, TV application end processing is executed (step S52), and the screen returns to the standby screen in step S14.

また、テレビアプリケーション終了操作がなかった場合には、その他の操作（音量調整など）があったか否かを判断する（ステップＳ５４）。そして、その他の操作があった場合には、その他のテレビアプリケーション操作の処理を実行し（ステップＳ５６）、ステップＳ３０に戻り、テレビ番組の視聴を継続させる。 If there is no TV application end operation, it is determined whether or not there is another operation (volume adjustment or the like) (step S54). If there is another operation, the other TV application operation processing is executed (step S56), and the process returns to step S30 to continue watching the TV program.

次に、図８は、上述した端末閉処理の動作を説明するためのフローチャートである。端末閉処理では、テレビ番組の視聴中に携帯電話が閉じられると、映像出力を停止し（ステップＳ６０）、音声切替フラグが「１」であるか否かを判断する（ステップＳ６２）。そして、音声切替フラグが「１」でない場合、すなわち、音声切替フラグが図２に示すように「０」の通常音声／字幕読み上げ切替無効に設定されている場合には、音声出力を字幕読み上げに切り替えることなく、当該端末閉処理を終了し、上述したメインルーチンに戻る。 Next, FIG. 8 is a flowchart for explaining the operation of the terminal closing process described above. In the terminal closing process, when the mobile phone is closed while watching the TV program, the video output is stopped (step S60), and it is determined whether or not the audio switching flag is “1” (step S62). When the voice switching flag is not “1”, that is, when the voice switching flag is set to “0” normal voice / caption reading switching disabled as shown in FIG. The terminal closing process is terminated without switching, and the process returns to the main routine described above.

一方、音声切替フラグが「１」である場合、すなわち、音声切替フラグが図２に示すように「１」の通常音声／字幕読み上げ切替有効に設定されている場合には、切替ジャンルフラグテーブル５−１を参照し、ステップＳ２６で取得した番組ジャンルに対応する切替ジャンルフラグが「１」であるか否かを判断する（ステップＳ６４）。そして、切替ジャンルフラグが「１」でない場合、すなわち、切替ジャンルフラグが「０」の切替無効ジャンルに設定されている場合には、音声出力を字幕読み上げに切り替えることなく、当該端末閉処理を終了し、上述したメインルーチンに戻る。 On the other hand, when the voice switching flag is “1”, that is, when the voice switching flag is set to enable normal voice / caption reading switching of “1” as shown in FIG. −1, it is determined whether or not the switching genre flag corresponding to the program genre acquired in step S26 is “1” (step S64). When the switching genre flag is not “1”, that is, when the switching genre flag is set to the switching invalid genre of “0”, the terminal closing process is terminated without switching the audio output to the caption reading. Then, the process returns to the main routine described above.

このように、音声切替フラグまたは切替ジャンルフラグのいずれか一方でも「０」に設定されている場合には、テレビ番組の視聴中に端末が閉じられても、音声出力を字幕読み上げに切り替えない。 Thus, when either the audio switching flag or the switching genre flag is set to “0”, the audio output is not switched to caption reading even when the terminal is closed during viewing of the television program.

また、音声切替フラグ及び切替ジャンルフラグの双方が「１」に設定されている場合には、現在視聴している放送データの中に字幕があるか否かを判断する（ステップＳ６６）。そして、字幕がない場合には、音声出力を字幕読み上げに切り替えることなく、当該端末閉処理を終了し、上述したメインルーチンに戻る。 If both the audio switching flag and the switching genre flag are set to “1”, it is determined whether or not there is a caption in the currently viewed broadcast data (step S66). If there is no caption, the terminal closing process is terminated without switching the audio output to caption reading, and the process returns to the main routine described above.

これに対して、音声切替フラグ及び切替ジャンルフラグの双方が「１」に設定されており、かつ、放送データの中に字幕がある場合には、字幕をデコード処理し（ステップＳ６８）、デコードした字幕（文字コード）を合成音声に変換する字幕音声処理を実行し（ステップＳ７０）、イヤホンの音声出力を上記合成音声で字幕を読み上げる字幕読み上げに切り替える（ステップＳ７２）。その後、メインルーチンに戻る。 On the other hand, if both the audio switching flag and the switching genre flag are set to “1” and there is a caption in the broadcast data, the caption is decoded (step S68). Subtitle audio processing for converting subtitles (character codes) into synthesized speech is executed (step S70), and the audio output of the earphone is switched to subtitle reading that reads out the subtitles with the synthesized speech (step S72). Thereafter, the process returns to the main routine.

次に、図９は、上述した設定処理の動作を説明するためのフローチャートである。待ち受け画面において、操作部３により設定操作が行われた場合には、まず、音声切替設定操作であるか否かを判断し（ステップＳ８０）、音声切替設定操作であった場合には、音声切替フラグが「１」であるか否かを判断し（ステップＳ８２）、音声切替フラグが「１」、すなわち、通常音声／字幕読み上げ切り替え有効である場合には、音声切替フラグを「０」、すなわち、通常音声／字幕読み上げ切り替え無効に設定にする（ステップＳ８４）。その後、メインルーチンに戻る。 Next, FIG. 9 is a flowchart for explaining the operation of the setting process described above. When a setting operation is performed by the operation unit 3 on the standby screen, it is first determined whether or not it is a voice switching setting operation (step S80). If it is a voice switching setting operation, a voice switching is performed. It is determined whether or not the flag is “1” (step S82). If the voice switching flag is “1”, that is, if normal voice / caption reading switching is valid, the voice switching flag is set to “0”, that is, Then, the normal voice / caption reading switching is disabled (step S84). Thereafter, the process returns to the main routine.

一方、音声切替フラグが「１」でない場合、すなわち、通常音声／字幕読み上げ切り替え無効である場合には、音声切替フラグを「１」、すなわち、通常音声／字幕読み上げ切り替え有効に設定にする（ステップＳ８６）。その後、メインルーチンに戻る。 On the other hand, when the voice switching flag is not “1”, that is, when the normal voice / caption reading switching is disabled, the voice switching flag is set to “1”, that is, the normal voice / subtitle reading switching is enabled (step) S86). Thereafter, the process returns to the main routine.

また、音声切替設定操作でなかった場合には、切替ジャンル設定操作であるか否かを判断し（ステップＳ８８）、切替ジャンル設定操作である場合には、設定する番組ジャンルを選択させる（ステップＳ９０）。番組ジャンルの選択は、メイン表示部６に表示した番組ジャンルの一覧から、ユーザが所望するジャンルを操作部３の操作（カーソルキーなど）により選択することで行う。 If it is not a voice switching setting operation, it is determined whether or not it is a switching genre setting operation (step S88). If it is a switching genre setting operation, a program genre to be set is selected (step S90). ). The program genre is selected by selecting a genre desired by the user from the list of program genres displayed on the main display unit 6 by operating the operation unit 3 (cursor keys or the like).

次に、番組ジャンルが選択されると、図３に示す切替ジャンルフラグテーブル５−１を参照し、選択された番組ジャンルの切替ジャンルフラグが「１」であるか否かを判断し（ステップＳ９２）、切替ジャンルフラグが「１」、すなわち、切替有効ジャンルである場合には、当該切替ジャンルフラグを「０」、すなわち、切替無効ジャンルに設定する（ステップＳ９４）。その後、メインルーチンに戻る。 Next, when the program genre is selected, the switching genre flag table 5-1 shown in FIG. 3 is referred to, and it is determined whether or not the switching genre flag of the selected program genre is “1” (step S92). ) If the switching genre flag is “1”, that is, the switching valid genre, the switching genre flag is set to “0”, that is, the switching invalid genre (step S94). Thereafter, the process returns to the main routine.

一方、選択された番組ジャンルの切替ジャンルフラグが「０」、すなわち、切替無効ジャンルである場合には、当該切替ジャンルフラグを「１」、すなわち、切替有効ジャンルに設定する（ステップＳ９６）。その後、メインルーチンに戻る。 On the other hand, when the switching genre flag of the selected program genre is “0”, that is, the switching invalid genre, the switching genre flag is set to “1”, that is, the switching valid genre (step S96). Thereafter, the process returns to the main routine.

また、設定操作が、音声切替設定操作でも、切替ジャンル設定操作でもない場合には、その他の設定操作であるか否かを判断し（ステップＳ９８）、その他の設定操作である場合には、その他の設定処理を実行し（ステップＳ１００）、その後、メインルーチンに戻る。一方、その他の設定処理でもない場合には、そのままメインルーチンに戻る。 If the setting operation is neither a voice switching setting operation nor a switching genre setting operation, it is determined whether or not the setting operation is another setting operation (step S98). Is executed (step S100), and then the process returns to the main routine. On the other hand, if there is no other setting process, the process directly returns to the main routine.

上述した第１実施形態によれば、テレビ番組の視聴中に端末が閉じられたときは、音声出力を通常音声から字幕読み上げ音声（音声合成）に切り替えることで、携帯電話を閉じて映像が見られない間でも、放送内容を継続して把握することができる。 According to the first embodiment described above, when the terminal is closed while watching a TV program, the audio output is switched from normal audio to subtitle-reading audio (audio synthesis), so that the cellular phone is closed and the video is viewed. Even if it is not possible, it is possible to keep track of the broadcast content.

また、字幕の読上げ中は、字幕のデコードのみ行い、映像及び音声のデコード、メイン表示部６の表示を停止することにより、放送内容を継続して把握しつつ、消費電力を低減することができる。 In addition, during subtitle reading, only subtitle decoding is performed, and video and audio decoding and display on the main display unit 6 are stopped, so that power consumption can be reduced while continuously grasping the broadcast content. .

また、視聴中の番組のジャンルに応じて声出力を通常音声から字幕読み上げ音声に切り替えるようにしたので、字幕読み上げに適した番組のみで自動切り替えすることできる。 In addition, since the voice output is switched from the normal sound to the caption reading sound according to the genre of the program being viewed, it is possible to automatically switch only the program suitable for caption reading.

また、番組のジャンル毎に、通常音声出力を字幕読み上げ音声（音声合成）で出力するか否かを設定可能としたので、より柔軟に字幕読み上げに切り替えることができ、ユーザの利便性を向上させることができる。 In addition, since it is possible to set whether to output the normal audio output as subtitle-reading sound (speech synthesis) for each program genre, it is possible to switch to subtitle-reading more flexibly and improve user convenience. be able to.

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。本第２実施形態では、テレビ番組の視聴中に携帯電話が閉じられたとき、番組や内容によっては字幕読上げより通常の音声出力の方が分かりやすい場合もあるので、ユーザ操作により、字幕読上げと通常の音声出力とを切り替え可能としている。なお、携帯電話の構成は、図１に示す構成と同様であるので説明を省略する。 B. Second Embodiment Next, a second embodiment of the present invention will be described. In the second embodiment, when the mobile phone is closed while watching a TV program, depending on the program and contents, normal audio output may be easier to understand than subtitle reading. Switching between normal audio output is possible. The configuration of the mobile phone is the same as that shown in FIG.

次に、上述した第２実施形態の動作について説明する。
図１０は、本第２実施形態による携帯電話の動作を説明するためのフローチャートである。まず、電源がオンにされたか否かを判断し（ステップＳ１１０）、電源がオンにされると、動作に必要なパラメータを初期化するなどの起動処理を行う（ステップＳ１１２）。次に、待ち受け画面を表示し（ステップＳ１１４）、テレビアプリケーションの起動操作があったか否かを判断する（ステップＳ１１６）。 Next, the operation of the above-described second embodiment will be described.
FIG. 10 is a flowchart for explaining the operation of the mobile phone according to the second embodiment. First, it is determined whether or not the power is turned on (step S110). When the power is turned on, a startup process such as initialization of parameters necessary for the operation is performed (step S112). Next, a standby screen is displayed (step S114), and it is determined whether or not a television application activation operation has been performed (step S116).

そして、テレビアプリケーションの起動操作がない場合には、その他の操作があったか否かを判断し（ステップＳ１１８）、その他の操作があった場合には、その他の操作に対応する処理を実行し（ステップＳ１２０）、ステップＳ１１４の待ち受け画面に戻る。 If there is no operation for starting the TV application, it is determined whether or not there is any other operation (step S118). If there is another operation, processing corresponding to the other operation is executed (step S118). S120), the screen returns to the standby screen in step S114.

一方、テレビアプリケーションの起動操作があった場合には、まず、現在受信中の番組映像をメイン表示部６に出力するとともに、通信音声をイヤホンジャック８−２に挿入されているイヤホンに出力する（ステップＳ１２２）。次に、携帯電話を閉じたか否かを判断し（ステップＳ１２４）、携帯電話が閉じられた場合には、ユーザにより音声出力切替操作があったか否かを判断する（ステップＳ１２６）。 On the other hand, when a TV application activation operation is performed, first, the currently received program video is output to the main display unit 6 and communication audio is output to the earphone inserted in the earphone jack 8-2 ( Step S122). Next, it is determined whether or not the mobile phone has been closed (step S124). If the mobile phone has been closed, it is determined whether or not the user has performed an audio output switching operation (step S126).

そして、音声出力切替操作があった場合には、音声出力が通常音声であるか否かを判断し（ステップＳ１２８）、音声出力が通常音声であった場合には、現在視聴している放送データの中に字幕があるか否かを判断する（ステップＳ１３０）。そして、字幕がない場合には、音声出力を切り替えることなく、上述したステップＳ１２６に戻る。 If there is an audio output switching operation, it is determined whether or not the audio output is normal audio (step S128). If the audio output is normal audio, the currently viewed broadcast data It is determined whether or not there is a caption (step S130). And when there is no caption, it returns to step S126 mentioned above, without switching audio | voice output.

一方、放送データの中に字幕がある場合には、字幕をデコード処理し（ステップＳ１３２）、デコードした字幕（文字コード）を合成音声に変換する字幕音声処理を実行し（ステップＳ１３４）、音声出力を上記合成音声で字幕を読み上げる字幕読み上げに切り替える（ステップＳ１３６）。 On the other hand, when there is a caption in the broadcast data, the caption is decoded (step S132), caption audio processing for converting the decoded caption (character code) into synthesized speech is executed (step S134), and audio output is performed. Is switched to reading out subtitles by reading out the subtitles in the synthesized speech (step S136).

また、音声出力切替操作があった際に、音声出力が通常音声でなかった場合、すなわち、字幕を読み上げる字幕読み上げであった場合には、音声出力を通常音声に切り替える（ステップＳ１３８）。 If the audio output is not normal audio when the audio output switching operation is performed, that is, if the subtitle is read out to read out the subtitle, the audio output is switched to normal audio (step S138).

いずれの場合も、音声出力を切り替えた後、携帯電話を開いたか否かを判断し（ステップＳ１４８）、携帯電話が開かれない場合には、ステップＳ１２６に戻って、現在の音声出力を継続して視聴を継続する一方、携帯電話が開かれた場合には、ステップＳ１２２に戻って、現在受信中の番組映像をメイン表示部６に出力するとともに、通信音声をイヤホンジャック８−２に挿入されているイヤホンに出力して視聴を継続させる。 In any case, after switching the voice output, it is determined whether or not the mobile phone is opened (step S148). If the mobile phone is not opened, the process returns to step S126 to continue the current voice output. If the mobile phone is opened, the process returns to step S122 to output the currently received program video to the main display unit 6 and to insert the communication audio into the earphone jack 8-2. Output to the existing earphone and continue watching.

また、テレビ番組の視聴中に、携帯電話が閉じられなかった場合（ステップＳ１２４のＮＯ）、あるいは音声出力切替操作がなかった場合（ステップＳ１２６のＮＯ）には、テレビアプリケーション終了操作があったか否かを判断する（ステップＳ１４０）。そして、テレビアプリケーション終了操作があった場合には、テレビアプリケーションを終了するテレビアプリケーション終了処理を実行し（ステップＳ１４２）、ステップＳ１１４の待ち受け画面に戻る。 If the mobile phone is not closed while watching a TV program (NO in step S124), or if there is no audio output switching operation (NO in step S126), whether or not a TV application end operation has been performed. Is determined (step S140). If there is a TV application end operation, a TV application end process for ending the TV application is executed (step S142), and the screen returns to the standby screen in step S114.

一方、テレビアプリケーション終了操作がなかった場合には、その他の操作（音量調整など）があったか否かを判断する（ステップＳ１４４）。そして、その他の操作があった場合には、その他のテレビアプリケーション操作の処理を実行し（ステップＳ１４６）、ステップＳ１２０に戻り、テレビ番組の視聴を継続する。 On the other hand, if there is no TV application end operation, it is determined whether or not there is another operation (volume adjustment or the like) (step S144). If there is another operation, the other TV application operation processing is executed (step S146), and the process returns to step S120 to continue watching the TV program.

上述した第２実施形態によれば、テレビ番組の視聴中に端末が閉じられたとき、ユーザ操作により、字幕読上げと通常の音声出力とを切り替え可能としているので、番組や内容に応じて、字幕読み上げか、通常の音声出力かをユーザが選択することができ、ユーザの状況や、番組のジャンルに応じてより柔軟に対応することができる。 According to the second embodiment described above, when the terminal is closed while watching a TV program, it is possible to switch between subtitle reading and normal audio output by a user operation. The user can select between reading out and normal audio output, and it is possible to respond more flexibly according to the user's situation and the genre of the program.

なお、上述した実施形態においては、折り畳み形式の携帯電話についてのみ説明したが、これに限らず、あらゆる形式の携帯電話に適用することも可能である。折り畳み形式の場合には、携帯電話の開閉を、機械的、磁気的に検出することで、自動的に音声出力の切り替えを行うことができる。これに対して、折り畳み形式以外の携帯電話の場合には、そもそも携帯電話を「開閉」するという動作がない。 In the above-described embodiment, only the folding-type mobile phone has been described. However, the present invention is not limited to this and can be applied to all types of mobile phones. In the case of the folding type, voice output can be automatically switched by mechanically and magnetically detecting the opening and closing of the mobile phone. On the other hand, in the case of a mobile phone other than the folding type, there is no operation of “opening / closing” the mobile phone in the first place.

そこで、折り畳み形式以外の携帯電話の場合には、例えば、電車内でのテレビ放送の視聴において、電車を降りるときに、前述した第２実施形態で説明したように、ユーザが所定のボタンを押下するなど、音声出力の切り替えを指示するようにすればよい。このとき、携帯電話の開閉は検出されない。そして、所定の操作、すなわち、音声出力の切り替え指示操作を検出すると、映像のメイン表示部への表示を停止し、イヤホンへの音声出力を字幕読み上げに切り替えることで、放送内容を継続して把握することができる。 Therefore, in the case of a mobile phone other than the folding type, for example, when watching a TV broadcast in a train, when the user gets off the train, the user presses a predetermined button as described in the second embodiment. For example, the switching of the audio output may be instructed. At this time, opening / closing of the mobile phone is not detected. When a predetermined operation, that is, an audio output switching instruction operation is detected, the display of the video on the main display unit is stopped, and the audio output to the earphone is switched to reading the subtitles so that the broadcast content can be continuously understood. can do.

本発明の第１実施形態による携帯電話の構成を示すブロック図である。It is a block diagram which shows the structure of the mobile telephone by 1st Embodiment of this invention. 本第１実施形態において、記憶部５に記憶されている音声切替フラグと切替ジャンルフラグの状態とその意味を説明するための概念図である。In this 1st Embodiment, it is a conceptual diagram for demonstrating the state of the audio | voice switching flag and switching genre flag memorize | stored in the memory | storage part 5, and its meaning. 本第１実施形態において、記憶部５に記憶されている切替ジャンルテーブル５−１の状態を示す概念図である。In this 1st Embodiment, it is a conceptual diagram which shows the state of the switching genre table 5-1 memorize | stored in the memory | storage part 5. FIG. 携帯電話を開いているときの動作状態の一例を示す模式図である。It is a schematic diagram which shows an example of the operation state when the mobile phone is opened. 携帯電話を閉じたときの動作状態の一例を示す模式図である。It is a schematic diagram which shows an example of the operation state when a mobile telephone is closed. 本第１実施形態による携帯電話の動作（メインルーチン）を説明するためのフローチャートである。5 is a flowchart for explaining the operation (main routine) of the mobile phone according to the first embodiment. 本第１実施形態による携帯電話の動作（メインルーチン）を説明するためのフローチャートである。5 is a flowchart for explaining the operation (main routine) of the mobile phone according to the first embodiment. 本第１実施形態による携帯電話の端末閉処理の動作を説明するためのフローチャートである。4 is a flowchart for explaining an operation of a mobile phone terminal closing process according to the first embodiment; 本第１実施形態による携帯電話の設定処理の動作を説明するためのフローチャートである。4 is a flowchart for explaining an operation of a setting process of the mobile phone according to the first embodiment. 本発明の第２実施形態による携帯電話の動作を説明するためのフローチャートである。7 is a flowchart for explaining an operation of the mobile phone according to the second embodiment of the present invention.

Explanation of symbols

１テレビ受信部
２通信部
３操作部
４開閉検出部
５記憶部
６メイン表示部
７サブ表示部
８音声出力部
８−１スピーカ
８−２イヤホンジャック
９電話部
９−１スピーカ
９−２マイク
１０制御部
１１電源部 DESCRIPTION OF SYMBOLS 1 Television reception part 2 Communication part 3 Operation part 4 Opening / closing detection part 5 Memory | storage part 6 Main display part 7 Sub display part 8 Audio | voice output part 8-1 Speaker 8-2 Earphone jack 9 Telephone part 9-1 Speaker 9-2 Microphone 10 Control unit 11 Power supply unit

Claims

In mobile devices that can be opened and closed,
Display means for displaying video;
Audio output means for outputting audio;
Open / close detecting means for detecting opening / closing of the portable terminal;
TV receiving means for receiving TV broadcasts with text information;
Audio conversion means for converting character information of the television broadcast received by the television reception means into synthesized voice;
Program genre information acquisition means for acquiring genre information indicating a genre to which a program currently being viewed of a television broadcast received by the television reception means belongs;
When the open / close detection means detects that the mobile terminal is opened, the television broadcast video information received by the television reception means is displayed on the display means, and the television broadcast audio information is displayed. When the audio output unit outputs the audio based on the video signal and detects that the video signal is closed, the output of the video information to the display unit is interrupted and the audio output of the audio based on the audio information is performed. Output control means for switching the output from the means to synthesized speech based on the character information converted by the voice conversion means ;
A portable terminal comprising voice switching control means for controlling voice output switching by the output control means based on genre information of a currently viewed program acquired by the program genre information acquisition means .

Storage means for storing a switching genre flag indicating whether or not to perform audio output switching by the output control means for each genre of the TV broadcast program;
The audio switching control means refers to the switching genre flag of the storage means corresponding to the genre indicated by the genre information of the currently viewed program acquired by the program genre information acquiring means, and based on the switching genre flag the portable terminal of claim 1, wherein the controlling the output switching of the audio by the output control means.

The portable terminal according to claim 2 , further comprising setting means for setting a state of the switching genre flag stored in the storage means in accordance with a user instruction.

To a computer that controls a portable terminal that can be opened and closed,
Display function to display video,
Audio output function to output audio,
Open / close detection function for detecting opening / closing of the mobile terminal,
TV broadcast reception function for receiving TV broadcasts with text information,
A voice conversion function for converting character information of a television broadcast received by the television broadcast reception function into a synthesized voice;
A program genre information acquisition function for acquiring genre information indicating a genre to which a program currently being viewed of a television broadcast received by the television reception function belongs;
When the opening / closing detection function detects that the mobile terminal is opened, the television broadcast video information received by the television broadcast reception function is output by the display function and the television broadcast sound is output. When a voice based on information is output by the voice output function and it is detected that the voice is closed, the output of the video information to the display function is interrupted, and the voice of the voice based on the voice information is An output control function for switching the output in the output function to synthesized speech based on the character information ;
A program for realizing an audio switching control function for controlling output switching of audio by the output control function based on genre information of a currently viewed program acquired by the program genre information acquiring function .