JP5188338B2

JP5188338B2 - テレビジョン受像機

Info

Publication number: JP5188338B2
Application number: JP2008235867A
Authority: JP
Inventors: 太栄久保田; 有人塚田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-09-16
Filing date: 2008-09-16
Publication date: 2013-04-24
Anticipated expiration: 2028-09-16
Also published as: JP2010074202A

Description

本発明は、字幕情報を含むデジタル放送を受信し、映像情報と字幕情報とを合成して表示するテレビジョン受像機に関するものである。

近年、地上デジタル放送は、２０１１年の本格導入に向けて、広く普及しつつある。このデジタル放送によれば、放送番組だけでなく多様な情報をも入手することができる。その中の１つに、字幕放送がある。この字幕放送は、社団法人電波産業協会が、地上デジタル放送運用規定の中で、その基本的な運用を定めている。

例えば、この運用によれば、放送局から送信される字幕情報は、表示画面における座標情報と、テキストデータと、文字の色と、表示開始時間と表示終了時間とを備えている。そして、この字幕情報を受信するテレビジョン受像機では、図４（ａ）図に示すように、通常の放送画面に字幕放送を合成して放送するように規定されている。字幕放送で表示されるテキスト文字は、座標情報が含まれているので、この座標情報に合わせて、放送局側で指定する画面の所定の位置に表示される。

また、このテキスト文字は、背景との識別を図るために、１文字毎に四角形の背景が設定され、これらが文字列に合わせ表示されることで、矩形状の短冊にテキスト文字が表示されるようになっている。

しかし、従来の字幕放送では、映像で表示される発話者の近傍に、字幕文字を表示することができるものの、表示される文字が短冊状の背景の中にテキスト文字が表示されるため、発話者との関係が明確でないとの課題がある。

これらの課題は、吹き出しを用いることにより、ある程度解決することができる。この吹き出しについては、吹き出しによる字幕付のコンテンツを提供するために必要なデータを作成するためのコンテンツ作成装置や、この再生装置が提案されている。

特開２００５−１２４１６９号公報

前記従来技術によれば、製作段階でコンテンツに合わせて吹き出し式の字幕を作成し、これを再生装置で再生することができる。しかし、この技術では、現在放送されている字幕情の規定に採用することができない。

そこで、この発明の目的とするころは、放送される字幕情報を吹き出しで表示できるテレビジョン受像機を提供することにある。

本発明は、前記目的を達成するために、この発明に係るテレビジョン受像機１は、字幕情報を含むデジタル放送を受信し、映像情報と字幕情報とを合成して表示するものであって、前記デジタル情報から、字幕のテキスト文字データと、当該テキスト文字データの表示座標データと、テキスト文字データの表示開始時間と終了時間データとを含む字幕情報を抽出する字幕データ抽出部と、前記字幕データ抽出部で抽出した字幕情報に基づいて、所定のテキスト文字データを備えた吹き出しを生成する吹き出し生成部と、前記吹き出し生成部で生成した吹き出しを映像情報と合成する画像合成部とを備え、前記吹き出し生成部は、形状の異なる複数の吹き出しフレームを備えたフレームデータベースを備え、前記テキスト文字データに含まれる文字に対応して、前記複数の吹き出しフレームから特定の吹き出しフレームを選択して吹き出しを生成する。

本発明によれば、会話などの字幕を、マンガで使うような吹き出しの表現手法を使うことにより、音を出せない状況や、聴覚障害のある人も、番組やＣＭの内容を、より自然に、わかやすく視聴することができる。

以下、図１から図７を参照して、この発明に係るテレビジョン受像機を具体的に説明する。なお、同一の部位や方向などは同一符号を持って示し、重複した説明を省略する。

先ず、図１を参照して、この実施の形態に係るテレビジョン受像機の概略構造を説明する。ここで、図１は、この発明に係るテレビジョン受像機の概略構成図である。

図１において、符号１で総括的に示すのは、字幕放送を吹き出し方式で表示可能なテレビジョン受像機であり、テレビジョン受像機本体１０と、モニター装置５０と、リモコン装置７０とを含んで構成される。なお、この実施例では、テレビジョン受像機本体１０とモニター装置５０とが別体のもので説明するが、これに限定されるものではなく、２つの装置が一体構造のものや、記憶装置の別体のものでもよい。

テレビジョン受像機本体１０は、このテレビジョン受像機１を統括的に制御するマイコン１１と、地上デジタル放送や衛星放送あるいはケーブルテレビやインターネットなどを介してコンテンツを取得するためのチューナー１２と、字幕放送を放送コンテンツから抽出するための字幕データ抽出部１３と、吹き出し１００を生成する吹き出し生成部１４と、この吹き出し生成部１４で生成した吹き出し画像とコンテンツ画像とを合成する画像合成部１５と、コンテンツや各種の情報を記録・再生するための記憶装置１６と、コンテンツの音量を計測する音量判定部１９とを含んで構成する。この説明では、この実施例の特徴である吹き出し方式の字幕を生成するための装置を中心に説明し、他のテレビジョン受像機を構成する装置などは従来技術と同様なため説明を省略する。

モニター装置５０は、液晶やプラズマ方式の表示装置を備えた薄型の構造を備えている。このモニター装置５０は、その筐体にスピーカ１７を備え、前記テレビジョン受像機本体１０とコードや無線通信装置を介して接続することで、通常のテレビジョン受像機としての機能を達成することができる。

リモコン装置７０は、赤外線信号や無線信号を用いて、操作信号をテレビジョン受像機本体１０に送信するものである。このリモコン装置７０は、チャンネル選曲や録画再生のための操作キーに加えて、カーソルキーや各種の操作キーを備えている。

そして、この実施例の大きな特徴の１つは、チューナー１２を介して取得した字幕放送を標準的な短冊文字で表示する通常モードと、吹き出しを用いる吹き出しモードとを選択可能とした点にある。

即ち、現在放送されている地上デジタルテレビジョン放送では、その運用規定から、短冊矩形状の背景にテキスト文字を表示する方式が規格化されている。この実施例では、この規格化された標準的な通常モードを表示可能とするとともに、吹き出しを用いた吹き出しモードを選択することができる。

地上デジタル放送では、大きく分けて、通常のテレビジョン放送で放送されるコンテンツ情報と、電子番組表や天気予報などからなる関連情報とに大別することができる。この中で、字幕情報は、画像情報と音声情報とともにコンテンツ情報を構成する。この実施例では、チューナー１２で取得したコンテンツ情報から字幕データ抽出部１３を介して字幕情報を取得し、マイコン１１のもと、吹き出し生成部１４がこの字幕情報に基づいて吹き出し画像を生成する。

本実施例の吹き出し生成部１４では、規格に基づいて通常の字幕を生成する通常モードと、この実施例で独自に備えた吹き出しで字幕を生成する吹き出しモードとを備えている。この２つのモードは、モニター装置５０に表示される図示しない設定画面で、リモコン７０を介して設定し、この設定に基づいてマイコンが動作制御する。

また、この実施例の大きな特徴の１つは、吹き出しモードでは、テキスト文字の種別が選択され、この選択に基づいて、吹き出し形状を決定することができる。この実施例では、吹き出し１００を、テキスト文字と、このテキスト文字を表示する吹き出しフレーム１０２とから構成する。この実施例では、形状の異なる複数の吹き出しフレーム１０２を備えた図示しないフレームデータベースを、吹き出し生成部１４または内部メモリあるいは記憶装置１６に備えている。そして、この吹き出し生成部１４は、テキスト文字の種別に対応して、このフレームデータベースから特定の吹き出しフレーム１０２を抽出する。例えば、通常のテキスト文字であれば、四角を基調とした吹き出し、特定の記号、例えば、括弧であれば連想を思わせる吹き出し、電話の記号が付されていれば電話の音を連想する吹き出し形状が設定される。これにより、字幕文字が、会話なのか、あるいは思っていることなのか、あるいは効果音なのかなどを識別させることができる。

また、この実施例の大きな特徴の１つは、字幕情報の座標情報に基づいて、吹き出し１００の表示位置を決定するとともに、吹き出し１００の吹き出し頂点１０１の位置を決定する。この実施例では、吹き出しフレーム１０２を、テキスト文字を表示する主ボックス１０３と、この主ボックス１０３に連続して形成されて、発話者の方向を規定する吹き出し頂点１０１とから構成する。そして、この実施例では、吹き出し１００の表示位置に対応して、吹き出し頂点１０１の配置と形状を設定する。

例えば、表示位置が上方であれば、下向きの吹き出し頂点１０１を形成し、表示位置が下方であれば上向きの吹き出し頂点１０１を形成する。また、表示位置が右寄りであれば左向きの吹き出し頂点１０１を形成し、左寄りであれば右向きの吹き出し頂点１０１を形成する。これにより、吹き出し１００と画像との関係をより深いものとすることができる。

また、この実施例の大きな特徴の１つは、音量判定部１９を介して、字幕情報の開始時間の音声情報や効果音などの音量を判定し、当該音量に対応して吹き出し１００の大きさを決定することができる。これにより、音量を視覚で表現することができる。

以下、図２から図８を参照しながら、この実施例に係るテレビジョン受像機１を更に詳細に説明する。ここで、図２は、字幕情報のデータ構成図と座標位置の説明図である。図３は吹き出し画像の生成動作フロー図である。図４は、動作モードの違いを説明する画面図である。図５は、吹き出し形状の説明図である。図６は吹き出し頂点の決定を説明する画面図である。図７は音声による吹き出し形状の決定説明図である。図８は吹き出しの座標位置を変更して表示した場合の説明図である。

先ず、図２を参照して、字幕データの構成と、表示画面における吹き出し位置の決定プロセスを説明する。

図２の（ａ）図において、各字幕情報は、字幕の画面における座標位置データと、テキスト文字の色データと、字幕の主文となるテキストデータと、字幕の開始時間と終了時間からなる開始終了時間データとを含んでいる。このテレビジョン受像機１では、この字幕情報を備えていれば以下のように字幕を生成する。

例えば、（ａ）図の字幕データ「００１」は、Ｙ１、Ｘ１の座標位置データを備えているので、（ｂ）図に示すように、吹き出し生成部１４は、縦位置がＹ１で、横位置がＸ１の位置からテキストデータである「それ面白いね」を表示する。この表示されるテキストデータの文字色は色データで特定され、開始する時間は、開始終了時間データで特定される。また、字幕データ「００２」は、字幕データ「００１」と同じ開始終了時間データが設定されているが、座標データの横位置が違うので、字幕データ「００１」と同じ縦位置Ｙ１の横位置Ｘ２から同時に、緑色の文字色で「そうでしょう？」と表示する。

このように、このマイコン１１は、吹き出し生成部１４が前記吹き出し画像を生成すると、これを画像合成部１５に画像情報と合成させ、合成された画像を音声情報とともに出力させる。

なお、図２の（ａ）には図示していないが、字幕情報として、背景色、文字の大きさ、ルビ、斜体、ブリンク（点滅）などの文字属性データをさらに含み、これらのデータを吹き出し画像生成に反映させるようにしてもよい。

次に、図３の動作フローを基に、図４から図８を参照して、この実施例の特徴的な吹き出し式の字幕機能を更に説明する。

先ず、吹き出し生成部１４は、字幕データ抽出部１３から字幕情報を入手すると（ステップ３００）、予め設定される「通常モード」か「特殊モード」かを判定する。この実施例では、「非表示モード」も設定可能であるので、吹き出し生成部１４は、この３つのモードの１つを実行する（ステップ３０２）。

先ず、「通常モード」と判定すると、吹き出し生成部１４は、規格で予め設定されているように、テキストデータの表示領域を背景色で表示する（ステップ３０４）。ここで、図４(ａ)図に示すように、通常の規格では、字幕文字がコンテンツの画像と重複して見ずらくならないように、字幕文字の1文字を表示する四角形状の表示領域を背景色を付けて表示する。通常、この背景色は半透明でのグレー色で表示する。

次に、吹き出し生成部１４は、図２で説明したステップで座標位置を決定して（ステップ３０６）、字幕を生成し（ステップ３０８）、画像合成を行う（ステップ３１０）。

一方、ステップ３０２において、「特殊モード」と判定すると、吹き出し生成部１４は、図４（ｂ）図に示すような、吹き出し１００の中にテキスト文字が表示される吹き出しモードに移行させる。前記したように、通常の規格では、通常表示させない1文字の表示領域を背景として表示させるため、複数の文字が連続すると、これらの表示領域が連続した短冊形状とし表示され、連続した言葉として認識することができる。この実施例に係る吹き出し１００の生成方法では、取得した字幕情報からテキスト文字を認識し、これに対応した吹き出しフレーム１０２をフレームデータベースから抽出し、この抽出した吹き出しフレーム１０２にテキスト文字を表示することが大きな特徴である。

即ち、「特殊モード」と判定すると、吹き出し生成部１４は、テキスト文字の種別を判定して対応する吹き出し１００の形状を決定する（ステップ３１２）。この実施例では、形の異なる複数の吹き出しフレーム１０２を記憶装置１６または図示しない内部メモリにフレームデータベースとして格納している。
例えば、図５は、この実施例で選択可能な吹き出し形状を示している。

この実施例では、テキスト文字の種別を、先頭のテキスト文字で判定する。この実施例では、テキスト文字の先頭が通常の文字であれば「会話文」と判定し、テキスト文字の先頭が「（」で始まる括弧書き文であれば「声に出さない思い文」と判定し、テキスト文字の先頭が特殊文字であれば「効果音」と判定する。

例えば、図５の（ａ）図に示すように、吹き出し１１１は通常の「会話文」の表示例である。また、(c)図の吹き出し１１２は「声に出さない思い文」を示している。また、(ａ)図の吹き出し１１３は「電話の音」を示している。この実施例では、同じ「会話文」や「声に出さない思い文」あるいは「効果音」などであっても、異なる形状の吹き出し１１１が準備され、予め選択して設定することができる。これらの設定は、モードの設定と同様に図示しない設定画面で選択設定することができる。

例えば、図５の（ｂ）図の吹き出し１１１aは丸みのある形状を備えた会話文の吹き出しであり、また、（ｄ）図吹き出し１１２aは丸みのある形状を備えた思い文の吹き出しである。同様に、「効果音」についても、複数準備されている。これらは、前記したように予め設定し、この設定に基づいて吹き出し生成部１４で生成される。なお、この実施例では、テキストデータの内容により、「種別」を判定する。したがって、例えば、テキストデータの先頭文字が、「男：」「女：」などが付されていれば、これに基づいて、（ｂ）図に示すように、吹き出し１００の形状を、男性と女性で使い分けるようにすることができる。

また、この実施例では、図５の(ｅ)図、（ｆ）図に示すように、吹き出し１００を吹き出し頂点１０１のない形状のものを設定することもできる。例えば、(ｅ)図の吹き出し１１４は、短冊形状の４隅に丸みを持たした形状のものである。この吹き出し頂点１０１のない吹き出し１１４であれば、発音者が不明の場合や、吹き出し頂点１０１がわずらわしい場合、あるいは、解説者文に使用すると有効である。この吹き出し１１４の場合、（ｆ）図に示すように、複数行のテキストデータの場合は、四隅の他、角部にも丸みを付けた吹き出し１１４ａとすると有効である。

また、この実施例では、字幕情報の中で、文字色が設定されていると、当該文字色に対応した色でテキスト文字を表示する。しかし、予めの設定により、図５の（ａ）図に示すように、吹き出し１００ｂのように、吹き出し１００の色自体を当該文字色に対応した色で設定することができる。なお、この場合の文字は、吹き出し１００の色に対応して識別可能な文字色に自動設定する。文字の書体も予め自由に設定することができる。

図３に戻り、ステップ３１２で「種別」が決定されると、吹き出し１００を表示する座標位置が決定される。この座標位置は、図２で設定した内容で決定される。しかし、吹き出し１００の座標位置によっては、吹き出し頂点１０１の位置が問題となる。

そこで、この実施例では、図６(ａ)図に示すように、テキストデータの重心座標Ｐを算出し、その重心座標Ｐが表示画面１２０のどの位置かで吹き出し頂点１０１を決定する。具体的には、この実施例では、文字開始座標と文字数から重心座標Ｐを算出する。また、表示画面１２０に横軸Ｘと縦軸Ｙを設定し、この表示画面１２０の中心を座標（０、０）として、４分割の領域を設定する。

そして、重心座標Ｐが上部の第１領域１２１と第２領域１２２であれば、吹き出し頂点１０１を吹き出し１００の下端部に形成し、重心座標Ｐが下部の第３領域１２３と第４領域１２４であれば、吹き出し頂点１０１を吹き出し１００の上端部に形成する。

また、吹き出し頂点１０１は、吹き出し１００の真ん中でもよいが、重心座標Ｐが左側の第１領域１２１と第３領域１２３であればやや左よりに形成し、重心座標Ｐが右側の第２領域１２２と第４域１２４であればやや右よりに形成することにより、吹き出し頂点１０１が表示画面１２０の中心に向かって、言い換えれば、広い領域の方に向かって示されるので、幅広い映像表現に対応しやすくすることができる。

また、図６の（ｂ）図は、表示画面１２０の他の領域設定の応用例を示したものである。この実施例に係る表示画面１２０ａは、第５領域１２５と第６領域を新たに設けたものである。この第５領域１２５と第６領域は表示画面１２０ａの中央の上下に設定される。なお、この第５領域１２５と第６領域は、他の領域よりＸ方向の長さを短く設定するとよい。この第５領域１２５と第６領域では、吹き出し頂点１０１を下方または上方に片寄りなく設けたり、あるいは吹き出し頂点１０１をなくして表示すことで、発音者の方向をあいまいにすることができる。

図３に戻り、ステップ３１４で座標位置を決定すると、吹き出し生成部１４は音量レベルの判定を行う(ステップ３１６)。この実施例では、図７に示すように、字幕情報と同時に送られてくる音声情報を監視している。吹き出し生成部１４は、字幕開始時間の音量レベルが、予め設定される基準値より大きいかあるいは小さいかで、吹き出し１００の大きさを設定している。

例えば、この実施例では、予め標準的な音量レベルの基準範囲１３０を設定し、この範囲であれば、予め定めた通常の大きさの吹き出し１００を表示する。しかし、図７の（ｂ）図に示すように、吹き出し生成部１４は、この基準範囲１３０の上限値より大きい値の音量を検知すると、通常の大きさより大きい吹き出し１３１を生成し、逆に、この基準範囲１３０の下限値より小さい値の音量を検知すると、通常の大きさより小さい吹き出し１３２を生成する。さらに、図７の（ｃ）のように、大きい吹き出しには大きいテキストを、小さい吹き出しには小さいテキストを表示することも可能である。これにより、聴覚の音量を視覚的に表現することができる。

図３のステップ３１４で座標位置を決定する際、本来の座標データと異なる位置に吹き出しを表示する例を図８に示す。現状、字幕データは、図８（ａ）図に示すように、表示画面の下部に配置されることも多い。通常、吹き出しは発話者の画像の上部に位置する方が自然なため、図８の（ｂ）に示すように、下部にある字幕位置から、上部に一定距離を移動した座標位置に吹き出しを移動して生成することも可能である。移動先のＹ座標は、最上段から２段目など、固定することも可能である。この場合、吹き出しの頂点は、字幕を移動した重心座標Ｐから算出する。このように、この実施例では、字幕の背景（矩形）を丸め、角丸四角形で表示したり、字幕が表示される指定座標から、吹き出しの頂点向きを計算して描画することができる。また、字幕指定色から、枠や吹き出しの色などを話者の色に対応したもので表示したり、また、コントラストの高い表示色に変更も可能である。更に、書体をいくつかＴＶ側に持ち、話者の字幕色や最初の記号から判断して、書体を変更して表示することも可能とすることができる。

このように、この実施例では、見慣れているマンガの吹き出し表現により、理解がしやすい。また、吹き出しの頂点位置によって、誰がしゃべっているかわかりやすい。また、吹き出しの形状によって、会話内容や状況が把握しやすい。また、半透明の機能によって、画像全体も把握しておくことができる。また、話者の書体を好きな書体に変えることもできる。

このように、この実施例に係るテレビジョン受像機１は、字幕情報を含むデジタル放送を受信し、映像情報と字幕情報とを合成して表示するものであって、前記デジタル情報から、字幕のテキスト文字データと、当該テキスト文字データの表示座標データと、テキスト文字データの表示開始時間と終了時間データとを含む字幕情報を抽出する字幕データ抽出部と、前記字幕データ抽出部で抽出した字幕情報に基づいて、所定のテキスト文字データを備えた吹き出しを生成する吹き出し生成部と、前記吹き出し生成部で生成した吹き出しを映像情報と合成する画像合成部とを備え、前記吹き出し生成部は、形状の異なる複数の吹き出しフレームを備えたフレームデータベースを備え、前記テキスト文字データに含まれる文字に対応して、前記複数の吹き出しフレームから特定の吹き出しフレームを選択して吹き出しを生成する。

この場合、前記吹き出しは、発話者の方向を示す吹き出し頂点を備え、前記吹き出し生成部は、表示座標データに対応して吹き出し頂点を設定して前記吹き出しを生成する。また、テレビジョン受像機は、前記映像情報に含まれる音信号を計測する音量判定部を備え、前記音量測定部は、テキスト文字データの表示開始時間に対応する音量を計測し、当該計測した音量と、予め設定した基準値とを比較して、吹き出しの大きさを決定する。

この発明に係るテレビジョン受像機の概略構成図である。字幕情報のデータ構成図と座標位置の説明図である。吹き出し画像の生成動作フロー図である。動作モードの違いを説明する画面図である。吹き出し形状の説明図である。吹き出し頂点の決定を説明する画面図である。音声による吹き出し形状の決定説明図である。吹き出しの座標位置を変更して表示した場合の説明図である。

符号の説明

１…テレビジョン受像機、１０…テレビジョン受像機本体、１１…マイコン、１２…チューナー、１３…字幕データ抽出部、１４…吹き出し生成部、１５…画像合成部、１６…記憶装置、１７…スピーカ、１８…アンテナ、１９…音量判定部、５０…モニター装置、７０…リモコン装置、１００…吹き出し、１０１…吹き出し頂点、１０２…吹き出しフレーム、１０３…主ボックス、１１１…会話文の吹き出し、１１２…思い文の吹き出し、１１３…効果音の吹き出し、１２０…表示画面、１２１…第１領域、１２２…第２領域、１２３…第３領域、１２４…第４領域、

Claims

字幕情報を含むデジタル放送を受信し、映像情報と字幕情報とを合成して表示するテレビジョン受像機であって、
受信した前記デジタル放送から、字幕のテキスト文字データと、当該テキスト文字データの表示座標データと、テキスト文字データの表示開始時間と終了時間データとを含む字幕情報を抽出する字幕データ抽出部と、
前記字幕データ抽出部で抽出した字幕情報に基づいて、所定のテキスト文字データを備えた吹き出しを生成する吹き出し生成部と、
前記吹き出し生成部で生成した吹き出しを映像情報と合成する画像合成部とを備え、
前記吹き出し生成部は、形状の異なる複数の吹き出しフレームを備えたフレームデータベースを備え、前記テキスト文字データに含まれる文字に対応して、前記複数の吹き出しフレームから特定の吹き出しフレームを選択して吹き出しを生成し、
前記吹き出しは、発話者の方向を示す吹き出し頂点を備え、
前記吹き出し生成部は、表示座標データに対応して吹き出し頂点を設定して前記吹き出しを生成する
ことを特徴とするテレビジョン受像機。
請求項１記載のるテレビジョン受像機において、
前記映像情報に含まれる音信号を計測する音量判定部を備え、
前記音量測定部は、テキスト文字データの表示開始時間に対応する音量を計測し、当該計測した音量と、予め設定した基準値とを比較して、吹き出しの大きさを決定する
ことを特徴とするテレビジョン受像機。