JPWO2010041457A1 - 映像出力装置及び映像出力方法 - Google Patents

Abstract

映像出力装置は、少なくとも１つの映像を表示する画面の配置又は縮尺を管理する画面構成管理部と、入力映像から文字領域を判定する領域判定部と、領域判定部が判定した少なくとも１つの文字領域を含む補足情報領域の映像を切り出して補足情報として保持する補足情報保持部と、画面構成管理部が管理する画面構成に基づく入力映像に加え、補足情報保持部が保持する補足情報を表示するかを判定する補足情報表示判定部と、画面構成管理部及び補足情報表示判定部からの指示に従い、入力映像及び補足情報を出力する出力部とを備える。補足情報表示判定部は、画面構成管理部が管理する縮尺に応じて変化する入力映像中の文字領域に含まれる文字のサイズに基づいて、補足情報を表示すると判定する。したがって、入力映像の表示サイズの縮尺率に応じて補足情報の表示形態を変えることができる。

Description

本発明は、入力映像の表示サイズの縮尺率に応じて補足情報の表示形態を変える映像出力装置及び映像出力方法に関する。

一般的に、テレビ放送局やケーブルテレビ局などが提供する放送番組の信号を受信する装置は、受信信号を処理して映像を出力する。以下、当該装置を「映像出力装置」という。映像の出力先は、映像出力装置に装備されたディスプレイ、又はケーブルなどの通信手段を介して映像出力装置に接続された外部ディスプレイである。この際、複数の番組を同時に視聴したいというユーザの要望に応えるため、例えば、２つ入力映像に対し、画面を２分割して表示する「二画面モード」が広く知られている。

図１（ａ）〜（ｃ）は、一般的な二画面モードの表示パターンを示す図である。図１（ａ）は、入力映像Ａと入力映像Ｂを同じ比率で並列に表示した例を示す。図１（ｂ）は、入力映像Ａと入力映像Ｂの大きさに差をつけて表示した例を示す。図１（ｃ）は、全画面表示した入力映像Ａに小さい画面の入力映像Ｂを重畳表示した例を示す。図２（ａ）〜（ｃ）は、図１（ａ）〜（ｃ）に示した二画面モードの各表示パターンに対し、映像を割り当てた場合の表示例を示す。

二画面モードでディスプレイに映像を表示する際には、ユーザが所定の操作を行うことにより、固定の比率で画面の分割パターンを切り替えるものが一般的であった。しかし、最近では、ユーザが指定する任意の比率で画面を分割する映像出力装置も登場した。

一方、昨今の映像出力装置は、大画面化が進むと共に、高機能化が進んでいる。例えば、複数のチューナを搭載する機種や、ゲーム機などを接続可能な外部入力端子を複数搭載する機種、インターネットを介して受信した動画を再生する機種、記録媒体に受信番組を録画して保持する機種などがある。その結果、例えば、リビングの１つの大画面を３分割して家族がそれぞれ３つの入力映像を視聴するケースがある。例えば、母と娘は録画したドラマを第一分割画面で楽しみ、父親は第二分割画面で野球中継を楽しみ、息子は第三分割画面でゲームを楽しむような使われ方が想定されている。

上記説明した画面分割機能を有する映像出力装置のディスプレイに、複数の映像を固定又は任意の比率で縮小して表示すると、図２（ａ）〜（ｃ）に示したように、縮小された映像中の文字列や記号が潰れてしまう場合がある。このとき、表示された情報はユーザにとって読みづらく、また、ユーザが情報を認識することができないという課題がある。

この課題を解決するひとつの方法が特許文献１に開示されている。この文献の方法によれば、データ放送が付随する番組が画面分割により縮小表示された際、ユーザによるリモコン操作により、番組送出側で指定されたデータ放送のメニュー画面をレイアウト情報に基づいて縮小画面の外側に重畳表示する。

しかし、この方法は、予め決められた文字列と画像データがレイアウト情報と共にデータ放送として番組に付随することが前提である。また、ユーザは、確認したい情報を表示するためにリモコンを継続的に操作しなければならない。また、他の分割画面の上に情報を重畳表示するため、他の分割画面が重畳画面によって隠されてしまい情報が欠如してしまう。

また、上記課題を解決する他の方法が特許文献２に開示されている。この文献の方法は、２つ以上の入力映像に対し、第一の入力映像を全画面で表示し、第二の入力映像から文字列を含む字幕領域を抽出し、抽出された文字列を第一の入力映像の任意の位置に重畳して表示する。

図３〜図５は、特許文献２に開示された方法による処理の概要を示す図である。特許文献２の方法では、図３の（ａ）に示された２つの入力映像Ａ，Ｂのうち、図３の（ｂ）に示すように、入力映像Ｂから文字列領域Ｂ’を抽出し、図３の（ｃ）に示すように、入力映像Ａに文字列領域Ｂ’を重畳表示する。図４は、図３に示した各画面に映像を割り当てた場合の表示例を示す。図４に示す例では、入力映像Ｂに該当する野球中継のうち、文字列領域Ｂ’に該当するスコア表示部分が入力映像Ａに重畳表示される。

日本国特開２００２−１７１４５７号公報 日本国特開平８−３１７３０１号公報

上記説明した特許文献２に開示された方法では、入力映像中のユーザが知りたい情報は文字列である必要がある。このため、文字列ではない情報（例えば、プロ野球球団のロゴマーク等）は、文字列領域Ｂ’に含まれない。したがって、ユーザが知りたい情報に文字列ではない情報が含まれていると、情報が欠如する（見切れる）という課題があった。例えば、図５の（ａ）に示すように、図４に示した入力映像Ｂのスコア表示部分に抽出不可能な記号やマークが使用された場合、図５の（ｂ）に示すように文字列部分だけが抽出される。このため、図５の（ｃ）に示すように、記号やマークは入力映像Ａに重畳表示されない。

なお、入力映像Ａの任意の位置に文字列領域Ｂ’を重畳表示できるが、入力映像Ａが全画面表示である以上、文字列領域Ｂ’は入力映像Ａのいずれかの場所に重畳される。このため、入力映像Ａの一部の情報が欠如する。例えば、図４の（ｃ）や図５の（ｃ）に示したように、入力映像Ａのテロップの一部に文字列領域Ｂ’が重畳されるため、当該重畳された部分のテロップの情報が欠如してしまう。

本発明の目的は、入力映像の表示サイズの縮尺率に応じて補足情報の表示形態を変える映像出力装置及び映像出力方法を提供することである。

本発明は、少なくとも１つの映像を表示する画面の配置又は縮尺を管理する画面構成管理部と、入力映像から文字領域を判定する領域判定部と、前記領域判定部が判定した少なくとも１つの文字領域を含む補足情報領域の映像を切り出して補足情報として保持する補足情報保持部と、前記画面構成管理部が管理する画面構成に基づく入力映像に加え、前記補足情報保持部が保持する補足情報を表示するかを判定する補足情報表示判定部と、前記画面構成管理部及び前記補足情報表示判定部からの指示に従い、前記入力映像及び前記補足情報を出力する出力部と、を備え、前記補足情報表示判定部は、前記画面構成管理部が管理する縮尺に応じて変化する入力映像中の文字領域に含まれる文字のサイズに基づいて、前記補足情報を表示すると判定する映像出力装置を提供する。

本発明は、少なくとも１つの映像を表示する画面の配置又は縮尺を管理する画面構成管理部と、入力映像から文字領域を判定する領域判定部と、前記領域判定部が判定した少なくとも１つの文字領域に含まれる文字列を補足情報として外部サーバから取得する通信部と、前記画面構成管理部が管理する画面構成に基づく入力映像に加え、前記通信部が取得した補足情報を表示するかを判定する補足情報表示判定部と、前記画面構成管理部及び前記補足情報表示判定部からの指示に従い、前記入力映像及び前記補足情報を出力する出力部と、を備え、前記補足情報表示判定部は、前記領域判定部が判定した少なくとも１つの文字領域に含まれる文字のサイズが閾値よりも小さい場合、前記補足情報を表示する映像出力装置を提供する。

本発明は、入力映像から文字領域を判定し、少なくとも１つの文字領域を含む補足情報領域の映像を切り出して補足情報として保持し、少なくとも１つの映像を表示する画面の配置又は縮尺を規定する画面構成に基づく入力映像に加え、前記補足情報を表示するかを判定し、前記画面構成及び前記判定結果に従い、前記入力映像及び前記補足情報を出力する映像出力方法であって、前記入力映像中の文字領域に含まれる文字のサイズに基づいて、前記補足情報を表示すると判定する映像出力方法を提供する。

本発明は、入力映像から文字領域を判定し、少なくとも１つの文字領域に含まれる文字列を補足情報として外部サーバから取得し、少なくとも１つの映像を表示する画面の配置又は縮尺を規定する画面構成に基づく入力映像に加え、前記外部サーバから取得した補足情報を表示するかを判定し、前記画面構成及び前記判定結果に従い、前記入力映像及び前記補足情報を出力する映像出力方法であって、少なくとも１つの文字領域に含まれる文字のサイズが閾値よりも小さい場合、前記補足情報を表示すると判定する映像出力方法を提供する。

本発明に係る映像出力装置及び映像出力方法によれば、入力映像の表示サイズの縮尺率に応じて補足情報の表示形態を変えることができる。このため、複数の入力映像を画面分割する場合であっても、入力映像中の文字や記号の潰れが発生した部分を補足情報として補完でき、ユーザが知りたい情報の欠如を未然に防止することができる。

（ａ）〜（ｃ）は一般的な二画面モードの表示パターンを示す図 （ａ）〜（ｃ）は図１（ａ）〜（ｃ）に示した二画面モードの各表示パターンに対し、映像を割り当てた場合の表示例を示す図 特許文献２に開示された方法によって入力映像Ｂの一部を切り出して重畳させた表示例を示す図 図３に示した各画面に映像を割り当てた場合の表示例を示す図 入力映像Ｂに文字列と記号が含まれていた場合の表示例を示す図 第１の実施形態の映像出力装置及びその関連装置を示すブロック図 （ａ）〜（ｆ）は第１の実施形態に係る全画面表示及び二画面表示のパターンを示す図 画面構成管理部１０３が保持する画面構成管理テーブルの例を示す図 （ａ）〜（ｆ）は画面構成管理部１０３が保持する画面構成管理テーブルのデータ構成の例を示す図 図７（ｅ）に示した二画面表示状態Ｃにおける補足情報画面の表示例を示す図 図１０に示した画面要素を説明する図 画面分割要求に応じて補足情報画面を表示する際の映像出力装置１００が行う処理を示すフローチャート 補足情報抽出処理を示すフローチャート 入力映像２中の文字領域及びオブジェクト領域を示す図 補足情報保持部１１３が保持する文字領域テーブルを示す図 補足情報保持部１１３が保持するオブジェクト領域テーブルを示す図 図１３のフローチャート中のステップＳ２１３に示した文字領域群定義処理を示すフローチャート 入力映像２中の文字領域及びオブジェクト領域の重畳状態を示す図 補足情報保持部１１３が保持する文字領域群テーブルを示す図 重畳状態検出パターンを示す図 内部処理に用いるマージン幅の例を示す図 図１３のフローチャート中のステップＳ２１４に示した補足情報定義処理を示すフローチャート 入力映像２における文字領域群領域及び補足情報領域の定義を示す図 補足情報保持部１１３が保持する補足情報テーブルを示す図 入力映像の縮尺率及び画面分割モードの状態に応じた補足情報表示判定基準を示す図 補足情報の表示場所を決定する要因の一例を示す図 図７（ｅ）に示した“二画面表示状態Ｃ”の画面レイアウト構成を示す図 第２の実施形態の映像出力装置及びその関連装置を示すブロック図 補足情報提供装置が提供する画面構成データを示す図 画面構成データに基づく補足情報の表示例を示す図

以下、本発明に係る映像出力装置及び映像出力方法の実施形態について、図面を参照して説明する。なお、以下説明する実施形態の映像出力装置は、放送局が送出局を介して送出した番組やコマーシャル等のコンテンツを受信し、装置内外のディスプレイに表示する装置である。

（第１の実施形態）
図６は、第１の実施形態の映像出力装置及びその関連装置を示すブロック図である。まず、当該映像出力装置が入力映像をディスプレイに表示するまでの処理概要を説明する。

図６に示すように、映像出力装置１００は、入力部１０１と、端末制御部１０２と、画面構成管理部１０３と、映像入力部１０４と、アプリケーション処理部１０５と、画面生成部１０６と、合成部１０７と、出力部１０８と、領域判定部１１２と、補足情報保持部１１３と、補足情報表示判定部１１５とを備える。

入力部１０１は、映像出力装置１００に付属するリモートコントロール機器（以下「リモコン」という）、あるいは外部接続機器等からの制御命令信号を受信して端末制御部１０２に転送する。端末制御部１０２は、入力部１０１から転送された制御命令信号に応じた画面構成を画面構成管理部１０３に問い合わせる。画面構成とは、例えば、映像出力装置１００の電源オンの命令に従い、最後に視聴したチャンネルを全画面で表示する構成や、番組表表示命令に従い現在の放送を縮小表示して番組表を全画面で表示する構成等である。画面構成管理部１０３は、ディスプレイに表示する画面の構成を制御命令に応じて管理する。なお、画面構成管理部１０３は、後述する画面構成管理テーブルを記憶する。

また、端末制御部１０２は、入力部１０１に番組表表示命令信号が入力された場合、アプリケーション処理部１０５に番組表表示命令を転送する。アプリケーション処理部１０５は、番組表表示機能の他、多様な機能を実現するためのアプリケーションを実行可能である。また、アプリケーション処理部１０５は、端末制御部１０２から入力された命令に応じて端末制御部１０２に必要な処理（例えば、現在のチャンネルを縮小表示する、など）を返答する。また、アプリケーション処理部１０５は、端末制御部１０２からの命令に応じた設定に必要な画面を生成するために必要な情報を画面生成部１０６に提供する。なお、アプリケーション処理部１０５が実行可能なアプリケーションによって実現される機能は、番組表表示機能の他、例えば、放送受信設定機能や画質調整機能、アラーム設定機能、カレンダ表示機能、ネットワーク接続設定機能等である。

画面生成部１０６は、アプリケーション処理部１０５から提供された情報に基づいて、画面に合成する基本パーツ（文字列、画像、背景色、など）の描画処理を行う。

映像入力部１０４は、映像出力装置１００が入力可能な映像ソースを少なくとも１つを管理し、端末制御部１０２からの指示に応じて得た入力映像を合成部１０７に転送する。本実施形態では、映像入力部１０４は、例えば、第一チューナ１０９ａと、第二チューナ１０９ｂと、外部入力部１０９ｃと、通信部１０９ｄと、デコーダ１１０ａ〜１１０ｄと、加工部１１１ａ〜１１１ｄとを有する。

第一チューナ１０９ａ及び第二チューナ１０９ｂは、放送局３００が送出局４００を介して送出した番組やコマーシャル等のコンテンツをアンテナ２００を介してそれぞれ受信する。また、外部入力部１０９ｃは、記録媒体を有するレコーダあるいは他の映像機器等の映像提供装置５００から出力されたコンテンツを取得する。さらに、通信部１０９ｄは、ネットワーク６００を介して映像提供装置７００から送信されたコンテンツを受信する。デコーダ１１０ａ〜１１０ｄは、それぞれ対応する第一チューナ１０９ａ、第二チューナ１０９ｂ、外部入力部１０９ｃ又は通信部１０９ｄからの信号を復号する。加工部１１１ａ〜１１１ｄは、それぞれ対応するデコーダ１１０ａ〜１１０ｄからの映像データを用いて、端末制御部１０２からの指示に応じて映像の色合いや縮尺率等を変更する加工して合成部１０７に転送する。

合成部１０７は、映像入力部１０４から転送された映像を画面構成管理部１０３の設定に基づいて合成し、当該合成された映像（以下、単に「合成映像」という）を出力部１０８に出力する。具体的には、合成部１０７は、加工部１１１ａ〜１１１ｄが端末制御部１０２から要求された縮尺率に縮小した各入力映像を、アプリケーション処理部１０５から画面構成管理部１０３に指示されたレイアウトに基づいて画面構成で合成する。

出力部１０８は、映像出力装置１００がディスプレイを備える場合はそのディスプレイに合成映像を表示し、映像出力装置１００がディスプレイを備えない場合は外部のディスプレイに合成映像を転送する。

映像出力装置１００が備える領域判定部１１２、補足情報保持部１１３及び補足情報表示判定部１１５については、補足情報の抽出処理及び表示処理の具体例に基づいて詳しく説明する。図７（ａ）〜（ｆ）は、第１の実施形態に係る全画面及び二画面表示のパターンを示す図である。また、図８は、画面構成管理部１０３が保持する画面構成管理テーブルの例を示す図である。

図７（ａ）は、第一チューナ１０９ａが受信する入力映像１が、初期状態としてディスプレイの全画面に表示された状態（ドラマ番組のみ全画面表示状態）を示す。図７（ｂ）は、ユーザがリモコンを用いてチャンネル変更を指示した際、第一チューナ１０９ａのチャンネル変更により受信した入力映像１が、チャンネル変更によりディスプレイの全画面に表示された状態（野球中継のみ全画面表示状態）を示す。

図７（ｃ）は、ユーザがリモコンを用いて二画面表示を指示した際、入力映像１として先に選ばれたチャンネル（ドラマ）と、入力映像２として現在選択しているチャンネル（野球中継）とが、１対３の画面比率で表示された状態を示す（二画面表示状態Ａ）。

図７（ｄ）は、ユーザがリモコンの左右ボタンを操作して左右の画面比率を任意に変更できる場合において、左画面の比率を大きくし、左画面と右画面の画面比率を同一に設定した表示例を示す。当該表示例では、右画面（入力映像２）の野球中継のバッタースコア（画面左上に表示された文字列と記号）を分割画面では、ユーザが判読不可能と判断される。このため、当該表示例では、右画面（入力映像２）のバッタースコアを示す領域の画面が、右画面（入力映像２）の近傍に補足情報として、原寸大で表示されている（二画面表示状態Ｂ）。

図７（ｅ）は、左画面の比率を大きく設定した表示例を示す。当該表示例では、右画面（入力映像２）の野球中継の途中経過情報（画面右下に表示された文字列と記号）を分割画面では、ユーザが判読不可能と判断される。このため、当該表示例では、バッタースコアを示す領域の画面に加え、右画面（入力映像２）の途中経過情報を示す領域の画面も、右画面（入力映像２）の近傍に補足情報として、原寸大で表示されている（二画面表示状態Ｃ）。

図７（ｆ）は、左画面の比率を極大化した表示例を示す。当該表示例では、右画面（入力映像２）の野球中継は、バッターが打った等の概況程度の様子が判断できるレベルにまで極小化されている。しかし、バッタースコア及び途中経過情報を示す各領域の画面は、補足情報として左画面（入力映像１）の一部に重畳して原寸大で表示されている（二画面表示状態Ｄ）。

なお、上記説明では、先に選ばれたチャンネルを入力映像１、現在選ばれているチャンネルを入力映像２とした。しかし、チャンネルに対する入力映像の選択は、現在選ばれているチャンネルを第一チューナ１０９ａが受信する入力映像１とし、ユーザが第二チューナ１０９ｂにおいて最後に選んでいたチャンネルを入力映像２にしても良い。また、ユーザが左右のいずれかを選択して変更しても良い。

また、二画面表示を指示した際の画面比率は、１対３に限らず、任意の比率を設定しても良い。また、上記説明では、リモコンの左右ボタンを操作して左右の画面比率を任意に変更できると説明したが、他のボタンやリモコンに搭載されたタッチセンサーや加速度センサーなど入力の手段は問わない。さらに、図７（ｆ）には、補足情報であるバッタースコア及び途中経過情報を示す各領域の画面が左画面（入力映像１）の一部に重畳した例を示した。しかし、補足情報を示す画面が、左画面に重畳しないように、左画面の拡大化を制御しても良い。また、補足情報を示す画面が左画面に重畳する際には、補足情報を示す画面の透過度を下げても良い。このとき、ユーザは、補足情報を示す画面が重なった部分の入力映像１も確認できる。

図８は、図７（ａ）に示した状態のとき画面構成管理部１０３が保持する画面構成管理テーブルのデータ構成例を示す。図８に示すように、画面構成管理テーブルには、入力映像毎に、入力ソース、出力フラグ、画面の描画領域を示す幅（Ｗ）、高さ（Ｈ）、横軸の描画位置（Ｘ）及び縦軸の描画位置（Ｙ）、映像間の重なりを示す重畳レイヤを示す奥行（Ｚ）、並びに、０〜２５５の範囲で示される画面の透過度（α）及び原寸に対する縮尺率（Ｒ）が設定される。なお、透過度（α）は、０に近いほど透明に近いとする。

図７（ａ）に示した状態は、第一チューナ１０９ａが受信する入力映像１のみが表示された状態である。したがって、このときの画面構成管理テーブルでは、入力映像１の出力フラグのみが「ｔｒｕｅ」であり、他の入力映像の出力フラグは「ｆａｌｓｅ」である。また、入力映像１の描画領域は、幅（Ｗ）が１９２０、高さ（Ｈ）が１０８０、横軸の描画位置（Ｘ）が０、縦軸の描画位置（Ｙ）が０である。さらに、入力映像１と他の映像との重なりを示すパラメータは、奥行（Ｚ）が０、入力映像１の透過度（α）が２５５、縮尺率（Ｒ）が１００％である。このようなパラメータのとき、入力映像１は、ディスプレイに全画面表示される。

図９（ａ）〜図９（ｆ）は、図７（ａ）〜図７（ｆ）の各表示形態に対応した画面構成管理テーブルのデータ構成例を示す。図９（ａ）〜（ｆ）に示すように、画面構成管理テーブルのパラメータは、画面構成が異なると出力フラグ、画面の構成比率及び縮尺の変化がそれぞれ異なる。

次に、図１０〜図１２を参照して、補足情報を示す画面をディスプレイに表示する際の手順について説明する。図１０は、図７（ｅ）に示した二画面表示状態Ｃにおける補足情報画面の表示例を示す図である。また、図１１は、図１０に示した画面要素を説明する図である。

表示画面（１０００／１１００）は、二系統の入力映像から構成されている。左画面（１００１）は、入力映像１を表示する画面１（１１０１）であり、右画面（１００２）は入力映像２を表示する画面２（１１０２）である。また、入力映像２（野球中継）のバッタースコアを示す領域（１００３）は、入力映像２を縮小して画面２（１１０２）に表示したためにユーザが判読不可能と判断され、補足情報対象領域ＳＡ１とする。また、同様に、入力映像２（野球中継）の途中経過情報を示す領域（１００４）は、ユーザが判読不可能と判断され、補足情報対象領域ＳＡ２とする。

また、図１０及び図１１では、補足情報対象領域ＳＡ１を切り出して表示した部分を補足情報画面１（１００５／１１０５）とし、補足情報対象領域ＳＡ２を切り出して表示した部分を補足情報画面２（１００６／１１０６）とする。さらに、補足情報画面であることを示す「強調表現部」（１００７／１１０７）には、補足情報画面２（１００６）の外枠に表示された陰影（ドロップシャドウ）あるいは、補足情報画面２（１００６）の左側に表示された星印などの記号を表示する。なお、図１０及び図１１において、補足情報対象領域ＳＡ１から補足情報画面１と、補足情報対象領域ＳＡ２から補足情報画面２とに点線を表示する。この点線は、ユーザに「どの領域の情報を拡大表示しているか」を示すためのガイドラインとして示されている。なお、ガイドラインとしての点線は、一例を示すもので、どの領域を示しているかが判別できるものであれば、矢印、実線、色または濃淡等であっても良い。

次に、図１０の及び図１１の画面がディスプレイに表示されるに至る映像出力装置１００が行う処理について、「画面分割モード処理」、「補足情報抽出処理」、「文字領域群定義処理」及び「補足情報定義処理」に分けて詳しく説明する。

図１２は、画面分割要求に応じて補足情報画面を表示する際の映像出力装置１００が行う処理を示すフローチャートである。まず、リモコンの「画面分割モードボタン」をユーザが押下した場合、入力部１０１は、リモコンから「画面分割モード要求」の命令信号を受信し、端末制御部１０２を介して画面構成管理部１０３に当該命令を転送する。画面構成管理部１０３は、画面分割モード処理の初期化処理として、画面分割数（Ｎ）を「２」とし、その表示時の画面比率を決定する（例えば、初期値として固定倍率１：３）。さらに、画面構成管理部１０３は、端末制御部１０２を介して映像入力部１０４に対して、第一チューナ１０９ａ及び第二チューナ１０９ｂには入力映像１及び入力映像２を出力するよう指示する。また、画面構成管理部１０３は、端末制御部１０２を介して加工部１１１ａ及び加工部１１１ｂに、固定倍率（１：３）となるよう各入力映像を縮小するよう指示する（ステップＳ１０１）。

なお、上記説明では、画面分割の画面比率の初期値を固定倍率（１：３）としたが、固定倍率（１：１）としても、ユーザが好みの倍率を予め任意で指定しても良い。さらに、上記説明では画面分割数（Ｎ）を「２」としたが、画面分割数は２以上としても良く、その画面比率も自由に設定され得る。

ステップＳ１０１の処理中にユーザが表示を待たずして「画面分割モードボタン」を再度押した場合、画面構成管理部１０３は、画面分割モード処理を終了する（ステップＳ１０２のＹ）。一方、画面分割モードが継続であれば、画面構成管理部１０３は処理を続行する（ステップＳ１０２のＮ）。

次に、「補足情報抽出処理」に至るまでの流れを説明する。ステップＳ１０１では、画面分割数（Ｎ）を「２」としたため、補足情報抽出処理をＮ＝２で示される入力映像２から開始するものとする。まず、映像入力部１０１の第二チューナ１０９ｂがアンテナ２００を介して受信した信号は、デコーダ１１０ｂでデコードされる。その後、デコーダ１１０ｂは、デコードによって得られた入力映像を領域判定部１１２に転送する。領域判定部１１２は、デコーダ１１０ｂから転送された入力映像に対して補足情報抽出処理を実行する（ステップＳ１０３）。この処理の詳細については後述する。

領域判定部１１２は、補足情報抽出処理の結果、補足情報とすべき文字領域が存在し、補足情報が抽出された場合、抽出した補足情報を補足情報保持部１１３に蓄積する。そして、補足情報表示判定部１１５は、入力映像中に補足情報があり（ステップＳ１０４のＹ）、かつ、所定の判定条件を満たす場合（ステップＳ１０５のＹ）、補足情報を入力映像の上（最上位レイヤ）の指定位置に重畳表示するよう画面構成管理部１０３に指示する（ステップＳ１０６）。当該指示によって、図１０に示した補足情報画面１（１００５）及び補足情報画面２（１００６）がディスプレイに表示される。なお、ステップＳ１０５で用いられる判定条件は、「補足情報の出現頻度が予め決められた出現頻度閾値（例えば、５０％）以上」、かつ「抽出された補足情報の文字サイズ×現在の入力映像の縮尺率が予め決められた文字サイズ閾値（例えば、１２ポイント）以下」等である。

次に、補足情報保持部１１３に蓄積される補足情報の履歴に基づいて、前回保持していた補足情報と今回抽出した補足情報の内容に変化が生じた場合、補足情報表示判定部１１５は、変更フラグを「ｔｒｕｅ」のステータスに変更する。そして、補足情報表示判定部１１５は、この変更フラグが「ｔｒｕｅ」の場合（ステップＳ１０７のＹ）、表示した補足情報に対して強調表現を追加的に表示する（ステップＳ１０８）。即ち、補足情報表示判定部１１５による強調表現は、図１０に示した補足情報画面２（１００６）の外枠の陰影や星印などの記号（１００７）が表示される。一方、変更フラグが「ｆａｌｓｅ」の場合、補足情報表示判定部１１５は、強調表現を表示せずに次の処理に進む（ステップＳ１０７のＮ）。

さらに、補足情報表示判定部１１５は、ユーザが変更可能な設定として「ガイドライン表示モード」を管理する。補足情報表示判定部１１５は、ガイドライン表示モードに設定されていれば（ステップＳ１０９のＹ）、入力映像の補足情報対象領域と補足情報画面を点線で結ぶガイドラインを表示する（ステップＳ１１０）。一方、ガイドライン表示モードに設定されていない場合、補足情報表示判定部１１５は、ガイドラインを表示せずに次の処理に進む（ステップＳ１０９のＮ）。

以上、本実施形態は、入力映像２に対し、補足情報１及び補足情報２の抽出、補足情報画面２に付随する強調表現、及びガイドライン表示の構成要素の判定処理まで説明した。説明を簡単にするため、補足情報１と補足情報２の表示判定処理を同時に説明したが、図１２に示すフローチャートのステップＳ１１１及びＳ１１２に示すように、補足情報１及び補足情報２に対する表示判定処理は逐次的に行われる。さらに、表示判定処理は、ステップＳ１１３及びＳ１１４に示すように、入力映像２の表示判定処理の次に入力映像１の表示判定処理を行う。なお、当該表示判定処理の順番は、実装に依存するためここでは問わない。例えば、ステップＳ１１４において、入力映像１に対する表示判定処理が未実行の場合は（ステップＳ１１４のＮ）、入力映像１に対するステップＳ１０３の処理に戻る。図１０に示した入力映像１には、補足情報として適当な文字領域が存在しないため、ステップＳ１０３の処理を行っても補足情報が抽出されないので、ステップＳ１０４では補足情報がないと判定される（ステップＳ１０４のＮ）。そして、入力映像１及び入力映像２に対する表示判定処理が終了した場合は（ステップＳ１１４のＹ）、予め決められた待機時間（Ｔｗ秒）の間、図１０に示した補足情報画面を含む画面１０００がディスプレイに表示される（ステップＳ１１５）。

なお、ステップＳ１１５の待機処理が終了した後、画面分割モードが継続の場合（ステップＳ１０２のＮ）、映像出力装置１００は、補足情報の更新を行うためにステップＳ１０３〜Ｓ１１５の処理を繰り返す。一方、画面分割モードが終了の場合（ステップＳ１０２のＹ）、画面構成管理部１０３は、いずれかの入力映像（例えば、入力映像１）を全画面表示する。このため、画面構成管理部１０３は、端末制御部１０２を介して映像入力部１０４の加工部１１１ａに縮尺率の変更を指示し、かつ、合成部１０７に画面構成の変更を指示する。その結果、ディスプレイには、図７（ａ）に示す画面が表示される（ステップＳ１１６）。

次に、図１２のステップＳ１０３に示した領域判定部１１２の「補足情報抽出処理」について、図１３〜図１５及び図１８を参照して詳しく説明する。図１３は、補足情報抽出処理を示すフローチャートである。図１４は、入力映像２中の文字領域及びオブジェクト領域を示す図である。図１５は、補足情報保持部１１３が保持する文字領域テーブルを示す図である。図１６は、補足情報保持部１１３が保持するオブジェクト領域テーブルを示す図である。図１８は、入力映像２中の文字領域及びオブジェクト領域の重畳状態を示す図である。

図１２のステップＳ１０３に示した補足情報抽出処理の前処理については、図１３のフローチャートを参照して説明する。領域判定部１１２は、映像入力部１０４の第二チューナ１０９ｂが受信した信号をデコーダ１１０ｂがデコードし、得られた入力映像２中の文字領域の有無を検出する（ステップＳ２０１）。なお、領域判定部１１２による文字領域の検出には、輝度の差分を利用して文字部分を抽出する方法など、広く知られている既存技術が用いられる。

領域判定部１１２は、文字領域を検出した場合（ステップＳ２０２のＹ）、「文字領域あり」と判定し、その状態を内部に保持する（ステップＳ２０３）。一方、文字領域を検出しなかった場合（ステップＳ２０２のＮ）、領域判定部１１２は「文字領域なし」と判定し、処理を終了する（ステップＳ２０４）。

ステップＳ２０２のＹの続きとして、領域判定部１１２は、入力映像に対する文字領域テーブルが存在するかを補足情報保持部１１３に問い合わせる（ステップＳ２０５）。補足情報保持部１１３からの応答が「文字領域テーブルは存在しない」の場合（ステップＳ２０５のＮ）、領域判定部１１２は、補足情報保持部１１３に文字領域テーブルの新規作成を要求する（ステップＳ２０６）。一方、補足情報保持部１１３からの応答が「文字領域テーブルが存在する」の場合（ステップＳ２０５のＹ）、領域判定部１１２は、抽出した文字列と前回の文字列と比較し、補足情報保持部１１３の文字領域テーブルを更新する（ステップＳ２０７）。

図１４に示す入力映像２の場合、領域判定部１１２は、以下の部分を文字領域として判定し抽出する。抽出された文字領域は、例えば、画面（１４００）の左上に示される「Ｓ２（１４０１）」「Ｂ３（１４０２）」及び「Ｏ２（１４０３）」、画面（１４００）の右下に示される「９ｔｈ（１４０４）」及び「２−３（１４０５）」、並びに、画面（１４００）の右上に示される「１４２Ｋｍ／ｈ」の部分である。そして、図１５に示すように、領域判定部１１２は、文字領域に関する情報を補足情報保持部１１３の文字領域テーブルに記憶する(ステップＳ２０８)。文字領域テーブルには、各文字領域内の抽出文字列、文字サイズ（ポイント）、幅（Ｗ）、高さ（Ｈ）、画面における位置を示す横軸（Ｘ）及び縦軸（Ｙ）といった情報が記録される。

さらに、領域判定部１１２は、図１４の画面（１４００）及び図１８の画面（１８００）に表示された記号やマークといった文字ではない物体（オブジェクト）を、オブジェクト領域して検出する。例えば、検出されるオブジェクト領域は、画面（１４００／１８００）の左上の野球のダイヤモンドを示す記号（１４０７／１８０７）、画面（１４００／１８００）の右下の野球のチームを示すロゴ（１４０８／１８０８及び１４０９／１８０９）、画面（１４００／１８００）の左下のマウンドに立つピッチャー（１４１０／１８１０）、及び、画面（１４００／１８００）の右上の審判及びバッター（１４１１／１８１１及び１４１２／１８１２）などである。

領域判定部１１２は、オブジェクト領域を検出した場合（ステップＳ２０９のＹ）、入力映像に対するオブジェクト領域テーブルが存在するかを補足情報保持部１１３に問い合わせる（ステップＳ２０９）。補足情報保持部１１３からの応答が「オブジェクト領域テーブルは存在しない」の場合（ステップＳ２０９のＮ）、領域判定部１１２は、補足情報保持部１１３にオブジェクト領域テーブルの新規作成を要求する（ステップＳ２１０）。一方、補足情報保持部１１３からの応答が「オブジェクト領域テーブルは存在する」の場合（ステップＳ２０９のＹ）、領域判定部１１２は、抽出したオブジェクトを前回のオブジェクトと比較し、補足情報保持部１１３のオブジェクト領域テーブルを更新する（ステップＳ２１１）。

そして、領域判定部１１２は、例えば、図１６に示すようなオブジェクト領域テーブルを、補足情報保持部１１３に記録する（ステップＳ２１２）。オブジェクト領域テーブルは、オブジェクトＩＤ、各オブジェクト領域の幅（Ｗ）、高さ（Ｈ）、画面における位置を示す横軸（Ｘ）及び縦軸（Ｙ）といった情報が記録される。

図１３のステップＳ２１３に示した「文字領域群定義処理」、及びステップＳ２１４に示した「補足情報定義処理（ステップＳ２１４）」の詳細な説明については、図１７〜図２１を参照して後述する。図１７は、図１３のフローチャート中のステップＳ２１３に示した文字領域群定義処理を示すフローチャートである。図１８は、図１４に示した画面の文字領域及びオブジェクト領域を、補足情報保持部１１３が保持する文字領域テーブル、及びオブジェクト領域テーブルで管理されるＩＤ（Ｔ．＊及びＯｊ．＊）で対応付けた図である。図１９は、補足情報保持部１１３が保持する文字領域群テーブルを示す図である。図２０は、重畳状態検出パターンを示す図である。図２１は、内部処理に用いるマージン幅の例を示す図である。

なお、「文字領域群」とは、抽出された複数の文字領域のうち、重なりがあるものをひとつの情報単位として扱うためのグループを意味している。第１の実施形態では、「Ｔ．１／Ｔ．２／Ｔ．３」及び「Ｔ．４／Ｔ．５」が互いに重なりがあるものと判定され、「Ｔ．６」は他の文字領域との重なりがないものと判定される。このように、３つの文字領域群が定義されることを、以下に説明する。

まず、領域判定部１１２は、入力映像に対する文字領域群テーブルが存在するかを補足情報保持部１１３に問い合わせる。補足情報保持部１１３からの応答が「文字領域群テーブルは存在しない」の場合（ステップＳ３０１のＮ）、領域判定部１１２は、補足情報保持部１１３に文字領域群テーブルの新規作成を要求する（ステップＳ３０２）。一方、補足情報保持部１１３からの応答が「文字領域群テーブルが存在する」の場合（ステップＳ３０１のＹ）、領域判定部１１２は、補足情報保持部１１３が保持する文字領域群テーブル（図１９）を参照する。

領域判定部１１２は、補足情報保持部１１３が保持する図１５に示す文字領域テーブルを参照し、重畳状態を検出するために、全ての文字領域（Ｔ．＊）に重畳検出用マージンを加える（ステップＳ３０３）。本実施形態では、例えば、図２１に示すような入力映像の縮尺率に応じて変化するマージン幅（ピクセル単位）が予め設定されている。例えば、入力映像の縮尺率が２５％のときのマージン幅を１０ピクセルとすると、下記の計算式より重畳検出用のマージンが算出される。

幅（Ｗ）＝幅（Ｗ）＋左マージン（１０）＋右マージン（１０）
高さ（Ｈ）＝高さ（Ｈ）＋上マージン（１０）＋下マージン（１０）
横軸（Ｘ）＝横軸（Ｘ）−左マージン（１０）
縦軸（Ｙ）＝縦軸（Ｙ）−上マージン（１０）

図２０は、領域ｎと領域ｎ＋１の重畳状態を検出する際のパターンを示す図である。ここで、領域ｎには、“ａ”〜“ｄ”の四辺が存在しており、その四辺全てに対し調査対象となる領域ｎ＋１との重畳状態を確認する必要がある。ただし、以下の説明では、説明を簡単にするため、図１４に示す入力画像２から抽出された「Ｓ２（１４０１）」及び「Ｂ３（１４０２）」、即ち、図１８の画面（１８００）に示す「Ｔ．１（１８０１）」及び「Ｔ．２（１８０２）」のうち、“Ｔ．１（１８０１）の下辺とＴ．２（１８０２）の上辺との重なり”に絞って説明する。なお、図２０におけるＴ．１（領域ｎ）の頂点Ｔ．１ｃ及び頂点Ｔ．１ｄが、Ｔ．２（領域ｎ＋１）の頂点Ｔ．２ａ及び頂点Ｔ．２ｂと重なる部分についてのみ説明し、その他の重なり部分については説明を省略する。また、二次元平面において分散するオブジェクトの重なりを検出するアルゴリズムは、第１の実施形態に示す限りではなく、他の方法を用いても良い。

領域判定部１１２は、現在の調査対象であるＴ．１の下辺とＴ．２の上辺のそれぞれにマージンを加えた後の文字領域に対して、下記の計算式を用いて重畳を検出する。

Ｔ．ｎ（Ｘｃ）＝Ｔ．ｎ（Ｘ）＋Ｔ．ｎ（Ｗ）
Ｔ．ｎ（Ｘｄ）＝Ｔ．ｎ（Ｘ）
ΔＴ．ｎ（Ｙ）＝｛Ｔ．ｎ（Ｙ）＋Ｔ．ｎ（Ｈ）｝−Ｔ．ｍ（Ｙ）

上式では、ｍ＝ｎ＋１とし、Ｔ．ｎがＴ．１を、Ｔ．ｍがＴ．２を示すものとする。また、「Ｘｃ」は、Ｔ．１の頂点ｃにおける横軸（Ｘ）、「Ｘｄ」はＴ．１の頂点ｄにおける横軸（Ｘ）、「Ｔ．ｍ（Ｙ）」はＴ．２の頂点ａ（又はｂ）における縦軸（Ｙ）の数値を代入するものとする（ステップＳ３０４）。

次に、領域判定部１１２は、Ｔ．１の下辺とＴ．２の上辺の重なりを判定するため、下記の判定式を用いる。
｛Ｔ．ｍ（Ｘ）≦Ｔ．ｎ（Ｘｃ）≦Ｔ．ｍ（Ｘ）＋Ｔ．ｍ（Ｗ）、またはＴ．ｍ（Ｘ）≦Ｔ．ｎ（Ｘｄ）≦Ｔ．ｍ（Ｘ）＋Ｔ．ｍ（Ｗ）｝
かつ
０≦ΔＴ．ｎ（Ｙ）≦マージン幅閾値（１０）

上式は、「Ｔ．１の頂点ｃが、Ｔ．２の頂点ａと頂点ｂの間にある」及び「Ｔ．１の頂点ｄが、Ｔ．２の頂点ａと頂点ｂの間にある」のいずれか、かつ「ΔＴ．ｎ（Ｙ）で示されるＴ．１の下辺とＴ．２の上辺の位置の差分が０以上又は予め決められたマージン幅の閾値以下である」ということを意味する。領域判定部１１２は、上式を満たす場合、Ｔ．１の下辺とＴ．２の上辺が重畳状態にあると判定する（ステップＳ３０５）。

調査対象の文字が重畳状態にあると判定された場合（ステップＳ３０５のＹ）、領域判定部１１２は、補足情報保持部１１３の文字領域群テーブルを参照する。領域判定部１１２は、「前回重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が存在する」又は「最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が存在する」と判定した場合（ステップＳ３０６のＹ）、既存の文字領域群を参照し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ及びＴ．ｍ）を記録する（ステップＳ３０７）。また、ステップＳ３０６で「どちらの重畳ＩＤにも文字領域ＩＤ（Ｔ．ｎ）が存在しない」と判定した場合（ステップＳ３０６のＮ）、領域判定部１１２は、新規に文字領域群を定義し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ及びＴ．ｍ）を記録する（ステップＳ３０８）。

また、領域判定部１１２は、ステップＳ３０５で上記判定式を満たさないと判定した場合（ステップＳ３０５のＮ）、Ｔ．１の下辺とＴ．２の上辺が重畳状態にないと判定し、補足情報保持部１１３が保持する文字領域群テーブルを参照する。領域判定部１１２は、「前回重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が記録されている」と判定した場合（ステップＳ３０９のＹ）、既存の文字領域群を参照し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）のみを記録する（ステップＳ３１０）。一方、ステップＳ３０９で「前回重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が記録されていない」と判定された場合（ステップＳ３０９のＮ）、領域判定部１１２は、新規に文字領域群を定義し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）のみを記録する（ステップＳ３１１）。

このように、領域判定部１１２は、調査対象の文字領域（Ｔ．ｎ）に対し、重畳状態の計算対象である文字領域（Ｔ．ｍ）を（ｍ＝ｍ＋１）等の計算式により変化させる（ステップＳ３１２）。また、計算対象が残っている場合には、ステップＳ３０４の処理に戻る（ステップＳ３１３のＮ）。そして、全ての計算対象（Ｔ．ｍ）に対し重畳状態が確認された後（ステップＳ３１３のＹ）、領域判定部１１２は、次の調査対象の文字領域（Ｔ．ｎ＋１）に対し重畳状態を確認する（ステップＳ３１４及びＳ３１５のＮ）。最後に、領域判定部１１２は、入力映像に対し全ての文字領域の重畳状態が確認する（ステップＳ３１５のＹ）。その後、領域判定部１１２は、補足情報保持部１１３が保持する文字領域群テーブルの各文字領域群（Ｔｘ．＊）が参照する最新重畳ＩＤ（Ｔ．＊）のうち、最も小さい文字サイズ（ｐｔ：ポイント単位）を算出し記録する（ステップＳ３１６）。さらに、領域判定部１１２は、各文字領域群（Ｔｘ．＊）が参照する最新重畳ＩＤ（Ｔ．＊）において、各文字領域を包含する矩形を計算し、文字領域群テーブルに記録する（ステップＳ３１７）。このようにして、図１９に示すような文字領域群テーブルが完成する。

次に、図１３のステップＳ２１４に示した「補足情報定義処理」について、図２２〜図２４を参照して詳しく説明する。図２２は、図１３のフローチャート中のステップＳ２１４に示した補足情報定義処理を示すフローチャートである。図２３は、入力映像２における文字領域群領域及び補足情報領域の定義を示す。また、図２３は、図１４及び図１８に示した画面の文字領域群、オブジェクト領域、及び補足情報を、補足情報保持部１１３が保持する文字領域群テーブル及びオブジェクト領域テーブルで管理されるＩＤ（Ｔｘ．＊、Ｏｊ．＊、ＳＡ−＊）で対応付けた図である。図２４は、補足情報保持部１１３が保持する補足情報テーブルを示す図である。

図１３のステップＳ２１４に示した補足情報定義処理について説明する。なお、「補足情報」とは、抽出された文字領域群をベースとした情報の単位であり、そのうちオブジェクト領域と重なりがあるものは、ひとつの情報単位としてまとめて扱うことができるものとする。図２３に示した例では、画面（２３００）の「Ｔｘ．１（２３０１）」は、「Ｏｊ．１（２３０４）」との重なりがある補足情報１（ＳＡ−１：２３１０）、「Ｔｘ．２（２３０２）」は「Ｏｊ．５（２３０８）」及び「Ｏｊ．６（２３０９）」と重なりがある補足情報２（ＳＡ−２：２３１１）と判定される。また、「Ｔｘ．３（２３０３）」は、他のオブジェクト領域との重なりがない補足情報３（ＳＡ−３：２３１２）と判定される。このように、３つの補足情報が定義されることを、以下に説明する。

まず、領域判定部１１２は、入力映像に対する補足情報テーブルが存在するかを補足情報保持部１１３に問い合わせる。補足情報保持部１１３からの応答が「補足情報テーブルは存在しない」の場合（ステップＳ４０１のＮ）、領域判定部１１２は、補足情報保持部１１３に補足情報テーブルの新規作成を要求する（ステップＳ４０２）。一方、補足情報保持部１１３からの応答が「文字領域群テーブルが存在する」の場合（ステップＳ４０１のＹ）、領域判定部１１２は、補足情報保持部１１３が保持する補足情報テーブル（図２４）を参照する。

領域判定部１１２は、補足情報保持部１１３が保持する文字領域群テーブル及びオブジェクト領域テーブルを参照し、重畳状態を検出するために全てのオブジェクト領域群（Ｏｊ．＊）に重畳検出用のマージンを加える（ステップＳ４０３）。重畳検出用マージンには、例えば、図２１に示すような入力映像の縮尺率に応じて変化するマージン幅（ピクセル単位）が予め設定されている。例えば、入力映像の縮尺率が２５％のときのマージン幅を１０ピクセルとすると、下記の計算式より重畳検出用のマージンが算出される。

幅（Ｗ）＝幅（Ｗ）＋左マージン（１０）＋右マージン（１０）
高さ（Ｈ）＝高さ（Ｈ）＋上マージン（１０）＋下マージン（１０）
横軸（Ｘ）＝横軸（Ｘ）−左マージン（１０）
縦軸（Ｙ）＝縦軸（Ｙ）−上マージン（１０）

以下の説明では、上述した文字領域群の抽出処理と同様、説明を簡単にするため、図２３に示す「Ｔｘ．１（２３０１）」と「Ｏｊ．１（２３０４）」のうち、“Ｔｘ．１の右辺とＯｊ．１の左辺との重なり”に絞って説明する。即ち、図２０における、Ｔｘ．１（領域ｎ）の右辺Ｔｘ．１ｂ及びＴｘ．１ｃが、Ｏｊ．１（領域ｎ＋１）の左辺Ｏｊ．１ａ及びＯｊ．１ｄと重なる部分についてのみ説明し、その他の重なり部分については説明を省略する。

領域判定部１１２は、現在の調査対象であるＴｘ．１の右辺とＯｊ．１の左辺のそれぞれにマージンを加えた後のオブジェクト領域に対して、下記の計算式を用いて重畳を検出する。

Ｔｘ．ｎ（Ｙｂ）＝Ｔｘ．ｎ（Ｙ）
Ｔｘ．ｎ（Ｙｃ）＝Ｔｘ．ｎ（Ｙ）＋Ｔｘ．ｎ（Ｈ）
ΔＴｘ．ｎ（Ｘ）＝｛Ｔｘ．ｎ（Ｘ）＋Ｔｘ．ｎ（Ｗ）｝−Ｏｊ．ｍ（Ｘ）

上式では、ｍ＝１とし、Ｔｘ．ｎがＴｘ．１を、Ｏｊ．ｍがＯｊ．１を示すものとする。また、「Ｙｂ」は、Ｔｘ．１の頂点ｂにおける縦軸（Ｙ）、「Ｙｃ」はＴｘ．１の頂点ｃにおける縦軸（Ｙ）、「Ｏｊ．ｍ（Ｘ）」はＯｊ．１の頂点ａ（又はｄ）における横軸（Ｘ）の数値を代入するものとする（ステップＳ４０４）。

次に、領域判定部１１２は、Ｔｘ．１の右辺とＯｊ．１の左辺の重なりを判定するため、下記の判定式を用いる。
｛Ｏｊ．ｍ（Ｙ）≦ Ｔｘ．ｎ（Ｙｂ）≦ Ｏｊ．ｍ（Ｙ）＋Ｏｊ．ｍ（Ｈ）、またはＯｊ．ｍ（Ｙ）≦Ｔｘ．ｎ（Ｙｃ）≦Ｏｊ．ｍ（Ｙ）＋Ｏｊ．ｍ（Ｈ）｝
かつ
０≦ΔＴｘ．ｎ（Ｘ）≦ マージン幅閾値（１０）

上式は、「Ｔｘ．１の頂点ｂが、Ｏｊ．１の頂点ａと頂点ｄの間にある」及び「Ｔｘ．１の頂点ｃが、Ｏｊ．１の頂点ａと頂点ｄの間にある」のいずれか、かつ「ΔＴｘ．ｎ（X）で示されるＴｘ．１の右辺とＯｊ．１の左辺の位置の差分が０以上又は予め決められたマージン幅の閾値以下である」ということを意味する。領域判定部１１２は、上式を満たす場合、Ｔｘ．１の右辺とＯｊ．１の左辺が重畳状態にあると判定する（ステップＳ４０５）。

調査対象の文字領域群とオブジェクト領域が重畳状態にあると判定された場合（ステップＳ４０５のＹ）、領域判定部１１２は、補足情報保持部１１３が保持する補足情報テーブルを参照する。領域判定部１１２は、「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されている」と判定した場合（ステップＳ４０６のＹ）、既存の補足情報を参照し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｔｒｕｅ」に設定する（ステップＳ４０７）。また、ステップＳ４０６で「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されていない」と判定された場合（ステップＳ４０６のＮ）、領域判定部１１２は、新規に補足情報を定義し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｔｒｕｅ」に設定する（ステップＳ４０８）。

また、領域判定部１１２は、ステップＳ４０５で上記判定式を満たさないと判定した場合（ステップＳ４０５のＮ）、Ｔｘ．１の右辺とＯｊ．１の左辺が重畳状態にないと判定し、補足情報保持部１１３が保持する補足情報テーブルを参照する。領域判定部１１２は、「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されている」と判定した場合（ステップＳ４０９のＹ）、既存の補足情報を参照し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｆａｌｓｅ」に設定する（ステップＳ４１０）。一方、ステップＳ４０９で「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されていない」と判定された場合（ステップＳ４０９のＮ）、領域判定部１１２は、新規に補足情報を定義し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｆａｌｓｅ」に設定する（ステップＳ４１１）。

このように、領域判定部１１２は、調査対象の文字領域群（Ｔｘ．ｎ）に対し、重畳状態の計算対象であるオブジェクト領域（Ｏｊ．ｍ）を（ｍ＝ｍ＋１）等の計算式により変化させる（ステップＳ４１２）。また、計算対象が残っている場合には、ステップＳ４０４の処理に戻る（ステップＳ４１３のＮ）。そして、全ての計算対象（Ｏｊ．ｍ）に対し重畳状態が確認された後（ステップＳ４１３のＹ）、領域判定部１１２は、補足情報テーブル初回作成時からの出現累計を基に、補足情報（ＳＡ−ｎ）に対する出現頻度（％）を算出し、補足情報テーブルに記録する（ステップＳ４１４）。その後、領域判定部１１２は、次の調査対象の文字領域群（Ｔｘ．ｎ＋１）に対し、逐次的に重畳状態を確認する（ステップＳ４１５及びＳ４１６のＮ）。最後に、領域判定部１１２は、入力映像に対し全ての文字領域群の重畳状態が確認する（ステップＳ４１６のＹ）。その後、領域判定部１１２は、補足情報保持部１１３が保持する各文字領域群（Ｔｘ．＊）、と重畳するオブジェクト領域（Ｏｊ．＊）との重なりを包含する矩形を計算し、補足情報テーブルに記録する（ステップＳ４１７）。このようにして、図２４に示すような文字領域群テーブルが完成する。

以上説明したように、領域判定部１１２は、図１２、図１３、図１７及び図２２に示した各フローチャートによる処理を行うことによって、図２４に示す補足情報テーブルが作成又は更新され、補足情報保持部１１３に保持される。領域判定部１１２が当該処理を待機時間（Ｔｗ秒）毎に繰り返すことで、入力映像の変化に追従して補足情報の内容が更新されるため、ディスプレイには図１０に示すような画面が継続的に表示される。

以下、補足情報の描画タイミングについて、図２５を参照して詳細に説明する。図２５は、入力映像の縮尺率及び画面分割モードの状態に応じた補足情報表示判定基準を示す図である。当該補足情報表示判定基準では、図１２のフローチャートに示したステップＳ１０５において、所定の判定条件を満たす場合のみ補足情報を表示するものとする。所定の判定条件とは、上述したように、補足情報保持部１１３が保持する補足情報テーブルに記録される「出現頻度（％）」が「出現頻度の閾値（例えば、５０％）」以上、かつ、文字領域群テーブルに記録される「文字サイズ」×「現在の入力映像の縮尺率」が「文字閾値（例えば、１２ポイント）」以下等である。

上記補足情報表示判定基準における前者の条件は、入力映像に対し、ある一定期間表示される文字列が、放送局などの番組提供会社が意図する補足情報であると判断するためのものである。当該条件を設けることによって、例えば、テレビコマーシャルなど、突発的かつ単発的に表示される文字列あるいは、野球中継の中で紹介される告知情報など、画面分割をした際に必ずしも必要としない情報を補足情報として表示することを防ぐことができる。第１の実施形態においては、補足情報３（ＳＡ−３：野球中継のピッチャーの球速）が出現頻度「１２％」でああるため、補足情報表示判定部１１５は、補足情報３は補足情報としての条件を満たさないと判定する。

また、上記補足情報表示判定基準における後者の条件は、入力映像が縮小して表示される際、表示された文字列がユーザに不可読と判断された場合にのみ、補足情報として表示すると判断するためのものである。例えば、補足情報の表示は、図７（ｃ）〜図７（ｆ）に示す“二画面表示状態Ａ〜Ｄ”に対し、図２５に示すように、初期状態として入力映像が１００％で表示される場の文字サイズは以下の通りである。文字領域群１（Ｔｘ．１）の文字サイズは「１８ポイント」、文字領域群２（Ｔｘ．２）の文字サイズは「２６ポイント」である。なお、“二画面表示状態Ａ”においては、入力映像２の縮尺率は「７５％」、文字領域群１（Ｔｘ．１）の文字サイズは「１４ポイント前後」、文字領域群２（Ｔｘ．２）の文字サイズは「１９ポイント前後」であり、閾値（１２ポイント）を上回っているため、ユーザが可読であると判断し、補足情報を表示しない（図７（ｃ）。

次に、“二画面表示状態Ｂ”に至る前に、文字領域群１（Ｔｘ．１）の文字サイズが閾値（１２ポイント）下回ったため、補足情報表示判定部１１５は、補足情報の表示を開始する。また、“二画面表示状態Ｂ”では、わずかながら文字領域群２（Ｔｘ．２）の文字サイズが閾値（１２ポイント）を上回っているため、補足情報１のみが表示されることとなる（図７（ｄ）。さらに、“二画面表示状態Ｂ”を通過した直後、“二画面表示状態Ｃ”に至る前に、文字領域群２（Ｔｘ．２）の文字サイズが閾値（１２ポイント）を下回ったため、“二画面表示状態Ｃ”においては、補足情報２も表示されることとなる（図７（ｅ）。以降、“二画面表示状態Ｄ”のその先に至っては、文字領域群１及び２の文字サイズが共に閾値（１２ポイント）を下回るため、補足情報１及び２が表示され続けることになる（図７（ｆ）。

なお、上記説明では、“出現頻度が「５０％」以上の補足情報を表示する”としたが、この判定基準をユーザが自由に変更できるようにしても良い。また、上記説明では、表示の判定を行う文字サイズの閾値として「１２ポイント」を例に挙げたが、ユーザが不可読となる文字サイズには個人差があるため、ユーザが自由に変更できるようにしても良い。また、端末システムが管理するメニュー画面等のフォントサイズ設定、端末に搭載されたブラウザのフォントサイズ設定、端末に搭載されたＥＰＧのフォントサイズ設定（最後に設定したサイズ）など、文字列を表示するアプリケーションで設定したサイズと連動して、表示の判定を行う文字サイズの閾値を決定しても良い。

以下、補足情報の描画位置について、図２６及び図２７を参照して詳細に説明する。図２６は、補足情報の表示場所を決定する要因の一例を示す図である。図２７は、表示画面のレイアウト構成の一例を示す図である。

図２６に示すように、入力映像の画面（２６００）に対し、補足情報１（ＳＡ−１：２６０１）、補足情報２（ＳＡ−２：２６０２）、及び補足情報３（ＳＡ−３：２６０３）が定義される。第１の実施形態においては、画面を四分割した第一象限〜第四象限までの領域が定義され、補足情報表示判定部１１５は、各補足情報がどの象限に属するかを判定することにより、おおよその補足情報の表示位置を決定する。例えば、補足情報１（ＳＡ−１）は、第二象限に属しており、補足情報２（ＳＡ−２）は第四象限に属しており、補足情報３（ＳＡ−３）は第一象限に属していることになる。

図２７は、図７（ｅ）に示した“二画面表示状態Ｃ”の画面レイアウト構成を示す。補足情報表示判定部１１５は、図１２のフローチャートに示したステップＳ１０６にて、補足情報の表示位置を決定し、画面構成管理部１０３に画面レイアウト構成として転送する。ここで、例えば、画面２に表示される入力映像２に含まれる補足情報１（ＳＡ−１）は、図２６に示す通り、第二象限に位置している。このため、図２７においては、画面１と画面２の境界線に対して予め決められた表示マージンを減算し、画面２の上方に左寄せで原寸表示している。さらに、画面２に表示される入力映像２に含まれる補足情報２（ＳＡ−２）は、図２６に示す通り、第四象限に位置している。このため、図２７においては、画面１と画面２の境界線ではなく表示枠の右端に対して表示マージンを減算し、画面２の下方に右寄せで原寸表示している。

なお、上記の例では、画面分割の構成比率を３：１とし、画面１と画面２の境界線を境目にセンタリングする方式としたが、表示方法はこれに限らない。例えば、表示方法は、画面間に表示マージンを用意しても良いし、各画面にフレーム枠を付与しても良い。また、本実施形態では、補足情報を原寸表示（即ち、入力映像の１００％表示から一部を切り出した形式）するとしたが、拡大や縮小はユーザが自由に選択しても良い。また、補足情報は、画面のレイアウト構成に連動して自動で縮尺が変更される構成としても良い。また、画面構成管理部１０３は、入力映像に対応付けられて保持される補足情報の領域を相互に参照し、入力映像２における補足情報を表示する際、入力映像１における文字領域群の位置に配慮した処理を行っても良い。配慮した処理とは、具体的には、入力映像２の補足情報が入力映像１の文字領域群に重畳しないように位置、あるいは補足情報の表示サイズを変更する、又は補足情報を表示しないといった処理である。

なお、本実施形態では、入力映像に放送局から放送される番組（例えば、ドラマや野球中継）を例に挙げた。しかし、放送番組に限らず、他の機器が録画等により蓄積する蓄積番組や個人が撮影した映像、第三者が作成したビデオクリップやネットワークを介して配信される動画など、入力チャネル及びフォーマットを問わない。

なお、本実施形態の補足情報保持部１１３が保持する補足情報は、補足情報表示判定部１１５が図１２に示す条件判定（ステップＳ１０５）で表示の有無を判定する例を示した。しかし、補足情報表示判定部１１５は、放送に付随する番組概要等のテキストデータとの比較を行い、内容に合致する場合のみ補足情報を表示する等の条件判定を付加しても良い。

以上説明したように、本実施形態の映像出力装置１００は、少なくとも１つの入力映像の描画位置及び描画サイズを動的に管理し、縮小された入力映像において文字列の潰れが発生したと判定された領域を補足情報として自動的に拡大表示するよう処理する。これにより、本実施形態では、拡大表示に必要なユーザによる操作回数が軽減し、可読な文字サイズによる判りやすい情報提示により、ユーザによる情報認識の機会損失を未然に防止できる。

また、縮小された入力映像においては、文字列の潰れが発生したと判定された領域に加え、文字列ではない近傍のロゴマーク等の記号も補足情報として自動的に拡大表示される。これにより、本実施形態では、単純なテキスト拡大によるロゴマーク等の記号の情報欠如を防止し、正確な補足情報をユーザに提供できる。

また、少なくとも１つの入力映像が縮小表示された際は、縮小表示された画面以外の未使用領域（例えば、二画面分割時の黒帯となる部分）に補足情報が表示される。これにより、本実施形態では、メインで視聴する映像を邪魔することがなく、画面の空き領域を有効活用できる。

また、少なくとも１つの入力映像が縮小表示された際は、縮小表示された画面において補足情報の参照元となる文字領域に近い位置に補足情報が表示される。これにより、本実施形態では、縮小された画面においても、どこの情報が拡大表示されているかをユーザが直感的に判断でき、判りやすい情報提供ができる。

また、少なくとも１つの入力映像が縮小表示された際は、縮小表示された画面において、補足情報の参照元となる領域と拡大表示した補足情報領域とをガイドラインにより視覚的に関連付けて表示される。これにより、縮小された画面においても、どこの情報が拡大表示されているかをユーザが直感的に判断でき、判りやすい情報提供ができる。

また、映像に重畳する形式で補足情報を表示する場合には、映像のどの位置に文字領域があるかに配慮して補足情報の表示位置が決定される。これにより、映像上の文字領域に補足情報や他の映像を重畳することがなく、映像上の文字領域表示を隠すことを未然に防止できる。

また、入力映像において複数の文字領域がある場合は、複数の文字領域を包含する文字領域群において最も小さいと判定された文字領域の補足情報を優先して自動表示される。これにより、本実施形態では、ユーザにとって余計な操作を必要とせず、映像の縮小により潰れた文字情報のうち、最も見難い文字列情報を補足情報として提供できる。

また、本実施形態では、抽出された文字領域のうち、一定時間表示されたものだけを補足情報として表示される。これにより、本実施形態では、瞬間的に表示される字幕スーパーや映像に偶然映った看板、コマーシャル等で突発的かつ単発的に表示される文字列による過剰な補足情報表示を未然に防止し、起こり得る画面のちらつき発生を抑止できる。

また、本実施形態は、抽出された文字列の変化を判定し、補足情報の変化を画面上で強調表現として通知する。これにより、本実施形態は、ユーザ自らが常に補足情報の変化に気を配る必要がなく、自動的に提供される視覚的な強調表示により、縮小された画面における状態変化を直感的に認識できる。

また、本実施形態は、映像から抽出した補足情報のうち、映像に付随する付帯情報に合致する補足情報が優先的に表示される。これにより、本実施形態は、映像に偶然映った看板等の文字列など、映像の内容に直接沿わない文字領域の表示を未然に防止できる。

（第２の実施形態）
第１の実施形態では、入力映像から文字領域及びオブジェクト領域を抽出し、各文字領域がオブジェクト領域と重なる場合には、ひとつの補足情報として領域を切り出し、入力映像の縮尺率に応じて画面構成管理部１０３が管理する画面レイアウト構成の空き領域に、前記補足情報を重畳して表示するケースを示した。第２の実施形態では、映像出力装置１００の領域判定部１１２が抽出した補足情報に限らず、映像出力装置１００がネットワーク６００を介して、外部にあるサーバから補足情報を取得して表示する場合について説明する。

本実施形態では、図２８〜図３０を参照して、外部にあるサーバから補足情報を取得して表示する処理について説明する。図２８は、第２の実施形態の映像出力装置及びその関連装置を示すブロック図である。なお、図２８では、映像出力装置１００の映像入力部１０４の内部構成については図示を省略している。図２９は、補足情報提供装置が提供する画面構成データを示す図である。図３０は、画面構成データに基づく補足情報の表示例を示す図である。

本実施形態の映像出力装置１００は、図６に示す第１の実施形態の映像出力装置１００と同様な構成である。図２８において、図６に示す第１の実施形態との主な相違は、ネットワーク６００に接続される通信部１０９ｄが画面構成管理部１０３に接続される点、ネットワーク６００に接続される外部サーバとして補足情報提供装置８００が追加された点である。上記以外の構成は、図６と同様であるため、それらの同様な部位については同じ符号を付して説明を省略する。

本実施形態の画面構成管理部１０３は、合成部１０７を介して出力部１０８で表示する入力映像に関連付けられた補足情報提供装置８００に対し、必要に応じて、通信部１０９ｄを介して画面構成データの取得を要求する。補足情報提供装置８００は、映像出力装置１００からの要求に応じて、映像出力装置１００で視聴中の入力映像の画面構成における補足情報の表示位置などを記述した、図２９に示すような画面構成データを返信する。画面構成管理部１０３は、通信部１０９ｄを介して取得した画面構成データを解析し、入力映像に対しどの領域に補足情報が表示されるかを判断する。

例えば、第１の実施形態の説明で用いた入力映像２（野球中継）の場合、図２９に示す通り、３つの補足情報１〜３が定義される。第２の実施形態における補足情報１〜３は、バッタースコア（ＲＰ−１）、経過情報（ＲＰ−２）、球速（ＲＰ−３）が存在し、各々補足情報を表示する位置として、幅（Ｗ）、高さ（Ｈ）、横軸（Ｘ）、縦軸（Ｙ）の情報が記載される。さらに、一実施例として、日本語版及び英語版の補足情報ＵＲＬ（Uniform Resource Locator）が付加されている。この補足情報ＵＲＬは、補足情報を表示する位置に関する情報の他に、補足情報提供装置８００が予め補足情報を用意し、ネットワーク６００を通じて取得可能とする。

映像出力装置１００を操作するユーザが任意に選択可能なプロファイルのひとつとして、言語設定が日本語に選択されている場合について説明する。なお、当該言語設定を含むプロファイルは、画面構成管理部１０３又は本実施形態の映像出力装置が有する図示しない記録媒体に記録されている。入力映像２の野球中継で経過情報（ＲＰ−２）及び球速（ＲＰ−３）が、例えば英語表記となっていたとする。画面構成管理部１０３は、上記言語設定に従い、補足情報提供装置８００が提供する「日本語版の補足情報」を、補足情報ＵＲＬを用いて取得し、補足情報として入力映像に重畳して表示する。例えば、図３０に示すように、画面構成データにより、画面（３０００）において放送局が意図する補足情報１〜３（３００１〜３００３）の表示領域を判定できる。また、画面構成管理部１０３は、補足情報ＵＲＬを用いて取得した画像により、本来の入力映像２では「９ｔｈ」と表示される部分を「９回」とし、「１４２Ｋｍ／ｈ」と表示される部分を「時速１４２Ｋｍ」として表示する。

なお、第２の実施形態においては、補足情報ＵＲＬで画像を取得するものとしたが、テキストやストリーミングで配信される動画を取得する方式としてもよい。

なお、第２の実施形態においては、ネットワーク６００を介して補足情報提供装置８００から取得する画面構成データは、放送局などの番組提供者が意図する補足情報の概要、表示領域の位置情報、補足情報提供装置８００が提供する補足情報への補足情報ＵＲＬを含む例を示した。しかし、包含される情報は、これに限らず、関連情報及び関連情報にアクセスするためのＵＲＬ、ネットワーク６００を介して取得できる副音声等を含むようにしても良い。また、ユーザは、映像出力装置１００のアプリケーション処理部１０５のひとつ、又はパーソナルコンピュータのブラウザ等により、補足情報提供装置８００の設定を変更できる。この設定を変更する場合は、入力映像に対する補足情報の表示位置、又は入力画面を縮小（又は入力映像を画面分割）した際の画面（３０００）に対する補足情報の相対的な表示位置を、補足情報表示指定領域として変更しても良い。

以上説明したように、本実施形態では、複数種類の補足情報の中からユーザのプロファイルに従って補足情報を選択して表示する。このため、言語設定として日本語が設定されている映像出力装置においては、日本語版の補足情報を表示する。なお、画面構成管理部１０３は、補足情報を異なる言語に翻訳しても良い。例えば、画面構成管理部１０３は、英語として抽出されたテキストを英和辞書に従って日本語に翻訳して表示する。このように、本実施形態では、ユーザが選択した言語設定に応じた補足表示が可能である。

また、映像出力装置は、当該映像出力装置の外部から取得した補足情報領域パターンデータに含まれる補足情報領域を用いて、補足情報となる映像を抽出して表示しても良い。補足情報領域パターンデータは、入力映像中の補足情報領域の位置を示すデータである。この場合、補足情報領域の算出に必要な映像出力装置の処理負荷が軽減され、かつ、映像出力装置は、映像製作者が意図する補足情報領域を確実に特定できる。

また、映像出力装置は、当該映像出力装置の外部から取得した画面構成データに含まれる補足情報表示指定領域に従って補足情報を表示しても良い。この場合、補足情報の表示位置やサイズの算出に必要な映像出力装置の処理負荷が軽減され、かつ、映像出力装置は、ユーザが意図する指定領域に確実に補足情報を表示できる。

本発明は、上記説明した第１及び第２の実施形態に限定されない。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法は、コンピュータにより実現するコンピュータプログラムであるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録したものとしてもよい。

また、本発明は、前記コンピュータプログラムを、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、2008年10月10日出願の日本特許出願（特願2008−264004）に基づくものであり、その内容はここに参照として取り込まれる。

本発明に係る映像出力装置は、デジタルテレビ受像機、デジタルビデオディスクレコーダ、セットトップボックス、プロジェクタ、外付モニター、外部に映像を出力するパーソナルコンピュータまたは映像表示出力機能を有するモバイル機器等に適用できる。

１００ 映像出力装置
１０１ 入力部
１０２ 端末制御部
１０３ 画面構成管理部
１０４ 映像入力部
１０５ アプリケーション処理部
１０６ 画面生成部
１０７ 合成部
１０８ 出力部
１０９ａ 第一チューナ
１０９ｂ 第二チューナ
１０９ｃ 外部入力部
１０９ｄ 通信部
１１０ デコーダ
１１１ 加工部
１１２ 領域判定部
１１３ 補足情報保持部
１１５ 補足情報表示判定部
２００ アンテナ
３００ 放送局
４００ 送出局
５００ 映像提供装置Ａ
６００ ネットワーク
７００ 映像提供装置Ｂ
８００ 補足情報提供装置

本発明は、入力映像の表示サイズの縮尺率に応じて補足情報の表示形態を変える映像出力装置及び映像出力方法に関する。

一般的に、テレビ放送局やケーブルテレビ局などが提供する放送番組の信号を受信する装置は、受信信号を処理して映像を出力する。以下、当該装置を「映像出力装置」という。映像の出力先は、映像出力装置に装備されたディスプレイ、又はケーブルなどの通信手段を介して映像出力装置に接続された外部ディスプレイである。この際、複数の番組を同時に視聴したいというユーザの要望に応えるため、例えば、２つ入力映像に対し、画面を２分割して表示する「二画面モード」が広く知られている。

図１（ａ）〜（ｃ）は、一般的な二画面モードの表示パターンを示す図である。図１（ａ）は、入力映像Ａと入力映像Ｂを同じ比率で並列に表示した例を示す。図１（ｂ）は、入力映像Ａと入力映像Ｂの大きさに差をつけて表示した例を示す。図１（ｃ）は、全画面表示した入力映像Ａに小さい画面の入力映像Ｂを重畳表示した例を示す。図２（ａ）〜（ｃ）は、図１（ａ）〜（ｃ）に示した二画面モードの各表示パターンに対し、映像を割り当てた場合の表示例を示す。

二画面モードでディスプレイに映像を表示する際には、ユーザが所定の操作を行うことにより、固定の比率で画面の分割パターンを切り替えるものが一般的であった。しかし、最近では、ユーザが指定する任意の比率で画面を分割する映像出力装置も登場した。

一方、昨今の映像出力装置は、大画面化が進むと共に、高機能化が進んでいる。例えば、複数のチューナを搭載する機種や、ゲーム機などを接続可能な外部入力端子を複数搭載する機種、インターネットを介して受信した動画を再生する機種、記録媒体に受信番組を録画して保持する機種などがある。その結果、例えば、リビングの１つの大画面を３分割して家族がそれぞれ３つの入力映像を視聴するケースがある。例えば、母と娘は録画したドラマを第一分割画面で楽しみ、父親は第二分割画面で野球中継を楽しみ、息子は第三分割画面でゲームを楽しむような使われ方が想定されている。

上記説明した画面分割機能を有する映像出力装置のディスプレイに、複数の映像を固定又は任意の比率で縮小して表示すると、図２（ａ）〜（ｃ）に示したように、縮小された映像中の文字列や記号が潰れてしまう場合がある。このとき、表示された情報はユーザにとって読みづらく、また、ユーザが情報を認識することができないという課題がある。

この課題を解決するひとつの方法が特許文献１に開示されている。この文献の方法によれば、データ放送が付随する番組が画面分割により縮小表示された際、ユーザによるリモコン操作により、番組送出側で指定されたデータ放送のメニュー画面をレイアウト情報に基づいて縮小画面の外側に重畳表示する。

しかし、この方法は、予め決められた文字列と画像データがレイアウト情報と共にデータ放送として番組に付随することが前提である。また、ユーザは、確認したい情報を表示するためにリモコンを継続的に操作しなければならない。また、他の分割画面の上に情報を重畳表示するため、他の分割画面が重畳画面によって隠されてしまい情報が欠如してしまう。

また、上記課題を解決する他の方法が特許文献２に開示されている。この文献の方法は、２つ以上の入力映像に対し、第一の入力映像を全画面で表示し、第二の入力映像から文字列を含む字幕領域を抽出し、抽出された文字列を第一の入力映像の任意の位置に重畳して表示する。

図３〜図５は、特許文献２に開示された方法による処理の概要を示す図である。特許文献２の方法では、図３の（ａ）に示された２つの入力映像Ａ，Ｂのうち、図３の（ｂ）に示すように、入力映像Ｂから文字列領域Ｂ’を抽出し、図３の（ｃ）に示すように、入力映像Ａに文字列領域Ｂ’を重畳表示する。図４は、図３に示した各画面に映像を割り当てた場合の表示例を示す。図４に示す例では、入力映像Ｂに該当する野球中継のうち、文字列領域Ｂ’に該当するスコア表示部分が入力映像Ａに重畳表示される。

日本国特開２００２−１７１４５７号公報 日本国特開平８−３１７３０１号公報

上記説明した特許文献２に開示された方法では、入力映像中のユーザが知りたい情報は文字列である必要がある。このため、文字列ではない情報（例えば、プロ野球球団のロゴマーク等）は、文字列領域Ｂ’に含まれない。したがって、ユーザが知りたい情報に文字列ではない情報が含まれていると、情報が欠如する（見切れる）という課題があった。例えば、図５の（ａ）に示すように、図４に示した入力映像Ｂのスコア表示部分に抽出不可能な記号やマークが使用された場合、図５の（ｂ）に示すように文字列部分だけが抽出される。このため、図５の（ｃ）に示すように、記号やマークは入力映像Ａに重畳表示されない。

なお、入力映像Ａの任意の位置に文字列領域Ｂ’を重畳表示できるが、入力映像Ａが全画面表示である以上、文字列領域Ｂ’は入力映像Ａのいずれかの場所に重畳される。このため、入力映像Ａの一部の情報が欠如する。例えば、図４の（ｃ）や図５の（ｃ）に示したように、入力映像Ａのテロップの一部に文字列領域Ｂ’が重畳されるため、当該重畳された部分のテロップの情報が欠如してしまう。

本発明の目的は、入力映像の表示サイズの縮尺率に応じて補足情報の表示形態を変える映像出力装置及び映像出力方法を提供することである。

本発明は、少なくとも１つの映像を表示する画面の配置又は縮尺を管理する画面構成管理部と、入力映像から文字領域を判定する領域判定部と、前記領域判定部が判定した少なくとも１つの文字領域の近傍にオブジェクト領域が存在するかを判定し、前記オブジェクト領域が存在する場合は前記オブジェクト領域を含む補足情報として補足情報領域の映像を切り出して保持する補足情報保持部と、前記画面構成管理部が管理する画面構成に基づく入力映像に加え、前記補足情報保持部が保持する補足情報を表示するかを判定する補足情報表示判定部と、前記画面構成管理部及び前記補足情報表示判定部からの指示に従い、前記入力映像及び前記補足情報を出力する出力部と、を備え、前記補足情報表示判定部は、前記画面構成管理部が管理する縮尺に応じて変化する入力映像中の文字領域に含まれる文字のサイズに基づいて、前記補足情報を表示すると判定する映像出力装置を提供する。

本発明は、少なくとも１つの映像を表示する画面の配置又は縮尺を管理する画面構成管理部と、入力映像から文字領域を判定する領域判定部と、前記領域判定部が判定した少なくとも１つの文字領域に含まれる文字列を補足情報として外部サーバから取得する通信部と、前記画面構成管理部が管理する画面構成に基づく入力映像に加え、前記通信部が取得した補足情報を表示するかを判定する補足情報表示判定部と、前記画面構成管理部及び前記補足情報表示判定部からの指示に従い、前記入力映像及び前記補足情報を出力する出力部と、を備え、前記補足情報表示判定部は、前記領域判定部が判定した少なくとも１つの文字領域に含まれる文字のサイズが閾値よりも小さい場合、前記補足情報を表示する映像出力装置を提供する。

本発明は、入力映像から文字領域を判定し、少なくとも１つの文字領域の近傍にオブジェクト領域が存在するかを判定し、前記オブジェクト領域が存在する場合は前記オブジェクト領域を含む補足情報として補足情報領域の映像を切り出して保持し、少なくとも１つの映像を表示する画面の配置又は縮尺を規定する画面構成に基づく入力映像に加え、前記補足情報を表示するかを判定し、前記画面構成及び前記判定結果に従い、前記入力映像及び前記補足情報を出力する映像出力方法であって、前記入力映像中の文字領域に含まれる文字のサイズに基づいて、前記補足情報を表示すると判定する映像出力方法を提供する。

本発明は、入力映像から文字領域を判定し、少なくとも１つの文字領域に含まれる文字列を補足情報として外部サーバから取得し、少なくとも１つの映像を表示する画面の配置又は縮尺を規定する画面構成に基づく入力映像に加え、前記外部サーバから取得した補足情報を表示するかを判定し、前記画面構成及び前記判定結果に従い、前記入力映像及び前記補足情報を出力する映像出力方法であって、少なくとも１つの文字領域に含まれる文字のサイズが閾値よりも小さい場合、前記補足情報を表示すると判定する映像出力方法を提供する。

本発明に係る映像出力装置及び映像出力方法によれば、入力映像の表示サイズの縮尺率に応じて補足情報の表示形態を変えることができる。このため、複数の入力映像を画面分割する場合であっても、入力映像中の文字や記号の潰れが発生した部分を補足情報として補完でき、ユーザが知りたい情報の欠如を未然に防止することができる。

（ａ）〜（ｃ）は一般的な二画面モードの表示パターンを示す図 （ａ）〜（ｃ）は図１（ａ）〜（ｃ）に示した二画面モードの各表示パターンに対し、映像を割り当てた場合の表示例を示す図 特許文献２に開示された方法によって入力映像Ｂの一部を切り出して重畳させた表示例を示す図 図３に示した各画面に映像を割り当てた場合の表示例を示す図 入力映像Ｂに文字列と記号が含まれていた場合の表示例を示す図 第１の実施形態の映像出力装置及びその関連装置を示すブロック図 （ａ）〜（ｆ）は第１の実施形態に係る全画面表示及び二画面表示のパターンを示す図 画面構成管理部１０３が保持する画面構成管理テーブルの例を示す図 （ａ）〜（ｆ）は画面構成管理部１０３が保持する画面構成管理テーブルのデータ構成の例を示す図 図７（ｅ）に示した二画面表示状態Ｃにおける補足情報画面の表示例を示す図 図１０に示した画面要素を説明する図 画面分割要求に応じて補足情報画面を表示する際の映像出力装置１００が行う処理を示すフローチャート 補足情報抽出処理を示すフローチャート 入力映像２中の文字領域及びオブジェクト領域を示す図 補足情報保持部１１３が保持する文字領域テーブルを示す図 補足情報保持部１１３が保持するオブジェクト領域テーブルを示す図 図１３のフローチャート中のステップＳ２１３に示した文字領域群定義処理を示すフローチャート 入力映像２中の文字領域及びオブジェクト領域の重畳状態を示す図 補足情報保持部１１３が保持する文字領域群テーブルを示す図 重畳状態検出パターンを示す図 内部処理に用いるマージン幅の例を示す図 図１３のフローチャート中のステップＳ２１４に示した補足情報定義処理を示すフローチャート 入力映像２における文字領域群領域及び補足情報領域の定義を示す図 補足情報保持部１１３が保持する補足情報テーブルを示す図 入力映像の縮尺率及び画面分割モードの状態に応じた補足情報表示判定基準を示す図 補足情報の表示場所を決定する要因の一例を示す図 図７（ｅ）に示した“二画面表示状態Ｃ”の画面レイアウト構成を示す図 第２の実施形態の映像出力装置及びその関連装置を示すブロック図 補足情報提供装置が提供する画面構成データを示す図 画面構成データに基づく補足情報の表示例を示す図

以下、本発明に係る映像出力装置及び映像出力方法の実施形態について、図面を参照して説明する。なお、以下説明する実施形態の映像出力装置は、放送局が送出局を介して送出した番組やコマーシャル等のコンテンツを受信し、装置内外のディスプレイに表示する装置である。

（第１の実施形態）
図６は、第１の実施形態の映像出力装置及びその関連装置を示すブロック図である。まず、当該映像出力装置が入力映像をディスプレイに表示するまでの処理概要を説明する。

図６に示すように、映像出力装置１００は、入力部１０１と、端末制御部１０２と、画面構成管理部１０３と、映像入力部１０４と、アプリケーション処理部１０５と、画面生成部１０６と、合成部１０７と、出力部１０８と、領域判定部１１２と、補足情報保持部１１３と、補足情報表示判定部１１５とを備える。

入力部１０１は、映像出力装置１００に付属するリモートコントロール機器（以下「リモコン」という）、あるいは外部接続機器等からの制御命令信号を受信して端末制御部１０２に転送する。端末制御部１０２は、入力部１０１から転送された制御命令信号に応じた画面構成を画面構成管理部１０３に問い合わせる。画面構成とは、例えば、映像出力装置１００の電源オンの命令に従い、最後に視聴したチャンネルを全画面で表示する構成や、番組表表示命令に従い現在の放送を縮小表示して番組表を全画面で表示する構成等である。画面構成管理部１０３は、ディスプレイに表示する画面の構成を制御命令に応じて管理する。なお、画面構成管理部１０３は、後述する画面構成管理テーブルを記憶する。

また、端末制御部１０２は、入力部１０１に番組表表示命令信号が入力された場合、アプリケーション処理部１０５に番組表表示命令を転送する。アプリケーション処理部１０５は、番組表表示機能の他、多様な機能を実現するためのアプリケーションを実行可能である。また、アプリケーション処理部１０５は、端末制御部１０２から入力された命令に応じて端末制御部１０２に必要な処理（例えば、現在のチャンネルを縮小表示する、など）を返答する。また、アプリケーション処理部１０５は、端末制御部１０２からの命令に応じた設定に必要な画面を生成するために必要な情報を画面生成部１０６に提供する。なお、アプリケーション処理部１０５が実行可能なアプリケーションによって実現される機能は、番組表表示機能の他、例えば、放送受信設定機能や画質調整機能、アラーム設定機能、カレンダ表示機能、ネットワーク接続設定機能等である。

画面生成部１０６は、アプリケーション処理部１０５から提供された情報に基づいて、画面に合成する基本パーツ（文字列、画像、背景色、など）の描画処理を行う。

映像入力部１０４は、映像出力装置１００が入力可能な映像ソースを少なくとも１つを管理し、端末制御部１０２からの指示に応じて得た入力映像を合成部１０７に転送する。本実施形態では、映像入力部１０４は、例えば、第一チューナ１０９ａと、第二チューナ１０９ｂと、外部入力部１０９ｃと、通信部１０９ｄと、デコーダ１１０ａ〜１１０ｄと、加工部１１１ａ〜１１１ｄとを有する。

第一チューナ１０９ａ及び第二チューナ１０９ｂは、放送局３００が送出局４００を介して送出した番組やコマーシャル等のコンテンツをアンテナ２００を介してそれぞれ受信する。また、外部入力部１０９ｃは、記録媒体を有するレコーダあるいは他の映像機器等の映像提供装置Ａ５００から出力されたコンテンツを取得する。さらに、通信部１０９ｄは、ネットワーク６００を介して映像提供装置Ｂ７００から送信されたコンテンツを受信する。デコーダ１１０ａ〜１１０ｄは、それぞれ対応する第一チューナ１０９ａ、第二チューナ１０９ｂ、外部入力部１０９ｃ又は通信部１０９ｄからの信号を復号する。加工部１１１ａ〜１１１ｄは、それぞれ対応するデコーダ１１０ａ〜１１０ｄからの映像データを用いて、端末制御部１０２からの指示に応じて映像の色合いや縮尺率等を変更する加工して合成部１０７に転送する。

合成部１０７は、映像入力部１０４から転送された映像を画面構成管理部１０３の設定に基づいて合成し、当該合成された映像（以下、単に「合成映像」という）を出力部１０８に出力する。具体的には、合成部１０７は、加工部１１１ａ〜１１１ｄが端末制御部１０２から要求された縮尺率に縮小した各入力映像を、アプリケーション処理部１０５から画面構成管理部１０３に指示されたレイアウトに基づいて画面構成で合成する。

出力部１０８は、映像出力装置１００がディスプレイを備える場合はそのディスプレイに合成映像を表示し、映像出力装置１００がディスプレイを備えない場合は外部のディスプレイに合成映像を転送する。

映像出力装置１００が備える領域判定部１１２、補足情報保持部１１３及び補足情報表示判定部１１５については、補足情報の抽出処理及び表示処理の具体例に基づいて詳しく説明する。図７（ａ）〜（ｆ）は、第１の実施形態に係る全画面及び二画面表示のパターンを示す図である。また、図８は、画面構成管理部１０３が保持する画面構成管理テーブルの例を示す図である。

図７（ａ）は、第一チューナ１０９ａが受信する入力映像１が、初期状態としてディスプレイの全画面に表示された状態（ドラマ番組のみ全画面表示状態）を示す。図７（ｂ）は、ユーザがリモコンを用いてチャンネル変更を指示した際、第一チューナ１０９ａのチャンネル変更により受信した入力映像１が、チャンネル変更によりディスプレイの全画面に表示された状態（野球中継のみ全画面表示状態）を示す。

図７（ｃ）は、ユーザがリモコンを用いて二画面表示を指示した際、入力映像１として先に選ばれたチャンネル（ドラマ）と、入力映像２として現在選択しているチャンネル（野球中継）とが、１対３の画面比率で表示された状態を示す（二画面表示状態Ａ）。

図７（ｄ）は、ユーザがリモコンの左右ボタンを操作して左右の画面比率を任意に変更できる場合において、左画面の比率を大きくし、左画面と右画面の画面比率を同一に設定した表示例を示す。当該表示例では、右画面（入力映像２）の野球中継のバッタースコア（画面左上に表示された文字列と記号）を分割画面では、ユーザが判読不可能と判断される。このため、当該表示例では、右画面（入力映像２）のバッタースコアを示す領域の画面が、右画面（入力映像２）の近傍に補足情報として、原寸大で表示されている（二画面表示状態Ｂ）。

図７（ｅ）は、左画面の比率を大きく設定した表示例を示す。当該表示例では、右画面（入力映像２）の野球中継の途中経過情報（画面右下に表示された文字列と記号）を分割画面では、ユーザが判読不可能と判断される。このため、当該表示例では、バッタースコアを示す領域の画面に加え、右画面（入力映像２）の途中経過情報を示す領域の画面も、右画面（入力映像２）の近傍に補足情報として、原寸大で表示されている（二画面表示状態Ｃ）。

図７（ｆ）は、左画面の比率を極大化した表示例を示す。当該表示例では、右画面（入力映像２）の野球中継は、バッターが打った等の概況程度の様子が判断できるレベルにまで極小化されている。しかし、バッタースコア及び途中経過情報を示す各領域の画面は、補足情報として左画面（入力映像１）の一部に重畳して原寸大で表示されている（二画面表示状態Ｄ）。

なお、上記説明では、先に選ばれたチャンネルを入力映像１、現在選ばれているチャンネルを入力映像２とした。しかし、チャンネルに対する入力映像の選択は、現在選ばれているチャンネルを第一チューナ１０９ａが受信する入力映像１とし、ユーザが第二チューナ１０９ｂにおいて最後に選んでいたチャンネルを入力映像２にしても良い。また、ユーザが左右のいずれかを選択して変更しても良い。

また、二画面表示を指示した際の画面比率は、１対３に限らず、任意の比率を設定しても良い。また、上記説明では、リモコンの左右ボタンを操作して左右の画面比率を任意に変更できると説明したが、他のボタンやリモコンに搭載されたタッチセンサーや加速度センサーなど入力の手段は問わない。さらに、図７（ｆ）には、補足情報であるバッタースコア及び途中経過情報を示す各領域の画面が左画面（入力映像１）の一部に重畳した例を示した。しかし、補足情報を示す画面が、左画面に重畳しないように、左画面の拡大化を制御しても良い。また、補足情報を示す画面が左画面に重畳する際には、補足情報を示す画面の透過度を下げても良い。このとき、ユーザは、補足情報を示す画面が重なった部分の入力映像１も確認できる。

図８は、図７（ａ）に示した状態のとき画面構成管理部１０３が保持する画面構成管理テーブルのデータ構成例を示す。図８に示すように、画面構成管理テーブルには、入力映像毎に、入力ソース、出力フラグ、画面の描画領域を示す幅（Ｗ）、高さ（Ｈ）、横軸の描画位置（Ｘ）及び縦軸の描画位置（Ｙ）、映像間の重なりを示す重畳レイヤを示す奥行（Ｚ）、並びに、０〜２５５の範囲で示される画面の透過度（α）及び原寸に対する縮尺率（Ｒ）が設定される。なお、透過度（α）は、０に近いほど透明に近いとする。

図７（ａ）に示した状態は、第一チューナ１０９ａが受信する入力映像１のみが表示された状態である。したがって、このときの画面構成管理テーブルでは、入力映像１の出力フラグのみが「ｔｒｕｅ」であり、他の入力映像の出力フラグは「ｆａｌｓｅ」である。また、入力映像１の描画領域は、幅（Ｗ）が１９２０、高さ（Ｈ）が１０８０、横軸の描画位置（Ｘ）が０、縦軸の描画位置（Ｙ）が０である。さらに、入力映像１と他の映像との重なりを示すパラメータは、奥行（Ｚ）が０、入力映像１の透過度（α）が２５５、縮尺率（Ｒ）が１００％である。このようなパラメータのとき、入力映像１は、ディスプレイに全画面表示される。

図９（ａ）〜図９（ｆ）は、図７（ａ）〜図７（ｆ）の各表示形態に対応した画面構成管理テーブルのデータ構成例を示す。図９（ａ）〜（ｆ）に示すように、画面構成管理テーブルのパラメータは、画面構成が異なると出力フラグ、画面の構成比率及び縮尺の変化がそれぞれ異なる。

次に、図１０〜図１２を参照して、補足情報を示す画面をディスプレイに表示する際の手順について説明する。図１０は、図７（ｅ）に示した二画面表示状態Ｃにおける補足情報画面の表示例を示す図である。また、図１１は、図１０に示した画面要素を説明する図である。

表示画面（１０００／１１００）は、二系統の入力映像から構成されている。左画面（１００１）は、入力映像１を表示する画面１（１１０１）であり、右画面（１００２）は入力映像２を表示する画面２（１１０２）である。また、入力映像２（野球中継）のバッタースコアを示す領域（１００３）は、入力映像２を縮小して画面２（１１０２）に表示したためにユーザが判読不可能と判断され、補足情報対象領域ＳＡ１とする。また、同様に、入力映像２（野球中継）の途中経過情報を示す領域（１００４）は、ユーザが判読不可能と判断され、補足情報対象領域ＳＡ２とする。

また、図１０及び図１１では、補足情報対象領域ＳＡ１を切り出して表示した部分を補足情報画面１（１００５／１１０５）とし、補足情報対象領域ＳＡ２を切り出して表示した部分を補足情報画面２（１００６／１１０６）とする。さらに、補足情報画面であることを示す「強調表現部」（１００７／１１０７）には、補足情報画面２（１００６）の外枠に表示された陰影（ドロップシャドウ）あるいは、補足情報画面２（１００６）の左側に表示された星印などの記号を表示する。なお、図１０及び図１１において、補足情報対象領域ＳＡ１から補足情報画面１と、補足情報対象領域ＳＡ２から補足情報画面２とに点線を表示する。この点線は、ユーザに「どの領域の情報を拡大表示しているか」を示すためのガイドラインとして示されている。なお、ガイドラインとしての点線は、一例を示すもので、どの領域を示しているかが判別できるものであれば、矢印、実線、色または濃淡等であっても良い。

次に、図１０の及び図１１の画面がディスプレイに表示されるに至る映像出力装置１００が行う処理について、「画面分割モード処理」、「補足情報抽出処理」、「文字領域群定義処理」及び「補足情報定義処理」に分けて詳しく説明する。

図１２は、画面分割要求に応じて補足情報画面を表示する際の映像出力装置１００が行う処理を示すフローチャートである。まず、リモコンの「画面分割モードボタン」をユーザが押下した場合、入力部１０１は、リモコンから「画面分割モード要求」の命令信号を受信し、端末制御部１０２を介して画面構成管理部１０３に当該命令を転送する。画面構成管理部１０３は、画面分割モード処理の初期化処理として、画面分割数（Ｎ）を「２」とし、その表示時の画面比率を決定する（例えば、初期値として固定倍率１：３）。さらに、画面構成管理部１０３は、端末制御部１０２を介して映像入力部１０４に対して、第一チューナ１０９ａ及び第二チューナ１０９ｂには入力映像１及び入力映像２を出力するよう指示する。また、画面構成管理部１０３は、端末制御部１０２を介して加工部１１１ａ及び加工部１１１ｂに、固定倍率（１：３）となるよう各入力映像を縮小するよう指示する（ステップＳ１０１）。

なお、上記説明では、画面分割の画面比率の初期値を固定倍率（１：３）としたが、固定倍率（１：１）としても、ユーザが好みの倍率を予め任意で指定しても良い。さらに、上記説明では画面分割数（Ｎ）を「２」としたが、画面分割数は２以上としても良く、その画面比率も自由に設定され得る。

ステップＳ１０１の処理中にユーザが表示を待たずして「画面分割モードボタン」を再度押した場合、画面構成管理部１０３は、画面分割モード処理を終了する（ステップＳ１０２のＹ）。一方、画面分割モードが継続であれば、画面構成管理部１０３は処理を続行する（ステップＳ１０２のＮ）。

次に、「補足情報抽出処理」に至るまでの流れを説明する。ステップＳ１０１では、画面分割数（Ｎ）を「２」としたため、補足情報抽出処理をＮ＝２で示される入力映像２から開始するものとする。まず、映像入力部１０１の第二チューナ１０９ｂがアンテナ２００を介して受信した信号は、デコーダ１１０ｂでデコードされる。その後、デコーダ１１０ｂは、デコードによって得られた入力映像を領域判定部１１２に転送する。領域判定部１１２は、デコーダ１１０ｂから転送された入力映像に対して補足情報抽出処理を実行する（ステップＳ１０３）。この処理の詳細については後述する。

領域判定部１１２は、補足情報抽出処理の結果、補足情報とすべき文字領域が存在し、補足情報が抽出された場合、抽出した補足情報を補足情報保持部１１３に蓄積する。そして、補足情報表示判定部１１５は、入力映像中に補足情報があり（ステップＳ１０４のＹ）、かつ、所定の判定条件を満たす場合（ステップＳ１０５のＹ）、補足情報を入力映像の上（最上位レイヤ）の指定位置に重畳表示するよう画面構成管理部１０３に指示する（ステップＳ１０６）。当該指示によって、図１０に示した補足情報画面１（１００５）及び補足情報画面２（１００６）がディスプレイに表示される。なお、ステップＳ１０５で用いられる判定条件は、「補足情報の出現頻度が予め決められた出現頻度閾値（例えば、５０％）以上」、かつ「抽出された補足情報の文字サイズ×現在の入力映像の縮尺率が予め決められた文字サイズ閾値（例えば、１２ポイント）以下」等である。

次に、補足情報保持部１１３に蓄積される補足情報の履歴に基づいて、前回保持していた補足情報と今回抽出した補足情報の内容に変化が生じた場合、補足情報表示判定部１１５は、変更フラグを「ｔｒｕｅ」のステータスに変更する。そして、補足情報表示判定部１１５は、この変更フラグが「ｔｒｕｅ」の場合（ステップＳ１０７のＹ）、表示した補足情報に対して強調表現を追加的に表示する（ステップＳ１０８）。即ち、補足情報表示判定部１１５による強調表現は、図１０に示した補足情報画面２（１００６）の外枠の陰影や星印などの記号（１００７）が表示される。一方、変更フラグが「ｆａｌｓｅ」の場合、補足情報表示判定部１１５は、強調表現を表示せずに次の処理に進む（ステップＳ１０７のＮ）。

さらに、補足情報表示判定部１１５は、ユーザが変更可能な設定として「ガイドライン表示モード」を管理する。補足情報表示判定部１１５は、ガイドライン表示モードに設定されていれば（ステップＳ１０９のＹ）、入力映像の補足情報対象領域と補足情報画面を点線で結ぶガイドラインを表示する（ステップＳ１１０）。一方、ガイドライン表示モードに設定されていない場合、補足情報表示判定部１１５は、ガイドラインを表示せずに次の処理に進む（ステップＳ１０９のＮ）。

以上、本実施形態は、入力映像２に対し、補足情報１及び補足情報２の抽出、補足情報画面２に付随する強調表現、及びガイドライン表示の構成要素の判定処理まで説明した。説明を簡単にするため、補足情報１と補足情報２の表示判定処理を同時に説明したが、図１２に示すフローチャートのステップＳ１１１及びＳ１１２に示すように、補足情報１及び補足情報２に対する表示判定処理は逐次的に行われる。さらに、表示判定処理は、ステップＳ１１３及びＳ１１４に示すように、入力映像２の表示判定処理の次に入力映像１の表示判定処理を行う。なお、当該表示判定処理の順番は、実装に依存するためここでは問わない。例えば、ステップＳ１１４において、入力映像１に対する表示判定処理が未実行の場合は（ステップＳ１１４のＮ）、入力映像１に対するステップＳ１０３の処理に戻る。図１０に示した入力映像１には、補足情報として適当な文字領域が存在しないため、ステップＳ１０３の処理を行っても補足情報が抽出されないので、ステップＳ１０４では補足情報がないと判定される（ステップＳ１０４のＮ）。そして、入力映像１及び入力映像２に対する表示判定処理が終了した場合は（ステップＳ１１４のＹ）、予め決められた待機時間（Ｔｗ秒）の間、図１０に示した補足情報画面を含む画面１０００がディスプレイに表示される（ステップＳ１１５）。

なお、ステップＳ１１５の待機処理が終了した後、画面分割モードが継続の場合（ステップＳ１０２のＮ）、映像出力装置１００は、補足情報の更新を行うためにステップＳ１０３〜Ｓ１１５の処理を繰り返す。一方、画面分割モードが終了の場合（ステップＳ１０２のＹ）、画面構成管理部１０３は、いずれかの入力映像（例えば、入力映像１）を全画面表示する。このため、画面構成管理部１０３は、端末制御部１０２を介して映像入力部１０４の加工部１１１ａに縮尺率の変更を指示し、かつ、合成部１０７に画面構成の変更を指示する。その結果、ディスプレイには、図７（ａ）に示す画面が表示される（ステップＳ１１６）。

次に、図１２のステップＳ１０３に示した領域判定部１１２の「補足情報抽出処理」について、図１３〜図１５及び図１８を参照して詳しく説明する。図１３は、補足情報抽出処理を示すフローチャートである。図１４は、入力映像２中の文字領域及びオブジェクト領域を示す図である。図１５は、補足情報保持部１１３が保持する文字領域テーブルを示す図である。図１６は、補足情報保持部１１３が保持するオブジェクト領域テーブルを示す図である。図１８は、入力映像２中の文字領域及びオブジェクト領域の重畳状態を示す図である。

図１２のステップＳ１０３に示した補足情報抽出処理の前処理については、図１３のフローチャートを参照して説明する。領域判定部１１２は、映像入力部１０４の第二チューナ１０９ｂが受信した信号をデコーダ１１０ｂがデコードし、得られた入力映像２中の文字領域の有無を検出する（ステップＳ２０１）。なお、領域判定部１１２による文字領域の検出には、輝度の差分を利用して文字部分を抽出する方法など、広く知られている既存技術が用いられる。

領域判定部１１２は、文字領域を検出した場合（ステップＳ２０２のＹ）、「文字領域あり」と判定し、その状態を内部に保持する（ステップＳ２０３）。一方、文字領域を検出しなかった場合（ステップＳ２０２のＮ）、領域判定部１１２は「文字領域なし」と判定し、処理を終了する（ステップＳ２０４）。

ステップＳ２０２のＹの続きとして、領域判定部１１２は、入力映像に対する文字領域テーブルが存在するかを補足情報保持部１１３に問い合わせる（ステップＳ２０５）。補足情報保持部１１３からの応答が「文字領域テーブルは存在しない」の場合（ステップＳ２０５のＮ）、領域判定部１１２は、補足情報保持部１１３に文字領域テーブルの新規作成を要求する（ステップＳ２０６）。一方、補足情報保持部１１３からの応答が「文字領域テーブルが存在する」の場合（ステップＳ２０５のＹ）、領域判定部１１２は、抽出した文字列と前回の文字列と比較し、補足情報保持部１１３の文字領域テーブルを更新する（ステップＳ２０７）。

図１４に示す入力映像２の場合、領域判定部１１２は、以下の部分を文字領域として判定し抽出する。抽出された文字領域は、例えば、画面（１４００）の左上に示される「Ｓ２（１４０１）」「Ｂ３（１４０２）」及び「Ｏ２（１４０３）」、画面（１４００）の右下に示される「９ｔｈ（１４０４）」及び「２−３（１４０５）」、並びに、画面（１４００）の右上に示される「１４２Ｋｍ／ｈ」の部分である。そして、図１５に示すように、領域判定部１１２は、文字領域に関する情報を補足情報保持部１１３の文字領域テーブルに記憶する(ステップＳ２０８)。文字領域テーブルには、各文字領域内の抽出文字列、文字サイズ（ポイント）、幅（Ｗ）、高さ（Ｈ）、画面における位置を示す横軸（Ｘ）及び縦軸（Ｙ）といった情報が記録される。

さらに、領域判定部１１２は、図１４の画面（１４００）及び図１８の画面（１８００）に表示された記号やマークといった文字ではない物体（オブジェクト）を、オブジェクト領域して検出する。例えば、検出されるオブジェクト領域は、画面（１４００／１８００）の左上の野球のダイヤモンドを示す記号（１４０７／１８０７）、画面（１４００／１８００）の右下の野球のチームを示すロゴ（１４０８／１８０８及び１４０９／１８０９）、画面（１４００／１８００）の左下のマウンドに立つピッチャー（１４１０／１８１０）、及び、画面（１４００／１８００）の右上の審判及びバッター（１４１１／１８１１及び１４１２／１８１２）などである。

領域判定部１１２は、オブジェクト領域を検出した場合（ステップＳ２０９のＹ）、入力映像に対するオブジェクト領域テーブルが存在するかを補足情報保持部１１３に問い合わせる（ステップＳ２０９）。補足情報保持部１１３からの応答が「オブジェクト領域テーブルは存在しない」の場合（ステップＳ２０９のＮ）、領域判定部１１２は、補足情報保持部１１３にオブジェクト領域テーブルの新規作成を要求する（ステップＳ２１０）。一方、補足情報保持部１１３からの応答が「オブジェクト領域テーブルは存在する」の場合（ステップＳ２０９のＹ）、領域判定部１１２は、抽出したオブジェクトを前回のオブジェクトと比較し、補足情報保持部１１３のオブジェクト領域テーブルを更新する（ステップＳ２１１）。

そして、領域判定部１１２は、例えば、図１６に示すようなオブジェクト領域テーブルを、補足情報保持部１１３に記録する（ステップＳ２１２）。オブジェクト領域テーブルは、オブジェクトＩＤ、各オブジェクト領域の幅（Ｗ）、高さ（Ｈ）、画面における位置を示す横軸（Ｘ）及び縦軸（Ｙ）といった情報が記録される。

図１３のステップＳ２１３に示した「文字領域群定義処理」、及びステップＳ２１４に示した「補足情報定義処理（ステップＳ２１４）」の詳細な説明については、図１７〜図２１を参照して後述する。図１７は、図１３のフローチャート中のステップＳ２１３に示した文字領域群定義処理を示すフローチャートである。図１８は、図１４に示した画面の文字領域及びオブジェクト領域を、補足情報保持部１１３が保持する文字領域テーブル、及びオブジェクト領域テーブルで管理されるＩＤ（Ｔ．＊及びＯｊ．＊）で対応付けた図である。図１９は、補足情報保持部１１３が保持する文字領域群テーブルを示す図である。図２０は、重畳状態検出パターンを示す図である。図２１は、内部処理に用いるマージン幅の例を示す図である。

なお、「文字領域群」とは、抽出された複数の文字領域のうち、重なりがあるものをひとつの情報単位として扱うためのグループを意味している。第１の実施形態では、「Ｔ．１／Ｔ．２／Ｔ．３」及び「Ｔ．４／Ｔ．５」が互いに重なりがあるものと判定され、「Ｔ．６」は他の文字領域との重なりがないものと判定される。このように、３つの文字領域群が定義されることを、以下に説明する。

まず、領域判定部１１２は、入力映像に対する文字領域群テーブルが存在するかを補足情報保持部１１３に問い合わせる。補足情報保持部１１３からの応答が「文字領域群テーブルは存在しない」の場合（ステップＳ３０１のＮ）、領域判定部１１２は、補足情報保持部１１３に文字領域群テーブルの新規作成を要求する（ステップＳ３０２）。一方、補足情報保持部１１３からの応答が「文字領域群テーブルが存在する」の場合（ステップＳ３０１のＹ）、領域判定部１１２は、補足情報保持部１１３が保持する文字領域群テーブル（図１９）を参照する。

領域判定部１１２は、補足情報保持部１１３が保持する図１５に示す文字領域テーブルを参照し、重畳状態を検出するために、全ての文字領域（Ｔ．＊）に重畳検出用マージンを加える（ステップＳ３０３）。本実施形態では、例えば、図２１に示すような入力映像の縮尺率に応じて変化するマージン幅（ピクセル単位）が予め設定されている。例えば、入力映像の縮尺率が２５％のときのマージン幅を１０ピクセルとすると、下記の計算式より重畳検出用のマージンが算出される。

幅（Ｗ）＝幅（Ｗ）＋左マージン（１０）＋右マージン（１０）
高さ（Ｈ）＝高さ（Ｈ）＋上マージン（１０）＋下マージン（１０）
横軸（Ｘ）＝横軸（Ｘ）−左マージン（１０）
縦軸（Ｙ）＝縦軸（Ｙ）−上マージン（１０）

図２０は、領域ｎと領域ｎ＋１の重畳状態を検出する際のパターンを示す図である。ここで、領域ｎには、“ａ”〜“ｄ”の四辺が存在しており、その四辺全てに対し調査対象となる領域ｎ＋１との重畳状態を確認する必要がある。ただし、以下の説明では、説明を簡単にするため、図１４に示す入力画像２から抽出された「Ｓ２（１４０１）」及び「Ｂ３（１４０２）」、即ち、図１８の画面（１８００）に示す「Ｔ．１（１８０１）」及び「Ｔ．２（１８０２）」のうち、“Ｔ．１（１８０１）の下辺とＴ．２（１８０２）の上辺との重なり”に絞って説明する。なお、図２０におけるＴ．１（領域ｎ）の頂点Ｔ．１ｃ及び頂点Ｔ．１ｄが、Ｔ．２（領域ｎ＋１）の頂点Ｔ．２ａ及び頂点Ｔ．２ｂと重なる部分についてのみ説明し、その他の重なり部分については説明を省略する。また、二次元平面において分散するオブジェクトの重なりを検出するアルゴリズムは、第１の実施形態に示す限りではなく、他の方法を用いても良い。

領域判定部１１２は、現在の調査対象であるＴ．１の下辺とＴ．２の上辺のそれぞれにマージンを加えた後の文字領域に対して、下記の計算式を用いて重畳を検出する。

Ｔ．ｎ（Ｘｃ）＝Ｔ．ｎ（Ｘ）＋Ｔ．ｎ（Ｗ）
Ｔ．ｎ（Ｘｄ）＝Ｔ．ｎ（Ｘ）
ΔＴ．ｎ（Ｙ）＝｛Ｔ．ｎ（Ｙ）＋Ｔ．ｎ（Ｈ）｝−Ｔ．ｍ（Ｙ）

上式では、ｍ＝ｎ＋１とし、Ｔ．ｎがＴ．１を、Ｔ．ｍがＴ．２を示すものとする。また、「Ｘｃ」は、Ｔ．１の頂点ｃにおける横軸（Ｘ）、「Ｘｄ」はＴ．１の頂点ｄにおける横軸（Ｘ）、「Ｔ．ｍ（Ｙ）」はＴ．２の頂点ａ（又はｂ）における縦軸（Ｙ）の数値を代入するものとする（ステップＳ３０４）。

次に、領域判定部１１２は、Ｔ．１の下辺とＴ．２の上辺の重なりを判定するため、下記の判定式を用いる。
｛Ｔ．ｍ（Ｘ）≦Ｔ．ｎ（Ｘｃ）≦Ｔ．ｍ（Ｘ）＋Ｔ．ｍ（Ｗ）、またはＴ．ｍ（Ｘ）≦Ｔ．ｎ（Ｘｄ）≦Ｔ．ｍ（Ｘ）＋Ｔ．ｍ（Ｗ）｝
かつ
０≦ΔＴ．ｎ（Ｙ）≦マージン幅閾値（１０）

上式は、「Ｔ．１の頂点ｃが、Ｔ．２の頂点ａと頂点ｂの間にある」及び「Ｔ．１の頂点ｄが、Ｔ．２の頂点ａと頂点ｂの間にある」のいずれか、かつ「ΔＴ．ｎ（Ｙ）で示されるＴ．１の下辺とＴ．２の上辺の位置の差分が０以上又は予め決められたマージン幅の閾値以下である」ということを意味する。領域判定部１１２は、上式を満たす場合、Ｔ．１の下辺とＴ．２の上辺が重畳状態にあると判定する（ステップＳ３０５）。

調査対象の文字が重畳状態にあると判定された場合（ステップＳ３０５のＹ）、領域判定部１１２は、補足情報保持部１１３の文字領域群テーブルを参照する。領域判定部１１２は、「前回重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が存在する」又は「最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が存在する」と判定した場合（ステップＳ３０６のＹ）、既存の文字領域群を参照し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ及びＴ．ｍ）を記録する（ステップＳ３０７）。また、ステップＳ３０６で「どちらの重畳ＩＤにも文字領域ＩＤ（Ｔ．ｎ）が存在しない」と判定した場合（ステップＳ３０６のＮ）、領域判定部１１２は、新規に文字領域群を定義し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ及びＴ．ｍ）を記録する（ステップＳ３０８）。

また、領域判定部１１２は、ステップＳ３０５で上記判定式を満たさないと判定した場合（ステップＳ３０５のＮ）、Ｔ．１の下辺とＴ．２の上辺が重畳状態にないと判定し、補足情報保持部１１３が保持する文字領域群テーブルを参照する。領域判定部１１２は、「前回重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が記録されている」と判定した場合（ステップＳ３０９のＹ）、既存の文字領域群を参照し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）のみを記録する（ステップＳ３１０）。一方、ステップＳ３０９で「前回重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）が記録されていない」と判定された場合（ステップＳ３０９のＮ）、領域判定部１１２は、新規に文字領域群を定義し、最新重畳ＩＤに文字領域ＩＤ（Ｔ．ｎ）のみを記録する（ステップＳ３１１）。

このように、領域判定部１１２は、調査対象の文字領域（Ｔ．ｎ）に対し、重畳状態の計算対象である文字領域（Ｔ．ｍ）を（ｍ＝ｍ＋１）等の計算式により変化させる（ステップＳ３１２）。また、計算対象が残っている場合には、ステップＳ３０４の処理に戻る（ステップＳ３１３のＮ）。そして、全ての計算対象（Ｔ．ｍ）に対し重畳状態が確認された後（ステップＳ３１３のＹ）、領域判定部１１２は、次の調査対象の文字領域（Ｔ．ｎ＋１）に対し重畳状態を確認する（ステップＳ３１４及びＳ３１５のＮ）。最後に、領域判定部１１２は、入力映像に対し全ての文字領域の重畳状態が確認する（ステップＳ３１５のＹ）。その後、領域判定部１１２は、補足情報保持部１１３が保持する文字領域群テーブルの各文字領域群（Ｔｘ．＊）が参照する最新重畳ＩＤ（Ｔ．＊）のうち、最も小さい文字サイズ（ｐｔ：ポイント単位）を算出し記録する（ステップＳ３１６）。さらに、領域判定部１１２は、各文字領域群（Ｔｘ．＊）が参照する最新重畳ＩＤ（Ｔ．＊）において、各文字領域を包含する矩形を計算し、文字領域群テーブルに記録する（ステップＳ３１７）。このようにして、図１９に示すような文字領域群テーブルが完成する。

次に、図１３のステップＳ２１４に示した「補足情報定義処理」について、図２２〜図２４を参照して詳しく説明する。図２２は、図１３のフローチャート中のステップＳ２１４に示した補足情報定義処理を示すフローチャートである。図２３は、入力映像２における文字領域群領域及び補足情報領域の定義を示す。また、図２３は、図１４及び図１８に示した画面の文字領域群、オブジェクト領域、及び補足情報を、補足情報保持部１１３が保持する文字領域群テーブル及びオブジェクト領域テーブルで管理されるＩＤ（Ｔｘ．＊、Ｏｊ．＊、ＳＡ−＊）で対応付けた図である。図２４は、補足情報保持部１１３が保持する補足情報テーブルを示す図である。

図１３のステップＳ２１４に示した補足情報定義処理について説明する。なお、「補足情報」とは、抽出された文字領域群をベースとした情報の単位であり、そのうちオブジェクト領域と重なりがあるものは、ひとつの情報単位としてまとめて扱うことができるものとする。図２３に示した例では、画面（２３００）の「Ｔｘ．１（２３０１）」は、「Ｏｊ．１（２３０４）」との重なりがある補足情報１（ＳＡ−１：２３１０）、「Ｔｘ．２（２３０２）」は「Ｏｊ．５（２３０８）」及び「Ｏｊ．６（２３０９）」と重なりがある補足情報２（ＳＡ−２：２３１１）と判定される。また、「Ｔｘ．３（２３０３）」は、他のオブジェクト領域との重なりがない補足情報３（ＳＡ−３：２３１２）と判定される。このように、３つの補足情報が定義されることを、以下に説明する。

まず、領域判定部１１２は、入力映像に対する補足情報テーブルが存在するかを補足情報保持部１１３に問い合わせる。補足情報保持部１１３からの応答が「補足情報テーブルは存在しない」の場合（ステップＳ４０１のＮ）、領域判定部１１２は、補足情報保持部１１３に補足情報テーブルの新規作成を要求する（ステップＳ４０２）。一方、補足情報保持部１１３からの応答が「文字領域群テーブルが存在する」の場合（ステップＳ４０１のＹ）、領域判定部１１２は、補足情報保持部１１３が保持する補足情報テーブル（図２４）を参照する。

領域判定部１１２は、補足情報保持部１１３が保持する文字領域群テーブル及びオブジェクト領域テーブルを参照し、重畳状態を検出するために全てのオブジェクト領域群（Ｏｊ．＊）に重畳検出用のマージンを加える（ステップＳ４０３）。重畳検出用マージンには、例えば、図２１に示すような入力映像の縮尺率に応じて変化するマージン幅（ピクセル単位）が予め設定されている。例えば、入力映像の縮尺率が２５％のときのマージン幅を１０ピクセルとすると、下記の計算式より重畳検出用のマージンが算出される。

幅（Ｗ）＝幅（Ｗ）＋左マージン（１０）＋右マージン（１０）
高さ（Ｈ）＝高さ（Ｈ）＋上マージン（１０）＋下マージン（１０）
横軸（Ｘ）＝横軸（Ｘ）−左マージン（１０）
縦軸（Ｙ）＝縦軸（Ｙ）−上マージン（１０）

以下の説明では、上述した文字領域群の抽出処理と同様、説明を簡単にするため、図２３に示す「Ｔｘ．１（２３０１）」と「Ｏｊ．１（２３０４）」のうち、“Ｔｘ．１の右辺とＯｊ．１の左辺との重なり”に絞って説明する。即ち、図２０における、Ｔｘ．１（領域ｎ）の右辺Ｔｘ．１ｂ及びＴｘ．１ｃが、Ｏｊ．１（領域ｎ＋１）の左辺Ｏｊ．１ａ及びＯｊ．１ｄと重なる部分についてのみ説明し、その他の重なり部分については説明を省略する。

領域判定部１１２は、現在の調査対象であるＴｘ．１の右辺とＯｊ．１の左辺のそれぞれにマージンを加えた後のオブジェクト領域に対して、下記の計算式を用いて重畳を検出する。

Ｔｘ．ｎ（Ｙｂ）＝Ｔｘ．ｎ（Ｙ）
Ｔｘ．ｎ（Ｙｃ）＝Ｔｘ．ｎ（Ｙ）＋Ｔｘ．ｎ（Ｈ）
ΔＴｘ．ｎ（Ｘ）＝｛Ｔｘ．ｎ（Ｘ）＋Ｔｘ．ｎ（Ｗ）｝−Ｏｊ．ｍ（Ｘ）

上式では、ｍ＝１とし、Ｔｘ．ｎがＴｘ．１を、Ｏｊ．ｍがＯｊ．１を示すものとする。また、「Ｙｂ」は、Ｔｘ．１の頂点ｂにおける縦軸（Ｙ）、「Ｙｃ」はＴｘ．１の頂点ｃにおける縦軸（Ｙ）、「Ｏｊ．ｍ（Ｘ）」はＯｊ．１の頂点ａ（又はｄ）における横軸（Ｘ）の数値を代入するものとする（ステップＳ４０４）。

次に、領域判定部１１２は、Ｔｘ．１の右辺とＯｊ．１の左辺の重なりを判定するため、下記の判定式を用いる。
｛Ｏｊ．ｍ（Ｙ）≦ Ｔｘ．ｎ（Ｙｂ）≦ Ｏｊ．ｍ（Ｙ）＋Ｏｊ．ｍ（Ｈ）、またはＯｊ．ｍ（Ｙ）≦Ｔｘ．ｎ（Ｙｃ）≦Ｏｊ．ｍ（Ｙ）＋Ｏｊ．ｍ（Ｈ）｝
かつ
０≦ΔＴｘ．ｎ（Ｘ）≦ マージン幅閾値（１０）

上式は、「Ｔｘ．１の頂点ｂが、Ｏｊ．１の頂点ａと頂点ｄの間にある」及び「Ｔｘ．１の頂点ｃが、Ｏｊ．１の頂点ａと頂点ｄの間にある」のいずれか、かつ「ΔＴｘ．ｎ（X）で示されるＴｘ．１の右辺とＯｊ．１の左辺の位置の差分が０以上又は予め決められたマージン幅の閾値以下である」ということを意味する。領域判定部１１２は、上式を満たす場合、Ｔｘ．１の右辺とＯｊ．１の左辺が重畳状態にあると判定する（ステップＳ４０５）。

調査対象の文字領域群とオブジェクト領域が重畳状態にあると判定された場合（ステップＳ４０５のＹ）、領域判定部１１２は、補足情報保持部１１３が保持する補足情報テーブルを参照する。領域判定部１１２は、「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されている」と判定した場合（ステップＳ４０６のＹ）、既存の補足情報を参照し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｔｒｕｅ」に設定する（ステップＳ４０７）。また、ステップＳ４０６で「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されていない」と判定された場合（ステップＳ４０６のＮ）、領域判定部１１２は、新規に補足情報を定義し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｔｒｕｅ」に設定する（ステップＳ４０８）。

また、領域判定部１１２は、ステップＳ４０５で上記判定式を満たさないと判定した場合（ステップＳ４０５のＮ）、Ｔｘ．１の右辺とＯｊ．１の左辺が重畳状態にないと判定し、補足情報保持部１１３が保持する補足情報テーブルを参照する。領域判定部１１２は、「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されている」と判定した場合（ステップＳ４０９のＹ）、既存の補足情報を参照し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｆａｌｓｅ」に設定する（ステップＳ４１０）。一方、ステップＳ４０９で「親ＩＤに当該文字領域群（Ｔｘ．ｎ）が記録されていない」と判定された場合（ステップＳ４０９のＮ）、領域判定部１１２は、新規に補足情報を定義し、オブジェクト領域ＩＤ（Ｏｊ．ｍ）を記録し、重畳フラグを「ｆａｌｓｅ」に設定する（ステップＳ４１１）。

このように、領域判定部１１２は、調査対象の文字領域群（Ｔｘ．ｎ）に対し、重畳状態の計算対象であるオブジェクト領域（Ｏｊ．ｍ）を（ｍ＝ｍ＋１）等の計算式により変化させる（ステップＳ４１２）。また、計算対象が残っている場合には、ステップＳ４０４の処理に戻る（ステップＳ４１３のＮ）。そして、全ての計算対象（Ｏｊ．ｍ）に対し重畳状態が確認された後（ステップＳ４１３のＹ）、領域判定部１１２は、補足情報テーブル初回作成時からの出現累計を基に、補足情報（ＳＡ−ｎ）に対する出現頻度（％）を算出し、補足情報テーブルに記録する（ステップＳ４１４）。その後、領域判定部１１２は、次の調査対象の文字領域群（Ｔｘ．ｎ＋１）に対し、逐次的に重畳状態を確認する（ステップＳ４１５及びＳ４１６のＮ）。最後に、領域判定部１１２は、入力映像に対し全ての文字領域群の重畳状態が確認する（ステップＳ４１６のＹ）。その後、領域判定部１１２は、補足情報保持部１１３が保持する各文字領域群（Ｔｘ．＊）、と重畳するオブジェクト領域（Ｏｊ．＊）との重なりを包含する矩形を計算し、補足情報テーブルに記録する（ステップＳ４１７）。このようにして、図２４に示すような文字領域群テーブルが完成する。

以上説明したように、領域判定部１１２は、図１２、図１３、図１７及び図２２に示した各フローチャートによる処理を行うことによって、図２４に示す補足情報テーブルが作成又は更新され、補足情報保持部１１３に保持される。領域判定部１１２が当該処理を待機時間（Ｔｗ秒）毎に繰り返すことで、入力映像の変化に追従して補足情報の内容が更新されるため、ディスプレイには図１０に示すような画面が継続的に表示される。

以下、補足情報の描画タイミングについて、図２５を参照して詳細に説明する。図２５は、入力映像の縮尺率及び画面分割モードの状態に応じた補足情報表示判定基準を示す図である。当該補足情報表示判定基準では、図１２のフローチャートに示したステップＳ１０５において、所定の判定条件を満たす場合のみ補足情報を表示するものとする。所定の判定条件とは、上述したように、補足情報保持部１１３が保持する補足情報テーブルに記録される「出現頻度（％）」が「出現頻度の閾値（例えば、５０％）」以上、かつ、文字領域群テーブルに記録される「文字サイズ」×「現在の入力映像の縮尺率」が「文字閾値（例えば、１２ポイント）」以下等である。

上記補足情報表示判定基準における前者の条件は、入力映像に対し、ある一定期間表示される文字列が、放送局などの番組提供会社が意図する補足情報であると判断するためのものである。当該条件を設けることによって、例えば、テレビコマーシャルなど、突発的かつ単発的に表示される文字列あるいは、野球中継の中で紹介される告知情報など、画面分割をした際に必ずしも必要としない情報を補足情報として表示することを防ぐことができる。第１の実施形態においては、補足情報３（ＳＡ−３：野球中継のピッチャーの球速）が出現頻度「１２％」でああるため、補足情報表示判定部１１５は、補足情報３は補足情報としての条件を満たさないと判定する。

また、上記補足情報表示判定基準における後者の条件は、入力映像が縮小して表示される際、表示された文字列がユーザに不可読と判断された場合にのみ、補足情報として表示すると判断するためのものである。例えば、補足情報の表示は、図７（ｃ）〜図７（ｆ）に示す“二画面表示状態Ａ〜Ｄ”に対し、図２５に示すように、初期状態として入力映像が１００％で表示される場の文字サイズは以下の通りである。文字領域群１（Ｔｘ．１）の文字サイズは「１８ポイント」、文字領域群２（Ｔｘ．２）の文字サイズは「２６ポイント」である。なお、“二画面表示状態Ａ”においては、入力映像２の縮尺率は「７５％」、文字領域群１（Ｔｘ．１）の文字サイズは「１４ポイント前後」、文字領域群２（Ｔｘ．２）の文字サイズは「１９ポイント前後」であり、閾値（１２ポイント）を上回っているため、ユーザが可読であると判断し、補足情報を表示しない（図７（ｃ）。

次に、“二画面表示状態Ｂ”に至る前に、文字領域群１（Ｔｘ．１）の文字サイズが閾値（１２ポイント）下回ったため、補足情報表示判定部１１５は、補足情報の表示を開始する。また、“二画面表示状態Ｂ”では、わずかながら文字領域群２（Ｔｘ．２）の文字サイズが閾値（１２ポイント）を上回っているため、補足情報１のみが表示されることとなる（図７（ｄ）。さらに、“二画面表示状態Ｂ”を通過した直後、“二画面表示状態Ｃ”に至る前に、文字領域群２（Ｔｘ．２）の文字サイズが閾値（１２ポイント）を下回ったため、“二画面表示状態Ｃ”においては、補足情報２も表示されることとなる（図７（ｅ）。以降、“二画面表示状態Ｄ”のその先に至っては、文字領域群１及び２の文字サイズが共に閾値（１２ポイント）を下回るため、補足情報１及び２が表示され続けることになる（図７（ｆ）。

なお、上記説明では、“出現頻度が「５０％」以上の補足情報を表示する”としたが、この判定基準をユーザが自由に変更できるようにしても良い。また、上記説明では、表示の判定を行う文字サイズの閾値として「１２ポイント」を例に挙げたが、ユーザが不可読となる文字サイズには個人差があるため、ユーザが自由に変更できるようにしても良い。また、端末システムが管理するメニュー画面等のフォントサイズ設定、端末に搭載されたブラウザのフォントサイズ設定、端末に搭載されたＥＰＧのフォントサイズ設定（最後に設定したサイズ）など、文字列を表示するアプリケーションで設定したサイズと連動して、表示の判定を行う文字サイズの閾値を決定しても良い。

以下、補足情報の描画位置について、図２６及び図２７を参照して詳細に説明する。図２６は、補足情報の表示場所を決定する要因の一例を示す図である。図２７は、表示画面のレイアウト構成の一例を示す図である。

図２６に示すように、入力映像の画面（２６００）に対し、補足情報１（ＳＡ−１：２６０１）、補足情報２（ＳＡ−２：２６０２）、及び補足情報３（ＳＡ−３：２６０３）が定義される。第１の実施形態においては、画面を四分割した第一象限〜第四象限までの領域が定義され、補足情報表示判定部１１５は、各補足情報がどの象限に属するかを判定することにより、おおよその補足情報の表示位置を決定する。例えば、補足情報１（ＳＡ−１）は、第二象限に属しており、補足情報２（ＳＡ−２）は第四象限に属しており、補足情報３（ＳＡ−３）は第一象限に属していることになる。

図２７は、図７（ｅ）に示した“二画面表示状態Ｃ”の画面レイアウト構成を示す。補足情報表示判定部１１５は、図１２のフローチャートに示したステップＳ１０６にて、補足情報の表示位置を決定し、画面構成管理部１０３に画面レイアウト構成として転送する。ここで、例えば、画面２に表示される入力映像２に含まれる補足情報１（ＳＡ−１）は、図２６に示す通り、第二象限に位置している。このため、図２７においては、画面１と画面２の境界線に対して予め決められた表示マージンを減算し、画面２の上方に左寄せで原寸表示している。さらに、画面２に表示される入力映像２に含まれる補足情報２（ＳＡ−２）は、図２６に示す通り、第四象限に位置している。このため、図２７においては、画面１と画面２の境界線ではなく表示枠の右端に対して表示マージンを減算し、画面２の下方に右寄せで原寸表示している。

なお、上記の例では、画面分割の構成比率を３：１とし、画面１と画面２の境界線を境目にセンタリングする方式としたが、表示方法はこれに限らない。例えば、表示方法は、画面間に表示マージンを用意しても良いし、各画面にフレーム枠を付与しても良い。また、本実施形態では、補足情報を原寸表示（即ち、入力映像の１００％表示から一部を切り出した形式）するとしたが、拡大や縮小はユーザが自由に選択しても良い。また、補足情報は、画面のレイアウト構成に連動して自動で縮尺が変更される構成としても良い。また、画面構成管理部１０３は、入力映像に対応付けられて保持される補足情報の領域を相互に参照し、入力映像２における補足情報を表示する際、入力映像１における文字領域群の位置に配慮した処理を行っても良い。配慮した処理とは、具体的には、入力映像２の補足情報が入力映像１の文字領域群に重畳しないように位置、あるいは補足情報の表示サイズを変更する、又は補足情報を表示しないといった処理である。

なお、本実施形態では、入力映像に放送局から放送される番組（例えば、ドラマや野球中継）を例に挙げた。しかし、放送番組に限らず、他の機器が録画等により蓄積する蓄積番組や個人が撮影した映像、第三者が作成したビデオクリップやネットワークを介して配信される動画など、入力チャネル及びフォーマットを問わない。

なお、本実施形態の補足情報保持部１１３が保持する補足情報は、補足情報表示判定部１１５が図１２に示す条件判定（ステップＳ１０５）で表示の有無を判定する例を示した。しかし、補足情報表示判定部１１５は、放送に付随する番組概要等のテキストデータとの比較を行い、内容に合致する場合のみ補足情報を表示する等の条件判定を付加しても良い。

以上説明したように、本実施形態の映像出力装置１００は、少なくとも１つの入力映像の描画位置及び描画サイズを動的に管理し、縮小された入力映像において文字列の潰れが発生したと判定された領域を補足情報として自動的に拡大表示するよう処理する。これにより、本実施形態では、拡大表示に必要なユーザによる操作回数が軽減し、可読な文字サイズによる判りやすい情報提示により、ユーザによる情報認識の機会損失を未然に防止できる。

また、縮小された入力映像においては、文字列の潰れが発生したと判定された領域に加え、文字列ではない近傍のロゴマーク等の記号も補足情報として自動的に拡大表示される。これにより、本実施形態では、単純なテキスト拡大によるロゴマーク等の記号の情報欠如を防止し、正確な補足情報をユーザに提供できる。

また、少なくとも１つの入力映像が縮小表示された際は、縮小表示された画面以外の未使用領域（例えば、二画面分割時の黒帯となる部分）に補足情報が表示される。これにより、本実施形態では、メインで視聴する映像を邪魔することがなく、画面の空き領域を有効活用できる。

また、少なくとも１つの入力映像が縮小表示された際は、縮小表示された画面において補足情報の参照元となる文字領域に近い位置に補足情報が表示される。これにより、本実施形態では、縮小された画面においても、どこの情報が拡大表示されているかをユーザが直感的に判断でき、判りやすい情報提供ができる。

また、少なくとも１つの入力映像が縮小表示された際は、縮小表示された画面において、補足情報の参照元となる領域と拡大表示した補足情報領域とをガイドラインにより視覚的に関連付けて表示される。これにより、縮小された画面においても、どこの情報が拡大表示されているかをユーザが直感的に判断でき、判りやすい情報提供ができる。

また、映像に重畳する形式で補足情報を表示する場合には、映像のどの位置に文字領域があるかに配慮して補足情報の表示位置が決定される。これにより、映像上の文字領域に補足情報や他の映像を重畳することがなく、映像上の文字領域表示を隠すことを未然に防止できる。

また、入力映像において複数の文字領域がある場合は、複数の文字領域を包含する文字領域群において最も小さいと判定された文字領域の補足情報を優先して自動表示される。これにより、本実施形態では、ユーザにとって余計な操作を必要とせず、映像の縮小により潰れた文字情報のうち、最も見難い文字列情報を補足情報として提供できる。

また、本実施形態では、抽出された文字領域のうち、一定時間表示されたものだけを補足情報として表示される。これにより、本実施形態では、瞬間的に表示される字幕スーパーや映像に偶然映った看板、コマーシャル等で突発的かつ単発的に表示される文字列による過剰な補足情報表示を未然に防止し、起こり得る画面のちらつき発生を抑止できる。

また、本実施形態は、抽出された文字列の変化を判定し、補足情報の変化を画面上で強調表現として通知する。これにより、本実施形態は、ユーザ自らが常に補足情報の変化に気を配る必要がなく、自動的に提供される視覚的な強調表示により、縮小された画面における状態変化を直感的に認識できる。

また、本実施形態は、映像から抽出した補足情報のうち、映像に付随する付帯情報に合致する補足情報が優先的に表示される。これにより、本実施形態は、映像に偶然映った看板等の文字列など、映像の内容に直接沿わない文字領域の表示を未然に防止できる。

（第２の実施形態）
第１の実施形態では、入力映像から文字領域及びオブジェクト領域を抽出し、各文字領域がオブジェクト領域と重なる場合には、ひとつの補足情報として領域を切り出し、入力映像の縮尺率に応じて画面構成管理部１０３が管理する画面レイアウト構成の空き領域に、前記補足情報を重畳して表示するケースを示した。第２の実施形態では、映像出力装置１００の領域判定部１１２が抽出した補足情報に限らず、映像出力装置１００がネットワーク６００を介して、外部にあるサーバから補足情報を取得して表示する場合について説明する。

本実施形態では、図２８〜図３０を参照して、外部にあるサーバから補足情報を取得して表示する処理について説明する。図２８は、第２の実施形態の映像出力装置及びその関連装置を示すブロック図である。なお、図２８では、映像出力装置１００の映像入力部１０４の内部構成については図示を省略している。図２９は、補足情報提供装置が提供する画面構成データを示す図である。図３０は、画面構成データに基づく補足情報の表示例を示す図である。

本実施形態の映像出力装置１００は、図６に示す第１の実施形態の映像出力装置１００と同様な構成である。図２８において、図６に示す第１の実施形態との主な相違は、ネットワーク６００に接続される通信部１０９ｄが画面構成管理部１０３に接続される点、ネットワーク６００に接続される外部サーバとして補足情報提供装置８００が追加された点である。上記以外の構成は、図６と同様であるため、それらの同様な部位については同じ符号を付して説明を省略する。

本実施形態の画面構成管理部１０３は、合成部１０７を介して出力部１０８で表示する入力映像に関連付けられた補足情報提供装置８００に対し、必要に応じて、通信部１０９ｄを介して画面構成データの取得を要求する。補足情報提供装置８００は、映像出力装置１００からの要求に応じて、映像出力装置１００で視聴中の入力映像の画面構成における補足情報の表示位置などを記述した、図２９に示すような画面構成データを返信する。画面構成管理部１０３は、通信部１０９ｄを介して取得した画面構成データを解析し、入力映像に対しどの領域に補足情報が表示されるかを判断する。

例えば、第１の実施形態の説明で用いた入力映像２（野球中継）の場合、図２９に示す通り、３つの補足情報１〜３が定義される。第２の実施形態における補足情報１〜３は、バッタースコア（ＲＰ−１）、経過情報（ＲＰ−２）、球速（ＲＰ−３）が存在し、各々補足情報を表示する位置として、幅（Ｗ）、高さ（Ｈ）、横軸（Ｘ）、縦軸（Ｙ）の情報が記載される。さらに、一実施例として、日本語版及び英語版の補足情報ＵＲＬ（Uniform Resource Locator）が付加されている。この補足情報ＵＲＬは、補足情報を表示する位置に関する情報の他に、補足情報提供装置８００が予め補足情報を用意し、ネットワーク６００を通じて取得可能とする。

映像出力装置１００を操作するユーザが任意に選択可能なプロファイルのひとつとして、言語設定が日本語に選択されている場合について説明する。なお、当該言語設定を含むプロファイルは、画面構成管理部１０３又は本実施形態の映像出力装置が有する図示しない記録媒体に記録されている。入力映像２の野球中継で経過情報（ＲＰ−２）及び球速（ＲＰ−３）が、例えば英語表記となっていたとする。画面構成管理部１０３は、上記言語設定に従い、補足情報提供装置８００が提供する「日本語版の補足情報」を、補足情報ＵＲＬを用いて取得し、補足情報として入力映像に重畳して表示する。例えば、図３０に示すように、画面構成データにより、画面（３０００）において放送局が意図する補足情報１〜３（３００１〜３００３）の表示領域を判定できる。また、画面構成管理部１０３は、補足情報ＵＲＬを用いて取得した画像により、本来の入力映像２では「９ｔｈ」と表示される部分を「９回」とし、「１４２Ｋｍ／ｈ」と表示される部分を「時速１４２Ｋｍ」として表示する。

なお、第２の実施形態においては、補足情報ＵＲＬで画像を取得するものとしたが、テキストやストリーミングで配信される動画を取得する方式としてもよい。

なお、第２の実施形態においては、ネットワーク６００を介して補足情報提供装置８００から取得する画面構成データは、放送局などの番組提供者が意図する補足情報の概要、表示領域の位置情報、補足情報提供装置８００が提供する補足情報への補足情報ＵＲＬを含む例を示した。しかし、包含される情報は、これに限らず、関連情報及び関連情報にアクセスするためのＵＲＬ、ネットワーク６００を介して取得できる副音声等を含むようにしても良い。また、ユーザは、映像出力装置１００のアプリケーション処理部１０５のひとつ、又はパーソナルコンピュータのブラウザ等により、補足情報提供装置８００の設定を変更できる。この設定を変更する場合は、入力映像に対する補足情報の表示位置、又は入力画面を縮小（又は入力映像を画面分割）した際の画面（３０００）に対する補足情報の相対的な表示位置を、補足情報表示指定領域として変更しても良い。

以上説明したように、本実施形態では、複数種類の補足情報の中からユーザのプロファイルに従って補足情報を選択して表示する。このため、言語設定として日本語が設定されている映像出力装置においては、日本語版の補足情報を表示する。なお、画面構成管理部１０３は、補足情報を異なる言語に翻訳しても良い。例えば、画面構成管理部１０３は、英語として抽出されたテキストを英和辞書に従って日本語に翻訳して表示する。このように、本実施形態では、ユーザが選択した言語設定に応じた補足表示が可能である。

また、映像出力装置は、当該映像出力装置の外部から取得した補足情報領域パターンデータに含まれる補足情報領域を用いて、補足情報となる映像を抽出して表示しても良い。補足情報領域パターンデータは、入力映像中の補足情報領域の位置を示すデータである。この場合、補足情報領域の算出に必要な映像出力装置の処理負荷が軽減され、かつ、映像出力装置は、映像製作者が意図する補足情報領域を確実に特定できる。

また、映像出力装置は、当該映像出力装置の外部から取得した画面構成データに含まれる補足情報表示指定領域に従って補足情報を表示しても良い。この場合、補足情報の表示位置やサイズの算出に必要な映像出力装置の処理負荷が軽減され、かつ、映像出力装置は、ユーザが意図する指定領域に確実に補足情報を表示できる。

本発明は、上記説明した第１及び第２の実施形態に限定されない。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法は、コンピュータにより実現するコンピュータプログラムであるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録したものとしてもよい。

また、本発明は、前記コンピュータプログラムを、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

本出願は、2008年10月10日出願の日本特許出願（特願2008−264004）に基づくものであり、その内容はここに参照として取り込まれる。

本発明に係る映像出力装置は、デジタルテレビ受像機、デジタルビデオディスクレコーダ、セットトップボックス、プロジェクタ、外付モニター、外部に映像を出力するパーソナルコンピュータまたは映像表示出力機能を有するモバイル機器等に適用できる。

１００ 映像出力装置
１０１ 入力部
１０２ 端末制御部
１０３ 画面構成管理部
１０４ 映像入力部
１０５ アプリケーション処理部
１０６ 画面生成部
１０７ 合成部
１０８ 出力部
１０９ａ 第一チューナ
１０９ｂ 第二チューナ
１０９ｃ 外部入力部
１０９ｄ 通信部
１１０ デコーダ
１１１ 加工部
１１２ 領域判定部
１１３ 補足情報保持部
１１５ 補足情報表示判定部
２００ アンテナ
３００ 放送局
４００ 送出局
５００ 映像提供装置Ａ
６００ ネットワーク
７００ 映像提供装置Ｂ
８００ 補足情報提供装置

Claims (17)

1. 少なくとも１つの映像を表示する画面の配置又は縮尺を管理する画面構成管理部と、
   入力映像から文字領域を判定する領域判定部と、
   前記領域判定部が判定した少なくとも１つの文字領域を含む補足情報領域の映像を切り出して補足情報として保持する補足情報保持部と、
   前記画面構成管理部が管理する画面構成に基づく入力映像に加え、前記補足情報保持部が保持する補足情報を表示するかを判定する補足情報表示判定部と、
   前記画面構成管理部及び前記補足情報表示判定部からの指示に従い、前記入力映像及び前記補足情報を出力する出力部と、を備え、
   前記補足情報表示判定部は、前記画面構成管理部が管理する縮尺に応じて変化する入力映像中の文字領域に含まれる文字のサイズに基づいて、前記補足情報を表示すると判定する映像出力装置。
2. 請求項１に記載の映像出力装置であって、
   前記領域判定部は、前記入力映像から前記文字領域の存在を判定した場合、当該文字領域の近傍にオブジェクト領域が存在するかを判定し、
   前記補足情報領域には、前記領域判定部が判定した少なくとも１つの文字領域及びオブジェクト領域が含まれる映像出力装置。
3. 請求項１に記載の映像出力装置であって、
   前記補足情報表示判定部は、少なくとも１つの映像を表示する領域以外の領域を、前記補足情報の表示位置として決定する映像出力装置。
4. 請求項１に記載の映像出力装置であって、
   前記補足情報表示判定部は、前記補足情報の表示位置及び表示サイズを、当該補足情報を含む入力映像中の補足情報領域の位置、他の画面との相対位置、及び所定の余白幅に従って決定する映像出力装置。
5. 請求項１に記載の映像出力装置であって、
   前記補足情報表示判定部は、前記補足情報を表示する際、当該補足情報を含む入力映像中の補足情報領域を示すフレーム枠を前記入力映像に表示して、前記補足情報と前記フレーム枠との関係を示すガイドを表示するよう処理する映像出力装置。
6. 請求項１に記載の映像出力装置であって、
   前記補足情報表示判定部は、前記補足情報の表示位置及び表示サイズを、前記領域判定部が抽出した他の文字領域を含む補足情報領域の映像を切り出した他の補足情報と重ならないよう決定する映像出力装置。
7. 請求項１に記載の映像出力装置であって、
   前記補足情報表示判定部は、前記領域判定部が抽出した少なくとも１つの文字領域のうち、文字のサイズが最も小さいと判定された文字領域を含む補足情報領域の映像を切り出した補足情報を優先的に表示する映像出力装置。
8. 請求項１に記載の映像出力装置であって、
   前記補足情報表示判定部は、前記領域判定部による判定結果を前記補足情報保持部に記録し、前記領域判定部によって抽出された少なくとも１つの文字領域又はオブジェクト領域を含む補足情報領域のうち、入力映像中に所定時間以上存在している補足情報領域を優先的に表示すると判定する映像出力装置。
9. 請求項１に記載の映像出力装置であって、
   前記補足情報保持部は、前記補足情報中の文字領域から抽出された文字列を保持し、
   前記補足情報表示判定部は、前記補足情報保持部が保持する文字列が、同じ文字領域から直近に抽出された文字列と異なる場合に、前記補足情報を強調して表示するよう処理する映像出力装置。
10. 請求項１に記載の映像出力装置であって、
    前記補足情報保持部は、前記補足情報に加え、当該補足情報中の文字領域から抽出された文字列を保持し、
    前記補足情報表示判定部は、当該映像出力装置のユーザのプロファイルに従って前記文字列を変換して表示するよう処理する映像出力装置。
11. 請求項１に記載の映像出力装置であって、
    少なくとも１つの映像を表示する画面の配置及び大きさを示す画面構成データを外部サーバから受信する通信部を備え、
    前記画面構成管理部は、前記通信部が前記外部サーバから取得した前記画面構成データに従って画面構成を管理し、
    前記補足情報表示判定部は、前記画面構成データによって指定された領域に前記補足情報を表示するよう処理する映像出力装置。
12. 請求項１１に記載の映像出力装置であって、
    前記補足情報表示判定部は、前記画面構成管理部が管理する縮尺に応じて変化する入力映像中の文字領域に含まれる文字のサイズに基づいて、前記画面構成データによって指定された領域に前記補足情報を表示するよう処理する映像出力装置。
13. 請求項１に記載の映像出力装置であって、
    入力映像中の補足情報領域の位置を示す情報を外部サーバから受信する通信部を備え、
    前記通信部が前記外部サーバから取得した情報に含まれる補足情報領域を用いて、補足情報となる映像を抽出して表示する映像出力装置。
14. 少なくとも１つの映像を表示する画面の配置又は縮尺を管理する画面構成管理部と、
    入力映像から文字領域を判定する領域判定部と、
    前記領域判定部が判定した少なくとも１つの文字領域に含まれる文字列を補足情報として外部サーバから取得する通信部と、
    前記画面構成管理部が管理する画面構成に基づく入力映像に加え、前記通信部が取得した補足情報を表示するかを判定する補足情報表示判定部と、
    前記画面構成管理部及び前記補足情報表示判定部からの指示に従い、前記入力映像及び前記補足情報を出力する出力部と、を備え、
    前記補足情報表示判定部は、前記領域判定部が判定した少なくとも１つの文字領域に含まれる文字のサイズが閾値よりも小さい場合、前記補足情報を表示する映像出力装置。
15. 請求項１４に記載の映像出力装置であって、
    前記通信部は、少なくとも１つの映像を表示する画面の配置及び大きさを示す画面構成データを前記外部サーバから受信し、
    前記画面構成管理部は、前記通信部が前記外部サーバから取得した前記画面構成データに従って画面構成を管理し、
    前記補足情報表示判定部は、前記画面構成データによって指定された領域に前記補足情報を表示するよう処理する映像出力装置。
16. 入力映像から文字領域を判定し、
    少なくとも１つの文字領域を含む補足情報領域の映像を切り出して補足情報として保持し、
    少なくとも１つの映像を表示する画面の配置又は縮尺を規定する画面構成に基づく入力映像に加え、前記補足情報を表示するかを判定し、
    前記画面構成及び前記判定結果に従い、前記入力映像及び前記補足情報を出力する映像出力方法であって、
    前記入力映像中の文字領域に含まれる文字のサイズに基づいて、前記補足情報を表示すると判定する映像出力方法。
17. 入力映像から文字領域を判定し、
    少なくとも１つの文字領域に含まれる文字列を補足情報として外部サーバから取得し、
    少なくとも１つの映像を表示する画面の配置又は縮尺を規定する画面構成に基づく入力映像に加え、前記外部サーバから取得した補足情報を表示するかを判定し、
    前記画面構成及び前記判定結果に従い、前記入力映像及び前記補足情報を出力する映像出力方法であって、
    少なくとも１つの文字領域に含まれる文字のサイズが閾値よりも小さい場合、前記補足情報を表示すると判定する映像出力方法。

Images