JP5157320B2 - 番組同時視聴システム - Google Patents

Description

本発明は、複数の視聴者が同時に複数の番組を視聴することができる番組同時視聴システムに関するものである。

標準的なテレビ受像機では、受信機を一つ有し、その受信機で受信した受信チャンネルの番組の画像をディスプレイに表示すると共に、音声をスピーカーから出力するようにしていた。この場合、そのときテレビ受像機で選択している受信チャンネル以外の情報を視聴者は得ることができなかった。

一方で、二つ以上の受信機を有し、同時に二つ以上の受信チャンネルの番組の画像をディスプレイに表示するような機能を有するテレビ受像機も存在している（特許文献１参照）。また、二つ以上の受信機のうちの一つを一定時間毎に受信チャンネルを変えることで、二つ以上の受信チャンネルのインデックス画像を表示する機能を有するテレビ受像機も存在している（特許文献２参照）。

特開平６−１０２８５１号公報 特開２００５−３３５７２号公報

上述した特許文献１、２に記載の技術のように、同時に二つ以上の番組の画像又はインデックス画像をディスプレイに表示するテレビ受像機では、高価な映像受信機を複数用意する必要がある。

さらに、画面サイズは予め定められているため、複数の画面の表示サイズを受信環境に応じて任意に変更することができない。また、一方で音声については、一つの受信チャンネルの画面に対応した音声だけしか選択することができないという不都合があった。

従って、二人以上の視聴者がこのような表示機能を有するテレビ受像機で複数の番組の画面を見ても、画面の表示サイズを変更することができず、音声については複数の画面のうちの一つの受信チャンネルの音声しか選択することができない。

このため、複数の視聴者で複数の番組の画面を試聴することに適していないという問題が発生する。そこで、本発明では、複数の視聴者が複数の画面の画像と音声の情報をそれぞれ容易に獲得することができる番組同時視聴システムを提供することを目的とする。

上記課題を解決し、本発明の目的を達成するため、本発明の番組同時視聴システムは、複数の受信部を介して受信した複数の番組の複数の画面を同時に表示部に表示して、音声出力部に音声を出力することにより、複数の視聴者が同時に複数の番組を視聴することができるものである。
この番組同時視聴システムは、複数の画面のうちのいずれかの画面の選択及び前択された画面に対する分割処理の操作を入力するための複数の入力手段を備える。また、この入力手段からの画面の選択操作、画面の分割処理の操作及び表示部における画面の分割位置に基づいて、分割した画面のアスペクト比と、分割前に表示部に表示された画面のアスペクト比とが一定に保たれるように、分割した画面の表示部における表示領域を変更する画面サイズ変更手段と、を備える。

そして、画面サイズ変更手段は、分割前の前記表示部に表示された画面のアスペクト比に対して、表示領域が分割された画面のアスペクト比の横が長いときは、分割された画面サイズの左右両端を除去して横の長さを変更し、分割前の表示部に表示された画面のアスペクト比に対して、分割された画面のアスペクト比の縦が長いときは、分割された画面の上下両端を除去して縦の長さを変更するようにしている。

本発明の番組同時視聴システムの好ましい形態としては、入力手段からの画面の操作として、画面の分割処理の操作に加えて、分割した画面を結合する操作を含み、分割した複数の画面を結合する際には、画面サイズ変更手段は、複数の画面が結合された画面のアスペクト比と、結合前に表示部に表示された画面のアスペクト比を、一定に保つように結合する。

また、画面サイズ変更手段は、結合前の表示部に表示された画面サイズのアスペクト比に対して、表示領域が結合された画面サイズのアスペクト比の横が長い場合であって、結合前の表示部に表示された画面の表示領域の枠内に収納できるときは、結合された画面サイズの左右両端を除去して画面サイズを変更する。そして、結合された画面サイズのアスペクト比の縦が長い場合であって、結合前の表示部に表示された画面の表示領域の枠内に収納できるときは、結合された画面サイズの上下両端を除去して画面サイズを変更する。

一方、本発明の好ましい形態として、画面サイズ変更手段は、結合前の表示部に表示された画面サイズのアスペクト比に対して、表示領域が結合された画面サイズのアスペクト比の横が長い場合であって、結合前の表示部に表示された画面の表示領域の枠内に収納できないは、結合前の表示部に表示された大きいほうの画面の表示領域内に収納することを優先させて、結合された画面サイズの左右両端を除去して画面サイズを変更するようにする。

また、画面サイズ変更手段は、結合前の表示部に表示された画面サイズのアスペクト比に対して、表示領域が結合された画面サイズのアスペクト比の縦が長い場合であって、結合前の前記表示部に表示された画面の表示領域の枠内に収納できないときは、結合前の表示部に表示された大きいほうの画面サイズの表示領域の枠内に表示することを優先させて、結合された画面サイズの上下両端を除去して画面サイズを変更する。

本発明によれば、大画面の表示部及び音声出力部により画像及び音声を複数人で試聴する際に、視聴者ごとに各画面の表示サイズを受信環境に応じて任意に変更することができるという効果を奏する。

また、大画面を複数個の画面に分割、結合、拡大する際の画面の制御を自動的にすることができる。
また、複数画面の表示部及び音声出力部により画像及び音声を複数人で試聴する際の音声の音像の定位する位置を制御することができる。

以下、本発明の一実施の形態を、図１〜３９を参照しながら詳細に説明する。
本実施の形態の番組同時視聴システムは、複数の番組を受信するチューナーを有し、それぞれの番組をチューナーで受信した画像信号と音声信号を制御することで、大画面の中に複数の画面を表示することができる。また、それぞれの画面の表示状態に対応する音声を出力することができる。それによって、次のようなことができるようになる。

第１に、一人の視聴者が、ディスプレイに表示される複数の受信チャンネルの番組の複数の画面を見ることにより、様々な情報を取得することが可能となる。
第２に、複数人の視聴者が、ディスプレイに表示される複数の受信チャンネルの番組の複数の画面を見ることにより、一つの大画面を複数人で共有することが可能となる。

ここでは、２番目の複数人の視聴者の複数番組同時試聴について考えていくことにする。画面の分割ができない限り、複数人の視聴者での複数番組同時試聴も成り立たないので、大画面の複数分割について説明する。
画面を分割することを考えたときに、人数分に満たない画面に分割する場合、人数分だけ画面を分割する場合、及び人数分以上に画面を分割する場合の３つのケースが考えられる。

一つ目の人数分に満たない画面に分割する場合、というのはＮ（Ｎは自然数）人１受信チャンネル試聴ということである。二つ目の人数分に画面を分割する場合、というのは一人１受信チャンネル試聴ということである。三つ目の人数分以上に画面を分割する場合、というのは一人Ｎ受信チャンネル試聴ということである。本実施の形態では、画面の分割は、何分割でも可能であるので、すべてのパターンに対応が可能である。

画面を分割する方法としては、次のような方法がある。
すなわち、システムの本体に対して赤外線などによりリモコンで操作を行う場合、システムの本体に内蔵されるタッチパネルで操作を行う場合、及びパーソナルコンピュータ（ＰＣ）で操作を行う場合がある。
上述の通り、様々な画面分割の方法が考えられるが、ここでは、そのうちの一つであるリモコンによる操作を行う場合について説明をする。

この操作方法は、第１に、視聴者は複数の画面の中にあるどの画面を分割したいのかをリモコンにより選択する。第２に、この画面選択では、例えばリモコンのジョグダイヤルを利用して、画面の中の任意の画面位置にカーソルを移動させて分割すべき画面を選択する。
もしくは、複数の画面に番号をふり、リモコンのテンキーでその番号を選択することにより画面選択を行うこともできる。

第３に、システムの本体は、選択された画面上に十字のカーソルを出現させる。そのカーソルをリモコンから左右・上下キーにより動かすことにより、視聴者はどの位置で画面を分割するのかを決定する。

もしくは、システムの本体は、後述の画面表示サイズを自動的に変更する時に使う画面特徴量を用いて分割位置の候補をディスプレイに表示し、視聴者はこれと対応させた受信チャンネル数のボタンを押すことにより分割位置を決定する。

もしくは、視聴者のリモコンからの入力指示により、システムの本体は、画面上にポインタを付加したり、赤外線の強度からリモコンが指し示す位置を、システム本体が調べて分割位置を決定する。そして、決定された分割位置により、画面が分割される。

まず、画面分割方法について説明する。
図１は、本発明の一実施の形態による画面分割処理を示すフローチャートである。図１は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。

図１において、まず、分割したい画面を一つ選択し、決定する（ステップＳ１）。具体的には、リモコンからの選択及び決定操作に基づいて、システム本体はディスプレイに表示されている複数の画面のうちの分割すべき画面を決定する。

次に、選ばれた画面に、どこで分割したいのかを決定するためのカーソルを表示する（ステップＳ２）。具体的には、システム本体はディスプレイ上で決定された画面に分割位置を指定するためのカーソルを表示する。

ここで、カーソルを視聴者が動かし、分割位置を決定する（ステップＳ３）。具体的には、リモコンからの位置指定及び決定操作に基づいて、システム本体はディスプレイに表示されている分割すべき画面内で分割位置を決定する。

そこで、分割位置に応じて、画面サイズを変更する（ステップＳ４）。具体的には、システム本体はディスプレイ上で決定された分割位置で画面を分割した場合に、分割後の画面サイズを変更する。例えば、分割前後でアスペクト比を一定に保つように画面サイズを変更する。

そして、ほかに分割を行いたい画面があるか否かを判断する（ステップＳ５）。具体的には、システム本体は他のリモコンから他の画面分割の選択及び決定操作があるか否かを判断する。判断ステップＳ５で、他のリモコンから他の画面分割の選択及び決定操作があるときは、ステップＳ１へ戻って、ステップＳ１〜ステップＳ５までの処理及び判断を繰り返す。

判断ステップＳ５で、他のリモコンから他の画面分割の選択及び決定操作がないときは、分割を実行して（ステップＳ６）、処理を終了する。すなわち、システム本体は、ステップＳ４で変更した画面サイズで分割すべき画面を分割する。

図２は、分割画面Ｅ１のアスペクト比を一定に保つ場合の分割計算方法を示す図である。図２ＡはＨＤ（High Definition：高解像度（高精細・高画質））放送の画面、図２Ｂはａ／ｂ＞１６／９（９ａ／１６＞ｂ）の場合、すなわちＨＤサイズに比べてさらに横の方が長い場合であり、図２Ｃはａ／ｂ＜１６／９（９ａ／１６＜ｂ）場合、つまりＨＤサイズに比べて縦の方が長いである。
図２は、図１のステップＳ４に示したように分割前後でアスペクト比を一定に保つように画面サイズを変更する際の分割画面サイズの計算方法を示している。

図２Ａに示すＨＤ放送の画面では、アスペクト比は、Ｘ：Ｙ＝１６：９となる。ここで、分割位置（ａ，ｂ）のとき、各分割画面Ｅ１，Ｅ２，Ｅ３，Ｅ４の分割画面サイズを計算する必要がある。そこで、この比率（Ｘ：Ｙ＝１６：９）を保ちながらどのようにして、分割された画像のサイズを決定するかを以下に説明する。

図２Ｂに示すように、９ａ／１６＞ｂ（横の方が長い）の場合、分割画面Ｅ１の左端位置１Ｌは、（ａ−１６ｂ／９）／２の位置になる。また、分割画面Ｅ１の右端位置１Ｒは、ａ−（ａ−１６ｂ／９）／２の位置になる。

ここで、ＨＤサイズ画面の場合は、縦の長さｂと横の長さａの関係で、１６：９＝ａ：ｂが成り立つ。つまり、ａ＝（１６／９）ｂが成り立つ。よって、ａ＞（１６／９）ｂのとき、分割画面Ｅ１は、ＨＤサイズ画面に比べて横の方が長い画面となる。

分割画面Ｅ１が横に長いとき、横にどのくらいはみ出ているかを調べる。縦ｂが固定なので、分割画面Ｅ１の横が（１６／９）ｂとなり、ａ＞（１６／９）ｂの場合は、横にはみ出る部分ができる。この横にはみ出ている長さは、ａ−（１６／９）ｂである。

ここで、分割画面Ｅ１の真ん中を優先して表示する設定しているため、左端位置１Ｌからはみ出る部分と右端位置１Ｒからはみ出る部分の長さは同じになるようにしている。
従って、左端位置１Ｌは、（ａ−１６ｂ／９）／２の位置となる。また、右端位置１Ｒは、ａ−（ａ−１６ｂ／９）／２の位置となる。

図２Ｃに示すように、ａ／ｂ＜１６／９（９ａ／１６＜ｂ）の場合、つまりＨＤサイズに比べて縦の方が長い場合には、分割画面Ｅ１の上端位置１Ｕは、同様な計算方法により、（ｂ−９ａ／１６）／２の位置になる。また、分割画面Ｅ１の下端位置１Ｄは、ｂ−（ｂ−９ａ／１６）／２の位置になる。
このように、ａ＜（１６／９）ｂのときは分割画面Ｅ１は縦のほうが長くなる。このとき、分割画面Ｅ１の縦がはみ出ている部分の長さは、ｂ−（９／１６）ａである。

従って、上端位置１Ｕは、（ｂ−９ａ／１６）／２の位置となる。また、下端位置１Ｄは、ｂ−（ｂ−９ａ／１６）／２の位置となる。

図３は、分割画面Ｅ２のアスペクト比を一定に保つ場合の分割計算方法を示す図であり、図３ＡはＨＤ放送の画面、つまり９（Ｘ−ａ）／１６＝ｂの場合、図３Ｂは、ＨＤ放送よりも横の方が長い９（Ｘ−ａ）／１６＞ｂの場合、図３ＣはＨＤ放送よりも縦の方が長い９（Ｘ−ａ）／１６＜ｂの場合を示している。

図２で計算した方法と同様の方法で計算すると、図３Ｂに示す９（Ｘ−ａ）／１６＞ｂの場合、分割画面Ｅ２の左端位置２Ｌは、（（Ｘ−ａ）−１６ｂ／９）／２の位置になる。また、分割画面Ｅ２の右端位置２Ｒは、Ｘ−（（Ｘ−ａ）−１６ｂ／９）／２の位置になる。

また、図３Ｃに示す、ＨＤ放送よりも縦の方が長い９（Ｘ−ａ）／１６＜ｂの場合、分割画面Ｅ２の上端位置２Ｕは、（ｂ−９（Ｘ−ａ）／１６）／２、分割画面Ｅ２の下端位置２Ｄは、ｂ−（ｂ−９（Ｘ−ａ）／１６）／２の位置になる。

図４は、分割画面Ｅ３のアスペクト比を一定に保つ場合の分割計算方法を示す図であり、図４ＡはＨＤ放送の画面、つまり９ａ／１６＝（Ｙ−ｂ）の場合、図４Ｂは、ＨＤ放送よりも横の方が長い９ａ／１６＞（Ｙ−ｂ）の場合、図４ＣはＨＤ放送よりも縦の方が長い９ａ／１６＜（Ｙ−ｂ）の場合を示している。

図２、図３で計算した方法と同様の方法で計算すると、図４Ｂに示す９ａ／１６＞（Ｙ−ｂ）の場合、分割画面Ｅ３の左端位置３Ｌは、（ａ−１６（Ｙ−ｂ）／９）／２の位置になる。また、分割画面Ｅ３の右端位置３Ｒは、ａ−（ａ−１６（Ｙ−ｂ）／９）／２の位置になる。

また、図４Ｃに示すＨＤ放送よりも縦の方が長い９ａ／１６＜（Ｙ−ｂ）の場合、分割画面Ｅ３の上端位置３Ｕは、（（Ｙ−ｂ）−９ａ／１６）／２の位置になる。また、分割画面Ｅ３の下端位置３Ｄは、Ｙ−（（Ｙ−ｂ）−９ａ／１６）／２の位置になる。

同様に、図５は、分割画面Ｅ４のアスペクト比を一定に保つ場合の分割計算方法を示す図である。図５ＡはＨＤ放送の画面、つまり９（Ｘ−ａ）／１６＝（Ｙ−ｂ）の場合、図５Ｂは、ＨＤ放送よりも横の方が長い９（Ｘ−ａ）／１６＞（Ｙ−ｂ）の場合、図５ＣはＨＤ放送よりも縦の方が長い９（Ｘ−ａ）／１６＜（Ｙ−ｂ）の場合を示している。

図２〜図４と同様の計算を行うと、図５Ｂに示す９（Ｘ−ａ）／１６＞（Ｙ−ｂ）の場合、分割画面Ｅ４の左端位置４Ｌは、（（Ｘ−ａ）−１６（Ｙ−ｂ）／９）／２の位置になる。また、分割画面Ｅ４の右端位置４Ｒは、Ｘ−（（Ｘ−ａ）−１６（Ｙ−ｂ）／９）／２の位置になる。

また、図５Ｃに示す他の場合（縦の方が長い）、分割画面Ｅ４の上端位置４Ｕは、（（Ｙ−ｂ）−９（Ｘ−ａ）／１６）／２の位置になる。また、分割画面Ｅ４の下端位置４Ｄは、Ｙ−（（Ｙ−ｂ）−９（Ｘ−ａ）／１６）／２の位置になる。

図６は、アスペクト比を一定に保たない場合の分割計算方法を示す図である。
図６において、アスペクト比を一定に保たない場合には、各分割画面Ｅ１、Ｅ２、Ｅ３、Ｅ４の分割画面サイズが、以下のようになる。すなわち、分割画面Ｅ１の「横：縦」が「ａ：ｂ」となる。分割画面Ｅ２の「横：縦」が「Ｘ−ａ：ｂ」となる。分割画面Ｅ３の「横：縦」が「ａ：Ｙ−ｂ」となる。分割画面Ｅ４の「横：縦」が「Ｘ−ａ：Ｙ−ｂ」となる。従って、システム本体は、このサイズに画面をリサイズする。

図７は、本発明の一実施の形態による番組同時視聴システムのシステム構成を示すブロック図である。
図７において、番組同時視聴システムは、入力信号１１を信号処理する各処理部１２と、信号処理された各画面毎の信号を統合して図示しないディスプレイに出力信号１９を出力する画面統合部１８を備えている。各処理部１２で処理される信号は、映像信号及び音声信号である。

また、番組同時視聴システムは、リモコン（リモートコントローラ）１３からの画面の操作に関する赤外線信号を受光するリモコン受光部１４と、リモコン受光部１４で受光された赤外線信号を解析して各処理部１２に供給するリモコン信号解析部１５を備えている。

また、番組同時視聴システムは、リモコン信号解析部１５で解析されたリモコンＩＤ画面対応信号２０に対応する画面番号を管理する画面番号管理部１６と、画面番号管理部１６で管理される画面番号に対応する画面表示の位置信号２１を画面統合部１８に出力するメモリ１７を備えている。

ここで、リモコンＩＤ画面対応信号２０は、各リモコン１３の識別番号ＩＤと複数の画面に付与される画面番号とを対応つけるための信号である。
また、メモリ１７には、信号の読み書きをするためのメモリ読み書き制御部がある。また、メモリ１７には、図示しないシステム本体のコンピュータが実行可能になるように、番組同時視聴プログラムが格納されている。

図８は、通常視聴時の各処理部の構成図である。
図８において、各処理部１２は、複数の放送番組を選択して同時に受信することができる複数の受信部を有するチューナー２２と、チューナー２２で受信した複数の番組の映像信号で構成される複数の画面のサイズの変更処理を行うサイズ変更処理部２３とを有している。

チューナー２２は、メモリ１７から画面番号に対応するチャンネル情報２５を取得して、リモコン信号解析部１５からのリモコン解析信号２４で選択される複数の放送番組を受信する。サイズ変更処理部２３は、メモリ１７から画面番号に対応する画面のサイズ情報２６を取得して、チューナー２２で受信した複数の放送番組の画面のサイズを変更する。

これにより、通常視聴時に複数の放送番組の画面を後段のディスプレイに映しながら、リモコン１３で表示すべき画面を切り替える処理を行うことができる。このとき、画面の分割数は適宜、選択変更することが可能である。

図９は、画面分割のシステム構成を示すブロック図である。図９の画面分割の番組同時視聴システム構成では、図７に示した通常視聴時の番組同時視聴システムと異なる部分のみを説明する。

図９において、画面分割の番組同時視聴システムは、画面選択を管理する画面選択管理部３１と、画面サイズを計算する画面サイズ計算部３４と、画面の画枠を計算する画枠計算部３２と、カーソル位置を計算するカーソル位置計算部３３と、画枠とカーソルを生成する画枠＆カーソル生成部３５を有している。

画面選択管理部３１は、メモリ１７から画面位置を取得して、選択されている子画面の番号４１を画枠計算部３２に供給する。カーソル位置計算部３３は、メモリ１７から画面位置を取得して、選択されている子画面のサイズ４２を画枠＆カーソル生成部３５に供給する。

画枠計算部３２は、画面サイズ計算部３４にカーソルの位置と子画面の位置・サイズ４３を供給する。画面サイズ計算部３４は、画面番号管理部１６に分割後の新規子画面の数・位置・サイズ４４を供給する。
なお、各処理部１２は、通常視聴時と同じ構成である。

画面分割において、番組同時視聴システムは、以下のような動作をする。
リモコン信号解析部１５は、リモコン１３より画面分割信号を受け取る。画面選択管理部３１は、リモコン信号解析部１５がリモコン１３より画面分割信号を受け取ったときに、画面番号の若い番号の分割画面を選択する。

画面選択管理部３１は、選択されている子画面の番号４１をメモリ１７からロードし、その画面番号の画面位置２１を画面統合部１８に出力することにより、後段のディスプレイに現在選んでいる画面に画枠を重畳して表示させる。
また、画面選択管理部３１は、そのとき現在の選択されている子画面をメモリ１７に保存する。この子画面の位置としては、Ｘ，Ｙ座標と幅・高さを格納するようにする。

ここで、リモコン１３で「次へ」というボタンが押されると、画面選択管理部３１は、メモリ１７より取得した選択されている子画面の番号４１から現在どの画面を選んでいるかを読み込む。そして、読み込んだ画面番号に１を足した番号に対応する画面の画面位置をメモリ１７から読み込む。

逆に、リモコン１３で「戻る」を押されたら、画面選択管理部３１は、メモリ１７より取得した選択されている子画面の番号４１から現在どの画面を選んでいるかを読み込む。そして、読み込んだ画面番号から１を引いた番号に対応する画面の画面位置をメモリ１７から読み込む。

そして、カーソル位置計算部３３は、メモリ１７より取得した選択されている子画面のサイズ４２からその画面位置を読み込んで画枠＆カーソル生成部３５に供給する。画枠＆カーソル生成部３５は、その画面位置に対応する画枠とカーソルを生成して、画像統合部１８に供給する。これにより、不図示のディスプレイに選択された画枠を表示させるようにする。

ここで、画面選択管理部３１は、リモコン１３より画面選択信号を受け取ると、メモリ１７から現在選択されている画面番号を読み込む。そして、画枠＆カーソル生成部３５は、選択された画面中央（図１０参照）にカーソルが表示されるようにカーソルを生成する。

次に、リモコン１３によりカーソルが動かされ、画面分割位置が決定されると、カーソル位置計算部３３から取得されるカーソルの位置と子画面の位置・サイズ４３に基づいて、画面サイズ計算部３４は画面サイズを計算する。

画面サイズ計算部３４は画面サイズの計算を実行し、画面番号管理部１６に分割後の子画面の数・位置・サイズ４４を供給する。これにより、画面番号管理部１６は、画面番号と画面位置を対応させて、これをメモリ１７に保存する。そして、画像統合部１８が分割後の子画面を読み込んで全画面を合成し、不図示のディスプレイに出力する。

図１０は、カーソルを画像の真ん中に表示する場合のカーソル位置を示す図である。
図１０に示すように、画枠＆カーソル生成部３５（図９参照）は、カーソル位置ＣＳを、画面Ｅの真ん中に表示させるようにする。すなわち、画枠＆カーソル生成部３５は、カーソルを（Ｘ／２，Ｙ／２）の位置に生成させ、画面Ｅの真ん中にカーソル位置ＣＳを表示する。
なお、上述したカーソルの代わりに、分割中心というのがわかるものであれば、他の図形、記号等のマークを用いることができる。

次に、画面の結合について説明する。
画面を結合する場合には、次の二つの場合が考えられる。一つ目は、人数分以上に画面を分割しすぎたので結合する場合、例えば、複数の受信チャンネルの番組を視聴していたが、その必要がなくなった場合である。二つ目は、人数分以下に画面を減らす場合、つまり、他の人と同じ受信チャンネルの番組を視聴するために画面を結合する場合である。

一つ目の人数分以上に分割した画面を結合する場合は、１人Ｎ受信チャンネルの番組試聴を行っている状態から１人１受信チャンネルの番組試聴を行う場合に近づけるということである。二つ目の人数分以下に画面を減らすというのは、例えば、Ｎ人で１受信チャンネルの番組試聴の状態にするということを意味している。

画面の結合は、１つになるまでは可能であるので、以下に示すすべての画面の結合パターンに対応が可能である。
画面を結合する方法には、分割するときと同じでいろいろな方法がある。ここでは、そのうちの一つであるリモコンによる操作について説明をする。

画面結合方法は、以下の手順により行われる。まず、視聴者は画面の中でどの画面同士を結合したいのかを選択する。この画面の選択方法としては、視聴者が例えばリモコンのジョグダイヤルを利用して選択するか、もしくは、画面に番号をふりテンキーでその番号を選択するなど、様々な方法がある。

このようにして選択された画面はマーク表示されるが、もう一度選択されると選択解除される。ここで、選択された画面が隣り合っていない場合には、処理がエラーになる。最後に、選択を決定することにより、画面が結合される。

図１１は、上述した画面結合処理を説明するためのフローチャートである。図１１は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。
図１１において、画面結合の処理が開始されると、まず、分割された画面の一つが選択される（ステップＳ１１）。具体的には、リモコンからの選択及び決定操作に基づいて、システム本体が、ディスプレイに表示されている複数画面の中の一つの画面を決定する。

次に、選択した画面と隣り合う画面が選択される（ステップＳ１２）。この隣り合う画面は選択した画面と結合する画面である。この画面選択では、リモコンからの選択及び決定操作に基づいて、ディスプレイに表示されている選択画面と結合される画面が決定されることになる。

このとき、選択された画面に隣り合う画面を選ぶことが条件となる。
次に、他に結合したい画面はあるか否かを判断する（ステップＳ１３）。つまり、他のリモコンからの選択及び決定操作があるか否かがシステム本体において判断される。

判断ステップＳ１３で、他に結合したい画面があると判断されたときは、ステップＳ１２へ戻って、ステップＳ１２〜ステップＳ１３までの処理及び判断を繰り返し、他に結合したい画面がないと判断されたときは、結合にあたり、画面サイズを変更する（ステップＳ１４）。具体的には、システム本体はステップＳ１１で選択した画面とステップＳ１２で選択された画面を、画面サイズを変更して結合し、処理を終了する。

図１２は、アスペクト比を一定に保つ場合の結合計算方法を示す図であり、図１１のステップＳ１４で画面サイズを変更して画面を結合する際のアスペクト比を一定に保つ場合の結合計算方法を説明するためのものである。図１２Ａは表示できる枠内に収める場合、図１２Ｂは表示できる枠内に収めないで大きい方を優先する場合である。

図１２Ａに示すように、表示できる枠内に収める場合、つまり画面Ｆ１と画面Ｆ２とを結合したとき結合画面を画枠Ｌ１と画枠Ｌ２の両方に収める場合には、システム本体は図１３、図１４、図１５で後述するように結合画面の位置を計算する。

図１２Ｂに示すように、表示できる枠内に収めないで大きい方を優先する場合、つまり画面Ｆ１と画面Ｆ２とを結合したとき、結合画面を画枠Ｌ１に収めないで大きな方の画枠Ｌ２を優先して画枠Ｌ３に収める場合には、システム本体は、図１６、図１７で後述するように結合画面の位置を計算する。
ここでは二つの画面Ｆ１と画面Ｆ２が選ばれた場合についてのみ説明するが、三つ以上も、同様に計算を行う。

図１３は、アスペクト比を一定に保つ場合（表示できる枠内に収める）の結合計算方法を示す図であり、図１３Ａは横に隣り合う場合、図１３Ｂは縦に隣り合う場合である。
図１３Ａに示す横に隣り合う場合（表示できる枠内に収める）、つまり、画面Ｆ１と画面Ｆ２とを横に隣り合うように結合する場合には、結合画面を画枠Ｌ１と画枠Ｌ２の両方に収めるように、システム本体は結合画面の位置を計算する。ここでは、画枠Ｌ１は（Ｘ１，Ｙ１）〜（Ｘ２，Ｙ２）の範囲内、画枠Ｌ２は（Ｘ３，Ｙ３）〜（Ｘ４，Ｙ４）の範囲内である。

図１３Ｂに示すように縦に隣り合う場合（表示できる枠内に収める）、つまり、画面Ｆ１と画面Ｆ２とを縦に隣り合うように結合する場合には、結合画面を画枠Ｌ１と画枠Ｌ２の両方に収めるように、システム本体は結合画面の位置を計算する。この場合にも、図１３Ｂと同様に、画枠Ｌ１は画面Ｆ１の左上点（Ｘ１，Ｙ１）〜右下点（Ｘ２，Ｙ２）の範囲内、画枠Ｌ２は画面Ｆ２の左上点（Ｘ３，Ｙ３）〜右下点（Ｘ４，Ｙ４）の範囲内である。

図１４は、アスペクト比を一定に保つ場合（表示できる枠内に収める）であって、かつ横に隣り合う画面Ｆ１とＦ２を結合する場合の結合計算方法を示す図である。すなわち、図１４は、図１１のステップＳ１４に示した二つの画面の結合に際して、アスペクト比を一定に保つように画面サイズを変更する場合の結合画面サイズの計算方法を示している。

図１４ＡはＹ１＜Ｙ３かつＹ２＜Ｙ４かつＹ３＜Ｙ２の場合（Ｇ１の領域）を示し、図１４ＢはＹ１＞Ｙ３かつＹ２＜Ｙ４かつＹ２＞Ｙ１の場合（Ｇ２の領域）を示している。
このように、アスペクト比を一定に保つ場合（表示できる枠内に収める）であって、かつ横に隣り合う画面Ｆ１とＦ２を結合するパターンは、図１４及び後述する図１５に示すように、結合画面Ｇ１、Ｇ２、Ｇ３、Ｇ４の４パターンが考えられる。

上述したようにＨＤ（High Definition：高解像度（高精細・高画質））放送の画面では、アスペクト比は、Ｘ：Ｙ＝１６：９となる。まず、図１４及び後述する図１５において、ここで、元の画面Ｆ１，Ｆ２のとき、各結合画面Ｇ１、Ｇ２、Ｇ３、Ｇ４の結合画面サイズを計算する方法について説明する。すなわち、このＨＤ放送の画面のアスペクト比率（Ｘ：Ｙ＝１６：９）を保ちながら、結合された画像のサイズを決定する方法について以下に説明する。

図１４Ａに示すＹ１＜Ｙ３かつＹ２＜Ｙ４かつＹ２＞Ｙ３の場合（Ｇ１の領域）は、結合画面Ｇ１の左上点（１ＬＸ、１ＬＹ）の１ＬＸは、［Ｘ１＋（（Ｘ４−Ｘ１）−１６（Ｙ２−Ｙ３）／９）／２］、１ＬＹはＹ３の位置になる。また、結合画面Ｇ１の右下点（２ＲＸ、２ＲＹ）の２ＲＸは、［Ｘ４−（（Ｘ−４Ｘ１）−１６（Ｙ２−Ｙ３）／９）／２］、２ＲＹはＹ２の位置になる。
ここでは、（Ｘ４−Ｘ１）＞１６（Ｙ２−Ｙ３）／９の場合のみを記載している。逆の場合には、図２から図５に示した画面分割の処理と同様に計算する。

図１４Ｂに示すＹ１＞Ｙ３かつＹ４＞Ｙ２かつＹ２＞Ｙ１の場合（Ｇ２の領域）には、結合画面Ｇ２の左上点（１ＬＸ、１ＬＹ）の１ＬＸは［Ｘ１＋（（Ｘ４−Ｘ１）−１６（Ｙ２−Ｙ１）／９）／２］、１ＬＹはＹ１の位置になる。また、結合画面Ｇ２の右下点（２ＲＸ、２ＲＹ）の２ＲＸは［Ｘ４−（（Ｘ４−Ｘ１）−１６（Ｙ２−Ｙ１）／９）／２］、２ＲＹはＹ２の位置になる。
ここでは、（Ｘ４−Ｘ１）＞１６（Ｙ２−Ｙ１）／９の場合のみの記載をしている。逆の場合には、図２から図５に示した画面分割の処理と同様に計算する。

図１５も図１４と同様に、アスペクト比を一定に保つ場合（表示できる枠内に収める）であって、かる横に隣り合う２画面Ｆ１とＦ２を結合する計算方法を示す図である。図１４と異なる点は、画面Ｆ１と画面Ｆ２の位置関係であり、図１５ＡはＹ１＜Ｙ３かつＹ２＞Ｙ４かつＹ４＞Ｙ３の場合（Ｇ３の領域）、図１５ＢはＹ１＞Ｙ３かつＹ２＞Ｙ４かつＹ１＜Ｙ４の場合（Ｇ４の領域）である。

図１５Ａに示すＹ１＜Ｙ３かつＹ２＞Ｙ４かつＹ４＞Ｙ３の場合（Ｇ３の領域）には、結合画面Ｇ３の左上点（１ＬＸ、１ＬＹ）の１ＬＸは［Ｘ１＋（（Ｘ４−Ｘ１）−１６（Ｙ４−Ｙ３）／９）／２］、１ＬＹはＹ３の位置になる。また、結合画面Ｇ３の右下点（２ＲＸ、２ＲＹ）の２ＲＸは［Ｘ４−（（Ｘ４−Ｘ１）−１６（Ｙ−Ｙ３）／９）／２］、２ＲＹはＹ４の位置になる。
ここでは、（Ｘ４−Ｘ１）＞１６（Ｙ４−Ｙ３）／９の場合のみを記載している。逆の場合には、図２から図５に示した画面分割の処理と同様に計算する。

図１５Ｂに示すＹ１＞Ｙ３かつＹ２＞Ｙ４かつＹ１＜Ｙ４の場合（Ｇ４の領域）には、結合画面Ｇ４の左上点（１ＬＸ、１ＬＹ）の１ＬＸは［Ｘ１＋（（Ｘ４−Ｘ１）−１６（Ｙ４−Ｙ１）／９）／２］、１ＬＹはＹ１の位置になる。また、結合画面Ｇ４の右下点（２ＲＸ、２ＲＹ）の２ＲＸは［Ｘ４−（（Ｘ４−Ｘ１）−１６（Ｙ４−Ｙ１）／９）／２］、２ＲＹはＹ４の位置になる。
ここでは、（Ｘ４−Ｘ１）＞１６（Ｙ４−Ｙ１）／９の場合のみを記載している。逆の場合には、図２から図５に示した画面分割の処理と同様に計算する。

ここで、２つの画面Ｆ１とＦ２を結合した場合の、１つの画面の領域について図１４から図１５に基づいて説明する。
例えば、図１４Ａに示す画面Ｆ１及び画面Ｆ２に重複する領域の結合画面Ｇ１の場合のほかに、図１４Ｂに示すような画面Ｆ１のみに重複する領域の結合画面Ｇ２の場合が考えられる。また、図１５Ａに示すように、画面Ｆ２のみに重複する領域の結合画面Ｇ３の場合と、図１５Ｂに示すような画面Ｆ２と画面Ｆ１に重複する領域の結合画面Ｇ４が考えられる。

図１４Ａに示す結合画面Ｇ１の面積Ｓ１は、図１４ＡよりＳ１＝（２ＲＹ−１ＬＹ）×（２ＲＸ−１ＬＸ）であるから、Ｓ１＝（Ｙ２−Ｙ３）×（（Ｘ４−Ｘ１）−（Ｘ４−Ｘ１）＋１６（Ｙ２−Ｙ３）／９））＝１６（Ｙ２−Ｙ３）^２／９となる。

また、図１４Ｂに示すように、結合画面Ｇ２の面積Ｓ２は、Ｓ２＝（Ｙ２−Ｙ１）×（（Ｘ４−Ｘ１）−（Ｘ４−Ｘ１）＋１６（Ｙ２−Ｙ１）／９）＝１６（Ｙ２−Ｙ１）^２／９となる。また、図１５Ａに示すように、結合画面Ｇ３の面積Ｓ３は、Ｓ３＝（Ｙ４−Ｙ３）×（（Ｘ４−Ｘ１）−（Ｘ４−Ｘ１）＋１６（Ｙ４−Ｙ３）／９）＝１６（Ｙ４−Ｙ３）^２／９となる。さらに、図１５Ｂに示す結合画面Ｇ４の面積Ｓ４は、Ｓ４＝（Ｙ４−Ｙ１）×（（Ｘ４−Ｘ１）−（Ｘ４−Ｘ１）＋１６（Ｙ４−Ｙ１）／９））＝１６（Ｙ４−Ｙ１）^２／９となる。
そこで、システム本体は、これらの結合画面Ｇ１、Ｇ２、Ｇ３、Ｇ４の面積Ｓ１、Ｓ２、Ｓ３、Ｓ４を比較し、どの領域に結合画面を作るのかを決める。

図１６は、アスペクト比を一定に保つ場合であるが、表示できる枠内に収めないで大きな方を優先する場合の二つの画面Ｆ１とＦ２を結合する計算方法を説明する図であり、図１６Ａは横に隣り合う場合、図１６Ｂは縦に隣り合う場合である。

表示できる枠内に収めないで大きい方を優先する場合であって、かつ図１６Ａに示すように横に隣り合う画面Ｆ１と画面Ｆ２を結合する場合には、システム本体は、結合画面を画面Ｆ１の画枠に収めないで大きな方の画面Ｆ２の画枠を優先して画枠Ｌ１に収めるように、結合画面の位置を計算する（図１７で後述）。

図１６Ｂに示すように、縦に隣り合う画面Ｆ１と画面Ｆ２を結合する場合には、システム本体は、結合画面を画面Ｆ２の画枠に収めないで大きな方の画面Ｆ１の画枠を優先して画枠Ｌ２に収めるように、結合画面の位置を計算する（図２０で後述）。
ここでは、横に隣り合う場合の結合計算方法について説明する。縦の場合も同様に計算を行う。

図１７は、アスペクト比を一定に保つ場合（表示できる枠内に収めないで大きな方を優先する）であって、かつ横に隣り合う２つの画面Ｆ１とＦ２を結合する計算方法を示す図である。
ここでは、上述した図１４及び図１５に示した結合画面Ｇ１、Ｇ２、Ｇ３、Ｇ４の４つのパターンをまとめて結合画面Ｇ５として示している。

結合画面Ｇ５の左上点（１ＬＸ、１ＬＹ）の１ＬＸは、［Ｘ１＋（（Ｘ４−Ｘ１）−１６（ｍａｘ（Ｙ２，Ｙ４）−ｍｉｎ（Ｙ１，Ｙ３））／９）／２］、１ＬＹはｍｉｎ（Ｙ１，Ｙ３）の位置になる。また、結合画面Ｇ５の右下点（２ＲＸ、２ＲＹ）の２ＲＸは、［Ｘ４−（（Ｘ４−Ｘ１）−１６（ｍａｘ（Ｙ２，Ｙ４）−ｍｉｎ（Ｙ１，Ｙ３））／９）／２］、２ＲＹはｍａｘ（Ｙ２，Ｙ４）の位置になる。これを以下に、説明する。

ここで、大きな方の画面Ｆ２の画枠を優先した画枠Ｌ１の左上点の座標は（Ｘ１、ｍｉｎ（Ｙ１，Ｙ３））、右下点の座標は（Ｘ４、ｍａｘ（Ｙ２，Ｙ４））となる。
結合画面Ｇ５が横に長い場合は、（Ｘ４−Ｘ１）＞１６（ｍａｘ（Ｙ２，Ｙ４）−ｍｉｎ（Ｙ１，Ｙ３））／９となる。従って、結合画面Ｇ５の左上点（１ＬＸ、１ＬＹ）の１ＬＸは、［Ｘ１＋（（Ｘ４−Ｘ１）−１６（ｍａｘ（Ｙ２，Ｙ４）−ｍｉｎ（Ｙ１，Ｙ３））／９）／２］、１ＬＹはｍｉｎ（Ｙ１，Ｙ３）となる。

また、結合画面Ｇ５の右下点（２ＲＸ、２ＲＹ）の２ＲＸ、［Ｘ４−（（Ｘ４−Ｘ１）−１６（ｍａｘ（Ｙ２，Ｙ４）−ｍｉｎ（Ｙ１，Ｙ３））／９）／２］、２ＲＹはｍａｘ（Ｙ２，Ｙ４）となる。
ここでは、表示できる枠内に収めるのと同様に、（Ｘ４−Ｘ１）＞１６（ｍａｘ（Ｙ２，Ｙ４）−ｍｉｎ（Ｙ１，Ｙ３））／９の場合のみを記載している。逆の場合には、図２から図５に示した画面分割の処理と同様に計算する。
なお、ｍａｘ（ａ，ｂ）はａ，ｂのうち大きな数字を示し、ｍｉｎ（ａ，ｂ）はａ，ｂのうち小さな数字を示すものである。

図１８は、表示できる枠内に収めないで大きな方を優先する際のアスペクト比を一定に保つ場合であって特に横に隣り合う２つの画面Ｆ１とＦ２を結合する場合の計算方法を説明するための図である。
図１８において、小さな方の画面Ｆ１が画枠Ｌ１の一部の領域を占めている場合、アスペクト比を一定に保つようにして、大きな方の画面Ｆ２の画枠Ｌ２に合わせると、結合画面Ｇ６は画面Ｆ１からはみ出る部分ができる。

従って、結合画面Ｇ６の画面Ｆ１から上下にはみ出る部分をサイズ変更部分Ｒ１、Ｒ２として、画面サイズを変更する必要がある。
サイズ変更部分Ｒ１、Ｒ２の画面サイズの変更の計算は、図２から図５に示した画面分割の処理と同様に計算する。

図１９も、図１８と同様に、アスペクト比を一定に保つ場合の結合計算方法を示す図であるが、図１９の場合は、小さな画面Ｆ１が画枠Ｌ１上側部分に偏っている。
この場合も、小さな方の画面Ｆ１が画枠Ｌ１の一部の領域を占めているので、アスペクト比を一定に保つようにして、大きな方の画面Ｆ２の画枠Ｌ２に合わせるようにする。この場合も、結合画面Ｇ７は画面Ｆ１からはみ出る部分ができる。

従って、結合画面Ｇ７の画面Ｆ１から下にはみ出る部分をサイズ変更部分Ｒ３として、画面サイズを変更する必要がある。
サイズ変更部分Ｒ３の画面サイズの変更の計算は、次のようにする。
まず、サイズ変更部分Ｒ３と結合画面Ｇ７全体からサイズ変更部分Ｒ３を抜いた部分の面積比を求める。

この場合、サイズ変更部分Ｒ３対そのほかの部分は、（Ｘ２−Ｘ１）×（Ｙ４−Ｙ２）：［（Ｘ４−Ｘ１）（Ｙ４−Ｙ１）−（Ｘ２−Ｘ１）（Ｙ４−Ｙ２）］となる。
当然のことながら、図１９に示すような、１６（Ｙ４−Ｙ１）／９＞（Ｘ４−Ｘ１）の場合は、横方向にあまりが生じるので、横方向の長さ（Ｘ４−Ｘ１）を面積比で分割し、その範囲で画面サイズを変更するようにする。
逆に縦が長い場合は、横と同様に縦を分割し、サイズ変更を行う。

図２０は、アスペクト比を一定に保たない場合に、画面Ｆ１とＦ２を結合する場合の計算方法を示す図であり、図２０Ａは２つの画面が横に隣り合う場合、図２０Ｂは２つの画面が縦に隣り合う場合を示している。
図２０Ａに示すように、２つの画面Ｆ１とＦ２が横に隣り合う場合には、小さな方の画面Ｆ１に合わせると、結合画面Ｇ８は大きな方の画面Ｆ２からはみ出る部分は、図１８と同様な計算方法によりサイズ変更する。

図２１は、画面結合のシステム構成を示すブロック図である。画面隣接判定部３６が設けられている点が図９に示したシステム構成と異なっている。
図２１において、画面隣接判定部３６は、結合すべき画面同士が隣接しているか否かを判定して、選択されている画面の位置・サイズ５２を画面選択管理部３１に供給する。
画面選択管理部３１は、メモリ１７から選択されている画面の情報を取得して、選択されている画面の番号・選択されている数５１を画枠計算部３２に供給すると共にメモリ１７に書き込む。

画枠計算部３２は、メモリ１７からメモリ１７から選択されている画面の情報を取得して、選択されている子画面の位置・サイズ・その数に応じての色５３をメモリ１７に書き込み、選択されている画面位置・サイズ５４を画面サイズ計算部３４に供給する。

画面サイズ計算部３４は、選択されている画面位置・サイズ５４に基づいて結合後の新規子画面の位置・サイズ５５を計算して、画面番号管理部１６に供給する。
他の部分は、上述した図９に示した画面分割のシステム構成を示すブロック図と同様である。

具体的な画面結合の処理は、以下のようになる。
すなわち、リモコン信号解析部１５は、リモコン１３より画面結合信号を受け取る。画面選択管理部３１は、リモコン信号解析部１５がリモコン１３より画面分割信号を受け取ったときに、まだ画面を選択していなかったら、画面番号の若い番号を選択する。

画面選択管理部３１は、選択されている子画面の番号５１をメモリ１７からロードし、その画面番号の画面位置２１を画面統合部１８に出力することにより、後段のディスプレイに現在選んでいる画面に画枠を重畳して表示させるようにする。

また、画面選択管理部３１は、そのとき現在の選択されている子画面の番号と選択されている数５１をメモリ１７に保存しておく。この子画面の位置は、Ｘ，Ｙ座標と幅・高さを格納しておく。

ここで、リモコン１３で「次へ」というボタンが押されると、画面選択管理部３１は、メモリ１７より取得した選択されている子画面の番号５１から現在どの画面を選んでいるかを読み込み、その画面番号に一つ足して、画面位置が保存されているメモリ１７からその番号に対応する画面位置を読み込む。

逆に、リモコン１３で「戻る」を押されたら、画面選択管理部３１は、メモリ１７より取得した選択されている子画面の番号５１から現在どの画面を選んでいるかを読み込み、その画面番号から番号を一つ減らし、画面位置が保存されているメモリ１７からその番号に対応する画面位置を読み込む。

画枠計算部３２は、その画面位置に選択されているという画枠位置を計算して、画枠生成部２５に供給する。画枠生成部２５は、画枠位置に画枠を生成して画面統合部１８に出力することにより、後段のディスプレイに現在選んでいる画面に画枠を重畳して表示する。

ここで、画面選択管理部３１は、リモコン１３より画面選択という信号を受け取ったときには、どの画面が選択されたのかを調べるために、メモリ１７から現在選択されている画面番号を読み込む。

次に、リモコン１３より二つ目以降の結合すべき画面を選ぶときには、リモコン信号解析部１５は、画面結合信号を受け取る。画面選択管理部３１は、リモコン信号解析部１５がリモコン１３より画面分割信号を受け取ったときに、まだ画面を選択していなかったら、画面番号の若い番号を選択する。

画面選択管理部３１は、二つ目以降の選択されている子画面の番号５１をメモリ１７からロードし、その画面番号の画面位置２１を画面統合部１８に出力することにより、後段のディスプレイに現在選んでいる画面に画枠を重畳して表示させるようにする。また、画面選択管理部３１は、そのとき現在の選択されている子画面の番号と選択されている数５１をメモリ１７に保存しておく。

ここで、リモコン１３で「次へ」というボタンが押されると、画面選択管理部３１は、メモリ１７より取得した二つ目以降の選択されている子画面の番号５１から現在どの画面を選んでいるかを読み込み、その画面番号に一つ足して、画面位置が保存されているメモリ１７からその番号に対応する画面位置を読み込む。ただし、画面がすでに選択されていたら、もう一つ番号を足す。

逆に、リモコン１３で「戻る」を押されたら、画面選択管理部３１は、メモリ１７より取得した二つ目以降の選択されている子画面の番号５１から現在どの画面を選んでいるかを読み込み、その画面番号から番号を一つ減らし、画面位置が保存されているメモリ１７からその番号に対応する画面位置を読み込む。同様に、すでに選択されていたら、もう一つ番号を引く。

ここで、画面選択管理部３１は、リモコン１３より画面選択という信号を受け取ったときには、どの画面が選択されたのかを調べるために、メモリ１７から現在選択されている画面番号を読み込む。画面隣接判定部３６は、その画面番号の座標位置より、一つ目に選択されたものと隣り合うかを判定する。

また、画枠計算部３２は、そのときメモリ１７から現在選択されている画枠の色も読み込み、一つ目とは異なる色になるようにする。
次に、リモコン１３より結合したい二つ以上の画面が選択されたら、画面サイズ計算部３４は選択された画面から画面サイズを計算する。

画面サイズ計算部３４は画面サイズの計算を実行し、画面番号管理部１６に結合後の新規子画面の数・位置・サイズ５５を供給する。これにより、画面番号管理部１６は、画面番号と画面位置を対応させて、これをメモリ１７に保存する。
これにより、画像統合部１８で結合された位置で統合された画面を生成し、全画面を合成し、後段のディスプレイに出力を行う。

次に、画面のサイズをどのような場合に変更するかどうかについて、その具体的な例について説明する。
例えば、画面のサイズを変更できるようにすることにより、視聴者自身が興味のある番組であったら画面のサイズを大きくして、じっくり試聴することができる。

また、Ｎ人の人で見ている受信チャンネルの番組だったら画面が大きくないと見にくい。
また、画面のサイズを変更することにより、見え方がどうなるかみてみたいというようなニーズが発生する。このような場合には、画面のサイズを変更する必要性が生じる。

自動的に画面サイズを決定する場合に、画面のサイズを決定する条件としては以下のようなものが考えられる。
第１に、分割された画面（子画面）に対しての音量の比率によって画面サイズが変更されるようにする。
第２に、子画面に対して、さらにいくつの子画面があるかによって画面サイズが変更されるようにする。

第３に、同じ受信チャンネルを見ている人が他にいる場合に画面サイズがその見ている同じ画面の数に応じて変更されるようにする。
第４に、画像の特徴量によって画面サイズが変更されるようにする。
第５に、放送内容に応じて画面のサイズが変更されるようにする。

まず、一つ目の各子画面の音量の比率によっての画面サイズが変更される場合について説明する。各子画面の音量がコンテンツの盛り上がりにより変化する。例えば、サッカーの試合で、日本対ＸＸＸ国などのときに、敵陣の前でのアクション時には、解説の人の音量も大きくなる。また、サポーター（応援）の人の声も大きくなり、総じて音量（出力音量）というものがリモコンで操作する以外にも変化する。

それは、実際に登場する人の興味が向上することを意味すると考えられる。そこで、その変化により、各子画面の出力音量の大きさの比率に応じて、システム本体は、各子画面の画面サイズを変更する。それにより、視聴者の興味のある番組を大きめの画面サイズにすることが可能となる。

二つ目の各子画面に対する子画面の数の比率によっての画面サイズが変更される場合について説明する。分割方法の部分で詳細は述べたが、各子画面に対してさらに画面分割を行うことにより、子画面の中に子画面を作成することができる。そのときに、システム本体は、子画面の中にどのくらい数の子画面があるかをサイズ変更の基準とすることで、より見易い画面サイズに変更することが可能となる。

三つ目の同じ受信チャンネルの番組を見ている人が他にいる場合に画面サイズがその見ている同じ画面の数に応じて変更される場合について説明する。各子画面の受信チャンネルを変更することにより、大画面の中の子画面において同じ受信チャンネルを表示している他の画面がある場合が考えられる。このとき、システム本体は、例えば二つ同じ受信チャンネルであったら二つの画面を一つにすることにより単純には二倍の大きさで試聴することが可能になる。

四つ目の画像の特徴量によって画面サイズが変更されるについて説明する。画像の特徴量としては、例えば、画像のエッジの急峻さ具合い、色合い、ノイズ、平坦の割合といったものが考えられる。

例えば、システム本体は、色合いがきついもの（彩度が大きなもの）は画面サイズを小さくして、逆のものは画面サイズを大きくすると、視聴環境を向上させて視聴者の気持を落ち着かせることができる。

最後に、五つ目の放送内容に応じて画面のサイズが変更されるについて説明する。例えば、番組に合成表示（ＯＳＤ（on-screen display））されるテロップの大きさはある一定以上の大きさがないと視聴者はこれを読み取ることができない。そこで、システム本体は、テロップを抽出してそのサイズがある一定サイズを下回ったときに、画面のサイズを変更する。その結果、テロップなどの文字は見易くなる。

図２２は、画面サイズ変更（自動：音量比）処理を示すフローチャートである。
図２２は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。

図２２において、画面サイズ変更（自動：音量比）の処理を開始（ｎ＝１）すると、まず、画面中のｎ階層目の子画面の音を取得する（ステップＳ２１）。具体的には、システム本体はディスプレイに表示されている複数の画面のうちの各階層の子画面の音声信号を取得する。すなわち、システム本体は画面番号管理部１６を参照し、画面・階層毎の音量を取得する。

ここで、次の階層に子画面があるか否かを判断する（ステップＳ２２）。具体的には、システム本体は２階層目以降の子画面があるか否かを、画面番号管理部１６の画面番号により判断する。

判断ステップＳ２２で、次の階層に子画面があるときは、ステップＳ２３でｎ＝ｎ＋１の処理をした後に、ステップＳ２１へ戻って、ステップＳ２１〜ステップＳ２２までの処理及び判断を繰り返し、次の階層に子画面がないときは、取得した音声信号の振幅の大きさを比較する（ステップＳ２４）。具体的には、システム本体は取得したｎ階層目の子画面の音声信号の一定期間の振幅のレベルを比較する。

次に、どのような比率になっているのかを階層ごとに算出する（ステップＳ２５）。具体的には、システム本体は階層ごとに子画面の音声信号の音量比を算出する。
そして、求まった比率に応じて、画面サイズを変更する（ステップＳ２６）。具体的には、システム本体は階層ごとに子画面の音声信号の音量比率に対応するようにして、画面サイズ計算部３４により画面サイズを変更する。

図２３は、音量と画面の比率計算方法を示す図である。
図２３に示す音量と画面の比率計算方法では、システム本体は、単に画面毎の音の大きさではなく、実際の画面に入力される音声信号の波形の振幅Ａｎをそれぞれの画面Ｅｎ毎に取得する。これにより、システム本体は、画面Ｅｎ毎の音声信号の波形の振幅Ａｎの音量比率を求め、音量比率に対応するように画面サイズを変更する。

図２４は、第１分割画面と、そのひとつをさらに分割したときの分割画面に対して図２３に示した音量と画面の比率計算方法を適用した例を示す図である。
図２４に示す音量と画面の比率計算方法では、画面毎に求まった振幅を用いて、どのように比率を計算するかについて説明する。
まず、システム本体は、ある階層において、画面Ｅｎ毎に音声信号の波形の振幅Ａｎを取得する。これは図２３で説明したとおりである。

ここで、システム本体は、画面が分割されていたら、分割された階層すべてにおける最大値を取得する。
例えば、第１の階層で各画面が画面Ｈ１，画面Ｈ２，画面Ｈ３，画面Ｈ４に分割されていて、さらに、第２の階層で画面Ｈ２が画面Ｈ２１，画面Ｈ２２，画面Ｈ２３，画面Ｈ２４に分割されていたら（数字は音量を示す値）、各画面の音量比率は以下のようになる。

すなわち、第１の階層（Ｈ１〜Ｈ４）における画面毎の音量比率は、７１で示すように、Ｈ１：Ｈ２（Ｈ２３）：Ｈ３：Ｈ４＝５：１０（最大値）：７：３ということになる。
また、第２の階層（Ｈ２１〜Ｈ２４）における画面毎の音量比率は、７２で示すように、Ｈ２１：Ｈ２２：Ｈ２３：Ｈ２４＝７：６：１０：９となる。

図２５は、図２４に示した音量の比率に応じて、画面サイズを計算した場合の計算方法の例を説明するための図である。
図２５に示す画面サイズの計算方法では、Ｈ１：Ｈ２：Ｈ３：Ｈ４＝ａ：ｂ：ｃ：ｄ（音量を示す値）のように音量の比率が求まったときに、どのように計算し画面サイズをどの位置に変更するのかについて説明する。

まず、中心の座標（ｘ，ｙ１），（ｘ，Ｙ２）を示すと、Ｈ１：Ｈ２：Ｈ３：Ｈ４＝ｘｙ１：（Ｘ−ｘ）ｙ２：ｘ（Ｙ−Ｙ１）：（Ｘ−ｘ）（Ｙ−ｙ２）＝ａ：ｂ：ｃ：ｄのような関係になる。
これをシステム本体が解くと次のようになる。

ｘ＝（ａ＋ｃ）Ｘ／（ａ＋ｂ＋ｃ＋ｄ）、ｙ１＝ａＹ／（ａ＋ｃ）、ただし、ａ＋ｃ≠０、ｙ２＝ｂＹ／（ｂ＋ｄ）、ただし、ｂ＋ｄ≠０である。

ただし、ａ＋ｃ＝０とｂ＋ｄ＝０は同時には起こらない。従って、ａ＋ｃ＝０のときは、ｙ１＝０となる。ｂ＋ｄ＝０のときは、ｙ２＝０となる。

図２６は、画面サイズ変更のシステム構成を示すブロック図である。
図２６において、各処理部１２は、特徴量を取得するための信号（映像・音声）６１を特徴量計算部３７に供給する。特徴量取得計算部３７は、特徴量を取得するための信号（映像・音声）６１に基づいて計算した各特徴量６３を画面サイズ計算部３４に供給する。

画面サイズ計算部３４は、各特徴量６３に基づいて計算した変更前後の画面サイズと位置６２を画面番号管理部１６に供給する。各特徴量６３とは、音量、子画面数、画面特徴量、放送内容を示す。
他の部分は、上述した図９に示した画面分割のシステム構成を示すブロック図と同様である。

具体的な画面サイズ変更の処理は、以下のようになる。
すなわち、各特徴量６３が音量の場合、リモコン１３によって、このモードが設定されたら、特徴量計算部３７は各特徴量６３として音量を抽出し、画面サイズ計算部３４に供給する。

画面サイズ計算部３４は画面番号管理部１６を参照し、各特徴量６３として音量に基づいて画面・階層毎の子画面の画面サイズを計算する。このとき、画面番号管理部１６は、メモリ１７より子画面のデータを読み込む。

そこで、画面サイズ計算部３４は取得した子画面の音量によって、どのように画面を変更するかを決める画面サイズを計算する。画面番号管理部１６は、その画面サイズに基づいて、メモリ１７に記憶されている各画面と各画面サイズの対応関係を変更する。

各処理部１２は計算された各画面の画面サイズを読み込み、メモリ１７に保存される画面表示の位置２１を調整する。
これにより、画像統合部１８で結合された位置２１で統合された画面を生成し、全画面を合成し、後段のディスプレイに出力を行う。

また、各特徴量６３が子画面数の場合、リモコン１３によって、このモードが設定されたら、特徴量計算部３７は各特徴量６３として子画面の数を抽出し、画面サイズ計算部３４に供給する。

画面サイズ計算部３４は画面番号管理部１６を参照し、各特徴量６３として子画面の数に基づいて画面・階層毎の子画面の画面サイズを計算する。このとき、画面番号管理部１６は、メモリ１７より子画面のデータを読み込む。

そこで、画面サイズ計算部３４は取得した子画面の数によって、どのように画面を変更するかを決める画面サイズを計算する。画面番号管理部１６は、その画面サイズにもとづいて、メモリ１７に記憶されている各画面と各画面サイズの対応関係を変更する。

各処理部１２は計算された各画面の画面サイズを読み込み、メモリ１７に保存される画面表示の位置２１を調整する。
これにより、画像統合部１８で結合された位置２１で統合された画面を生成し、全画面を合成し、後段のディスプレイに出力を行う。

また、各特徴量６３が画面特徴量の場合、リモコン１３によって、このモードが設定されたら、特徴量計算部３７は各特徴量６３として画面特徴量を抽出し、画面サイズ計算部３４に供給する。

画面サイズ計算部３４は画面番号管理部１６を参照し、各特徴量６３として画面特徴量に基づいて画面・階層毎の子画面の画面サイズを計算する。このとき、画面番号管理部１６は、メモリ１７より子画面のデータを読み込む。

そこで、画面サイズ計算部３４は取得した画面特徴量によって、どのように画面を変更するかを決める画面サイズを計算する。画面番号管理部１６は、その画面サイズにもとづいて、メモリ１７に記憶されている各画面と各画面サイズの対応関係を変更する。

各処理部１２は計算された各画面の画面サイズを読み込み、メモリ１７に保存される画面表示の位置２１を調整する。
これにより、画像統合部１８で結合された位置２１で統合された画面を生成し、全画面を合成し、後段のディスプレイに出力を行う。

また、各特徴量６３が放送内容（テロップ）の場合、リモコン１３によって、このモードが設定されたら、特徴量計算部３７は各特徴量６３としてテロップを抽出し、画面サイズ計算部３４に供給する。

画面サイズ計算部３４は画面番号管理部１６を参照し、各特徴量６３としてテロップに基づいて画面・階層毎の子画面の画面サイズを計算する。このとき、画面番号管理部１６は、メモリ１７より子画面のデータを読み込む。

そこで、画面サイズ計算部３４は取得したテロップの長さによって、どのように画面を変更するかを決める画面サイズを計算する。画面番号管理部１６は、その画面サイズにもとづいて、メモリ１７に記憶されている各画面と各画面サイズの対応関係を変更する。

各処理部１２は計算された各画面の画面サイズを読み込み、メモリ１７に保存される画面表示の位置２１を調整する。
これにより、画像統合部１８で結合された位置２１で統合された画面を生成し、全画面を合成し、後段のディスプレイに出力を行う。

図２７は、画面サイズ変更の各処理部の構成図である。
図２７において、各処理部１２は、基本的には、図８に示した通常視聴時と大きく違わないが、各処理部１２が映像信号と音声信号６１を図２６の特徴量計算部３７に送る必要がある。これにより、画面サイズ計算部３４が計算した画面サイズの画面を各処理部１２のサイズ変更処理部２３が出力し、画面統合部１８がサイズ変更後の画像を統合して、後段のディスプレイに出力する。

図２８は、画面サイズ（自動：子画面数）処理を示すフローチャートである。
図２８は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。

図２８において、画面サイズ変更（自動：子画面数）の処理を開始（ｎ＝１）すると、まず、画面中のｎ階層目の子画面の数を取得する（ステップＳ３１）。具体的には、システム本体はディスプレイに表示されている複数の画面のうちの各階層の子画面の数を取得する。すなわち、リモコン１３によって、このモードが設定されたら、システム本体は、画面番号管理部１６より子画面の数を読み込む。

ここで、次の階層に子画面があるか否かを判断する（ステップＳ３２）。具体的には、システム本体は２階層目以降の子画面があるか否かを、画面番号管理部１６の画面番号により判断する。

判断ステップＳ３２で、次の階層に子画面があるときは、ステップＳ３３でｎ＝ｎ＋１の処理をした後に、ステップＳ３１へ戻って、ステップＳ３１〜ステップＳ３２までの処理及び判断を繰り返し、次の階層に子画面がないときは、子画面の数を足し合わせる（ステップＳ３４）。具体的には、システム本体は取得したｎ階層目の子画面の子画面の数を足し合わせる。

次に、どのような比率になっているのかを階層ごとに算出する（ステップＳ３５）。具体的には、システム本体は階層ごとに子画面の数を算出して、その比率を求める。

そして、求まった比率に応じて、画面サイズを変更する（ステップＳ３６）。具体的には、システム本体は階層ごとに子画面の数の比率に対応するようにして、画面サイズ計算部３４により画面サイズを変更する。

ここで、各階層ごとにサイズを変更するが、そのとき画面サイズの大きな階層（上の階層）から順番に変更を行う。例えば、図２４の画面の場合であれば、第１階層目の画面Ｈ１、Ｈ３，Ｈ４のサイズを変更後、第２階層目の画面Ｈ２１、Ｈ２２、Ｈ２３，Ｈ２４のサイズを変更する。

図２９は、子画面の数の計算方法を示す図である。
図２９に示すように画面が分割されていたとき、システム本体は子画面の数を次のように計算する。

すなわち、第１階層目（Ｈ１〜Ｈ４）の子画面数８１は、Ｈ１：Ｈ２：Ｈ３：Ｈ４＝４：７：１：１となる。また、第２階層目の左上（Ｈ１１〜Ｈ１４）の子画面数８２は、Ｈ１１：Ｈ１２：Ｈ１３：Ｈ１４＝１：１：１：１となる。

また、第２階層目の右上（Ｈ２１〜Ｈ２４）は、Ｈ２１：Ｈ２２：Ｈ２３：Ｈ２４＝１：４：１：１となる。
このように、子画面数が求まったら、あとは、上述したように第１階層目から順にこれに対応して画面サイズを変更していく。

図３０は、画面サイズ変更（自動：チャンネル数）処理を示すフローチャートである。
図３０は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。

図３０において、画面サイズ変更（自動：チャンネル数）の処理を開始（ｎ＝１）すると、まず、画面中のｎ階層目の子画面のチャンネル数を取得する（ステップＳ４１）。具体的には、システム本体はディスプレイに表示されている複数の画面のうちの各階層の子画面の受信チャンネルを取得する。

すなわち、リモコン１３によって、このモードが設定されたら、システム本体は、画面番号管理部１６より子画面の受信チャンネルを読み込む。
ここで、次の階層に子画面があるか否かを判断する（ステップＳ４２）。具体的には、システム本体は２階層目以降の子画面があるか否かを、画面番号管理部１６の画面番号により判断する。

判断ステップＳ４２で、次の階層に子画面があるときは、ステップＳ４３でｎ＝ｎ＋１の処理をした後に、ステップＳ４１へ戻って、ステップＳ４１〜ステップＳ４２までの処理及び判断を繰り返し、次の階層に子画面がないときは、取得したチャンネルの数を足し合わせる（ステップＳ４４）。具体的には、システム本体は取得したｎ階層目の子画面の同じ受信チャンネルの数を足し合わせる。

次に、どのような比率になっているのかを階層ごとに算出する（ステップＳ４５）。具体的には、システム本体は階層ごとに子画面の受信チャンネルの比率を算出して、その比率を求める。

そして、求まった比率に応じて、画面サイズを変更する（ステップＳ４６）。具体的には、システム本体は階層ごとに子画面の受信チャンネルの比率に対応するようにして、画面サイズ計算部３４により画面サイズを変更する。

図３１は、チャンネル数からの比率を示す図である。このチャンネル数とは、各処理部１２のチューナー２２で受信された番組の受信チャンネルの番号を示す。
チャンネル数からの比率は、以下のようにして求められる。

図３１において、まず、画面全体のチャンネル数を求める。この場合、チャンネル数「１」が画面Ｈ１１及び画面Ｈ３の二つである。また、チャンネル数「４」が画面Ｈ１３、画面Ｈ２１及び画面Ｈ２２１の三つである。また、チャンネル数「８」が画面Ｈ１２及び画面Ｈ２３の二つである。

また、チャンネル数「１０」が画面Ｈ１４及び画面Ｈ２２４の二つである。残りは、チャンネル数「２」は画面Ｈ４，チャンネル数「３」は画面Ｈ２４，チャンネル数「６」は画面Ｈ２２２であり，チャンネル数「１２」は画面Ｈ２２３であり，いずれも一つである。これら画面全体のチャンネル数は、チューナー２２で受信中のチャンネル数をカウントすることにより求められる。求める比率は、これらの個数の比率となる。

また、画面全体とは別に、子画面毎に同じチャンネル数がどのくらいずつあるのかを調べる。これは画面番号管理部１６で管理している子画面にどのチャンネル数の番組が映っているのかをカウントすることで求められる。例えば、一階層目の子画面Ｈ１〜Ｈ４の場合、子画面Ｈ２のみ、画面Ｈ２１及び画面Ｈ２２１でチャンネル数「４」が二つとなる。

二階層目の子画面Ｈ１１〜Ｈ１４、Ｈ２１〜Ｈ２４、三階層目の子画面Ｈ２２１〜Ｈ２２４以降は同じチャンネル数はない。全部一つずつである。システム本体は各階層毎にこれらの比率を保持する。

サイズ変更方法を以下に説明する。画面サイズを変更する際、第１に、受信チャンネルの数に応じて画面サイズを変更する場合、第２に、子画面ごとに同じ受信チャンネルの画面が隣り合っていた場合に結合して変更する場合の二通りがある。

まず、第１の受信チャンネルの数に応じて画面サイズを変更する場合について説明する。
まず、システム本体は画面数と画面位置の対応テーブルをもつ。具体的には、図２６のメモリ１７が画面数と画面位置の対応テーブルを保存する。

このテーブルは、１−１００の画面数に対応させてある。このとき、上述した図３１の例を使うと、チャンネル数「１」が二つ、チャンネル数「４」が三つ、チャンネル数「８」が二つ、チャンネル数「１０」が二つ、残り（４チャンネル）は一つである。

合計１３の子画面があるので、画面サイズ計算部３４は、メモリ１７のテーブルよりチャンネル数の「１３」に対応した画面レイアウト情報を取得し、それに基づいて画面表示位置を決める。

その後、チャンネル数「１」なら画面は二つあるので、画面統合部１８は、二つの子画面Ｈ１１とＨ３を結合させて表示させる処理を行う。他のチャンネル数「４」、チャンネル数「８」についても、画面統合部１８は、同様に結合させて、後段のディスプレイに結合画面を表示することで、画面全体をおおよそのチャンネル数の比率に分割することができる。

図３２は、子画面ごとに同じチャンネルの画面が隣り合っていた場合に結合して変更する場合のサイズ変更方法を示す図である。
次に、第２の子画面ごとに同じチャンネルの画面が隣り合っていた場合に結合して変更する場合について説明する。

例えば、子画面ごとに同じチャンネルの画面が隣り合っている場合というのは、結合サイズ変更１０１で示す部分のチャンネル数「４」の画面Ｈ２１と画面Ｈ２２１のことである。
このような結合サイズ変更１０１で示す状態があるときに、その二つの画面を結合させる。結合のやり方は、上述したとおりである。

図３３は、画面サイズ変更の他のシステム構成を示すブロック図である。
特徴量としてチャンネル数を用いる例について説明する。
図３３において、特徴量取得計算部３７は、メモリ１７から特徴量を取得するための信号（チャンネル）を取得して、画面毎の特徴量であるチャンネル数１１３を計算して、画面サイズ計算部３４に供給する。

画面サイズ計算部３４は、画面毎の特徴量であるチャンネル数１１３に基づいて画面サイズを計算して、変更前後の画面サイズと位置１１２を画面番号管理部１６に供給する。
なお、ここでは、各処理部１２のチューナー２２で受信された番組の受信チャンネルの番号が画面数と画面位置の対応テーブルと共にメモリ１７に保存されている。
他の部分は、上述した図９に示した画面分割のシステム構成を示すブロック図と同様である。

また、各特徴量１１３がチャンネル数の場合、リモコン１３によって、このモードが設定されたら、特徴量取得計算部３７は各特徴量１１３としてチャンネル数を抽出し、画面サイズ計算部３４に供給する。

画面サイズ計算部３４は画面番号管理部１６を参照し、各特徴量１１３としてチャンネル数に基づいて画面・階層毎の子画面の画面サイズを計算する。このとき、画面番号管理部１６は、メモリ１７より子画面のデータを読み込む。

そこで、画面サイズ計算部３４は取得した特徴量のチャンネル数によって、どのように画面を変更するかを決める画面サイズを計算する。画面番号管理部１６は、その画面サイズにもとづいて、メモリ１７に記憶されている各画面と各画面サイズの対応関係を変更する。

各処理部１２は計算された各画面の画面サイズを読み込み、メモリ１７に保存される画面表示の位置２１を調整する。
これにより、画像統合部１８で結合された位置２１で統合された画面を生成し、全画面を合成し、後段のディスプレイに出力を行う。

図３４は、画面サイズ変更（自動：画像特徴量）処理を示すフローチャートである。
図３４は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。

図３４において、画面サイズ変更（自動：画像特徴量）の処理を開始（ｎ＝１）すると、まず、画面中のｎ階層目の子画面の画像特徴量を取得する（ステップＳ５１）。具体的には、システム本体はディスプレイに表示されている複数の画面のうちの各階層の子画面の画像特徴量を取得する。

すなわち、リモコン１３によって、このモードが設定されたら、システム本体は、画面番号管理部１６より子画面の画像特徴量を読み込む。
ここで、次の階層に子画面があるか否かを判断する（ステップＳ５２）。具体的には、システム本体は２階層目以降の子画面があるか否かを、画面番号管理部１６の画面番号により判断する。

判断ステップＳ５２で、次の階層に子画面があるときは、ステップＳ５３でｎ＝ｎ＋１の処理をした後に、ステップＳ５１へ戻って、ステップＳ５１〜ステップＳ５２までの処理及び判断を繰り返し、次の階層に子画面がないときは、取得した画像特徴量を足し合わせる（ステップＳ５４）。具体的には、システム本体は取得したｎ階層目の子画面の同じ画像特徴量を足し合わせる。

次に、どのような比率になっているのかを階層ごとに算出する（ステップＳ５５）。具体的には、システム本体は階層ごとに子画面の受信チャンネルの比率を算出する。
そして、求まった比率に応じて、画面サイズを変更する（ステップＳ５６）。具体的には、システム本体は階層ごとに子画面の画像特徴量の比率に対応するようにして、画面サイズ計算部３４により画面サイズを変更する。

画像特徴量より画面サイズの比率を算出する具体例について説明する。
画面のさまざまな特徴量に着目し、そこから比率を求めて画面サイズを変更することを考える。画面サイズの変更方法は、図３４のステップＳ５６のとおりである。

ここでは、特徴量よりどのようにして画面サイズの比率を算出するかを説明する。
特徴量としては、第１に、画像のエッジの急峻さ具合、第２に、画像の彩度、第３に、画像のノイズ、第４に、画像の平坦の割合などが考えられる。
第１の画像のエッジの急峻さ具合を特徴量として用いる場合について説明する。

この場合、画像のエッジの急峻さ、すなわち、画像のエッジの傾き具合を検出する。傾きは、隣り合う画素の差分であるので、映像信号の１フレームの全サンプルにおける隣り合う画素の差分絶対値和を求め、それを全サンプル数で割ることにより求められる。この求められた値を特徴量とする。数１にエッジの傾きの計算式を示す。

［数１］
Σ（隣接差分）／全サンプル数

画像のエッジが急峻であればあるほど周波数帯域が高いということがわかるので、そのような広帯域の入力画像はなるべく広い面積の画面に表示し、逆に低帯域の入力画像は狭い範囲の画面に表示し、なるべく広帯域に表示するように処理する。

全画面で上記の特徴量を求め、子画面が複数ある場合には、子画面中の最大値を利用する。例えば、映像信号から分離される輝度のみを利用することができる。この輝度値の画面毎の比を特徴量として算出する。

この効果として、エッジが非常に急峻な画像であった場合、エッジがぎらぎらとするため折り返しノイズが目立つので、画面サイズを大きくすることによって、折り返しノイズなどを低減することができる。

第２の画像の彩度を特徴量として用いる場合について説明する。
この場合、彩度の高い画像は、視聴者の目に優しくないので、そういった画像は狭い範囲の画面に表示し、逆にそうではなくて視聴者の目に優しい彩度の低い画像はより広い範囲の画面に表示する。

例えば、画像の彩度はある点における映像信号のＲＧＢの値のうち最大値と最小値の差を最大値で割ったときの値となる。この場合、彩度は０〜１の値で得られる。全画面で上記の特徴量を求め、子画面が複数ある場合には、子画面中の最大値を利用する。

ここでは、画像の彩度が大きいほど画面を小さくしたいので、求まった彩度を１から引いた値を利用している。求められた値の画面毎の比を特徴量として算出する。数２に彩度の傾きの計算式を示す。

［数２］
１−Σ（彩度）／全サンプル数

第３の画像のノイズを特徴量として用いる場合について説明する。
この場合、ノイズが多い画像は視聴者にとって見苦しいので狭い範囲の画面に表示し、逆にノイズの少ない画像は広い範囲の画面に表示する。

例えば、画像のノイズは、映像信号の時刻ｔにおける輝度値Ｙ（ｔ）と時刻ｔ−１における輝度値Ｙ（ｔ−１）の差分絶対値和を全サンプル数で割ることにより求める。ただし、この場合、動きの大きな部分ではこの値は大きくなってしまうので、差分絶対値がある程度小さいところのみを採用することにする。例えば、差分絶対値が５以下などのみを採用する。

ここでは、画像のノイズが大きいほど画面を小さくしたいので、求まったノイズを５から引いた値を利用している。この求められた値の画面毎の比を特徴量として算出する。数３にノイズの計算式を示す。

［数３］
５−Σ（Ｙ（ｔ）−Ｙ（ｔ−１））／全サンプル数

第４の画像の平坦の割合を特徴量として用いる場合について説明する。
この場合、平坦の割合が高いほど狭い領域の画面に表示し、逆にその割合が小さいほど広い領域の画面に表示したい。これは、変化にとんだ画面をより広い領域で見たいという視聴者の視聴環境の要求のためである。

例えば、画像の平坦の割合は、システム本体は映像信号のある注目画素をみたときのある領域における画素値の変化量ＤＲを取得する。そして、その画素値の変化量ＤＲが小さいとき、例えば画素値の変化量ＤＲが１０以下のときをシステム本体は画像が平坦であると仮定し、そのサンプルを数え、全サンプル数で割る。

このときの画像の平坦の割合の値は、０〜１となる。ここで、画素値の変化量ＤＲとは、いわゆるダイナミックレンジのことで、ある領域において画素値の最大値と最小値との差分を示している。

従って、画素値の変化量ＤＲが小さいところは、最大値と最小値の差分が小さいところとなる。
ここで、画素値の変化量ＤＲが１０以下のときを平坦であると仮定する際の、１０は画素値を８ビットで表現したときの１０の値を示す。

すなわち、画素値が０〜２５５まで変化するとしたときに、ある領域においての変化量（ＤＲ）が１０以下ならほとんどその領域は変化していないので画像は平坦であると判定することができる。

この１０という数値は、例示なので条件を厳しくするのであればこの数値を小さくするとある領域はより平坦の部分しか該当しなくなる。
ここでは、割合が大きいほど画面を小さくしたいので、求まった割合を１から引いた値を利用している。この求められた値を比として算出する。数４に画像の平坦の割合の計算式を示す。

［数４］
１−Σ（ある領域におけるＤＲが小さいところ）／全サンプル数

この効果として、平坦な割合が多い画面は情報量としては少ないと考えられるので、情報量の多いものにより広い面積の画面を割り当てることにより、よりたくさんの情報を取得することができる。

この例では、このような各種画像特徴量は、映像信号の各処理部１２における信号処理過程で検出されて、メモリ１７に保存されているものとする。

図３５は、画面サイズ変更（自動：放送内容）処理を示すフローチャートである。
図３５は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。

図３５において、画面サイズ変更（自動：放送内容）の処理を開始（ｎ＝１）すると、まず、画面中のｎ階層目の子画面のテロップを取得する（ステップＳ６１）。具体的には、システム本体はディスプレイに表示されている複数の画面のうちの各階層の子画面のテロップを取得する。

すなわち、リモコン１３によって、このモードが設定されたら、システム本体は、画面番号管理部１６より子画面のテロップを読み込む。
ここで、次の階層に子画面があるか否かを判断する（ステップＳ６２）。具体的には、システム本体は２階層目以降の子画面があるか否かを、画面番号管理部１６の画面番号により判断する。

判断ステップＳ６２で、次の階層に子画面があるときは、ステップＳ６３でｎ＝ｎ＋１の処理をした後に、ステップＳ６１へ戻って、ステップＳ６１〜ステップＳ６２までの処理及び判断を繰り返し、次の階層に子画面がないときは、取得したテロップサイズがどのようになっているかを調べる（ステップＳ６４）。具体的には、システム本体は取得したｎ階層目の子画面ごとのテロップサイズを求める。

そして、求まったテロップサイズに応じて、画面サイズを変更する（ステップＳ６５）。具体的には、システム本体は階層ごとに子画面のテロップサイズに対応するようにして、画面サイズ計算部３４により画面サイズを変更する。

ここで、以下のようにして検出された画面毎のテロップは、予めメモリ１７に保存されているものとする。
すなわち、テロップサイズの検出の際に、システム本体は画面中に二値エッジがどこにあるかを調べ、二値エッジが存在したときにどのくらいの範囲（矩形）であるかを調べることにより、テロップサイズを求める。

具体的には、下記のようにしてテロップサイズを求める。
第１に、映像信号の隣接画素差分の大きなところがどこかを探す。テロップ位置は、画面の上下左右が多いからである。
第２に、周辺も同じくらいの画素差分になっているか調べる。

第３に、もし周辺も同じくらいの画素差分になっていたら、さらに広い領域をみて、どのくらいの範囲でそのような差分が分布しているのか調べる。
第４に、その範囲（矩形）で水平方向に長いときには、縦のサイズをテロップのサイズとし、逆に縦方向に長いときには、横のサイズをテロップのサイズとする。

画面サイズ変更方法は以下のようになる。
すなわち、テロップのサイズがわかったときに画面のサイズを変更する際に、システム本体は変更方法として、第１にテロップのみサイズを変更する場合、第２にテロップの大きさにあわせて、画面サイズを変更する場合の二通り考えられる。

第１のテロップのみサイズを変更する場合について説明する。
矩形のサイズがわかっているので、システム本体はその部分に周知の画像補間技術を用いて拡大する。その際、システム本体はサイズが見やすい値を超えるサイズにまで拡大する。そのサイズは、最初に初期値として視聴者に入力させるようにすることで対応する。

また、その際、画面に入りきらない場合には、隣の画面にまたいでもよいものとする。もしくは、またぐのができない場合には、その子画面のサイズを大きくすることで対応する。

次に、第２のテロップの大きさにあわせて、画面サイズを変更する場合について説明する。
システム本体は画面サイズをテロップのサイズから何倍に拡大表示すればよいのかを示す入力された画面サイズを取得する。

入力のサイズがａで基準サイズがｂのときには、拡大率はｂ／ａとなる。なお、基準サイズは、最初に初期値としてユーザーに入力してもらうようにする。
具体的には、システム本体はテロップの位置を取得する。その位置が、上下左右であるかによって、システム本体はズームの中心位置を変更する。例えば、テロップの位置が下なら、システム本体は下の真ん中を中心に拡大を行う。

システム本体はメモリ１７から画面の位置を取得できるので、その数値を用いて計算する。画面の拡大を行ったときに今までの画枠からはみ出る部分について、どのくらいはみ出るのかを拡大率のその画面サイズから計算する。

システム本体は画面位置より上下左右にどの画面があるかわかるので、隣接している画面サイズをはみ出てしまった分だけ小さくする。

図３６は、画面拡大処理を示すフローチャートである。
図３６は、本発明の一実施の形態による画面拡大処理を示すフローチャートである。図３６は、システム本体のコンピュータが番組同時視聴プログラムを実行することにより実現される処理を示している。

図３６において、まず、拡大したい画面を一つ選択し、決定する（ステップＳ７１）。具体的には、リモコンからの選択及び決定操作に基づいて、システム本体はディスプレイに表示されている複数の画面のうちの拡大すべき画面を決定する。

次に、選ばれた画面を、どこを中心にどのくらいまで拡大したいのかを決定するための中心位置と拡大サイズの決定をする（ステップＳ７２）。具体的には、システム本体はディスプレイ上で決定された画面にカーソルを表示して指定された中心位置を決定して、指定された拡大サイズを決定する。

ここで、カーソルを視聴者が動かし、拡大位置を決定する。具体的には、リモコンからの位置指定及び決定操作に基づいて、システム本体はディスプレイに表示されている拡大すべき画面内で分割位置を決定する。

そこで、拡大することで画枠よりはみ出た部分の処理をする（ステップＳ７３）。具体的には、システム本体はディスプレイ上で決定された拡大位置及び拡大サイズで画面を拡大した場合に、拡大後に画枠からはみ出した部分の画面サイズを変更する。例えば、分割前後でアスペクト比を一定に保つように画面サイズを変更する。

そして、ほかに拡大を行いたい画面はあるか否かを判断する（ステップＳ７４）。具体的には、システム本体は他のリモコンから他の画面拡大の選択及び決定操作があるか否かを判断する。

判断ステップＳ７４で、他のリモコンから他の画面拡大の選択及び決定操作があるときは、ステップＳ７１へ戻って、ステップＳ７１〜ステップＳ７４までの処理及び判断を繰り返す。
判断ステップＳ７４で、他のリモコンから他の画面拡大の選択及び決定操作がないときは、処理を終了する。

図３７は、拡大表示のシステム構成を示すブロック図である。
図３７において、画面選択管理部３１は、選択されている子画面の番号１２１を画枠計算部３２及びカーソル位置計算部３３に供給する。

カーソル位置計算部３３はメモリ１７から選択されている子画面のサイズ１２２を取得して、これに基づいてカーソルの位置を計算して、カーソルの位置と子画面の位置・サイズと拡大率１２３を拡大サイズ計算部３８に供給する。

拡大サイズ計算部３８は、カーソルの位置と子画面の位置・サイズと拡大率１２３に基づいて画面位置・サイズを計算して、拡大中心位置・拡大率・画面位置・サイズ１２４を画面サイズ計算部３４に供給する。

画面サイズ計算部３４は拡大中心位置・拡大率に基づいて画面位置・サイズ１２４を計算して、画面位置・サイズ１２４を画面番号管理部１６に供給する。
他の部分は、上述した図９に示した画面分割のシステム構成を示すブロック図と同様である。

図３８は、拡大表示の各処理部の構成図である。
サイズ変更処理部２３は、メモリ１７から取得したサイズ１２３及び拡大率・拡大中心位置１２４より、入力される映像信号の画像をリサイズする処理部である。
他は、通常視聴時と同じである。

ここで、拡大表示の具体的な動作は、以下のようになる。
リモコン信号解析部１５は、リモコン１３より画面拡大信号を受け取る。画面選択管理部３１は、リモコン信号解析部１５がリモコン１３より画面拡大信号を受け取ったときに、まだ画面を選択していなかったら、画面番号の若い番号を選択する。

画面選択管理部３１は、選択されている子画面の番号１２１をメモリ１７からロードし、その画面番号の画面位置２１を画面統合部１８に出力することにより、後段のディスプレイに現在選んでいる画面に画枠を重畳して表示させるようにする。
また、画面選択管理部３１は、そのとき現在の選択されている子画面をメモリ１７に保存しておく。この子画面の位置は、Ｘ，Ｙ座標と幅・高さを格納しておく。

ここで、リモコン１３で「次へ」というボタンが押されると、画面選択管理部３１は、メモリ１７より取得した選択されている子画面の番号１２１から現在どの画面を選んでいるかを読み込み、その画面番号に一つ足して、画面位置が保存されているメモリ１７からその番号に対応する画面位置を読み込む。

逆に、リモコン１３で「戻る」を押されたら、画面選択管理部３１は、メモリ１７より取得した選択されている子画面の番号１２１から現在どの画面を選んでいるかを読み込み、その画面番号から番号を一つ減らし、画面位置が保存されているメモリ１７からその番号に対応する画面位置を読み込む。

そして、カーソル位置計算部３３は、メモリ１７より取得した選択されている子画面のサイズ１２２からその画面位置を読み込んで画枠＆カーソル生成部３５に供給する。画枠＆カーソル生成部３５は、その画面位置に対応する画枠とカーソルを生成して、画像統合部１８に供給する。これにより、後段のディスプレイにその位置に選択されているという画枠を表示させるようにする。

ここで、画面選択管理部３１は、リモコン１３より画面選択という信号を受け取ったときには、どの画面が選択されたのかを調べるために、メモリ１７から現在選択されている画面番号を読み込む。このとき、画枠＆カーソル生成部３５は、選択された画面中央（図１０参照）にカーソルが表示されるようにカーソルを生成する。

次に、リモコン１３よりカーソルが動かされ、画面拡大位置がリモコン１３により決定されたら、画枠＆カーソル生成部３５は拡大サイズを決定するために、半透明な画面を画面上に重畳させる。

ここで、カーソルが動かされ、画面拡大中心位置がリモコン１３により決定されたら、リモコン１３で拡大率を調整すると連動して半透明の画枠サイズが変化する。
カーソル位置計算部３３から取得されるカーソルの位置と子画面の位置・サイズ１２３のカーソルの位置と拡大率に基づいて、画面サイズ計算部３４は画面サイズを計算する。

画面サイズ計算部３４は画面サイズの計算を実行し、画面番号管理部１６に拡大中心位置・拡大率・画面位置・サイズ１２４を供給する。これにより、画面番号管理部１６は、拡大率が決定したら、画面番号と画面位置を対応させて、これをメモリ１７に保存する。さらに、画枠＆カーソル生成部３５は、上述したようにはみ出た部分の画枠の処理を行う。

これにより、画像統合部１８でカーソルの移動により追加された画面を読み込んだ位置で統合された画面を生成し、全画面を合成し、後段のディスプレイに出力を行う。

図３９は、拡大率を変えたときのサイズを示す図である。
図３９において、元の画像Ｊ１（Ｘ，Ｙ）を画像Ｊ２に拡大する拡大率を変えたとき、拡大する中心を（ｍ，ｎ）としたとき、また、拡大率をｒとしたとき、拡大後の画像Ｊ２のＸ１，Ｘ２，Ｙ１，Ｙ２は、１３１で示すように、Ｘ１＝（１−ｒ）ｍ、Ｘ２＝（Ｘ−ｍ）ｒ＋ｍ、Ｙ１＝（１−ｒ）ｎ、Ｙ２＝（Ｙ−ｎ）ｒ＋ｎと表される。

次に、はみ出た部分の処理を説明する。
画像の拡大を行ったときに、拡大前までの画枠からはみ出た部分の処理は、次のようになる。

まず、画枠＆カーソル生成部３５は、拡大率を決定するときと同じ半透明の画像を表示する。そして、画面サイズ計算部３４は拡大前までの領域からはみ出た部分を計算し、画枠＆カーソル生成部３５は、その部分を半透明で表示する。このとき、画面サイズ計算部３４は周辺の画像サイズを変更する。

また、はみ出た部分を表示しない場合には、画面サイズ計算部３４は拡大までの領域からはみ出た部分を計算し、画枠＆カーソル生成部３５は、その部分は、表示させないようにする。

このように画面を拡大することにより、次のような効果を得ることができる。
まず、画面の端の方には何も映らないような受信チャネルの番組を選択しているときに、画面の中央を大きくして、視聴者はより大きなサイズで番組を見ることができる。

また、視聴者が気になる部分を拡大表示することにより、気になる部分を詳細に見ることができる。このとき、拡大を行う手段として、高品質の補間処理が可能な周知の高倍密変換を利用することができる。

また、画面を拡大する操作方法も、画面の分割や結合で述べた通り様々な方法がある。ここでは、そのうちの一つであるリモコン１３による操作について説明をする。

第１に、視聴者は画面上にあるどの画面を拡大したいのかを選択する。
第２に、画面選択の方法として、例えば視聴者はジョグダイヤルを利用して画面を選択的に移動する。もしくは、画面に番号をふりテンキーでその番号を選択するようにしてもよい。

第３に、システム本体は選択された画面上に中心と画面サイズを表すカーソルを表示し、それを用いてどこを中心にどのくらい拡大するのかを決定する。
第４に、システム本体は拡大をすることにより、画面の外にはみ出た部分に関しては、単純に表示を行わないようにしてもよい（削除する）。

第５に、システム本体は拡大をすることにより、画面の内で他の画面と重なってしまった部分に関しては、透明化表示を行うようにしてもよい。
また、画面を拡大することにより、重なった部分についての処理は以下のようになる。
すなわち、システム本体は重なった両方の画面を半透明にするようにしてもよい。

また、拡大した方の画面を表示しないようにしてもよい（削除する）。また、重なった両方の画面を混ぜて表示するようにしてもよい。
重なった部分については、基本は画面サイズの小さなものを優先的に表示し、動きがある場合には、動いている方を優先的に表示を行うようにするようにしてもよい。この操作により、拡大操作ができる。

次に、リモコン１３による画像制御の操作について説明をする。
これは、分割された子画面を制御することができるリモコン１３に関する操作方法である。

そのリモコン１３を用いることにより、その子画面のチャンネルの変更、その子画面の音量の変更、その子画面の画面分割、その子画面の分割された画像の結合の制御することができる。
その際、そのリモコン（子リモコン）と画面をどのようにして関連づけを行うかについて、以下に説明を行う。

自動で子画面に子リモコンを割り当てる方法には、次のような方法がある。
第１に、リモコン、すなわち視聴者の位置を検出することにより、その位置から一番近いところの画面を割り当てる方法がある。
第２に、リモコン、すなわち視聴者の位置を検出し、その位置が画面に近い場合には一番遠いところの画面を割り当てる方法がある。

一つ目のリモコン、すなわち視聴者の位置を検出することにより、その位置から一番近いところの画面を割り当てる方法について説明する。リモコン、すなわち視聴者の位置を検出するには、いくつか方法がある。

第１は、ディスプレイの画面本体から指向性のある電波を発生させ、その電波をキャッチすることができるリモコンがどの方向にあるかを、システム本体が電波を出す向きを走査することにより位置を求める方法である。

第２は、ディスプレイの画面本体の下部水平方向にアレイ状にリモコン受光部を複数持つことで、リモコンを操作したときの受光部における赤外線コマンドの強度が異なる。その強度を相対的に利用して位置を求める方法である。

ここでは、二番目の方法を用いた位置検出について説明をする。
例えば、ディスプレイの画面の下部水平方向に間仕切りを複数用意して、その間にリモコン受光部を配置する。システム本体は、リモコンからの赤外線コマンドの相対強度によりリモコンの方向を判定する。

システム本体は、リモコンの位置がわかったら、そこから画面の中でどの画面が一番リモコンに近いか判定を行うことで、そこの画面と子リモコンの割り当てを行うことができる。

次に、二つ目のリモコン、すなわち視聴者の位置を検出し、その位置が画面に近い場合には一番遠いところの画面を割り当てる方法について説明する。
リモコンの位置は、一つ目の方法についての説明中で述べたようにして求められているとする。そのときに、システム本体は、リモコンの位置から一番遠い画面を選択し、その画面とリモコンを割り当てる。

一つ目の方法は、視聴者からはほぼ画面を真っ直ぐ見るという試聴スタイルだが、二つ目の方法は、視聴者からは画面を斜めに見ることが多いという試聴スタイルである。真っ直ぐ見た方が視聴者は見易いが、視聴環境が悪く目が悪くなりそうという方にはシステム本体は二つ目の方法をすすめるようにメッセージを表示するようにしてもよい。
水平方向の相対位置検出のみ述べたが、垂直方向にも同様のことを行うと高さ方向の位置も取得することができる。

以上のように画面と子リモコンの割り当てについて説明してきたが、逆に、割り当ての解除を行う場合には、リモコンの解除ボタンを押すことによりシステム本体が解除できるようにするだけでよい。

また、他の画面に子リモコンとの割り当てを変更する場合には、解除をしなくても同様の操作で割り当てたい画面を自動で決定することで変更が可能である。

さらに、複数人で番組の試聴を行うには、音場の制御が必要になってくる。他の人が試聴している音声が自分に聞こえてしまうと自分の注意がそれてしまい、画面に集中できなくなるからである。

そのようなときに考えられる方法としては、指向性のあるスピーカーを用いて実現する方法、音声信号処理を行い実現する方法がある。
ここでは一つ目の指向性のあるスピーカーを用いて実現に関して説明する。

まず、第１に、システム本体は子画面の割り当て済の子リモコンの画面に対する相対位置を求める。
第２に、システム本体は子リモコンの位置に合うように音声を制御する。

具体的な音声の制御方法については、下記の通りである。
リモコンの位置を取得する方法に関しては前述したとおりである。その位置には、視聴者がいるとする。システム本体はその視聴者に音声を届けるわけだが、オーディオスポットライトのような超音波によりごく狭い範囲に的を絞って音を送り届ける技術を利用することにより、実現が可能である。

これにより、子リモコンを持つ視聴者の位置にのみ視聴者が聞きたい音が届けられる。

これにより、大画面を複数人でそれぞれが異なる受信チャンネルの番組を試聴していたときでも、システム本体はそれぞれの試聴個所が特定できるので、大画面からそれぞれの視聴者の場所に適した音声を発生させることにより、それぞれが干渉することなく試聴することが可能になることがわかる。

ただし、試聴する人どうしの距離があまりにも近い場合は、音声が干渉することによりうまくできないことが想像できる。このような場合に対応するには、もっと特別な環境をつくる必要がある。

例えば、個人にしか絶対に聞こえない環境であるヘッドホンを利用するシステムを用いる方法である。そこで、子リモコンにヘッドホンの端子を設けることと、子リモコンと画面の方で音声のやり取りを無線で行うことができるようにする必要がある。

この無線は、たとえば、ブルーツゥース（Ｂｌｕｅｔｏｏｔｈ）のような近距離の無線通信を用いて行えば良い。もしくは、ヘッドホン自体に無線の機能を付加し、システム本体と直接データ通信を行うことも同義である。ただし、直接システム本体とヘッドホンで通信を行う場合には、ヘッドホンがどの画面に対応しているのかをあらかじめ決定しておく必要がある。

また、子リモコンが複数ある場合に、それらを制御するマスターリモコンを用意するようにしてもよい。
この場合のマスターリモコンの機能として、以下のことが考えられる。

すなわち、他の視聴者が使っている子リモコンが持ち出された場合、その子リモコンと対応している画面の制御が子リモコンしかできない。そこで、この場合にマスターリモコンで画面の制御することができるようにする。

また、特定の子リモコンを操作している人の音声をヘッドホンで試聴することができるようにする。
このときのマスターリモコンと子リモコンの関係は、複数の子リモコンの上位のマスターリモコンが常に画面の制御することができるようにする。

なお、上述した本実施の形態例に限らず、本発明の要旨を逸脱しない限り、適宜変更しうることは言うまでもない。

本発明の一実施の形態による画面分割処理を示すフローチャートである。 アスペクト比を一定に保つ場合の分割計算方法を示す図であり、図２ＡはＨＤ放送の画面、図２Ｂは９ａ／１６＞ｂの場合（横の方が長い）、図２Ｃは他の場合（縦の方が長い）である。 アスペクト比を一定に保つ場合の分割計算方法を示す図であり、図３ＡはＨＤ放送の画面、図３Ｂは９（Ｘ−ａ）／１６＞ｂの場合（横の方が長い）、図３Ｃは他の場合（縦の方が長い）である。 アスペクト比を一定に保つ場合の分割計算方法を示す図であり、図４ＡはＨＤ放送の画面、図４Ｂは９ａ／１６＞（Ｙ−ｂ）の場合（横の方が長い）、図４Ｃは他の場合（縦の方が長い）である。 アスペクト比を一定に保つ場合の分割計算方法を示す図であり、図５ＡはＨＤ放送の画面、図５Ｂは９（Ｘ−ａ）／１６＞（Ｙ−ｂ）の場合（横の方が長い）、図５Ｃは他の場合（縦の方が長い）である。 アスペクト比を一定に保たない場合の分割計算方法を示す図である。 本発明の一実施の形態による番組同時視聴システムのシステム構成を示すブロック図である。 通常視聴時の各処理部の構成図である。 画面分割のシステム構成を示すブロック図である。 カーソルを画像の真ん中に表示する場合のカーソル位置を示す図である。 画面結合処理を示すフローチャートである。 アスペクト比を一定に保つ場合の結合計算方法を示す図であり、図１２Ａは表示できる枠内に収める場合、図１２Ｂは表示できる枠内に収めないで大きい方を優先する場合である。 アスペクト比を一定に保つ場合（表示できる枠内に収める）の結合計算方法を示す図であり、図１３Ａは横に隣り合う場合、図１３Ｂは縦に隣り合う場合である。 アスペクト比を一定に保つ場合（表示できる枠内に収める−横に隣り合う）の結合計算方法を示す図であり、図１４ＡはＹ１＜Ｙ３かつＹ２＜Ｙ４かつＹ２＜Ｙ３の場合（Ｇ１の領域）、図１４ＢはＹ１＞Ｙ３かつＹ２＜Ｙ４かつＹ２＞Ｙ１の場合（Ｇ２の領域）場合である。 アスペクト比を一定に保つ場合（表示できる枠内に収める−横に隣り合う）の結合計算方法を示す図であり、図１５ＡはＹ１＜Ｙ３かつＹ２＞Ｙ４かつＹ４＞Ｙ３の場合（Ｇ３の領域）、図１５ＢはＹ１＞Ｙ３かつＹ２＞Ｙ４かつＹ１＞Ｙ４の場合（Ｇ４の領域）場合である。 アスペクト比を一定に保つ場合（表示できる枠内に収めないで大きな方を優先する）の結合計算方法を示す図であり、図１６Ａは横に隣り合う場合、図１６Ｂは縦に隣り合う場合である。 アスペクト比を一定に保つ場合（表示できる枠内に収めないで大きな方を優先する−横に隣り合う）の結合計算方法を示す図である。 アスペクト比を一定に保つ場合（表示できる枠内に収めないで大きな方を優先する−横に隣り合う）の結合計算方法を示す図である。 アスペクト比を一定に保つ場合の結合計算方法を示す図である。 アスペクト比を一定に保たない場合の結合計算方法を示す図であり、図２０Ａは横に隣り合う場合、図２０Ｂは縦に隣り合う場合である。 画面結合のシステム構成を示すブロック図である。 画面サイズ変更（自動：音量比）処理を示すフローチャートである。 音量と画面の比率計算方法を示す図である。 分割画面に対して音量と画面の比率計算方法を適用した例を示す図である。 画面サイズの計算方法を示す図である。 画面サイズ変更のシステム構成を示すブロック図である。 画面サイズ変更の各処理部の構成図である。 画面サイズ変更（自動：子画面数）処理を示すフローチャートである。 子画面の数の計算方法を示す図である。 画面サイズ変更（自動：チャンネル数）処理を示すフローチャートである。 チャンネル数からの比率を示す図である。 子画面ごとに同じチャンネルの画面が隣り合っていた場合に結合して変更する場合のサイズ変更方法を示す図である。 画面サイズ変更の他のシステム構成を示すブロック図である。 画面サイズ変更（自動：画像特徴量）処理を示すフローチャートである。 画面サイズ変更（自動：放送内容）処理を示すフローチャートである。 画面拡大処理を示すフローチャートである。 拡大表示のシステム構成を示すブロック図である。 拡大表示の各処理部の構成図である。 拡大率を変えたときのサイズを示す図である。

符号の説明

Ｅ１〜Ｅ４…分割画面、１１…入力信号、１２…各処理部、１３…リモコン、１４…リモコン受光部、１５…リモコン信号解析部、１６…画面番号管理部、１７…メモリ、１８…画面統合部、１９…出力信号、２０…リモコンＩＤ画面対応信号、２１…位置信号、２２…チューナー、２３…サイズ変更処理部、２４…リモコン解析信号、２５…チャンネル信号、２６…サイズ信号、３１…画面選択管理部、３２…画枠計算部、３３…カーソル位置計算部、３４…画面サイズ計算部、３５…画枠及びカーソル生成部、４１…選択されている子画面の番号、４２…選択されている子画面のサイズ、４３…カーソルの位置と子画面の位置・サイズ、４４…分割後の新規子画面の数・位置・サイズ、Ｆ１〜Ｆ４、Ｇ１〜Ｇ９…結合画面、３６…画面隣接判定部、５１…選択されている子画面の番号・選択されている数、５２…選択されている画面の位置・サイズ、５３…選択されている子画面の位置・サイズ・その数に応じての色、５４…選択されている画面位置・サイズ、５５…結合後の新規子画面の位置・サイズ、６１…特徴量を取得するための信号（映像・音声）、６２…変更前後の画面サイズと位置、６３…特徴量（音量、子画面数、画面特徴量、放送内容）、１１１…特徴量を取得するための信号（チャンネル）、１１２…変更前後の画面サイズと位置、１１３…特徴量（チャンネル数）、３８…拡大サイズ計算部、１２１…選択されている子画面の番号、１２２…選択されている子画面のサイズ、１２３…カーソルの位置と子画面の位置・サイズと拡大率、１２４…拡大中心位置・拡大率・画面位置・サイズ

Claims (7)

1. 複数の受信部を介して受信した複数の番組の複数の画面を同時に表示部に表示して、音声出力部に音声を出力することにより、複数の視聴者が同時に複数の番組を視聴することができる番組同時視聴システムにおいて、
   前記複数の画面のうちのいずれかの画面の選択及び前記選択された画面に対する分割処理の操作を入力するための複数の入力手段と、
   前記入力手段からの画面の選択操作、画面の分割処理の操作及び前記表示部における画面の分割位置に基づいて、分割した画面のアスペクト比と、分割前に前記表示部に表示された画面のアスペクト比とが一定に保たれるように、前記分割した画面の表示部における表示領域を変更する画面サイズ変更手段と、を備え、
   前記画面サイズ変更手段は、
   分割前の前記表示部に表示された画面のアスペクト比に対して、前記画面サイズ変更手段により表示領域が分割された画面のアスペクト比の横が長いときは、前記分割された画面サイズの左右両端を除去して横の長さを変更し、
   分割前の前記表示部に表示された画面のアスペクト比に対して、前記分割された画面のアスペクト比の縦が長いときは、前記分割された画面の上下両端を除去して縦の長さを変更する、
   ことを特徴とする番組同時視聴システム。
2. さらに、前記入力手段からの画面の操作は、前記画面の分割処理の操作に加えて、分割した画面を結合する操作を含み、
   前記分割した複数の画面を結合する際には、前記画面サイズ変更手段は、前記画面サイズ変更手段により複数の画面が結合された画面のアスペクト比と、結合前に前記表示部に表示された画面のアスペクト比を、一定に保つように結合するとともに、
   結合前の前記表示部に表示された画面サイズのアスペクト比に対して、前記画面サイズ変更手段により表示領域が結合された画面サイズのアスペクト比の横が長い場合であって、結合前の前記表示部に表示された画面の表示領域の枠内に収納できるときは、前記結合された画面サイズの左右両端を除去して画面サイズを変更し、
   前記結合された画面サイズのアスペクト比の縦が長い場合であって、結合前の前記表示部に表示された画面の表示領域の枠内に収納できるときは、前記結合された画面サイズの上下両端を除去して画面サイズを変更する、請求項１に記載の番組同時視聴システム。
3. さらに、前記入力手段からの画面の操作は、前記画面の分割処理の操作に加えて、分割した画面を結合する操作を含み、
   前記分割した複数の画面を結合する際には、前記画面サイズ変更手段は、前記画面サイズ変更手段により複数の画面が結合された画面のアスペクト比と、前記結合前に前記表示部に表示された画面のアスペクト比を、一定に保つように結合するとともに、
   結合前の前記表示部に表示された画面サイズのアスペクト比に対して、前記画面サイズ変更手段により表示領域が結合された画面サイズのアスペクト比の横が長い場合であって、結合前の前記表示部に表示された画面の表示領域の枠内に収納できないときは、結合前の前記表示部に表示された大きいほうの画面の表示領域内に収納することを優先させて、結合された画面サイズの左右両端を除去して画面サイズを変更し、
   結合前の前記表示部に表示された画面サイズのアスペクト比に対して、前記画面サイズ変更手段により表示領域が結合された画面サイズのアスペクト比の縦が長い場合であって、結合前の前記表示部に表示された画面の表示領域の枠内に収納できないときは、結合前の前記表示部に表示された大きいほうの画面サイズの表示領域の枠内に表示することを優先させて、前記結合された画面サイズの上下両端を除去して画面サイズを変更する、請求項１に記載の番組同時視聴システム。
4. 前記画面サイズ変更手段による前記表示部における画面サイズの大小の変更は、各画面の特徴量に基づいて行われる、請求項１〜３のいずれかに記載の番組同時視聴システム。
5. 前記各画面の特徴量は、前記音声出力部に音声を出力する際の画面毎の音量比率である、
   請求項４に記載の番組同時視聴システム。
6. 前記各画面の特徴量は、前記表示部における画面の子画面のチャンネル数である、
   請求項４に記載の番組同時視聴システム。
7. 前記各画面の特徴量は、前記表示部における画面に合成表示されるテロップサイズである、請求項４に記載の番組同時視聴システム。

Images