JP3693246B2 - Display device, control method, program, recording medium, and display system - Google Patents

Description

【０２１４】
但し、式（１）において、ｘ_nは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗ_nは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。
【０２１５】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２１６】
一方、図２２の実施の形態では、係数生成部１６６において、タップ係数ｗ_nが、係数種メモリ１６７に記憶された係数種データと、パラメータメモリ１６８に記憶されたパラメータとから生成されるが、この係数生成部１６６におけるタップ係数ｗ_nの生成が、例えば、係数種データとパラメータを用いた次式によって行われることとする。
【０２１７】
【数２】

【０２１８】
但し、式（２）において、β_m,nは、ｎ番目のタップ係数ｗ_nを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（２）では、タップ係数ｗ_nが、Ｍ個の係数種データβ_n,1，β_n,2，・・・，β_n,Mを用いて求められるようになっている。
【０２１９】
ここで、係数種データβ_m,nとパラメータｚから、タップ係数ｗ_nを求める式は、式（２）に限定されるものではない。
【０２２０】
いま、式（２）におけるパラメータｚによって決まる値ｚ^m-1を、新たな変数ｔ_mを導入して、次式で定義する。
【０２２１】
【数３】

【０２２２】
式（３）を、式（２）に代入することにより、次式が得られる。
【０２２３】
【数４】

【０２２４】
式（４）によれば、タップ係数ｗ_nは、係数種データβ_n,mと変数ｔ_mとの線形１次式によって求められることになる。
【０２２５】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。
【０２２６】
【数５】

【０２２７】
いま、式（５）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（５）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。
【０２２８】
【数６】

【０２２９】
但し、式（６）において、ｘ_n,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０２３０】
式（６）のｗ_nに、式（４）を代入することにより、次式が得られる。
【０２３１】
【数７】

【０２３２】
式（７）の予測誤差ｅ_kを０とする係数種データβ_n,mが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβ_n,mを求めることは、一般には困難である。
【０２３３】
そこで、係数種データβ_n,mが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβ_n,mは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２３４】
【数８】

【０２３５】
但し、式（８）において、Ｋは、高画質画素ｙ_kと、その高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０２３６】
式（８）の自乗誤差の総和Ｅの最小値（極小値）は、式（９）に示すように、総和Ｅを係数種データβ_n,mで偏微分したものを０とするβ_n,mによって与えられる。
【０２３７】
【数９】

【０２３８】
式（６）を、式（９）に代入することにより、次式が得られる。
【０２３９】
【数１０】

【０２４０】
いま、Ｘ_i,p,j,qとＹ_i,pを、式（１１）と（１２）に示すように定義する。
【０２４１】
【数１１】

【数１２】

【０２４２】
この場合、式（１０）は、Ｘ_i,p,j,qとＹ_i,pを用いた式（１３）に示す正規方程式で表すことができる。
【０２４３】
【数１３】

【０２４４】
式（１３）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβ_n,mについて解くことができる。
【０２４５】
図２２の信号処理部１３７においては、多数の高画質画素ｙ₁，ｙ₂，・・・，ｙ_Kを学習の教師となる教師データとするとともに、各高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを学習の生徒となる生徒データとして、式（１３）を解く学習を行うことにより求められた係数種データβ_n,mが、係数種メモリ１６７に記憶されており、係数生成部１６６では、その係数種データβ_n,mと、パラメータメモリ１６８に記憶されたパラメータｚから、式（２）にしたがって、タップ係数ｗ_nが生成される。そして、予測部１６５において、そのタップ係数ｗ_nと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像データの画素）ｘ_nを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
【０２４６】
次に、図２４は、式（１３）の正規方程式をたてて解くことにより係数種データβ_n,mを求める学習を行う学習装置の構成例を示している。
【０２４７】
学習装置には、係数種データβ_n,mの学習に用いられる学習用画像データが入力されるようになっている。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。
【０２４８】
学習装置において、学習用画像データは、教師データ生成部１７１と生徒データ生成部１７３に供給される。
【０２４９】
教師データ生成部１７１は、そこに供給される学習用画像データから教師データを生成し、教師データ記憶部１７２に供給する。即ち、ここでは、教師データ生成部１７１は、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部１７２に供給する。
【０２５０】
教師データ記憶部１７２は、教師データ生成部１７１から供給される教師データとしての高画質画像データを記憶する。
【０２５１】
生徒データ生成部１７３は、学習用画像データから生徒データを生成し、生徒データ記憶部１７４に供給する。即ち、生徒データ生成部１７３は、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部１７４に供給する。
【０２５２】
ここで、生徒データ生成部１７３には、学習用画像データの他、図２２のパラメータメモリ１６８に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部１８０から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部１７３には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部１８０から供給されるようになっている。
【０２５３】
生徒データ生成部１７３は、学習用画像データとしての高画質画像データを、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。
【０２５４】
従って、この場合、生徒データ生成部１７３では、図２５に示すように、学習用画像データとしての高画質画像データについて、Ｚ＋１種類の、解像度の異なる生徒データとしての低画質画像データが生成される。
【０２５５】
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは。値の大きいパラメータｚに対応する低画質画像データほど、解像度が高い。
【０２５６】
また、本実施の形態では、説明を簡単にするために、生徒データ生成部１７３において、高画質画像データの水平方向および垂直方向の両方向の解像度を、パラメータｚに対応する分だけ低下させた低画質画像データを生成するものとする。
【０２５７】
図２４に戻り、生徒データ記憶部１７４は、生徒データ生成部１７３から供給される生徒データを記憶する。
【０２５８】
タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部１７４に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの所定のものを抽出することにより、図２２のタップ抽出部１６１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部１７８に供給する。
【０２５９】
タップ抽出部１７６は、注目教師画素について、生徒データ記憶部１７４に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの所定のものを抽出することにより、図２２のタップ抽出部１６２が構成するのと同一のタップ構造のクラスタップを構成し、クラス分類部１７７に供給する。
【０２６０】
なお、タップ抽出部１７５と１７６には、パラメータ生成部１８０が生成するパラメータｚが供給されるようになっており、タップ抽出部１７５と１７６は、パラメータ生成部１８０から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像データ）を用いて、予測タップとクラスタップをそれぞれ構成する。
【０２６１】
クラス分類部１７７は、タップ抽出部１７６が出力するクラスタップに基づき、図２２のクラス分類部１６３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力する。
【０２６２】
足し込み部１７８は、教師データ記憶部１７２から、注目教師画素を読み出し、その注目教師画素、タップ抽出部１７５から供給される注目教師画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部１７７から供給されるクラスコードごとに行う。
【０２６３】
即ち、足し込み部１７８には、教師データ記憶部１７２に記憶された教師データｙ_k、タップ抽出部１７５が出力する予測タップｘ_i,k（ｘ_j,k）、およびクラス分類部１７７が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータｚも、パラメータ生成部１８０から供給されるようになっている。
【０２６４】
そして、足し込み部１７８は、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_i,k（ｘ_j,k）とパラメータｚを用い、式（１３）の左辺の行列における、式（１１）で定義されるコンポーネントＸ_i,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘ_i,kｔ_pｘ_j,kｔ_q）と、サメーション（Σ）に相当する演算を行う。なお、式（１１）のｔ_pは、式（３）にしたがって、パラメータｚから計算される。式（１１）のｔ_qも同様である。
【０２６５】
さらに、足し込み部１７８は、やはり、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_i,k、教師データｙ_k、およびパラメータｚを用い、式（１３）の右辺のベクトルにおける、式（１２）で定義されるコンポーネントＹ_i,pを求めるための生徒データｘ_i,k、教師データｙ_k、およびパラメータｚの乗算（ｘ_i,kｔ_pｙ_k）と、サメーション（Σ）に相当する演算を行う。なお、式（１２）のｔ_pは、式（３）にしたがって、パラメータｚから計算される。
【０２６６】
即ち、足し込み部１７８は、前回、注目教師画素とされた教師データについて求められた式（１３）における左辺の行列のコンポーネントＸ_i,p,j,qと、右辺のベクトルのコンポーネントＹ_i,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸ_i,p,j,qまたはベクトルのコンポーネントＹ_i,pに対して、新たに注目教師画素とされた教師データについて、その教師データｙ_k、生徒データｘ_i,k(ｘ_j,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘ_i,kｔ_pｘ_j,kｔ_qまたはｘ_i,kｔ_pｙ_kを足し込む（式（１１）のコンポーネントＸ_i,p,j,qまたは式（１２）のコンポーネントＹ_i,pにおけるサメーションで表される加算を行う）。
【０２６７】
そして、足し込み部１７８は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部１７２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（１３）に示した正規方程式をたてると、その正規方程式を、係数種算出部１７９に供給する。
【０２６８】
係数種算出部１７９は、足し込み部１７８から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβ_m,nを求めて出力する。
【０２６９】
パラメータ生成部１８０は、図２２のパラメータメモリ１６８に供給されるパラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部１７３に供給する。また、パラメータ生成部１８０は、生成したパラメータｚを、タップ抽出部１７５および１７６、並びに足し込み部１７８にも供給する。
【０２７０】
次に、図２６のフローチャートを参照して、図２４の学習装置の処理（学習処理）について、説明する。
【０２７１】
まず最初に、ステップＳ２１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部１７１は、学習用画像データを、そのまま、教師データとして出力する。また、生徒データ生成部１７１には、パラメータ生成部１８０が生成するＺ＋１個の値のパラメータｚが供給され、生徒データ生成部１７１は、学習用画像データを、パラメータ生成部１８０からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像データ）について、Ｚ＋１フレームの生徒データを生成して出力する。
【０２７２】
教師データ生成部１７１が出力する教師データは、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が出力する生徒データは、生徒データ記憶部１７４に供給されて記憶される。
【０２７３】
その後、ステップＳ２２に進み、パラメータ生成部１８０は、パラメータｚを、初期値としての、例えば０にセットし、タップ抽出部１７５および１７６、並びに足し込み部１７８に供給して、ステップＳ２３に進む。ステップＳ２３では、タップ抽出部１７５は、教師データ記憶部１７２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ２３では、タップ抽出部１７５が、注目教師画素について、生徒データ記憶部１７４に記憶された、パラメータ生成部１８０が出力するパラメータｚに対する生徒データ（注目教師画素となっている教師データに対応する学習用画像データを、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを構成し、足し込み部１７８に供給するとともに、タップ抽出部１７６が、やはり、注目教師画素について、生徒データ記憶部１７４に記憶された、パラメータ生成部１８０が出力するパラメータｚに対する生徒データからクラスタップを構成し、クラス分類部１７７に供給する。
【０２７４】
そして、ステップＳ２４に進み、クラス分類部１７７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１７８に出力して、ステップＳ２５に進む。
【０２７５】
ステップＳ２５では、足し込み部１７８は、教師データ記憶部１７２から注目教師画素を読み出し、その注目教師画素、タップ抽出部１７５から供給される予測タップ、パラメータ生成部１８０が出力するパラメータｚを用い、式（１３）における左辺の行列のコンポーネントｘ_i,Kｔ_pｘ_j,Kｔ_qと、右辺のベクトルのコンポーネントｘ_i,Kｔ_pｙ_Kを計算する。さらに、足し込み部１７８は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部１７７からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘ_i,Kｔ_pｘ_j,Kｔ_qとベクトルのコンポーネントｘ_i,Kｔ_pｙ_Kを足し込み、ステップＳ２６に進む。
【０２７６】
ステップＳ２６では、パラメータ生成部１８０が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ２６において、パラメータ生成部１８０が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ２７に進み、パラメータ生成部１８０は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、タップ抽出部１７５および１７６、並びに足し込み部１７８に出力する。そして、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０２７７】
また、ステップＳ２６において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ２８に進み、タップ抽出部１７５が、教師データ記憶部１７２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ２８において、注目教師画素としていない教師データが、まだ、教師データ記憶部１７２に記憶されていると判定された場合、タップ抽出部１７５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０２７８】
また、ステップＳ２８において、注目教師画素としていない教師データが、教師データ記憶部１７２に記憶されていないと判定された場合、足し込み部１７８は、いままでの処理によって得られたクラスごとの式（１３）における左辺の行列と、右辺のベクトルを、係数種算出部１７９に供給し、ステップＳ２９に進む。
【０２７９】
ステップＳ２９では、係数種算出部１７９は、足し込み部１７８から供給されるクラスごとの式（１３）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβ_m,nを求めて出力し、処理を終了する。
【０２８０】
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部１７９は、例えば、デフォルトの係数種データを出力するようになっている。
【０２８１】
ところで、図２４の学習装置では、図２５に示したように、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データに、パラメータｚに対応して解像度を劣化させた低画質画像データを生徒データとして、式（４）によって係数種データβ_m,nとパラメータｚに対応する変数ｔ_mとで表されるタップ係数ｗ_n、並びに生徒データｘ_nから、式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβ_m,nを直接求める学習を行うようにしたが、係数種データβ_m,nの学習は、その他、例えば、図２７に示すようにして行うことが可能である。
【０２８２】
即ち、図２７の実施の形態では、図２５の実施の形態における場合と同様に、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データを、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像データを生徒データとして、まず最初に、タップ係数ｗ_n、並びに生徒データｘ_nを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗ_nが、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求められる。さらに、図２７の実施の形態では、求められたタップ係数ｗ_nを教師データとするとともに、パラメータｚを生徒データとして、式（４）によって係数種データβ_m,n、並びに生徒データであるパラメータｚに対応する変数ｔ_mから予測される教師データとしてのタップ係数ｗ_nの予測値の自乗誤差の総和を最小にする係数種データβ_m,nを求める学習が行われる。
【０２８３】
具体的には、上述の式（８）で表される、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、その総和Ｅをタップ係数ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【０２８４】
【数１４】

【０２８５】
そこで、上述の式（６）をタップ係数ｗ_nで偏微分すると、次式が得られる。
【０２８６】
【数１５】

【０２８７】
式（１４）と（１５）から、次式が得られる。
【０２８８】
【数１６】

【０２８９】
式（１６）のｅ_kに、式（６）を代入することにより、式（１６）は、式（１７）に示す正規方程式で表すことができる。
【０２９０】
【数１７】

【０２９１】
式（１７）の正規方程式は、例えば、式（１３）の正規方程式における場合と同様に、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗ_nについて解くことができる。
【０２９２】
式（１７）の正規方程式を解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗ_nは、クラスごとに、かつパラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求められる。
【０２９３】
一方、本実施の形態では、式（４）により、係数種データβ_m,nと、パラメータｚに対応する変数ｔ_mとから、タップ係数が求められるが、いま、この式（４）によって求められるタップ係数を、ｗ_n’と表すこととすると、次の式（１８）で表される、最適なタップ係数ｗ_nと式（４）により求められるタップ係数ｗ_n’との誤差ｅ_nを０とする係数種データβ_n,mが、最適なタップ係数ｗ_nを求めるのに最適なものとなるが、すべてのタップ係数ｗ_nについて、そのような係数種データβ_n,mを求めることは、一般には困難である。
【０２９４】
【数１８】

【０２９５】
なお、式（１８）は、式（４）によって、次式のように変形することができる。
【０２９６】
【数１９】

【０２９７】
そこで、係数種データβ_n,mが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβ_n,mは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２９８】
【数２０】

【０２９９】
式（２０）の自乗誤差の総和Ｅの最小値（極小値）は、式（２１）に示すように、総和Ｅを係数種データβ_n,mで偏微分したものを０とするβ_n,mによって与えられる。
【０３００】
【数２１】

【０３０１】
式（１９）を、式（２１）に代入することにより、次式が得られる。
【０３０２】
【数２２】

【０３０３】
いま、Ｘ_i,j,とＹ_iを、式（２３）と（２４）に示すように定義する。
【０３０４】
【数２３】

【数２４】

【０３０５】
この場合、式（２２）は、Ｘ_i,jとＹ_iを用いた式（２５）に示す正規方程式で表すことができる。
【０３０６】
【数２５】

【０３０７】
式（２５）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβ_n,mについて解くことができる。
【０３０８】
次に、図２８は、式（２５）の正規方程式をたてて解くことにより係数種データβ_n,mを求める学習を行う学習装置の構成例を示している。なお、図中、図２４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３０９】
足し込み部１９０には、クラス分類部１７７が出力する注目教師画素についてのクラスコードと、パラメータ生成部１８０が出力するパラメータｚが供給されるようになっている。そして、足し込み部１９０は、教師データ記憶部１７２から、注目教師画素を読み出し、その注目教師画素と、タップ抽出部１７５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部１７７から供給されるクラスコードごとに、かつパラメータ生成部１８０が出力するパラメータｚの値ごとに行う。
【０３１０】
即ち、足し込み部１９０には、教師データ記憶部１７２に記憶された教師データｙ_k、タップ抽出部１７５が出力する予測タップｘ_n,k、クラス分類部１７７が出力するクラスコード、およびパラメータ生成部１８０が出力する、予測タップｘ_n,kを構成するのに用いられた生徒データを生成したときのパラメータｚが供給される。
【０３１１】
そして、足し込み部１９０は、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１８０が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘ_n,kを用い、式（１７）の左辺の行列における生徒データどうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。
【０３１２】
さらに、足し込み部１９０は、やはり、クラス分類部１７７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１８０が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘ_n,kと教師データｙ_kを用い、式（１７）の右辺のベクトルにおける生徒データｘ_n,kおよび教師データｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。
【０３１３】
即ち、足し込み部１９０は、前回、注目教師画素とされた教師データについて求められた式（１７）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目教師画素とされた教師データについて、その教師データｙ_k+1および生徒データｘ_n,k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（１７）のサメーションで表される加算を行う）。
【０３１４】
そして、足し込み部１９０は、教師データ記憶部１７２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（１７）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１９１に供給する。
【０３１５】
タップ係数算出部１９１は、足し込み部１９０から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗ_nを求め、足し込み部１９２に供給する。
【０３１６】
足し込み部１９２は、各クラスごとに、パラメータｚ（に対応する変数ｔ_m）と、最適なタップ係数ｗ_nを対象とした足し込みを行う。
【０３１７】
即ち、足し込み部１９２は、パラメータｚから式（３）によって求められる変数ｔ_i（ｔ_j）を用い、式（２５）の左辺の行列における、式（２３）で定義されるコンポーネントＸ_i,jを求めるためのパラメータｚに対応する変数ｔ_i（ｔ_j）どうしの乗算（ｔ_iｔ_j）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３１８】
ここで、コンポーネントＸ_i,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸ_i,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０３１９】
さらに、足し込み部１９２は、パラメータｚから式（３）によって求められる変数ｔ_iと、最適なタップ係数ｗ_nとを用い、式（２５）の右辺のベクトルにおける、式（２４）で定義されるコンポーネントＹ_iを求めるためのパラメータｚに対応する変数ｔ_iおよび最適なタップ係数ｗ_nの乗算（ｔ_iｗ_n）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３２０】
足し込み部１９２は、各クラスごとに、式（２３）で表されるコンポーネントＸ_i,jと、式（２４）で表されるコンポーネントＹ_iを求めることにより、各クラスについて、式（２５）の正規方程式をたてると、その正規方程式を、係数種算出部１９３に供給する。
【０３２１】
係数種算出部１９３は、足し込み部１９２から供給されるクラスごとの式（２５）の正規方程式を解くことにより、各クラスごとの係数種データβ_m,nを求めて出力する。
【０３２２】
図２２の信号処理部１３７における係数種メモリ１６７には、以上のようにして求められたクラスごとの係数種データβ_m,nを記憶させておくようにすることもできる。
【０３２３】
ここで、図２２の信号処理部１３７においては、例えば、係数種メモリ１６７を設けずに、図２８のタップ係数算出部１９１が出力するパラメータｚの各値ごとの最適なタップ係数ｗ_nをメモリに記憶させておき、パラメータメモリ１６８に記憶されたパラメータｚに応じて、メモリに記憶された最適なタップ係数を選択して、係数メモリ１６４にセットするようにすることも可能である。但し、この場合、パラメータｚが取り得る値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種メモリ１６７を設け、係数種データを記憶させておく場合には、係数種メモリ１６７の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種メモリ１６７として、小さな容量のメモリを採用することができる。さらに、係数種データβ_m,nを記憶させておく場合には、その係数種データβ_m,nと、パラメータｚの値とから、式（２）によりタップ係数ｗ_nが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗ_nを得ることができる。そして、その結果、図２２の予測部１６５が第２の画像データとして出力する高画質画像データの画質を、無段階に滑らかに調整することが可能となる。
【０３２４】
なお、上述の場合には、学習用画像データを、そのまま第２の画像データに対応する教師データとするとともに、その学習用画像データの解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像データを、その解像度を向上させた第２の画像データに変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０３２５】
従って、親機１の信号処理部１３７のＥＥＰＲＯＭ１３７Ａに、その係数種データを記憶させておくとともに、図２２の機能的構成を実現し、かつ図２３のフローチャートにしたがった画像変換処理を行うプログラムを記憶させておくことにより、信号処理部１３７では、パラメータｚに対応して、画像データの水平解像度および垂直解像度を向上させることができる。
【０３２６】
ここで、第１の画像データに対応する生徒データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
【０３２７】
即ち、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、パラメータｚに対応するレベルのノイズを重畳した画像データを生徒データとして、学習処理を行うことにより、係数種データとしては、第１の画像データを、そこに含まれるノイズを除去（低減）した第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０３２８】
また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータｚに対応して間引いた画像データを生徒データとして、または、パラメータｚに対応するサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素を所定の間引き率で間引いた画像データを教師データとして、学習処理を行うことにより、係数種データとしては、第１の画像データを、拡大または縮小した第２の画像データに変換するリサイズ処理としての画像変換処理を行うものを得ることができる。
【０３２９】
従って、親機１の信号処理部１３７のＥＥＰＲＯＭ１３７Ａに、ノイズ除去処理用の係数種データや、リサイズ処理用の係数種データを記憶させておくことにより、信号処理部１３７では、パラメータｚに対応して、画像データのノイズ除去やリサイズ（拡大または縮小）を行うことができる。
【０３３０】
なお、上述の場合には、タップ係数ｗ_nを、式（２）に示したように、β_1,nｚ⁰＋β_2,nｚ¹＋・・・＋β_M,nｚ^M-1で定義し、この式（２）によって、水平および垂直方向の解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗ_nを求めるようにしたが、タップ係数ｗ_nとしては、水平解像度と垂直解像度を、独立のパラメータｚ_xとｚ_yに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
【０３３１】
即ち、タップ係数ｗ_nを、式（２）に代えて、例えば、３次式β_1,nｚ_x ⁰ｚ_y ⁰＋β_2,nｚ_x ¹ｚ_y ⁰＋β_3,nｚ_x ²ｚ_y ⁰＋β_4,nｚ_x ³ｚ_y ⁰＋β_5,nｚ_x ⁰ｚ_y ¹＋β_6,nｚ_x ⁰ｚ_y ²＋β_7,nｚ_x ⁰ｚ_y ³＋β_8,nｚ_x ¹ｚ_y ¹＋β_9,nｚ_x ²ｚ_y ¹＋β_10,nｚ_x ¹ｚ_y ²で定義するとともに、式（３）で定義した変数ｔ_mを、式（３）に代えて、ｔ₁＝ｚ_x ⁰ｚ_y ⁰，ｔ₂＝ｚ_x ¹ｚ_y ⁰，ｔ₃＝ｚ_x ²ｚ_y ⁰，ｔ₄＝ｚ_x ³ｚ_y ⁰，ｔ₅＝ｚ_x ⁰ｚ_y ¹，ｔ₆＝ｚ_x ⁰ｚ_y ²，ｔ₇＝ｚ_x ⁰ｚ_y ³，ｔ₈＝ｚ_x ¹ｚ_y ¹，ｔ₉＝ｚ_x ²ｚ_y ¹，ｔ₁₀＝ｚ_x ¹ｚ_y ²で定義する。この場合も、タップ係数ｗ_nは、最終的には、式（４）で表すことができ、従って、学習装置（図２４、図２８）において、パラメータｚ_xとｚ_yに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像データを、生徒データとして用いて学習を行って、係数種データβ_m,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚ_xとｚ_yに対応して、それぞれ独立に向上させるタップ係数ｗ_nを求めることができる。
【０３３２】
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚ_xとｚ_yに加えて、さらに、時間方向の解像度に対応するパラメータｚ_tを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚ_x，ｚ_y，ｚ_tに対応して、それぞれ独立に向上させるタップ係数ｗ_nを求めることが可能となる。
【０３３３】
また、リサイズ処理についても、解像度向上処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗ_nの他、水平と垂直方向を、それぞれパラメータｚ_xとｚ_yに対応する拡大率で、独立にリサイズするタップ係数ｗ_nを求めることが可能である。
【０３３４】
さらに、学習装置（図２４、図２８）において、パラメータｚ_xに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚ_yに対応して教師データにノイズを付加した画像データを、生徒データとして用いて学習を行って、係数種データβ_m,nを求めることにより、パラメータｚ_xに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚ_yに対応してノイズ除去を行うタップ係数ｗ_nを求めることができる。
【０３３５】
次に、上述のような画像変換処理を行う機能は、親機１のみならず、子機２も有している。
【０３３６】
そこで、図２９は、上述の画像変換処理を行う子機２（図１１）の信号処理部１５７の機能的構成例を示している。なお、図２９の機能的構成も、図２２の信号処理部１３７における場合と同様に、信号処理部１５７のＤＳＰ１５７Ａが、ＥＥＰＲＯＭ１５７Ｂに記憶されたプログラムを実行することで実現される。
【０３３７】
図２９において、子機２の信号処理部１５７は、親機１の信号処理部１３７（図２２）のタップ抽出部１６１乃至パラメータメモリ１６８とそれぞれ同様に構成されるタップ抽出部２０１乃至パラメータメモリ２０８で構成されるため、その説明は省略する。
【０３３８】
なお、親機１の信号処理部１３７と、子機２の信号処理部１５７には、同一の係数種データを記憶させておくことも可能であるが、本実施の形態では、少なくとも一部が異なる係数種データを記憶させておくものとする。
【０３３９】
即ち、例えば、親機１の信号処理部１３７には、リサイズ処理用の係数種データと、解像度向上処理用の係数種データを記憶させておき、子機２の信号処理部１５７には、リサイズ処理用の係数種データと、ノイズ除去処理用の係数種データを記憶させておくものとする。
【０３４０】
あるいは、例えば、親機１の信号処理部１３７には、リサイズ処理用の係数種データを記憶させておき、ある１つの子機２_ijの信号処理部１５７には、ノイズ除去処理用の係数種データを記憶させておくとともに、他の１つの子機２_pqの信号処理部１５７には、解像度向上処理用の係数種データを記憶させておくことも可能である。
【０３４１】
ここで、親機１の信号処理部１３７と、子機２の信号処理部１５７の両方に、各種の処理を行うための係数種データを記憶させておくことも可能であるが、その場合、その各種の処理を行うための係数種データを、ＥＥＰＲＯＭ１３７Ｂと１５７Ｂに記憶させる必要がある。従って、ＥＥＰＲＯＭ１３７Ｂと１５７Ｂとして、記憶容量の大きなものが必要となり、親機１や子機２のコストが大になる。
【０３４２】
一方、本実施の形態では、スケーラブルＴＶシステムにおいて、親機１と子機２とは、IEEE1394通信が可能なように接続されることから、親機１または子機２は、子機２または親機１が有する係数種データを、IEEE1394通信によって取得することができる。従って、例えば、ノイズ除去処理を行う係数種データを記憶している子機２が親機１に接続されれば、親機１は、自身がその係数種データを有していなくても（記憶していなくても）、子機２から係数種データを取得して、ノイズ除去処理を行うことが可能となる。
【０３４３】
その結果、親機１は（子機２も同様）、スケーラブルＴＶシステムとして接続される子機２が増加するほど、実行可能な処理、つまり機能が増加することになる。
【０３４４】
この場合、ＥＥＰＲＯＭ１３７Ｂと１５７Ｂとして、記憶容量の小さいものを採用することができ、親機１や子機２のコストを低減することができる。さらに、この場合、親機１に加えて、子機２を増設していくほど、スケーラブルＴＶシステム全体としての機能が増加することから、ユーザに、子機の購入意欲を起こさせることができる。そして、ユーザが、新たな子機を購入した場合でも、ユーザが既に所有している子機２は、その子機２が有する係数種データを用いて行われる処理に必要であり、ユーザがその所有している子機２を廃棄することを防止することができる。その結果、資源の有効利用に資することができる。
【０３４５】
なお、本実施の形態では、例えば、子機２において、信号処理部１５７は、子機２単体では、処理を行わないようになっている。即ち、子機２の信号処理部１５７は、IEEE1394通信によって、親機１から、ＣＰＵ１４９（図１１）を経由してコマンドを受信した場合に、そのコマンドに対応して処理を行うようになっている。
【０３４６】
従って、子機２は、大きくは、アンテナで受信されたテレビジョン放送信号に対応する画像を、ＣＲＴ３１に表示するとともに、音声を、スピーカユニット３２Ｌおよび３２Ｒから出力する機能（以下、適宜、ＴＶ機能という）と、信号処理部１５７が処理を行うことによって提供される機能（以下、適宜、特別機能という）とを有するが、単体では、ＴＶ機能しか使用できず、特別機能は使用することができない。即ち、子機２の特別機能を使用するには、その子機２が、親機１に接続され、スケーラブルＴＶシステムを構成する必要がある。
【０３４７】
次に、図３０のフローチャートを参照して、図１０の親機１の処理について説明する。
【０３４８】
まず最初に、ステップＳ４１において、ＣＰＵ１２９は、端子パネル２１に、何らかの機器が接続されるか、または、IEEE1394インタフェース１３３もしくはＩＲ受信部１３５から、何らかのコマンドが供給されるというイベントが生じたかどうかを判定し、何らのイベントも生じていないと判定した場合、ステップＳ４１に戻る。
【０３４９】
また、ステップＳ４１において、端子パネル２１に機器が接続されるイベントが生じたと判定された場合、ステップＳ４２に進み、ＣＰＵ１２９は、後述する図３１の認証処理を行い、ステップＳ４１に戻る。
【０３５０】
ここで、端子パネル２１に機器が接続されたかどうかを判定するには、端子パネル２１に機器が接続されたことを検出する必要があるが、この検出は、例えば、次のようにして行われる。
【０３５１】
即ち、端子パネル２１（図３）に設けられたIEEE1394端子２１_ijに、（IEEE1394ケーブルを介して）機器が接続されると、そのIEEE1394端子２１_ijの端子電圧が変化する。IEEE1394インタフェース１３３は、この端子電圧の変化を、ＣＰＵ１２９に報告するようになっており、ＣＰＵ１２９は、IEEE1394インタフェース１３３から、端子電圧の変化の報告を受けることによって、端子パネル２１に機器が新たに接続されたことを検出する。なお、ＣＰＵ１２９は、例えば、同様の手法で、端子パネル２１から機器が切り離されたことを認識する。
【０３５２】
一方、ステップＳ４１において、IEEE1394インタフェース１３３もしくはＩＲ受信部１３５から、何らかのコマンドが供給されるイベントが生じたと判定された場合、ステップＳ４３に進み、親機１では、そのコマンドに対応した処理が行われ、ステップＳ４１に戻る。
【０３５３】
次に、図３１のフローチャートを参照して、親機１が図３０のステップＳ４２で行う認証処理について説明する。
【０３５４】
親機１の認証処理では、端子パネル２１に新たに接続された機器（以下、適宜、接続機器という）が、正当なIEEE1394機器であるかどうかについての認証と、そのIEEE1394機器が、親機または子機となるテレビジョン受像機（スケーラブル対応機）であるかどうかいついての認証の２つの認証が行われる。
【０３５５】
即ち、親機１の認証処理では、まず最初に、ステップＳ５１において、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、接続機器に対して、相互認証を行うことを要求する認証要求コマンドを送信させ、ステップＳ５２に進む。
【０３５６】
ステップＳ５２では、ＣＰＵ１２９は、認証要求コマンドに対応するレスポンスが、接続機器から返ってきたかどうかを判定する。ステップＳ５２において、認証要求コマンドに対応するレスポンスが、接続機器から返ってきていないと判定された場合、ステップＳ５３に進み、ＣＰＵ１２９は、タイムオーバとなったかどうか、即ち、認証要求コマンドを送信してから所定の時間が経過したかどうかを判定する。
【０３５７】
ステップＳ５３において、タイムオーバであると判定された場合、即ち、認証要求コマンドを、接続機器に送信してから、所定の時間が経過しても、その接続機器から、認証要求コマンドに対応するレスポンスが返ってこない場合、ステップＳ５４に進み、ＣＰＵ１２９は、接続機器が正当なIEEE1394機器でなく、認証に失敗したとして、動作モードを、その接続機器との間では、何らのデータのやりとりも行わないモードである単体モードに設定して、リターンする。
【０３５８】
従って、親機１は、その後、正当なIEEE1394機器でない接続機器との間では、IEEE1394通信は勿論、何らのデータのやりとりも行わない。
【０３５９】
一方、ステップＳ５３において、タイムオーバでないと判定された場合、ステップＳ５２に戻り、以下、同様の処理を繰り返す。
【０３６０】
そして、ステップＳ５２において、認証要求コマンドに対応するレスポンスが、接続機器から返ってきたと判定された場合、即ち、接続機器からのレスポンスが、IEEE1394インタフェース１３３で受信され、ＣＰＵ１２９に供給された場合、ステップＳ５５に進み、ＣＰＵ１２９は、所定のアルゴリズムにしたがって、乱数（疑似乱数）Ｒ１を生成し、IEEE1394インタフェース１３３を介して、接続機器に送信する。
【０３６１】
その後、ステップＳ５６に進み、ＣＰＵ１２９は、ステップＳ５５で送信した乱数Ｒ１に対して、その乱数Ｒ１を、所定の暗号化アルゴリズム（例えば、DES(Data Encryption Standard)や、FEAL(Fast data Encipherment Algorithm)、RC5などの秘密鍵暗号化方式）で暗号化した暗号化乱数Ｅ’（Ｒ１）が、接続機器から送信されてきたかどうかを判定する。
【０３６２】
ステップＳ５６において、接続機器から暗号化乱数Ｅ’（Ｒ１）が送信されてきていないと判定された場合、ステップＳ５７に進み、ＣＰＵ１２９は、タイムオーバとなったかどうか、即ち、乱数Ｒ１を送信してから所定の時間が経過したかどうかを判定する。
【０３６３】
ステップＳ５７において、タイムオーバであると判定された場合、即ち、乱数Ｒ１を、接続機器に送信してから、所定の時間が経過しても、その接続機器から、暗号化乱数Ｅ’（Ｒ１）が送信されてこない場合、ステップＳ５４に進み、ＣＰＵ１２９は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
【０３６４】
一方、ステップＳ５７において、タイムオーバでないと判定された場合、ステップＳ５６に戻り、以下、同様の処理を繰り返す。
【０３６５】
そして、ステップＳ５６において、接続機器から暗号化乱数Ｅ’（Ｒ１）が送信されてきたと判定された場合、即ち、接続機器からの暗号化乱数Ｅ’（Ｒ１）が、IEEE1394インタフェース１３３で受信され、ＣＰＵ１２９に供給された場合、ステップＳ５８に進み、ＣＰＵ１２９は、ステップＳ５５で生成した乱数Ｒ１を、所定の暗号化アルゴリズムで暗号化し、暗号化乱数Ｅ（Ｒ１）を生成して、ステップＳ５９に進む。
【０３６６】
ステップＳ５９では、ＣＰＵ１２９は、接続機器から送信されてきた暗号化乱数Ｅ’（Ｒ１）と、自身がステップＳ５８で生成した暗号化乱数Ｅ（Ｒ１）とが等しいかどうかを判定する。
【０３６７】
ステップＳ５９において、暗号化乱数Ｅ’（Ｒ１）とＥ（Ｒ１）とが等しくないと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズム（必要に応じて、暗号化に用いられる秘密鍵も含む）が、ＣＰＵ１２９で採用されている暗号化アルゴリズムと異なるものである場合、ステップＳ５４に進み、ＣＰＵ１２９は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
【０３６８】
また、ステップＳ５９において、暗号化乱数Ｅ’（Ｒ１）とＥ（Ｒ１）とが等しいと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズムが、ＣＰＵ１２９で採用されている暗号化アルゴリズムと等しいものである場合、ステップＳ６０に進み、ＣＰＵ１２９は、接続機器が親機１の認証を行うための乱数Ｒ２が、接続機器から送信されてきたかどうかを判定する。
【０３６９】
ステップＳ６０において、乱数Ｒ２が送信されてきていないと判定された場合、ステップＳ６１に進み、ＣＰＵ１２９は、タイムオーバとなったかどうか、即ち、例えば、ステップＳ５９で暗号化乱数Ｅ’（Ｒ１）とＥ（Ｒ１）とが等しいと判定されてから、所定の時間が経過したかどうかを判定する。
【０３７０】
ステップＳ６１において、タイムオーバであると判定された場合、即ち、相当の時間が経過しても、接続機器から、乱数Ｒ２が送信されてこない場合、ステップＳ５４に進み、ＣＰＵ１２９は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
【０３７１】
一方、ステップＳ６１において、タイムオーバでないと判定された場合、ステップＳ６０に戻り、以下、同様の処理を繰り返す。
【０３７２】
そして、ステップＳ６０において、接続機器から、乱数Ｒ２が送信されてきたと判定された場合、即ち、接続機器からの乱数Ｒ２が、IEEE1394インタフェース１３３で受信され、ＣＰＵ１２９に供給された場合、ステップＳ６２に進み、ＣＰＵ１２９は、乱数Ｒ２を所定の暗号化アルゴリズムで暗号化し、暗号化乱数Ｅ（Ｒ１）を生成して、IEEE1394インタフェース１３３を介して、接続機器に送信する。
【０３７３】
ここで、ステップＳ６０において、接続機器から乱数Ｒ２が送信されてきた時点で、接続機器が正当なIEEE1394機器であることの認証が成功する。
【０３７４】
その後、ステップＳ６３に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、接続機器の機器IDと機能情報を要求する機能情報要求コマンドとともに、自身の機器IDと機能情報を、接続機器に送信する。
【０３７５】
ここで、機器IDは、親機１や子機２となるテレビジョン受像機を特定するユニークなIDである。
【０３７６】
また、機能情報は、自身の機能に関する情報で、例えば、自身が有する係数種データの種類（どのような画像変換処理を行うことができる係数種データであるのか）、外部から受け付けるコマンドの種類（例えば、電源のオン／オフ、音量調整、チャンネル、輝度、シャープネスなどを制御するコマンドのうちのいずれを外部から受け付けるか）、管面表示（ＯＳＤ表示）が可能かどうか、ミュート状態になり得るかどうか、スリープ状態となり得るかどうかなどといった情報が含まれる。さらに、機能情報には、自身が親機としての機能を有するのか、または子機としての機能を有するのかといった情報も含まれる。
【０３７７】
なお、親機１では、機器IDおよび機能情報は、例えば、ＥＥＰＲＯＭ１３０や、図１５に示したコンフィギレーションＲＯＭのvendor_dependent_informationなどに記憶させておくことができる。
【０３７８】
その後、ステップＳ６４に進み、ＣＰＵ１２９は、ステップＳ６３で接続機器に送信した機能情報要求コマンドに対応して、その接続機器が、機器IDと機能情報を送信してくるのを待って、その機器IDと機能情報を、IEEE1394インタフェース１３３を介して受信し、ＥＥＰＲＯＭ１３０に記憶させて、ステップＳ６５に進む。
【０３７９】
ステップＳ６５では、ＣＰＵ１２９は、ＥＥＰＲＯＭ１３０に記憶された機能情報を参照することにより、接続機器が子機であるかどうかを判定する。ステップＳ６５において、接続機器が子機であると判定された場合、即ち、接続機器が子機であることの認証に成功した場合、ステップＳ６６およびＳ６７をスキップして、ステップＳ６８に進み、ＣＰＵ１２９は、動作モードを、その子機である接続機器に対して特別機能による処理を行わせるための制御コマンドを提供、即ち、子機の特別機能を制御する特別機能コマンド受付／提供モードに設定して、リターンする。
【０３８０】
一方、ステップＳ６５において、接続機器が子機でないと判定された場合、ステップＳ６６に進み、ＣＰＵ１２９は、ＥＥＰＲＯＭ１３０に記憶された機能情報を参照することにより、接続機器が親機であるかどうかを判定する。ステップＳ６６において、接続機器が親機であると判定された場合、即ち、接続機器が親機であることの認証に成功した場合、ステップＳ６７に進み、ＣＰＵ１２９は、親機である接続機器との間で親子調整処理を行う。
【０３８１】
即ち、この場合、親機１に、他の親機が接続されていることから、スケーラブルＴＶシステムを構成するテレビジョン受像機の中に、親機として機能するものが、２台存在することになる。本実施の形態では、スケーラブルＴＶシステムにおける親機は１台である必要があり、このため、ステップＳ６７では、親機１と、接続機器としての親機との間で、いずれが親機としてのテレビジョン受像機として機能するかを決定する親子調整処理が行われる。
【０３８２】
具体的には、例えば、より早く、スケーラブルＴＶシステムを構成することとなった親機、つまり、本実施の形態では、親機１が、親機としてのテレビジョン受像機として機能するように決定される。なお、親機として機能しないように決定された他の親機は、子機として機能することとなる。
【０３８３】
ステップＳ６７で親子調整処理が行われた後は、ステップＳ６８に進み、ＣＰＵ１２９は、上述したように、動作モードを、特別機能コマンド受付／提供モードに設定して、リターンする。
【０３８４】
一方、ステップＳ６６において、接続機器が親機でないと判定された場合、即ち、接続機器が親機および子機のいずれでもなく、従って、接続機器が親機または子機であることの認証に失敗した場合、ステップＳ６９に進み、ＣＰＵ１２９は、動作モードを、接続機器との間で、既定のAV/Cコマンドセットのやりとりは可能であるが、特別機能による処理を行うための制御コマンドのやりとりはできない通常機能コマンド受付／提供モードに設定して、リターンする。
【０３８５】
即ち、この場合、接続機器は、親機および子機のいずれでもないため、そのような接続機器が、親機１に接続されても、特別機能は提供されない。但し、この場合、接続機器は、正当なIEEE1394機器ではあることから、親機１と接続機器との間における既定のAV/Cコマンドセットのやりとりは許可される。従って、この場合、親機１と接続機器については、他方（あるいは、親機１に接続されている他のIEEE1394機器）から、既定のAV/Cコマンドセットによって制御することは可能である。
【０３８６】
次に、図３２のフローチャートを参照して、図１１の子機２の処理について説明する。
【０３８７】
まず最初に、ステップＳ７１において、ＣＰＵ１４９は、端子パネル４１に、何らかの機器が接続されるか、または、IEEE1394インタフェース１５３もしくはＩＲ受信部１５５から、何らかのコマンドが供給されるというイベントが生じたかどうかを判定し、何らのイベントも生じていないと判定した場合、ステップＳ７１に戻る。
【０３８８】
また、ステップＳ７１において、端子パネル４１に機器が接続されるイベントが生じたと判定された場合、ステップＳ７２に進み、ＣＰＵ１４９は、後述する図３３の認証処理を行い、ステップＳ７１に戻る。
【０３８９】
ここで、端子パネル４１に機器が接続されたかどうかを判定するには、端子パネル４１に機器が接続されたことを検出する必要があるが、この検出は、例えば、図３０のステップＳ４１で説明した場合と同様に行われる。
【０３９０】
一方、ステップＳ７１において、IEEE1394インタフェース１５３もしくはＩＲ受信部１５５から、何らかのコマンドが供給されるイベントが生じたと判定された場合、ステップＳ７３に進み、子機２では、そのコマンドに対応した処理が行われ、ステップＳ７１に戻る。
【０３９１】
次に、図３３のフローチャートを参照して、子機２が図３２のステップＳ７２で行う認証処理について説明する。
【０３９２】
子機２の認証処理では、端子パネル４１に新たに接続された機器（接続機器）が、正当なIEEE1394機器であるかどうかについての認証と、そのIEEE1394機器が、親機であるかどうかいついての認証の２つの認証が行われる。
【０３９３】
即ち、子機２の認証処理では、まず最初に、ステップＳ８１において、ＣＰＵ１４９は、接続機器から、相互認証を行うことを要求する認証要求コマンドが送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップＳ８２に進む。
【０３９４】
ステップＳ８２では、ＣＰＵ１４９は、タイムオーバとなったかどうか、即ち、認証処理を開始してから所定の時間が経過したかどうかを判定する。
【０３９５】
ステップＳ８２において、タイムオーバであると判定された場合、即ち、認証処理を開始してから、所定の時間が経過しても、接続機器から、認証要求コマンドが送信されてこない場合、ステップＳ８３に進み、ＣＰＵ１４９は、接続機器が正当なIEEE1394機器でなく、認証に失敗したとして、動作モードを、その接続機器との間では、何らのデータのやりとりも行わないモードである単体モードに設定して、リターンする。
【０３９６】
従って、子機２は、親機１と同様に、正当なIEEE1394機器でない接続機器との間では、IEEE1394通信は勿論、何らのデータのやりとりも行わない。
【０３９７】
一方、ステップＳ８２において、タイムオーバでないと判定された場合、ステップＳ８１に戻り、以下、同様の処理を繰り返す。
【０３９８】
そして、ステップＳ８１において、認証要求コマンドが、接続機器から送信されてきたと判定された場合、即ち、図３１のステップＳ５１で接続機器としての親機１から送信されてくる認証要求コマンドが、IEEE1394インタフェース１５３で受信され、ＣＰＵ１４９に供給された場合、ステップＳ８４に進み、ＣＰＵ１４９は、IEEE1394インタフェース１５３を制御することにより、認証要求コマンドに対するレスポンスを、接続機器に送信させる。
【０３９９】
ここで、本実施の形態では、図３１におけるステップＳ５１乃至Ｓ５３の処理を親機１に、図３３のステップＳ８１，Ｓ８２、およびＳ８４の処理を子機２に、それぞれ行わせるようにしたが、図３１におけるステップＳ５１乃至Ｓ５３の処理は子機２に、図３３のステップＳ８１，Ｓ８２、およびＳ８４の処理は親機１に、それぞれ行わせるようにすることも可能である。
【０４００】
その後、ステップＳ８５に進み、ＣＰＵ１４９は、接続機器から、乱数Ｒ１が送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップＳ８６に進む。
【０４０１】
ステップＳ８６では、ＣＰＵ１４９は、タイムオーバとなったかどうか、即ち、ステップＳ８４で認証要求コマンドに対するレスポンスを送信してから所定の時間が経過したかどうかを判定する。
【０４０２】
ステップＳ８６において、タイムオーバであると判定された場合、即ち、認証コマンドに対するレスポンスを送信してから、所定の時間が経過しても、接続機器から、乱数Ｒ１が送信されてこない場合、ステップＳ８３に進み、ＣＰＵ１４９は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを、その接続機器との間では、何らのデータのやりとりも行わないモードである単体モードに設定して、リターンする。
【０４０３】
一方、ステップＳ８６において、タイムオーバでないと判定された場合、ステップＳ８５に戻り、以下、同様の処理を繰り返す。
【０４０４】
そして、ステップＳ８５において、接続機器から乱数Ｒ１が送信されてきたと判定された場合、即ち、図３１のステップＳ５５で接続機器としての親機１から送信されてくる乱数Ｒ１が、IEEE1394インタフェース１５３で受信され、ＣＰＵ１４９に供給された場合、ステップＳ８７に進み、ＣＰＵ１４９は、その乱数Ｒ１を、所定の暗号化アルゴリズムで暗号化し、暗号化乱数Ｅ’（Ｒ１）を生成する。さらに、ステップＳ８７では、ＣＰＵ１４９は、IEEE1394インタフェース１５３を制御することにより、暗号化乱数Ｅ’（Ｒ１）を、接続機器に送信し、ステップＳ８９に進む。
【０４０５】
ステップＳ８９では、ＣＰＵ１４９は、乱数（疑似乱数）Ｒ２を生成し、IEEE1394インタフェース１５３を制御することにより、乱数Ｒ２を接続機器に送信させ、ステップＳ９０に進む。
【０４０６】
ステップＳ９０では、ＣＰＵ１４９は、接続機器としての親機１が図３１のステップＳ６２で生成する、乱数Ｒ２を暗号化した暗号化乱数Ｅ（Ｒ２）が、接続機器から送信されてきたかどうかを判定する。
【０４０７】
ステップＳ９０において、接続機器から暗号化乱数Ｅ（Ｒ２）が送信されてきていないと判定された場合、ステップＳ９１に進み、ＣＰＵ１４９は、タイムオーバとなったかどうか、即ち、乱数Ｒ２を送信してから所定の時間が経過したかどうかを判定する。
【０４０８】
ステップＳ９１において、タイムオーバであると判定された場合、即ち、乱数Ｒ２を、接続機器に送信してから、所定の時間が経過しても、その接続機器から、暗号化乱数Ｅ（Ｒ２）が送信されてこない場合、ステップＳ８３に進み、ＣＰＵ１４９は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
【０４０９】
一方、ステップＳ９１において、タイムオーバでないと判定された場合、ステップＳ９０に戻り、以下、同様の処理を繰り返す。
【０４１０】
そして、ステップＳ９０において、接続機器から暗号化乱数Ｅ（Ｒ２）が送信されてきたと判定された場合、即ち、接続機器からの暗号化乱数Ｅ（Ｒ２）が、IEEE1394インタフェース１５３で受信され、ＣＰＵ１４９に供給された場合、ステップＳ９２に進み、ＣＰＵ１４９は、ステップＳ８９で生成した乱数Ｒ２を、所定の暗号化アルゴリズムで暗号化し、暗号化乱数Ｅ’（Ｒ２）を生成して、ステップＳ９３に進む。
【０４１１】
ステップＳ９３では、ＣＰＵ１４９は、接続機器から送信されてきた暗号化乱数Ｅ（Ｒ２）と、自身がステップＳ９２生成した暗号化乱数Ｅ’（Ｒ２）とが等しいかどうかを判定する。
【０４１２】
ステップＳ９３において、暗号化乱数Ｅ（Ｒ２）とＥ’（Ｒ２）とが等しくないと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズム（必要に応じて、暗号化に用いられる秘密鍵も含む）が、ＣＰＵ１４９で採用されている暗号化アルゴリズムと異なるものである場合、ステップＳ８３に進み、ＣＰＵ１４９は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
【０４１３】
また、ステップＳ９３において、暗号化乱数Ｅ（Ｒ２）とＥ’（Ｒ２）とが等しいと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズムが、ＣＰＵ１４９で採用されている暗号化アルゴリズムと等しいものであり、これにより、接続機器が正当なIEEE1394機器であることの認証が成功した場合、ステップＳ９４に進み、ＣＰＵ１４９は、接続機器としての親機１が、図３１のステップＳ６３で機能情報要求コマンドとともに送信してくる機器IDおよび機能情報を、IEEE1394インタフェース１５３を介して受信し、ＥＥＰＲＯＭ１５０に記憶させる。
【０４１４】
そして、ステップＳ９５に進み、ＣＰＵ１４９は、IEEE1394インタフェース１５３を制御することにより、ステップＳ９４で受信した接続機器からの機能情報要求コマンドに対応して、自身の機器IDと機能情報を、接続機器に送信させ、ステップＳ９６に進む。
【０４１５】
ここで、子機２では、機能IDと機能情報は、図３１で説明した親機１における場合と同様に、ＥＥＰＲＯＭ１５０や、図１５に示したコンフィギレーションＲＯＭのvendor_dependent_informationなどに記憶させておくことができる。
【０４１６】
ステップＳ９６では、ＣＰＵ１４９は、ＥＥＰＲＯＭ１５０に記憶された機能情報を参照することにより、接続機器が親機であるかどうかを判定する。ステップＳ９６において、接続機器が親機であると判定された場合、即ち、接続機器が親機であることの認証に成功した場合、ステップＳ９７に進み、ＣＰＵ１４９は、動作モードを、親機である接続機器からの制御コマンドを受け付け、その制御コマンドに対応して特別機能による処理を行う、即ち、特別機能を制御する制御コマンドを受け付ける特別機能コマンド受付／提供モードに設定して、リターンする。
【０４１７】
ここで、子機２は、特別機能コマンド受付／提供モードとなると、基本的に、自身のフロントパネル１５４やＩＲ受信部１５５から供給されるコマンドを無視し、IEEE1394インタフェース１５３で受信される親機１からのコマンドにしたがって各種の処理を行う状態となる。即ち、子機２は、例えば、チャンネルや音量の設定その他を、親機１からのコマンドにのみ対応して行う状態となる。従って、スケーラブルＴＶシステムは、親機１によって、そのスケーラブルＴＶシステムを構成するすべての子機２を制御する、いわば集中制御型のシステムであるということができる。
【０４１８】
なお、親機１（図１０）から子機２へのコマンドの送信は、そのフロントパネル１３４やＩＲ受信部１３５からの入力に基づいて行うこともできるし、子機２のフロントパネル１５４やＩＲ受信部１５５への入力を、IEEE1394インタフェース１５３を介して親機１に転送し、そのようにして子機２から親機１に転送されてくる入力に基づいて行うこともできる。
【０４１９】
一方、ステップＳ９６において、接続機器が親機でないと判定された場合、即ち、接続機器が親機であることの認証に失敗した場合、ステップＳ９８に進み、ＣＰＵ１４９は、動作モードを、接続機器との間で、既定のAV/Cコマンドセットのやりとりは可能であるが、特別機能による処理を行うための制御コマンドのやりとりはできない通常機能コマンド受付／提供モードに設定して、リターンする。
【０４２０】
即ち、この場合、接続機器は、親機でないため、そのような接続機器が、子機２に接続されても、特別機能は提供されない。従って、子機２に、他の子機が接続されただけでは、特別機能は提供されない。但し、この場合、接続機器は、正当なIEEE1394機器ではあることから、子機２と接続機器との間における既定のAV/Cコマンドセットのやりとりは許可される。従って、この場合、子機２と接続機器（他の子機を含む）については、他方から、既定のAV/Cコマンドセットによって制御することは可能である。
【０４２１】
次に、親機１と子機２で、図３１と図３３で説明した認証処理がそれぞれ成功し、親機１および子機２が、その動作モードを、特別機能コマンド受付／提供モードとした後に、スケーラブルＴＶシステムが特別機能を提供するために、親機１と子機２が、図３０のステップＳ４３と図３２のステップＳ７３でそれぞれ行う処理の詳細の例について説明する。
【０４２２】
まず、親機１では、図１０で説明したようにして、テレビジョン放送番組としての画像と音声が出力される（画像が表示され、音声が出力される）が、親機１において、このように、画像と音声が出力されている場合に、ユーザが、リモコン１５（図７）のガイドボタンスイッチ６３（またはリモコン３５（図８）のガイドボタンスイッチ９３）をオンとするように操作すると、リモコン１５において、ユーザの操作に対応する赤外線が出射される。この赤外線は、親機１（図１０）のＩＲ受信部１３５で受信され、ガイドボタンスイッチ６３の操作に対応するコマンド（以下、適宜、キャプション表示コマンドという）が、ＣＰＵ１２９に供給される。
【０４２３】
なお、リモコン１５による赤外線は、子機２（図１１）のＩＲ受信部１５５でも受信されるが、子機２では、この赤外線は無視される。
【０４２４】
親機１（図１０）のＣＰＵ１２９は、以上のようにして、キャプション表示コマンドを受信すると、図３４のフローチャートにしたがった親機のクローズドキャプション処理を行う。
【０４２５】
即ち、ＣＰＵ１２９は、まず最初に、ステップＳ１０１において、デマルチプレクサ１２４に供給されているトランスポートストリームに、クローズドキャプションデータが含まれているかどうかを判定する。
【０４２６】
ここで、MPEGビデオストリーム中に、クローズドキャプションデータを含める場合には、クローズドキャプションデータは、例えば、そのシーケンス層におけるMPEGユーザデータ（MPEG-2ユーザデータ）として配置される。この場合、ステップＳ１０１では、ＣＰＵ１２９は、デマルチプレクサ１２４に供給されているトランスポートストリームを参照することにより、そのトランスポートストリーム中に、クローズドキャプションデータが含まれているかどうかを判定する。
【０４２７】
ステップＳ１０１において、トランスポートストリーム中に、クローズドキャプションデータが含まれないと判定された場合、以降の処理をスキップして、クローズドキャプション処理を終了する。
【０４２８】
また、ステップＳ１０１において、トランスポートストリーム中に、クローズドキャプションデータが含まれると判定された場合、ステップＳ１０２に進み、ＣＰＵ１２９は、ＥＥＰＲＯＭ１３０に記憶された、スケーラブルＴＶシステムを構成する子機の機能情報、および自身の機能情報を参照することにより、スケーラブルＴＶシステムを構成するテレビジョン受像機の中から、クローズドキャプション用の係数種データを有するものを検索する。即ち、機能情報には、上述したように、スケーラブルＴＶシステムを構成する各テレビジョン受像機が有する係数種データの種類が含まれており、ステップＳ１０２では、このような機能情報を参照することにより、クローズドキャプション用の係数種データを有するテレビジョン受像機の検索が行われる。
【０４２９】
ここで、クローズドキャプション用の係数種データとは、例えば、クローズドキャプションデータによって表示されるクローズドキャプションの画像データを、教師データとするとともに、その教師データの解像度を劣化させた画像データ、その教師データにノイズを加えた画像データ、またはその教師データを縮小した画像データなどを、生徒データとして、学習を行うことにより得られる係数種データであり、クローズドキャプションの画像について、その解像度の向上、ノイズの除去、または拡大を行うのに、特に適した係数種データを意味する。
【０４３０】
その後、ステップＳ１０３に進み、ＣＰＵ１２９は、ステップＳ１０２の検索結果に基づいて、クローズドキャプション専用の係数種データを有するテレビジョン受像機が存在するかどうかを判定する。
【０４３１】
ステップＳ１０３において、クローズドキャプション専用の係数種データを有するテレビジョン受像機が存在しないと判定された場合、ステップＳ１０４に進み、ＣＰＵ１２９は、通常のクローズドキャプション表示を開始するように、信号処理部１３７を制御する。
【０４３２】
即ち、信号処理部１３７は、いわゆるクローズドキャプションデコーダとしての機能も有しており、ＣＰＵ１２９は、デマルチプレクサ１２４に、トランスポートストリーム中のクローズドキャプションデータを要求し、その要求に応じて、デマルチプレクサ１２４から供給されるクローズドキャプションデータを、信号処理部１３７に供給する。信号処理部１３７は、ＣＰＵ１２９からのクローズドキャプションデータをデコード処理し、その結果得られるクローズドキャプションを、フレームメモリ１２７に記憶された画像データの所定の位置に重畳する。これにより、ＣＲＴ１１には、ＭＰＥＧビデオデコーダ１２５でデコードされた画像データに、クローズドキャプションが重畳された画像データが表示される。
【０４３３】
従って、この場合、親機１のＣＲＴ１１では、クローズドキャプションデコーダを内蔵している一般的なテレビジョン受像機における場合と同様に、コンテンツとしての画像に、対応するクローズドキャプションが重畳されて表示される。
【０４３４】
以上のようにして、クローズドキャプションの表示が開始されると、ステップＳ１０５に進み、ＣＰＵ１２９は、ステップＳ１０１における場合と同様に、デマルチプレクサ１２４に供給されているトランスポートストリーム中に、まだ表示すべきクローズドキャプションデータが含まれているかどうかを判定する。
【０４３５】
ステップＳ１０５において、クローズドキャプションデータがないと判定された場合、ステップＳ１０６をスキップして、ステップＳ１０７に進み、ＣＰＵ１２９は、信号処理部１３７を制御することにより、クローズドキャプションデータのデコード処理を終了させ、クローズドキャプション処理を終了する。
【０４３６】
一方、ステップＳ１０５において、デマルチプレクサ１２４に供給されているトランスポートストリーム中に、まだ表示すべきクローズドキャプションデータが含まれていると判定された場合、ステップＳ１０６に進み、ＣＰＵ１２９は、クローズドキャプション表示を終了するコマンド（以下、適宜、クローズドキャプション表示オフコマンドという）が送信されてきたかどうかを判定する。
【０４３７】
ステップＳ１０６において、クローズドキャプション表示オフコマンドが送信されてきていないと判定された場合、ステップＳ１０５に戻り、以下、同様の処理が繰り返される。即ち、この場合、クローズドキャプションの表示が続行される。
【０４３８】
また、ステップＳ１０６において、クローズドキャプション表示オフコマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、リモコン１５（図７）のガイドボタンスイッチ６３（またはリモコン３５（図８）のガイドボタンスイッチ９３）をオフとするように操作することにより、リモコン１５から、クローズドキャプション表示オフコマンドに対応する赤外線が出射され、ＩＲ受信部１３５で受信された場合、ステップＳ１０７に進み、ＣＰＵ１２９は、上述したように、信号処理部１３７を制御することにより、クローズドキャプションデータのデコード処理を終了させ、クローズドキャプション処理を終了する。
【０４３９】
一方、ステップＳ１０３において、クローズドキャプション専用の係数種データを有するテレビジョン受像機としての子機（以下、適宜、キャプション係数種データ保有子機という）が存在すると判定された場合、ステップＳ１０８に進み、ＣＰＵ１２９は、スケーラブルＴＶシステムを構成するテレビジョン受像機としての子機の中から、クローズドキャプションを表示させるものを選択する。
【０４４０】
即ち、ＣＰＵ１２９は、例えば、親機１の左隣に配置された子機２₂₃や、下に配置された子機２₃₂などを、クローズドキャプションを表示させる子機（以下、適宜、キャプション表示用子機という）として選択する。なお、親機１は、子機２_ijの、親機１から見た配置位置を、上述したように、あらかじめ認識しており、これにより、親機１の左隣に配置された子機２₂₃や、下に配置された子機２₃₂などの各配置位置にある子機_ijを特定する。
【０４４１】
その後、ステップＳ１０９に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を介して、キャプション係数種データ保有子機に、コマンドを送信し、これにより、クローズドキャプション専用の係数種データを要求する。
【０４４２】
ここで、ＣＰＵ１２９は、キャプション係数種データ保有子機となっている子機を、ＥＥＰＲＯＭ１３０に機能情報とともに記憶されている機器IDによって特定し、クローズドキャプション専用の係数種データを要求するコマンド（以下、適宜、係数種データ要求コマンドという）を、その機器ID宛に送信する。ＣＰＵ１２９は、係数種データ要求コマンド以外のコマンドも、そのコマンドを送るべき子機を、機器IDによって特定し、その機器ID宛に送信する。
【０４４３】
ステップＳ１０９では、さらに、ＣＰＵ１２９は、係数種データ要求コマンドを受信したキャプション係数種データ保有子機からクローズドキャプション専用の係数種データが送信されてくるのを待って、そのクローズドキャプション専用の係数種データを、IEEE1394インタフェース１３３を介して受信し、これにより、クローズドキャプション専用の係数種データを取得する。
【０４４４】
ここで、ＣＰＵ１２９は、自身の信号処理部１３７のＥＥＰＲＯＭ１３７Ｂに、クローズドキャプション専用の係数種データが記憶されている場合には、ステップＳ１０９において、クローズドキャプション専用の係数種データを、ＥＥＰＲＯＭ１３７Ｂから読み出すことにより取得する。
【０４４５】
また、クローズドキャプション専用の係数種データが、スケーラブルＴＶシステムを構成するテレビジョン受像機のいずれにも記憶されていない場合であっても、例えば、図示せぬ係数種データ提供用サーバにおいて、クローズドキャプション専用の係数種データが提供されているときには、ＣＰＵ１２９では、モデム１３６を制御することにより、係数種データ提供用サーバにアクセスし、その係数種データ提供用サーバから、クローズドキャプション専用の係数種データを取得するようにすることが可能である。
【０４４６】
なお、このような係数種データ提供用サーバによる係数種データの提供は、クローズドキャプション専用の係数種データに限らず、後述する各種の処理（画像変換処理）に用いられる係数種データについても、同様に行うことが可能である。
【０４４７】
また、係数種データ提供用サーバによる係数種データの提供は、無償または有償のいずれで行うことも可能である。
【０４４８】
ＣＰＵ１２９は、ステップＳ１０９でクローズドキャプション専用の係数種データを取得すると、ステップＳ１１０に進み、IEEE1394インタフェース１３３を制御することにより、キャプション表示用子機に対して、クローズドキャプションの表示を指令するクローズドキャプション表示コマンドとともに、クローズドキャプション専用の係数種データを送信し、ステップＳ１１１に進む。
【０４４９】
ステップＳ１１１では、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、キャプション表示用子機に対して、そのIEEE1394インタフェース１５３（図１１）への入力を選択して、そのＣＲＴ３１に表示することを指令する外部入力選択コマンドを送信し、ステップＳ１１２に進む。
【０４５０】
ステップＳ１１２では、ＣＰＵ１２９は、クローズドキャプションデータの、キャプション表示用子機への転送を開始する。
【０４５１】
即ち、ＣＰＵ１２９は、デマルチプレクサ１２４に、トランスポートストリーム中のクローズドキャプションデータを要求し、その要求に応じて、デマルチプレクサ１２４から供給されるクローズドキャプションデータを受信する。さらに、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、デマルチプレクサ１２４から受信したクローズドキャプションデータを、キャプション表示用子機に転送させる。
【０４５２】
以上のようにして、クローズドキャプションデータの、キャプション表示用子機への転送が開始されると、ステップＳ１１３に進み、ＣＰＵ１２９は、ステップＳ１０１における場合と同様に、デマルチプレクサ１２４に供給されているトランスポートストリーム中に、まだ表示すべきクローズドキャプションデータが含まれているかどうかを判定する。
【０４５３】
ステップＳ１１３において、クローズドキャプションデータがないと判定された場合、ステップＳ１１４をスキップして、ステップＳ１１５に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、クローズドキャプションデータの転送処理を終了させ、クローズドキャプション処理を終了する。
【０４５４】
一方、ステップＳ１１３において、デマルチプレクサ１２４に供給されているトランスポートストリーム中に、まだ表示すべきクローズドキャプションデータが含まれていると判定された場合、ステップＳ１１４に進み、ＣＰＵ１２９は、クローズドキャプション表示を終了するコマンド（クローズドキャプション表示オフコマンド）が送信されてきたかどうかを判定する。
【０４５５】
ステップＳ１１４において、クローズドキャプション表示オフコマンドが送信されてきていないと判定された場合、ステップＳ１１３に戻り、以下、同様の処理が繰り返される。即ち、この場合、クローズドキャプションデータの、キャプション表示用子機への転送が続行される。
【０４５６】
また、ステップＳ１１４において、クローズドキャプション表示オフコマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、リモコン１５（図７）のガイドボタンスイッチ６３（またはリモコン３５（図８）のガイドボタンスイッチ９３）をオフとするように操作することにより、リモコン１５から、クローズドキャプション表示オフコマンドに対応する赤外線が出射され、ＩＲ受信部１３５で受信された場合、ステップＳ１１５に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、クローズドキャプションデータの転送処理を終了させ、クローズドキャプション処理を終了する。
【０４５７】
親機１において、図３４のクローズドキャプション処理が行われ、これにより、そのステップＳ１１０において、クローズドキャプション表示コマンドが送信され、そのクローズドキャプション表示コマンドが、キャプション表示用子機としての子機２で受信されると（子機２（図１１）のIEEE1394インタフェース１５３で受信され、ＣＰＵ１４９に供給されると）、その子機２では、図３５のフローチャートにしたがった子機のクローズドキャプション処理が行われる。
【０４５８】
即ち、キャプション表示用子機としての子機２（図１１）では、まず最初に、ステップＳ１２１において、図３４のステップＳ１１０で、親機１からクローズドキャプション表示コマンドとともに送信されてくるクローズドキャプション専用の係数種データが、IEEE1394インタフェース１５３で受信され、ＣＰＵ１４９に供給され、ステップＳ１２２に進む。
【０４５９】
ステップＳ１２２では、ＣＰＵ１４９は、クローズドキャプション専用の係数種データを、信号処理部１５７に転送し、係数種メモリ２０７（図２９）にセットする（記憶）させる。なお、その際、信号処理部１５７は、自身が元から係数種メモリ２０７に記憶している係数種データを、あらかじめ、ＥＥＰＲＯＭ１５７Ｂの空き領域に待避させる。
【０４６０】
ここで、キャプション表示用子機としての子機２が、キャプション係数種データ保有子機でもある場合、即ち、子機２の信号処理部１５７を構成する係数メモリ２０７に、元からクローズドキャプション専用の係数種データが記憶されている場合、上述のステップＳ１２１およびＳ１２２の処理、並びに後述するステップＳ１２８の処理は、スキップするようにすることができる。
【０４６１】
その後、ステップＳ１２３に進み、ＣＰＵ１４９は、親機１が図３４のステップＳ１１１で送信してくる外部入力選択コマンドを受信したかどうかを判定し、受信していないと判定した場合、ステップＳ１２３に戻る。
【０４６２】
また、ステップＳ１２３において、親機１からの外部入力選択コマンドを受信したと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１からの外部入力選択コマンドが受信され、ＣＰＵ１４９に供給された場合、ステップＳ１２４に進み、ＣＰＵ１４９は、IEEE1394インタフェース１５３で受信されるクローズドキャプションデータを選択して、信号処理部１５７に供給する状態となり、ステップＳ１２５に進む。
【０４６３】
ステップＳ１２５では、ＣＰＵ１４９は、親機１が図３４のステップＳ１１２で転送を開始するクローズドキャプションデータが送信されてきたかどうかを判定する。
【０４６４】
ステップＳ１２５において、親機１からのクローズドキャプションデータが送信されてきたと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１からのクローズドキャプションデータが受信され、ＣＰＵ１４９に供給された場合、ステップＳ１２６に進み、ＣＰＵ１４９は、そのクローズドキャプションデータを、信号処理部１５７に供給し、そのクローズドキャプションデータを対象とし、かつ、ステップＳ１２２で係数種メモリ２０７（図２９）にセットされたクローズドキャプション専用の係数種データを用いた画像変換処理を行わせる。
【０４６５】
即ち、この場合、信号処理部１５７は、ＣＰＵ１４９からのクローズドキャプションデータをデコードし、その結果得られるクローズドキャプションの画像データを、係数種メモリ２０７に記憶されたクローズドキャプション専用の係数種データから生成されるタップ係数を用いて画像変換処理することにより、高画質のクローズドキャプションの画像データに変換する。
【０４６６】
この高画質のクローズドキャプションの画像データは、ステップＳ１２７において、フレームメモリ１４７およびＮＴＳＣエンコーダ１４８を介してＣＲＴ３１に供給されて表示される。そして、ステップＳ１２５に戻り、ステップＳ１２５において、親機１からクローズドキャプションデータが送信されてこないと判定されるまで、ステップＳ１２５乃至Ｓ１２７の処理が繰り返される。
【０４６７】
そして、ステップＳ１２５において、親機１からクローズドキャプションデータが送信されてこないと判定された場合、即ち、IEEE1394インタフェース１５３において、クローズドキャプションデータを受信することができなくなった場合、ステップＳ１２８に進み、信号処理部１５７は、ＥＥＰＲＯＭ１５７Ｂに待避しておいた元の係数種データを、係数種メモリ２０７（図２９）にセットし直し（上書きし）、クローズドキャプション処理を終了する。
【０４６８】
図３４の親機のクローズドキャプション処理、および図３５の子機のクローズドキャプション処理によれば、スケーラブルＴＶシステムを構成するテレビジョン受像機の中に、クローズドキャプション専用の係数種データを有するものが存在しない場合には、親機１では、従来の、クローズドキャプションデコーダ内蔵型のテレビジョン受像機と同様に、テレビジョン放送番組としての画像データに、クローズドキャプションの画像データが重畳され、ＣＲＴ１１に表示される。
【０４６９】
一方、スケーラブルＴＶシステムを構成するテレビジョン受像機の中に、クローズドキャプション専用の係数種データを有するものが存在する場合には、親機１のＣＲＴ１１では、テレビジョン放送番組としての画像データだけが表示される。さらに、キャプション表示用子機としての子機２のＣＲＴ３１では、親機１のＣＲＴ１１に表示された画像データに対応するクローズドキャプションの画像データであって、高画質の画像データに変換されたものが表示される。
【０４７０】
従って、ユーザは、テレビジョン放送番組としての画像データを、クローズドキャプションの画像データに妨げられることなく、見ることができる。さらに、ユーザは、高画質のクローズドキャプションの画像データを見ることができる。
【０４７１】
なお、スケーラブルＴＶシステムを構成するテレビジョン受像機の中に、クローズドキャプション専用の係数種データを有するものが存在しない場合であっても、クローズドキャプションの画像データは、テレビジョン放送番組の画像データとは別に、キャプション表示用子機としての子機２のＣＲＴ３１に表示させるようにすることが可能である。この場合、ユーザは、高画質のクローズドキャプションの画像データを見ることはできないが、それでも、テレビジョン放送番組としての画像データを、クローズドキャプションの画像データに妨げられることなく、見ることが可能となる。
【０４７２】
また、上述の場合には、クローズドキャプションの画像データを、キャプション表示用子機としての１台の子機２にのみ表示させるようにしたが、クローズドキャプションの画像データは、その他、スケーラブルＴＶシステムを構成する２台以上の子機において表示するようにすることも可能である。即ち、例えば、複数言語のクローズドキャプションデータが存在する場合には、各言語のクローズドキャプションの画像データを、異なる子機で表示するようにすることが可能である。
【０４７３】
次に、スケーラブルＴＶシステムは、例えば、画像データの一部を拡大する特別機能を有しており、この特別機能は、親機１と子機２において、一部拡大処理が行われることにより実現される。
【０４７４】
一部拡大処理を行うことの指示は、例えば、メニュー画面から行うことができるようになっている。
【０４７５】
即ち、上述したように、ユーザが、リモコン１５（図７）のメニューボタンスイッチ５４（またはリモコン３５（図８）のメニューボタンスイッチ８４）を操作した場合、親機１のＣＲＴ１１（または子機２のＣＲＴ３１）には、メニュー画面が表示されるが、このメニュー画面には、例えば、一部拡大処理を表すアイコン（以下、適宜、一部拡大アイコンという）が表示されるようになっており、ユーザが、この一部拡大アイコンを、リモコン１５を操作してクリックした場合、親機１と子機２それぞれにおいて、一部拡大処理が開始される。
【０４７６】
そこで、まず、図３６のフローチャートを参照して、親機の一部拡大処理について説明する。
【０４７７】
例えば、いま、親機１のＣＲＴ１１に、テレビジョン放送番組としての画像データ（以下、適宜、番組画像データという）が表示されている状態において、一部拡大アイコンがクリックされたとすると、まず最初に、ステップＳ１３１において、ＣＰＵ１２９は、親機１に代えて、その親機１のＣＲＴ１１に表示された番組画像データの全体を表示させる子機（以下、適宜、全体表示用子機という）を、スケーラブルＴＶシステムを構成するテレビジョン受像機の中から選択し、ステップＳ１３２に進む。
【０４７８】
ここで、全体表示用子機としては、スケーラブルＴＶシステムを構成する子機のうちの１台だけを選択するようにすることも可能であるし、２台以上（すべてを含む）を選択するようにすることも可能である。
【０４７９】
ステップＳ１３２では、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、全体表示用子機と通信し、これにより、全体表示用子機の電源がオン状態となっているかどうかを判定する。
【０４８０】
ステップＳ１３２において、全体表示用子機の電源がオン状態となってないと判定された場合、ステップＳ１３３に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、全体表示用子機に対して、電源をオン状態にすることを指令するコマンドを送信し、これにより、全体表示用子機を、電源オンの状態にさせ、ステップＳ１３４に進む。
【０４８１】
また、ステップＳ１３２において、全体表示用子機の電源がオン状態となっていると判定された場合、ステップＳ１３３をスキップして、ステップＳ１３４に進み、ＣＰＵ１２９は、信号処理部１３７を制御することにより、ＣＲＴ１１に表示された画像において、拡大すべき位置（拡大位置）を指定することを要求するメッセージ（以下、拡大位置指定要求メッセージという）を、ＣＲＴ１１に、例えばＯＳＤ表示させる。
【０４８２】
即ち、この場合、信号処理部１３７は、ＣＰＵ１２９からの制御にしたがい、拡大位置指定要求メッセージのＯＳＤデータを生成し、フレームメモリ１２７に記憶された番組画像データに重畳する。この拡大位置指定要求メッセージのＯＳＤデータが重畳された番組画像データは、フレームメモリ１２７から、ＮＴＳＣエンコーダ１２８を介して、ＣＲＴ１１に供給され、これにより、ＣＲＴ１１においては、番組画像データとともに、拡大位置指定要求メッセージがＯＳＤ表示される。
【０４８３】
その後、ステップＳ１３５に進み、ＣＰＵ１２９は、ユーザが、ステップＳ１３４で表示された拡大位置指定要求メッセージに対応して、拡大位置を指定したかどうかを判定し、拡大位置を指定していないと判定した場合、ステップＳ１３５に戻る。
【０４８４】
また、ステップＳ１３５において、ユーザが拡大位置を指定したと判定された場合、即ち、ユーザが、リモコン１５（またはリモコン３５）を操作することにより、ＣＲＴ１１の表示画面上の位置を指定し、これにより、その位置に対応する赤外線が、ＩＲ受信部１３５で受信され、ＣＰＵ１２９に供給された場合、ＣＰＵ１２９は、その指定された位置を、拡大位置として認識し、ステップＳ１３６に進む。
【０４８５】
ステップＳ１３６では、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、全体表示用子機に対して、そのIEEE1394インタフェース１５３（図１１）への入力を選択して、そのＣＲＴ３１に表示することを指令する外部入力選択コマンドを送信し、ステップＳ１３７に進む。
【０４８６】
ステップＳ１３７では、ＣＰＵ１２９は、番組画像データの、全体表示用子機への転送を開始する。
【０４８７】
即ち、ＣＰＵ１２９は、デマルチプレクサ１２４に、トランスポートストリーム中の、ＭＰＥＧビデオデコーダ１２５に供給されているＴＳパケットを要求し、その要求に応じて、デマルチプレクサ１２４から供給されるＴＳパケットを受信する。さらに、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、デマルチプレクサ１２４から受信したＴＳパケットを、全体表示用子機に転送させる。従って、全体表示用子機には、親機１のＣＲＴ１１で表示されている番組画像データに対応するＴＳパケットが転送され、さらに、全体表示用子機において、後述する図３７の子機の一部拡大処理が行われることにより、そのＴＳパケットに対応する番組画像データが表示される。即ち、全体表示用子機では、親機１で表示されていた番組画像データの全体が表示される。
【０４８８】
なお、ＣＰＵ１２９においては、全体表示用子機には、ＴＳパケットではなく、フレームメモリ１２７に記憶された番組画像データ、即ち、ＭＰＥＧデコード後の画像データを、信号処理部１３７を介して読み出して転送するようにすることも可能である。この場合、全体表示用子機では、番組画像データを、ＭＰＥＧデコードすることなく表示することができる。
【０４８９】
以上のようにして、ＴＳパケットの、全体表示用子機への転送が開始されると、ステップＳ１３８に進み、ＣＰＵ１２９は、信号処理部１３７を制御することにより、フレームメモリ１２７に記憶された番組画像データの拡大位置を中心とする所定の範囲を拡大範囲として、その拡大範囲を対象とし、かつ、係数種メモリ１６７（図２２）にセットされたリサイズ処理用の係数種データを用いた画像変換処理を行わせる。
【０４９０】
即ち、本実施の形態では、親機１の信号処理部１３７（図２２）を構成する係数種メモリ１６７には、少なくとも、リサイズ処理用の係数種データが記憶されており、信号処理部１３７は、フレームメモリ１２７に記憶された番組画像データの拡大位置を中心とする所定の範囲としての拡大範囲を、係数種メモリ１６７に記憶されたリサイズ処理用の係数種データから生成されるタップ係数を用いて画像変換処理することにより、その拡大範囲の番組画像データを、所定の拡大率で拡大（リサイズ）した画像データ（以下、適宜、一部拡大画像データという）に変換する。
【０４９１】
この一部拡大画像データは、ステップＳ１３９において、フレームメモリ１２７およびＮＴＳＣエンコーダ１２８を介してＣＲＴ１１に供給されて表示される。
【０４９２】
従って、この場合、親機１のＣＲＴ１１では、番組画像データの、ユーザが指定した拡大位置を中心とする所定の範囲（拡大範囲）を拡大した一部拡大画像データが表示される。
【０４９３】
ここで、拡大範囲を、どのような大きさの範囲にするかは、例えば、拡大率に対応して設定される。
【０４９４】
即ち、一部拡大処理を行うにあたっては、例えば、デフォルトの拡大率（デフォルト拡大率）があらかじめ設定されており、ＣＰＵ１２９は、そのデフォルト拡大率に対応するパラメータを、信号処理部１３７（図２２）のパラメータメモリ１６８にセットする。従って、信号処理部１３７では、番組画像データが、デフォルト拡大率だけ拡大されるリサイズ処理が行われる。
【０４９５】
一方、ＣＲＴ１１に表示することのできる画像データの大きさ、即ち、表示画面の大きさは、あらかじめ決まっている。
【０４９６】
そこで、ＣＰＵ１２９は、デフォルト拡大率だけ拡大した場合に、ＣＲＴ１１の表示画面の大きさとなる、拡大位置を中心とする範囲を、拡大範囲として設定するようになっている。
【０４９７】
なお、ステップＳ１３８の画像変換処理を行う際の拡大率は、ユーザが設定するようにすることができる。
【０４９８】
即ち、例えば、ＣＰＵ１２９において、信号処理部１３７を制御することにより、ＣＲＴ１１には、拡大率を指定することのできる、リモコン１５（またはリモコン３５）によって操作可能なレバー（以下、適宜、拡大率指定用レバーという）を表示させ、その拡大率指定用レバーの位置によって、拡大率を指定するようにすることが可能である。
【０４９９】
この場合、ユーザがリモコン１５を操作することによって、拡大率指定用レバーの位置を移動すると、ＣＰＵ１２９において、その移動後の位置に対応する拡大率のパラメータが、信号処理部１３７（図２２）のパラメータメモリ１６８に設定される。さらに、ＣＰＵ１２９は、拡大率指定用レバーの位置に対応する拡大率に対応して、拡大位置を中心とする拡大範囲を、上述したデフォルト拡大率における場合と同様に設定し、その拡大範囲を対象とする画像変換処理（リサイズ処理）を、信号処理部１３７に指令する。
【０５００】
以上により、ＣＲＴ１１には、ユーザによるリモコン１５の操作に応じた拡大率によって、拡大位置を中心とした拡大範囲の番組画像データを拡大した一部拡大画像データが表示されることになる。
【０５０１】
なお、拡大率指定用レバーは、親機１のＣＲＴ１１にＯＳＤ表示したり、スケーラブルＴＶシステムを構成する、親機１以外のテレビジョン受像機に表示させるようにすることが可能である。
【０５０２】
その後、ステップＳ１４０に進み、ＣＰＵ１２９は、一部拡大画像データの表示を終了するコマンド（以下、適宜、一部拡大終了コマンドという）が送信されてきたかどうかを判定する。
【０５０３】
ステップＳ１４０において、一部拡大終了コマンドが送信されてきていないと判定された場合、ステップＳ１３３に戻り、以下、同様の処理が繰り返される。
【０５０４】
また、ステップＳ１４０において、一部拡大終了コマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、リモコン１５（図７）を操作することにより、ＣＲＴ１１にメニュー画面を表示させ、さらに、そのメニュー画面における一部拡大アイコンを再クリックし、これにより、そのリモコン１５の操作に対応するコマンドである一部拡大終了コマンドの赤外線が、リモコン１５から出射され、ＩＲ受信部１３５で受信されてＣＰＵ１２９に供給された場合、ステップＳ１４１に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、番組画像データの、全体表示用子機への転送を終了させる。
【０５０５】
そして、ステップＳ１４２に進み、ＣＰＵ１２９は、信号処理部１３７を制御することにより、リサイズ処理の実行を停止させ、一部拡大処理を終了する。これにより、ＣＲＴ１１では、通常サイズで画像が表示されるようになる。
【０５０６】
次に、図３７のフローチャートを参照して、全体表示用子機としての子機の一部拡大処理について説明する。
【０５０７】
全体表示用子機としての子機２では、まず最初に、ステップＳ１５１において、ＣＰＵ１４９は、親機１が図３６のステップＳ１３６で送信してくる外部入力選択コマンドを受信したかどうかを判定し、受信していないと判定した場合、ステップＳ１５１に戻る。
【０５０８】
また、ステップＳ１５１において、親機１からの外部入力選択コマンドを受信したと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１からの外部入力選択コマンドが受信され、ＣＰＵ１４９に供給された場合、ステップＳ１５２に進み、ＣＰＵ１４９は、IEEE1394インタフェース１５３で受信される番組画像データを選択し、デマルチプレクサ１４４を介して、ＭＰＥＧビデオデコーダ１４５に供給する状態となり、ステップＳ１５３に進む。
【０５０９】
ステップＳ１５３では、ＣＰＵ１４９は、親機１が図３６のステップＳ１３７で転送を開始する番組画像データが送信されてきたかどうかを判定する。
【０５１０】
ステップＳ１５３において、親機１からの番組画像データが送信されてきたと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１からの番組画像データが受信され、ＣＰＵ１４９に供給された場合、ステップＳ１５４に進み、ＣＰＵ１４９は、その番組画像データを、ＣＲＴ３１に表示させる。
【０５１１】
即ち、本実施の形態では、図３６のステップＳ１３７において、親機１から全体表示用子機としての子機２に対して、番組画像データとしてのＴＳパケットの送信が開始されるが、この場合、ＣＰＵ１４９は、IEEE1394インタフェース１５３を介して受信した親機１からのＴＳパケットを、デマルチプレクサ１４４を介して、ＭＰＥＧビデオデコーダ１４５に供給する。ＭＰＥＧビデオデコーダ１４５は、そのＴＳパケットをＭＰＥＧデコードし、番組画像データを得て、フレームメモリ１４７に書き込む。そして、フレームメモリ１４７に書き込まれた番組画像データは、ＮＴＳＣエンコーダ１４８を介して、ＣＲＴ３１に供給されて表示される。
【０５１２】
その後、ステップＳ１５３に戻り、ステップＳ１５３において、親機１から番組画像データが送信されてこないと判定されるまで、ステップＳ１５３およびＳ１５４の処理が繰り返される。
【０５１３】
また、ステップＳ１５３において、親機１から番組画像データが送信されてこないと判定された場合、即ち、IEEE1394インタフェース１５３において、番組画像データを受信することができなくなった場合、一部拡大処理を終了する。
【０５１４】
図３６の親機の一部拡大処理、および図３７の子機の一部拡大処理によれば、例えば、図３８Ａに示すように、スケーラブルＴＶシステムを構成する第２行第２列に位置する親機１に番組画像データが表示されている場合において、その番組画像データにおける、ある位置Ｐが拡大位置として指定されると、その拡大位置Ｐを中心（重心）とする所定の長方形の範囲（図３８Ａにおいて点線で示す範囲）が拡大範囲として設定され、図３８Ｂに示すように、その拡大範囲の番組画像データを拡大した一部拡大画像データが、番組画像データに代えて、親機１に表示される。
【０５１５】
さらに、例えば、親機１の左隣の子機２₂₁が、全体表示用子機として選択された場合には、図３８Ｂに示すように、その全体表示用子機である子機２₂₁に、親機１に表示されていた番組画像データの全体が表示される。
【０５１６】
従って、ユーザは、親機１において、番組画像データにおける、より詳細に見たい部分を、細部にわたって見ることができる。さらに、ユーザは、子機２において、番組画像データの全体も見ることができる。また、本実施の形態では、上述したように、ユーザがリモコン１５を操作することによって、一部拡大画像データの拡大率を設定することができるので、ユーザは、番組画像データにおける、より詳細に見たい部分を、必要な程度にまで自由に拡大して見ることができる。
【０５１７】
ここで、親機１（図１０）の信号処理部１３７（図２２）では、係数種データから生成されるタップ係数ｗ_nを用いて、式（１）したがい、番組画像データの拡大範囲が、一部拡大画像データに画像変換されるが、この画像変換は、式（１）だけに注目すれば、一見、単なる補間処理であるように見える。しかしながら、式（１）で用いられるタップ係数ｗ_nを生成するのに用いられる係数種データは、図２４乃至図２８を参照して説明したように、教師データと生徒データとを用いての学習によって得られるものであり、そのような係数種データから生成されるタップ係数ｗ_nを用いて画像を変換することにより、教師データに含まれる成分を再現することができる。即ち、リサイズ処理用の係数種データについて言えば、その係数種データが生成されたタップ係数ｗ_nによれば、元の画像に現れていない細部を再現して、その画像を拡大することができる。従って、学習により求められる係数種データから生成される式（１）による画像変換処理としてのリサイズ処理は、単なる補間処理による画像の拡大処理とは、まったく異なる。
【０５１８】
なお、番組画像データの拡大範囲の、一部拡大画像データへの拡大処理は、係数種データから求められるタップ係数を用いる他、単なる補間処理によって行うことも可能である。しかしながら、単なる補間処理による場合は、元の番組画像データが有していない細部を再現することはできないため、拡大率を大にするほど、いわばブロック状の角張った部分が目立つぼやけた画像が得られることになる。
【０５１９】
また、本実施の形態では、親機１に一部拡大画像データを表示し、子機２に番組画像データの全体を表示するようにしたが、親機１に番組画像データを表示させたまま、子機２に一部拡大画像データを表示するようにすることも可能である。
【０５２０】
さらに、本実施の形態では、親機１に一部拡大画像データを表示し、全体表示用子機としての子機２に番組画像データの全体を表示するようにしたが、それらの表示に加えて、スケーラブルＴＶシステムを構成する他のテレビジョン受像機に、一部拡大画像データまたは番組画像データの全体を表示するようにすることも可能である。
【０５２１】
また、スケーラブルＴＶシステムを構成する親機１では、番組画像データの全体を表示し、他のテレビジョン受像機としての子機２₁₁乃至２₃₃それぞれには、拡大率が異なる一部拡大画像データを表示するようにすることが可能である。なお、この場合、拡大率が異なる一部拡大画像データは、すべて親機１の信号処理部１３７において生成し、他のテレビジョン受像機としての子機２₁₁乃至２₃₃それぞれに供給することもできるし、他のテレビジョン受像機としての子機２₁₁乃至２₃₃それぞれの信号処理部１５７において、各拡大率の一部拡大画像データを生成するようにすることも可能である。
【０５２２】
さらに、本実施の形態では、リサイズ処理用の係数種データが、親機１に記憶されているものとしたが、リサイズ処理用の係数種データが、親機１に記憶されていない場合において、スケーラブルＴＶシステムを構成する他のテレビジョン受像機が、リサイズ処理用の係数種データを記憶しているときには、親機１において、そのテレビジョン受像機からリサイズ処理用の係数種データを取得するようにすることが可能である。また、リサイズ処理用の係数種データは、その他、上述したように、係数種データ提供用サーバから取得するようにすることも可能である。
【０５２３】
なお、上述の場合には、番組画像データを拡大するリサイズ処理を行うようにしたが、リサイズ処理では、番組画像データを縮小することも可能である。
【０５２４】
また、上述の場合には、テレビジョン放送番組としての画像データ（番組画像データ）を拡大するようにしたが、一部拡大処理では、その他、外部の装置（光ディスク装置や、光磁気ディスク装置、ＶＴＲなど）から入力される画像データを、その処理の対象とすることが可能である。
【０５２５】
さらに、一部拡大処理では、番組画像データの一部の水平方向および垂直方向の両方を、同一の拡大率だけ拡大することは勿論、水平方向と垂直方向それぞれを、異なる拡大率だけ拡大することも可能である。
【０５２６】
また、本実施の形態では、番組画像データ中の、ＣＲＴ１１の表示画面で表示可能な拡大範囲だけを対象として一部拡大処理を行うようにしたが、一部拡大処理は、番組画像データ全体を対象に行うことも可能である。この場合、ＣＲＴ１１には、番組画像データを拡大した拡大画像の全体を表示することはできないため、その一部分だけが表示されることとなるが、その拡大画像のどの部分をＣＲＴ１１に表示するかは、例えば、リモコン１５の操作にしたがって変更するようにすることが可能である。
【０５２７】
次に、スケーラブルＴＶシステムは、上述したように、画像データの一部を拡大する他、その全体を拡大する特別機能を有しており、この特別機能は、親機１と子機２において、全体拡大処理が行われることにより実現される。
【０５２８】
全体拡大処理を行うことの指示も、例えば、一部拡大処理を行うことの指示と同様に、メニュー画面から行うことができるようになっている。
【０５２９】
即ち、上述したように、ユーザが、リモコン１５（図７）のメニューボタンスイッチ５４（またはリモコン３５（図８）のメニューボタンスイッチ８４）を操作した場合、親機１のＣＲＴ１１（または子機２のＣＲＴ３１）には、メニュー画面が表示されるが、このメニュー画面には、例えば、全体拡大処理を表すアイコン（以下、適宜、全体拡大アイコンという）が表示されるようになっており、ユーザが、この全体拡大アイコンを、リモコン１５を操作してクリックすることにより、親機１と子機２それぞれにおいて、全体拡大処理が開始される。
【０５３０】
そこで、まず、図３９のフローチャートを参照して、親機の全体拡大処理について説明する。
【０５３１】
例えば、いま、親機１のＣＲＴ１１に、テレビジョン放送番組としての画像データ（番組画像データ）が表示されている状態において、全体拡大アイコンがクリックされたとすると、まず最初に、ステップＳ１６１において、親機１（図１０）のＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、スケーラブルＴＶシステムを構成するすべての子機に、リサイズ処理用の係数種データを送信する。
【０５３２】
ここで、本実施の形態では、親機１の信号処理部１３７（図２２）の係数種メモリ１６７には、リサイズ処理用の係数種データが記憶されているものとし、ＣＰＵ１２９は、ステップＳ１６１において、このリサイズ処理用の係数種データを、信号処理部１３７から読み出して送信する。
【０５３３】
なお、親機１が、リサイズ処理用の係数種データを有していない場合には、上述した一部拡大処理における場合と同様に、スケーラブルＴＶシステムを構成する他のテレビジョン受像機のうち、リサイズ処理用の係数種データを記憶しているものや、係数種データ提供用サーバから、リサイズ処理用の係数種データを取得するようにすることが可能である。
【０５３４】
そして、ステップＳ１６２に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を介して、スケーラブルＴＶシステムを構成するすべての子機２₁₁乃至₃₃と通信することにより、電源がオフになっている子機２_ijがあるかどうかを判定する。
【０５３５】
ステップＳ１６２において、電源がオフになっている子機２_ijがあると判定された場合、ステップＳ１６３に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を介して、電源をオンにすることを指令するコマンドを送信し、これにより、電源がオフになっている子機２_ijの電源をオン状態にさせ、ステップＳ１６４に進む。
【０５３６】
また、ステップＳ１６２において、電源がオフになっている子機２_ijがないと判定された場合、ステップＳ１６３をスキップして、ステップＳ１６４に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、すべての子機２₁₁乃至２₃₃に対して、そのIEEE1394インタフェース１５３（図１１）への入力を選択して、そのＣＲＴ３１に表示することを指令する外部入力選択コマンドを送信し、ステップＳ１６５に進む。
【０５３７】
ステップＳ１６５では、ＣＰＵ１２９は、番組画像データを拡大する拡大率Ｎを１倍に初期化し、さらに、最大拡大率Ｎ_maxと拡大ピッチαを設定する。
【０５３８】
即ち、全体拡大処理では、例えば、図１Ａに示した３×３台のテレビジョン受像機で構成されるスケーラブルＴＶシステムにおいて、親機１に表示された番組画像データの全体（全画面）が、親機１を中心として、他のテレビジョン受像機である子機２₁₁乃至２₃₃に亘って徐々に拡大されていき、最終的には、３×３台のテレビジョン受像機の全体に、番組画像データの全体を拡大した画像データ（以下、適宜、全体拡大画像データという）が表示される。
【０５３９】
従って、親機１に表示された番組画像データの全体は、最終的には、スケーラブルＴＶシステムを構成するテレビジョン受像機の全体に表示可能な大きさの全体拡大画像データに拡大されるが、この最終的な全体拡大画像データと、元の番組画像データ（親機１に表示された番組画像データ）との比が、最大拡大率Ｎ_maxとして設定される。即ち、本実施の形態では、親機１に表示された番組画像データが、３×３台のテレビジョン受像機に表示される全体拡大画像データに拡大されることから、例えば、対角線を考えれば、単純には３倍に拡大されることになるので、最大拡大率Ｎ_maxは３倍に設定される。
【０５４０】
また、全体拡大処理では、上述したように、親機１に表示された番組画像データの全体が徐々に拡大されていくが、これは、例えば、番組画像データを、徐々に大きな拡大率Ｎで拡大し、最終的には、最大拡大率Ｎ_maxで拡大することによって実現することができる。従って、この場合、拡大率Ｎを、１倍から最大拡大率Ｎ_maxに、徐々に変化させる必要があるが、この拡大率Ｎを変化させるピッチが、拡大ピッチαであり、例えば、最大拡大率Ｎ_max−１を、１以上の所定の値（以下、適宜、拡大回数値という）で除算した値が設定される。
【０５４１】
ここで、拡大回数値は、あらかじめ、親機１に設定しておくこともできるし、ユーザがリモコン１５（またはリモコン３５）を操作することにより設定可能なようにすることもできる。拡大回数値を小さな値に設定した場合には、親機１に表示された番組画像データは、即座に、大きな全体拡大画像データに拡大され、拡大回数値を大きな値に設定した場合には、親機１に表示された番組画像データは、徐々に、大きな全体拡大画像データに拡大されることになる。
【０５４２】
ステップＳ１６５において、上述したように、拡大率Ｎの初期化、並びに最大拡大率Ｎ_maxおよび拡大ピッチαの設定が行われた後は、ステップＳ１６６に進み、ＣＰＵ１２９は、拡大率Ｎを、Ｎ＋α倍に新たに設定し、ステップＳ１６７に進む。
【０５４３】
なお、ステップＳ１６６において新たに設定された拡大率Ｎが、最大拡大率Ｎ_maxを越える場合には、ＣＰＵ１２９は、拡大率Ｎを最大拡大率Ｎ_maxに設定する。
【０５４４】
ステップＳ１６７では、ＣＰＵ１２９は、親機１に表示された番組画像データ中の、その信号処理部１３７で拡大すべき範囲としての拡大範囲と、各子機２_ij（図１１）の信号処理部１５７で拡大すべき範囲としての拡大範囲とを、ステップＳ１６５で設定した拡大率Ｎに基づいて求め、ステップＳ１６８に進む。ステップＳ１６８では、ＣＰＵ１２９は、親機１のＣＲＴ１１と、各子機２_ij（図１１）のＣＲＴ３１それぞれにおいて、番組画像データの拡大範囲を拡大した画像データ（これも、以下、適宜、一部拡大画像データという）を表示させる範囲としての表示範囲を、ステップＳ１６５で設定した拡大率Ｎに基づいて求め、ステップＳ１６９に進む。
【０５４５】
ここで、図４０を参照して、親機１の拡大範囲（親機１の信号処理部１３７で拡大すべき番組画像データの範囲）、および子機２_ijの拡大範囲（子機２_ijの信号処理部１５７で拡大すべき番組画像データの範囲）、並びに子機２_ijの表示範囲（子機２_ijＣＲＴ３１において、子機２_ijの拡大範囲の番組画像データを拡大した一部拡大画像データを表示させる範囲）を、拡大率Ｎに基づいて算出する算出方法について説明する。
【０５４６】
図４０Ａは、３×３台のテレビジョン受像機で構成されるスケーラブルＴＶシステムの表示画面を示している。
【０５４７】
即ち、スケーラブルＴＶシステムの表示画面は、１台の親機１のＣＲＴ１１による表示画面と、８台の子機２₁₁乃至２₃₃それぞれのＣＲＴ３１による表示画面との合計９台のＣＲＴによる表示画面で構成される。なお、上述したように、親機１と子機２_ijの表示画面サイズは、同一である。
【０５４８】
全体拡大処理では、上述したように、親機１に表示された番組画像データの全体が徐々に拡大されていくが、いま、親機１に表示された番組画像データを画像データＱとするとともに、その画像データＱを所定の拡大率Ｎで拡大して得られる全体拡大画像データを画像データＱ’とする。
【０５４９】
この場合、親機１の表示画面サイズの縦と横の長さを、それぞれａとｂで表すと、番組画像データＱの縦と横の長さも、それぞれａとｂとなる。
【０５５０】
また、全体拡大画像データＱ’は、番組画像データＱの縦と横の長さをＮ倍したものであるから、その縦と横の長さは、それぞれＮａとＮｂとなる。
【０５５１】
全体拡大処理では、上述したように、親機１に表示された番組画像データＱの全体を、親機１を中心として拡大した全体拡大画像データＱ’が表示されるから、親機１および子機２₁₁乃至２₃₃のすべてによって、全体拡大画像データＱ’を、親機１を中心として表示する場合には、親機１では、その表示画面中の、図４０ＡにおいてＲ₁で示す範囲に一部拡大画像データを表示する必要があり、子機２_ijでは、図４０ＡにおいてＲ_ijで示す範囲に一部拡大画像データを表示する必要がある。
【０５５２】
そこで、図３９のステップＳ１６８では、範囲Ｒ₁が親機１の表示範囲として求められるとともに、範囲Ｒ_ijが子機２_ijの表示範囲として求められる。
【０５５３】
即ち、親機１については、その表示画面全体が表示範囲Ｒ₁として求められる。また、親機１の左上の子機２₁₁については、その表示画面の右下側の横×縦が（（Ｎｂ−ｂ）／２）×（（Ｎａ−ａ）／２）の範囲が表示範囲Ｒ₁₁として求められ、親機１の上の子機２₁₂については、その表示画面の下側の横×縦がｂ×（（Ｎａ−ａ）／２）の範囲が表示範囲Ｒ₁₂として求められる。さらに、親機１の右上の子機２₁₃については、その表示画面の左下側の横×縦が（（Ｎｂ−ｂ）／２）×（（Ｎａ−ａ）／２）の範囲が表示範囲Ｒ₁₃として求められ、親機１の左の子機２₂₁については、その表示画面の右側の横×縦が（（Ｎｂ−ｂ）／２）×ａの範囲が表示範囲Ｒ₂₁として求められる。また、親機の右の子機２₂₃については、その表示画面の左側の横×縦が（（Ｎｂ−ｂ）／２）×ａの範囲が表示画面Ｒ₂₃として求められ、親機１の左下の子機２₃₁については、その表示画面の右上側の横×縦が（（Ｎｂ−ｂ）／２）×（（Ｎａ−ａ）／２）の範囲が表示範囲Ｒ₃₁として求められる。さらに、親機１の下の子機２₃₂については、その表示画面の上側の横×縦がｂ×（（Ｎａ−ａ）／２）の範囲が表示範囲Ｒ₃₂として求められ、親機の右下の子機２₃₃については、その表示画面の左上側の横×縦が（（Ｎｂ−ｂ）／２）×（（Ｎａ−ａ）／２）の範囲が表示範囲Ｒ₃₃として求められる。
【０５５４】
一方、いま、図４０Ａに示した親機１の表示範囲Ｒ₁および子機２_ijの表示範囲Ｒ_ijを、全体拡大画像データＱ’の範囲と捉えると、全体拡大画像データＱ’における範囲Ｒ₁およびＲ_ijの画像データは、元の番組画像データＱの一部を拡大した一部拡大画像データであるため、親機１の表示範囲Ｒ₁および子機２_ijの表示範囲Ｒ_ijに表示させる一部拡大画像データに拡大する番組画像データＱの範囲としての拡大範囲を求める必要がある。
【０５５５】
そこで、ステップＳ１６７では、図４０Ｂに示すように、全体拡大画像データＱ’の範囲Ｒ₁とＲ_ijに対応する、元の番組画像データＱの範囲ｒ₁とｒ_ijが、親機１の拡大範囲と子機２_ijの拡大範囲として、それぞれ求められる。
【０５５６】
即ち、いまの場合、Ｎｂ×Ｎａの大きさの全体拡大画像データＱ’は、ｂ×ａの大きさの番組画像データＱをＮ倍の拡大率で拡大したものであるから、全体拡大画像データＱ’の範囲Ｒ₁とＲ_ijを１／Ｎに縮小した範囲に相当する、番組画像データＱの範囲ｒ₁とｒ_ijが、親機１の拡大範囲と子機２_ijの拡大範囲として、それぞれ求められる。
【０５５７】
具体的には、親機１については、番組画像データＱの中心部分の横×縦がｂ／Ｎ×ａ／Ｎの範囲が拡大範囲ｒ₁として求められる。また、親機１の左上の子機２₁₁については、番組画像データＱの左上側の横×縦が（（ｂ−ｂ／Ｎ）／２）×（（ａ−ａ／Ｎ）／２）の範囲が拡大範囲ｒ₁₁として求められ、親機１の上の子機２₁₂については、番組画像データＱの上側の横×縦が（ｂ／Ｎ）×（（ａ−ａ／Ｎ）／２）の範囲が拡大範囲ｒ₁₂として求められる。さらに、親機１の右上の子機２₁₃については、番組画像データＱの右上側の横×縦が（（ｂ−ｂ／Ｎ）／２）×（（ａ−ａ／Ｎ）／２）の範囲が拡大範囲ｒ₁₃として求められ、親機１の左の子機２₂₁については、番組画像データＱの左側の横×縦が（（ｂ−ｂ／Ｎ）／２）×（ａ／Ｎ）の範囲が拡大範囲ｒ₂₁として求められる。また、親機の右の子機２₂₃については、番組画像データＱの右側の横×縦が（（ｂ−ｂ／Ｎ）／２）×（ａ／Ｎ）の範囲が表示画面Ｒ₂₃として求められ、親機１の左下の子機２₃₁については、番組画像データＱの左下側の横×縦が（（ｂ−ｂ／Ｎ）／２）×（（ａ−ａ／Ｎ）／２）の範囲が拡大範囲ｒ₃₁として求められる。さらに、親機１の下の子機２₃₂については、番組画像データＱの下側の横×縦が（ｂ／Ｎ）×（（ａ−ａ／Ｎ）／２）の範囲が拡大範囲ｒ₃₂として求められ、親機の右下の子機２₃₃については、番組画像データＱの右下側の横×縦が（（ｂ−ｂ／Ｎ）／２）×（（ａ−ａ／Ｎ）／２）の範囲が拡大範囲ｒ₃₃として求められる。
【０５５８】
図３９に戻り、ステップＳ１６９では、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、ステップＳ１６１で送信したリサイズ処理用の係数種データを用いて、画像データを拡大するリサイズ処理を行って表示することを指令する拡大表示コマンドを、番組画像データ、拡大率Ｎ、拡大範囲、および表示範囲とともに、各子機２_ijに送信する。
【０５５９】
ここで、ＣＰＵ１２９は、番組画像データについては、デマルチプレクサ１２４に、トランスポートストリーム中の、ＭＰＥＧビデオデコーダ１２５に供給されているＴＳパケットを要求し、その要求に応じて、デマルチプレクサ１２４から供給されるＴＳパケットを受信して、各子機２_ijに送信する。
【０５６０】
また、ＣＰＵ１２９は、拡大範囲および表示範囲については、各子機２_ijについて求められた拡大範囲および表示範囲を、その子機２_ijに送信する。
【０５６１】
なお、ＣＰＵ１２９においては、各子機２_ijには、ＴＳパケットではなく、フレームメモリ１２７に記憶された番組画像データ、即ち、ＭＰＥＧデコード後の画像データを、信号処理部１３７を介して読み出して送信するようにすることも可能である。この場合、各子機２_ijでは、番組画像データを、ＭＰＥＧデコードする必要がなくなる。
【０５６２】
また、このように、ＭＰＥＧデコード後の番組画像データを子機２_ijに送信する場合には、番組画像データの全体ではなく、番組画像データのうちの、子機２_ijについて求められた拡大範囲の分だけを送信するようにすることが可能である。
【０５６３】
その後、ステップＳ１７０に進み、ＣＰＵ１２９は、ステップＳ１６６で設定した拡大率Ｎに対応するパラメータｚを、信号処理部１３７（図２２）のパラメータメモリ１６８にセットし、ステップＳ１７１に進む。
【０５６４】
ステップＳ１７１では、ＣＰＵ１２９は、信号処理部１３７（図２２）を制御することにより、フレームメモリ１２７に記憶された、ステップＳ１６９で各子機２_ijに送信したのと同一の番組画像データの、親機１について求められた拡大範囲ｒ₁（図４０Ｂ）を対象とした画像変換処理を行わせる。
【０５６５】
即ち、本実施の形態では、親機１の信号処理部１３７（図２２）を構成する係数種メモリ１６７には、リサイズ処理用の係数種データが記憶されており、信号処理部１３７は、フレームメモリ１２７に記憶された番組画像データの拡大範囲ｒ₁を、係数種メモリ１６７に記憶されたリサイズ処理用の係数種データと、パラメータメモリ１６８に記憶されたパラメータｚから生成されるタップ係数を用いて画像変換処理することにより、その拡大範囲ｒ₁の番組画像データを、拡大率Ｎで拡大（リサイズ）した画像データとしての一部拡大画像データに変換する。
【０５６６】
さらに、このとき、ＣＰＵ１２９は、一部拡大画像データが、ＣＲＴ１１の表示画面中の、親機１について求められた表示範囲Ｒ₁（図４０Ａ）の位置に表示されるものとなるように、信号処理部１３７を制御する。即ち、これにより、信号処理部１３７では、一部拡大画像データが、ＣＲＴ１１の表示画面中の、親機１について求められた表示範囲Ｒ₁（図４０Ａ）の位置に表示されるように、その表示位置が調整される。
【０５６７】
なお、親機１については、図４０で説明したことから、表示範囲Ｒ₁は、ＣＲＴ１１の表示画面サイズに一致しているため、実際には、一部拡大画像データの表示位置を調整する必要はない。
【０５６８】
ステップＳ１７２において、信号処理部１３７は、ステップＳ１７１で得られた一部拡大画像データを、フレームメモリ１２７およびＮＴＳＣエンコーダ１２８を介してＣＲＴ１１に供給して表示させる。
【０５６９】
従って、この場合、親機１のＣＲＴ１１では、その表示画面全体に、番組画像データの拡大範囲ｒ₁を拡大率Ｎだけ拡大した一部拡大画像データが表示される。
【０５７０】
その後、ステップＳ１７３に進み、ＣＰＵ１２９は、拡大率Ｎが、最大拡大率Ｎ_max未満であるかどうかを判定する。ステップＳ１７３において、拡大率Ｎが、最大拡大率Ｎ_max未満であると判定された場合、ステップＳ１６６に進み、以下、同様の処理が繰り返される。
【０５７１】
また、ステップＳ１７３において、拡大率Ｎが、最大拡大率Ｎ_max未満でないと判定された場合、即ち、ステップＳ１６６で拡大率Ｎが、最大拡大率Ｎ_maxに設定された場合、ステップＳ１７４に進み、ＣＰＵ１２９は、ステップＳ１６９における場合と同様に、IEEE1394インタフェース１３３を制御することにより、拡大表示コマンドを、番組画像データ、拡大率Ｎ、拡大範囲、および表示範囲を、各子機２_ijに送信し、ステップＳ１７５に進む。
【０５７２】
ステップＳ１７５では、ＣＰＵ１２９は、信号処理部１３７（図２２）を制御することにより、フレームメモリ１２７に記憶された、ステップＳ１７４で各子機２_ijに送信したのと同一の番組画像データの、親機１について求められた拡大範囲ｒ₁（図４０Ｂ）を対象とした画像変換処理を行わせる。
【０５７３】
即ち、これにより、ステップＳ１７５では、ステップＳ１６９における場合と同様に、信号処理部１３７は、フレームメモリ１２７に記憶された番組画像データの拡大範囲ｒ₁を、係数種メモリ１６７に記憶されたリサイズ処理用の係数種データと、パラメータメモリ１６８に記憶されたパラメータｚから生成されるタップ係数を用いて画像変換処理することにより、その拡大範囲ｒ₁の番組画像データを、拡大率Ｎで拡大（リサイズ）した画像データとしての一部拡大画像データに変換する。
【０５７４】
この一部拡大画像データは、ステップＳ１７６において、ステップＳ１７２における場合と同様に、フレームメモリ１２７およびＮＴＳＣエンコーダ１２８を介してＣＲＴ１１に供給されて表示される。
【０５７５】
ここで、ステップＳ１７４で各子機２_ijに送信される拡大率Ｎ、拡大範囲、表示範囲は、最後に行われたステップＳ１６６乃至Ｓ１６８でそれぞれ求められたものであるから、拡大率Ｎは最大拡大率Ｎ_maxになっている。さらに、拡大範囲と表示範囲は、最大拡大率Ｎ_maxになっている拡大率Ｎについて求められたものとなっている。
【０５７６】
従って、この場合、親機１の拡大範囲と表示範囲も、最大拡大率Ｎ_maxになっている拡大率Ｎについて求められたものとなっている。
【０５７７】
また、ステップＳ１７５の画像変換処理が行われる際には、最後に行われたステップＳ１７０の処理によって、信号処理部１３７（図２２）のパラメータメモリ１６８には、最大拡大率Ｎ_maxに対応したパラメータｚがセットされている。
【０５７８】
以上から、ステップＳ１７６では、最大拡大率Ｎ_maxになっている拡大率Ｎについて求められた拡大範囲ｒ₁の番組画像データを、最大拡大率Ｎ_maxで拡大することにより得られる一部拡大画像データが、最大拡大率Ｎ_maxになっている拡大率Ｎについて求められた表示範囲Ｒ₁（上述したように、親機１については、ＣＲＴ１１の表示画面に等しい）に表示される。
【０５７９】
その後、ステップＳ１７７に進み、ＣＰＵ１２９は、全体拡大画像データの表示を終了するコマンド（以下、適宜、全体拡大終了コマンドという）が送信されてきたかどうかを判定する。
【０５８０】
ステップＳ１７７において、全体拡大終了コマンドが送信されてきていないと判定された場合、ステップＳ１７４に戻り、以下、同様の処理が繰り返される。従って、この場合、親機１では、最大拡大率Ｎ_maxで拡大された一部拡大画像データの表示が続行される。
【０５８１】
また、ステップＳ１７７において、全体拡大終了コマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、リモコン１５（図７）を操作することにより、ＣＲＴ１１にメニュー画面を表示させ、さらに、そのメニュー画面における全体拡大アイコンを再クリックし、これにより、そのリモコン１５の操作に対応するコマンドである全体拡大終了コマンドの赤外線が、リモコン１５から出射され、ＩＲ受信部１３５で受信されてＣＰＵ１２９に供給された場合、ステップＳ１７８に進み、信号処理部１３７における画像変換処理を終了し、親機１の全体拡大処理を終了する。これにより、フレームメモリ１２７に記憶された番組画像データは、そのまま、ＮＴＳＣエンコーダ１２８を介して、ＣＲＴ１１に供給されるようになり、ＣＲＴ１１では、番組画像データが、通常のサイズで表示される。
【０５８２】
次に、図４１のフローチャートを参照して、スケーラブルＴＶシステムを構成する各子機２_ijで行われる子機の全体拡大処理について説明する。
【０５８３】
子機２_ij（図１１）では、まず最初に、ステップＳ１８１において、ＣＰＵ１４９が、図３９のステップＳ１６１で親機１からリサイズ処理用の係数種データが送信されてくるのを待って、その係数種データを、IEEE1394インタフェース１５３を介して受信する。さらに、ステップＳ１８１では、ＣＰＵ１４９は、受信したリサイズ処理用の係数種データを、信号処理部１５７（図２９）に転送し、その係数種メモリ２０７にセットする。なお、その際、信号処理部１５７は、自身が元から係数種メモリ２０７に記憶している係数種データを、あらかじめ、ＥＥＰＲＯＭ１５７Ｂの空き領域に待避させる。
【０５８４】
ここで、子機２_ijの信号処理部１５７を構成する係数メモリ２０７に、リサイズ処理用の係数種データが記憶されている場合、上述のステップＳ１８１、および後述するステップＳ１８８の処理は、スキップするようにすることができる。
【０５８５】
その後、ステップＳ１８２に進み、ＣＰＵ１４９は、親機１が図３９のステップＳ１６４で送信してくる外部入力選択コマンドを受信したかどうかを判定し、受信していないと判定した場合、ステップＳ１８２に戻る。
【０５８６】
また、ステップＳ１８２において、親機１からの外部入力選択コマンドを受信したと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１からの外部入力選択コマンドが受信され、ＣＰＵ１４９に供給された場合、ステップＳ１８３に進み、ＣＰＵ１４９は、IEEE1394インタフェース１５３で受信される番組画像データを選択し、デマルチプレクサ１４４を介して、ＭＰＥＧビデオデコーダ１４５に供給する状態となり、ステップＳ１８４に進む。
【０５８７】
ステップＳ１８４では、ＣＰＵ１４９は、親機１から、拡大表示コマンドとともに、番組画像データ、拡大率Ｎ、拡大範囲ｒ_ij、および表示範囲Ｒ_ijが送信されてきたかどうかを判定する。
【０５８８】
ステップＳ１８４において、親機１から、拡大表示コマンドとともに、番組画像データ、拡大率Ｎ、拡大範囲ｒ_ij、および表示範囲Ｒ_ijが送信されてきたと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１からの拡大表示コマンド、並びに番組画像データ、拡大率Ｎ、拡大範囲ｒ_ij、および表示範囲Ｒ_ijが受信され、ＣＰＵ１４９に供給された場合、ＣＰＵ１４９は、以下、拡大表示コマンドにしたがい、その拡大表示コマンドとともに送信されてきた番組画像データの拡大範囲ｒ_ijを、拡大率Ｎで拡大し、その結果得られる一部拡大画像データを、ＣＲＴ３１の表示画面中の表示範囲Ｒ_ijに表示させる処理を行う。
【０５８９】
即ち、この場合、ステップＳ１８４からＳ１８５に進み、ＣＰＵ１４９は、ＣＰＵ１４９は、拡大表示コマンドとともに受信した拡大率Ｎに対応するパラメータｚを、信号処理部１５７（図２９）のパラメータメモリ２０８にセットし、ステップＳ１８６に進む。
【０５９０】
ステップＳ１８６では、ＣＰＵ１４９は、信号処理部１５７（図２９）を制御することにより、フレームメモリ１４７に記憶された、拡大表示コマンドとともに受信した番組画像データの、子機２_ijについて求められた拡大範囲ｒ_ij（図４０Ｂ）を対象とした画像変換処理を行わせる。
【０５９１】
即ち、本実施の形態では、図３９のステップＳ１６９およびＳ１７４において、親機１から、子機２_ijに対して、拡大表示コマンドとともに、番組画像データとしてのＴＳパケットが送信されるが、この場合、ＣＰＵ１４９は、IEEE1394インタフェース１５３を介して受信した親機１からのＴＳパケットを、デマルチプレクサ１４４を介して、ＭＰＥＧビデオデコーダ１４５に供給する。ＭＰＥＧビデオデコーダ１４５は、そのＴＳパケットをＭＰＥＧデコードし、番組画像データを得て、フレームメモリ１４７に書き込む。
【０５９２】
一方、子機２_ijの信号処理部１５７（図２９）を構成する係数種メモリ２０７には、ステップＳ１８１でリサイズ処理用の係数種データがセットされており、信号処理部１５７は、フレームメモリ１４７に記憶された番組画像データの拡大範囲ｒ_ijを、係数種メモリ２０７に記憶されたリサイズ処理用の係数種データと、パラメータメモリ２０８に記憶されたパラメータｚから生成されるタップ係数を用いて画像変換処理することにより、その拡大範囲ｒ_ijの番組画像データを、拡大率Ｎで拡大（リサイズ）した画像データとしての一部拡大画像データに変換する。
【０５９３】
さらに、このとき、ＣＰＵ１４９は、一部拡大画像データが、ＣＲＴ３１の表示画面中の、子機_ijについて求められた表示範囲Ｒ_ij（図４０Ａ）の位置に表示されるものとなるように、信号処理部１５７を制御する。即ち、これにより、信号処理部１５７では、一部拡大画像データが、ＣＲＴ３１の表示画面中の、子機２_ijについて求められた表示範囲Ｒ_ij（図４０Ａ）の位置に表示されるように、その表示位置が調整される。
【０５９４】
具体的には、例えば、子機２₁₁では、図４０Ａに示したように、一部拡大画像データが、そのＣＲＴ３１の表示画面中の右下の表示範囲Ｒ₁₁に表示されるように、一部拡大画像データの表示位置が調整される。
【０５９５】
なお、この場合、子機２₁₁では、ＣＲＴ３１の表示画面中の表示範囲Ｒ₁₁以外の範囲の画像データは、例えば、黒レベルとされる。他の子機２_ijにおいても同様である。
【０５９６】
ステップＳ１８７において、信号処理部１５７は、ステップＳ１８６で得られた一部拡大画像データを、フレームメモリ１４７およびＮＴＳＣエンコーダ１４８を介してＣＲＴ３１に供給して表示させる。
【０５９７】
その後、ステップＳ１８４に戻り、以下、ステップＳ１８４乃至Ｓ１８７の処理が繰り返される。
【０５９８】
一方、ステップＳ１８４において、親機１から、拡大表示コマンドとともに、番組画像データ、拡大率Ｎ、拡大範囲ｒ_ij、および表示範囲Ｒ_ijが送信されてこないと判定された場合、即ち、IEEE1394インタフェース１５３において、拡大表示コマンド、並びに番組画像データ、拡大率Ｎ、拡大範囲ｒ_ij、および表示範囲Ｒ_ijを受信することができなくなった場合、ステップＳ１８８に進み、信号処理部１５７は、ＥＥＰＲＯＭ１５７Ｂに待避しておいた元の係数種データを、係数種メモリ２０７（図２９）にセットし直し、子機の全体拡大処理を終了する。
【０５９９】
図３９の親機の全体拡大処理、および図４１の子機の全体拡大処理によれば、例えば、図４２Ａに示すように、スケーラブルＴＶシステムを構成する第２行第２列に位置する親機１に番組画像データが表示されている場合に、その親機１に表示された番組画像データの全体が、図４２Ｂに示すように、親機１を中心として、子機２₁₁乃至２₃₃に亘って徐々に拡大されていき、最終的には、図４２Ｃに示すように、３×３台の親機１および子機２₁₁乃至２₃₃の全体に、番組画像データの全体を拡大した全体拡大画像データが表示されることになる。
【０６００】
従って、ユーザは、番組画像データの全体を、その細部にわたって拡大した全体拡大画像データを見ることができる。
【０６０１】
但し、スケーラブルＴＶシステムにおいては、実際には、そのスケーラブルＴＶシステムを構成するテレビジョン受像機の筐体が存在するから、隣接するテレビジョン受像機どうしの、その隣接部分は筐体であり、その部分には、画像は表示されない。即ち、図４２では、図を簡略化するため、隣接するテレビジョン受像機どうしの間に存在する筐体部分を省略している。しかしながら、実際には、隣接するテレビジョン受像機どうしの間には、筐体が存在し、従って、全体拡大画像データは、僅かではあるが、テレビジョン受像機の筐体部分で表示されず、いわば区切られたものとなるという問題点がある。
【０６０２】
しかしながら、人間の視覚には、画像の一部に、その視聴を妨げる微小幅のラインがあっても、そのラインで隠されている部分の画像を、その周辺の画像から補間する補間作用があるため、上述した問題点は、全体拡大画像データを視聴する上で、それほど大きな問題とはならない。
【０６０３】
なお、全体拡大処理においても、一部拡大処理で説明した場合と同様に、リサイズ処理用の係数種データを用いて、画像変換処理を行って全体拡大画像データを得る他、単なる補間処理によって、番組画像データを拡大した全体拡大画像データを得ることが可能である。
【０６０４】
但し、番組画像データの全体を、その細部にわたって拡大した全体拡大画像データを見ることができるのは、信号処理部１３７および１５７において、リサイズ処理用の係数種データを用いて、画像変換処理を行った場合であり、単なる補間処理によって、番組画像データの拡大を行った場合には、全体拡大画像データを見ることはできるが、その細部の再現は行われない。即ち、単なる補間処理による場合は、リサイズ処理用の係数種データを用いた画像変換処理による場合に比較して、大きく画質の劣化した全体拡大画像データしか見ることはできない。
【０６０５】
ここで、本実施の形態では、図３１および図３３で説明した認証が成功した場合にのみ、特別機能を提供するようにしたが、認証が失敗した場合であっても、特別機能を、いわば制限付きで提供するようにすることが可能である。
【０６０６】
即ち、例えば、認証が成功した場合には、リサイズ処理用の係数種データを用いた画像変換処理によって、全体拡大画像データを提供し、認証が失敗した場合には、単なる補間処理による全体拡大画像データを提供するようにすることが可能である。
【０６０７】
この場合、スケーラブルＴＶシステムを、親機や子機でないテレビジョン受像機を用いて構成しているユーザは、全体拡大画像データを見ることはできるが、その全体拡大画像データは、単なる補間処理によるものなので、リサイズ処理用の係数種データを用いた画像変換処理による場合に比較して、かなり画質の劣化したものとなる。
【０６０８】
これに対して、スケーラブルＴＶシステムを、親機や子機であるテレビジョン受像機を用いて構成しているユーザは、リサイズ処理用の係数種データを用いた画像変換処理による高画質の全体拡大画像データを見ることができる。
【０６０９】
その結果、スケーラブルＴＶシステムを、親機や子機でないテレビジョン受像機を用いて構成しているユーザにおいては、高画質の全体拡大画像データを見るために、親機や子機であるテレビジョン受像機を購入するインセンティブが働くことになる。
【０６１０】
なお、本実施の形態では、親機１に表示された番組画像データの全体を、スケーラブルＴＶシステムを構成するテレビジョン受像機の全体に表示可能な大きさの全体拡大画像データに拡大する拡大率を、最大拡大率Ｎ_maxとして設定するようにしたが、最大拡大率Ｎ_maxは、ユーザが、リモコン１５（またはリモコン３５）を操作することにより、任意の値に設定可能なようにすることができる。
【０６１１】
この場合、最大拡大率Ｎ_maxが、番組画像データを、スケーラブルＴＶシステムを構成するテレビジョン受像機の全体に表示可能な大きさの全体拡大画像データよりも大きい画像データに拡大する値（以下、適宜、規定外最大拡大率という）に設定されることがあり、その規定外最大拡大率で拡大された全体拡大画像データは、その全体を、スケーラブルＴＶシステムで表示することができなくなる。即ち、規定外最大拡大率で拡大された全体拡大画像データは、その一部だけしか表示することができなくなる。この場合、規定外最大拡大率で拡大された全体拡大画像データのどの部分を表示するかは、例えば、ユーザが、リモコン１５（またはリモコン３５）を操作することにより設定可能なようにすることができる。
【０６１２】
また、上述の場合には、スケーラブルＴＶシステムを構成する各テレビジョン受像機において、そのテレビジョン受像機で表示すべき一部拡大画像データを生成するようにしたが、スケーラブルＴＶシステムを構成する各テレビジョン受像機で表示すべき一部拡大画像データは、例えば、親機１などの１台、または複数台のテレビジョン受像機において生成するようにすることが可能である。即ち、例えば、親機１において、全体拡大画像データを生成し、その全体拡大画像データのうちの一部である一部拡大画像データを、IEEE1394インタフェース１３３を介して、各子機２_ijに送信するようにすることが可能である。但し、この場合、親機１は、自身で表示すべき一部拡大画像データの他、他のテレビジョン受像機である各子機２_ijで表示すべき一部拡大画像データも生成する必要があるので、その処理負担が大になる。
【０６１３】
さらに、上述の場合には、テレビジョン放送番組としての画像データ（番組画像データ）を拡大するようにしたが、全体拡大処理でも、一部拡大処理における場合と同様に、外部の装置から入力される画像データを、その処理の対象とすることが可能である。
【０６１４】
さらに、全体拡大処理においても、一部拡大処理における場合と同様に、番組画像データの一部の水平方向および垂直方向の両方を、同一の拡大率だけ拡大することは勿論、水平方向と垂直方向それぞれを、異なる拡大率だけ拡大することも可能である。
【０６１５】
また、上述の場合には、３×３台のテレビジョン受像機で構成されるスケーラブルＴＶシステムにおいて、その中心に配置された親機１に表示される画像データが、その周囲に配置された各子機２_ijの方向（左上、左、左下、上、下、右上、右、右下の８方向）それぞれに向かって拡大されていく全体拡大画像データが表示されるが、その他、例えば、左下に配置された子機２₃₁に表示される画像データが、その上に配置された子機２₂₁、右上に配置された親機１、右に配置された子機２₃₂の方向それぞれに向かって拡大されていくような全体拡大画像データを表示するようにすることも可能である。
【０６１６】
さらに、上述の場合には、親機１や各子機２_ijにおいて、ユーザがリモコン１５を操作することにより、全体拡大処理を行うことの指令があった後に、全体拡大画像データ（を構成する一部拡大画像データ）を生成するようにしたが、親機１や各子機２_ijでは、常時、拡大率Ｎが、１＋α，１＋２α，１＋３α，・・・，Ｎ_max倍の全体拡大画像データを生成するようにし、全体拡大処理を行うことの指令があった場合は、即座に、その拡大率Ｎが１＋α，１＋２α，１＋３α，・・・，Ｎ_max倍の全体拡大画像データを、順次表示するようにすることも可能である。
【０６１７】
次に、スケーラブルＴＶシステムは、そのスケーラブルＴＶシステムを構成するテレビジョン受像機全体に、画像データを表示する、いわゆるマルチ画面表示を行う特別機能を有しており、この特別機能は、親機１と子機２において、マルチ画面表示処理が行われることにより実現される。
【０６１８】
マルチ画面表示処理を行うことの指示も、例えば、一部拡大処理や全体拡大処理を行うことの指示と同様に、メニュー画面から行うことができるようになっている。
【０６１９】
即ち、上述したように、ユーザが、リモコン１５（図７）のメニューボタンスイッチ５４（またはリモコン３５（図８）のメニューボタンスイッチ８４）を操作した場合、親機１のＣＲＴ１１（または子機２のＣＲＴ３１）には、メニュー画面が表示されるが、このメニュー画面には、例えば、マルチ画面表示処理を表すアイコン（以下、適宜、マルチ画面表示アイコンという）が表示されるようになっており、ユーザが、このマルチ画面表示アイコンを、リモコン１５を操作してクリックすることにより、親機１と子機２それぞれにおいて、マルチ画面表示処理が開始される。
【０６２０】
そこで、図４３のフローチャートを参照して、親機のマルチ画面表示処理について説明する。
【０６２１】
ここで、マルチ画面表示処理では、図４２Ｃに示したように、スケーラブルＴＶシステムを構成するテレビジョン受像機全体に、番組画像データが表示される。従って、親機１のマルチ画面表示処理は、実質的には、拡大率Ｎを最大拡大率Ｎ_maxに固定し、拡大ピッチαを無視して行う、図３９の全体拡大処理と等価である。
【０６２２】
このため、親機１のマルチ画面表示処理では、ステップＳ１９１乃至Ｓ１９４において、図３９のステップＳ１６１乃至Ｓ１６４における場合とそれぞれ同様の処理が行われる。
【０６２３】
そして、ステップＳ１９５に進み、図３９のステップＳ１６５における場合と同様にして、最大拡大率Ｎ_maxが設定され、ステップＳ１９６に進む。ステップＳ１９６では、親機１（図１０）のＣＰＵ１２９は、拡大率Ｎを、最大拡大率Ｎ_maxに設定し、ステップＳ１９７に進む。
【０６２４】
ステップＳ１９７では、ＣＰＵ１２９は、最大拡大率Ｎ_maxが設定されている拡大率Ｎに基づき、親機１における番組画像データの拡大範囲ｒ₁と、各子機２_ij（図１１）における番組画像データの拡大範囲ｒ_ijとを、図３９のステップＳ１６７における場合と同様にして求め、ステップＳ１９８に進む。
【０６２５】
ここで、図３９の全体拡大処理では、ステップＳ１６７で拡大範囲を求める他、ステップＳ１６８で表示範囲も求めるが、拡大率Ｎが、最大拡大率Ｎ_maxである場合には、親機１の表示範囲Ｒ₁は、そのＣＲＴ１１の表示画面全体であり、また、子機２_ijの表示範囲Ｒ_ijも、そのＣＲＴ３１の表示画面全体であるから、あらかじめ分かっており、求める必要がない（または、あらかじめ求められていると考えることができる）。このため、マルチ画面表示処理では、改めて、親機１の表示範囲Ｒ₁と、子機２_ijの表示範囲Ｒ_ijを求めるようにはされていない。
【０６２６】
ステップＳ１９８では、ＣＰＵ１２９は、図３９のステップＳ１７０における場合と同様にして、最大拡大率Ｎ_maxが設定されている拡大率Ｎに対応するパラメータｚを、信号処理部１３７（図２２）のパラメータメモリ１６８にセットする。
【０６２７】
そして、ステップＳ１９９乃至Ｓ２０１に順次進み、図３９のステップＳ１７４乃至Ｓ１７６における場合とそれぞれ同様に処理が行われ、これにより、親機１では、最大拡大率Ｎ_maxで拡大された一部拡大画像データが表示される。
【０６２８】
その後、ステップＳ２０２に進み、ＣＰＵ１２９は、マルチ画面表示を終了するコマンド（以下、適宜、マルチ画面表示終了コマンドという）が送信されてきたかどうかを判定する。
【０６２９】
ステップＳ２０２において、マルチ画面表示終了コマンドが送信されてきていないと判定された場合、ステップＳ１９９に戻り、以下、同様の処理が繰り返される。従って、この場合、親機１では、最大拡大率Ｎ_maxで拡大された一部拡大画像データの表示が続行される。
【０６３０】
また、ステップＳ２０２において、マルチ画面表示終了コマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、リモコン１５（図７）を操作することにより、ＣＲＴ１１にメニュー画面を表示させ、さらに、そのメニュー画面におけるマルチ画面表示アイコンを再クリックし、これにより、そのリモコン１５の操作に対応するコマンドであるマルチ画面表示終了コマンドの赤外線が、リモコン１５から出射され、ＩＲ受信部１３５で受信されてＣＰＵ１２９に供給された場合、ステップＳ２０３に進み、信号処理部１３７における画像変換処理を終了し、親機１のマルチ画面表示処理を終了する。これにより、フレームメモリ１２７に記憶された番組画像データは、そのまま、ＮＴＳＣエンコーダ１２８を介して、ＣＲＴ１１に供給されるようになり、ＣＲＴ１１では、番組画像データが、通常のサイズで表示される。
【０６３１】
なお、子機２_ijのマルチ画面表示処理（子機２_ijが行うマルチ画面表示処理）は、図４１で説明した子機２_ijの全体拡大処理と同様であるため、その説明は、省略する。
【０６３２】
次に、スケーラブルＴＶシステムは、そのスケーラブルＴＶシステムを構成するテレビジョン受像機それぞれに同一の処理を行わせる特別機能を有しており、この特別機能は、親機１において、一括同時制御処理が行われることにより実現される。
【０６３３】
一括同時制御処理を行うことの指示も、例えば、一部拡大処理等を行うことの指示と同様に、メニュー画面から行うことができるようになっている。
【０６３４】
即ち、上述したように、ユーザが、リモコン１５（図７）のメニューボタンスイッチ５４（またはリモコン３５（図８）のメニューボタンスイッチ８４）を操作した場合、親機１のＣＲＴ１１（または子機２のＣＲＴ３１）には、メニュー画面が表示されるが、このメニュー画面には、例えば、一括同時制御処理を表すアイコン（以下、適宜、一括同時制御アイコンという）が表示されるようになっており、ユーザが、この一括同時制御アイコンを、リモコン１５を操作してクリックすることにより、親機１において、一括同時制御処理が開始される。
【０６３５】
そこで、図４４のフローチャートを参照して、親機の一括同時制御処理について説明する。
【０６３６】
一括同時制御処理では、親機１（図１０）のＣＰＵ１２９は、リモコン１５（またはリモコン２５）が操作されることにより、所定の処理を指令するコマンドが入力されるのを待って、即ち、ＩＲ受信部１５において、リモコン１５からの所定のコマンドに対応する赤外線が受信され、ＣＰＵ１２９に供給されるのを待って、ステップＳ２１１において、そのコマンドを受信する。さらに、ステップＳ２１１では、ＣＰＵ１２９は、そのコマンドに対応した処理を行い、ステップＳ２１２に進む。
【０６３７】
ステップＳ２１２では、ＣＰＵ１２９は、ステップＳ２１１で受信した、リモコン１５の操作に対応したコマンド（以下、適宜、リモコンコマンドという）に対応する処理を行うことができる子機２_ijが、スケーラブルＴＶシステムを構成するテレビジョン受像機の中に存在するかどうかを判定する。
【０６３８】
なお、ステップＳ２１２の判定処理は、ＣＰＵ１２９がＥＥＰＲＯＭ１３０に記憶された各子機２_ijの機能情報を参照することで行われる。
【０６３９】
ステップＳ２１２において、リモコンコマンドに対応する処理を行うことのできる子機２_ijが存在すると判定された場合、ステップＳ２１３に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、リモコンコマンドに対応する処理を行うことのできる子機２_ijすべてに、リモコンコマンドを送信する。
【０６４０】
従って、例えば、いま、スケーラブルＴＶシステムを構成する子機２_ijすべてが、リモコンコマンドに対応する処理を行うことができるものであれば、その子機２_ijすべてに、リモコンコマンドが送信され、各子機２_ijでは、そのリモコンコマンドに対応する処理、即ち、ステップＳ２１１で親機１で行われたのと同一の処理が行われる。
【０６４１】
一方、ステップＳ２１２において、リモコンコマンドに対応する処理を行うことのできる子機２_ijが存在しないと判定された場合、ステップＳ２１３をスキップして、ステップＳ２１４に進み、ＣＰＵ１２９は、一括同時制御処理を終了するコマンド（以下、適宜、一括同時制御終了コマンドという）が送信されてきたかどうかを判定する。
【０６４２】
ステップＳ２１２において、一括同時制御終了コマンドが送信されてきていないと判定された場合、リモコン１５が操作されることにより、所定の処理を指令するコマンド（リモコンコマンド）が入力されるのを待って、ステップＳ２１１に戻り、以下、同様の処理が繰り返される。
【０６４３】
また、ステップＳ２１２において、一括同時制御終了コマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、リモコン１５（図７）を操作することにより、ＣＲＴ１１にメニュー画面を表示させ、さらに、そのメニュー画面における一括同時制御アイコンを再クリックし、これにより、そのリモコン１５の操作に対応するコマンドである一括同時制御終了コマンドの赤外線が、リモコン１５から出射され、ＩＲ受信部１３５で受信されてＣＰＵ１２９に供給された場合、一括同時制御処理を終了する。
【０６４４】
一括同時制御処理によれば、例えば、いま、スケーラブルＴＶシステムを構成する子機２_ijすべてが、リモコンコマンドに対応する処理を行うことができるものであるとすると、ユーザが、リモコン１５を操作することにより、例えば、あるチャンネルを選択することが指令された場合、図４５Ａに示すように、スケーラブルＴＶシステムを構成する親機１および子機２のすべてにおいて、そのチャンネルで放送されている画像データが表示される。さらに、ユーザが、リモコン１５を操作することにより、他のチャンネルへの切り換えを指令すると、図４５Ｂに示すように、スケーラブルＴＶシステムを構成する親機１および子機２のすべてにおいて、チャンネルの切り換えが行われる。
【０６４５】
従って、ユーザは、１つのリモコン１５によって、スケーラブルＴＶシステムを構成するテレビジョン受像機すべてを、同時に、同じように制御することができる。
【０６４６】
次に、上述したように、親機１には、リモコン１５を付随させ、各子機２_ijにも、それぞれ、リモコン３５を付随させることが可能である。さらに、上述したように、親機１は、そのリモコン１５によっても、子機２_ijのリモコン３５によっても制御することが可能であり、子機２_ijも、そのリモコン３５によっても、親機１のリモコン１５によっても制御することが可能である。
【０６４７】
従って、スケーラブルＴＶシステムを構成するテレビジョン受像機は、そのすべてを、１台のリモコン１５（または３５）だけで制御することが可能である。
【０６４８】
しかしながら、１台のリモコン１５だけで、複数台のテレビジョン受像機それぞれを、別個に制御するには、例えば、リモコン１５に、複数台のテレビジョン受像機それぞれの機器IDを設定しておき、所望のコマンドを入力する操作を行う前に、制御しようとするテレビジョン受像機の機器IDを入力する操作等の、制御対象とするテレビジョン受像機を特定する操作が必要となり、面倒である。
【０６４９】
そこで、親機１の制御には、それに付随するリモコン１５を、各子機２_ijの制御には、やはり、各子機２_ijに付随するリモコン３５を、それぞれ用いるようにする方法がある。
【０６５０】
しかしながら、この方法では、図１ＡのスケーラブルＴＶシステムを構成するテレビジョン受像機それぞれを、別個に制御するのに、９台という多数のリモコンが必要となる。さらに、この場合、どのリモコンが、どのテレビジョン受像機を制御するものなのか、一見しただけでは分からなくなることがある。
【０６５１】
従って、スケーラブルＴＶシステムを構成する親機１と各子機２_ijのうち、ユーザが制御対象としているテレビジョン受像機を、親機１のリモコン１５と各子機２_ijのリモコン３５のうちの任意のリモコンによって、ユーザが、制御対象としているテレビジョン受像機を特定する操作を行うことなく制御することができれば、便利である。
【０６５２】
そこで、スケーラブルＴＶシステムは、ユーザが、制御対象としているテレビジョン受像機を認識し、その制御対象のテレビジョン受像機を、リモコン１５（またはリモコン３５）によって制御可能とする特別機能を有しており、この特別機能は、親機１と子機２において、個別処理が行われることにより実現される。
【０６５３】
個別処理を行うことの指示は、例えば、メニュー画面から行うことができるようになっている。
【０６５４】
即ち、上述したように、ユーザが、リモコン１５（図７）のメニューボタンスイッチ５４（またはリモコン３５（図８）のメニューボタンスイッチ８４）を操作した場合、親機１のＣＲＴ１１（または子機２のＣＲＴ３１）には、メニュー画面が表示されるが、このメニュー画面には、例えば、個別処理を表すアイコン（以下、適宜、個別処理アイコンという）が表示されるようになっており、ユーザが、この個別処理アイコンを、リモコン１５を操作してクリックすることにより、親機１と子機２それぞれにおいて、個別処理が開始される。
【０６５５】
そこで、まず、図４６のフローチャートを参照して、親機１の個別処理について説明する。
【０６５６】
親機１（図１０）の個別処理では、ＣＰＵ１２９は、ＩＲ受信部１３５において、リモコン１５（またはリモコン３５）からの赤外線が受信されるのを待って、ステップＳ２２１において、ＩＲ受信部１３５における赤外線の受信強度を検出する。即ち、ユーザが、スケーラブルＴＶシステムを構成する、あるテレビジョン受像機を制御対象として、その制御対象を制御するのに、リモコン１５を操作すると、リモコン１５は、その操作に対応する赤外線を出射する。この赤外線は、親機１のＩＲ受信部１３５、および各子機２_ij（図１１）のＩＲ受信部１５５で受光されるが、ステップＳ２２１では、ＣＰＵ１２９は、ＩＲ受信部１３５に、その赤外線の受信強度を検出させ、その供給を受ける。
【０６５７】
そして、ステップＳ２２２に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を介して、各子機２_ijに、各子機２_ijでのリモコン１５からの赤外線の受信強度を要求し、その要求に応じて、各子機２_ijから送信されてくる赤外線の受信強度を、IEEE1394インタフェース１３３を介して取得（受信）する。
【０６５８】
即ち、上述したように、ユーザがリモコン１５を操作することにより、そのリモコン１５が出射する赤外線は、親機１のみならず、各子機２_ijでも受光されるが、ステップＳ２２２では、その赤外線の、各子機２_ijでの受信強度が取得される。
【０６５９】
その後、ステップＳ２２３に進み、ＣＰＵ１２９は、ステップＳ２２１で検出した親機１での赤外線の受信強度と、ステップＳ２２２で取得した各子機２_ijでの赤外線の受信強度の中から、最大の受信強度（最大受信強度）を検出し、ステップＳ２２４に進む。
【０６６０】
ステップＳ２２４では、ＣＰＵ１２９は、最大受信強度が得られたテレビジョン受像機（以下、適宜、最大受信強度装置という）が親機１または子機２のいずれであるかを判定する。
【０６６１】
ステップＳ２２４において、最大受信強度装置が親機１であると判定された場合、ステップＳ２２５に進み、ＣＰＵ１２９は、ＩＲ受信部１３５で受光された赤外線が表すコマンドが、親機１に対するものであるとして、そのコマンドに対応する処理を実行する。
【０６６２】
一方、ステップＳ２２４において、最大受信強度装置が子機２であると判定された場合、ステップＳ２２６に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、ＩＲ受信部１３５で受光された赤外線が表すコマンドが、その最大受信強度装置である子機２_ijに対するものであるとして、そのコマンドを、最大受信強度装置である子機２_ijに送信する。
【０６６３】
従って、この場合、最大受信強度装置である子機２_ijでは、後述する図４７で説明するように、リモコン１５からの赤外線が表すコマンドに対応する処理が行われることになる。
【０６６４】
ここで、ユーザは、リモコン１５（またはリモコン３５）を操作することによって、スケーラブルＴＶシステムを構成する、あるテレビジョン受像機を制御対象として、その制御を行う場合、一般に、リモコン１５を、その制御対象であるテレビジョン受像機に向けて操作する。
【０６６５】
この場合、例えば、いま、リモコン１５（またはリモコン３５）が出射する赤外線が指向性の強いものであるとすると、ユーザが制御対象としようとしているテレビジョン受像機は、リモコン１５が出射する赤外線の主軸の方向にあるもの、即ち、赤外線の受信強度が最も大きい最大受信強度装置であるということになる。
【０６６６】
従って、上述のように、最大受信強度装置において、リモコン１５からの赤外線が表すコマンドに対応する処理を実行することで、ユーザが制御対象としたテレビジョン受像機、つまり最大受信強度装置において、ユーザによるリモコン１５の操作に対応した処理が行われることになる。
【０６６７】
具体的には、例えば、ユーザが、リモコン１５を、親機１に向けて、チャンネル操作や音量操作を行った場合、親機１が最大受信強度装置となり、その結果、最大受信強度装置である親機１において、その操作に対応して、チャンネルや音量が変更される。また、例えば、ユーザが、リモコン１５を、ある子機２_ijに向けて、チャンネル操作や音量操作を行った場合、その子機２_ijが最大受信強度装置となり、その結果、最大受信強度装置である子機２_ijにおいて、その操作に対応して、チャンネルや音量が変更される。
【０６６８】
ステップＳ２２５およびＳ２２６の処理後は、いずれも、ステップＳ２２７に進み、ＣＰＵ１２９は、個別処理を終了するコマンド（以下、適宜、個別処理終了コマンドという）が送信されてきたかどうかを判定する。
【０６６９】
ステップＳ２２７において、個別処理終了コマンドが送信されてきていないと判定された場合、リモコン１５が操作されることにより出射される赤外線が、ＩＲ受信部１３５で受光されるのを待って、ステップＳ２２１に戻り、以下、同様の処理が繰り返される。
【０６７０】
また、ステップＳ２２７において、個別処理終了コマンドが送信されてきたと判定された場合、即ち、例えば、ユーザが、リモコン１５（図７）を操作することにより、ＣＲＴ１１にメニュー画面を表示させ、さらに、そのメニュー画面における個別処理アイコンを再クリックし、これにより、そのリモコン１５の操作に対応するコマンドである個別処理終了コマンドの赤外線が、リモコン１５から出射され、ＩＲ受信部１３５で受信されてＣＰＵ１２９に供給された場合、ステップＳ２２８に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、個別処理終了コマンドを、各子機２_ijに送信し、親機１の個別処理を終了する。
【０６７１】
次に、図４７のフローチャートを参照して、子機の個別処理について説明する。
【０６７２】
子機２（図１１）の個別処理では、ＣＰＵ１４９は、ＩＲ受信部１５５において、リモコン１５（またはリモコン３５）からの赤外線が受信されるのを待って、ステップＳ２３１において、ＩＲ受信部１５５における赤外線の受信強度を検出する。即ち、ユーザが、スケーラブルＴＶシステムを構成する、あるテレビジョン受像機を制御対象として、その制御対象を制御するのに、リモコン１５を操作すると、リモコン１５は、その操作に対応する赤外線を出射するが、この赤外線は、上述したように、子機２のＩＲ受信部１５５で受光される。ステップＳ２３１では、ＣＰＵ１４９は、ＩＲ受信部１５５に、その赤外線の受信強度を検出させ、その供給を受ける。
【０６７３】
そして、ステップＳ２３２に進み、ＣＰＵ１４９は、親機１から赤外線の受信強度の要求が送信されてくるのを待って、IEEE1394インタフェース１５３を介して、親機１に、ステップＳ２３１で検出した赤外線の受信強度を送信する。このステップＳ２３２で、子機２から送信される赤外線の受信強度が、親機１で行われる、上述した図４６のステップＳ２２２で取得（受信）される。
【０６７４】
その後、ステップＳ２３３に進み、ＣＰＵ１４９は、親機１からコマンドが送信されてきたかどうかを判定する。即ち、親機１は、上述した図４６のステップＳ２２６やＳ２２８において、子機２に対して、コマンドを送信するが、ステップＳ２３３では、そのようにして親機１からコマンドが送信されてきたかどうかが判定される。
【０６７５】
ステップＳ２３３において、親機１からコマンドが送信されてきていないと判定された場合、ステップＳ２３３に戻る。
【０６７６】
また、ステップＳ２３３において、親機１からコマンドが送信されてきたと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１から送信されてきたコマンドが受信され、ＣＰＵ１４９に供給された場合、ステップＳ２３４に進み、ＣＰＵ１４９は、そのコマンドが、個別処理終了コマンドであるかどうかを判定する。
【０６７７】
ステップＳ２３４において、親機１から送信されてきたコマンドが、個別処理終了コマンドでないと判定された場合、ステップＳ２３５に進み、ＣＰＵ１４９は、親機１から送信されてきたコマンドに対応する処理を実行し、ステップＳ２３３に戻る。
【０６７８】
これにより、図４６で説明したように、ユーザがリモコン１５を操作するにあたって、そのリモコン１５が向けられた子機２では、そのリモコン１５の操作に対応する処理（例えば、チャンネルや音量の変更）が行われる。
【０６７９】
一方、ステップＳ２３４において、親機１から送信されてきたコマンドが、個別処理終了コマンドであると判定された場合、子機２の個別処理を終了する。
【０６８０】
以上のように、リモコン１５（またはリモコン３５）として、赤外線の指向性が強いものを用い、さらに、スケーラブルＴＶシステムを構成するテレビジョン受像機において、リモコン１５からの赤外線の受信強度が最も大きい最大受信強度装置を検出するようにすることにより、ユーザが制御しようとしているテレビジョン受像機を特定（認識）することができるので、スケーラブルＴＶシステムを構成する親機１と各子機２_ijのうち、ユーザが制御対象としているテレビジョン受像機を、親機１のリモコン１５と各子機２_ijのリモコン３５のうちの任意のリモコンによって、ユーザが制御対象としているテレビジョン受像機を特定する操作を行うことなく制御することができる。
【０６８１】
次に、個別処理によれば、例えば、あるユーザＡが、リモコン１５によって、ある子機２_ijのチャンネル操作を行って、ある番組ＰＧＭ_Aを視聴し、また、他のユーザＢが、リモコン３５によって他の子機２_pqのチャンネル操作を行って、他の番組ＰＧＭ_Bを視聴するといったように、複数のユーザが、個別に、異なる番組を視聴することができる。
【０６８２】
この場合、子機２_ijと２_pq（図１１）のＣＲＴ３１には、異なる番組の画像データが表示されることとなるが、仮に、子機２_ijと２_pqとが隣り合う位置に配置されていたとしても、子機２_ijと２_pqに異なる番組の画像データが表示されることは、それほど大きな問題にはならない。
【０６８３】
即ち、いまの場合、子機２_ijには番組ＰＧＭ_Aの画像データが表示され、子機２_pqには番組ＰＧＭ_Bの画像データが表示されるため、いずれの画像データも、ユーザＡとＢの視界に入ることになる。
【０６８４】
しかしながら、ユーザＡは、子機２_ijに表示された番組ＰＧＭ_Aの画像データを視聴しようとし、ユーザＢは、子機２_pqに表示された番組ＰＧＭ_Bの画像データを視聴しようとしているため、ユーザＡにおいては、視聴しようとしていない番組ＰＧＭ_Bの画像データは、いわばマスクされ、ユーザＢにおいても、視聴しようとしていない番組ＰＧＭ_Aの画像データはマスクされる。
【０６８５】
従って、ユーザＡにとって、他の子機２_pqに表示された番組ＰＧＭ_Bの画像データは、子機２_ijに表示された番組ＰＧＭ_Aの画像データの視聴の大きな妨げにはならず、ユーザＢにとっても、他の子機２_ijに表示された番組ＰＧＭ_Aの画像データは、子機２_pqに表示された番組ＰＧＭ_Bの画像データの視聴の大きな妨げにならない。
【０６８６】
しかしながら、この場合、異なる画像データにそれぞれ付随する異なる音声データが出力されること、即ち、子機_ijのスピーカユニット３２Ｌおよび３２Ｒから番組ＰＧＭ_Aの音声データが出力され、子機２_pqのスピーカユニット３２Ｌおよび３２Ｒから番組ＰＧＭ_Bの音声データが出力されることについては、多少の問題がある。
【０６８７】
即ち、人間の聴覚には、いわゆるカクテルパーティ効果が認められ、多数の音声データが混在する中から、所望の音声データを聞き分けることが可能であるが、それでも、パワーの小さい音声データは、パワーの大きな音声データにマスクされてしまうなど、所望の音声データ以外の音声データ、つまりノイズとなる音声データの存在は、所望の音声データの視聴の妨げとなる。
【０６８８】
そこで、スケーラブルＴＶシステムは、親機１や子機２で番組を視聴しているユーザの方向に、その親機１のスピーカユニット１２Ｌおよび１２Ｒや、子機２のスピーカユニット３２Ｌおよび３２Ｒ（を構成するスピーカ）の指向性の主軸の方向を向け、これにより、ユーザが視聴している番組の音声データを、そのユーザに聞き取りやすくする特別機能を有しており、この特別機能は、親機１および子機２において、スピーカ制御処理が行われることにより実現される。
【０６８９】
即ち、ここでは、例えば、親機１（図１０）のスピーカユニット１２Ｌおよび１２Ｒの指向性は、非常に強いものとなっており、ユニット駆動部１３８が、スピーカユニット１２Ｌおよび１２Ｒを駆動し、その向きを機械的に（メカニカルに）変えることによって、指向性の主軸の方向を、所定の方向に向けることができるようになっている。子機２のスピーカユニット３２Ｌおよび３２Ｒも同様に、指向性の強いもので、ユニット駆動部１５８によって駆動されることにより、指向性の主軸の方向を、所定の方向に向けることができるようになっている。
【０６９０】
スピーカ制御処理は、例えば、図４６および図４７で説明した個別処理が行われている場合に、その個別処理と並列で行われる。
【０６９１】
そこで、図４８のフローチャートを参照して、親機のスピーカ制御処理について説明する。
【０６９２】
親機のスピーカ制御処理では、ＣＰＵ１２９は、ＩＲ受信部１３５において、リモコン１５（またはリモコン３５）からの赤外線が受信されるのを待って、ステップＳ２４１において、ＩＲ受信部１３５における赤外線の受信強度を検出する。即ち、ユーザが、スケーラブルＴＶシステムを構成する、あるテレビジョン受像機を制御対象として、その制御対象を制御するのに、リモコン１５を操作すると、リモコン１５は、その操作に対応する赤外線を出射する。この赤外線は、親機１のＩＲ受信部１３５、および各子機２_ij（図１１）のＩＲ受信部１５５で受光されるが、ステップＳ２４１では、ＣＰＵ１２９は、ＩＲ受信部１３５に、その赤外線の受信強度を検出させ、その供給を受ける。
【０６９３】
そして、ステップＳ２４２に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を介して、各子機２_ijに、各子機２_ijでのリモコン１５からの赤外線の受信強度を要求し、その要求に応じて、各子機２_ijから送信されてくる赤外線の受信強度を、IEEE1394インタフェース１３３を介して取得（受信）する。
【０６９４】
即ち、上述したように、ユーザがリモコン１５を操作することにより、そのリモコン１５が出射する赤外線は、親機１のみならず、各子機２_ijでも受光されるが、ステップＳ２４２では、その赤外線の、各子機２_ijでの受信強度が取得される。
【０６９５】
ここで、親機１のスピーカ制御処理におけるステップＳ２４１とＳ２４２では、図４６の親機１の個別処理におけるステップＳ２２１とＳ２２２とそれぞれ同様の処理が行われる。従って、親機１のスピーカ制御処理では、ステップＳ２４１およびＳ２４２の処理を行わず、親機１の個別処理におけるステップＳ２２１とＳ２２２で得られる受信強度を、そのまま採用することが可能である。
【０６９６】
その後、ステップＳ２４３に進み、ＣＰＵ１２９は、ステップＳ２４１で検出した親機１での赤外線の受信強度と、ステップＳ２４２で取得した各子機２_ijでの赤外線の受信強度の中から、任意の３つの受信強度、即ち、例えば、受信強度の大きい順に、第１位から第３位までの受信強度を選択し、ステップＳ２４４に進む。
【０６９７】
ステップＳ２４４では、ＣＰＵ１２９は、ステップＳ２４３で選択した３つの第１位から第３位までの受信強度それぞれに対応する距離を検出し、ステップＳ２４５に進む。
【０６９８】
即ち、リモコン１５から出射される赤外線の、テレビジョン受像機における受信強度は、例えば、リモコン１５とテレビジョン受像機（のＩＲ受信部１３５または１５５）との間の距離に対応している。
【０６９９】
そこで、親機１（図１０）のＥＥＰＲＯＭ１５０には、例えば、図４９に示すような、リモコン１５から出射される赤外線の、テレビジョン受像機における受信強度と、リモコン１５からテレビジョン受像機までの距離との対応関係を表す強度対距離テーブルが記憶されており、ステップＳ２４４では、ＣＰＵ１２９は、例えば、この強度対距離テーブルを参照することにより、第１位から第３位までの受信強度それぞれに対応する距離を検出する。
【０７００】
なお、強度対距離テーブルは、例えば、テレビジョン受像機から複数の距離だけ離れた位置それぞれにおいて、リモコン１５を操作し、テレビジョン受像機で受光される受信強度を測定することで作成することが可能である。
【０７０１】
図４８に戻り、ステップＳ２４５では、ＣＰＵ１２９は、第１位乃至第３位の受信強度それぞれに対応する距離から、それらの受信強度の赤外線を出射したリモコン１５の位置を検出する。
【０７０２】
ここで、図５０を参照して、第１位乃至第３位の受信強度それぞれに対応する距離から、それらの受信強度の赤外線を出射したリモコン１５の位置を検出する方法について説明する。なお、ここでは、説明を簡単にするために、第１位と第２位の２つの受信強度のみを考える。
【０７０３】
例えば、いま、親機１における受信強度と、（スケーラブルＴＶシステムの正面方向から見て）その右隣の子機２₂₃における受信強度が、第１位と第２位の受信強度であったとするとともに、親機１における受信強度に対応する距離をｒ₁と、子機２₂₃における受信強度に対応する距離をｒ₂₃と、それぞれ表すこととする。
【０７０４】
この場合、ある２次元平面を考えると、リモコン１５は、図５０に示すように、親機１のＩＲ受信部１３５で赤外線が受光された点Ｐ₁を中心とする半径ｒ₁の円ｃ₁の円周上に存在し、かつ、子機２₂₃のＩＲ受信部１５５で赤外線が受光された点Ｐ₂₃を中心とする半径ｒ₂₃の円ｃ₂₃の円周上に存在することになる。
【０７０５】
従って、リモコン１５は、円ｃ₁とｃ₂₃の円周の交点Ｐ_Uに存在することとなり、リモコン１５の位置Ｐ_Uを検出することができることとなる。
【０７０６】
なお、上述の場合には、２つの受信強度からリモコン１５の位置を求めたため、２次元平面上の位置が検出されることとなるが、リモコン１５の３次元空間上の位置は、図５０で説明した場合と同様にして、３つの受信強度それぞれに対応する距離を半径とする球の球面どうしの交点を求めることで検出することが可能である。
【０７０７】
再び、図４８に戻り、ステップＳ２４５でリモコン１５の位置が検出された後は、ステップＳ２４６に進み、ＣＰＵ１２９は、ステップＳ２４１で検出した親機１での赤外線の受信強度と、ステップＳ２４２で取得した各子機２_ijでの赤外線の受信強度の中から、最大受信強度を検出する。なお、ステップＳ２４６における最大受信強度の検出は省略し、その代わりに、上述の図４６のステップＳ２２３で検出される最大受信強度を流用することが可能である。
【０７０８】
ステップＳ２４６では、さらに、ＣＰＵ１２９は、最大受信強度が得られたテレビジョン受像機（最大受信強度装置）が親機１または子機２のいずれであるかを判定する。
【０７０９】
ステップＳ２４６において、最大受信強度装置が親機１であると判定された場合、ステップＳ２４７に進み、ＣＰＵ１２９は、その最大受信強度装置である親機１のスピーカユニット１２Ｌおよび１２Ｒの指向性の主軸の方向を、ステップＳ２４５で検出されたリモコン１５の位置（以下、適宜、ユーザ位置という）の方向に向けるように、ユニット駆動部１３８を制御して、ステップＳ２４１に戻る。
【０７１０】
この場合、ユニット駆動部１３８は、ＣＰＵ１２９の制御にしたがい、スピーカユニット１２Ｌおよび１２Ｒを、例えばパン方向またはチルト方向に回転駆動し、これにより、その指向性の主軸の方向を、ユーザ位置の方向に向ける。
【０７１１】
一方、ステップＳ２４６において、最大受信強度装置が子機２であると判定された場合、ステップＳ２４８に進み、ＣＰＵ１２９は、IEEE1394インタフェース１３３を制御することにより、スピーカユニット３２Ｌおよび３２Ｒの指向性の主軸の方向を、ユーザ位置に向けるように指令するスピーカ制御コマンドを、最大受信強度装置である子機２_ijに送信し、ステップＳ２４１に戻る。
【０７１２】
従って、この場合、最大受信強度装置である子機２_ijでは、後述する図５１で説明するように、スピーカユニット３２Ｌおよび３２Ｒが、その指向性の主軸の方向を、ユーザ位置の方向に向けるように、パン方向またはチルト方向に回転駆動される。
【０７１３】
上述したように、ユーザは、リモコン１５（またはリモコン３５）を操作することによって、スケーラブルＴＶシステムを構成する、あるテレビジョン受像機を制御対象として、その制御を行う場合、一般に、リモコン１５を、その制御対象であるテレビジョン受像機に向けて操作する。
【０７１４】
この場合、例えば、いま、リモコン１５（またはリモコン３５）が出射する赤外線が指向性の強いものであるとすると、ユーザが制御対象としようとしているテレビジョン受像機は、リモコン１５が出射する赤外線の主軸の方向にあるもの、即ち、赤外線の受信強度が最も大きい最大受信強度装置であるということになる。
【０７１５】
従って、最大受信強度装置が、リモコン１５を操作したユーザが視聴している番組の画像データおよび音声データが出力されているテレビジョン受像機であり、その最大受信強度装置である親機１のスピーカユニット１２Ｌおよび１２Ｒ、または子機２のスピーカユニット３２Ｌおよび３２Ｒの指向性の主軸の方向を、リモコン１５を操作したユーザの方向に向けることにより、そのユーザは、所望する番組の音声データを、明瞭に聞き取ることが可能となる。
【０７１６】
次に、図５１のフローチャートを参照して、子機２のスピーカ制御処理について説明する。
【０７１７】
子機２（図１１）のスピーカ制御処理では、ＣＰＵ１４９は、ＩＲ受信部１５５において、リモコン１５（またはリモコン３５）からの赤外線が受信されるのを待って、ステップＳ２５１において、ＩＲ受信部１５５における赤外線の受信強度を検出する。即ち、ユーザが、スケーラブルＴＶシステムを構成する、あるテレビジョン受像機を制御対象として、その制御対象を制御するのに、リモコン１５を操作すると、リモコン１５は、その操作に対応する赤外線を出射するが、この赤外線は、上述したように、子機２のＩＲ受信部１５５で受光される。ステップＳ２５１では、ＣＰＵ１２９は、ＩＲ受信部１５５に、その赤外線の受信強度を検出させ、その供給を受ける。
【０７１８】
そして、ステップＳ２５２に進み、ＣＰＵ１４９は、親機１から赤外線の受信強度の要求が送信されてくるのを待って、IEEE1394インタフェース１５３を介して、親機１に、ステップＳ２５１で検出した赤外線の受信強度を送信する。このステップＳ２５２で、子機２から送信される赤外線の受信強度が、親機１で行われる、上述した図４８のステップＳ２４２で取得（受信）される。
【０７１９】
ここで、子機２のスピーカ制御処理におけるステップＳ２５１とＳ２５２では、図４７の子機２の個別処理におけるステップＳ２３１とＳ２３２とそれぞれ同様の処理が行われる。従って、子機２のスピーカ制御処理では、ステップＳ２５１およびＳ２５２の処理を行わず、子機２の個別処理におけるステップＳ２３１とＳ２３２で得られる受信強度を、そのまま採用することが可能である。
【０７２０】
その後、ステップＳ２５３に進み、ＣＰＵ１４９は、親機１からスピーカ制御コマンドが送信されてきたかどうかを判定する。即ち、親機１は、上述した図４８のステップＳ２４８において、子機２に対して、スピーカ制御コマンドを送信するが、ステップＳ２５３では、そのようにして親機１からスピーカ制御コマンドが送信されてきたかどうかが判定される。
【０７２１】
ステップＳ２５３において、親機１からスピーカ制御コマンドが送信されてきていないと判定された場合、ステップＳ２５１に戻る。
【０７２２】
また、ステップＳ２５３において、親機１からスピーカ制御コマンドが送信されてきたと判定された場合、即ち、IEEE1394インタフェース１５３において、親機１から送信されてきたスピーカ制御コマンドが受信され、ＣＰＵ１４９に供給された場合、ステップＳ２５４に進み、ＣＰＵ１４９は、スピーカ制御コマンドにしたがい、子機２のスピーカユニット３２Ｌおよび３２Ｒの指向性の主軸の方向を、図４８のステップＳ２４５で検出されたリモコン１５の位置（ユーザ位置）の方向に向けるように、ユニット駆動部１５８を制御して、ステップＳ２５１に戻る。
【０７２３】
この場合、ユニット駆動部１５８は、ＣＰＵ１４９の制御にしたがい、スピーカユニット３２Ｌおよび３２Ｒを、例えばパン方向またはチルト方向に回転駆動し、これにより、その指向性の主軸の方向を、ユーザ位置の方向に向ける。
【０７２４】
従って、この場合、子機２においては、その子機２に向かって、リモコン１５を操作したユーザ、即ち、その子機２で出力されている画像データおよび音声データとしての番組を視聴しているユーザの方向に、スピーカユニット３２Ｌおよび３２Ｒの指向性の主軸の方向が向けられることとなり、そのユーザは、所望する番組の音声データを、明瞭に聞き取ることが可能となる。
【０７２５】
なお、図４８および図５１のスピーカ制御処理は、例えば、図４６および図４７の個別処理が終了したときに終了する。
【０７２６】
また、上述の場合には、ユーザ位置に対応して、スピーカユニット１２Ｌおよび１２Ｒ（またはスピーカユニット３２Ｌおよび３２Ｒ）の指向性の主軸の方向の向きだけを制御するようにしたが、その他、例えば、スピーカユニット１２Ｌおよび１２Ｒの音量も制御するようにすることが可能である。即ち、例えば、ユーザが番組を視聴しているテレビジョン受像機が、そのユーザ位置から離れているほど、スピーカユニット１２Ｌおよび１２Ｒの音量を大とするようにすることが可能である。
【０７２７】
さらに、上述の場合には、テレビジョン受像機におけるリモコン１５からの赤外線の受信強度に基づいて、そのリモコン１５の位置（ユーザ位置）を検出するようにしたが、リモコン１５の位置は、その他、例えば、ＧＰＳ(Global Positioning System)を利用したり、各テレビジョン受像機から超音波を発し、その超音波をリモコン１５で受信して送り返すようにすることなどによって検出することが可能である。
【０７２８】
次に、上述のスピーカ制御処理においては、スピーカユニット１２Ｌおよび１２Ｒ（並びにスピーカユニット３２Ｌおよび３２Ｒ）として、指向性のあるものを用い、その指向性の主軸の方向を、ユニット駆動部１３８（およびユニット駆動部１５８）によって、パン方向またはチルト方向に回転駆動することにより、所定の方向（ユーザ位置の方向）に向けるようにしたが、このような指向性の主軸の方向の制御は、電子的に行うこともできる。
【０７２９】
即ち、図５２は、指向性の主軸の方向の制御を電子的に行うスピーカユニット１２Ｌの構成例を示している。なお、他のスピーカユニット１２Ｒ，３２Ｌ、および３２Ｒも、スピーカユニット１２Ｌと同様に構成されるため、その説明は、省略する。
【０７３０】
図５２の実施の形態において、ＭＰＥＧオーディオデコーダ１２６（図１０）が出力する音声データは、ディジタルフィルタ２１１₁および２１１₂に供給される。ディジタルフィルタ２１１₁および２１１₂には、ユニット駆動部１３８（図１０）によって、所定のタップ係数がセットされるようになっており、ディジタルフィルタ２１１₁と２１１₂は、そこに供給される同一の音声データを、ユニット駆動部１３８によってセットされたタップ係数に基づいてフィルタリングすることにより、その音声データに含まれる各周波数成分を、各周波数成分ごとに所定の遅延時間だけ遅延した音声データを得て、スピーカ２１２₁と２１２₂に、それぞれ供給する。
【０７３１】
スピーカ２１２₁と２１２₂は、いずれも、無指向性のスピーカで、ディジタルフィルタ２１１₁と２１１₂から供給される音声データを出力（放音）する。
【０７３２】
いま、スピーカユニット１２Ｌにおいて、２つのスピーカ２１２₁と２１２₂の主軸を、それぞれ、Ｙ１とＹ２と表すと、スピーカ２１２₁と２１２₂は、その主軸Ｙ１とＹ２が２次元平面内（ここでは、紙面内）において並行となるように配置されている。さらに、スピーカ２１２₁と２１２₂は、それぞれのコーン（振動板）が主軸Ｙ１とＹ２の方向において等しい位置となるように配置されている。
【０７３３】
ここで、主軸Ｙ１とＹ２との間の距離（以下、適宜、主軸間距離という）をａで表すとともに、２次元平面内において、主軸Ｙ１またはＹ２を基準とする反時計方向への角度（放射角）をθで表すこととする。
【０７３４】
以上のように構成されるスピーカユニット１２Ｌに対して、音声データとして、単一の周波数成分でなる、例えば正弦波信号を入力した場合、その音声データとしての正弦波信号は、ディジタルフィルタ２１１₁と２１１₂でフィルタリングされ、これにより、例えば、遅延時間Ｄ１とＤ２だけ、それぞれ遅延され、スピーカ２１２₁と２１２₂に供給されて出力される。
【０７３５】
この場合、スピーカ２１２₁と２１２₂それぞれから出力される音波どうしが干渉する。さらに、例えば、いま、遅延時間Ｄ１とＤ２とが、Ｄ２≧Ｄ１の関係にあるとすると、スピーカ２１２₁と２１２₂それぞれから出力される音波どうしの間には、Ｄ２−Ｄ１だけの時間差（以下、適宜、遅延時間差という）が生じている。また、スピーカ２１２₁と２１２₂それぞれの主軸Ｙ１とＹ２と角度θをなす軸Ｙ１１とＹ１２上の音波どうしには、行路差が生じている。
【０７３６】
その結果、スピーカ２１２₁と２１２₂から出力される２つの音波の観測点（リスニング位置）ごとに、その２つの音波の干渉時の位相関係が異なることになり、例えば、ある観測点においては、２つの音波が同相で加算され、スピーカ２１２₁と２１２₂のうちの一方しかない場合の２倍の音量の音波となる。また、他の観測点においては、２つの音波が逆相で加算され（相殺され）、音量が０となる。従って、スピーカ２１２₁と２１２₂の総合の音量特性は指向性を有することになる。
【０７３７】
図５３および図５４は、上述のようにして得られるスピーカ２１２₁と２１２₂の総合の音量特性の指向性の例を示している。なお、図５３および図５４の実施の形態では、最大音量を、０ｄＢに正規化してある。
【０７３８】
図５３は、主軸間距離ａを１０ｃｍとするとともに、遅延時間差Ｄ２−Ｄ１をａ／Ｃとして、周波数が１０００Ｈｚの正弦波を入力した場合の音量特性の指向性を示している。なお、Ｃは、音速を表し、ここでは、３４０ｍ／ｓとする。
【０７３９】
図５３の実施の形態では、角度θが３０度以上の範囲において、最大の音量が得られている。また、角度θが−４５度の位置において、音量がほとんど０（ヌル）となっている。
【０７４０】
図５４は、図５３で説明した条件のうち、入力を、周波数が５０００Ｈｚの正弦波に代えた場合の音量特性の指向性を示している。
【０７４１】
図５４の実施の形態では、角度θが４５度以上の範囲に主ビームが現れている。また、角度θが０度から４５度の範囲に、主ビームと同程度の大きさの副ビーム（グレーティングビーム）を生じている。このような大きな副ビームを生じるのは、図５４の副ビームの範囲においては、２つの音波の位相差が、５０００Ｈｚの正弦波の波長の整数倍となり、２つの音波が同相で加算されるからである。
【０７４２】
このことは、他の副ビームについても同様であり、スピーカ２１２₁と２１２₂それぞれから観測点までの距離が、主軸間距離ａに比べて十分大きい場合には、一般に、次式が成立するときに、スピーカ２１２₁と２１２₂が出力する２つの音波の位相が同相となって、主ビームと同じ大きさの副ビームを生じる。
【０７４３】

【０７４４】
但し、式（２６）において、ｆは入力の周波数を表し、ｎは、０以上の整数値である。
【０７４５】
なお、式（２６）において、ｎが０の場合は、主ビームを表す。
【０７４６】
例えば、周波数ｆが１０００Ｈｚの場合に、式（２６）を満足するのは、ｎが０のときだけであり、従って、この場合、主ビーム以外に、同じ大きさの副ビームを生じることはない。
【０７４７】
ここで、例えば、ｎが１の場合に、式（２６）を満足する周波数ｆ、即ち、副ビームを生じる周波数ｆは、ｆ＝Ｃ／（ａ（１−cosθ））で表すことができる。図５３の実施の形態で説明した条件下では、この周波数ｆは、約１７００Ｈｚとなるが、これは、主軸間距離ａが、音波の半波長に等しいときの周波数である。
【０７４８】
以上から、図５２のスピーカユニット１２Ｌによれば、ディジタルフィルタ２１１₁と２１１₂において、そこに供給される音声データの各周波数成分を、その各周波数成分ごとに遅延し、これにより、各周波数成分ごとに、所定の遅延時間差Ｄ２−Ｄ１を与えた音声データを、スピーカ２１２₁と２１２₂に供給して出力することにより、スピーカ２１２₁と２１２₂の総合の音量特性は指向性を有するものとなる。そして、各周波数成分についての主ビームの方向およびヌル方向は、その周波数成分に与える遅延時間差によって変更することができる。
【０７４９】
即ち、スピーカユニット１２Ｌの指向性の主軸の方向は、ディジタルフィルタ２１１₁と２１１₂にセットするタップ係数によって変更することができる。
【０７５０】
従って、ユニット駆動部１３８において、ディジタルフィルタ２１１₁と２１１₂に、所定のタップ係数を与えることにより、スピーカユニット１２Ｌの指向性の主軸の方向を、所望の方向に向けることができる。
【０７５１】
なお、上述の場合には、スピーカユニット１２Ｌに、２つのスピーカ２１２₁と２１２₂を設け、その２つのスピーカ２１２₁と２１２₂から出力される２つの音波どうしの干渉を利用して、指向性の主軸の方向を制御するようにしたが、その他、例えば、スピーカユニット１２Ｌと１２Ｒを、それぞれ、１つのスピーカで構成し、スピーカユニット１２Ｌのスピーカと、スピーカユニット１２Ｒのスピーカから出力される２つの音波どうしの干渉を利用して、指向性の主軸の方向を制御するようにすることも可能である。
【０７５２】
また、スピーカユニット１２Ｌは、２個よりも多い数のスピーカでなる、いわゆるスピーカアレイで構成することができる。スピーカユニット１２Ｌを、多数のスピーカで構成する場合には、より急峻な指向性を実現することができる。
【０７５３】
次に、上述の場合には、リモコン１５の位置（ユーザ位置）を、親機１または子機２における、リモコン１５からの赤外線の受信強度に基づいて検出し、そのリモコン１５の位置の方向に、スピーカユニット１２Ｌおよび１２Ｒ、またはスピーカユニット３２Ｌおよび３２Ｒの指向性の主軸の方向を向けるようにしたが、スピーカユニット１２Ｌおよび１２Ｒ、またはスピーカユニット３２Ｌおよび３２Ｒの指向性の主軸の方向を、リモコン１５の位置の方向に向けるだけであれば、リモコン１５の位置まで検出する必要はなく、親機１または子機２からのリモコン１５の方向が分かれば良い。
【０７５４】
そこで、図５５および図５６を参照して、親機１（または子機２）からのリモコン１５の方向の検出方法について説明する。
【０７５５】
親機１からのリモコン１５の方向は、図５５に示すように、親機１（図１０）のＩＲ受信部１３５に、所定の距離Ｄだけ離れた２つの受光部１３５Ａと１３５Ｂを設けることにより検出することが可能である。
【０７５６】
いま、親機１からリモコン１５までの距離が、受光部１３５Ａと１３５Ｂの間の距離Ｄに比較して十分大きいとすると、リモコン１５から受光部１３５Ａに入射する赤外線と、リモコン１５から受光部１３５Ｂに入射する赤外線とは平行とみなすことができる。
【０７５７】
そして、図５５に示すように、リモコン１５から受光部１３５Ａおよび１３５Ｂに入射する赤外線が、受光部１３５Ａと１３５Ｂとを結ぶ直線となす角度をφとすると、リモコン１５から受光部１３５Ａに入射する赤外線と、リモコン１５から受光部１３５Ｂに入射する赤外線との間の行路差ｄは、Ｄcosφで表すことができる。
【０７５８】
また、光速をｃで表すとともに、受光部１３５Ａと１３５Ｂで、リモコン１５からの赤外線が受光されるタイミングの時間差をτで表すと、行路差ｄは、ｃτで表すことができる。
【０７５９】
従って、角度φ、即ち、リモコン１５の方向φは、arccos（τｃ／Ｄ）で表される。即ち、リモコン１５の方向φは、受光部１３５Ａと１３５Ｂで、リモコン１５からの赤外線が受光されるタイミングの時間差τを測定することで求めることができる。
【０７６０】
次に、親機１（または子機２）からのリモコン１５の方向は、ＩＲ受信部１３５（またはＩＲ受信部１５５）を、図５６に示すように構成することによって検出することも可能である。
【０７６１】
即ち、図５６の実施の形態では、ＩＲ受信部１３５は、複数の赤外線受光部としての画素を有する赤外線ラインセンサ２２１と、その赤外線ラインセンサ２２１上に赤外線を集光するレンズ２２２から構成されている。
【０７６２】
なお、赤外線ラインセンサ２２１は、例えば、レンズ２２２の光軸上に配置されている。
【０７６３】
以上のように構成されるＩＲ受信部１３５では、リモコン１５から出射された赤外線は、レンズ２２２を介して、赤外線ラインセンサ２２１に入射し、その赤外線ラインセンサ上の所定の位置の画素で受光される。
【０７６４】
この場合、赤外線ラインセンサ２２１に対する赤外線の入射角αが変化すると、これに対応して、その赤外線を受光する画素、つまり、受光位置も変化する。
【０７６５】
そして、いま、この受光位置と、赤外線ラインセンサ２２１上のレンズ２２２の光軸との交点との間の距離をｒで表すとともに、赤外線ラインセンサ２２１とレンズ２２２との距離をＳで表すと、入射角α、即ち、リモコン１５の方向αは、arctan（Ｓ／ｒ）で表される。
【０７６６】
従って、リモコン１５の方向αは、赤外線ラインセンサ２２１上のレンズ２２２の光軸との交点と、赤外線を受光した画素の位置との間の距離ｒを測定することにより求めることができる。
【０７６７】
次に、図５７は、親機１の他の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図５７の親機１は、接続検出部１３９が新たに設けられている他は、図１０における場合と同様に構成されている。
【０７６８】
接続検出部１３９は、電気的または機械的に、他のテレビジョン受像機が接続されたことを検出し、ＣＰＵ１２９に供給するようになっている。
【０７６９】
従って、図５７の実施の形態では、端子パネル２１におけるIEEE1394端子２１_ij（図３Ｆ）の端子電圧の変化ではなく、接続検出部１３９において、他のテレビジョン受像機との接続が検出される。
【０７７０】
次に、図５８は、子機２の他の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図５８の子機２は、接続検出部１５９が新たに設けられている他は、図１１における場合と同様に構成されている。
【０７７１】
接続検出部１５９は、電気的または機械的に、他のテレビジョン受像機が接続されたことを検出し、ＣＰＵ１４９に供給するようになっている。
【０７７２】
従って、図５８の実施の形態では、図５７の実施の形態における場合と同様に、端子パネル４１におけるIEEE1394端子４１₁（図５Ｆ）の端子電圧の変化ではなく、接続検出部１５９において、他のテレビジョン受像機との接続が検出される。
【０７７３】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０７７４】
そこで、図５９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０７７５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
【０７７６】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０７７７】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【０７７８】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０７７９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０７８０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０７８１】
なお、上述したスケーラブルＴＶシステムは、ディジタルおよびアナログのいずれのテレビジョン受像機によって構成することも可能である。
【０７８２】
また、スケーラブルＴＶシステムを構成するテレビジョン受像機は、例えば、そのテレビジョン受像機が親機または子機であるのか、さらには、子機である場合には、何台目の子機であるのかによって、販売価格に差を設けるようにすることができる。
【０７８３】
即ち、スケーラブルＴＶシステムでは、上述したように、親機が存在しなければ、特別機能が提供されないため、親機の価値は高く、従って、販売価格を高く設定するようにすることができる。
【０７８４】
また、ユーザは、親機の購入後は、子機を随時追加購入していくこととなると予想されるが、最初の数台の子機については、例えば、親機よりも低価格ではなるが、一般のテレビジョン受像機よりは高価格の販売価格を設定するようにすることができる。そして、その後に購入される子機については、さらに低価格の販売価格を設定するようにすることができる。
【０７８５】
なお、スケーラブルＴＶシステムを構成する親機となるテレビジョン受像機は、例えば、一般的なディジタルのテレビジョン受像機に、信号処理部１３７を追加するとともに、ＣＰＵ１２９に実行させるプログラムを変更することで構成することが可能である。従って、スケーラブルＴＶシステムを構成する親機となるテレビジョン受像機は、一般的なディジタルのテレビジョン受像機を利用して、比較的容易に製造することができるので、スケーラブルＴＶシステムが提供する上述したような特別機能を考慮すれば、そのコストメリット（コストパフォーマンス）は高いと言うことができる。この点については、子機としてのテレビジョン受像機についても同様である。
【０７８６】
また、本発明は、チューナを内蔵する表示装置であるテレビジョン受像機の他、チューナを内蔵せずに、外部からの画像および音声を出力する表示装置にも適用可能である。
【０７８７】
【発明の効果】
以上の如く、本発明によれば、多数の表示装置を接続して使用した場合に、単体で使用する場合よりも高機能を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したスケーラブルＴＶシステムの一実施の形態の構成例を示す斜視図である。
【図２】親機１の外観構成例を示す斜視図である。
【図３】親機１の外観構成例を示す６面図である。
【図４】子機２の外観構成例を示す斜視図である。
【図５】子機２の外観構成例を示す６面図である。
【図６】スケーラブルＴＶシステムを構成する親機１および子機２を収納する専用ラックの外観構成例を示す斜視図である。
【図７】リモコン１５の外観構成例を示す平面図である。
【図８】リモコン３５の外観構成例を示す平面図である。
【図９】リモコン１５の他の外観構成例を示す平面図である。
【図１０】親機１の電気的構成例を示すブロック図である。
【図１１】子機２の電気的構成例を示すブロック図である。
【図１２】 IEEE1394通信プロトコルのレイヤ構造を示す図である。
【図１３】 CSRアーキテクチャのアドレス空間を示す図である。
【図１４】 CSRのオフセットアドレス、名前、および働きを示す図である。
【図１５】ゼネラルＲＯＭフォーマットを示す図である。
【図１６】バスインフォブロック、ルートディレクトリ、およびユニットディレクトリの詳細を示す図である。
【図１７】 PCRの構成を示す図である。
【図１８】 oMPR，oPCR，iMPR、およびiPCRの構成を示す図である。
【図１９】 AV/Cコマンドのアシンクロナス転送モードで伝送されるパケットのデータ構造を示す図である。
【図２０】 AV/Cコマンドの具体例を示す図である。
【図２１】 AV/Cコマンドとレスポンスの具体例を示す図である。
【図２２】信号処理部１３７の詳細構成例を示すブロック図である。
【図２３】信号処理部１３７による画像変換処理を説明するフローチャートである。
【図２４】学習装置の構成例を示すブロック図である。
【図２５】生徒データ生成部１７３の処理を説明するための図である。
【図２６】学習装置による係数種データの学習処理を説明するフローチャートである。
【図２７】係数種データの学習方法を説明するための図である。
【図２８】学習装置の他の構成例を示すブロック図である。
【図２９】信号処理部１５７の構成例を示すブロック図である。
【図３０】親機１の処理を説明するフローチャートである。
【図３１】親機１による認証処理を説明するフローチャートである。
【図３２】子機２の処理を説明するフローチャートである。
【図３３】子機２による認証処理を説明するフローチャートである。
【図３４】親機１によるクローズドキャプション処理を説明するフローチャートである。
【図３５】子機２によるクローズドキャプション処理を説明するフローチャートである。
【図３６】親機１による一部拡大処理を説明するフローチャートである。
【図３７】子機２による一部拡大処理を説明するフローチャートである。
【図３８】一部拡大処理が行われた場合のスケーラブルＴＶシステムの表示例を示す図である。
【図３９】親機１による全体拡大処理を説明するフローチャートである。
【図４０】表示範囲と拡大範囲の求め方を説明するための図である。
【図４１】子機２による全体拡大処理を説明するフローチャートである。
【図４２】全体拡大処理が行われた場合のスケーラブルＴＶシステムの表示例を示す図である。
【図４３】親機１によるマルチ画面表示処理を説明するフローチャートである。
【図４４】親機１による一括同時制御処理を説明するフローチャートである。
【図４５】一括同時制御処理が行われた場合のスケーラブルＴＶシステムの表示例を示す図である。
【図４６】親機１による個別処理を説明するフローチャートである。
【図４７】子機２による個別処理を説明するフローチャートである。
【図４８】親機１によるスピーカ制御処理を説明するフローチャートである。
【図４９】強度対距離テーブルを示す図である。
【図５０】リモコン１５までの距離の算出方法を説明するための図である。
【図５１】子機２によるスピーカ制御処理を説明するフローチャートである。
【図５２】スピーカユニット１２Ｌの構成例を示すブロック図である。
【図５３】指向性を示す図である。
【図５４】指向性を示す図である。
【図５５】リモコン１５の方向の検出方法を説明するための図である。
【図５６】ＩＲ受信部１３５の構成例を示す図である。
【図５７】親機１の他の電気的構成例を示すブロック図である。
【図５８】子機２の他の電気的構成例を示すブロック図である。
【図５９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 親機， ２，２₁₁，２₁₂，２₁₃，２₁₄，２₁₅，２₂₁，２₂₂，２₂₃，２₂₄，２₂₅，２₃₁，２₃₂，２₃₃，２₃₄，２₃₅，２₄₁，２₄₂，２₄₃，２₄₄，２₄₅，２₅₁，２₅₂，２₅₃，２₅₄，２₅₅ 子機， １１ ＣＲＴ， １２Ｌ，１２Ｒ スピーカユニット， １５ リモコン， ２１ 端子パネル， ２１₁₁，２１₁₂，２１₁₃，２１₂₁，２１₂₃，２１₃₁，２１₃₂，２１₃₃ IEEE1394端子， ２２ アンテナ端子， ２３ 入力端子， ２４ 出力端子， ３１ ＣＲＴ， ３２Ｌ，３２Ｒ スピーカユニット， ３５ リモコン， ４１ 端子パネル， ４１₁ IEEE1394端子， ４２ アンテナ端子， ４３ 入力端子， ４４ 出力端子， ５１ セレクトボタンスイッチ， ５２ ボリウムボタンスイッチ， ５３ チャンネルアップダウンボタンスイッチ， ５４ メニューボタンスイッチ， ５５ イグジットボタンスイッチ， ５６ ディスプレイボタン， ５７ エンタボタンスイッチ， ５８ 数字ボタン（テンキー）スイッチ， ５９ テレビ／ビデオ切換ボタンスイッチ， ６０ テレビ／ＤＳＳ切換ボタンスイッチ， ６１ ジャンプボタンスイッチ， ６２ ランゲージボタン， ６３ ガイドボタンスイッチ， ６４ フェイバリットボタンスイッチ， ６５ ケーブルボタンスイッチ， ６６ テレビスイッチ， ６７ ＤＳＳボタンスイッチ， ６８乃至７０ ＬＥＤ， ７１ ケーブル電源ボタンスイッチ， ７２ テレビ電源ボタンスイッチ， ７３ ＤＳＳ電源ボタンスイッチ， ７４ ミューティングボタンスイッチ， ７５ スリープボタンスイッチ， ７６ 発光部， ８１ セレクトボタンスイッチ， ８２ ボリウムボタンスイッチ， ８３ チャンネルアップダウンボタンスイッチ， ８４ メニューボタンスイッチ， ８５ イグジットボタンスイッチ， ８６ ディスプレイボタン， ８７ エンタボタンスイッチ， ８８ 数字ボタン（テンキー）スイッチ， ８９ テレビ／ビデオ切換ボタンスイッチ， ９０ テレビ／ＤＳＳ切換ボタンスイッチ， ９１ ジャンプボタンスイッチ， ９２ ランゲージボタン， ９３ ガイドボタンスイッチ， ９４ フェイバリットボタンスイッチ， ９５ ケーブルボタンスイッチ， ９６ テレビスイッチ， ９７ ＤＳＳボタンスイッチ， ９８乃至１００ＬＥＤ， １０１ ケーブル電源ボタンスイッチ， １０２ テレビ電源ボタンスイッチ， １０３ ＤＳＳ電源ボタンスイッチ， １０４ ミューティングボタンスイッチ， １０５ スリープボタンスイッチ， １０６ 発光部， １１０ ボタンスイッチ， １１１乃至１１４ 方向ボタンスイッチ， １２１ チューナ， １２２ ＱＰＳＫ復調回路， １２３ エラー訂正回路， １２４デマルチプレクサ， １２５ ＭＰＥＧビデオデコーダ， １２６ ＭＰＥＧオーディオデコーダ， １２７ フレームメモリ， １２８ ＮＴＳＣエンコーダ， １２９ ＣＰＵ， １３０ ＥＥＰＲＯＭ， １３１ ＲＯＭ， １３２ＲＡＭ， １３３ IEEE1394インタフェース， １３４ フロントパネル， １３５ ＩＲ受信部， １３５Ａ，１３５Ｂ 受光部， １３６ モデム， １３７ 信号処理部， １３７Ａ ＤＳＰ， １３７Ｂ ＥＥＰＲＯＭ， １３７Ｃ ＲＡＭ， １３８ ユニット駆動部， １３９ 接続検出部， １４１ チューナ， １４２ ＱＰＳＫ復調回路， １４３ エラー訂正回路， １４４ デマルチプレクサ， １４５ ＭＰＥＧビデオデコーダ， １４６ ＭＰＥＧオーディオデコーダ， １４７ フレームメモリ， １４８ ＮＴＳＣエンコーダ， １４９ ＣＰＵ， １５０ ＥＥＰＲＯＭ， １５１ ＲＯＭ， １５２ ＲＡＭ， １５３ IEEE1394インタフェース， １５４ フロントパネル， １５５ ＩＲ受信部， １５６ モデム， １５７ 信号処理部， １５７Ａ ＤＳＰ， １５７Ｂ ＥＥＰＲＯＭ， １５７Ｃ ＲＡＭ， １５８ ユニット駆動部， １５９ 接続検出部， １６１，１６２ タップ抽出部， １６３ クラス分類部， １６４ 係数メモリ， １６５ 予測部， １６６ 係数生成部， １６７ 係数種メモリ， １６８ パラメータメモリ， １７１ 教師データ生成部， １７２ 教師データ記憶部， １７３ 生徒データ生成部， １７４ 生徒データ記憶部， １７５，１７６ タップ抽出部， １７７ クラス分類部， １７８ 足し込み部， １７９ 係数種算出部， １８０ パラメータ生成部， １９０ 足し込み部， １９１ タップ係数算出部， １９２ 足し込み部， １９３ 係数種算出部， ２０１，２０２ タップ抽出部， ２０３クラス分類部， ２０４ 係数メモリ， ２０５ 予測部， ２０６ 係数生成部， ２０７ 係数種メモリ， ２０８ パラメータメモリ， ２１１₁，２１１₂ ディジタルフィルタ， ２１２₁，２１２₂ スピーカ， ２２１ 赤外線ラインセンサ， ２２２ レンズ， ３０１ バス， ３０２ CPU， ３０３ ROM， ３０４ RAM， ３０５ ハードディスク， ３０６ 出力部， ３０７ 入力部， ３０８ 通信部， ３０９ ドライブ， ３１０ 入出力インタフェース， ３１１ リムーバブル記録媒体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display device, a control method, a program, a recording medium, and a display system, and in particular, when a large number of display devices are connected and used, higher functions can be realized than when used alone. The present invention relates to a display device, a control method, a program, a recording medium, and a display system.
[0002]
[Prior art]
For example, in a television receiver, a television broadcast signal is received, an image as a television broadcast program is displayed, and sound accompanying the image is output.
[0003]
[Problems to be solved by the invention]
By the way, the conventional television receiver is premised on operating alone, and therefore, when a user purchases a new television receiver, the television owned by the user is used. John receivers are no longer needed and are often discarded even if they are still usable.
[0004]
Therefore, when a large number of television receivers are connected and higher functions can be realized than when a single television receiver is connected, the disposal of usable television receivers can be prevented, thereby contributing to effective use of resources. it can.
[0005]
The present invention has been made in view of such a situation, and when a display device such as a large number of television receivers is connected and used, it is possible to realize a higher function than when used alone. It is something that can be done.
[0006]
[Means for Solving the Problems]
  The display device of the present invention includes a connection detection unit that detects that another display device is connected, an authentication unit that performs authentication between the other display device in which connection is detected by the connection detection unit, and authentication. With a function changing means for changing the function of the display device when successful,There are two types of display devices and other display devices: a parent display device that can control the connection device connected to itself, and a child display device that can be controlled from the connection device but cannot control the connection device. The authentication unit performs authentication as to whether or not the other display device is legitimate and authentication as to whether or not the other display device is a parent or child display device.It is characterized by that.
[0007]
  The control method of the present invention includes a connection detection step for detecting that another display device is connected, an authentication step for performing authentication between the other display device for which connection is detected in the connection detection step, and authentication. A function change step that changes the function of the display device if successful;The display device and other display devices include a parent display device that can control the connection device connected to itself, and a child display device that can be controlled from the connection device but cannot control the connection device. There are types, and the authentication step includes the steps of authenticating whether the other display device is valid and authenticating whether the other display device is the parent or child display device. IncludingAnd features.
[0008]
  The program according to the present invention includes a connection detection step for detecting that another display device is connected, an authentication step for performing authentication between the other display device in which connection is detected in the connection detection step, and authentication is successful. Function change step to change the function of the display deviceThe display device and other display devices include a parent display device that can control the connection device connected to itself, and a child display device that can be controlled from the connection device but cannot control the connection device. There are types, and the authentication step includes the steps of authenticating whether the other display device is valid and authenticating whether the other display device is the parent or child display device. IncludingAnd features.
[0009]
  Recording medium of the present inventionThe program ofA connection detection step for detecting that another display device is connected; an authentication step for performing authentication with another display device for which connection has been detected in the connection detection step; and a display device if the authentication is successful Function change step to change the function ofThe display device and other display devices include a parent display device that can control the connection device connected to itself, and a child display device that can be controlled from the connection device but cannot control the connection device. There are types, and the authentication step includes the steps of authenticating whether the other display device is valid and authenticating whether the other display device is the parent or child display device. IncludingAnd features.
[0010]
  In the display system of the present invention, the parent and child display devices authenticate between the connection detection means for detecting that another display device is connected and the other display devices for which connection is detected by the connection detection means. And an authentication means for performing the function, and a function changing means for changing its function when the authentication is successful,The authentication means performs authentication as to whether or not the other display device from which the connection is detected is valid, and authentication as to whether or not the other display device is a parent or child display device.It is characterized by that.
[0011]
  In the display device, the control method, the program, the recording medium, and the display system of the present invention, it is detected that another display device is connected, and authentication is performed with the detected other display device. In detailAuthentication about whether or not the detected other display device is valid and authentication about whether or not the detected other display device is a parent or child display device are performed.When the authentication is successful, the function changes.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a scalable TV (Television) system to which the present invention is applied (a system is a logical collection of a plurality of devices, regardless of whether or not the devices of each configuration are in the same casing. 1 is a perspective view showing a configuration example of an embodiment.
[0013]
In the embodiment of FIG. 1A, the scalable TV system includes nine television receivers 1 and 2.₁₁, 2₁₂, 2₁₃, 2_{twenty one}, 2_{twenty three}, 2₃₁, 2₃₂, 2₃₃It consists of In the embodiment of FIG. 1B, the scalable TV system includes 25 television receivers 1 and 2.₁₁, 2₁₂, 2₁₃, 2₁₄, 2₁₅, 2_{twenty one}, 2_{twenty two}, 2_{twenty three}, 2_{twenty four}, 2_{twenty five}, 2₃₁, 2₃₂, 2₃₄, 2₃₅, 2₄₁, 2₄₂, 2₄₃, 2₄₄, 2₄₅, 2₅₁, 2₅₂, 2₅₃, 2₅₄, 2₅₅It consists of
[0014]
Here, the number of television receivers constituting the scalable TV system is not limited to nine or 25. In other words, the scalable TV system can be configured by an arbitrary plurality of television receivers. Further, as shown in FIG. 1, the arrangement of the television receivers constituting the scalable TV system is not limited to 3 × 3 or 5 × 5. That is, the arrangement of the television receivers constituting the scalable TV system can be, for example, horizontal × vertical 1 × 2, 2 × 1, 2 × 3, or the like. Further, the arrangement shape of the television receivers constituting the scalable TV system is not limited to a lattice shape (matrix shape) as shown in FIG. 1, and may be a pyramid shape, for example.
[0015]
In this way, the scalable TV system can be said to be a “scalable” system because an arbitrary number of television receivers can be arranged and arranged in an arbitrary number in the horizontal and vertical directions. .
[0016]
The television receiver constituting the scalable TV system is controlled by a parent television receiver that can control other television receivers (hereinafter referred to as “parent device” as appropriate) and other television receivers. However, there are two types of child television receivers (hereinafter referred to as slave units as appropriate) that cannot control other television receivers.
[0017]
In order for the scalable TV system to perform various processes to be described later, the television receiver that constitutes the scalable TV system is compatible with the scalable TV system (hereinafter referred to as a scalable compatible apparatus as appropriate), and It is a condition that at least one of the devices is a master unit. For this reason, in the embodiment of FIG. 1A and FIG. 1B, among the television receivers constituting the scalable TV system, for example, the television receiver disposed at the center is the master unit 1.
[0018]
From the above, when there is a television receiver that is not a scalable compatible device among the television receivers constituting the scalable TV system, some television receivers can enjoy the functions of the scalable TV system. Can not. Further, even if the television receivers constituting the scalable TV system are scalable compatible devices, if all of them are slave units, the functions of the scalable TV system cannot be enjoyed.
[0019]
Therefore, in order to enjoy the function of the scalable TV system, the user needs to purchase at least one or more parent devices, or one parent device and one or more child devices.
[0020]
Note that the master unit also has the function of a slave unit, and therefore, a plurality of master units may exist in the television receiver constituting the scalable TV system.
[0021]
In the embodiment of FIG. 1A, among the 3 × 3 television receivers, the television receiver 1 arranged at the center (second from the left and second from the top) is the master unit. , And other 8 television receivers 2₁₁, 2₁₂, 2₁₃, 2_{twenty one}, 2_{twenty three}, 2₃₁, 2₃₂, 2₃₃Is a handset. In the embodiment of FIG. 1B, among the 5 × 5 television receivers, the television receiver 1 arranged at the center (third from the left and third from the top) is the master unit. And the other 24 2₁₁, 2₁₂, 2₁₃, 2₁₄, 2₁₅, 2_{twenty one}, 2_{twenty two}, 2_{twenty three}, 2_{twenty four}, 2_{twenty five}, 2₃₁, 2₃₂, 2₃₄, 2₃₅, 2₄₁, 2₄₂, 2₄₃, 2₄₄, 2₄₅, 2₅₁, 2₅₂, 2₅₃, 2₅₄, 2₅₅Is a handset.
[0022]
Therefore, in the embodiment of FIG. 1, the master unit 1 is arranged at the center of the television receiver that constitutes the scalable TV system, but the position of the master unit 1 is the television receiver that constitutes the scalable TV system. It is not limited to the center of the machine, and the parent machine 1 can be arranged at an arbitrary position such as upper left, lower right, or the like.
[0023]
In the scalable TV system, regardless of the position of the parent device 1, the television receiver disposed at the center is regarded as the parent device, and each process described later is performed. It is possible to do so.
[0024]
Here, in the following, for the sake of simplicity, the scalable TV system is assumed to be composed of 3 × 3 television receivers as shown in FIG. 1A. It is assumed that it is arranged at the center of a television receiver that constitutes a scalable TV system.
[0025]
In addition, the subunit | mobile_unit 2 which comprises a scalable TV system_ijThe suffix ij is the handset 2_ij, In a scalable TV system, is arranged in the i-th column and j-th row (i-th row from the top, j-th column from the left).
[0026]
In addition, hereinafter, the slave unit 2 is appropriately used._ijIs described as a handset 2 unless there is a particular need to distinguish them.
[0027]
Next, FIG. 2 is a perspective view illustrating a configuration example of a television receiver that is the parent device 1.
[0028]
The base unit 1 is a television receiver having a display screen size of, for example, 14 inches or 15 inches, and a CRT (Cathod Ray Tube) 11 for displaying an image is provided at the front center portion. In addition, speaker units 12L and 12R for outputting sound are provided at the left and right ends of the front, respectively.
[0029]
Then, an image of a television broadcast signal received by an antenna (not shown) is displayed on the CRT 11, and the audio L (Left) and R (Right) channels associated with the image are connected to the speaker units 12L and 12R. Are output respectively.
[0030]
The base unit 1 is accompanied by a remote commander (hereinafter referred to as a remote controller) 15 that emits infrared IR (Infrared Ray). The user operates the remote controller 15 to change the reception channel and volume. Various other commands can be given to the main unit 1.
[0031]
The remote controller 15 is not limited to the one that performs infrared communication, and, for example, a device that performs wireless communication such as BlueTooth (trademark) can be employed.
[0032]
In addition, the remote controller 15 can control not only the parent device 1 but also the child device 2.
[0033]
Next, FIG. 3 is a six-sided view illustrating a configuration example of the base unit 1 of FIG.
[0034]
3A is a front view of base unit 1, FIG. 3B is a top view of base unit 1, FIG. 3C is a bottom view of base unit 1, FIG. 3D is a left side view of base unit 1, and FIG. FIG. 3F shows the back of the base unit 1.
[0035]
A fixing mechanism is provided on the upper surface (FIG. 3B), the bottom surface (FIG. 3C), the left side surface (FIG. 3D), and the right side surface (FIG. 3E) of the base unit 1. As will be described later, the same fixing mechanism is provided on the top, bottom, left side, and right side of the television receiver that is the slave unit 2, and the top side, bottom side, and left side of the base unit 1 are provided. When the handset 2 or another base unit is arranged on the side or the right side, the fixing mechanism provided on the top surface, bottom surface, left side, or right side of the base unit 1, the handset 2 or other The fixing mechanism provided on the opposing surface of the parent device is fitted, for example, so that the parent device 1, the child device 2, and other parent devices are fixed so as not to be easily separated. As a result, misalignment of the television receiver constituting the scalable TV system is prevented.
[0036]
The fixing mechanism can be configured by a mechanical mechanism, or can be configured by, for example, a magnet.
[0037]
As shown in FIG. 3F, a terminal panel 21, an antenna terminal 22, an input terminal 23, and an output terminal 24 are provided on the back surface of the base unit 1.
[0038]
The terminal panel 21 includes a master unit 1 and eight slave units 2 constituting the scalable TV system of FIG. 1A.₁₁, 2₁₂, 2₁₃, 2_{twenty one}, 2_{twenty three}, 2₃₁, 2₃₂, 2₃₃8 IEEE (Institute of Electrical and Electronics Engineers) 1394 terminals 21 for electrical connection with each other₁₁, 21₁₂, 21₁₃, 21_{twenty one}, 21_{twenty three}, 21₃₁, 21₃₂, 21₃₃Is provided.
[0039]
Here, in the embodiment of FIG. 3F, the master unit 1 is the slave unit 2 in the scalable TV system of FIG. 1A._ijIn the terminal panel 21, when the user views the scalable TV system from the back side, the handset 2 in the scalable TV system of FIG. 1A is displayed on the terminal panel 21._ijIn the position corresponding to the position of the handset 2_ijIEEE1394 terminal 21 connected to_ijIs provided.
[0040]
Therefore, in the scalable TV system of FIG.₁₁IEEE1394 terminal 21₁₁, Handset 2₁₂IEEE1394 terminal 21₁₂, Handset 2₁₃IEEE1394 terminal 21₁₃, Handset 2_{twenty one}IEEE1394 terminal 21_{twenty one}, Handset 2_{twenty three}IEEE1394 terminal 21_{twenty three}, Handset 2₃₁IEEE1394 terminal 21₃₁, Handset 2₃₂IEEE1394 terminal 21₃₂, Handset 2₃₃IEEE1394 terminal 21₃₃Are connected to the base unit 1 via each of them.
[0041]
In the scalable TV system of FIG._ijWhich IEEE1394 terminal of the terminal panel 21 is connected to is not particularly limited. However, handset_ijIEEE1394 terminal 21_ijWhen connecting to an IEEE1394 terminal other than_ijHowever, it is necessary to set in the base unit 1 that it is arranged in the i-th column and the j-th row of the scalable TV system of FIG. 1A (the user needs to set it).
[0042]
In the embodiment of FIG. 3F, the terminal panel 21 has eight IEEE1394 terminals 21.₁₁Thru 21₃₃With a master unit 1 and 8 slave units 2₁₁2₃₃Each is connected in parallel, but the master unit 1 and the eight slave units 2₁₁2₃₃It is also possible to connect serially. That is, handset 2_ijIs the other handset 2_{i'j '}It is possible to connect to the base unit 1 via However, also in this case_ijHowever, it is necessary to set in the master unit 1 that it is arranged in the i-th column and the j-th row of the scalable TV system of FIG. 1A. Therefore, the number of IEEE1394 terminals provided on the terminal panel 21 is not limited to eight.
[0043]
Furthermore, the electrical connection between the television receivers constituting the scalable TV system is not limited to IEEE1394, and for example, a LAN (IEEE802) can be adopted. Further, the electrical connection between television receivers constituting the scalable TV system can be performed wirelessly instead of wired.
[0044]
A cable connected to an antenna (not shown) is connected to the antenna terminal 22, whereby a television broadcast signal received by the antenna is input to the parent device 1. For example, image data and audio data output from a VTR (Video Tape Recorder) or the like are input to the input terminal 23. From the output terminal 24, for example, image data and audio data as a television broadcast signal received by the master unit 1 are output.
[0045]
Next, FIG. 4 is a perspective view showing a configuration example of a television receiver as the slave unit 2.
[0046]
The subunit | mobile_unit 2 is a television receiver of the same display screen size as the main | base station 1 of FIG. 2, The CRT (Cathod Ray Tube) 31 which displays an image is provided in the front center part, Speaker units 32L and 32R for outputting sound are provided at the left and right ends of the front, respectively. It should be noted that different display screen sizes can be adopted for the parent device 1 and the child device 2.
[0047]
An image of a television broadcast signal received by an antenna (not shown) is displayed on the CRT 31, and the audio L (Left) channel and R (Right) channel associated with the image are connected to the speaker units 32L and 32R. Are output respectively.
[0048]
Similarly to the master unit 1, the slave unit 2 also includes a remote controller 35 that emits infrared IR. By operating the remote controller 35, the user can change the reception channel, the volume, and other various commands. The slave unit 2 can be given.
[0049]
The remote controller 35 can control not only the child device 2 but also the parent device 1.
[0050]
Further, in order to configure the scalable TV system of FIG. 1A, the user has one master unit 1 and eight slave units 2.₁₁2₃₃However, in this case, the remote controller 15 is attached to the master unit 1, and the eight slave units 2 are connected.₁₁2₃₃If the remote control 35 is attached to each, the user owns nine remote controls, and the management becomes complicated.
[0051]
Therefore, the remote control 35 of the slave unit 2 can be sold separately as an option of the slave unit 2. In addition, the remote controller 15 of the master unit 1 can be sold separately as an option of the master unit 1.
[0052]
Here, as described above, the remote controllers 15 and 35 can control both the parent device 1 and the child device 2, and therefore, only one of the remote controller 15 or 35 is owned. In addition, it is possible to control all of the master unit 1 and the slave unit 2.
[0053]
Next, FIG. 5 is a 6-side view showing an example of the configuration of the handset 2 of FIG.
[0054]
5A is a front view of the child device 2, FIG. 5B is a top surface of the child device 2, FIG. 5C is a bottom surface of the child device 2, FIG. 5D is a left side surface of the child device 2, and FIG. FIG. 5F shows the rear surface of the slave unit 2.
[0055]
The top surface (FIG. 5B), bottom surface (FIG. 5C), left side surface (FIG. 5D), and right side surface (FIG. 5E) of the slave unit 2 are provided with fixing mechanisms. When the master unit 1 and other slave units are arranged on the left side or right side, a fixing mechanism provided on the top, bottom, left side, or right side of the slave unit 2 and the master unit 1 And the fixing mechanism provided in the surface which the other subunit | mobile_unit opposes fits, and the subunit | mobile_unit 2 and another subunit | mobile_unit and the main | base station 1 are fixed so that it may not leave | separate easily.
[0056]
As shown in FIG. 5F, a terminal panel 41, an antenna terminal 42, an input terminal 43, and an output terminal 44 are provided on the back surface of the slave unit 2.
[0057]
The terminal panel 41 has one IEEE1394 terminal 41 for electrically connecting the parent device 1 and the child device 2.₁Is provided. The subunit | mobile_unit 2 with which the subunit | mobile_unit 2 is arrange | positioned in the scalable TV system of FIG.₁₁The IEEE1394 terminal 41 of the terminal panel 41.₁Through an IEEE1394 cable (not shown), the IEEE1394 terminal 21 of the terminal panel 21 in FIG. 3F.₁₁Connected.
[0058]
The number of IEEE1394 terminals provided on the terminal panel 41 is not limited to one.
[0059]
A cable connected to an antenna (not shown) is connected to the antenna terminal 42, whereby a television broadcast signal received by the antenna is input to the handset 2. For example, image data and audio data output from a VTR or the like are input to the input terminal 43. From the output terminal 44, for example, image data and audio data as a television broadcast signal received by the slave unit 2 are output.
[0060]
One master unit 1 and eight slave units 2 configured as described above₁₁2₃₃A total of nine television receivers are arranged in the horizontal direction and the vertical direction, respectively, so that the scalable TV system of FIG. 1A is configured.
[0061]
Note that the scalable TV system of FIG. 1A is configured by directly arranging other television receivers on the top, bottom, left, or right of a television receiver as a master unit or a slave unit. It is also possible to arrange the television receiver in a rack dedicated to the scalable TV system shown in FIG. When the dedicated rack is used in this way, it is possible to prevent the displacement of the television receiver constituting the scalable TV system more firmly.
[0062]
Here, when a scalable TV system is configured by directly arranging another television receiver on the top, bottom, left, or right of a television receiver as a master unit or a slave unit, for example, Machine 1 is at least child machine 2₃₂Otherwise, as shown in FIG. 1A, it cannot be arranged in the second row and the second column. On the other hand, when the rack dedicated to the scalable TV system shown in FIG.₃₂Even if there is no device, base unit 1 can be arranged in the second row and the second column.
[0063]
Next, FIG. 7 is a plan view showing a configuration example of the remote controller 15.
[0064]
The select button switch 51 can be operated (direction operation) in a total of eight directions including four directions in the vertical and horizontal directions and four oblique directions in the middle thereof. Furthermore, the select button switch 51 can be pressed (select operation) in a direction perpendicular to the upper surface of the remote controller 15. The menu button switch 54 has various settings (for example, the above-described slave unit) on the CRT 11 of the master unit 1 (or the CRT 31 of the slave unit 2)._ijIs set to be arranged in the i-th column and the j-th row of the scalable TV system) and a menu screen for inputting a command instructing to perform a predetermined process is displayed. Is done.
[0065]
Here, when the menu screen is displayed, a cursor that indicates an item or the like on the menu screen is displayed on the CRT 11. This cursor moves in the direction corresponding to the operation by operating the select button switch 51 in the direction. If the select button switch 51 is selected when the cursor is at a position on a predetermined item, the selection of the item is confirmed. In the present embodiment, as will be described later, there are icons in the items displayed on the menu, and the select button switch 51 is selected even when the icon is clicked.
[0066]
The exit button switch 55 is operated when returning from the menu screen to the original normal screen.
[0067]
The volume button switch 52 is operated when the volume is raised or lowered. The channel up / down button switch 53 is operated to increase or decrease the number of a broadcast channel to be received.
[0068]
A numeric button (ten-key) switch 58 on which numbers 0 to 9 are displayed is operated when a displayed number is input. When the operation of the numeric button switch 58 is completed, the enter button switch 57 is operated subsequent to the end of the numeric input. When the channel is switched, the OSD (On Screen Display) is displayed on the CRT 11 of the master unit 1 (or the CRT 31 of the slave unit 2) such as a new channel number for a predetermined time. The display button 56 is operated to turn on / off the OSD display such as the number of the currently selected channel and the current volume.
[0069]
The TV / video switching button switch 59 is used to input the master unit 1 (or the slave unit 2) into a built-in tuner 121 in FIG. 10 (or a tuner 141 in FIG. 11 to be described later) or an input terminal 23 in FIG. Alternatively, it is operated when switching to the input from the input terminal 43) of FIG. The TV / DSS switch button switch 60 is operated when the tuner 121 selects a television mode for receiving broadcasts by terrestrial waves or a DSS (Digital Satellite System (trademark of Hughes Communications)) mode for receiving satellite broadcasts. . When the channel is switched by operating the numeric button switch 58, the channel before switching is stored, and the jump button switch 61 is operated when returning to the original channel before switching.
[0070]
The language button 62 is operated when a predetermined language is selected when broadcasting is performed in two or more languages. The guide button switch 63 is operated when displaying the closed caption data when the closed caption data is included in the image data displayed on the CRT 11. The favorite button switch 64 is operated when a user's favorite channel set in advance is selected.
[0071]
The cable button switch 65, the television switch 66, and the DSS button switch 67 are button switches for switching the device category of the command code corresponding to the infrared ray emitted from the remote controller 15. That is, the remote controller 15 (same as the remote controller 35) can remotely control STB and IRD (not shown) in addition to the television receiver as the master unit 1 and the slave unit 2, and the cable button switch. 65 is operated when the remote controller 15 controls an STB (Set Top Box) that receives a signal transmitted via the CATV network. After the operation of the cable button switch 65, the remote controller 15 emits infrared rays corresponding to the command code of the device category assigned to the STB. Similarly, the television button switch 66 is operated when the parent device 1 (or the child device 1) is controlled by the remote controller 15. The DSS button switch 67 is operated when an IRD (Integrated Receiver and Decorder) that receives a signal transmitted via a satellite is controlled by the remote controller 15.
[0072]
LEDs (Light Emitting Diodes) 68, 69, and 70 are lit when the cable button switch 65, the TV button switch 66, or the DSS button switch 67 is turned on, respectively. The user is shown whether the device is controllable. The LEDs 68, 69, and 70 are turned off when the cable button switch 65, the television button switch 66, or the DSS button switch 67 is turned off, respectively.
[0073]
The cable power button switch 71, the television power button switch 72, and the DSS power button switch 73 are operated when turning on / off the STB, the parent device 1 (or the child device 2), or the IRD.
[0074]
The muting button switch 74 is operated when setting or canceling the muting state of the parent device 1 (or the child device 2). The sleep button switch 75 is operated when setting or canceling the sleep mode in which the power is automatically turned off when a predetermined time is reached or when a predetermined time has elapsed.
[0075]
When the remote controller 15 is operated, the light emitting unit 76 emits infrared rays corresponding to the operation.
[0076]
Next, FIG. 8 is a plan view showing a configuration example of the remote controller 35 of the slave unit 2.
[0077]
The remote controller 35 includes the select button switch 81 to the light emitting unit 106 configured in the same manner as the select button switch 51 to the light emitting unit 76 in the remote controller 15 of FIG.
[0078]
Next, FIG. 9 is a plan view showing another configuration example of the remote controller 15 of the parent device 1.
[0079]
In the embodiment of FIG. 9, instead of the select button switch 51 that can be operated in eight directions in FIG. 7, four direction button switches 111, 112, 113, and 114 in the up, down, left, and right directions, and buttons for performing a select operation. A switch 110 is provided. Furthermore, in the embodiment of FIG. 9, the cable button switch 65, the TV button switch 66, and the DSS button switch 67 are internally illuminated, and the LEDs 68 to 70 in FIG. 7 are omitted. However, LEDs (not shown) are arranged on the back side of the button switches 65 to 67. When the button switches 65 to 67 are operated, the LEDs arranged on the back side are respectively corresponding to the operation. Turns on or off.
[0080]
The other button switches are basically the same as those shown in FIG. 7 although their arrangement positions are different.
[0081]
Note that the remote controller 35 of the slave unit 2 can also be configured in the same manner as in FIG.
[0082]
In addition, the remote controller 15 can incorporate a gyro for detecting the movement. In this case, the remote controller 15 detects the moving direction and moving amount of the remote controller 15 with the built-in gyro, and moves the cursor displayed on the menu screen in accordance with the moving direction and moving amount. Is possible. As described above, when the gyro is built in the remote controller 15, in the embodiment shown in FIG. 7, it is not necessary to configure the select button switch 51 so that it can be moved in eight directions. In this embodiment, there is no need to provide the direction button switches 111 to 114. Similarly, it is possible to incorporate a gyro in the remote control 35 as well.
[0083]
Next, FIG. 10 shows an example of the electrical configuration of the base unit 1.
[0084]
A television broadcast signal received by an antenna (not shown) is supplied to the tuner 121, and is detected and demodulated under the control of the CPU 129. The output of the tuner 121 is supplied to a QPSK (Quadrature Phase Shift Keying) demodulating circuit 122 and QPSK demodulated under the control of the CPU 129. The output of the QPSK demodulating circuit 122 is supplied to the error correction circuit 123, and an error is detected and corrected under the control of the CPU 129 and supplied to the demultiplexer 124.
[0085]
Under the control of the CPU 129, the demultiplexer 124 descrambles the output of the error correction circuit 123 as necessary, and further extracts a TS (Transport Stream) packet of a predetermined channel. The demultiplexer 124 supplies the TS packet of the image data (video data) to the MPEG (Moving Picture Experts Group) video decoder 125 and supplies the TS packet of the audio data (audio data) to the MPEG audio decoder 126. To do. Further, the demultiplexer 124 supplies the TS packet included in the output of the error correction circuit 123 to the CPU 129 as necessary. Further, the demultiplexer 124 receives image data or audio data (including those in the form of TS packets) supplied from the CPU 129 and supplies it to the MPEG video decoder 125 or the MPEG audio decoder 126.
[0086]
The MPEG video decoder 125 MPEG-decodes the TS packet of the image data supplied from the demultiplexer 124 and supplies it to the frame memory 127. The MPEG audio decoder 126 MPEG-decodes the TS packet of audio data supplied from the demultiplexer 124. The L channel and R channel audio data obtained by the decoding by the MPEG audio decoder 126 are supplied to the speaker units 12L and 12R, respectively.
[0087]
The frame memory 127 temporarily stores the image data output from the MPEG video decoder 125 and supplies the image data to an NTSC (National Television System Committee) encoder 128. The NTSC encoder 128 converts the image data supplied from the frame memory 127 into NTSC image data, and supplies the image data to the CRT 11 for display.
[0088]
The CPU 129 executes various processes in accordance with programs stored in an EEPROM (Electrically Erasable Programmable Read Only Memory) 130 and a ROM (Read Only Memory) 131, thereby, for example, a tuner 121, a QPSK demodulation circuit 122, It controls the error correction circuit 123, the demultiplexer 124, the IEEE1394 interface 133, the modem 136, the signal processing unit 137, and the unit driving unit 138. Further, the CPU 129 supplies data supplied from the demultiplexer 124 to the IEEE1394 interface 133, and supplies data supplied from the IEEE1394 interface 133 to the demultiplexer 124 and the signal processing unit 137. Further, the CPU 129 executes processing corresponding to commands supplied from the front panel 134 or the IR receiver 135. Further, the CPU 129 controls the modem 136 to access a server (not shown) through a telephone line, and obtains an upgraded program and necessary data.
[0089]
The EEPROM 130 stores data and programs that should be retained even after the power is turned off. The ROM 131 stores, for example, an IPL (Initial Program Loader) program. The data and programs stored in the EEPROM 130 can be upgraded by overwriting the data and programs.
[0090]
The RAM 132 temporarily stores data and programs necessary for the operation of the CPU 129.
[0091]
The IEEE1394 interface 133 is connected to the terminal panel 21 (the IEEE1394 terminal 21).₁₁Thru 21₃₃(FIG. 3)) and functions as an interface for performing communication conforming to the IEEE1394 standard. As a result, the IEEE1394 interface 133 transmits data supplied from the CPU 129 to the outside in accordance with the IEEE1394 standard, while receiving data transmitted from the outside in accordance with the IEEE1394 standard, and sends it to the CPU 129. Supply.
[0092]
Although not shown in FIGS. 2 and 3, front panel 134 is provided on a part of the front surface of base unit 1. And the front panel 134 has a part of button switch provided in the remote control 15 (FIG. 7, FIG. 9), and respond | corresponds to the operation, when the button switch of the front panel 134 is operated. An operation signal is supplied to the CPU 129. In this case, the CPU 129 performs processing corresponding to the operation signal from the front panel 134.
[0093]
The IR receiver 135 receives (receives) infrared rays transmitted from the remote controller 15 in response to the operation of the remote controller 15. Further, the IR receiver 135 photoelectrically converts the received infrared light and supplies a signal obtained as a result to the CPU 129. In this case, the CPU 129 performs processing corresponding to the signal from the IR receiver 135, that is, processing corresponding to the operation of the remote controller 15.
[0094]
The modem 136 performs communication control via the telephone line, thereby transmitting the data supplied from the CPU 129 via the telephone line and receiving the data transmitted via the telephone line. To supply.
[0095]
The signal processing unit 137 includes a DSP (Digital Signal Processor) 137A, an EEPROM 137B, a RAM 137C, and the like, and performs various digital signal processing on the image data stored in the frame memory 127 under the control of the CPU 129. Apply.
[0096]
In other words, the DSP 137A performs various signal processing using the data stored in the EEPROM 137B as necessary according to the program stored in the EEPROM 137B. The EEPROM 137B stores programs and necessary data for the DSP 137A to perform various processes. The RAM 137C temporarily stores data and programs necessary for the DSP 137A to perform various processes.
[0097]
The data and programs stored in the EEPROM 137B can be upgraded by overwriting the data and programs.
[0098]
Here, signal processing performed by the signal processing unit 137 includes, for example, decoding of closed caption data, superimposition of closed caption data on image data stored in the frame memory 127, and image data stored in the frame memory 127. There are enlargement and noise removal. In addition, the signal processing unit 137 generates OSD data for OSD display and superimposes it on the image data stored in the frame memory 127.
[0099]
The unit driving unit 138 drives the speaker units 12L and 12R according to the control of the CPU 129, thereby causing the direction of the main axis of directivity of the speakers constituting the speaker units 12L and 12R to be a predetermined direction.
[0100]
In the base unit 1 configured as described above, an image and sound as a television broadcast program are output as follows (images are displayed and sound is output).
[0101]
That is, a transport stream as a television broadcast signal received by the antenna is supplied to the demultiplexer 124 via the tuner 121, the QPSK demodulation circuit 122, and the error correction circuit 123. The demultiplexer 124 extracts TS packets of a predetermined program from the transport stream, supplies the TS packets of image data to the MPEG video decoder 125, and supplies the TS packets of audio data to the MPEG audio decoder 126. .
[0102]
In the MPEG video data coder 125, the TS packet from the demultiplexer 124 is MPEG decoded. The resulting image data is supplied from the MPEG video decoder 125 to the CRT 11 via the frame memory 127 and the NTSC encoder 128 and displayed.
[0103]
On the other hand, in the MPEG audio decoder 126, the TS packet from the demultiplexer 124 is MPEG decoded. The resulting audio data is supplied from the MPEG audio decoder 126 to the speaker units 12L and 12R and output.
[0104]
Next, FIG. 11 shows an example of the electrical configuration of the slave unit 2.
[0105]
Since the subunit | mobile_unit 2 is comprised from the tuner 141 thru | or the unit drive part 158 respectively comprised similarly to the tuner 121 thru | or the unit drive part 138 of FIG. 10, the description is abbreviate | omitted.
[0106]
As shown in FIG. 3F and FIG. 5F, the master unit 1 and the slave unit 2 have the antenna terminals 22 and 42, respectively, so that they can be used as the television receivers constituting the scalable TV system of FIG. An antenna (cable from) can be connected to each of the master unit 1 and the slave unit 2. However, when an antenna is connected to each of the master unit 1 and the slave unit 2, wiring may be complicated. Therefore, in a scalable TV system, an antenna is connected to any one of the television receivers constituting the scalable TV system, and a television broadcast signal received by the television receiver is converted into, for example, IEEE1394. It is possible to distribute to other television receivers by communication.
[0107]
Next, in the present embodiment, the IEEE1394 terminal 21 of the terminal panel 21 of the base unit 1 is used._ij(Fig. 3) and handset 2_ijIEEE1394 terminal 41 of terminal panel 41₁(FIG. 5) are connected to each other by an IEEE1394 cable, so that the parent device 1 and the child device 2 are electrically connected, so that the IEEE1394 communication ( (Communication conforming to the IEEE1394 standard) is performed, and various data are exchanged.
[0108]
Therefore, IEEE1394 communication will be described with reference to FIGS.
[0109]
IEEE1394 is one of the serial bus standards, and IEEE1394 communication is suitable for transferring data that needs to be reproduced in real time, such as images and sounds, because it can perform isochronous transfer of data.
[0110]
In other words, between devices having IEEE1394 interfaces (IEEE1394 devices), data is isochronously transferred using a transmission band of 100 μs at maximum with a period of 125 μs (microseconds) (although it is called time). It can be performed. In addition, isochronous transfer can be performed with a plurality of channels as long as the transmission bandwidth is within the above-described range.
[0111]
FIG. 12 shows the layer structure of the IEEE1394 communication protocol.
[0112]
The IEEE1394 protocol has a three-layered structure including a transaction layer, a link layer, and a physical layer. Each layer communicates with each other, and each layer communicates with serial bus management. Furthermore, the transaction layer and the link layer also communicate with higher-order applications. There are four types of transmission / reception messages used for this communication: request, indication (indication), response (response), and confirmation (confirmation), and the arrows in FIG. 12 indicate this communication.
[0113]
Note that communication with “.req” at the end of the arrow name indicates a request, and “.ind” indicates an instruction. “.Resp” indicates a response, and “.conf” indicates confirmation. For example, TR_CONT.req is a request communication sent from the serial bus management to the transaction layer.
[0114]
The transaction layer provides an asynchronous transmission service for data communication with other IEEE1394 devices (devices having an IEEE1394 interface) in response to a request from an application. Request Response Protocol) is realized. That is, as a data transfer method based on the IEEE1394 standard, there is asynchronous transmission in addition to the above-described isochronous transmission, and the transaction layer performs asynchronous transmission processing. Data transmitted by asynchronous transmission is made up of IEEE1394 devices by three types of transactions: read transaction, write transaction, and lock transaction, which are units of processing required for the protocol of the transaction layer. Transmitted between them.
[0115]
The link layer performs processing such as data transmission service using acknowledge, address processing, data error confirmation, and data framing. One packet transmission performed by the link layer is called a subaction, and there are two types of subactions, an asynchronous subaction and an isochronous subaction.
[0116]
The asynchronous subaction is performed by designating a physical ID (Physical Identification) that identifies a node (a unit that can be accessed in IEEE1394) and an address in the node, and the node that has received the data returns an acknowledge. However, in the asynchronous broadcast subaction that sends data to all nodes in the IEEE1394 serial bus, the node that received the data does not return an acknowledge.
[0117]
On the other hand, in the isochronous subaction, data is transmitted by designating a channel number at a constant cycle (125 μs as described above). In the isochronous subaction, the acknowledge is not returned.
[0118]
The physical layer converts logical symbols used in the link layer into electrical signals. In addition, the physical layer performs processing for arbitration requests from the link layer (arbitration when a node that performs IEEE1394 communication competes), or reconfigures the IEEE1394 serial bus in response to a bus reset. Or perform automatic assignment.
[0119]
Serious bus management provides basic bus control functions and ISO / IEC13212 CSR (Control & Status Register Architecture). The serial bus management has functions of a node controller (Node Controllor), an isochronous resource manager (Isochronous Resource Manager), and a bus manager (Bus Manager). The node controller controls the node state, physical ID, and the like, and also controls the transaction layer, link layer, and physical layer. The isochronous resource manager provides the usage status of resources used for isochronous communication. In order to perform isochronous communication, at least one of the devices connected to the IEEE1394 serial bus has the function of the isochronous resource manager. IEEE1394 equipment is required. The bus manager has the highest function among the functions, and aims to optimize the use of the IEEE1394 serial bus. Note that the presence of the isochronous resource manager and the bus manager is arbitrary.
[0120]
IEEE 1394 devices can be connected in either node branch or node daisy chain, but when an IEEE 1394 device is newly connected, a bus reset is performed, and tree identification, root node, physical ID, isochronous resource manager The cycle master and bus manager are determined.
[0121]
Here, in the tree identification, a parent-child relationship between nodes as an IEEE1394 device is determined. In addition, the root node designates a node that has acquired the right to use the IEEE1394 serial bus by arbitration. The physical ID is determined by transferring a packet called a self-ID packet to each node. The self-ID packet includes information such as the data transfer rate of the node and whether the node can become an isochronous resource manager.
[0122]
As described above, the isochronous resource manager is a node that provides a usage status of resources used for isochronous communication, and has a bandwidth register (BANDWIDTH_AVAILABLE register) and a channel number register (CHANNELS_AVAILABLE register) described later. Further, the isochronous resource manager also has a register indicating a physical ID of a node that becomes a bus manager. Note that if there is no bus manager in a node as an IEEE1394 device connected by an IEEE1394 serial bus, the isochronous resource manager functions as a simple bus manager.
[0123]
The cycle master transmits a cycle start packet on the IEEE1394 serial bus every 125 μs that is the period of isochronous transmission. For this reason, the cycle master has a cycle time register (CYCLE_TIME register) for counting the period (125 μs). Note that the root node becomes a cycle master, but if the root node does not have a function as a cycle master, the bus manager changes the root node.
[0124]
The bus manager manages power on the IEEE1394 serial bus, changes the root node described above, and the like.
[0125]
If the determination of the isochronous resource manager or the like as described above is performed after the bus reset, data transmission via the IEEE1394 serial bus is possible.
[0126]
In isochronous transmission, which is one of the IEEE1394 data transmission systems, a transmission band and a transmission channel are secured, and then a packet (isochronous packet) in which data is arranged is transmitted.
[0127]
That is, in isochronous transmission, the cycle master broadcasts a cycle start packet on the IEEE1394 serial bus at a period of 125 μs. When the cycle start packet is broadcast, an isochronous packet can be transmitted.
[0128]
In order to perform isochronous transmission, it is necessary to declare the reservation of resources for isochronous transmission by rewriting the bandwidth register for securing the transmission band provided by the isochronous resource manager and the channel number register for securing the channel.
[0129]
Here, the bandwidth register and the channel number register are allocated as one of CSRs (Control & Status Registers) described later having a 64-bit address space defined by ISO / IEC13213.
[0130]
The bandwidth register is a 32-bit register, the upper 19 bits are reserved, and the lower 13 bits represent a transmission band (bw_remaining) that can be used at present.
[0131]
That is, the initial value of the bandwidth register is 00000000000000000001001100110011B (B indicates that the previous value is a binary number) (= 4915). This is for the following reason. That is, in IEEE1394, the time required for transmission of 32 bits at 1572.864 Mbps (bit per second) is defined as 1, and the above 125 μs corresponds to 00000000000000000001100000000000B (= 6144). However, IEEE 1394 specifies that the transmission band that can be used for isochronous transmission is 80% of 125 μs, which is one cycle. Therefore, the maximum transmission band that can be used for isochronous transmission is 100 μs, and 100 μs is 00000000000000000001001100110011B (= 4915) as described above.
[0132]
The remaining 25 μs transmission band, which is the maximum transmission band used in isochronous transmission from 125 μs except for 100 μs, is used in asynchronous transmission. Asynchronous transmission is used when reading the stored value of the bandwidth register or channel number register.
[0133]
In order to start isochronous transmission, it is necessary to secure a transmission band for that purpose. That is, for example, when isochronous transmission is performed using a transmission band of 10 μs out of one cycle of 125 μs, it is necessary to secure the transmission band of 10 μs. This transmission band is secured by rewriting the value of the bandwidth register. That is, as described above, when a transmission band of 10 μs is secured, 492, which is a value corresponding to 10 μs, is subtracted from the value of the bandwidth register, and the subtraction value is set in the bandwidth register. Therefore, for example, when the value of the bandwidth register is now 4915 (when isochronous transmission is not performed at all), when a transmission bandwidth of 10 μs is secured, the value of the bandwidth register is 4915 (= 00000000000000000001000101000111B) is rewritten from 4915 by subtracting 492 corresponding to 10 μs from 4915.
[0134]
If the value obtained by subtracting the transmission band to be secured (used) from the value of the bandwidth register is smaller than 0, the transmission band cannot be secured, and therefore the value of the bandwidth register is rewritten. In addition, isochronous transmission cannot be performed.
[0135]
In order to perform isochronous transmission, it is necessary to secure a transmission channel in addition to securing the transmission band as described above. The transmission channel is secured by rewriting the channel number register.
[0136]
The channel number register is a 64-bit register, and each bit corresponds to each channel. That is, when the value of the nth bit (the nth bit from the least significant bit) is 1, this indicates that the n−1th channel is not in use, and when it is 0, the n−th bit. Indicates that one channel is in use. Therefore, when no channel is used, the channel number register is 1111111111111111111111111111111111111111111111111111111111111111B. For example, when the first channel is secured, the channel number register is rewritten to 1111111111111111111111111111111111111111111111111111111111111101B.
[0137]
Since the channel number register is 64 bits as described above, it is possible to secure 64 channels from the 0th to the 63rd channels at the maximum by isochronous transmission, but the 63rd channel broadcasts isochronous packets. Used when
[0138]
As described above, since isochronous transmission is performed after securing the transmission band and transmission channel, it is possible to perform data transmission with a guaranteed transmission rate, and as described above, playback in real time such as images and audio is possible. It is particularly suitable for data transmission that needs to be done.
[0139]
Next, the IEEE1394 communication conforms to the CSR architecture having a 64-bit address space defined by ISO / IEC13213 as described above.
[0140]
FIG. 13 shows the address space of the CSR architecture.
[0141]
The upper 16 bits of the CSR are a node ID indicating each node, and the remaining 48 bits are used for designating an address space given to each node. The upper 16 bits are further divided into 10 bits of bus ID and 6 bits of physical ID (node ID in a narrow sense). Since a value in which all bits are 1 is used for a special purpose, 1023 buses and 63 nodes can be designated.
[0142]
Of the 256 terabyte address space defined by the lower 48 bits of CSR, the space defined by the upper 20 bits is an initial register space (Initial space used for 2048-byte CSR-specific registers and IEEE1394-specific registers). Register space), private space (private space), initial memory space (initial memory space), etc., and the space defined by the lower 28 bits is the space defined by the upper 20 bits is the initial register space In some cases, it is used as a configuration ROM (Configuration ROM), an initial unit space (Initial Unit Space) used for a node-specific purpose, a plug control register (PCRs), or the like.
[0143]
Here, FIG. 14 shows offset addresses, names, and functions of main CSRs.
[0144]
In FIG. 14, an “offset” column indicates an offset address from the address FFFFF0000000h (h indicates that the previous value is a hexadecimal number) where the initial register space starts. As described above, the bandwidth register having the offset 220h indicates a band that can be allocated to isochronous communication, and only the value of the node operating as the isochronous resource manager is valid. That is, each node has the CSR in FIG. 13, but only the bandwidth register of the isochronous resource manager is valid. Thus, the bandwidth register is essentially only an isochronous resource manager.
[0145]
As described above, in the channel number register of offsets 224h to 228h, each bit corresponds to each of channel numbers 0 to 63, and when the bit is 0, the channel is already assigned. Is shown. The channel number register is valid only for the node operating as an isochronous resource manager.
[0146]
Returning to FIG. 13, a configuration ROM based on the general ROM format is arranged at addresses 400h to 800h in the initial register space.
[0147]
Here, FIG. 15 shows a general ROM format.
[0148]
A node that is a unit of access on IEEE1394 can have a plurality of units that operate independently while using an address space in common. The unit directories can indicate the software version and location for this unit. The positions of the bus info block and the root directory are fixed, but the positions of other blocks are specified by offset addresses.
[0149]
Here, FIG. 16 shows details of the bus info block, the root directory, and the unit directory.
[0150]
The Company ID in the bus info block stores an ID number indicating the manufacturer of the device. The Chip ID stores a unique ID unique to the device in the world that does not overlap with other devices. Also, according to the IEC1833 standard, 00h is written in the first octet, A0h is written in the second octet, and 2Dh is written in the third octet of the unit spec ID (unit spec id) of the unit directory of the equipment that satisfies IEC1883. . Further, 01h is written in the first octet of the unit switch version (unit sw version), and 1 is written in the LSB (Least Significant Bit) of the third octet.
[0151]
The node has a PCR (Plug Control Register) defined in IEC1883 at addresses 900h to 9FFh in the initial register space of FIG. This materializes the concept of a plug in order to logically form a signal path similar to an analog interface.
[0152]
Here, FIG. 17 shows the structure of PCR.
[0153]
The PCR has an oPCR (output Plug Control Register) representing an output plug and an iPCR (input Plug Control Register) representing an input plug. The PCR also has registers oMPR (output Master Plug Register) and iMPR (input Master Plug Register) indicating information of output plugs or input plugs specific to each device. An IEEE1394 device does not have a plurality of oMPRs and iMPRs, but can have a plurality of oPCRs and iPCRs corresponding to individual plugs depending on the capabilities of the IEEE1394 devices. The PCR shown in FIG. 17 has 31 oPCR # 0 to # 30 and iPCR # 0 to # 30, respectively. The flow of isochronous data is controlled by manipulating the registers corresponding to these plugs.
[0154]
FIG. 18 shows the configuration of oMPR, oPCR, iMPR, and iPCR.
[0155]
18A shows the oMPR configuration, FIG. 18B shows the oPCR configuration, FIG. 18C shows the iMPR configuration, and FIG. 18D shows the iPCR configuration.
[0156]
The 2-bit data rate capability on the MSB side of oMPR and iMPR stores a code indicating the maximum transmission rate of isochronous data that can be transmitted or received by the device. The oMPR broadcast channel base specifies the number of the channel used for broadcast output.
[0157]
The 5-bit number of output plugs on the LSB side of the oMPR stores a value indicating the number of output plugs that the device has, that is, the number of oPCRs. The 5-bit number of input plugs on the LSB side of iMPR stores a value indicating the number of input plugs that the device has, that is, the number of iPCRs. The non-persistent extension field and the persistent extension field are areas defined for future extension.
[0158]
The on-line of the oPCR and iPCR MSB indicates the usage status of the plug. That is, if the value is 1, the plug is ON-LINE, and if it is 0, it indicates OFF-LINE. The value of the broadcast connection counter of oPCR and iPCR represents the presence (1) or absence (0) of a broadcast connection. The value of a point-to-point connection counter having a 6-bit width of oPCR and iPCR represents the number of point-to-point connections that the plug has.
[0159]
The value of a channel number having a 6-bit width of oPCR and iPCR indicates the number of an isochronous channel to which the plug is connected.
The value of the data rate having a 2-bit width of the oPCR indicates the actual transmission rate of the isochronous data packet output from the plug. A code stored in an overhead ID having a 4-bit width of oPCR indicates an over bandwidth of isochronous communication. The value of payload having a 10-bit width of oPCR represents the maximum value of data included in an isochronous packet that can be handled by the plug.
[0160]
Next, an AV / C command set is defined as a command for controlling the IEEE1394 equipment that performs the IEEE1394 communication as described above. Therefore, also in the present embodiment, the master unit 1 controls the slave unit 2 using this AV / C command set. However, when controlling the slave unit 2 from the master unit 1, it is also possible to use a unique command system other than the AV / C command set.
[0161]
Here, the AV / C command set will be briefly described.
[0162]
FIG. 19 shows the data structure of an AV / C command set packet transmitted in the asynchronous transfer mode.
[0163]
The AV / C command set is a command set for controlling an AV (Audio Visual) device. In a control system using the AV / C command set, an AV / C command frame and a response frame are FCP ( They are exchanged using Function Control Protocol. In order not to put a burden on the bus and AV equipment, the response to the command is performed within 100 ms.
[0164]
As shown in FIG. 19, the data of the asynchronous packet is composed of 32 bits (= 1 quadlet) in the horizontal direction. The upper part of the figure shows a packet header, and the lower part of the figure shows a data block.
destination_ID indicates the destination.
[0165]
CTS indicates the ID of the command set. In the AV / C command set, CTS = “0000”. ctype / response indicates the function classification of the command when the packet is a command, and indicates the processing result of the command when the packet is a response. Commands can be broadly classified as follows: (1) Command to control functions from the outside (CONTROL), (2) Command to inquire about the status from outside (STATUS), and (3) Command to inquire from the outside about support of control commands (GENERAL INQUIRY (4) (4) A command (NOTIFY) requesting to notify the outside of a change in state is defined. (OPCODE support / non-support) and SPECIFIC INQUIRY (OPCODE / operands support / not supported))
[0166]
Responses are returned according to the type of command. Responses to the CONTROL command include NOT INPLEMENTED (not implemented), ACCEPTED, REJECTED, and INTERIM. Responses to the STATUS command include NOT INPLEMENTED, REJECTED, IN TRANSITION (transition), and STABLE (stable). Responses to GENERAL INQUIRY and SPECIFIC INQUIRY commands include IMPLEMENTED (implemented) and NOT IMPLEMENTED. Responses to NOTIFY commands include NOT IMPLEMENTED, REJECTED, INTERIM, and CHANGED.
[0167]
The subunit type is provided to specify the function in the device, and for example, tape recorder / player, tuner, etc. are assigned. In order to determine when there are a plurality of subunits of the same type, addressing is performed with a subunit id (arranged after the subunit type) as a discrimination number. The opcode represents a command, and the operand represents a command parameter. Additional operands is a field in which additional operands are arranged. Padding is a field in which dummy data is arranged to set the packet length to a predetermined number of bits. A data CRC (Cyclic Redundancy Check) is a CRC used for an error check during data transmission.
[0168]
Next, FIG. 20 shows a specific example of the AV / C command.
[0169]
FIG. 20A shows a specific example of ctype / response. The upper part of the figure represents a command, and the lower part of the figure represents a response. “0000” is assigned CONTROL, “0001” is assigned STATUS, “0010” is assigned SPECIFIC INQUIRY, “0011” is assigned NOTIFY, and “0100” is assigned GENERAL INQUIRY. “0101 to 0111” are reserved for future specifications.
“1000” is NOT INPLEMENTED, “1001” is ACCEPTED, “1010” is REJECTED, “1011” is IN TRANSITION, “1100” is IMPLEMENTED / STABLE, “1101” is CHNGED, “1111” ”Is assigned INTERIM. “1110” is reserved for future specifications.
[0170]
FIG. 20B shows a specific example of the subunit type. “00000” is a Video Monitor, “00011” is a Disk recorder / Player, “00100” is a Tape recorder / Player, “00101” is a Tuner, “00111” is a Video Camera, “11100” is a Vendor unique. “11110” is assigned subunit type extended to next byte. Note that “11111” is assigned a unit, but this is used when it is sent to the device itself, for example, turning on / off the power.
[0171]
FIG. 20C shows a specific example of opcode. There is an opcode table for each subunit type. Here, the opcode is shown when the subunit type is Tape recorder / Player. An operand is defined for each opcode. Here, “00h” is VENDOR-DEPENDENT, “50h” is SEACH MODE, “51h” is TIMECODE, “52h” is ATN, “60h” is OPEN MIC, “61h” is READ MIC, "62h" is assigned WRITE MIC, "C1h" is assigned LOAD MEDIUM, "C2h" is assigned RECORD, "C3h" is assigned PLAY, and "C4h" is assigned WIND.
[0172]
FIG. 21 shows specific examples of AV / C commands and responses.
[0173]
For example, when a playback instruction is given to a playback device as a target (consumer) (controlled side), the controller (controlling side) sends a command as shown in FIG. 21A to the target. Since this command uses the AV / C command set, CTS = “0000”. The ctype is “0000” because a command (CONTROL) for controlling the device from the outside is used (FIG. 20A). The subunit type is “00100” because it is a tape recorder / player (FIG. 20B). id indicates the case of ID # 0 and is 000. The opcode is “C3h” meaning reproduction (FIG. 20C). The operand is “75h” meaning FORWARD. Then, when played back, the target returns a response as shown in FIG. 21B to the controller. Here, accepted, which means acceptance, is arranged in response, and the response is “1001” (see FIG. 20A). Except for response, the rest is the same as in FIG.
[0174]
In the scalable TV system, various controls are performed between the parent device 1 and the child device 2 using the AV / C command set as described above. However, in the present embodiment, new commands and responses are defined for those controls that can not be dealt with by the default command and response among the controls performed between the master unit 1 and the slave unit 2. Various controls are performed using simple commands and responses.
[0175]
The details of the above IEEE1394 communication and AV / C command set are described in “WHITE SERISE No.181 IEEE1394 Multimedia Interface” published by Trikes Co., Ltd.
[0176]
Next, in the signal processing unit 137 of the parent device 1 shown in FIG. 10 (the same applies to the signal processing unit 157 of the child device 2 shown in FIG. 11), as described above, the DSP 137A executes the program, Various digital signal processing is performed, and one of them is image conversion processing for converting image data from first image data to second image data.
[0177]
Here, for example, if the first image data is low resolution image data and the second image data is high resolution image data, the image conversion process is a resolution improvement process for improving the resolution. it can. Also, for example, if the first image data is low S / N (Siginal / Noise) image data and the second image data is high S / N image data, the image conversion process may reduce noise. It can be referred to as noise removal processing for removal. Further, for example, if the first image data is image data of a predetermined size and the second image data is image data in which the size of the first image data is increased or decreased, the image conversion process is performed as follows. This can be referred to as resizing processing for resizing (enlarging or reducing) an image.
[0178]
Therefore, according to the image conversion process, various processes can be realized depending on how the first and second image data are defined.
[0179]
FIG. 22 shows a functional configuration example of the signal processing unit 137 that performs the image conversion processing as described above. Note that the functional configuration of FIG. 22 is realized by the DSP 137A of the signal processing unit 137 executing a program stored in the EEPROM 137B.
[0180]
In the signal processing unit 137 (FIG. 10), the image data stored in the frame memory 127 or the image data supplied from the CPU 129 is supplied to the tap extraction units 161 and 162 as the first image data.
[0181]
The tap extraction unit 161 sequentially sets the pixels constituting the second image data as the target pixel, and further, the pixels (the pixel value of the first image data used for predicting the pixel value of the target pixel). ) Are extracted as prediction taps.
[0182]
Specifically, the tap extraction unit 161 has a plurality of pixels (for example, corresponding to the target pixel) that are spatially or temporally close to the pixel of the first image data corresponding to the target pixel. A pixel of the first image data and a pixel spatially adjacent thereto are extracted as prediction taps.
[0183]
The tap extraction unit 162 extracts some of the pixels constituting the first image data used for classifying the target pixel into any of several classes as class taps.
[0184]
Here, in order to simplify the description, it is assumed that the prediction tap and the class tap have the same tap structure. However, the prediction tap and the class tap can have different tap structures.
[0185]
The prediction tap obtained by the tap extraction unit 161 is supplied to the prediction unit 165, and the class tap obtained by the tap extraction unit 162 is supplied to the class classification unit 163.
[0186]
The class classification unit 163 classifies the target pixel based on the class tap from the tap extraction unit 162, and supplies a class code corresponding to the class obtained as a result to the coefficient memory 164.
[0187]
Here, as a method of classifying, for example, ADRC (Adaptive Dynamic Range Coding) or the like can be employed.
[0188]
In the method using ADRC, the pixel values of the pixels constituting the class tap are subjected to ADRC processing, and the class of the target pixel is determined according to the ADRC code obtained as a result.
[0189]
In the K-bit ADRC, for example, the maximum value MAX and the minimum value MIN of the pixels constituting the class tap are detected, and DR = MAX-MIN is set as the local dynamic range of the set, and this dynamic range Based on DR, the pixel values constituting the class tap are requantized to K bits. That is, the minimum value MIN is subtracted from the pixel value of each pixel constituting the class tap, and the subtracted value is DR / 2.^KDivide by (quantize). A bit string obtained by arranging the pixel values of the K-bit pixels constituting the class tap in a predetermined order is output as an ADRC code.
Therefore, when a class tap is subjected to, for example, 1-bit ADRC processing, the pixel value of each pixel constituting the class tap is an average of the maximum value MAX and the minimum value MIN after the minimum value MIN is subtracted. Divided by the value (rounded down after the decimal point), the pixel value of each pixel is made 1 bit (binarized). Then, a bit string in which the 1-bit pixel values are arranged in a predetermined order is output as an ADRC code.
[0190]
Note that the class classification unit 163 can output the level distribution pattern of the pixel values of the pixels constituting the class tap as it is, for example, as a class code. However, in this case, if the class tap is composed of pixel values of N pixels and K bits are assigned to the pixel values of each pixel, the number of class codes output by the class classification unit 163 Is (2^N)^KAs a result, the number is exponentially proportional to the number of bits K of the pixel value of the pixel.
[0191]
Therefore, the class classification unit 163 preferably performs class classification by compressing the information amount of the class tap by the above-described ADRC processing or vector quantization.
[0192]
The coefficient memory 164 stores the tap coefficient for each class supplied from the coefficient generation unit 166, and further stores the tap coefficient in an address corresponding to the class code supplied from the class classification unit 163 among the stored tap coefficients. The tap coefficient (the tap coefficient of the class represented by the class code supplied from the class classification unit 163) is supplied to the prediction unit 165.
[0193]
Here, the tap coefficient corresponds to a coefficient that is multiplied with input data in a so-called tap in the digital filter.
[0194]
The prediction unit 165 acquires the prediction tap output from the tap extraction unit 161 and the tap coefficient output from the coefficient memory 164, and obtains the predicted value of the true value of the target pixel using the prediction tap and the tap coefficient. Performs a predetermined prediction calculation. Thereby, the prediction unit 165 obtains and outputs the pixel value of the pixel of interest (predicted value thereof), that is, the pixel value of the pixels constituting the second image data.
[0195]
The coefficient generation unit 166 generates a tap coefficient for each class based on the coefficient seed data stored in the coefficient seed memory 167 and the parameter stored in the parameter memory 168, supplies the tap coefficient to the coefficient memory 164, and overwrites it. To remember.
[0196]
The coefficient seed memory 167 stores coefficient seed data for each class obtained by learning of coefficient seed data described later. Here, the coefficient seed data is so-called seed data that generates tap coefficients.
[0197]
The parameter memory 168 stores the parameters supplied from the CPU 129 (FIG. 10) in an overwritten manner when the user operates the remote controller 15 or the like.
[0198]
Next, image conversion processing by the signal processing unit 137 in FIG. 22 will be described with reference to the flowchart in FIG.
[0199]
In the tap extraction unit 161, each pixel constituting the second image data with respect to the first image data input thereto is sequentially set as a target pixel. In step S1, the parameter memory 168 determines whether or not a parameter is supplied from the CPU 129. If it is determined that the parameter is supplied, the process proceeds to step S2, and the parameter memory 168 overwrites the supplied parameter. Store and proceed to step S3.
[0200]
If it is determined in step S1 that no parameter is supplied from the CPU 129, step S2 is skipped and the process proceeds to step S3.
[0201]
Therefore, in the parameter memory 168, when a parameter is supplied from the CPU 129, that is, for example, when a user inputs a parameter by operating the remote controller 15, or when a parameter is set in the CPU 129, The stored content is updated with the input or set parameters.
[0202]
In step S3, the coefficient generation unit 166 reads the coefficient seed data for each class from the coefficient seed memory 167 and also reads the parameters from the parameter memory 168, and obtains the tap coefficient for each class based on the coefficient seed data and the parameters. . Then, the process proceeds to step S4, and the coefficient generation unit 166 supplies the tap coefficient for each class to the coefficient memory 164, stores it in an overwritten form, and proceeds to step S5.
[0203]
In step S5, the tap extraction units 161 and 162 respectively extract the prediction tap and the class tap for the target pixel from the first image data supplied thereto. The prediction tap is supplied from the tap extraction unit 161 to the prediction unit 165, and the class tap is supplied from the tap extraction unit 162 to the class classification unit 163.
[0204]
The class classification unit 163 receives the class tap for the target pixel from the tap extraction unit 162, and classifies the target pixel based on the class tap in step S6. Further, the class classification unit 163 outputs a class code representing the class of the target pixel obtained as a result of the class classification to the coefficient memory 164, and proceeds to step S7.
[0205]
In step S7, the coefficient memory 164 reads and outputs the tap coefficient stored at the address corresponding to the class code supplied from the class classification unit 163. Further, in step S7, the prediction unit 165 acquires the tap coefficient output from the coefficient memory 164, and proceeds to step S8.
[0206]
In step S <b> 8, the prediction unit 165 performs a predetermined prediction calculation using the prediction tap output from the tap extraction unit 161 and the tap coefficient acquired from the coefficient memory 164. Thereby, the prediction unit 165 obtains the pixel value of the target pixel, writes it in the frame memory 127 (FIG. 10), and proceeds to step S9.
[0207]
In step S9, the tap extraction unit 161 determines whether there is second image data that has not yet been set as the pixel of interest. In step S9, when it is determined that there is second image data that has not yet been set as the target pixel, one of the pixels of the second image data that has not yet been set as the target pixel is newly set as the target pixel. Then, the process returns to step S1, and the same processing is repeated thereafter.
[0208]
If it is determined in step S9 that there is no second image data that has not yet been set as the pixel of interest, the process ends.
[0209]
In FIG. 23, the processing in steps S3 and S4 can be performed when a new parameter is overwritten in the parameter memory 168, and can be skipped in other cases.
[0210]
Next, prediction calculation in the prediction unit 165 in FIG. 22, generation of tap coefficients in the coefficient generation unit 166, and learning of coefficient seed data stored in the coefficient seed memory 167 will be described.
[0211]
Now, the high-quality image data (high-quality image data) is used as the second image data, and the high-quality image data is filtered by LPF (Low Pass Filter) to reduce the image quality (resolution). Using low-quality image data (low-quality image data) as first image data, a prediction tap is extracted from the low-quality image data, and the pixel value of the high-quality pixel is set to a predetermined value using the prediction tap and the tap coefficient. Consider obtaining (predicting) by prediction calculation.
[0212]
Assuming that, for example, linear primary prediction calculation is adopted as the predetermined prediction calculation, the pixel value y of the high-quality pixel is obtained by the following linear linear expression.
[0213]
[Expression 1]

[0214]
However, in formula (1), x_nRepresents the pixel value of the pixel of the n-th low-quality image data (hereinafter referred to as “low-quality pixel” as appropriate) constituting the prediction tap for the high-quality pixel y, and w_nRepresents the n-th tap coefficient multiplied by the n-th low image quality pixel (pixel value thereof). In Equation (1), the prediction tap is N low-quality pixels x₁, X₂, ..., x_NIt is made up of.
[0215]
Here, the pixel value y of the high-quality pixel can be obtained not by the linear primary expression shown in Expression (1) but by a higher-order expression of the second or higher order.
[0216]
On the other hand, in the embodiment of FIG._nIs generated from the coefficient seed data stored in the coefficient seed memory 167 and the parameters stored in the parameter memory 168. The tap coefficient w in the coefficient generation unit 166 is generated._nIs generated by the following equation using coefficient seed data and parameters, for example.
[0217]
[Expression 2]

[0218]
However, in equation (2), β_{m, n}Is the nth tap coefficient w_nRepresents the m-th coefficient seed data used to determine, and z represents a parameter. In Equation (2), the tap coefficient w_nIs M coefficient seed data β_{n, 1}, Β_{n, 2}, ..., β_{n, M}It has come to be requested using.
[0219]
Where coefficient seed data β_{m, n}And the tap coefficient w from the parameter z_nThe equation for obtaining is not limited to Equation (2).
[0220]
Now, the value z determined by the parameter z in equation (2)^m-1To the new variable t_mIs defined by the following formula.
[0221]
[Equation 3]

[0222]
By substituting equation (3) into equation (2), the following equation is obtained.
[0223]
[Expression 4]

[0224]
According to equation (4), the tap coefficient w_nIs the coefficient seed data β_{n, m}And variable t_mIs obtained by a linear linear expression.
[0225]
By the way, the true value of the pixel value of the high-quality pixel of the k-th sample is y_kAnd the true value y obtained by equation (1)_kThe predicted value of y_k′ Represents the prediction error e_kIs expressed by the following equation.
[0226]
[Equation 5]

[0227]
Now, the predicted value y in equation (5)_kSince ′ is obtained according to equation (1), y in equation (5)_kSubstituting ′ according to equation (1) yields:
[0228]
[Formula 6]

[0229]
However, in Formula (6), x_{n, k}Represents the n-th low-quality pixel constituting the prediction tap for the high-quality pixel of the k-th sample.
[0230]
W in formula (6)_nBy substituting equation (4) into the following equation:
[0231]
[Expression 7]

[0232]
Prediction error e in equation (7)_kCoefficient seed data β with 0_{n, m}Is optimal for predicting high-quality pixels, but for all high-quality pixels, such coefficient seed data β_{n, m}It is generally difficult to find
[0233]
Therefore, coefficient seed data β_{n, m}For example, if the least squares method is adopted as a standard indicating that is optimal, the optimum coefficient seed data β_{n, m}Can be obtained by minimizing the sum E of square errors expressed by the following equation.
[0234]
[Equation 8]

[0235]
However, in Equation (8), K is a high-quality pixel y_kAnd its high-quality pixel y_kLow quality pixel x that constitutes the prediction tap for_{1, k}, X_{2, k}, ..., x_{N, k}Represents the number of samples (the number of learning samples).
[0236]
The minimum value (local minimum value) of the sum E of square errors in equation (8) is calculated by using the sum E as coefficient seed data β as shown in equation (9)._{n, m}Β with the partial differentiation at 0_{n, m}Given by.
[0237]
[Equation 9]

[0238]
By substituting equation (6) into equation (9), the following equation is obtained.
[0239]
[Expression 10]

[0240]
X now_{i, p, j, q}And Y_{i, p}Is defined as shown in equations (11) and (12).
[0241]
## EQU11 ##

[Expression 12]

[0242]
In this case, equation (10) becomes X_{i, p, j, q}And Y_{i, p}It can be expressed by a normal equation shown in equation (13) using
[0243]
[Formula 13]

[0244]
The normal equation of Expression (13) is obtained by using, for example, a sweeping method (Gauss-Jordan elimination method) or the like to obtain coefficient seed data β_{n, m}Can be solved.
[0245]
In the signal processing unit 137 of FIG. 22, a large number of high-quality pixels y₁, Y₂, ..., y_KIs used as teacher data for learning, and each high-quality pixel y_kLow quality pixel x that constitutes the prediction tap for_{1, k}, X_{2, k}, ..., x_{N, k}Is used as student data for learning, and coefficient seed data β obtained by learning to solve Equation (13)_{n, m}Is stored in the coefficient seed memory 167, and the coefficient generation unit 166 stores the coefficient seed data β_{n, m}And tap coefficient w from parameter z stored in parameter memory 168 according to equation (2)_nIs generated. Then, in the prediction unit 165, the tap coefficient w_nAnd a low image quality pixel (pixel of the first image data) x constituting a prediction tap for the pixel of interest as a high image quality pixel_nIs used to calculate the expression (1), thereby obtaining the pixel value of the pixel of interest (close predicted value) as the high-quality pixel.
[0246]
Next, FIG. 24 shows the coefficient seed data β by building and solving the normal equation of Expression (13)._{n, m}2 shows an example of the configuration of a learning device that performs learning for obtaining the information.
[0247]
The learning device includes coefficient seed data β_{n, m}Learning image data used for learning is input. Here, as the learning image data, for example, high-resolution image data with high resolution can be used.
[0248]
In the learning device, the learning image data is supplied to the teacher data generation unit 171 and the student data generation unit 173.
[0249]
The teacher data generation unit 171 generates teacher data from the learning image data supplied thereto and supplies it to the teacher data storage unit 172. That is, here, the teacher data generation unit 171 supplies the high-quality image data as the learning image data to the teacher data storage unit 172 as the teacher data as it is.
[0250]
The teacher data storage unit 172 stores high-quality image data as teacher data supplied from the teacher data generation unit 171.
[0251]
The student data generation unit 173 generates student data from the learning image data and supplies it to the student data storage unit 174. In other words, the student data generation unit 173 generates low-quality image data by filtering the high-quality image data as the learning image data, thereby reducing the resolution. Is supplied to the student data storage unit 174.
[0252]
Here, in addition to the learning image data, the student data generation unit 173 is supplied from the parameter generation unit 180 with some values in the range that can be taken by the parameter z supplied to the parameter memory 168 of FIG. It has become. That is, if the value that can be taken by the parameter z is a real number in the range of 0 to Z, the student data generation unit 173 has, for example, z = 0, 1, 2,. The unit 180 is supplied.
[0253]
The student data generation unit 173 generates low-quality image data as student data by filtering high-quality image data as learning image data with an LPF having a cutoff frequency corresponding to the parameter z supplied thereto. To do.
[0254]
Therefore, in this case, as shown in FIG. 25, the student data generation unit 173 generates Z + 1 types of low-quality image data as student data having different resolutions for the high-quality image data as the learning image data. .
[0255]
Note that, here, for example, as the value of the parameter z increases, the high-quality image data is filtered by using an LPF with a high cutoff frequency, and low-quality image data as student data is generated. So here. The lower the image quality data corresponding to the larger parameter z, the higher the resolution.
[0256]
In the present embodiment, in order to simplify the description, the student data generation unit 173 reduces the resolution in the horizontal direction and the vertical direction of the high-quality image data by an amount corresponding to the parameter z. Assume that image quality image data is generated.
[0257]
Returning to FIG. 24, the student data storage unit 174 stores the student data supplied from the student data generation unit 173.
[0258]
The tap extraction unit 175 sequentially sets pixels constituting high-quality image data as teacher data stored in the teacher data storage unit 172 as attention teacher pixels, and the attention teacher pixels are stored in the student data storage unit 174. By extracting predetermined ones of low-quality pixels constituting low-quality image data as student data, a prediction tap having the same tap structure as that configured by the tap extraction unit 161 of FIG. 22 is configured. It supplies to the addition part 178.
[0259]
The tap extraction unit 176 extracts a predetermined one of the low-quality pixels constituting the low-quality image data as the student data stored in the student data storage unit 174 with respect to the teacher pixel of interest, so that the tap of FIG. A class tap having the same tap structure as that formed by the extraction unit 162 is configured and supplied to the class classification unit 177.
[0260]
The tap extraction units 175 and 176 are supplied with the parameter z generated by the parameter generation unit 180, and the tap extraction units 175 and 176 correspond to the parameter z supplied from the parameter generation unit 180. The prediction taps and the class taps are configured using the student data generated in this manner (here, low-quality image data as student data generated using the LPF having the cutoff frequency corresponding to the parameter z).
[0261]
The class classification unit 177 performs the same class classification as the class classification unit 163 in FIG. 22 based on the class tap output from the tap extraction unit 176, and adds the class code corresponding to the resulting class to the addition unit 178. Output.
[0262]
The adding unit 178 reads out the teacher pixel of interest from the teacher data storage unit 172, the student data constituting the prediction teacher pixel, the teacher data supplied from the tap extraction unit 175, and the student data The addition for the parameter z when data is generated is performed for each class code supplied from the class classification unit 177.
[0263]
That is, the adder 178 includes the teacher data y stored in the teacher data storage 172._k, Prediction tap x output by the tap extraction unit 175_{i, k}(X_{j, k}), And the class code output from the class classification unit 177, the parameter z when the student data used to configure the prediction tap is generated is also supplied from the parameter generation unit 180. .
[0264]
Then, the adding unit 178 generates a prediction tap (student data) x for each class corresponding to the class code supplied from the class classification unit 177._{i, k}(X_{j, k}) And the parameter z, the component X defined by Expression (11) in the matrix on the left side of Expression (13)_{i, p, j, q}Multiplying student data and parameter z (x_{i, k}t_px_{j, k}t_q) And a calculation corresponding to summation (Σ). Note that t in equation (11)_pIs calculated from the parameter z according to equation (3). T in equation (11)_qIs the same.
[0265]
Further, the adding unit 178 again performs the prediction tap (student data) x for each class corresponding to the class code supplied from the class classification unit 177._{i, k}, Teacher data y_k, And the parameter z, the component Y defined by Expression (12) in the vector on the right side of Expression (13)_{i, p}Student data x for seeking_{i, k}, Teacher data y_k, And the multiplication of the parameter z (x_{i, k}t_py_k) And a calculation corresponding to summation (Σ). Note that t in equation (12)_pIs calculated from the parameter z according to equation (3).
[0266]
That is, the adding unit 178 calculates the component X of the left-side matrix in the equation (13) obtained for the teacher data that was previously selected as the teacher pixel of interest._{i, p, j, q}And the component Y of the right-hand side vector_{i, p}Is stored in its built-in memory (not shown), and the matrix component X_{i, p, j, q}Or vector component Y_{i, p}On the other hand, regarding the teacher data newly set as the attention teacher pixel, the teacher data y_k, Student data x_{i, k}(x_{j, k}), And the corresponding component x calculated using the parameter z_{i, k}t_px_{j, k}t_qOr x_{i, k}t_py_k(Component X of Formula (11))_{i, p, j, q}Or component Y in equation (12)_{i, p}Addition represented by summation in).
[0267]
Then, the addition unit 178 performs the above addition for all the parameter data z of 0, 1,..., Z, using all the teacher data stored in the teacher data storage unit 172 as the target teacher pixel. Thus, when the normal equation shown in the equation (13) is established for each class, the normal equation is supplied to the coefficient seed calculating unit 179.
[0268]
The coefficient seed calculation unit 179 solves the normal equation for each class supplied from the addition unit 178, thereby generating coefficient seed data β for each class._{m, n}Is output.
[0269]
The parameter generation unit 180 sets, for example, z = 0, 1, 2,..., Z as described above as several values within the range that the parameter z supplied to the parameter memory 168 in FIG. It is generated and supplied to the student data generation unit 173. The parameter generation unit 180 also supplies the generated parameter z to the tap extraction units 175 and 176 and the addition unit 178.
[0270]
Next, processing (learning processing) of the learning device in FIG. 24 will be described with reference to the flowchart in FIG.
[0271]
First, in step S21, the teacher data generation unit 171 and the student data generation unit 173 generate and output teacher data and student data from the learning image data, respectively. That is, the teacher data generation unit 171 outputs the learning image data as teacher data as it is. Further, the student data generation unit 171 is supplied with the parameter z of Z + 1 values generated by the parameter generation unit 180, and the student data generation unit 171 receives the learning image data from the Z + 1 value from the parameter generation unit 180. Z + 1 frame student data is generated for the teacher data (learning image data) of each frame by filtering with the LPF of the cutoff frequency corresponding to the parameter z of the value (0, 1,..., Z). Output.
[0272]
The teacher data output from the teacher data generation unit 171 is supplied to and stored in the teacher data storage unit 172, and the student data output from the student data generation unit 173 is supplied to and stored in the student data storage unit 174.
[0273]
Thereafter, the process proceeds to step S22, and the parameter generation unit 180 sets the parameter z to 0, for example, as an initial value, supplies the parameter z to the tap extraction units 175 and 176, and the addition unit 178, and proceeds to step S23. In step S <b> 23, the tap extraction unit 175 sets the teacher data stored in the teacher data storage unit 172 as notable teacher pixels that have not yet been identified as the notable teacher pixels. Further, in step S23, the tap extraction unit 175 stores the student data for the parameter z output from the parameter generation unit 180 stored in the student data storage unit 174 for the teacher pixel of interest (the teacher data serving as the teacher data of interest). A prediction tap is configured from student data generated by filtering the corresponding learning image data with an LPF having a cutoff frequency corresponding to the parameter z and is supplied to the adding unit 178. Again, for the teacher pixel of interest, a class tap is constructed from the student data for the parameter z output from the parameter generation unit 180 and stored in the student data storage unit 174, and supplied to the class classification unit 177.
[0274]
In step S 24, the class classification unit 177 classifies the target teacher pixel based on the class tap for the target teacher pixel, and outputs the class code corresponding to the class obtained as a result to the addition unit 178. Then, the process proceeds to step S25.
[0275]
In step S25, the adding unit 178 reads the target teacher pixel from the teacher data storage unit 172, uses the target teacher pixel, the prediction tap supplied from the tap extraction unit 175, and the parameter z output from the parameter generation unit 180, Component x of the left-hand side matrix in equation (13)_{i, K}t_px_{j, K}t_qAnd the right-hand side vector component x_{i, K}t_py_KCalculate Further, the adding unit 178 obtains the matrix component and the vector component that have already been obtained, corresponding to the class code from the class classification unit 177, from the target pixel, the prediction tap, and the parameter z. Matrix component x_{i, K}t_px_{j, K}t_qAnd vector component x_{i, K}t_py_KIs added to step S26.
[0276]
In step S26, the parameter generation unit 180 determines whether or not the parameter z output by itself is equal to Z, which is the maximum value that can be taken. In step S26, when it is determined that the parameter z output from the parameter generation unit 180 is not equal to the maximum value Z (less than the maximum value Z), the process proceeds to step S27, and the parameter generation unit 180 sets the parameter z to 1 is added, and the added value is output as a new parameter z to the tap extraction units 175 and 176 and the addition unit 178. Then, the process returns to step S23, and the same processing is repeated thereafter.
[0277]
If it is determined in step S26 that the parameter z is equal to the maximum value Z, the process proceeds to step S28, where the tap extraction unit 175 stores teacher data that has not yet been set as the teacher pixel of interest in the teacher data storage unit 172. Determine whether or not. If it is determined in step S28 that the teacher data that is not the attention teacher pixel is still stored in the teacher data storage unit 172, the tap extraction unit 175 newly sets the teacher data that is not yet the attention teacher pixel. Returning to step S22 as the focused teacher pixel, the same processing is repeated thereafter.
[0278]
If it is determined in step S28 that the teacher data that is not the target teacher pixel is not stored in the teacher data storage unit 172, the adding unit 178 adds the formula ( The matrix on the left side and the vector on the right side in 13) are supplied to the coefficient seed calculation unit 179, and the process proceeds to step S29.
[0279]
In step S29, the coefficient seed calculation unit 179 solves each class by solving a normal equation for each class constituted by the matrix on the left side and the vector on the right side in the equation (13) for each class supplied from the addition unit 178. Coefficient type data β_{m, n}Is output, and the process ends.
[0280]
In addition, due to the number of learning image data being insufficient, etc., there may occur a class in which the number of normal equations necessary for obtaining coefficient seed data cannot be obtained. The coefficient seed calculation unit 179 is configured to output default coefficient seed data, for example.
[0281]
In the learning apparatus of FIG. 24, as shown in FIG. 25, high-quality image data as learning image data is used as teacher data, and the resolution is degraded in the high-quality image data in accordance with the parameter z. The low-quality image data obtained as the student data is used as coefficient data β_{m, n}And variable t corresponding to parameter z_mTap coefficient w expressed by_nAnd student data x_nTo coefficient seed data β that minimizes the sum of the square errors of the predicted values y of the teacher data predicted by the linear linear expression of Expression (1)._{m, n}Is used to perform direct learning, but the coefficient seed data β_{m, n}Other learning can be performed as shown in FIG. 27, for example.
[0282]
That is, in the embodiment of FIG. 27, as in the embodiment of FIG. 25, the high-quality image data as the learning image data is used as the teacher data, and the high-quality image data corresponds to the parameter z. First, the tap coefficient w is filtered using the low-quality image data with the reduced horizontal resolution and vertical resolution as the student data by filtering with the LPF having the cut-off frequency._nAnd student data x_nIs a tap coefficient w that minimizes the sum of squared errors of the predicted value y of the teacher data predicted by the linear primary prediction expression of Expression (1) using_nIs obtained for each value of the parameter z (here, z = 0, 1,..., Z). Further, in the embodiment of FIG. 27, the obtained tap coefficient w_nAs the teacher data and the parameter z as the student data, the coefficient seed data β_{m, n}, And a variable t corresponding to the parameter z which is student data_mTap coefficient w as teacher data predicted from_nCoefficient seed data β that minimizes the sum of the square errors of the predicted values of_{m, n}Learning to ask for.
[0283]
Specifically, a tap for minimizing (minimizing) the sum E of squared errors of the predicted value y of the teacher data predicted by the linear primary prediction expression of Expression (1) represented by Expression (8) above. Coefficient w_nIs the tap coefficient w_nTherefore, it is necessary to satisfy the following equation.
[0284]
[Expression 14]

[0285]
Therefore, the above equation (6) is changed to the tap coefficient w._nThe following equation is obtained by partial differentiation with.
[0286]
[Expression 15]

[0287]
From the equations (14) and (15), the following equation is obtained.
[0288]
[Expression 16]

[0289]
E in equation (16)_kBy substituting equation (6) into equation (16), equation (16) can be expressed by the normal equation shown in equation (17).
[0290]
[Expression 17]

[0291]
The normal equation of Expression (17) is obtained by using, for example, the sweep coefficient (Gauss-Jordan elimination method) or the like as in the case of the normal equation of Expression (13)._nCan be solved.
[0292]
By solving the normal equation of Expression (17), an optimum tap coefficient (here, a tap coefficient that minimizes the sum E of square errors) w_nIs obtained for each class and for each value of the parameter z (z = 0, 1,..., Z).
[0293]
On the other hand, in the present embodiment, the coefficient seed data β_{m, n}And a variable t corresponding to the parameter z_mFrom this, the tap coefficient is obtained. Now, the tap coefficient obtained by this equation (4) is expressed as w_n′, The optimum tap coefficient w expressed by the following equation (18):_nAnd tap coefficient w obtained by equation (4)_nError with ‘e’_nCoefficient seed data β with 0_{n, m}Is the optimal tap coefficient w_nAll tap coefficients w_nSuch coefficient seed data β_{n, m}It is generally difficult to find
[0294]
[Expression 18]

[0295]
Equation (18) can be transformed into the following equation by Equation (4).
[0296]
[Equation 19]

[0297]
Therefore, coefficient seed data β_{n, m}For example, if the least square method is adopted as a norm representing that is optimal, the optimum coefficient seed data β_{n, m}Can be obtained by minimizing the sum E of square errors expressed by the following equation.
[0298]
[Expression 20]

[0299]
The minimum value (minimum value) of the sum E of square errors in equation (20) is calculated by using the sum E as coefficient seed data β as shown in equation (21)._{n, m}Β with the partial differentiation at 0_{n, m}Given by.
[0300]
[Expression 21]

[0301]
By substituting equation (19) into equation (21), the following equation is obtained.
[0302]
[Expression 22]

[0303]
X now_{i, j,}And Y_iIs defined as shown in equations (23) and (24).
[0304]
[Expression 23]

[Expression 24]

[0305]
In this case, equation (22) is_{i, j}And Y_iIt can be represented by a normal equation shown in equation (25) using
[0306]
[Expression 25]

[0307]
The normal equation of the equation (25) is also obtained by using, for example, a sweeping method (Gauss-Jordan elimination method) or the like to obtain coefficient seed data β_{n, m}Can be solved.
[0308]
Next, FIG. 28 shows the coefficient seed data β by building and solving the normal equation of Expression (25)._{n, m}2 shows an example of the configuration of a learning device that performs learning for obtaining the information. In the figure, portions corresponding to those in FIG. 24 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.
[0309]
The addition unit 190 is supplied with the class code for the teacher pixel of interest output from the class classification unit 177 and the parameter z output from the parameter generation unit 180. Then, the adding unit 190 reads the attention teacher pixel from the teacher data storage unit 172, and the student data constituting the prediction teacher pixel and the prediction tap configured for the attention teacher pixel supplied from the tap extraction unit 175. Is added for each class code supplied from the class classification unit 177 and for each value of the parameter z output by the parameter generation unit 180.
[0310]
That is, the adder 190 includes the teacher data y stored in the teacher data storage 172._k, Prediction tap x output by the tap extraction unit 175_{n, k}, The class code output by the class classification unit 177, and the prediction tap x output by the parameter generation unit 180_{n, k}The parameter z is generated when the student data used to construct is generated.
[0311]
Then, the adding unit 190 generates a prediction tap (student data) x for each class corresponding to the class code supplied from the class classification unit 177 and for each value of the parameter z output by the parameter generation unit 180._{n, k}The multiplication of student data in the matrix on the left side of equation (17) (x_{n, k}x_{n ', k}) And a calculation corresponding to summation (Σ).
[0312]
Further, the adding unit 190 again uses a prediction tap (student data) x for each class corresponding to the class code supplied from the class classification unit 177 and for each value of the parameter z output by the parameter generation unit 180._{n, k}And teacher data y_kAnd the student data x in the vector on the right side of equation (17)_{n, k}And teacher data y_kMultiplication (x_{n, k}y_k) And a calculation corresponding to summation (Σ).
[0313]
That is, the adding unit 190 uses the left-side matrix component (Σx) in Expression (17) obtained for the teacher data that was previously selected as the teacher pixel of interest._{n, k}x_{n ', k}) And the right-hand side vector component (Σx_{n, k}y_k) In a built-in memory (not shown), and the matrix component (Σx_{n, k}x_{n ', k}) Or vector component (Σx_{n, k}y_k) With respect to the teacher data newly set as the notable teacher pixel, the teacher data y_{k + 1}And student data x_{n, k + 1}The corresponding component x computed using_{n, k + 1}x_{n ', k + 1}Or x_{n, k + 1}y_{k + 1}(Addition represented by the summation of Expression (17) is performed).
[0314]
Then, the addition unit 190 performs the above-described addition using all the teacher data stored in the teacher data storage unit 172 as the target teacher pixel, thereby obtaining an equation (17) for each value of the parameter z for each class. When the normal equation shown in (2) is established, the normal equation is supplied to the tap coefficient calculation unit 191.
[0315]
The tap coefficient calculation unit 191 solves the normal equation for each value of the parameter z for each class supplied from the adding unit 190, so that the optimum tap coefficient w for each value of the parameter z is obtained for each class._nIs supplied to the adding portion 192.
[0316]
For each class, the adding unit 192 adds a variable t corresponding to the parameter z (_m) And the optimal tap coefficient w_nAdd in the target.
[0317]
That is, the adding unit 192 is a variable t obtained from the parameter z by the equation (3)._i(T_j), The component X defined by the equation (23) in the matrix on the left side of the equation (25)_{i, j}A variable t corresponding to the parameter z for determining_i(T_j) Multiplication (t_it_j) And an operation corresponding to summation (Σ) are performed for each class.
[0318]
Where component X_{i, j}Is determined only by the parameter z and has nothing to do with the class, so the component X_{i, j}Actually, it is not necessary to perform the calculation for each class.
[0319]
Further, the adding unit 192 is a variable t obtained from the parameter z by the equation (3)._iAnd the optimal tap coefficient w_nAnd the component Y defined by Expression (24) in the vector on the right side of Expression (25)_iA variable t corresponding to the parameter z for determining_iAnd the optimal tap coefficient w_nMultiplication (t_iw_n) And an operation corresponding to summation (Σ) are performed for each class.
[0320]
For each class, the addition unit 192 is a component X represented by Expression (23)._{i, j}And the component Y represented by Expression (24)_iWhen the normal equation of Expression (25) is established for each class, the normal equation is supplied to the coefficient seed calculation unit 193.
[0321]
The coefficient seed calculation unit 193 solves the normal equation of the equation (25) for each class supplied from the addition unit 192, thereby generating coefficient seed data β for each class._{m, n}Is output.
[0322]
The coefficient seed memory 167 in the signal processing unit 137 in FIG. 22 stores the coefficient seed data β for each class obtained as described above._{m, n}Can also be stored.
[0323]
Here, in the signal processing unit 137 in FIG. 22, for example, the optimum tap coefficient w for each value of the parameter z output from the tap coefficient calculation unit 191 in FIG. 28 without providing the coefficient seed memory 167._nCan be stored in the memory, and an optimal tap coefficient stored in the memory can be selected according to the parameter z stored in the parameter memory 168 and set in the coefficient memory 164. However, in this case, a large-capacity memory proportional to the number of values that the parameter z can take is required. On the other hand, when the coefficient seed memory 167 is provided and the coefficient seed data is stored, the storage capacity of the coefficient seed memory 167 does not depend on the number of values that the parameter z can take. As described above, a memory having a small capacity can be employed. Furthermore, coefficient seed data β_{m, n}Is stored, the coefficient seed data β_{m, n}And the value of the parameter z, the tap coefficient w according to the equation (2)_nIs generated, so that the continuous tap coefficient w according to the value of the parameter z_nCan be obtained. As a result, it is possible to smoothly and continuously adjust the image quality of the high-quality image data output as the second image data by the prediction unit 165 of FIG.
[0324]
In the above-described case, the learning image data is directly used as teacher data corresponding to the second image data, and the low-quality image data in which the resolution of the learning image data is degraded is used as the first image. Since the coefficient seed data is learned as the student data corresponding to the data, as the coefficient seed data, the resolution is improved by converting the first image data into the second image data whose resolution is improved. What performs the image conversion process as a process can be obtained.
[0325]
Therefore, a program that stores the coefficient seed data in the EEPROM 137A of the signal processing unit 137 of the base unit 1, realizes the functional configuration of FIG. 22, and performs image conversion processing according to the flowchart of FIG. By storing the data, the signal processing unit 137 can improve the horizontal resolution and vertical resolution of the image data corresponding to the parameter z.
[0326]
Here, depending on the selection method of the student data corresponding to the first image data and the image data to be the teacher data corresponding to the second image data, the coefficient seed data is to be subjected to various image conversion processes. Obtainable.
[0327]
That is, for example, high-quality image data is used as teacher data, and learning processing is performed using image data in which noise of a level corresponding to the parameter z is superimposed on the high-quality image data as the teacher data as student data. As a result, the coefficient seed data may be obtained by performing image conversion processing as noise removal processing for converting the first image data into second image data from which noise contained therein is removed (reduced). it can.
[0328]
Also, for example, certain image data is used as teacher data, and image data obtained by thinning out the number of pixels of the image data as the teacher data corresponding to the parameter z is used as student data, or the size corresponding to the parameter z is used. The image data is the student data, and the learning process is performed using the image data obtained by thinning out the pixels of the image data as the student data at a predetermined thinning rate as the teacher data. It is possible to obtain data that undergoes image conversion processing as resizing processing for converting data into enlarged or reduced second image data.
[0329]
Therefore, by storing coefficient type data for noise removal processing and coefficient type data for resizing processing in the EEPROM 137A of the signal processing unit 137 of the base unit 1, the signal processing unit 137 corresponds to the parameter z. Thus, noise removal and resizing (enlargement or reduction) of the image data can be performed.
[0330]
In the above case, the tap coefficient w_nAs shown in equation (2), β_{1, n}z⁰+ Β_{2, n}z¹+ ... + β_{M, n}z^M-1And the tap coefficient w for improving both the horizontal and vertical resolutions corresponding to the parameter z by the equation (2)._nThe tap coefficient w_nAs the horizontal and vertical resolution, independent parameters z_xAnd z_yCorresponding to the above, it is also possible to seek what can be improved independently.
[0331]
That is, tap coefficient w_nInstead of the expression (2), for example, the cubic expression β_{1, n}z_x ⁰z_y ⁰+ Β_{2, n}z_x ¹z_y ⁰+ Β_{3, n}z_x ²z_y ⁰+ Β_{4, n}z_x ^Threez_y ⁰+ Β_{5, n}z_x ⁰z_y ¹+ Β_{6, n}z_x ⁰z_y ²+ Β_{7, n}z_x ⁰z_y ^Three+ Β_{8, n}z_x ¹z_y ¹+ Β_{9, n}z_x ²z_y ¹+ Β_{10, n}z_x ¹z_y ²And a variable t defined by equation (3)_mIn place of equation (3)₁= Z_x ⁰z_y ⁰, T₂= Z_x ¹z_y ⁰, T_Three= Z_x ²z_y ⁰, T_Four= Z_x ^Threez_y ⁰, T_Five= Z_x ⁰z_y ¹, T₆= Z_x ⁰z_y ², T₇= Z_x ⁰z_y ^Three, T₈= Z_x ¹z_y ¹, T₉= Z_x ²z_y ¹, T_Ten= Z_x ¹z_y ²Define in. In this case, tap coefficient w_nCan be finally expressed by equation (4), and therefore, in the learning device (FIGS. 24 and 28), the parameter z_xAnd z_yIn response to the above, the image data obtained by degrading the horizontal resolution and the vertical resolution of the teacher data is used as student data, and learning is performed._{m, n}To determine the horizontal and vertical resolution as independent parameters z_xAnd z_yTap coefficient w to be improved independently of each other_nCan be requested.
[0332]
Other parameters z corresponding to horizontal resolution and vertical resolution, for example_xAnd z_yIn addition to the parameter z corresponding to the temporal resolution._tBy introducing the horizontal resolution, vertical resolution, temporal resolution, independent parameters z_x, Z_y, Z_tTap coefficient w to be improved independently of each other_nCan be obtained.
[0333]
In the resizing process, as in the resolution improving process, the tap coefficient w for resizing both the horizontal and vertical directions at an enlargement rate (or reduction rate) corresponding to the parameter z._nIn addition, the horizontal and vertical directions_xAnd z_yTap factor w to be resized independently at an enlargement ratio corresponding to_nCan be obtained.
[0334]
Further, in the learning device (FIGS. 24 and 28), the parameter z_xCorresponding to the deterioration of the horizontal and vertical resolution of the teacher data, and the parameter z_yThe image data obtained by adding noise to the teacher data corresponding to the_{m, n}To obtain the parameter z_xTo improve horizontal and vertical resolution corresponding to_yTap coefficient w to remove noise corresponding to_nCan be requested.
[0335]
Next, the function of performing the image conversion processing as described above has not only the parent device 1 but also the child device 2.
[0336]
FIG. 29 shows an example of the functional configuration of the signal processing unit 157 of the slave unit 2 (FIG. 11) that performs the above-described image conversion processing. The functional configuration of FIG. 29 is also realized by the DSP 157A of the signal processing unit 157 executing the program stored in the EEPROM 157B, as in the case of the signal processing unit 137 of FIG.
[0337]
29, the signal processing unit 157 of the slave unit 2 includes a tap extraction unit 201 to a parameter memory 208 configured similarly to the tap extraction unit 161 to the parameter memory 168 of the signal processing unit 137 (FIG. 22) of the master unit 1, respectively. Therefore, the description thereof is omitted.
[0338]
It is possible to store the same coefficient seed data in the signal processing unit 137 of the parent device 1 and the signal processing unit 157 of the child device 2, but in the present embodiment, at least a part of them is stored. It is assumed that different coefficient seed data is stored.
[0339]
In other words, for example, the signal processing unit 137 of the parent device 1 stores coefficient type data for resizing processing and coefficient type data for resolution improvement processing, and the signal processing unit 157 of the child device 2 stores resizing data. It is assumed that coefficient type data for processing and coefficient type data for noise removal processing are stored.
[0340]
Alternatively, for example, the signal processing unit 137 of the parent device 1 stores coefficient type data for resizing processing, and a certain child device 2_ijIn the signal processing unit 157, coefficient seed data for noise removal processing is stored and another one of the slave units 2 is stored._pqThe signal processing unit 157 can store coefficient seed data for resolution improvement processing.
[0341]
Here, it is possible to store coefficient seed data for performing various processes in both the signal processing unit 137 of the parent device 1 and the signal processing unit 157 of the child device 2, but in that case, It is necessary to store coefficient seed data for performing the various processes in the EEPROMs 137B and 157B. Therefore, the EEPROMs 137B and 157B need to have a large storage capacity, and the cost of the parent device 1 and the child device 2 increases.
[0342]
On the other hand, in the present embodiment, in the scalable TV system, the master unit 1 and the slave unit 2 are connected so that IEEE1394 communication is possible. Therefore, the master unit 1 or the slave unit 2 is the slave unit 2 or the master unit 2. The coefficient seed data possessed by the machine 1 can be acquired by IEEE1394 communication. Therefore, for example, if the handset 2 storing the coefficient seed data to be subjected to noise removal processing is connected to the base unit 1, the base unit 1 does not have the coefficient seed data (stored). However, it is possible to obtain coefficient seed data from the slave unit 2 and perform noise removal processing.
[0343]
As a result, in the master unit 1 (same in the slave unit 2), as the number of slave units 2 connected as a scalable TV system increases, the number of executable processes, that is, functions increase.
[0344]
In this case, as the EEPROMs 137B and 157B, those having a small storage capacity can be adopted, and the cost of the parent device 1 and the child device 2 can be reduced. Further, in this case, as the slave unit 2 is added in addition to the master unit 1, the functions of the scalable TV system as a whole increase, so that the user can be motivated to purchase the slave unit. Even when the user purchases a new slave unit, the slave unit 2 already owned by the user is necessary for the processing performed using the coefficient seed data of the slave unit 2, and the user owns the slave unit 2 It is possible to prevent the slave unit 2 that is being used from being discarded. As a result, it can contribute to the effective use of resources.
[0345]
In the present embodiment, for example, in the slave unit 2, the signal processing unit 157 does not perform processing in the slave unit 2 alone. That is, when the signal processing unit 157 of the slave unit 2 receives a command from the master unit 1 via the CPU 149 (FIG. 11) by IEEE1394 communication, the signal processing unit 157 performs processing corresponding to the command. Yes.
[0346]
Accordingly, the slave unit 2 is mainly configured to display an image corresponding to the television broadcast signal received by the antenna on the CRT 31 and to output sound from the speaker units 32L and 32R (hereinafter referred to as TV function as appropriate). And a function provided by processing by the signal processing unit 157 (hereinafter referred to as a special function as appropriate), but only a TV function can be used alone, and a special function cannot be used. . That is, in order to use the special function of the child device 2, the child device 2 needs to be connected to the parent device 1 to form a scalable TV system.
[0347]
Next, with reference to the flowchart of FIG. 30, the process of the main | base station 1 of FIG. 10 is demonstrated.
[0348]
First, in step S41, the CPU 129 determines whether any device has been connected to the terminal panel 21 or an event has occurred in which some command has been supplied from the IEEE1394 interface 133 or the IR receiver 135. If it is determined that no event has occurred, the process returns to step S41.
[0349]
If it is determined in step S41 that an event has occurred in which a device is connected to the terminal panel 21, the process proceeds to step S42, and the CPU 129 performs an authentication process shown in FIG. 31, which will be described later, and returns to step S41.
[0350]
Here, in order to determine whether or not a device is connected to the terminal panel 21, it is necessary to detect that a device is connected to the terminal panel 21. This detection is performed, for example, as follows. .
[0351]
That is, the IEEE1394 terminal 21 provided on the terminal panel 21 (FIG. 3)._ijWhen a device is connected (via an IEEE1394 cable), the IEEE1394 terminal 21_ijThe terminal voltage changes. The IEEE1394 interface 133 reports the change in the terminal voltage to the CPU 129. The CPU 129 receives a report on the change in the terminal voltage from the IEEE1394 interface 133, so that a new device is connected to the terminal panel 21. It is detected that Note that the CPU 129 recognizes that the device has been disconnected from the terminal panel 21 by the same method, for example.
[0352]
On the other hand, if it is determined in step S41 that an event has occurred in which any command is supplied from the IEEE1394 interface 133 or the IR receiver 135, the process proceeds to step S43, and the base unit 1 performs processing corresponding to the command. Return to step S41.
[0353]
Next, with reference to the flowchart of FIG. 31, the authentication process which the main | base station 1 performs by step S42 of FIG. 30 is demonstrated.
[0354]
In the authentication process of the base unit 1, authentication as to whether or not a device newly connected to the terminal panel 21 (hereinafter referred to as a connected device as appropriate) is a valid IEEE 1394 device, and the IEEE 1394 device is Two types of authentication are performed: whether or not the television receiver (scalable compatible device) is a child device.
[0355]
That is, in the authentication process of the base unit 1, first, in step S51, the CPU 129 controls the IEEE1394 interface 133 to transmit an authentication request command for requesting mutual authentication to the connected device. The process proceeds to step S52.
[0356]
In step S52, the CPU 129 determines whether a response corresponding to the authentication request command is returned from the connected device. If it is determined in step S52 that the response corresponding to the authentication request command has not been returned from the connected device, the process proceeds to step S53, and the CPU 129 transmits an authentication request command whether or not the time is over. It is determined whether or not a predetermined time has passed.
[0357]
If it is determined in step S53 that the time is over, that is, a response corresponding to the authentication request command is transmitted from the connected device even if a predetermined time has elapsed since the authentication request command was transmitted to the connected device. If the message does not return, the process proceeds to step S54, and the CPU 129 does not exchange any data with the connected device, assuming that the connected device is not a valid IEEE1394 device and authentication has failed. Set to single mode, which is the mode, and return.
[0358]
Accordingly, the base unit 1 thereafter does not exchange any data with the connected device that is not a legitimate IEEE 1394 device as well as the IEEE 1394 communication.
[0359]
On the other hand, if it is determined in step S53 that the time is not over, the process returns to step S52, and thereafter the same processing is repeated.
[0360]
If it is determined in step S52 that the response corresponding to the authentication request command has been returned from the connected device, that is, if the response from the connected device is received by the IEEE1394 interface 133 and supplied to the CPU 129, step In step S55, the CPU 129 generates a random number (pseudorandom number) R1 according to a predetermined algorithm, and transmits the random number (pseudorandom number) R1 to the connected device via the IEEE1394 interface 133.
[0361]
Thereafter, the process proceeds to step S56, and the CPU 129 converts the random number R1 from the random number R1 transmitted in step S55 to a predetermined encryption algorithm (for example, DES (Data Encryption Standard), FEAL (Fast data Encipherment Algorithm), It is determined whether or not an encrypted random number E ′ (R1) encrypted by a secret key encryption method such as RC5 has been transmitted from the connected device.
[0362]
If it is determined in step S56 that the encrypted random number E ′ (R1) has not been transmitted from the connected device, the process proceeds to step S57, in which the CPU 129 transmits the random number R1. It is determined whether or not a predetermined time has passed.
[0363]
If it is determined in step S57 that the time is over, that is, the random number R1 is transmitted from the connected device to the encrypted random number E ′ (R1) even if a predetermined time elapses after being transmitted to the connected device. Is not transmitted, the process proceeds to step S54, and as described above, the CPU 129 sets the operation mode to the single mode and returns, assuming that the connected device is not a valid IEEE1394 device.
[0364]
On the other hand, if it is determined in step S57 that the time is not over, the process returns to step S56, and thereafter the same processing is repeated.
[0365]
If it is determined in step S56 that the encrypted random number E ′ (R1) has been transmitted from the connected device, that is, the encrypted random number E ′ (R1) from the connected device is received by the IEEE1394 interface 133, When supplied to the CPU 129, the process proceeds to step S58, where the CPU 129 encrypts the random number R1 generated in step S55 with a predetermined encryption algorithm to generate an encrypted random number E (R1), and then proceeds to step S59.
[0366]
In step S59, the CPU 129 determines whether or not the encrypted random number E ′ (R1) transmitted from the connected device is equal to the encrypted random number E (R1) generated by itself in step S58.
[0367]
If it is determined in step S59 that the encrypted random numbers E ′ (R1) and E (R1) are not equal, that is, the encryption algorithm employed in the connected device (used for encryption if necessary). (Including the secret key) is different from the encryption algorithm employed by the CPU 129, the process proceeds to step S54, and the CPU 129 sets the operation mode as a single unit, assuming that the connected device is not a valid IEEE 1394 device as described above. Set to mode and return.
[0368]
If it is determined in step S59 that the encrypted random numbers E ′ (R1) and E (R1) are equal, that is, the encryption algorithm employed by the connected device is the encryption employed by the CPU 129. When it is equal to the algorithm, the process proceeds to step S60, and the CPU 129 determines whether or not a random number R2 for the connection device to authenticate the parent device 1 has been transmitted from the connection device.
[0369]
If it is determined in step S60 that the random number R2 has not been transmitted, the process proceeds to step S61, and the CPU 129 determines whether or not the time is over, that is, for example, the encrypted random number E ′ (R1) and E in step S59. It is determined whether or not a predetermined time has elapsed since it was determined that (R1) is equal.
[0370]
If it is determined in step S61 that the time is over, that is, if the random number R2 is not transmitted from the connected device even if a considerable time has elapsed, the process proceeds to step S54, and the CPU 129 is as described above. If the connected device is not a valid IEEE1394 device, the operation mode is set to the single mode and the process returns.
[0371]
On the other hand, if it is determined in step S61 that the time is not over, the process returns to step S60, and thereafter the same processing is repeated.
[0372]
If it is determined in step S60 that the random number R2 has been transmitted from the connected device, that is, if the random number R2 from the connected device is received by the IEEE1394 interface 133 and supplied to the CPU 129, the process proceeds to step S62. The CPU 129 encrypts the random number R2 with a predetermined encryption algorithm, generates an encrypted random number E (R1), and transmits it to the connected device via the IEEE1394 interface 133.
[0373]
Here, at step S60, when the random number R2 is transmitted from the connected device, authentication that the connected device is a valid IEEE1394 device is successful.
[0374]
Thereafter, the process proceeds to step S63, and the CPU 129 controls the IEEE1394 interface 133 to transmit the device ID and the function information of itself together with the function information request command for requesting the device ID and the function information of the connected device to the connected device. .
[0375]
Here, the device ID is a unique ID that identifies the television receiver that becomes the parent device 1 or the child device 2.
[0376]
The function information is information related to its own function, for example, the type of coefficient seed data that it has (what kind of coefficient seed data can be subjected to image conversion processing), and the type of command received from the outside ( For example, which of the commands for controlling power on / off, volume adjustment, channel, brightness, sharpness, etc. is accepted from the outside), whether or not the screen display (OSD display) is possible, and whether it can be muted Information such as whether or not it can be in a sleep state is included. Further, the function information includes information indicating whether the device itself has a function as a parent device or a function as a child device.
[0377]
In the base unit 1, the device ID and the function information can be stored in, for example, the EEPROM 130 or the vendor_dependent_information of the configuration ROM shown in FIG.
[0378]
Thereafter, the process proceeds to step S64, and the CPU 129 waits for the connected device to transmit the device ID and the function information in response to the function information request command transmitted to the connected device in step S63. And the function information are received via the IEEE1394 interface 133, stored in the EEPROM 130, and the process proceeds to step S65.
[0379]
In step S65, the CPU 129 determines whether the connected device is a slave device by referring to the function information stored in the EEPROM 130. If it is determined in step S65 that the connected device is a slave device, that is, if the authentication that the connected device is a slave device is successful, steps S66 and S67 are skipped, and the process proceeds to step S68. The operation mode is set to a special function command receiving / providing mode for controlling the special function of the slave unit by providing a control command for causing the connected device that is the slave unit to perform processing by the special function. Return.
[0380]
On the other hand, if it is determined in step S65 that the connected device is not a child device, the process proceeds to step S66, and the CPU 129 determines whether the connected device is a parent device by referring to the function information stored in the EEPROM 130. To do. If it is determined in step S66 that the connected device is the parent device, that is, if the authentication that the connected device is the parent device is successful, the process proceeds to step S67, and the CPU 129 determines whether the connected device is the parent device. Perform parent-child adjustment processing between
[0381]
In other words, in this case, since another parent device is connected to the parent device 1, there are two television receivers that function as the parent device in the scalable TV system. Become. In the present embodiment, it is necessary that there is only one parent device in the scalable TV system. For this reason, in step S67, between the parent device 1 and the parent device as the connected device, which is the parent device. A parent-child adjustment process for determining whether to function as a television receiver is performed.
[0382]
More specifically, for example, the parent device that has constituted the scalable TV system earlier, that is, in the present embodiment, the parent device 1 is determined to function as a television receiver as the parent device. Is done. Note that the other parent device determined not to function as the parent device functions as the child device.
[0383]
After the parent-child adjustment process is performed in step S67, the process proceeds to step S68, and as described above, the CPU 129 sets the operation mode to the special function command reception / provision mode and returns.
[0384]
On the other hand, when it is determined in step S66 that the connected device is not the parent device, that is, the connected device is neither the parent device nor the child device, and therefore, the authentication that the connected device is the parent device or the child device has failed. If YES in step S69, the CPU 129 can exchange a predetermined AV / C command set with the connected device as the operation mode, but does not exchange a control command for processing by a special function. Set to normal function command reception / provision mode that cannot be performed, and return.
[0385]
That is, in this case, since the connected device is neither a parent device nor a child device, even if such a connected device is connected to the parent device 1, no special function is provided. However, in this case, since the connected device is a legitimate IEEE 1394 device, the exchange of a predetermined AV / C command set between the parent device 1 and the connected device is permitted. Therefore, in this case, the parent device 1 and the connected device can be controlled from the other (or another IEEE1394 device connected to the parent device 1) using a predetermined AV / C command set.
[0386]
Next, with reference to the flowchart of FIG. 32, the process of the subunit | mobile_unit 2 of FIG. 11 is demonstrated.
[0387]
First, in step S71, the CPU 149 determines whether any device is connected to the terminal panel 41, or whether an event has occurred in which some command is supplied from the IEEE1394 interface 153 or the IR receiver 155. If it is determined that no event has occurred, the process returns to step S71.
[0388]
If it is determined in step S71 that an event for connecting a device to the terminal panel 41 has occurred, the process proceeds to step S72, and the CPU 149 performs an authentication process shown in FIG.
[0389]
Here, in order to determine whether or not a device is connected to the terminal panel 41, it is necessary to detect that a device is connected to the terminal panel 41. This detection is described in, for example, step S41 of FIG. This is done in the same way as
[0390]
On the other hand, if it is determined in step S71 that an event has occurred in which any command is supplied from the IEEE1394 interface 153 or the IR receiver 155, the process proceeds to step S73, and the slave unit 2 performs processing corresponding to the command. Return to step S71.
[0390]
Next, with reference to the flowchart of FIG. 33, the authentication process which the subunit | mobile_unit 2 performs by FIG.32 S72 is demonstrated.
[0392]
In the authentication process of the slave unit 2, authentication as to whether or not the device (connection device) newly connected to the terminal panel 41 is a valid IEEE 1394 device, and whether or not the IEEE 1394 device is the master unit. Two types of authentication are performed.
[0393]
That is, in the authentication process of the slave unit 2, first, in step S81, the CPU 149 determines whether or not an authentication request command for requesting mutual authentication is transmitted from the connected device. If it is determined that there is not, the process proceeds to step S82.
[0394]
In step S82, the CPU 149 determines whether the time is over, that is, whether a predetermined time has elapsed since the start of the authentication process.
[0395]
If it is determined in step S82 that the time is over, that is, if an authentication request command is not transmitted from the connected device even after a predetermined time has elapsed since the start of the authentication process, the process proceeds to step S83. The CPU 149 sets the operation mode to a single mode that is a mode in which no data is exchanged with the connected device, assuming that the connected device is not a valid IEEE1394 device and authentication has failed. To return.
[0396]
Therefore, as with the base unit 1, the handset 2 does not exchange any data with the connection device that is not a legitimate IEEE 1394 device as well as the IEEE1394 communication.
[0397]
On the other hand, if it is determined in step S82 that the time is not over, the process returns to step S81, and thereafter the same processing is repeated.
[0398]
If it is determined in step S81 that the authentication request command has been transmitted from the connected device, that is, the authentication request command transmitted from the parent device 1 as the connected device in step S51 in FIG. If it is received at 153 and supplied to the CPU 149, the process proceeds to step S84, where the CPU 149 controls the IEEE1394 interface 153 to transmit a response to the authentication request command to the connected device.
[0399]
Here, in the present embodiment, the processing in steps S51 to S53 in FIG. 31 is performed in the master unit 1, and the processing in steps S81, S82, and S84 in FIG. It is also possible to cause the slave unit 2 to perform the processes in steps S51 to S53 in FIG. 31, and allow the master unit 1 to perform the processes in steps S81, S82, and S84 in FIG.
[0400]
Thereafter, the process proceeds to step S85, and the CPU 149 determines whether or not the random number R1 has been transmitted from the connected device. If it is determined that the random number R1 has not been transmitted, the CPU 149 proceeds to step S86.
[0401]
In step S86, the CPU 149 determines whether the time is over, that is, whether a predetermined time has elapsed since the response to the authentication request command was transmitted in step S84.
[0402]
If it is determined in step S86 that the time is over, that is, if the random number R1 is not transmitted from the connected device even after a predetermined time has elapsed since the response to the authentication command was transmitted, step S83 is performed. Then, as described above, the CPU 149 sets the operation mode to the single mode, which is a mode in which no data is exchanged with the connected device, assuming that the connected device is not a valid IEEE1394 device. To return.
[0403]
On the other hand, if it is determined in step S86 that the time is not over, the process returns to step S85, and thereafter the same processing is repeated.
[0404]
When it is determined in step S85 that the random number R1 has been transmitted from the connected device, that is, the random number R1 transmitted from the parent device 1 as the connected device in step S55 in FIG. 31 is received by the IEEE1394 interface 153. If it is supplied to the CPU 149, the process proceeds to step S87, where the CPU 149 encrypts the random number R1 with a predetermined encryption algorithm to generate an encrypted random number E ′ (R1). Furthermore, in step S87, the CPU 149 controls the IEEE1394 interface 153 to transmit the encrypted random number E ′ (R1) to the connected device, and proceeds to step S89.
[0405]
In step S89, the CPU 149 generates a random number (pseudo-random number) R2, controls the IEEE1394 interface 153 to transmit the random number R2 to the connected device, and proceeds to step S90.
[0406]
In step S90, the CPU 149 determines whether or not the encrypted random number E (R2) obtained by encrypting the random number R2 generated by the parent device 1 as the connected device in step S62 in FIG. 31 has been transmitted from the connected device. .
[0407]
If it is determined in step S90 that the encrypted random number E (R2) has not been transmitted from the connected device, the process proceeds to step S91, and the CPU 149 determines whether the time has expired, that is, after transmitting the random number R2. It is determined whether a predetermined time has elapsed.
[0408]
If it is determined in step S91 that the time is over, that is, even if a predetermined time has elapsed after the random number R2 is transmitted to the connected device, the encrypted random number E (R2) is received from the connected device. If it has not been transmitted, the process proceeds to step S83, and the CPU 149 sets the operation mode to the single mode and returns, as described above, assuming that the connected device is not a valid IEEE1394 device.
[0409]
On the other hand, if it is determined in step S91 that the time is not over, the process returns to step S90, and thereafter the same processing is repeated.
[0410]
If it is determined in step S90 that the encrypted random number E (R2) has been transmitted from the connected device, that is, the encrypted random number E (R2) from the connected device is received by the IEEE1394 interface 153 and is sent to the CPU 149. If supplied, the process proceeds to step S92, and the CPU 149 encrypts the random number R2 generated in step S89 with a predetermined encryption algorithm, generates an encrypted random number E ′ (R2), and then proceeds to step S93.
[0411]
In step S93, the CPU 149 determines whether the encrypted random number E (R2) transmitted from the connected device is equal to the encrypted random number E ′ (R2) generated by itself in step S92.
[0412]
If it is determined in step S93 that the encrypted random numbers E (R2) and E ′ (R2) are not equal, that is, the encryption algorithm employed in the connected device (used for encryption if necessary). If the encryption algorithm employed by the CPU 149 is different from the encryption algorithm adopted by the CPU 149, the process proceeds to step S83, and the CPU 149 determines that the connected device is not a valid IEEE 1394 device as described above and sets the operation mode alone. Set to mode and return.
[0413]
If it is determined in step S93 that the encrypted random numbers E (R2) and E ′ (R2) are equal, that is, the encryption algorithm employed by the connected device is the encryption employed by the CPU 149. If the authentication that the connected device is a legitimate IEEE 1394 device is successful, the process proceeds to step S94, and the CPU 149 determines that the parent device 1 as the connected device is in step S63 of FIG. The device ID and the function information transmitted together with the function information request command are received via the IEEE1394 interface 153 and stored in the EEPROM 150.
[0414]
In step S95, the CPU 149 controls the IEEE1394 interface 153 to transmit its own device ID and function information to the connected device in response to the function information request command from the connected device received in step S94. Then, the process proceeds to step S96.
[0415]
Here, in the slave unit 2, the function ID and the function information are stored in the EEPROM 150, the vendor_dependent_information of the configuration ROM shown in FIG. 15, etc., as in the case of the master unit 1 described in FIG. Can do.
[0416]
In step S96, the CPU 149 refers to the function information stored in the EEPROM 150 to determine whether the connected device is a parent device. If it is determined in step S96 that the connected device is a parent device, that is, if the connection device is successfully authenticated as a parent device, the process proceeds to step S97, and the CPU 149 sets the operation mode to the parent device. A control command is received from the connected device, processing according to the special function is performed in response to the control command, that is, a special function command receiving / providing mode for receiving a control command for controlling the special function is set, and the process returns.
[0417]
Here, when the handset 2 is in the special function command receiving / providing mode, the handset basically ignores commands supplied from its own front panel 154 and IR receiving unit 155 and is received by the IEEE1394 interface 153. In accordance with the command from 1, various processes are performed. That is, the handset 2 is in a state where, for example, setting of the channel and volume and the like are performed only in response to commands from the base unit 1. Therefore, it can be said that the scalable TV system is a so-called centralized control system in which the master unit 1 controls all the slave units 2 constituting the scalable TV system.
[0418]
Note that the transmission of the command from the parent device 1 (FIG. 10) to the child device 2 can be performed based on the input from the front panel 134 or the IR receiver 135, or the front panel 154 or IR of the child device 2. The input to the receiving unit 155 can also be performed based on the input transferred to the parent device 1 via the IEEE1394 interface 153 and thus transferred from the child device 2 to the parent device 1.
[0419]
On the other hand, if it is determined in step S96 that the connected device is not the parent device, that is, if the authentication that the connected device is the parent device fails, the process proceeds to step S98, and the CPU 149 changes the operation mode to the connected device. The default AV / C command set can be exchanged between them, but the normal function command reception / provision mode is set in which the control command for performing the processing by the special function cannot be exchanged, and the process returns.
[0420]
That is, in this case, since the connection device is not the parent device, even if such a connection device is connected to the child device 2, no special function is provided. Therefore, the special function is not provided only by connecting the slave unit 2 to another slave unit. However, in this case, since the connected device is a legitimate IEEE 1394 device, exchange of a predetermined AV / C command set between the handset 2 and the connected device is permitted. Therefore, in this case, the slave unit 2 and the connected devices (including other slave units) can be controlled from the other side by a predetermined AV / C command set.
[0421]
Next, the authentication process described with reference to FIGS. 31 and 33 has succeeded in the master unit 1 and the slave unit 2, respectively, and the master unit 1 and the slave unit 2 set the operation mode to the special function command reception / provision mode. Later, in order for the scalable TV system to provide a special function, an example of details of processing performed by the parent device 1 and the child device 2 in step S43 in FIG. 30 and step S73 in FIG. 32 will be described.
[0422]
First, as described in FIG. 10, the base unit 1 outputs an image and sound as a television broadcast program (images are displayed and sound is output). When the user operates to turn on the guide button switch 63 of the remote controller 15 (FIG. 7) (or the guide button switch 93 of the remote controller 35 (FIG. 8)) when the image and the sound are output, The remote controller 15 emits infrared rays corresponding to the user's operation. This infrared ray is received by the IR receiver 135 of the parent device 1 (FIG. 10), and a command corresponding to the operation of the guide button switch 63 (hereinafter referred to as a caption display command as appropriate) is supplied to the CPU 129.
[0423]
Infrared light from the remote controller 15 is also received by the IR receiver 155 of the child device 2 (FIG. 11). However, in the child device 2, this infrared light is ignored.
[0424]
When receiving the caption display command as described above, the CPU 129 of the parent device 1 (FIG. 10) performs the closed caption processing of the parent device according to the flowchart of FIG.
[0425]
That is, the CPU 129 first determines whether or not closed caption data is included in the transport stream supplied to the demultiplexer 124 in step S101.
[0426]
Here, when closed caption data is included in the MPEG video stream, the closed caption data is arranged, for example, as MPEG user data (MPEG-2 user data) in the sequence layer. In this case, in step S101, the CPU 129 refers to the transport stream supplied to the demultiplexer 124, and determines whether or not the closed caption data is included in the transport stream.
[0427]
If it is determined in step S101 that the closed caption data is not included in the transport stream, the subsequent processing is skipped and the closed caption processing is terminated.
[0428]
If it is determined in step S101 that the closed caption data is included in the transport stream, the process proceeds to step S102, and the CPU 129 stores the function information of the slave unit constituting the scalable TV system stored in the EEPROM 130, In addition, by referring to the function information of itself, the television receivers that constitute the scalable TV system are searched for those having coefficient seed data for closed captions. That is, as described above, the function information includes the type of coefficient seed data included in each television receiver constituting the scalable TV system. In step S102, the function information is referred to by referring to such function information. Then, a search for a television receiver having coefficient seed data for closed captioning is performed.
[0429]
Here, the coefficient seed data for closed caption is, for example, the image data of the closed caption displayed by the closed caption data as the teacher data, the image data in which the resolution of the teacher data is degraded, and the teacher data It is coefficient seed data obtained by learning image data with noise added to it or image data obtained by reducing the teacher data as student data. For closed caption images, improvement in resolution, noise It means coefficient seed data particularly suitable for performing removal or enlargement.
[0430]
Thereafter, the process proceeds to step S103, and the CPU 129 determines whether there is a television receiver having coefficient seed data dedicated to closed caption, based on the search result of step S102.
[0431]
If it is determined in step S103 that there is no television receiver having coefficient type data dedicated to closed caption, the process proceeds to step S104, and the CPU 129 sets the signal processing unit 137 to start normal closed caption display. Control.
[0432]
That is, the signal processing unit 137 also has a function as a so-called closed caption decoder, and the CPU 129 requests the demultiplexer 124 for closed caption data in the transport stream, and in response to the request, the demultiplexer 124. The closed caption data supplied from is supplied to the signal processing unit 137. The signal processing unit 137 decodes the closed caption data from the CPU 129 and superimposes the closed caption obtained as a result on a predetermined position of the image data stored in the frame memory 127. As a result, the image data in which the closed caption is superimposed on the image data decoded by the MPEG video decoder 125 is displayed on the CRT 11.
[0433]
Therefore, in this case, in the CRT 11 of the base unit 1, the corresponding closed caption is superimposed and displayed on the image as the content, as in the case of a general television receiver having a closed caption decoder. .
[0434]
As described above, when the display of the closed caption is started, the process proceeds to step S105, and the CPU 129 should still display in the transport stream supplied to the demultiplexer 124 as in the case of step S101. Determine whether closed caption data is included.
[0435]
If it is determined in step S105 that there is no closed caption data, the process skips step S106 and proceeds to step S107. The CPU 129 controls the signal processing unit 137 to end the decoding process of the closed caption data. Closed caption processing ends.
[0436]
On the other hand, if it is determined in step S105 that the closed-caption data to be displayed is still included in the transport stream supplied to the demultiplexer 124, the process proceeds to step S106, and the CPU 129 displays the closed caption display. It is determined whether a command to be terminated (hereinafter referred to as a closed caption display off command as appropriate) has been transmitted.
[0437]
If it is determined in step S106 that a closed caption display off command has not been transmitted, the process returns to step S105, and the same processing is repeated thereafter. That is, in this case, the closed caption display is continued.
[0438]
If it is determined in step S106 that a closed caption display off command has been transmitted, that is, for example, the user operates the guide button switch 63 of the remote controller 15 (FIG. 7) (or the guide button of the remote controller 35 (FIG. 8)). When the infrared ray corresponding to the closed caption display off command is emitted from the remote controller 15 and received by the IR receiver 135 by operating the switch 93) to be turned off, the process proceeds to step S107, and the CPU 129 As described above, by controlling the signal processing unit 137, the decoding process of the closed caption data is terminated, and the closed caption process is terminated.
[0439]
On the other hand, if it is determined in step S103 that there is a handset as a television receiver having coefficient type data dedicated to closed caption (hereinafter referred to as caption coefficient type data holding handset as appropriate), the process proceeds to step S108. CPU129 selects what displays a closed caption from the subunit | mobile_unit as a television receiver which comprises a scalable TV system.
[0440]
That is, the CPU 129, for example, the slave unit 2 arranged on the left side of the master unit 1_{twenty three}Or the slave unit 2 placed below₃₂Are selected as slave units that display closed captions (hereinafter referred to as caption display slave units as appropriate). The master unit 1 is a slave unit 2_ijAs described above, the arrangement position viewed from the parent device 1 is recognized in advance, so that the child device 2 arranged on the left side of the parent device 1 is recognized._{twenty three}Or the slave unit 2 placed below₃₂Etc._ijIs identified.
[0441]
Thereafter, the process proceeds to step S109, and the CPU 129 transmits a command to the caption coefficient seed data holding unit via the IEEE1394 interface 133, thereby requesting coefficient seed data dedicated to closed captioning.
[0442]
Here, the CPU 129 specifies a slave unit serving as a caption coefficient type data holding unit by a device ID stored together with function information in the EEPROM 130, and requests a coefficient type data dedicated to closed caption (hereinafter, referred to as a command type). If necessary, a coefficient seed data request command is transmitted to the device ID. The CPU 129 also specifies a slave device to which the command other than the coefficient seed data request command is to be sent by the device ID, and transmits it to the device ID.
[0443]
In step S109, the CPU 129 further waits for the coefficient seed data dedicated for closed captioning to be transmitted from the caption coefficient seed data holding unit that has received the coefficient seed data request command, and then the coefficient seed data dedicated to the closed caption. Is received via the IEEE1394 interface 133, thereby obtaining coefficient seed data dedicated to closed captions.
[0444]
Here, when the coefficient seed data dedicated to closed caption is stored in the EEPROM 137B of its own signal processing unit 137, the CPU 129 reads out the coefficient seed data dedicated to closed caption from the EEPROM 137B in step S109. get.
[0445]
Further, even when coefficient seed data dedicated to closed caption is not stored in any of the television receivers constituting the scalable TV system, for example, in a coefficient seed data providing server (not shown), closed caption When dedicated coefficient seed data is provided, the CPU 129 controls the modem 136 to access the coefficient seed data providing server, and from the coefficient seed data providing server, the coefficient seed data dedicated to closed captioning is accessed. It is possible to get.
[0446]
The provision of coefficient seed data by such a coefficient seed data providing server is not limited to coefficient seed data dedicated to closed captioning, but is also the same for coefficient seed data used for various processes (image conversion processing) described later. Can be done.
[0447]
The provision of the coefficient seed data by the coefficient seed data providing server can be performed free of charge or for a fee.
[0448]
When the CPU 129 obtains coefficient type data dedicated to closed captioning in step S109, the process proceeds to step S110, and the IEEE 1394 interface 133 is controlled to control the caption display slave unit to display closed captions. Along with the command, coefficient seed data dedicated to closed caption is transmitted, and the process proceeds to step S111.
[0449]
In step S111, the CPU 129 controls the IEEE1394 interface 133 to instruct the caption display slave unit to select an input to the IEEE1394 interface 153 (FIG. 11) and display it on the CRT 31. An external input selection command is transmitted, and the process proceeds to step S112.
[0450]
In step S112, the CPU 129 starts transferring the closed caption data to the caption display slave unit.
[0451]
That is, the CPU 129 requests the demultiplexer 124 for closed caption data in the transport stream, and receives the closed caption data supplied from the demultiplexer 124 in response to the request. Further, the CPU 129 controls the IEEE1394 interface 133 to transfer the closed caption data received from the demultiplexer 124 to the caption display slave unit.
[0452]
As described above, when the transfer of the closed caption data to the caption display slave unit is started, the process proceeds to step S113, and the CPU 129 transfers the transformer supplied to the demultiplexer 124 as in step S101. It is determined whether or not the closed caption data to be displayed is included in the port stream.
[0453]
If it is determined in step S113 that there is no closed caption data, step S114 is skipped and the process proceeds to step S115. The CPU 129 controls the IEEE1394 interface 133 to end the closed caption data transfer process, and closes the closed caption data. End the caption process.
[0454]
On the other hand, if it is determined in step S113 that the closed stream data to be displayed is still included in the transport stream supplied to the demultiplexer 124, the process proceeds to step S114, and the CPU 129 displays the closed caption display. It is determined whether a command to be ended (closed caption display off command) has been transmitted.
[0455]
If it is determined in step S114 that the closed caption display off command has not been transmitted, the process returns to step S113, and the same processing is repeated thereafter. That is, in this case, the transfer of the closed caption data to the caption display slave unit is continued.
[0456]
When it is determined in step S114 that a closed caption display off command has been transmitted, that is, for example, the user operates the guide button switch 63 of the remote controller 15 (FIG. 7) (or the guide button of the remote controller 35 (FIG. 8)). When the infrared ray corresponding to the closed caption display off command is emitted from the remote controller 15 and received by the IR receiver 135 by operating the switch 93) to be turned off, the process proceeds to step S115, where the CPU 129 By controlling the interface 133, the closed caption data transfer process is terminated, and the closed caption process is terminated.
[0457]
In the base unit 1, the closed caption process shown in FIG. 34 is performed, whereby a closed caption display command is transmitted in step S110, and the closed caption display command is received by the slave unit 2 as a caption display slave unit. Then (when received by the IEEE1394 interface 153 of the slave unit 2 (FIG. 11) and supplied to the CPU 149), the slave unit 2 performs the closed caption processing of the slave unit according to the flowchart of FIG.
[0458]
In other words, in the slave unit 2 (FIG. 11) as the caption display slave unit, first, in step S121, in step S110 of FIG. 34, the closed caption dedicated command transmitted from the master unit 1 together with the closed caption display command is displayed. The coefficient seed data is received by the IEEE1394 interface 153, supplied to the CPU 149, and the process proceeds to step S122.
[0459]
In step S122, the CPU 149 transfers the coefficient seed data dedicated to closed captions to the signal processing unit 157 and sets (stores) it in the coefficient seed memory 207 (FIG. 29). At this time, the signal processing unit 157 saves the coefficient seed data originally stored in the coefficient seed memory 207 in the empty area of the EEPROM 157B in advance.
[0460]
Here, when the slave unit 2 serving as a caption display slave unit is also a caption coefficient type data holding slave unit, that is, the coefficient memory 207 constituting the signal processing unit 157 of the slave unit 2 is originally used for closed captioning. When the coefficient seed data is stored, the processes in steps S121 and S122 described above and the process in step S128 described later can be skipped.
[0461]
Thereafter, the process proceeds to step S123, in which the CPU 149 determines whether or not the base unit 1 has received the external input selection command transmitted in step S111 in FIG. 34, and returns to step S123 if it is determined that it has not been received. .
[0462]
Further, when it is determined in step S123 that an external input selection command is received from the parent device 1, that is, when an external input selection command is received from the parent device 1 and supplied to the CPU 149 in the IEEE1394 interface 153. In step S124, the CPU 149 selects closed caption data received by the IEEE1394 interface 153 and supplies the closed caption data to the signal processing unit 157, and the process advances to step S125.
[0463]
In step S125, the CPU 149 determines whether or not the closed caption data for starting the transfer in step S112 of FIG.
[0464]
When it is determined in step S125 that the closed caption data from the parent device 1 has been transmitted, that is, when the closed caption data from the parent device 1 is received and supplied to the CPU 149 in the IEEE1394 interface 153, the processing is performed in step S126. In step S122, the CPU 149 supplies the closed caption data to the signal processing unit 157, and the coefficient dedicated to the closed caption set in the coefficient seed memory 207 (FIG. 29) in step S122. An image conversion process using the seed data is performed.
[0465]
That is, in this case, the signal processing unit 157 decodes the closed caption data from the CPU 149, and the closed caption image data obtained as a result is generated from the coefficient seed data dedicated to the closed caption stored in the coefficient seed memory 207. By performing image conversion processing using the tap coefficient, the image data is converted into high-quality closed caption image data.
[0466]
In step S127, the high-quality closed caption image data is supplied to the CRT 31 via the frame memory 147 and the NTSC encoder 148 and displayed. Then, the process returns to Step S125, and Steps S125 to S127 are repeated until it is determined in Step S125 that closed caption data is not transmitted from the parent device 1.
[0467]
If it is determined in step S125 that closed caption data is not transmitted from the base unit 1, that is, if the closed caption data cannot be received by the IEEE1394 interface 153, the process proceeds to step S128. The processing unit 157 resets (overwrites) the original coefficient seed data saved in the EEPROM 157B in the coefficient seed memory 207 (FIG. 29), and ends the closed caption processing.
[0468]
According to the closed caption processing of the master unit shown in FIG. 34 and the closed caption processing of the slave unit shown in FIG. 35, some television receivers constituting the scalable TV system have coefficient seed data dedicated to closed captions. If not, the base unit 1 superimposes the closed caption image data on the image data as the television broadcast program and displays it on the CRT 11 as in the conventional television receiver with a built-in closed caption decoder. The
[0469]
On the other hand, when there is a television receiver constituting the scalable TV system that has coefficient seed data dedicated for closed captioning, the CRT 11 of the parent device 1 only has image data as a television broadcast program. Is displayed. Further, in the CRT 31 of the slave unit 2 as the slave unit for caption display, the closed caption image data corresponding to the image data displayed on the CRT 11 of the master unit 1 is converted into high-quality image data. Is displayed.
[0470]
Therefore, the user can view the image data as the television broadcast program without being obstructed by the image data of the closed caption. Furthermore, the user can view high-quality closed caption image data.
[0471]
Note that even if there is no television receiver that constitutes a scalable TV system that has coefficient type data dedicated to closed captioning, the image data of the closed caption is the image data of the television broadcast program. In addition, it is possible to display on the CRT 31 of the slave unit 2 as a caption display slave unit. In this case, the user cannot view the image data of the closed caption with high image quality, but can still view the image data as the television broadcast program without being interrupted by the image data of the closed caption. .
[0472]
In the above-described case, the closed caption image data is displayed only on one slave unit 2 as a caption display slave unit. However, the closed caption image data can be displayed on a scalable TV system. It is also possible to display on two or more slave devices that constitute the device. That is, for example, when closed caption data in a plurality of languages exists, it is possible to display the closed caption image data in each language on different slave units.
[0473]
Next, the scalable TV system has, for example, a special function for enlarging a part of image data, and this special function is realized by performing partial enlargement processing in the master unit 1 and the slave unit 2. Is done.
[0474]
An instruction to perform the partial enlargement process can be performed from a menu screen, for example.
[0475]
That is, as described above, when the user operates the menu button switch 54 (or the menu button switch 84 of the remote controller 35 (FIG. 8)) of the remote controller 15 (FIG. 7), the CRT 11 (or the slave unit 2) of the parent device 1 is operated. A menu screen is displayed on the CRT 31). For example, an icon representing a partial enlargement process (hereinafter, referred to as a partial enlargement icon as appropriate) is displayed on the menu screen. When the user clicks this partially enlarged icon by operating the remote controller 15, a partially enlarged process is started in each of the parent device 1 and the child device 2.
[0476]
First, a partial enlargement process of the master unit will be described with reference to the flowchart of FIG.
[0477]
For example, if image data as a television broadcast program (hereinafter referred to as program image data as appropriate) is displayed on the CRT 11 of the main unit 1 and a partially enlarged icon is clicked, first, In step S131, the CPU 129 replaces the master unit 1 with a scalable slave unit that displays the entire program image data displayed on the CRT 11 of the master unit 1 (hereinafter, referred to as an overall display slave unit as appropriate). The television receiver constituting the TV system is selected from the television receivers, and the process proceeds to step S132.
[0478]
Here, as the slave unit for whole display, it is possible to select only one of the slave units constituting the scalable TV system, or to select two or more units (including all). It is also possible to make it.
[0479]
In step S132, the CPU 129 controls the IEEE1394 interface 133 to communicate with the whole display slave unit, and thereby determines whether the whole display slave unit is turned on.
[0480]
If it is determined in step S132 that the power supply of the whole display slave unit is not turned on, the process proceeds to step S133, and the CPU 129 controls the IEEE1394 interface 133 to control the whole display slave unit. A command instructing to turn on the power is transmitted, whereby the entire display slave is turned on, and the process proceeds to step S134.
[0481]
If it is determined in step S132 that the power of the whole display slave unit is on, step S133 is skipped and the process proceeds to step S134. The CPU 129 controls the signal processing unit 137. In the image displayed on the CRT 11, a message requesting to designate a position to be enlarged (enlarged position) (hereinafter referred to as an enlarged position designation request message) is displayed on the CRT 11 by, for example, OSD.
[0482]
That is, in this case, the signal processing unit 137 generates the OSD data of the enlarged position designation request message according to the control from the CPU 129 and superimposes it on the program image data stored in the frame memory 127. The program image data on which the OSD data of the enlargement position designation request message is superimposed is supplied from the frame memory 127 to the CRT 11 via the NTSC encoder 128. With this, in the CRT 11, the enlargement position designation is performed together with the program image data. The request message is OSD displayed.
[0483]
Thereafter, the process proceeds to step S135, and the CPU 129 determines whether or not the user has specified an enlarged position in response to the enlarged position designation request message displayed in step S134, and determines that the enlarged position has not been designated. If so, the process returns to step S135.
[0484]
If it is determined in step S135 that the user has designated an enlargement position, that is, the user designates a position on the display screen of the CRT 11 by operating the remote controller 15 (or the remote controller 35). When the infrared ray corresponding to the position is received by the IR receiver 135 and supplied to the CPU 129, the CPU 129 recognizes the designated position as an enlarged position, and proceeds to step S136.
[0485]
In step S136, the CPU 129 controls the IEEE1394 interface 133 to instruct the entire display slave unit to select an input to the IEEE1394 interface 153 (FIG. 11) and display it on the CRT 31. An external input selection command is transmitted, and the process proceeds to step S137.
[0486]
In step S137, CPU 129 starts transferring the program image data to the full display slave unit.
[0487]
That is, the CPU 129 requests the demultiplexer 124 for the TS packet supplied to the MPEG video decoder 125 in the transport stream, and receives the TS packet supplied from the demultiplexer 124 in response to the request. Further, the CPU 129 controls the IEEE1394 interface 133 to transfer the TS packet received from the demultiplexer 124 to the whole display slave unit. Accordingly, the TS packet corresponding to the program image data displayed on the CRT 11 of the master unit 1 is transferred to the full display slave unit. Further, in the full display slave unit, one of the slave units shown in FIG. By performing the part enlargement process, program image data corresponding to the TS packet is displayed. In other words, the entire display slave unit displays the entire program image data displayed on the master unit 1.
[0488]
In the CPU 129, the program image data stored in the frame memory 127, that is, the image data after MPEG decoding is read via the signal processing unit 137 and transferred to the entire display slave unit, not the TS packet. It is also possible to do so. In this case, the program display data can be displayed on the whole display slave unit without MPEG decoding.
[0489]
As described above, when the transfer of the TS packet to the whole display slave unit is started, the process proceeds to step S138, and the CPU 129 controls the signal processing unit 137 to store the program stored in the frame memory 127. Image conversion using a predetermined range centered on the enlargement position of image data as an enlargement range, and using the enlargement range as a target, and coefficient seed data for resizing processing set in the coefficient seed memory 167 (FIG. 22) Let the process do.
[0490]
That is, in this embodiment, at least coefficient type data for resizing processing is stored in the coefficient type memory 167 constituting the signal processing unit 137 (FIG. 22) of the base unit 1, and the signal processing unit 137 The tap coefficient generated from the coefficient seed data for resizing processing stored in the coefficient seed memory 167 is used for the expansion range as a predetermined range centering on the expansion position of the program image data stored in the frame memory 127. By performing image conversion processing, the program image data in the enlargement range is converted into image data enlarged (resized) at a predetermined enlargement rate (hereinafter referred to as “partially enlarged image data” as appropriate).
[0491]
This partially enlarged image data is supplied to the CRT 11 via the frame memory 127 and the NTSC encoder 128 and displayed in step S139.
[0492]
Therefore, in this case, the CRT 11 of the parent device 1 displays partially enlarged image data obtained by enlarging a predetermined range (enlarged range) centered on the enlarged position designated by the user of the program image data.
[0493]
Here, the size range of the enlargement range is set corresponding to the enlargement rate, for example.
[0494]
That is, when performing the partial enlargement process, for example, a default enlargement ratio (default enlargement ratio) is set in advance, and the CPU 129 assigns parameters corresponding to the default enlargement ratio to the signal processing unit 137 (FIG. 22). Parameter memory 168. Accordingly, the signal processing unit 137 performs a resizing process in which the program image data is enlarged by the default enlargement ratio.
[0495]
On the other hand, the size of the image data that can be displayed on the CRT 11, that is, the size of the display screen is determined in advance.
[0496]
Therefore, the CPU 129 sets a range centering on the enlargement position, which is the size of the display screen of the CRT 11 when the enlargement is performed by the default enlargement ratio, as the enlargement range.
[0497]
Note that the user can set the enlargement ratio when performing the image conversion processing in step S138.
[0498]
That is, for example, by controlling the signal processing unit 137 in the CPU 129, an enlargement ratio can be designated for the CRT 11, a lever that can be operated by the remote controller 15 (or the remote controller 35) (hereinafter designated as an enlargement ratio as appropriate). It is possible to display an enlargement ratio) and designate the enlargement ratio by the position of the enlargement ratio designation lever.
[0499]
In this case, when the user moves the position of the enlargement ratio designating lever by operating the remote controller 15, the CPU 129 sets the enlargement ratio parameter corresponding to the position after the movement in the signal processing unit 137 (FIG. 22). It is set in the parameter memory 168. Further, the CPU 129 sets an enlargement range centered on the enlargement position corresponding to the enlargement rate corresponding to the position of the enlargement rate designating lever as in the case of the default enlargement rate described above, and targets the enlargement range. The signal processing unit 137 is instructed to perform image conversion processing (resizing processing).
[0500]
As described above, the partially enlarged image data obtained by enlarging the program image data in the enlarged range centered on the enlarged position is displayed on the CRT 11 with the enlargement rate according to the operation of the remote controller 15 by the user.
[0501]
The enlargement factor designating lever can be displayed on the CRT 11 of the master unit 1 or displayed on a television receiver other than the master unit 1 constituting the scalable TV system.
[0502]
Thereafter, the process proceeds to step S140, and the CPU 129 determines whether a command for ending the display of the partially enlarged image data (hereinafter, referred to as a partially enlarged end command as appropriate) has been transmitted.
[0503]
If it is determined in step S140 that a partial enlargement end command has not been transmitted, the process returns to step S133, and the same processing is repeated thereafter.
[0504]
If it is determined in step S140 that a partial enlargement end command has been transmitted, that is, for example, the user operates the remote controller 15 (FIG. 7) to display a menu screen on the CRT 11, and The partial enlargement icon on the menu screen is clicked again, whereby the infrared of the partial enlargement end command, which is a command corresponding to the operation of the remote controller 15, is emitted from the remote controller 15 and received by the IR receiver 135. If it is supplied to the CPU 129, the process proceeds to step S141, and the CPU 129 controls the IEEE1394 interface 133 to end the transfer of the program image data to the whole display slave unit.
[0505]
In step S142, the CPU 129 controls the signal processing unit 137 to stop the resizing process, and ends the partial enlargement process. As a result, the CRT 11 displays an image in the normal size.
[0506]
Next, with reference to the flowchart of FIG. 37, the partial expansion process of the slave unit as the slave unit for whole display will be described.
[0507]
In handset 2 as the overall display handset, first, in step S151, CPU 149 determines whether or not base unit 1 has received the external input selection command transmitted in step S136 in FIG. If it is determined that it has not been received, the process returns to step S151.
[0508]
If it is determined in step S151 that an external input selection command has been received from the parent device 1, that is, the external input selection command from the parent device 1 has been received and supplied to the CPU 149 in the IEEE1394 interface 153. In step S152, the CPU 149 selects program image data received by the IEEE1394 interface 153, supplies the program image data to the MPEG video decoder 145 via the demultiplexer 144, and proceeds to step S153.
[0509]
In step S153, the CPU 149 determines whether or not the program image data that the base unit 1 starts to transfer in step S137 of FIG. 36 has been transmitted.
[0510]
If it is determined in step S153 that the program image data from the parent device 1 has been transmitted, that is, if the program image data from the parent device 1 is received and supplied to the CPU 149 in the IEEE1394 interface 153, the program is step S154. The CPU 149 causes the CRT 31 to display the program image data.
[0511]
That is, in the present embodiment, in step S137 of FIG. 36, transmission of TS packets as program image data is started from the master unit 1 to the slave unit 2 as the overall display slave unit. The CPU 149 supplies the TS packet from the parent device 1 received via the IEEE1394 interface 153 to the MPEG video decoder 145 via the demultiplexer 144. The MPEG video decoder 145 decodes the TS packet to obtain program image data, and writes it into the frame memory 147. The program image data written in the frame memory 147 is supplied to the CRT 31 via the NTSC encoder 148 and displayed.
[0512]
Thereafter, the process returns to step S153, and the processes of steps S153 and S154 are repeated until it is determined in step S153 that no program image data is transmitted from the parent device 1.
[0513]
If it is determined in step S153 that program image data has not been transmitted from base unit 1, that is, if it is no longer possible to receive program image data in IEEE1394 interface 153, the partial enlargement process is terminated. To do.
[0514]
According to the partial enlargement process of the master unit in FIG. 36 and the partial enlargement process of the slave unit in FIG. 37, for example, as shown in FIG. 38A, it is located in the second row and second column constituting the scalable TV system. When program image data is displayed on the master unit 1, if a certain position P in the program image data is designated as an enlargement position, a predetermined rectangular area centered on the enlargement position P (center of gravity) ( 38A is set as an enlarged range, and as shown in FIG. 38B, partially enlarged image data obtained by enlarging the program image data in the enlarged range is transferred to the master unit 1 instead of the program image data. Is displayed.
[0515]
Furthermore, for example, the handset 2 next to the left of the base unit 1_{twenty one}However, as shown in FIG. 38B, the slave unit 2 which is the slave unit for overall display is selected._{twenty one}The entire program image data displayed on the master unit 1 is displayed.
[0516]
Therefore, the user can see in detail the portion of the program image data that the user wants to see in detail in the master unit 1. Further, the user can view the entire program image data on the slave unit 2. Further, in the present embodiment, as described above, the user can set the enlargement ratio of the partially enlarged image data by operating the remote controller 15, so that the user can set the program image data in more detail. You can enlarge the part you want to see as much as you want.
[0517]
Here, in the signal processing unit 137 (FIG. 22) of the base unit 1 (FIG. 10), the tap coefficient w generated from the coefficient seed data is used._nIn accordance with Equation (1), the enlarged range of the program image data is converted into partially enlarged image data. This image conversion is a simple interpolation process at first glance if only attention is paid to Equation (1). Looks like that. However, the tap coefficient w used in equation (1)_nAs described with reference to FIG. 24 to FIG. 28, the coefficient seed data used to generate the data is obtained by learning using teacher data and student data, and such coefficient seed data. Tap coefficient w generated from_nThe component included in the teacher data can be reproduced by converting the image using. That is, for the coefficient seed data for resizing processing, the tap coefficient w from which the coefficient seed data was generated_nAccording to the above, it is possible to reproduce details not appearing in the original image and to enlarge the image. Therefore, the resizing process as the image conversion process by the equation (1) generated from the coefficient seed data obtained by learning is completely different from the image enlargement process by simple interpolation process.
[0518]
Note that the enlargement process of the enlargement range of the program image data to the partially enlarged image data can be performed by a simple interpolation process in addition to the tap coefficient obtained from the coefficient seed data. However, in the case of simple interpolation processing, the details that the original program image data does not have cannot be reproduced. Therefore, the larger the enlargement ratio, the more blurred the image that the block-like square portions are conspicuous. Will be.
[0519]
In the present embodiment, partially enlarged image data is displayed on the master unit 1 and the entire program image data is displayed on the slave unit 2, but the program image data remains displayed on the master unit 1. It is also possible to display partially enlarged image data on the slave unit 2.
[0520]
Further, in the present embodiment, the partially enlarged image data is displayed on the master unit 1 and the entire program image data is displayed on the slave unit 2 as the slave unit for overall display. Thus, it is also possible to display the partially enlarged image data or the entire program image data on another television receiver constituting the scalable TV system.
[0521]
In addition, in the master unit 1 constituting the scalable TV system, the entire program image data is displayed, and the slave unit 2 as another television receiver is displayed.₁₁2₃₃It is possible to display partially enlarged image data having different enlargement ratios for each. In this case, all partially enlarged image data having different enlargement rates are generated by the signal processing unit 137 of the parent device 1 and the child device 2 as another television receiver.₁₁2₃₃Can be supplied to each, or the slave unit 2 as another television receiver₁₁2₃₃In each signal processing unit 157, it is possible to generate partially enlarged image data of each enlargement ratio.
[0522]
Furthermore, in the present embodiment, the coefficient seed data for resizing processing is stored in the parent device 1, but when the coefficient seed data for resizing processing is not stored in the parent device 1, When other television receivers constituting the scalable TV system store the coefficient seed data for resizing processing, the master unit 1 acquires the coefficient seed data for resizing processing from the television receiver. It is possible to In addition, the coefficient seed data for resizing processing can be obtained from the coefficient seed data providing server as described above.
[0523]
In the above case, the resizing process for enlarging the program image data is performed. However, in the resizing process, the program image data can be reduced.
[0524]
In the above case, the image data (program image data) as a television broadcast program is enlarged. However, in the partial enlargement process, other external devices (optical disk device, magneto-optical disk device, Image data input from a VTR or the like can be the target of the processing.
[0525]
Furthermore, in the partial enlargement process, both the horizontal direction and the vertical direction of a part of the program image data are enlarged by the same enlargement ratio, and the horizontal direction and the vertical direction are enlarged by different enlargement ratios. Is also possible.
[0526]
In the present embodiment, the partial enlargement process is performed only for the enlargement range that can be displayed on the display screen of the CRT 11 in the program image data. However, the partial enlargement process is performed on the entire program image data. It can also be done on the subject. In this case, since the entire enlarged image obtained by enlarging the program image data cannot be displayed on the CRT 11, only a part of the enlarged image is displayed, but which part of the enlarged image is displayed on the CRT 11. For example, it can be changed according to the operation of the remote controller 15.
[0527]
Next, as described above, the scalable TV system has a special function for enlarging a part of image data as well as for enlarging the entire image data. This is realized by performing the entire enlargement process.
[0528]
An instruction to perform the entire enlargement process can also be given from the menu screen, for example, similarly to an instruction to perform the partial enlargement process.
[0529]
That is, as described above, when the user operates the menu button switch 54 (or the menu button switch 84 of the remote controller 35 (FIG. 8)) of the remote controller 15 (FIG. 7), the CRT 11 (or the slave unit 2) of the parent device 1 is operated. In the CRT 31), a menu screen is displayed. For example, an icon representing the entire enlargement process (hereinafter referred to as an entire enlargement icon as appropriate) is displayed on the menu screen. By operating the remote control 15 and clicking on the entire enlargement icon, the entire enlargement process is started in each of the parent device 1 and the child device 2.
[0530]
First, the overall enlargement process of the master unit will be described with reference to the flowchart of FIG.
[0531]
For example, if the entire enlargement icon is clicked in a state where image data (program image data) as a television broadcast program is displayed on the CRT 11 of the parent device 1, first, in step S161, the parent data The CPU 129 of the device 1 (FIG. 10) controls the IEEE1394 interface 133 to transmit coefficient type data for resizing processing to all the slave devices constituting the scalable TV system.
[0532]
Here, in the present embodiment, it is assumed that coefficient type data for resizing processing is stored in the coefficient type memory 167 of the signal processing unit 137 (FIG. 22) of the base unit 1, and the CPU 129 determines in step S 161. The coefficient seed data for resizing processing is read from the signal processing unit 137 and transmitted.
[0533]
In addition, when the master unit 1 does not have coefficient seed data for resizing processing, as in the case of the partial enlargement processing described above, among other television receivers constituting the scalable TV system, It is possible to acquire the coefficient seed data for resizing processing from the one storing the coefficient seed data for resizing processing or the coefficient seed data providing server.
[0534]
Then, the process proceeds to step S162, and the CPU 129 transmits all the slave units 2 constituting the scalable TV system via the IEEE1394 interface 133.₁₁Thru₃₃2 which is turned off by communicating with_ijDetermine if there is any.
[0535]
In step S162, handset 2 whose power is off_ijIf it is determined that there is a power, the process proceeds to step S163, where the CPU 129 transmits a command to turn on the power via the IEEE1394 interface 133, and thereby the handset 2 whose power is turned off._ijIs turned on, and the process proceeds to step S164.
[0536]
In step S162, the handset 2 whose power is turned off is also displayed._ijIf it is determined that there is not, step S163 is skipped, and the process proceeds to step S164. The CPU 129 controls the IEEE1394 interface 133 to control all the slave units 2.₁₁2₃₃In response to this, an input to the IEEE1394 interface 153 (FIG. 11) is selected and an external input selection command for instructing display on the CRT 31 is transmitted, and the process proceeds to step S165.
[0537]
In step S165, the CPU 129 initializes the enlargement ratio N for enlarging the program image data to 1 and further increases the maximum enlargement ratio N._maxAnd enlargement pitch α.
[0538]
That is, in the overall enlargement process, for example, in the scalable TV system configured by 3 × 3 television receivers shown in FIG. 1A, the entire program image data (full screen) displayed on the master unit 1 is Main unit 1 is a slave unit 2 that is another television receiver.₁₁2₃₃Finally, image data obtained by enlarging the entire program image data (hereinafter referred to as overall enlarged image data as appropriate) is spread over the entire 3 × 3 television receivers. Is displayed.
[0539]
Therefore, the entire program image data displayed on the master unit 1 is finally expanded to the entire enlarged image data having a size that can be displayed on the entire television receiver constituting the scalable TV system. The ratio between the final overall enlarged image data and the original program image data (program image data displayed on the main unit 1) is the maximum enlargement ratio N._maxSet as That is, in the present embodiment, the program image data displayed on the master unit 1 is enlarged to the entire enlarged image data displayed on the 3 × 3 television receivers. Since it will be enlarged three times simply, the maximum enlargement ratio N_maxIs set to 3 times.
[0540]
In the overall enlargement process, as described above, the entire program image data displayed on the master unit 1 is gradually enlarged. For example, the program image data is gradually enlarged at a large enlargement ratio N. Enlarged and finally the maximum magnification N_maxIt can be realized by enlarging with. Therefore, in this case, the enlargement ratio N is changed from 1 to the maximum enlargement ratio N._maxHowever, the pitch for changing the enlargement ratio N is the enlargement pitch α, for example, the maximum enlargement ratio N_maxA value obtained by dividing −1 by one or more predetermined values (hereinafter referred to as an enlargement number value as appropriate) is set.
[0541]
Here, the enlargement count value can be set in advance in the base unit 1 or can be set by the user operating the remote controller 15 (or the remote controller 35). When the enlargement count value is set to a small value, the program image data displayed on the master unit 1 is immediately enlarged to a large overall enlarged image data, and when the enlargement count value is set to a large value, The program image data displayed on the master unit 1 is gradually enlarged to large overall enlarged image data.
[0542]
In step S165, as described above, the enlargement ratio N is initialized and the maximum enlargement ratio N is set._maxAfter the setting of the enlargement pitch α, the process proceeds to step S166, and the CPU 129 newly sets the enlargement ratio N to N + α times, and then proceeds to step S167.
[0543]
The enlargement factor N newly set in step S166 is the maximum enlargement factor N._maxIn the case of exceeding the CPU 129, the CPU 129 sets the enlargement ratio N to the maximum enlargement ratio N._maxSet to.
[0544]
In step S167, the CPU 129 expands the range to be expanded by the signal processing unit 137 in the program image data displayed on the parent device 1, and each child device 2._ijAn enlargement range as a range to be enlarged by the signal processing unit 157 in FIG. 11 is obtained based on the enlargement ratio N set in step S165, and the process proceeds to step S168. In step S168, the CPU 129 determines the CRT 11 of the parent device 1 and each child device 2._ijIn each of the CRTs 31 (FIG. 11), a display range as a range for displaying the image data obtained by enlarging the enlarged range of the program image data (hereinafter also referred to as “partially enlarged image data”) is set in step S165. It calculates | requires based on the expansion rate N, and progresses to step S169.
[0545]
Here, referring to FIG. 40, the expansion range of master device 1 (the range of program image data to be enlarged by signal processing unit 137 of master device 1), and slave device 2_ijExpansion range (slave unit 2_ijRange of the program image data to be enlarged by the signal processing unit 157) and the slave unit 2_ijDisplay range (slave unit 2_ijIn CRT31, handset 2_ijA calculation method for calculating a partially enlarged image data obtained by enlarging the program image data in the enlarged range based on the enlargement ratio N will be described.
[0546]
FIG. 40A shows a display screen of a scalable TV system composed of 3 × 3 television receivers.
[0547]
That is, the display screen of the scalable TV system includes a display screen by the CRT 11 of one master unit 1 and eight slave units 2.₁₁2₃₃The display screen is composed of a total of nine CRTs and a display screen based on each CRT 31. As described above, the master unit 1 and the slave unit 2_ijThe display screen sizes of are the same.
[0548]
In the entire enlargement process, as described above, the entire program image data displayed on the parent device 1 is gradually enlarged. Now, the program image data displayed on the parent device 1 is set as the image data Q. The entire enlarged image data obtained by enlarging the image data Q at a predetermined enlargement ratio N is defined as image data Q ′.
[0549]
In this case, when the vertical and horizontal lengths of the display screen size of the main unit 1 are represented by a and b, respectively, the vertical and horizontal lengths of the program image data Q are also a and b, respectively.
[0550]
Further, since the entire enlarged image data Q 'is obtained by multiplying the vertical and horizontal lengths of the program image data Q by N times, the vertical and horizontal lengths are Na and Nb, respectively.
[0551]
In the entire enlargement process, as described above, since the entire enlarged image data Q ′ obtained by enlarging the entire program image data Q displayed on the parent device 1 around the parent device 1 is displayed, the parent device 1 and the child device 1 are displayed. Machine 2₁₁2₃₃In the case where the entire enlarged image data Q ′ is displayed with the main unit 1 as the center, the main unit 1 displays the R in FIG. 40A in the display screen.₁It is necessary to display partially enlarged image data in the range indicated by_ijIn FIG. 40A, R_ijIt is necessary to display partially enlarged image data in the range indicated by.
[0552]
Therefore, in step S168 of FIG. 39, the range R₁Is obtained as the display range of base unit 1 and range R_ijIs handset 2_ijIt is calculated as the display range.
[0553]
That is, for the base unit 1, the entire display screen is displayed in the display range R.₁As required. In addition, the handset 2 at the upper left of the base 1₁₁, The display area R is the range of ((Nb−b) / 2) × ((Na−a) / 2) on the lower right side of the display screen.₁₁As a slave unit 2 above the master unit 1₁₂, The lower horizontal x vertical area of the display screen is b x ((Na-a) / 2).₁₂As required. Furthermore, handset 2 at the upper right of base 1₁₃In the display screen, the horizontal x vertical size on the lower left side of the display screen is the range of ((Nb−b) / 2) × ((Na−a) / 2).₁₃The left handset 2 of the base unit 1_{twenty one}For the display screen, the range of ((Nb−b) / 2) × a is the display range R on the right side of the display screen._{twenty one}As required. In addition, the slave unit 2 on the right side of the master unit_{twenty three}For the display screen R, the horizontal x vertical range on the left side of the display screen is ((Nb−b) / 2) × a._{twenty three}As the slave unit 2 at the lower left of the master unit 1₃₁, The range of ((Nb−b) / 2) × ((Na−a) / 2) on the upper right side of the display screen is the display range R.₃₁As required. Furthermore, the slave unit 2 under the master unit 1₃₂, The horizontal x vertical range on the upper side of the display screen is b x ((Na-a) / 2).₃₂Sought as a handset 2 at the bottom right of the base unit₃₃In the upper left side of the display screen, the horizontal x vertical range is ((Nb−b) / 2) × ((Na−a) / 2).₃₃As required.
[0554]
On the other hand, the display range R of base unit 1 shown in FIG.₁And handset 2_ijDisplay range R_ijIs regarded as the range of the entire enlarged image data Q ′, the range R in the entire enlarged image data Q ′.₁And R_ijSince the image data is partially enlarged image data obtained by enlarging a part of the original program image data Q, the display range R of the parent device 1 is displayed.₁And handset 2_ijDisplay range R_ijIt is necessary to obtain an enlarged range as the range of the program image data Q to be enlarged to the partially enlarged image data to be displayed on the screen.
[0555]
Therefore, in step S167, as shown in FIG. 40B, the range R of the entire enlarged image data Q ′.₁And R_ijRange r of the original program image data Q corresponding to₁And r_ijHowever, the expansion range of the master unit 1 and the slave unit 2_ijAre each required as an expansion range.
[0556]
In other words, in this case, the entire enlarged image data Q ′ having a size of Nb × Na is obtained by enlarging the program image data Q having a size of b × a at an enlargement ratio of N times. Q 'range R₁And R_ijRange r of program image data Q corresponding to the range reduced to 1 / N₁And r_ijHowever, the expansion range of the master unit 1 and the slave unit 2_ijAre each required as an expansion range.
[0557]
Specifically, for base unit 1, the range of horizontal / vertical b / N × a / N of the center portion of program image data Q is an enlarged range r.₁As required. In addition, the handset 2 at the upper left of the base 1₁₁Is the range of ((b−b / N) / 2) × ((a−N / N) / 2) on the upper left side of the program image data Q is the expanded range r.₁₁As a slave unit 2 above the master unit 1₁₂, The range of (b / N) × ((aa−N) / 2) in the upper side of the program image data Q is the expanded range r.₁₂As required. Furthermore, handset 2 at the upper right of base 1₁₃For the program image data Q, the range of (× (b−b / N) / 2) × ((a−a / N) / 2) in the upper right side of the program image data Q is the expanded range r.₁₃The left handset 2 of the base unit 1_{twenty one}, The horizontal x vertical length of the program image data Q is ((b−b / N) / 2) × (a / N) in the enlarged range r._{twenty one}As required. In addition, the slave unit 2 on the right side of the master unit_{twenty three}As for the right side of the program image data Q, the horizontal x vertical range is ((b−b / N) / 2) × (a / N)._{twenty three}As the slave unit 2 at the lower left of the master unit 1₃₁Is the range of ((b−b / N) / 2) × ((a−a / N) / 2) in the lower left side of the program image data Q is the expanded range r.₃₁As required. Furthermore, the slave unit 2 under the master unit 1₃₂, The lower horizontal x vertical range of the program image data Q is (b / N) × ((aa−N) / 2).₃₂Sought as a handset 2 at the bottom right of the base unit₃₃Is the range of ((b−b / N) / 2) × ((a−a / N) / 2) in the lower right side of the program image data Q is the expanded range r.₃₃As required.
[0558]
Returning to FIG. 39, in step S169, the CPU 129 controls the IEEE1394 interface 133 to display the image data by performing resizing processing for enlarging the image data using the coefficient seed data for resizing processing transmitted in step S161. Is displayed together with the program image data, the enlargement ratio N, the enlargement range, and the display range._ijSend to.
[0559]
Here, for the program image data, the CPU 129 requests the demultiplexer 124 for TS packets supplied to the MPEG video decoder 125 in the transport stream, and is supplied from the demultiplexer 124 in response to the request. Each slave unit 2_ijSend to.
[0560]
Further, the CPU 129 determines each child device 2 for the expansion range and the display range._ijThe expansion range and display range obtained for the_ijSend to.
[0561]
In addition, in CPU129, each cordless handset 2_ijFor example, program image data stored in the frame memory 127, that is, image data after MPEG decoding, can be read out via the signal processing unit 137 and transmitted instead of the TS packet. In this case, each handset 2_ijThen, it is not necessary to MPEG-decode the program image data.
[0562]
Further, in this way, the program image data after MPEG decoding is transferred to the slave unit 2._ijIn the case of transmitting to the slave unit 2, not the entire program image data but of the program image data._ijIt is possible to transmit only the portion of the expansion range obtained for.
[0563]
Thereafter, the process proceeds to step S170, and the CPU 129 sets the parameter z corresponding to the enlargement ratio N set in step S166 in the parameter memory 168 of the signal processing unit 137 (FIG. 22), and the process proceeds to step S171.
[0564]
In step S171, the CPU 129 controls the signal processing unit 137 (FIG. 22) to store each slave unit 2 in step S169, which is stored in the frame memory 127._ijOf the same program image data transmitted to the base unit 1 for the expanded range r₁Image conversion processing for (FIG. 40B) is performed.
[0565]
That is, in the present embodiment, coefficient type data for resizing processing is stored in the coefficient type memory 167 constituting the signal processing unit 137 (FIG. 22) of the base unit 1, and the signal processing unit 137 Expansion range r of program image data stored in memory 127₁Is subjected to image conversion processing using the coefficient seed data for resizing processing stored in the coefficient seed memory 167 and the tap coefficient generated from the parameter z stored in the parameter memory 168, thereby expanding the range r.₁Is converted into partially enlarged image data as image data enlarged (resized) at an enlargement ratio N.
[0566]
Furthermore, at this time, the CPU 129 displays the partially enlarged image data in the display range R obtained for the parent device 1 in the display screen of the CRT 11.₁The signal processing unit 137 is controlled so as to be displayed at the position (FIG. 40A). In other words, the signal processing unit 137 causes the partially enlarged image data to be displayed in the display range R obtained for the parent device 1 in the display screen of the CRT 11.₁The display position is adjusted so that it is displayed at the position (FIG. 40A).
[0567]
Note that the display range R of the base unit 1 has been described with reference to FIG.₁Since it matches the display screen size of the CRT 11, it is not actually necessary to adjust the display position of the partially enlarged image data.
[0568]
In step S172, the signal processing unit 137 supplies the partially enlarged image data obtained in step S171 to the CRT 11 via the frame memory 127 and the NTSC encoder 128 for display.
[0569]
Therefore, in this case, the CRT 11 of the base unit 1 has an enlarged range r of the program image data on the entire display screen.₁Partially enlarged image data obtained by enlarging the image by the enlargement ratio N is displayed.
[0570]
Thereafter, the process proceeds to step S173, and the CPU 129 determines that the enlargement ratio N is equal to the maximum enlargement ratio N._maxDetermine if it is less than. In step S173, the enlargement ratio N is equal to the maximum enlargement ratio N._maxIf it is determined that the value is less than the value, the process proceeds to step S166, and the same processing is repeated thereafter.
[0571]
In step S173, the enlargement ratio N is set to the maximum enlargement ratio N._maxIf it is determined that the magnification is not less than, that is, the enlargement ratio N is the maximum enlargement ratio N in step S166._maxIf it is set, the process proceeds to step S174, and the CPU 129 controls the IEEE1394 interface 133 in the same manner as in step S169, so that the enlarged display command is sent to the program image data, the enlargement ratio N, the enlarged range, and the display range. For each handset 2_ijThe process proceeds to step S175.
[0572]
In step S175, the CPU 129 controls the signal processing unit 137 (FIG. 22) to store each slave unit 2 in step S174, which is stored in the frame memory 127._ijOf the same program image data transmitted to the base unit 1 for the expanded range r₁Image conversion processing for (FIG. 40B) is performed.
[0573]
That is, as a result, in step S175, as in step S169, the signal processing unit 137 causes the expanded range r of the program image data stored in the frame memory 127.₁Is subjected to image conversion processing using the coefficient seed data for resizing processing stored in the coefficient seed memory 167 and the tap coefficient generated from the parameter z stored in the parameter memory 168, thereby expanding the range r.₁Is converted into partially enlarged image data as image data enlarged (resized) at an enlargement ratio N.
[0574]
This partially enlarged image data is supplied to the CRT 11 via the frame memory 127 and the NTSC encoder 128 and displayed in step S176, as in step S172.
[0575]
Here, each handset 2 in step S174_ijSince the enlargement ratio N, the enlargement range, and the display range that are transmitted to each are obtained in the last steps S166 to S168, the enlargement ratio N is the maximum enlargement ratio N._maxIt has become. Furthermore, the enlargement range and display range are the maximum enlargement ratio N_maxThe enlargement ratio N is calculated as follows.
[0576]
Therefore, in this case, the enlargement range and display range of the base unit 1 are also the maximum enlargement ratio N._maxThe enlargement ratio N is calculated as follows.
[0577]
Further, when the image conversion process of step S175 is performed, the maximum enlargement ratio N is stored in the parameter memory 168 of the signal processing unit 137 (FIG. 22) by the process of step S170 performed last._maxThe parameter z corresponding to is set.
[0578]
From the above, in step S176, the maximum magnification N_maxThe enlargement range r obtained for the enlargement ratio N₁Program image data of the maximum magnification N_maxThe partially enlarged image data obtained by enlarging at the maximum magnification N_maxDisplay range R obtained for the enlargement factor N₁(As described above, the base unit 1 is equivalent to the display screen of the CRT 11).
[0579]
Thereafter, the process proceeds to step S177, and the CPU 129 determines whether or not a command for ending the display of the entire enlarged image data (hereinafter, appropriately referred to as an entire enlargement end command) has been transmitted.
[0580]
If it is determined in step S177 that the entire enlargement end command has not been transmitted, the process returns to step S174, and the same processing is repeated thereafter. Therefore, in this case, the maximum magnification N_maxThe display of the partially enlarged image data enlarged at is continued.
[0581]
If it is determined in step S177 that the entire enlargement end command has been transmitted, that is, for example, the user operates the remote controller 15 (FIG. 7) to display a menu screen on the CRT 11, and then The whole enlargement icon on the menu screen is clicked again, whereby the infrared of the whole enlargement end command, which is a command corresponding to the operation of the remote controller 15, is emitted from the remote controller 15, received by the IR receiver 135, and supplied to the CPU 129. If YES in step S178, the flow advances to step S178 to end the image conversion process in the signal processing unit 137 and end the entire enlargement process of the base unit 1. As a result, the program image data stored in the frame memory 127 is supplied as it is to the CRT 11 via the NTSC encoder 128, and the program image data is displayed in a normal size on the CRT 11.
[0582]
Next, referring to the flowchart of FIG. 41, each slave unit 2 that constitutes the scalable TV system._ijThe whole expansion process of the handset performed in the above will be described.
[0583]
Handset 2_ijIn FIG. 11, first, in step S181, the CPU 149 waits for the coefficient seed data for resizing processing to be transmitted from the master unit 1 in step S161 in FIG. Received via the IEEE1394 interface 153. Further, in step S181, the CPU 149 transfers the received coefficient type data for resizing processing to the signal processing unit 157 (FIG. 29) and sets the coefficient type data in the coefficient type memory 207. At this time, the signal processing unit 157 saves the coefficient seed data originally stored in the coefficient seed memory 207 in the empty area of the EEPROM 157B in advance.
[0584]
Here, handset 2_ijWhen the coefficient seed data for resizing processing is stored in the coefficient memory 207 constituting the signal processing unit 157, the processing in the above-described step S181 and step S188 described later can be skipped.
[0585]
Thereafter, the process proceeds to step S182, in which the CPU 149 determines whether or not the base unit 1 has received the external input selection command transmitted in step S164 of FIG. 39, and returns to step S182 if it is determined that it has not been received. .
[0586]
If it is determined in step S182 that an external input selection command has been received from the parent device 1, that is, the external input selection command from the parent device 1 is received and supplied to the CPU 149 in the IEEE1394 interface 153. In step S183, the CPU 149 selects program image data received by the IEEE1394 interface 153, supplies the program image data to the MPEG video decoder 145 via the demultiplexer 144, and proceeds to step S184.
[0587]
In step S184, the CPU 149 sends the program image data, the enlargement ratio N, the enlargement range r together with the enlargement display command from the parent device 1._ij, And display range R_ijIt is determined whether or not has been transmitted.
[0588]
In step S184, program image data, an enlargement ratio N, an enlargement range r together with an enlargement display command from the master unit 1 are displayed._ij, And display range R_ijIn other words, in the IEEE1394 interface 153, the enlarged display command from the master unit 1, the program image data, the enlargement ratio N, and the enlargement range r are determined._ij, And display range R_ijIs received and supplied to the CPU 149, the CPU 149 follows the enlarged display command, and the enlarged range r of the program image data transmitted together with the enlarged display command will be described below._ijIs enlarged at an enlargement ratio N, and the partially enlarged image data obtained as a result is displayed in the display range R in the display screen of the CRT 31._ijProcess to be displayed on.
[0589]
That is, in this case, the process proceeds from step S184 to S185, and the CPU 149 sets the parameter z corresponding to the enlargement ratio N received together with the enlargement display command in the parameter memory 208 of the signal processing unit 157 (FIG. 29). The process proceeds to step S186.
[0590]
In step S186, the CPU 149 controls the signal processing unit 157 (FIG. 29), whereby the slave unit 2 of the program image data received together with the enlarged display command stored in the frame memory 147 is stored._ijEnlarged range r found for_ijImage conversion processing for (FIG. 40B) is performed.
[0591]
That is, in this embodiment, in steps S169 and S174 in FIG._ijOn the other hand, a TS packet as program image data is transmitted together with the enlarged display command. In this case, the CPU 149 sends the TS packet received from the base unit 1 via the IEEE1394 interface 153 via the demultiplexer 144. To the MPEG video decoder 145. The MPEG video decoder 145 decodes the TS packet to obtain program image data, and writes it into the frame memory 147.
[0592]
Meanwhile, handset 2_ijIn the coefficient seed memory 207 constituting the signal processing unit 157 (FIG. 29), coefficient type data for resizing processing is set in step S181, and the signal processing unit 157 stores the program image stored in the frame memory 147. Data expansion range r_ijIs subjected to image conversion processing using the coefficient seed data for resizing processing stored in the coefficient seed memory 207 and the tap coefficient generated from the parameter z stored in the parameter memory 208, thereby expanding the range r._ijIs converted into partially enlarged image data as image data enlarged (resized) at an enlargement ratio N.
[0593]
Further, at this time, the CPU 149 determines that the partially enlarged image data is a slave unit in the display screen of the CRT 31._ijDisplay range R obtained for_ijThe signal processing unit 157 is controlled so as to be displayed at the position (FIG. 40A). That is, as a result, the signal processing unit 157 causes the partially enlarged image data to be displayed on the slave unit 2 in the display screen of the CRT 31._ijDisplay range R obtained for_ijThe display position is adjusted so that it is displayed at the position (FIG. 40A).
[0594]
Specifically, for example, handset 2₁₁Then, as shown in FIG. 40A, the partially enlarged image data is displayed in the lower right display range R in the display screen of the CRT 31.₁₁The display position of the partially enlarged image data is adjusted so as to be displayed on the screen.
[0595]
In this case, handset 2₁₁Then, the display range R in the display screen of the CRT 31₁₁The image data in a range other than is set to a black level, for example. Other handset 2_ijThe same applies to.
[0596]
In step S187, the signal processing unit 157 supplies the partially enlarged image data obtained in step S186 to the CRT 31 via the frame memory 147 and the NTSC encoder 148 for display.
[0597]
Thereafter, the process returns to step S184, and the processes of steps S184 to S187 are repeated thereafter.
[0598]
On the other hand, in step S 184, the program image data, the enlargement ratio N, the enlargement range r together with the enlargement display command from the parent device 1._ij, And display range R_ijIn other words, in the IEEE1394 interface 153, an enlarged display command, program image data, an enlargement ratio N, an enlargement range r are determined._ij, And display range R_ijIn step S188, the signal processing unit 157 resets the original coefficient seed data saved in the EEPROM 157B in the coefficient seed memory 207 (FIG. 29), and sets the slave unit. The entire enlargement process is terminated.
[0599]
According to the overall enlargement process of the master unit in FIG. 39 and the overall enlargement process of the slave unit in FIG. 41, for example, as shown in FIG. 42A, the master unit located in the second row and second column constituting the scalable TV system 42, when the program image data is displayed, the entire program image data displayed on the parent device 1 is centered on the parent device 1, as shown in FIG.₁₁2₃₃As shown in FIG. 42C, 3 × 3 master unit 1 and slave unit 2 are eventually expanded.₁₁2₃₃Thus, the entire enlarged image data obtained by enlarging the entire program image data is displayed.
[0600]
Therefore, the user can view the entire enlarged image data obtained by enlarging the entire program image data over the details.
[0601]
However, in a scalable TV system, there is actually a casing of a television receiver that constitutes the scalable TV system. Therefore, the adjacent portion between adjacent television receivers is a casing. No image is displayed on the part. That is, in FIG. 42, a housing portion that exists between adjacent television receivers is omitted in order to simplify the drawing. However, in practice, there is a casing between adjacent television receivers, and therefore the entire enlarged image data is not displayed on the casing portion of the television receiver, although it is slight. In other words, there is a problem of being separated.
[0602]
However, in human vision, even if a part of an image has a line with a very small width that hinders viewing, there is an interpolation action that interpolates an image of a portion hidden by the line from the surrounding image. For this reason, the above-described problems are not so serious when viewing the entire enlarged image data.
[0603]
In the overall enlargement process, similarly to the case described in the partial enlargement process, the coefficient seed data for resizing processing is used to perform the image conversion process to obtain the entire enlarged image data. It is possible to obtain the entire enlarged image data obtained by enlarging the program image data.
[0604]
However, the entire enlarged image data obtained by enlarging the entire program image data over the details can be viewed in the signal processing units 137 and 157 by performing image conversion processing using the coefficient seed data for resizing processing. If the program image data is enlarged by simple interpolation processing, the entire enlarged image data can be viewed, but the details are not reproduced. In other words, in the case of simple interpolation processing, it is possible to see only the entire enlarged image data with greatly deteriorated image quality as compared with the case of image conversion processing using coefficient seed data for resizing processing.
[0605]
Here, in the present embodiment, the special function is provided only when the authentication described in FIGS. 31 and 33 is successful. However, even if the authentication fails, the special function is called It is possible to provide it with restrictions.
[0606]
That is, for example, when the authentication is successful, the entire enlarged image data is provided by the image conversion process using the coefficient seed data for the resizing process, and when the authentication fails, the entire enlarged image by the simple interpolation process is provided. It is possible to provide data.
[0607]
In this case, a user who configures a scalable TV system using a television receiver that is not a parent device or a child device can view the entire enlarged image data, but the entire enlarged image data is obtained by simple interpolation processing. Therefore, the image quality is considerably deteriorated as compared with the case of the image conversion process using the coefficient seed data for the resizing process.
[0608]
On the other hand, a user who configures a scalable TV system using a television receiver, which is a parent device or a child device, increases the overall image quality by image conversion processing using coefficient seed data for resizing processing. You can see the image data.
[0609]
As a result, in a user who configures a scalable TV system using a television receiver that is not a parent device or a child device, the television that is the parent device or the child device is used to view high-quality overall enlarged image data. An incentive to purchase a receiver will work.
[0610]
In the present embodiment, the enlargement ratio for enlarging the entire program image data displayed on the master unit 1 into the entire enlarged image data having a size that can be displayed on the entire television receiver constituting the scalable TV system. The maximum magnification N_maxIs set as the maximum magnification N_maxCan be set to an arbitrary value by the user operating the remote controller 15 (or the remote controller 35).
[0611]
In this case, the maximum magnification N_maxHowever, the value for expanding the program image data to image data larger than the entire enlarged image data of a size that can be displayed on the entire television receiver that constitutes the scalable TV system (hereinafter referred to as an unspecified maximum enlargement ratio as appropriate). In other words, the entire enlarged image data enlarged at the maximum enlargement ratio outside the specified range cannot be displayed on the scalable TV system. That is, only a part of the entire enlarged image data enlarged at the non-standard maximum enlargement ratio can be displayed. In this case, which part of the entire enlarged image data enlarged at the non-standard maximum enlargement ratio may be set by the user operating the remote controller 15 (or the remote controller 35), for example. it can.
[0612]
Further, in the above-described case, in each television receiver configuring the scalable TV system, partially enlarged image data to be displayed on the television receiver is generated. However, each component configuring the scalable TV system The partially enlarged image data to be displayed on the television receiver can be generated, for example, on one or a plurality of television receivers such as the master unit 1. That is, for example, in the parent device 1, the entire enlarged image data is generated, and the partially enlarged image data that is a part of the entire enlarged image data is transmitted to each child device 2 via the IEEE1394 interface 133._ijIt is possible to send to. However, in this case, the master unit 1 is not only partially enlarged image data to be displayed by itself, but also each slave unit 2 that is another television receiver._ijSince it is also necessary to generate partially enlarged image data to be displayed in (1), the processing load increases.
[0613]
Further, in the above-described case, the image data (program image data) as a television broadcast program is enlarged. However, in the entire enlargement process, as in the case of the partial enlargement process, it is input from an external device. Image data to be processed.
[0614]
Further, in the overall enlargement process, as in the case of the partial enlargement process, both the horizontal direction and the vertical direction of a part of the program image data are enlarged by the same enlargement ratio as well as the horizontal direction and the vertical direction. It is also possible to enlarge each by a different enlargement ratio.
[0615]
In the case described above, in the scalable TV system composed of 3 × 3 television receivers, the image data displayed on the base unit 1 arranged at the center thereof is arranged around each Handset 2_ijThe entire enlarged image data that is magnified in each direction (upper left, left, lower left, upper, lower, upper right, right, lower right) is displayed, but for example, it is arranged in the lower left Handset 2₃₁The image data to be displayed on the handset 2 is arranged on it._{twenty one}, Base unit 1 arranged at the upper right, slave unit 2 arranged at the right₃₂It is also possible to display the entire enlarged image data that is enlarged in the respective directions.
[0616]
Further, in the above case, the master unit 1 and each slave unit 2_ijIn this case, the user operates the remote controller 15 to generate the entire enlarged image data (partially enlarged image data constituting the same) after the instruction to perform the entire enlargement process. And each handset 2_ijThen, the enlargement ratio N is always 1 + α, 1 + 2α, 1 + 3α,._maxIf the entire enlargement image data is generated and there is a command to perform the entire enlargement process, the enlargement ratio N is immediately 1 + α, 1 + 2α, 1 + 3α,._maxIt is also possible to sequentially display double the entire enlarged image data.
[0617]
Next, the scalable TV system has a special function for displaying image data, that is, a so-called multi-screen display, on the entire television receiver constituting the scalable TV system. This is realized by performing multi-screen display processing in the handset 2.
[0618]
The instruction to perform the multi-screen display process can be performed from the menu screen as in the case of the instruction to perform the partial enlargement process or the entire enlargement process, for example.
[0619]
That is, as described above, when the user operates the menu button switch 54 (or the menu button switch 84 of the remote controller 35 (FIG. 8)) of the remote controller 15 (FIG. 7), the CRT 11 (or the slave unit 2) of the parent device 1 is operated. In the CRT 31), a menu screen is displayed. For example, an icon representing a multi-screen display process (hereinafter referred to as a multi-screen display icon) is displayed on the menu screen. When the user clicks the multi-screen display icon by operating the remote controller 15, multi-screen display processing is started in each of the parent device 1 and the child device 2.
[0620]
Therefore, the multi-screen display process of the master unit will be described with reference to the flowchart of FIG.
[0621]
Here, in the multi-screen display process, as shown in FIG. 42C, the program image data is displayed on the entire television receiver constituting the scalable TV system. Accordingly, the multi-screen display process of the base unit 1 substantially sets the enlargement ratio N to the maximum enlargement ratio N._maxThis is equivalent to the entire enlargement process of FIG. 39 performed by ignoring the enlargement pitch α.
[0622]
For this reason, in the multi-screen display process of base unit 1, the same processes as in steps S161 to S164 of FIG. 39 are performed in steps S191 to S194.
[0623]
Then, the process proceeds to step S195, and the maximum enlargement ratio N is the same as in step S165 of FIG._maxIs set, and the process proceeds to step S196. In step S196, CPU 129 of base unit 1 (FIG. 10) sets enlargement ratio N to maximum enlargement ratio N._maxAnd the process proceeds to step S197.
[0624]
In step S197, the CPU 129 determines the maximum enlargement ratio N._maxIs set on the basis of the enlargement ratio N, the program image data enlargement range r in the parent device 1₁And each handset 2_ijExpansion range r of program image data in (FIG. 11)_ijAre obtained in the same manner as in step S167 of FIG. 39, and the process proceeds to step S198.
[0625]
Here, in the entire enlargement process of FIG. 39, in addition to obtaining the enlargement range in step S167, the display range is also obtained in step S168, but the enlargement ratio N is the maximum enlargement ratio N._maxIs displayed, the display range R of the main unit 1₁Is the entire display screen of the CRT 11 and the slave unit 2_ijDisplay range R_ijHowever, since it is the entire display screen of the CRT 31, it is known in advance and does not need to be obtained (or can be considered to have been obtained in advance). For this reason, in the multi-screen display process, the display range R of the main unit 1 is again introduced.₁And handset 2_ijDisplay range R_ijNot asking for.
[0626]
In step S198, the CPU 129 performs the maximum enlargement ratio N in the same manner as in step S170 of FIG._maxIs set in the parameter memory 168 of the signal processing unit 137 (FIG. 22).
[0627]
Then, the process proceeds to steps S199 to S201 in sequence, and the same processing as in steps S174 to S176 in FIG. 39 is performed._maxThe partially enlarged image data magnified in is displayed.
[0628]
Thereafter, the process proceeds to step S202, and the CPU 129 determines whether or not a command for ending the multi-screen display (hereinafter referred to as a multi-screen display end command as appropriate) has been transmitted.
[0629]
If it is determined in step S202 that the multi-screen display end command has not been transmitted, the process returns to step S199, and the same processing is repeated thereafter. Therefore, in this case, the maximum magnification N_maxThe display of the partially enlarged image data enlarged at is continued.
[0630]
If it is determined in step S202 that the multi-screen display end command has been transmitted, that is, for example, the user operates the remote controller 15 (FIG. 7) to display the menu screen on the CRT 11, and By re-clicking the multi-screen display icon on the menu screen, the infrared of the multi-screen display end command, which is a command corresponding to the operation of the remote controller 15, is emitted from the remote controller 15 and received by the IR receiver 135. When the image is supplied to the CPU 129, the process proceeds to step S203, the image conversion process in the signal processing unit 137 is terminated, and the multi-screen display process of the parent device 1 is terminated. As a result, the program image data stored in the frame memory 127 is supplied as it is to the CRT 11 via the NTSC encoder 128, and the program image data is displayed in a normal size on the CRT 11.
[0631]
In addition, cordless handset 2_ijMulti-screen display processing (slave unit 2_ijThe multi-screen display process performed by the slave unit 2 described with reference to FIG._ijSince this is the same as the entire enlargement process, description thereof will be omitted.
[0632]
Next, the scalable TV system has a special function that causes each television receiver that constitutes the scalable TV system to perform the same processing. It is realized by being performed.
[0633]
An instruction to perform the batch simultaneous control process can be performed from a menu screen, for example, as in the case of an instruction to perform a partial enlargement process.
[0634]
That is, as described above, when the user operates the menu button switch 54 (or the menu button switch 84 of the remote controller 35 (FIG. 8)) of the remote controller 15 (FIG. 7), the CRT 11 (or the slave unit 2) of the parent device 1 is operated. In the CRT 31), a menu screen is displayed. On this menu screen, for example, an icon representing a batch simultaneous control process (hereinafter referred to as a batch simultaneous control icon as appropriate) is displayed. When the user clicks the batch simultaneous control icon by operating the remote controller 15, the batch simultaneous control process is started in the parent device 1.
[0635]
Therefore, referring to the flowchart of FIG. 44, the batch simultaneous control process of the master unit will be described.
[0636]
In the collective simultaneous control process, the CPU 129 of the base unit 1 (FIG. 10) waits for a command for instructing a predetermined process by operating the remote controller 15 (or the remote controller 25), that is, IR The receiving unit 15 waits for infrared rays corresponding to a predetermined command from the remote controller 15 to be supplied to the CPU 129, and receives the command in step S211. Furthermore, in step S211, CPU 129 performs processing corresponding to the command, and proceeds to step S212.
[0637]
In step S212, the CPU 129 can perform processing corresponding to the command (hereinafter, appropriately referred to as remote control command) corresponding to the operation of the remote controller 15 received in step S211._ijIs present in the television receiver constituting the scalable TV system.
[0638]
Note that the determination processing in step S212 is performed by each CPU 2 stored in the EEPROM 130 by the CPU 129._ijThis is done by referring to the function information.
[0639]
In step S212, handset 2 that can perform processing corresponding to the remote control command_ijWhen it is determined that there is a slave unit 2, the process proceeds to step S 213, and the CPU 129 controls the IEEE1394 interface 133 to perform processing corresponding to the remote control command 2._ijSend remote control commands to all.
[0640]
Therefore, for example, now, the slave unit 2 constituting the scalable TV system._ijIf all can perform processing corresponding to the remote control command, the slave unit 2_ijRemote control commands are sent to all the slave units 2_ijThen, the processing corresponding to the remote control command, that is, the same processing as that performed in the base unit 1 in step S211 is performed.
[0641]
On the other hand, in step S212, handset 2 that can perform processing corresponding to the remote control command._ijIs determined not to exist, step S213 is skipped, the process proceeds to step S214, and the CPU 129 has transmitted a command for ending the batch simultaneous control process (hereinafter referred to as a batch simultaneous control end command as appropriate). Determine.
[0642]
If it is determined in step S212 that the batch simultaneous control end command has not been transmitted, the remote controller 15 is operated to wait for a command (remote control command) for instructing predetermined processing to be input, Returning to step S211, the same processing is repeated thereafter.
[0643]
If it is determined in step S212 that the batch simultaneous control end command has been transmitted, that is, for example, the user operates the remote controller 15 (FIG. 7) to display the menu screen on the CRT 11, and The batch simultaneous control icon on the menu screen is re-clicked, whereby the infrared of the batch simultaneous control end command, which is a command corresponding to the operation of the remote controller 15, is emitted from the remote controller 15 and received by the IR receiver 135. When supplied to the CPU 129, the batch simultaneous control process ends.
[0644]
According to the collective simultaneous control processing, for example, the slave unit 2 constituting the scalable TV system now_ijAssuming that all can perform processing corresponding to the remote control command, for example, when the user is instructed to select a certain channel by operating the remote control 15, as shown in FIG. 45A. In addition, in all of the master unit 1 and the slave unit 2 constituting the scalable TV system, image data broadcast on the channel is displayed. Further, when the user commands switching to another channel by operating the remote controller 15, as shown in FIG. 45B, the channel switching is performed in all of the master unit 1 and the slave unit 2 constituting the scalable TV system. Is done.
[0645]
Therefore, the user can control all the television receivers constituting the scalable TV system at the same time in the same manner by one remote controller 15.
[0646]
Next, as described above, the remote controller 15 is attached to the master unit 1 so that each slave unit 2 is connected._ijAlso, a remote controller 35 can be attached to each of them. Further, as described above, the master unit 1 is also connected to the slave unit 2 by the remote controller 15._ijCan also be controlled by the remote control 35 of the slave unit 2_ijIn addition, the remote controller 35 and the remote controller 15 of the parent device 1 can be used for control.
[0647]
Therefore, all of the television receivers constituting the scalable TV system can be controlled by only one remote controller 15 (or 35).
[0648]
However, in order to individually control each of the plurality of television receivers with only one remote controller 15, for example, the device ID of each of the plurality of television receivers is set in the remote controller 15, Prior to performing an operation for inputting a desired command, an operation for specifying a television receiver to be controlled, such as an operation for inputting a device ID of the television receiver to be controlled, is necessary, which is troublesome.
[0649]
Therefore, in order to control the master unit 1, the remote controller 15 associated therewith is connected to each slave unit 2._ijAfter all, each slave unit 2_ijThere is a method of using each of the remote controls 35 attached to the.
[0650]
However, this method requires a large number of nine remote controllers to separately control each of the television receivers constituting the scalable TV system of FIG. 1A. Furthermore, in this case, it may not be clear at a glance which remote controller controls which television receiver.
[0651]
Accordingly, the master unit 1 and each slave unit 2 constituting the scalable TV system._ijAmong them, the television receiver that is controlled by the user is the remote control 15 of the master unit 1 and each slave unit 2._ijIt is convenient if the user can control any of the remote controls 35 without performing an operation of specifying the television receiver to be controlled.
[0652]
Therefore, the scalable TV system has a special function that allows a user to recognize a television receiver as a control target and to control the control target television receiver with the remote controller 15 (or the remote controller 35). This special function is realized by performing individual processing in the master unit 1 and the slave unit 2.
[0653]
The instruction to perform the individual processing can be performed from a menu screen, for example.
[0654]
That is, as described above, when the user operates the menu button switch 54 of the remote controller 15 (FIG. 7) (or the menu button switch 84 of the remote controller 35 (FIG. 8)), the CRT 11 (or the slave unit 2) of the master unit 1 A menu screen is displayed on the CRT 31). For example, an icon representing individual processing (hereinafter, referred to as an individual processing icon as appropriate) is displayed on the menu screen. When the individual processing icon is clicked by operating the remote controller 15, the individual processing is started in each of the parent device 1 and the child device 2.
[0655]
First, the individual processing of the master unit 1 will be described with reference to the flowchart of FIG.
[0656]
In the individual processing of the base unit 1 (FIG. 10), the CPU 129 waits for the IR receiver 135 to receive infrared rays from the remote controller 15 (or the remote controller 35), and in step S221, the CPU 129 receives infrared rays from the IR receiver 135. Detect the received intensity. That is, when a user operates a remote controller 15 to control a control target of a certain television receiver that constitutes a scalable TV system, the remote controller 15 emits infrared rays corresponding to the operation. . This infrared light is transmitted to the IR receiver 135 of the base unit 1 and each handset 2_ijAlthough the light is received by the IR receiver 155 of FIG. 11, in step S221, the CPU 129 causes the IR receiver 135 to detect the received intensity of the infrared light and receives the supply.
[0657]
Then, the process proceeds to step S222, in which the CPU 129 transmits each slave unit 2 via the IEEE1394 interface 133._ijIn addition, each cordless handset 2_ijRequesting the receiving intensity of the infrared rays from the remote controller 15 in response to the request, and in response to the request, each slave unit 2_ijThe received intensity of the infrared rays transmitted from is acquired (received) via the IEEE1394 interface 133.
[0658]
That is, as described above, when the user operates the remote controller 15, the infrared rays emitted from the remote controller 15 are transmitted not only to the master unit 1 but also to each slave unit 2._ijHowever, in step S222, each handset 2 of the infrared ray is received._ijThe reception intensity at is acquired.
[0659]
Thereafter, the process proceeds to step S223, in which the CPU 129 receives the infrared ray reception intensity at the base unit 1 detected at step S221 and each slave unit 2 acquired at step S222._ijThe maximum reception intensity (maximum reception intensity) is detected from the infrared reception intensity at, and the process proceeds to step S224.
[0660]
In step S224, the CPU 129 determines whether the television receiver from which the maximum reception intensity is obtained (hereinafter, appropriately referred to as the maximum reception intensity device) is the parent device 1 or the child device 2.
[0661]
If it is determined in step S224 that the maximum reception intensity device is the base unit 1, the process proceeds to step S225, and the CPU 129 assumes that the command represented by the infrared light received by the IR reception unit 135 is for the base unit 1. The process corresponding to the command is executed.
[0662]
On the other hand, if it is determined in step S224 that the maximum reception intensity device is the slave unit 2, the process proceeds to step S226, and the CPU 129 controls the IEEE1394 interface 133 to represent the infrared light received by the IR receiver 135. Command is handset 2 whose maximum reception strength is_ijThe command is sent to the handset 2 which is the maximum reception strength device._ijSend to.
[0663]
Therefore, in this case, the slave unit 2 which is the maximum reception strength device_ijThen, as will be described later with reference to FIG. 47, processing corresponding to a command represented by infrared rays from the remote controller 15 is performed.
[0664]
Here, when the user performs control of a certain television receiver constituting the scalable TV system by operating the remote controller 15 (or the remote controller 35), generally the remote controller 15 is controlled. Operate towards the target television receiver.
[0665]
In this case, for example, assuming that the infrared light emitted from the remote controller 15 (or the remote controller 35) is highly directional, the television receiver that the user intends to control is the infrared light emitted from the remote controller 15. This means that the device is in the direction of the main axis, that is, the maximum reception intensity device having the highest infrared reception intensity.
[0666]
Therefore, as described above, by executing processing corresponding to the command represented by the infrared rays from the remote controller 15 in the maximum reception intensity device, the user can control the television receiver, that is, the maximum reception intensity device, in the user. The processing corresponding to the operation of the remote controller 15 is performed.
[0667]
Specifically, for example, when the user operates the remote controller 15 toward the parent device 1 to perform channel operation or volume operation, the parent device 1 becomes the maximum reception strength device, and as a result, the maximum reception strength device. In base unit 1, the channel and volume are changed in accordance with the operation. Further, for example, the user can connect the remote controller 15 to a certain handset 2._ijWhen channel operation or volume operation is performed toward_ijBecomes the maximum reception strength device, and as a result, the handset 2 which is the maximum reception strength device_ijThe channel and volume are changed in response to the operation.
[0668]
After the processes in steps S225 and S226, the process proceeds to step S227, and the CPU 129 determines whether a command for ending the individual process (hereinafter referred to as an individual process end command as appropriate) has been transmitted.
[0669]
If it is determined in step S227 that the individual process end command has not been transmitted, the infrared light emitted by operating the remote controller 15 is received by the IR receiver 135, and the process proceeds to step S221. Thereafter, the same processing is repeated thereafter.
[0670]
If it is determined in step S227 that an individual process end command has been transmitted, that is, for example, the user operates the remote controller 15 (FIG. 7) to display a menu screen on the CRT 11, and then The individual process icon on the menu screen is re-clicked, whereby the infrared of the individual process end command, which is a command corresponding to the operation of the remote controller 15, is emitted from the remote controller 15, received by the IR receiver 135, and supplied to the CPU 129. If YES in step S228, the CPU 129 controls the IEEE1394 interface 133 to send an individual process end command to each slave unit 2._ijAnd the individual processing of the base unit 1 is terminated.
[0671]
Next, the individual processing of the slave unit will be described with reference to the flowchart of FIG.
[0672]
In the individual processing of the slave unit 2 (FIG. 11), the CPU 149 waits for the IR reception unit 155 to receive infrared rays from the remote controller 15 (or the remote control 35), and in step S231, the infrared rays in the IR reception unit 155. Detect the received intensity. That is, when a user operates a remote controller 15 to control a control target of a certain television receiver that constitutes a scalable TV system, the remote controller 15 emits infrared rays corresponding to the operation. However, this infrared light is received by the IR receiver 155 of the handset 2 as described above. In step S231, the CPU 149 causes the IR receiver 155 to detect the received intensity of the infrared light and receives the supply.
[0673]
In step S232, the CPU 149 waits for an infrared reception intensity request from the parent device 1 to be transmitted to the parent device 1 via the IEEE1394 interface 153 to receive the infrared light detected in step S231. Send strength. In step S232, the reception intensity of the infrared rays transmitted from the child device 2 is acquired (received) in step S222 of FIG.
[0674]
Thereafter, the process proceeds to step S233, and the CPU 149 determines whether a command is transmitted from the parent device 1. That is, base unit 1 transmits a command to slave unit 2 in steps S226 and S228 of FIG. 46 described above. In step S233, whether or not a command has been transmitted from base unit 1 in this way. Is determined.
[0675]
If it is determined in step S233 that a command has not been transmitted from the parent device 1, the process returns to step S233.
[0676]
If it is determined in step S233 that a command is transmitted from the parent device 1, that is, if a command transmitted from the parent device 1 is received and supplied to the CPU 149 in the IEEE1394 interface 153, the command is transmitted to step S234. The CPU 149 determines whether the command is an individual process end command.
[0677]
If it is determined in step S234 that the command transmitted from the parent device 1 is not an individual processing end command, the process proceeds to step S235, and the CPU 149 executes processing corresponding to the command transmitted from the parent device 1. Return to step S233.
[0678]
Thus, as described with reference to FIG. 46, when the user operates the remote controller 15, in the slave unit 2 to which the remote controller 15 is directed, processing corresponding to the operation of the remote controller 15 (for example, channel or volume change). Is done.
[0679]
On the other hand, if it is determined in step S234 that the command transmitted from the parent device 1 is an individual processing end command, the individual processing of the child device 2 is ended.
[0680]
As described above, the remote controller 15 (or the remote controller 35) having a strong infrared directivity is used. Further, in the television receiver constituting the scalable TV system, the maximum infrared reception intensity from the remote controller 15 is the largest. By detecting the reception intensity device, it is possible to identify (recognize) the television receiver that the user intends to control. Therefore, the master unit 1 and each slave unit 2 constituting the scalable TV system._ijAmong them, the television receiver that is controlled by the user is the remote control 15 of the master unit 1 and each slave unit 2._ijThe remote controller 35 can be controlled by any remote controller 35 without performing an operation of specifying the television receiver that the user is to control.
[0681]
Next, according to the individual processing, for example, a certain user A is controlled by a remote controller 15 with a certain handset 2._ijChannel operation, a program PGM_A, And another user B uses the remote control 35 to receive another slave unit 2._pqChannel operation of other programs PGM_BA plurality of users can view different programs individually such as watching a program.
[0682]
In this case, handset 2_ijAnd 2_pqAlthough the image data of the different program is displayed on the CRT 31 of FIG._ijAnd 2_pqEven if they are arranged in adjacent positions_ijAnd 2_pqIt is not a big problem that image data of different programs are displayed on the screen.
[0683]
That is, in this case, handset 2_ijIn the program PGM_AImage data is displayed and handset 2_pqIn the program PGM_BTherefore, any image data will be in the field of view of the users A and B.
[0684]
However, the user A has the slave unit 2_ijProgram PGM displayed on_AThe user B tries to view the image data of_pqProgram PGM displayed on_BSince the user A is trying to view the image data, the program PGM that the user A does not intend to view_BIn other words, the image data of the program PGM that the user B is not going to view is masked._AThe image data is masked.
[0685]
Therefore, for the user A, the other handset 2_pqProgram PGM displayed on_BImage data of the handset 2_ijProgram PGM displayed on_AIt is not a big hindrance to the viewing of the image data of the user, and for the user B, the other handset 2_ijProgram PGM displayed on_AImage data of the handset 2_pqProgram PGM displayed on_BIt will not hinder the viewing of the image data.
[0686]
However, in this case, different audio data associated with different image data is output._ijSpeaker PGM from the speaker units 32L and 32R_AAudio data is output and the handset 2_pqSpeaker PGM from the speaker units 32L and 32R_BThere are some problems with the output of audio data.
[0687]
In other words, human auditory perception has a so-called cocktail party effect, and it is possible to distinguish desired audio data from a large number of audio data. However, low-power audio data The presence of audio data other than the desired audio data, that is, audio data that causes noise, such as being masked by large audio data, hinders viewing of the desired audio data.
[0688]
Therefore, the scalable TV system includes speaker units 12L and 12R of the master unit 1 and speaker units 32L and 32R (of the slave unit 2) in the direction of the user viewing the program on the master unit 1 and the slave unit 2. The speaker has a special function of directing the direction of the main axis of the directivity of the program so that the user can easily hear the audio data of the program being viewed by the user. And in the subunit | mobile_unit 2, it implement | achieves by performing a speaker control process.
[0689]
That is, here, for example, the directivity of the speaker units 12L and 12R of the base unit 1 (FIG. 10) is very strong, and the unit driving unit 138 drives the speaker units 12L and 12R, By changing the direction mechanically (mechanically), the direction of the main axis of directivity can be directed to a predetermined direction. Similarly, the speaker units 32L and 32R of the handset 2 are also highly directional, and when driven by the unit driving unit 158, the direction of the directional main axis can be directed to a predetermined direction. ing.
[0690]
For example, when the individual processing described with reference to FIGS. 46 and 47 is performed, the speaker control processing is performed in parallel with the individual processing.
[0691]
Therefore, the speaker control process of the master unit will be described with reference to the flowchart of FIG.
[0692]
In the speaker control process of the master unit, the CPU 129 waits for the IR receiving unit 135 to receive infrared rays from the remote controller 15 (or the remote controller 35), and in step S241, determines the infrared reception intensity at the IR receiving unit 135. To detect. That is, when a user operates a remote controller 15 to control a control target of a certain television receiver that constitutes a scalable TV system, the remote controller 15 emits infrared rays corresponding to the operation. . This infrared light is transmitted to the IR receiver 135 of the base unit 1 and each handset 2_ijIn step S241, the CPU 129 causes the IR receiving unit 135 to detect the received intensity of the infrared light and receives the supplied light.
[0693]
Then, the process proceeds to step S242, in which the CPU 129 transmits each slave unit 2 via the IEEE1394 interface 133._ijIn addition, each cordless handset 2_ijRequesting the receiving intensity of the infrared rays from the remote controller 15 in response to the request, and in response to the request, each slave unit 2_ijThe received intensity of the infrared rays transmitted from is acquired (received) via the IEEE1394 interface 133.
[0694]
That is, as described above, when the user operates the remote controller 15, the infrared rays emitted from the remote controller 15 are transmitted not only to the master unit 1 but also to each slave unit 2._ijHowever, in step S242, each handset 2 of the infrared ray is received._ijThe reception intensity at is acquired.
[0695]
Here, in steps S241 and S242 in the speaker control process of base unit 1, the same processes as steps S221 and S222 in the individual process of base unit 1 in FIG. 46 are performed. Therefore, in the speaker control process of the parent device 1, the processing in steps S241 and S242 is not performed, and the reception intensity obtained in steps S221 and S222 in the individual processing of the parent device 1 can be employed as it is.
[0696]
Thereafter, the process proceeds to step S243, and the CPU 129 receives the infrared reception intensity at the base unit 1 detected at step S241 and each slave unit 2 acquired at step S242._ijAre selected from the three reception strengths, i.e., the reception strengths from the first to the third in descending order of the reception strength, and the process proceeds to step S244.
[0697]
In step S244, the CPU 129 detects the distance corresponding to each of the three first to third received intensities selected in step S243, and proceeds to step S245.
[0698]
That is, the reception intensity of the infrared light emitted from the remote controller 15 in the television receiver corresponds to, for example, the distance between the remote controller 15 and the television receiver (the IR receiver 135 or 155 thereof).
[0699]
Therefore, in the EEPROM 150 of the master unit 1 (FIG. 10), for example, as shown in FIG. 49, the received intensity of infrared rays emitted from the remote controller 15 in the television receiver and the remote controller 15 to the television receiver are displayed. An intensity-to-distance table representing the correspondence with the distance is stored, and in step S244, the CPU 129 refers to this intensity-to-distance table, for example, for each of the received intensities from the first place to the third place. Find the corresponding distance.
[0700]
The intensity versus distance table can be created, for example, by operating the remote controller 15 at each position separated from the television receiver by a plurality of distances and measuring the received intensity received by the television receiver. Is possible.
[0701]
Returning to FIG. 48, in step S245, the CPU 129 detects the position of the remote controller 15 that has emitted infrared rays having the received intensity from the distances corresponding to the first to third received intensity.
[0702]
Here, with reference to FIG. 50, a method for detecting the position of the remote controller 15 that emits infrared rays having the received intensities from the distances corresponding to the first to third received intensities will be described. Here, for the sake of simplicity, only the two received strengths of the first place and the second place are considered.
[0703]
For example, now, the reception intensity in the master unit 1 and the slave unit 2 on the right side (as viewed from the front of the scalable TV system)_{twenty three}Is the first and second received intensities, and the distance corresponding to the received intensity in base unit 1 is r₁And handset 2_{twenty three}The distance corresponding to the received intensity at r_{twenty three}Respectively.
[0704]
In this case, considering a certain two-dimensional plane, as shown in FIG.₁Radius r around₁Circle of c₁On the circumference of the handset 2 and handset 2_{twenty three}IR point received at the IR receiver 155_{twenty three}Radius r around_{twenty three}Circle of c_{twenty three}It will exist on the circumference of.
[0705]
Therefore, the remote control 15 is₁And c_{twenty three}Intersection point P_UAt the position P of the remote control 15_UCan be detected.
[0706]
In the above case, since the position of the remote controller 15 is obtained from the two received intensities, the position on the two-dimensional plane is detected. The position of the remote controller 15 on the three-dimensional space is shown in FIG. Similarly to the case described above, detection can be performed by obtaining the intersection of spherical surfaces of spheres having a radius corresponding to each of the three received intensities.
[0707]
Returning to FIG. 48 again, after the position of the remote controller 15 is detected in step S245, the process proceeds to step S246, and the CPU 129 acquires the infrared reception intensity at the base unit 1 detected in step S241 and the received intensity in step S242. Each handset 2_ijThe maximum reception intensity is detected from the infrared reception intensity at. Note that the detection of the maximum reception strength in step S246 is omitted, and instead, the maximum reception strength detected in step S223 of FIG. 46 described above can be used.
[0708]
In step S246, the CPU 129 further determines whether the television receiver (maximum reception intensity device) from which the maximum reception intensity is obtained is the master unit 1 or the slave unit 2.
[0709]
If it is determined in step S246 that the maximum reception intensity device is the parent device 1, the process proceeds to step S247, and the CPU 129 determines the main axis of directivity of the speaker units 12L and 12R of the parent device 1 that is the maximum reception intensity device. The unit driving unit 138 is controlled so that the direction is directed to the position of the remote controller 15 detected in step S245 (hereinafter referred to as user position as appropriate), and the process returns to step S241.
[0710]
In this case, the unit driving unit 138 drives the speaker units 12L and 12R to rotate in the pan direction or the tilt direction, for example, in accordance with the control of the CPU 129, thereby changing the direction of the main axis of directivity to the direction of the user position. Turn.
[0711]
On the other hand, if it is determined in step S246 that the maximum reception strength device is the slave unit 2, the process proceeds to step S248, and the CPU 129 controls the IEEE1394 interface 133 to control the directivity of the speaker units 32L and 32R. A speaker control command for instructing the direction to be directed to the user position is transmitted to the handset 2 that is the maximum reception intensity device._ijAnd return to step S241.
[0712]
Therefore, in this case, the slave unit 2 which is the maximum reception strength device_ijThen, as will be described later with reference to FIG. 51, the speaker units 32L and 32R are rotationally driven in the pan direction or the tilt direction so that the direction of the main axis of directivity is directed to the direction of the user position.
[0713]
As described above, when a user performs control of a certain television receiver constituting a scalable TV system by operating the remote controller 15 (or the remote controller 35), generally, the remote controller 15 is Operation is performed toward the television receiver that is the control target.
[0714]
In this case, for example, assuming that the infrared light emitted from the remote controller 15 (or the remote controller 35) is highly directional, the television receiver that the user intends to control is the infrared light emitted from the remote controller 15. This means that the device is in the direction of the main axis, that is, the maximum reception intensity device having the highest infrared reception intensity.
[0715]
Therefore, the maximum reception intensity device is a television receiver to which image data and audio data of a program viewed by the user who operates the remote controller 15 is output, and the speaker of the parent device 1 which is the maximum reception intensity device. By directing the direction of the main axis of directivity of the units 12L and 12R or the speaker units 32L and 32R of the slave unit 2 to the direction of the user who operates the remote controller 15, the user clearly displays the audio data of the desired program. Can be heard.
[0716]
Next, the speaker control process of the handset 2 will be described with reference to the flowchart of FIG.
[0717]
In the speaker control process of the slave unit 2 (FIG. 11), the CPU 149 waits for the IR receiving unit 155 to receive infrared rays from the remote control 15 (or the remote control 35), and in step S251, the IR receiving unit 155 Detects infrared reception intensity. That is, when a user operates a remote controller 15 to control a control target of a certain television receiver that constitutes a scalable TV system, the remote controller 15 emits infrared rays corresponding to the operation. However, this infrared light is received by the IR receiver 155 of the handset 2 as described above. In step S251, the CPU 129 causes the IR receiver 155 to detect the received intensity of the infrared light and receives the supply.
[0718]
In step S252, the CPU 149 waits for transmission of a request for infrared reception intensity from the parent device 1, and then receives the infrared ray detected in step S251 to the parent device 1 via the IEEE1394 interface 153. Send strength. In step S252, the received intensity of infrared rays transmitted from the slave unit 2 is acquired (received) in step S242 of FIG.
[0719]
Here, in steps S251 and S252 in the speaker control process of handset 2, the same processes as steps S231 and S232 in the individual process of handset 2 in FIG. 47 are performed. Therefore, in the speaker control processing of the slave unit 2, the processing in steps S251 and S252 is not performed, and the reception intensity obtained in steps S231 and S232 in the individual processing of the slave unit 2 can be employed as it is.
[0720]
Thereafter, the process proceeds to step S253, and the CPU 149 determines whether a speaker control command has been transmitted from the parent device 1. That is, base unit 1 transmits a speaker control command to slave unit 2 in step S248 of FIG. 48 described above. In step S253, the base unit 1 transmits a speaker control command as described above. Is determined.
[0721]
If it is determined in step S253 that the speaker control command has not been transmitted from the parent device 1, the process returns to step S251.
[0722]
If it is determined in step S253 that the speaker control command has been transmitted from the parent device 1, that is, the speaker control command transmitted from the parent device 1 is received by the IEEE1394 interface 153 and supplied to the CPU 149. In step S254, the CPU 149 determines the direction of the main axis of directivity of the speaker units 32L and 32R of the slave unit 2 according to the speaker control command, based on the position (user position) of the remote controller 15 detected in step S245 of FIG. The unit driving unit 158 is controlled so as to be directed in the direction of), and the process returns to step S251.
[0723]
In this case, the unit drive unit 158 rotationally drives the speaker units 32L and 32R, for example, in the pan direction or the tilt direction according to the control of the CPU 149, thereby changing the direction of the main axis of directivity to the direction of the user position. Turn.
[0724]
Therefore, in this case, in the handset 2, the user who has operated the remote controller 15 toward the handset 2, that is, the user who is viewing the program as image data and audio data output from the handset 2 is displayed. The direction of the main axis of directivity of the speaker units 32L and 32R is directed to the direction, and the user can clearly hear the audio data of the desired program.
[0725]
Note that the speaker control processing in FIGS. 48 and 51 ends when the individual processing in FIGS. 46 and 47 ends, for example.
[0726]
In the above-described case, only the direction of the direction of the main axis of directivity of the speaker units 12L and 12R (or the speaker units 32L and 32R) is controlled corresponding to the user position. It is also possible to control the volume of the speaker units 12L and 12R. That is, for example, the volume of the speaker units 12L and 12R can be increased as the television receiver from which the user is watching the program is further away from the user position.
[0727]
Furthermore, in the above-described case, the position of the remote controller 15 (user position) is detected based on the intensity of infrared rays received from the remote controller 15 in the television receiver. For example, it is possible to detect by using GPS (Global Positioning System) or emitting ultrasonic waves from each television receiver, receiving the ultrasonic waves with the remote controller 15 and sending them back.
[0728]
Next, in the speaker control process described above, the speaker units 12L and 12R (and the speaker units 32L and 32R) are those having directivity, and the direction of the main axis of the directivity is determined by the unit driving unit 138 (and the unit). The drive unit 158) is rotated in the pan direction or the tilt direction so as to be directed in a predetermined direction (the direction of the user position). It can also be done.
[0729]
That is, FIG. 52 shows a configuration example of the speaker unit 12L that electronically controls the direction of the main axis of directivity. The other speaker units 12R, 32L, and 32R are also configured in the same manner as the speaker unit 12L, and thus description thereof is omitted.
[0730]
In the embodiment of FIG. 52, the audio data output from the MPEG audio decoder 126 (FIG. 10) is the digital filter 211.₁And 211₂To be supplied. Digital filter 211₁And 211₂A predetermined tap coefficient is set by the unit driving unit 138 (FIG. 10), and the digital filter 211₁And 211₂Filters the same audio data supplied thereto based on the tap coefficient set by the unit driving unit 138, thereby converting each frequency component included in the audio data to a predetermined delay for each frequency component. Audio data delayed by time is obtained, and the speaker 212₁And 212₂To supply each.
[0731]
Speaker 212₁And 212₂Are omnidirectional speakers, and the digital filter 211₁And 211₂Outputs (sounds) audio data supplied from
[0732]
Now, in the speaker unit 12L, two speakers 212₁And 212₂Are expressed as Y1 and Y2, respectively.₁And 212₂The main axes Y1 and Y2 are arranged so as to be parallel in a two-dimensional plane (here, in the drawing). Further, the speaker 212₁And 212₂Are arranged so that the respective cones (diaphragms) are at equal positions in the directions of the main axes Y1 and Y2.
[0733]
Here, a distance between the main axes Y1 and Y2 (hereinafter referred to as a distance between the main axes as appropriate) is represented by a, and an angle (radiation) in the counterclockwise direction with respect to the main axis Y1 or Y2 in the two-dimensional plane. The angle is expressed by θ.
[0734]
When, for example, a sine wave signal having a single frequency component is input as audio data to the speaker unit 12L configured as described above, the sine wave signal as the audio data is converted into the digital filter 211.₁And 211₂So that, for example, the delay times D1 and D2 are respectively delayed by the speaker 212.₁And 212₂To be output.
[0735]
In this case, the speaker 212₁And 212₂Sound waves output from each other interfere with each other. Further, for example, if the delay times D1 and D2 are in a relationship of D2 ≧ D1, now the speaker 212₁And 212₂There is a time difference of D2−D1 (hereinafter referred to as a delay time difference as appropriate) between the sound waves output from each. The speaker 212₁And 212₂There is a path difference between the sound waves on the axes Y11 and Y12 that form an angle θ with each of the main axes Y1 and Y2.
[0736]
As a result, the speaker 212₁And 212₂For each observation point (listening position) of two sound waves output from, the phase relationship at the time of interference of the two sound waves will be different. For example, at a certain observation point, two sound waves are added in phase, Speaker 212₁And 212₂The sound wave is twice as loud as when there is only one of the two. At other observation points, the two sound waves are added in opposite phases (cancelled), and the sound volume becomes zero. Therefore, the speaker 212₁And 212₂The overall sound volume characteristic of this is directional.
[0737]
53 and 54 show the speaker 212 obtained as described above.₁And 212₂An example of the directivity of the overall volume characteristic is shown. In the embodiment of FIGS. 53 and 54, the maximum volume is normalized to 0 dB.
[0738]
FIG. 53 shows the directivity of the volume characteristic when a sine wave having a frequency of 1000 Hz is input with the distance a between the main axes being 10 cm and the delay time difference D2-D1 being a / C. C represents the speed of sound, and here it is 340 m / s.
[0739]
In the embodiment of FIG. 53, the maximum sound volume is obtained in the range where the angle θ is 30 degrees or more. In addition, the volume is almost 0 (null) at the position where the angle θ is −45 degrees.
[0740]
FIG. 54 shows the directivity of the volume characteristic when the input is replaced with a sine wave having a frequency of 5000 Hz among the conditions described in FIG.
[0741]
In the embodiment of FIG. 54, the main beam appears in a range where the angle θ is 45 degrees or more. Further, a sub beam (grating beam) having the same size as the main beam is generated in the range where the angle θ is 0 ° to 45 °. The reason why such a large sub beam is generated is that, in the sub beam range of FIG. 54, the phase difference between the two sound waves is an integral multiple of the wavelength of the sine wave of 5000 Hz, and the two sound waves are added in phase. It is.
[0741]
This is the same for the other sub beams, and the speaker 212 is used.₁And 212₂When the distance from each to the observation point is sufficiently larger than the distance a between the main axes, in general, when the following equation holds, the speaker 212₁And 212₂The phases of the two sound waves output by the are in phase, and a sub beam having the same size as the main beam is generated.
[0743]

[0744]
However, in Formula (26), f represents an input frequency and n is an integer value of 0 or more.
[0745]
In formula (26), when n is 0, it represents the main beam.
[0746]
For example, when the frequency f is 1000 Hz, the expression (26) is satisfied only when n is 0. Therefore, in this case, a sub beam having the same size as the main beam is not generated. .
[0747]
Here, for example, when n is 1, the frequency f that satisfies the equation (26), that is, the frequency f that generates the sub-beam can be expressed by f = C / (a (1-cos θ)). Under the conditions described in the embodiment of FIG. 53, this frequency f is about 1700 Hz, which is the frequency when the distance between the main axes a is equal to the half wavelength of the sound wave.
[0748]
From the above, according to the speaker unit 12L of FIG.₁And 211₂, Each frequency component of the audio data supplied thereto is delayed for each frequency component, and thereby the audio data given a predetermined delay time difference D2-D1 for each frequency component is converted to the speaker 212.₁And 212₂And output to the speaker 212.₁And 212₂The overall sound volume characteristic of this is directional. The direction of the main beam and the null direction for each frequency component can be changed by a delay time difference given to the frequency component.
[0749]
That is, the direction of the main axis of directivity of the speaker unit 12L is determined by the digital filter 211.₁And 211₂Can be changed according to the tap coefficient to be set.
[0750]
Therefore, in the unit driving unit 138, the digital filter 211₁And 211₂Further, by giving a predetermined tap coefficient, the direction of the main axis of directivity of the speaker unit 12L can be directed to a desired direction.
[0751]
In the above case, the speaker unit 12L includes two speakers 212.₁And 212₂And the two speakers 212₁And 212₂The direction of the main axis of directivity is controlled using the interference between two sound waves output from the other, but for example, each of the speaker units 12L and 12R is configured by one speaker, and the speaker It is also possible to control the direction of the main axis of directivity by using interference between two sound waves output from the speaker of the unit 12L and the speaker of the speaker unit 12R.
[0752]
Further, the speaker unit 12L can be configured by a so-called speaker array including more than two speakers. When the speaker unit 12L is configured with a large number of speakers, steeper directivity can be realized.
[0753]
Next, in the above-described case, the position (user position) of the remote controller 15 is detected based on the intensity of infrared rays received from the remote controller 15 in the parent device 1 or the child device 2, and the direction of the position of the remote controller 15 is detected. The direction of the main axis of directivity of the speaker units 12L and 12R or the speaker units 32L and 32R is directed to the direction of the main axis of directivity of the speaker units 12L and 12R or the speaker units 32L and 32R. It is not necessary to detect the position of the remote controller 15 as long as it is directed in the direction of the position of the remote controller 15, and it is sufficient if the direction of the remote controller 15 from the master unit 1 or the slave unit 2 is known.
[0754]
Therefore, a method for detecting the direction of the remote controller 15 from the parent device 1 (or the child device 2) will be described with reference to FIGS.
[0755]
As shown in FIG. 55, the direction of the remote controller 15 from the master unit 1 is such that two IR receivers 135A and 135B separated by a predetermined distance D are provided in the IR receiver 135 of the master unit 1 (FIG. 10). It is possible to detect.
[0756]
Now, assuming that the distance from the base unit 1 to the remote controller 15 is sufficiently larger than the distance D between the light receivers 135A and 135B, the infrared light incident on the light receiver 135A from the remote controller 15 and the light receiver 135B from the remote controller 15 It can be regarded as parallel to the infrared rays incident on.
[0757]
As shown in FIG. 55, when the angle between the infrared rays incident on the light receiving portions 135A and 135B from the remote controller 15 and the straight line connecting the light receiving portions 135A and 135B is φ, the infrared rays incident on the light receiving portion 135A from the remote control 15 And the path difference d between the remote controller 15 and the infrared light incident on the light receiving unit 135B can be expressed by Dcosφ.
[0758]
Further, when the speed of light is represented by c and the time difference of the timing at which the infrared rays from the remote controller 15 are received by the light receiving units 135A and 135B is represented by τ, the path difference d can be represented by cτ.
[0759]
Therefore, the angle φ, that is, the direction φ of the remote controller 15 is expressed by arccos (τc / D). That is, the direction φ of the remote controller 15 can be obtained by measuring the time difference τ of the timing at which the infrared rays from the remote controller 15 are received by the light receiving units 135A and 135B.
[0760]
Next, the direction of the remote controller 15 from the parent device 1 (or the child device 2) can be detected by configuring the IR receiver 135 (or IR receiver 155) as shown in FIG. .
[0761]
That is, in the embodiment shown in FIG. 56, the IR receiver 135 includes an infrared line sensor 221 having pixels as a plurality of infrared light receivers, and a lens 222 that collects infrared rays on the infrared line sensor 221. Yes.
[0762]
The infrared line sensor 221 is disposed on the optical axis of the lens 222, for example.
[0763]
In the IR receiver 135 configured as described above, infrared light emitted from the remote controller 15 enters the infrared line sensor 221 via the lens 222 and is received by a pixel at a predetermined position on the infrared line sensor. The
[0764]
In this case, when the incident angle α of the infrared ray with respect to the infrared line sensor 221 changes, the pixel that receives the infrared ray, that is, the light receiving position also changes accordingly.
[0765]
Now, the distance between this light receiving position and the intersection of the optical axis of the lens 222 on the infrared line sensor 221 is represented by r, and the distance between the infrared line sensor 221 and the lens 222 is represented by S. The incident angle α, that is, the direction α of the remote controller 15 is expressed by arctan (S / r).
[0766]
Therefore, the direction α of the remote controller 15 can be obtained by measuring the distance r between the intersection of the lens 222 on the infrared line sensor 221 and the optical axis of the lens 222 and the position of the pixel receiving the infrared light.
[0767]
Next, FIG. 57 shows another configuration example of the parent device 1. In the figure, portions corresponding to those in FIG. 10 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, base unit 1 in FIG. 57 is configured in the same manner as in FIG. 10 except that connection detection unit 139 is newly provided.
[0768]
The connection detection unit 139 detects that another television receiver is connected electrically or mechanically and supplies it to the CPU 129.
[0769]
Therefore, in the embodiment of FIG. 57, the IEEE1394 terminal 21 in the terminal panel 21 is used._ijThe connection detection unit 139 detects a connection with another television receiver instead of the change in the terminal voltage in FIG. 3F.
[0770]
Next, FIG. 58 shows another configuration example of the slave unit 2. In the figure, portions corresponding to those in FIG. 11 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the slave unit 2 in FIG. 58 is configured in the same manner as in FIG. 11 except that a connection detection unit 159 is newly provided.
[0771]
The connection detection unit 159 detects that another television receiver has been connected electrically or mechanically, and supplies it to the CPU 149.
[0772]
Therefore, in the embodiment of FIG. 58, the IEEE1394 terminal 41 in the terminal panel 41 is the same as in the embodiment of FIG.₁The connection detector 159 detects a connection with another television receiver, not the change in terminal voltage in FIG. 5F.
[0773]
Next, the series of processes described above can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
[0774]
FIG. 59 shows a configuration example of an embodiment of a computer in which a program for executing the above-described series of processes is installed.
[0775]
The program can be recorded in advance on a hard disk 305 or a ROM 303 as a recording medium built in the computer.
[0776]
Alternatively, the program is stored temporarily on a removable recording medium 311 such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded) permanently. Such a removable recording medium 311 can be provided as so-called package software.
[0777]
The program is installed in the computer from the removable recording medium 311 as described above, or transferred from the download site to the computer wirelessly via a digital satellite broadcasting artificial satellite, or a LAN (Local Area Network), The program can be transferred to a computer via a network such as the Internet. The computer can receive the program transferred in this way by the communication unit 308 and install it in the built-in hard disk 305.
[0778]
The computer includes a CPU (Central Processing Unit) 302. An input / output interface 310 is connected to the CPU 302 via the bus 301, and the CPU 302 is operated by an input unit 307 including a keyboard, a mouse, a microphone, and the like by the user via the input / output interface 310. When a command is input as a result, the program stored in a ROM (Read Only Memory) 303 is executed accordingly. Alternatively, the CPU 302 also transfers a program stored in the hard disk 305, a program transferred from a satellite or a network, received by the communication unit 308 and installed in the hard disk 305, or a removable recording medium 311 attached to the drive 309. The program read and installed in the hard disk 305 is loaded into a RAM (Random Access Memory) 304 and executed. Thereby, the CPU 302 performs processing according to the above-described flowchart or processing performed by the configuration of the above-described block diagram. Then, the CPU 302 outputs the processing result from the output unit 306 configured with an LCD (Liquid Crystal Display), a speaker, or the like, for example, via the input / output interface 310 as necessary, or from the communication unit 308. Transmission and further recording on the hard disk 305 are performed.
[0779]
Here, in this specification, the processing steps for describing a program for causing a computer to perform various types of processing do not necessarily have to be processed in time series according to the order described in the flowchart, but in parallel or individually. This includes processing to be executed (for example, parallel processing or processing by an object).
[0780]
Further, the program may be processed by a single computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
[0781]
Note that the above-described scalable TV system can be configured by either a digital or analog television receiver.
[0782]
The television receiver that constitutes the scalable TV system depends on, for example, whether the television receiver is a parent device or a child device, and, if it is a child device, the number of child devices. It is possible to make a difference in the selling price.
[0783]
That is, in the scalable TV system, as described above, if the parent device does not exist, the special function is not provided, so the value of the parent device is high, and therefore, the selling price can be set high.
[0784]
In addition, after the purchase of the master unit, the user is expected to purchase additional slave units as needed, but the first few slave units are, for example, less expensive than the master unit. It is possible to set a selling price that is higher than that of a general television receiver. And about the subunit | mobile_unit purchased after that, a further low selling price can be set.
[0785]
Note that a television receiver serving as a parent device that configures a scalable TV system, for example, adds a signal processing unit 137 to a general digital television receiver and changes a program to be executed by the CPU 129. It is possible to configure. Accordingly, a television receiver serving as a parent device constituting a scalable TV system can be manufactured relatively easily by using a general digital television receiver. Therefore, the above-mentioned provided by the scalable TV system is provided. Considering such special functions, it can be said that the cost merit (cost performance) is high. The same applies to a television receiver as a slave unit.
[0786]
The present invention can also be applied to a television receiver that is a display device incorporating a tuner and a display device that outputs images and sounds from the outside without incorporating a tuner.
[0787]
【The invention's effect】
As described above, according to the present invention, when a large number of display devices are connected and used, higher functions can be realized than when used alone.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a configuration example of an embodiment of a scalable TV system to which the present invention is applied.
FIG. 2 is a perspective view showing an example of an external configuration of the base unit 1. FIG.
FIG. 3 is a 6-side view showing an example of an external configuration of the base unit 1;
FIG. 4 is a perspective view showing an example of an external configuration of the slave unit 2;
FIG. 5 is a 6-side view showing an example of the external configuration of the slave unit 2;
FIG. 6 is a perspective view showing an example of the external configuration of a dedicated rack that houses a parent device 1 and a child device 2 that constitute a scalable TV system.
7 is a plan view showing an external configuration example of a remote controller 15. FIG.
8 is a plan view showing an external configuration example of a remote controller 35. FIG.
FIG. 9 is a plan view showing another external configuration example of the remote controller 15;
FIG. 10 is a block diagram showing an example of the electrical configuration of the base unit 1;
FIG. 11 is a block diagram showing an example of the electrical configuration of the slave unit 2;
FIG. 12 is a diagram showing a layer structure of an IEEE1394 communication protocol.
FIG. 13 is a diagram showing an address space of the CSR architecture.
FIG. 14 is a diagram showing CSR offset addresses, names, and functions.
FIG. 15 is a diagram showing a general ROM format;
FIG. 16 is a diagram showing details of a bus info block, a root directory, and a unit directory.
FIG. 17 is a diagram showing the structure of PCR.
FIG. 18 is a diagram showing the structure of oMPR, oPCR, iMPR, and iPCR.
FIG. 19 is a diagram illustrating a data structure of a packet transmitted in the asynchronous transfer mode of the AV / C command.
FIG. 20 is a diagram illustrating a specific example of an AV / C command.
FIG. 21 is a diagram illustrating a specific example of an AV / C command and a response.
22 is a block diagram illustrating a detailed configuration example of a signal processing unit 137. FIG.
FIG. 23 is a flowchart for describing image conversion processing by the signal processing unit 137;
FIG. 24 is a block diagram illustrating a configuration example of a learning device.
FIG. 25 is a diagram for explaining processing of a student data generation unit 173;
FIG. 26 is a flowchart illustrating a learning process of coefficient seed data by the learning device.
FIG. 27 is a diagram for explaining a learning method of coefficient seed data.
FIG. 28 is a block diagram illustrating another configuration example of the learning device.
29 is a block diagram illustrating a configuration example of a signal processing unit 157. FIG.
FIG. 30 is a flowchart illustrating processing of base unit 1;
FIG. 31 is a flowchart illustrating authentication processing by base unit 1;
FIG. 32 is a flowchart for explaining processing of the slave unit 2;
FIG. 33 is a flowchart for explaining authentication processing by the slave unit 2;
FIG. 34 is a flowchart for explaining closed caption processing by the base unit 1;
FIG. 35 is a flowchart for explaining closed caption processing by the slave unit 2;
FIG. 36 is a flowchart for describing a partial enlargement process by base unit 1;
FIG. 37 is a flowchart for explaining partial enlargement processing by the child device 2;
FIG. 38 is a diagram illustrating a display example of the scalable TV system when a partial enlargement process is performed.
FIG. 39 is a flowchart illustrating an overall enlargement process performed by base unit 1;
FIG. 40 is a diagram for explaining how to obtain a display range and an enlarged range.
FIG. 41 is a flowchart illustrating an overall enlargement process performed by handset 2;
FIG. 42 is a diagram illustrating a display example of the scalable TV system when the entire enlargement process is performed.
FIG. 43 is a flowchart illustrating multi-screen display processing by base unit 1;
FIG. 44 is a flowchart illustrating batch simultaneous control processing by base unit 1;
FIG. 45 is a diagram illustrating a display example of a scalable TV system when a batch simultaneous control process is performed.
FIG. 46 is a flowchart for describing individual processing by the master unit 1;
FIG. 47 is a flowchart for explaining individual processing by the slave unit 2;
FIG. 48 is a flowchart for explaining speaker control processing by base unit 1;
FIG. 49 is a diagram showing an intensity versus distance table.
FIG. 50 is a diagram for explaining a method of calculating a distance to the remote controller 15;
FIG. 51 is a flowchart illustrating speaker control processing by handset 2;
FIG. 52 is a block diagram illustrating a configuration example of a speaker unit 12L.
FIG. 53 is a diagram showing directivity.
FIG. 54 is a diagram showing directivity.
FIG. 55 is a diagram for explaining a method of detecting the direction of the remote controller 15;
56 is a diagram illustrating a configuration example of an IR receiving unit 135. FIG.
FIG. 57 is a block diagram showing another example of the electrical configuration of the parent device 1;
FIG. 58 is a block diagram showing another example of the electrical configuration of the slave unit 2;
FIG. 59 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present invention has been applied.
[Explanation of symbols]
1 Base unit, 2, 2₁₁, 2₁₂, 2₁₃, 2₁₄, 2₁₅, 2_{twenty one}, 2_{twenty two}, 2_{twenty three}, 2_{twenty four}, 2_{twenty five}, 2₃₁, 2₃₂, 2₃₃, 2₃₄, 2₃₅, 2₄₁, 2₄₂, 2₄₃, 2₄₄, 2₄₅, 2₅₁, 2₅₂, 2₅₃, 2₅₄, 2₅₅  Slave unit, 11 CRT, 12L, 12R Speaker unit, 15 Remote control, 21 Terminal panel, 21₁₁, 21₁₂, 21₁₃, 21_{twenty one}, 21_{twenty three}, 21₃₁, 21₃₂, 21₃₃  IEEE1394 terminal, 22 antenna terminal, 23 input terminal, 24 output terminal, 31 CRT, 32L, 32R speaker unit, 35 remote control, 41 terminal panel, 41₁  IEEE1394 terminal, 42 antenna terminal, 43 input terminal, 44 output terminal, 51 select button switch, 52 volume button switch, 53 channel up / down button switch, 54 menu button switch, 55 exit button switch, 56 display button, 57 enter button switch , 58 Numeric keypad switch, 59 TV / video switch button switch, 60 TV / DSS switch button switch, 61 Jump button switch, 62 Language button, 63 Guide button switch, 64 Favorite button switch, 65 Cable button switch, 66 TV switch, 67 DSS button switch, 68-70 LED, 71 Cable power button switch , 72 TV power button switch, 73 DSS power button switch, 74 Muting button switch, 75 Sleep button switch, 76 Light emitting part, 81 Select button switch, 82 Volume button switch, 83 Channel up / down button switch, 84 Menu button switch, 85 exit button switch, 86 display button, 87 enter button switch, 88 numeric button (numeric keypad) switch, 89 TV / video switch button switch, 90 TV / DSS switch button switch, 91 jump button switch, 92 language button, 93 guide button Switch, 94 favorite button switch, 95 cable button switch, 96 TV switch , 97 DSS button switch, 98 to 100 LEDs, 101 cable power button switch, 102 TV power button switch, 103 DSS power button switch, 104 muting button switch, 105 sleep button switch, 106 light emitting unit, 110 button switch, 111 to 114 Direction button switch, 121 tuner, 122 QPSK demodulation circuit, 123 error correction circuit, 124 demultiplexer, 125 MPEG video decoder, 126 MPEG audio decoder, 127 frame memory, 128 NTSC encoder, 129 CPU, 130 EEPROM, 131 ROM, 132 RAM, 133 IEEE1394 interface, 134 front panel, 135 I R receiver, 135A, 135B light receiver, 136 modem, 137 signal processor, 137A DSP, 137B EEPROM, 137C RAM, 138 unit driver, 139 connection detector, 141 tuner, 142 QPSK demodulator, 143 error correction circuit, 144 Demultiplexer, 145 MPEG video decoder, 146 MPEG audio decoder, 147 Frame memory, 148 NTSC encoder, 149 CPU, 150 EEPROM, 151 ROM, 152 RAM, 153 IEEE1394 interface, 154 Front panel, 155 IR receiver, 156 Modem, 157 signal processing unit, 157A DSP, 157B EEPROM, 157C RAM, 158 unit Drive unit, 159 connection detection unit, 161, 162 tap extraction unit, 163 class classification unit, 164 coefficient memory, 165 prediction unit, 166 coefficient generation unit, 167 coefficient seed memory, 168 parameter memory, 171 teacher data generation unit, 172 teacher Data storage unit, 173 Student data generation unit, 174 Student data storage unit, 175, 176 Tap extraction unit, 177 Class classification unit, 178 Addition unit, 179 Coefficient seed calculation unit, 180 Parameter generation unit, 190 Addition unit, 191 Tap coefficient calculation unit, 192 Addition unit, 193 Coefficient seed calculation unit, 201, 202 Tap extraction unit, 203 class classification unit, 204 coefficient memory, 205 prediction unit, 206 coefficient generation unit, 207 coefficient seed memory, 208 Parameter memo , 211₁, 211₂  Digital filter, 212₁, 212₂  Speaker, 221 infrared line sensor, 222 lens, 301 bus, 302 CPU, 303 ROM, 304 RAM, 305 hard disk, 306 output unit, 307 input unit, 308 communication unit, 309 drive, 310 input / output interface, 311 removable recording medium

Claims (26)

A display device connected to another display device and having display means for displaying an image,
Connection detecting means for detecting that the other display device is connected;
Authentication means for performing authentication with the other display device whose connection is detected by the connection detection means;
If the authentication is successful, Bei example and a function change means for changing the function of the display device,
The display device and the other display device include a parent display device that can control a connection device connected to the display device and a child display device that can be controlled from the connection device but cannot control the connection device. There are two types
The authentication means performs authentication as to whether or not the other display device is valid, and authentication as to whether or not the other display device is the parent or child display device.
A display device characterized by that. In the function changing means, the authentication means has succeeded in both authentication that the other display device is valid and authentication that the other display device is the parent or child display device. The display device according to claim 1, wherein a function of the display device is changed. The other display device has a first function that can be used when used alone and a second function that is different from the first function,
The function changing means changes the function of the display device from a state in which the second function of the other display device cannot be controlled to a state in which the second function can be controlled. The display device according to 1. The display device according to claim 3 , wherein the other display device has a function of converting first image data into second image data as the second function. The other display device includes:
A prediction tap extracting means for extracting, from the first image data, a prediction tap used for predicting a pixel at a target position of interest among the pixels constituting the second image data;
Tap coefficient generating means for generating a tap coefficient used to predict a pixel at the target position;
Prediction means for predicting the pixel at the target position based on the tap coefficient generated from the tap coefficient generation means and the prediction tap;
The display device according to claim 4 , wherein the first image data is converted into the second image data including pixels predicted by the prediction unit. The function changing means displays, on the display means, an enlarged image obtained by enlarging a part of the image when there is an instruction to enlarge a part of the image displayed on the display means, and the entire image is displayed. The display device according to claim 5 , wherein the function of the display device is changed so that the other display device displays the image. The display device according to claim 6 , further comprising conversion means for converting a part of the image displayed on the display means into the enlarged image. The converting means includes
A prediction tap extracting means for extracting a prediction tap used for predicting a pixel at a focused position of interest among pixels constituting the enlarged image from an image displayed on the display means;
Tap coefficient generating means for generating a tap coefficient used to predict a pixel at the target position;
Prediction means for predicting the pixel at the target position based on the tap coefficient generated from the tap coefficient generation means and the prediction tap;
Display device according to claim 7 you and converting the image displayed on the display unit, the enlarged image formed of predicted pixel in the prediction means. Command receiving means for receiving a command from an input means for inputting a command for instructing to perform a predetermined process;
Processing means for performing processing corresponding to the command received by the command receiving means,
The function changing means changes the function of the display device so that the command is sent to the other display device when the command is received by the command receiving means. The display device according to 1. The display device functions as the parent display device,
Command receiving means for receiving a command from an input means for inputting a command for instructing to perform a predetermined process;
The function changing means is
Recognizing a target device that is a target device to which the command received by the command receiving means is to be given,
Determining whether the target device is the display device or the other display device;
When the target device is the display device, processing corresponding to the command is performed. When the target device is the other display device, the command is displayed as the other display that is the target device. The display device according to claim 1, wherein the function of the display device is changed so as to be transmitted to the device. The input means transmits a wireless signal corresponding to the command;
The command receiving means receives the wireless signal,
The target device, and the intensity of the received the radio signal at said command receiving means, to claim 10, wherein the recognized based on the intensity of the radio signals received at the other display device The display device described. The display device functions as the parent display device,
Command receiving means for receiving a command from an input means for inputting a command for instructing to perform a predetermined process;
Voice output means for outputting voice accompanying the image displayed on the display means; and
The function changing means is
Detecting the direction of the input means;
Recognizing a target device that is a target device to which the command received by the command receiving means is to be given,
Determining whether the target device is the display device or the other display device;
When the target device is the display device, the function of the display device is changed so that the direction of the main axis of directivity of the audio output means is directed to the direction of the input means. Item 4. The display device according to Item 1. The other display device displays an image and outputs a sound accompanying the image,
When the target device is the other display device, the function changing means changes the direction of the principal axis of the directivity of the sound output from the other display device that is the target device to the direction of the input means. The display device according to claim 12 , wherein a function of the display device is changed so that a command for directing is transmitted to the other display device that is the target device. The input means transmits a wireless signal corresponding to the command;
The command receiving means receives the wireless signal,
The target device, and the intensity of the received the radio signal at said command receiving means, to claim 12, wherein the recognized based on the intensity of the radio signals received at the other display device The display device described. The other display device includes a parent display device that can control a connection device connected to the other display device, and a child display device that can be controlled from the connection device but cannot control the connection device. There are two types
The authentication means performs authentication as to whether or not the other display device is valid, and authentication as to whether or not the other display device is the parent display device. Item 4. The display device according to Item 1. The function changing unit is configured when the authentication unit succeeds in both authentication that the other display device is valid and authentication that the other display device is the parent display device. The display device according to claim 15 , wherein the function of the display device is changed. A first function that can be used when used alone and a second function that is different from the first function;
2. The function of the display device according to claim 1, wherein the function changing unit changes the function of the display device from a state in which the second function cannot be controlled from outside to a state in which the second function can be controlled. Display device. The display device according to claim 17 , wherein the second function has a function of converting first image data into second image data. A prediction tap extracting means for extracting, from the first image data, a prediction tap used for predicting a pixel at a target position of interest among the pixels constituting the second image data;
Tap coefficient generating means for generating a tap coefficient used to predict a pixel at the target position;
Prediction means for predicting a pixel at the target position based on the tap coefficient generated from the tap coefficient generation means and the prediction tap; and
The display device according to claim 18 , wherein the first image data is converted into the second image data including pixels predicted by the prediction unit. The display device functions as the child display device,
Command receiving means for receiving a command from an input means for inputting a command for instructing to perform a predetermined process;
Processing means for performing processing corresponding to the command, and
The function changing unit changes the function of the display device so as to perform processing corresponding to a command from the other display device, ignoring the command received by the command receiving unit. Item 4. The display device according to Item 1. The input means transmits a wireless signal corresponding to the command;
The command receiving means receives the wireless signal,
Claim wherein the capability change means, which detects the intensity of the received the radio signal at said command receiving means, to transmit to the other display device, and wherein the changing the function of the display device 20. The display device according to 20 . Audio output means for outputting audio accompanying the image displayed on the display means;
The function changing means changes the function of the display device so that the direction of the main axis of directivity of the audio output means is directed to the direction of the input means in response to a command from the other display device. The display device according to claim 21 . A control method for a display device connected to another display device and having a display means for displaying an image,
A connection detection step of detecting that the other display device is connected;
An authentication step of performing authentication with the other display device in which connection is detected in the connection detection step;
A function changing step of changing the function of the display device when the authentication is successful;
Including
The display device and the other display device include a parent display device that can control a connection device connected to the display device and a child display device that can be controlled from the connection device but cannot control the connection device. There are two types
The authentication step includes a step of performing authentication as to whether or not the other display device is valid, and authentication as to whether or not the other display device is the parent or child display device.
A control method characterized by that . A program for causing a computer to perform control processing of a display device connected to another display device and having a display means for displaying an image,
A connection detection step of detecting that the other display device is connected;
An authentication step of performing authentication with the other display device in which connection is detected in the connection detection step;
A function changing step of changing the function of the display device when the authentication is successful;
Including
The display device and the other display device include a parent display device that can control a connection device connected to the display device and a child display device that can be controlled from the connection device but cannot control the connection device. There are two types
The authentication step includes a step of performing authentication as to whether or not the other display device is valid, and authentication as to whether or not the other display device is the parent or child display device.
Program, characterized in that. A recording medium on which a program for causing a computer to perform control processing of a display device connected to another display device and having a display means for displaying an image is recorded,
A connection detection step of detecting that the other display device is connected;
An authentication step of performing authentication with the other display device in which connection is detected in the connection detection step;
A function changing step of changing the function of the display device when the authentication is successful;
Including
The display device and the other display device include a parent display device that can control a connection device connected to the display device and a child display device that can be controlled from the connection device but cannot control the connection device. There are two types
The authentication step includes a step of performing authentication as to whether or not the other display device is valid, and authentication as to whether or not the other display device is the parent or child display device.
A recording medium on which a program is recorded. A parent display device that can control other display devices;
A display system comprising one or more child display devices that can be controlled from the other display device but cannot control the other display device,
The parent and child display devices are:
Connection detecting means for detecting that the other display device is connected;
Authentication means for performing authentication with the other display device whose connection is detected by the connection detection means;
If the authentication is successful, it possesses a function change means for changing its function,
The authentication means performs authentication as to whether the other display device from which connection is detected is valid, and authentication as to whether the other display device is the parent or child display device. A display system characterized by performing .

Images