JP4449489B2 - 信号処理装置および信号処理方法 - Google Patents

Description

本発明は、信号処理装置および信号処理方法に関し、特に、複数のコマンドに応じて、ハードウェアの内部構造を切り換えることにより、単一のハードウェアで、多くの機能を、容易に実現することができるようにする信号処理装置および信号処理方法に関する。

近年、コンピュータの高速化、低価格化に伴い、各種の機能のソフトウェア化が進んでいる。即ち、汎用のコンピュータのみならず、携帯電話機その他のPDA(Personal Digital Assistant)、テレビジョン受像機などのAV(Audio Visual)機器、電子炊飯器などの家電機器などにおいて、各種の処理は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などのプロセッサが、ソフトウェア（プログラム）を実行することで行われるようになっている。

このような機能のソフトウェア化に伴い、ソフトウェアも複雑で膨大なものとなってきており、コンピュータ（CPUやDSPなど）の負担が大になっている。そこで、コンピュータシステムにかかる処理負担を低減する新規なプロセッサを有する装置が提案されている（例えば、特許文献１参照）。

特開2002-358294号公報。

上述のように、コンピュータにソフトウェアを実行させることで各種の処理を行う限り、今後、ますます複雑で膨大なソフトウェアの開発が必要となることが予想される。そして、かかるソフトウェアの開発には、多大な労力と時間を要することとなる。

特に、高速な処理が要求される場合には、例えば、複数のプロセッサによる並列処理が必要となる。並列処理のためのソフトウェアの製作にあたっては、複数のプロセッサの動作タイミングを考慮しながら、膨大なステップ数のプログラミングを行わなければならず、ソフトウェアの製作者（技術者）の負担は相当なものとなる。

一方、ある処理を行うだけであれば、その処理を行う専用のハードウェアとしての、例えば、IC(Integraged Circuit)(LSI(Large Scale Integration))などを開発する方法がある。

しかしながら、ある処理を行う専用のハードウェアでは、その処理しか行うことができず、汎用性にかけることになる。

本発明は、このような状況に鑑みてなされたものであり、膨大なステップ数のプログラミングを行わずに、単一のハードウェアで、多くの機能を、容易に実現することができるようにするものである。

本発明の信号処理装置は、第１および第２の信号処理手段を備える信号処理装置であって、外部からの信号に応じて、第１の信号処理手段に対する第１のコマンド、および第２の信号処理手段に対する第２のコマンドを含むコマンド列を生成して放送する放送手段を含み、第１の信号処理手段は、放送されたコマンド列に含まれる第１のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、第１のコマンドに対応する第１の信号処理を行う状態に切り換え、第１のコマンドに対応する第１の信号処理として、第１の信号に含まれるノイズを除去するノイズ除去処理、第１の信号に生じている歪みを除去する歪み除去処理、第１の信号としての画像の空間解像度を向上させる空間解像度創造処理、または第１の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、第１の信号処理の処理結果として得られる第２の信号を出力し、第２の信号処理手段は、放送されたコマンド列に含まれる第２のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、第２のコマンドに対応する第２の信号処理を行う状態に切り換え、第２のコマンドに対応する第２の信号処理として、第２の信号に含まれるノイズを除去するノイズ除去処理、第２の信号に生じている歪みを除去する歪み除去処理、第２の信号としての画像の空間解像度を向上させる空間解像度創造処理、または第２の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、第２の信号処理の処理結果として得られる第３の信号を出力する。

本発明の信号処理方法は、放送手段と、第１および第２の信号処理手段とを備える信号処理装置の信号処理方法であって、放送手段が、外部からの信号に応じて、第１の信号処理手段に対する第１のコマンド、および第２の信号処理手段に対する第２のコマンドを含むコマンド列を生成して放送する放送ステップと、第１の信号処理手段が、放送されたコマンド列に含まれる第１のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、第１のコマンドに対応する第１の信号処理を行う状態に切り換え、第１のコマンドに対応する第１の信号処理として、第１の信号に含まれるノイズを除去するノイズ除去処理、第１の信号に生じている歪みを除去する歪み除去処理、第１の信号としての画像の空間解像度を向上させる空間解像度創造処理、または第１の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、第１の信号処理の処理結果として得られる第２の信号を出力する第１の信号処理ステップと、第２の信号処理手段が、放送されたコマンド列に含まれる第２のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、第２のコマンドに対応する第２の信号処理を行う状態に切り換え、第２のコマンドに対応する第２の信号処理として、第２の信号に含まれるノイズを除去するノイズ除去処理、第２の信号に生じている歪みを除去する歪み除去処理、第２の信号としての画像の空間解像度を向上させる空間解像度創造処理、または第２の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、第２の信号処理の処理結果として得られる第３の信号を出力する第２の信号処理ステップとを含む。

本発明の信号処理装置および信号処理方法においては、放送手段は、外部からの信号に応じて、第１の信号処理手段に対する第１のコマンド、および第２の信号処理手段に対する第２のコマンドを含むコマンド列を生成して放送し、第１の信号処理手段は、放送されたコマンド列に含まれる第１のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、第１のコマンドに対応する第１の信号処理を行う状態に切り換え、第１のコマンドに対応する第１の信号処理として、第１の信号に含まれるノイズを除去するノイズ除去処理、第１の信号に生じている歪みを除去する歪み除去処理、第１の信号としての画像の空間解像度を向上させる空間解像度創造処理、または第１の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、第１の信号処理の処理結果として得られる第２の信号を出力し、第２の信号処理手段は、放送されたコマンド列に含まれる第２のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、第２のコマンドに対応する第２の信号処理を行う状態に切り換え、第２のコマンドに対応する第２の信号処理として、第２の信号に含まれるノイズを除去するノイズ除去処理、第２の信号に生じている歪みを除去する歪み除去処理、第２の信号としての画像の空間解像度を向上させる空間解像度創造処理、または第２の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、第２の信号処理の処理結果として得られる第３の信号を出力する。

本発明によれば、単一のハードウェアで、多くの機能を、容易に実現することが可能となる。

まず、請求項に記載の構成要件（発明特定事項）と、発明の実施の形態における具体例との対応関係を例示する。なお、この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の信号処理装置は、
第１および第２の信号処理手段（例えば、図１４のR-IC２１２，２２２，２３２）を備える信号処理装置において、
外部からの信号に応じて、前記第１の信号処理手段に対する第１のコマンド、および前記第２の信号処理手段に対する第２のコマンドを含むコマンド列を生成して放送する放送手段（例えば、図１４の制御装置２０２）を含み、
前記第１の信号処理手段は、
放送された前記コマンド列に含まれる前記第１のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第１のコマンドに対応する第１の信号処理を行う状態に切り換え、
前記第１のコマンドに対応する前記第１の信号処理として、第１の信号に含まれるノイズを除去するノイズ除去処理、前記第１の信号に生じている歪みを除去する歪み除去処理、前記第１の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第１の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第１の信号処理の処理結果として得られる第２の信号を出力し、
前記第２の信号処理手段は、
放送された前記コマンド列に含まれる前記第２のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第２のコマンドに対応する第２の信号処理を行う状態に切り換え、
前記第２のコマンドに対応する前記第２の信号処理として、前記第２の信号に含まれるノイズを除去するノイズ除去処理、前記第２の信号に生じている歪みを除去する歪み除去処理、前記第２の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第２の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第２の信号処理の処理結果として得られる第３の信号を出力する。

請求項４に記載の信号処理装置は、
前記第１の信号処理手段は、
前記注目信号を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記第１の信号から選択するクラスタップ選択手段（例えば、図２７のタップ選択部２５３）と、
前記クラスタップに基づいて、前記注目信号をクラス分類するクラス分類手段（例えば、図２７のクラス分類部２５４）と、
前記注目信号を求めるときの前記タップ係数との演算に用いる予測タップを、前記第１の信号から選択する予測タップ選択手段（例えば、図２７のタップ選択部２５２）と、
前記注目信号のクラスのタップ係数を出力するタップ係数出力手段（例えば、図２７の係数出力部２５５）と、
前記注目信号のクラスのタップ係数と、前記注目信号に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目信号を求める演算手段（例えば、図２７の予測演算部２５６）と
を有する。

請求項７に記載の信号処理装置は、
前記第２の信号処理手段は、
前記注目信号を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記第２の信号から選択するクラスタップ選択手段（例えば、図２７のタップ選択部２５３）と、
前記クラスタップに基づいて、前記注目信号をクラス分類するクラス分類手段（例えば、図２７のクラス分類部２５４）と、
前記注目信号を求めるときの前記タップ係数との演算に用いる予測タップを、前記第２の信号から選択する予測タップ選択手段（例えば、図２７のタップ選択部２５２）と、
前記注目信号のクラスのタップ係数を出力するタップ係数出力手段（例えば、図２７の係数出力部２５５）と、
前記注目信号のクラスのタップ係数と、前記注目信号に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目信号を求める演算手段（例えば、図２７の予測演算部２５６）と
を有する。

請求項１０に記載の信号処理装置は、
放送信号を受信し、その放送信号から得られる前記第１の画像信号を出力する画像信号出力手段（例えば、図３２のチューナ部３１１）をさらに備える。

請求項１１に記載の信号処理装置は、
前記コマンド列のうちの１つのコマンドに応じた動きベクトル検出処理を行う動きベクトル検出手段（例えば、図３５の信号処理チップ３３４）をさらに備え、
前記第１または第２の信号処理手段は、前記動きベクトル検出処理によって検出された動きベクトルを用いて、信号処理を行う。

請求項１２に記載の信号処理装置は、
前記コマンド列のうちの１つのコマンドに応じて、前記第３の画像信号を記憶する画像信号記憶手段（例えば、図３５のメモリ部３３３）をさらに備える。

請求項１３に記載の信号処理方法は、
放送手段と、第１および第２の信号処理手段とを備える信号処理装置の信号処理方法において、
前記放送手段が、外部からの信号に応じて、前記第１の信号処理手段に対する第１のコマンド、および前記第２の信号処理手段に対する第２のコマンドを含むコマンド列を生成して放送する放送ステップ（例えば、図１７のステップＳ２１３）と、
前記第１の信号処理手段が、
放送された前記コマンド列に含まれる前記第１のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第１のコマンドに対応する第１の信号処理を行う状態に切り換え、
前記第１のコマンドに対応する前記第１の信号処理として、第１の信号に含まれるノイズを除去するノイズ除去処理、前記第１の信号に生じている歪みを除去する歪み除去処理、前記第１の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第１の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第１の信号処理の処理結果として得られる第２の信号を出力する第１の信号処理ステップ（例えば、図１７のステップＳ２１５およびＳ２１６₁）と、
前記第２の信号処理手段が、
放送された前記コマンド列に含まれる前記第２のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第２のコマンドに対応する第２の信号処理を行う状態に切り換え、
前記第２のコマンドに対応する前記第２の信号処理として、前記第２の信号に含まれるノイズを除去するノイズ除去処理、前記第２の信号に生じている歪みを除去する歪み除去処理、前記第２の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第２の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第２の信号処理の処理結果として得られる第３の信号を出力する第２の信号処理ステップ（例えば、図１７のステップＳ２１５およびＳ２１６₂）と
を含む。

以下、本発明を適用した各種の装置（システム）の実施の形態について説明するが、その前に、その各種の装置が行う信号処理に利用するクラス分類適応処理について説明する。なお、クラス分類適応処理は、各種の装置が行う信号処理に利用する処理の一例であり、各種の装置が行う信号処理は、クラス分類適応処理を利用しないものであってもかまわない。

また、ここでは、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理を例に、クラス分類適応処理について説明する。

第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。

即ち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。

また、例えば、第１の画像データを低Ｓ／Ｎ(Siginal/Noise)の画像データとするとともに、第２の画像データを高Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。

さらに、例えば、第１の画像データを所定の画素数（サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。

また、例えば、第１の画像データを低時間解像度の画像データとするとともに、第２の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。

さらに、例えば、第１の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。

なお、空間解像度創造処理において、低空間解像度の画像データである第１の画像データを、高空間解像度の画像データである第２の画像データに変換するにあたっては、第２の画像データを、第１の画像データと同一の画素数の画像データとすることもできるし、第１の画像データよりも画素数が多い画像データとすることもできる。第２の画像データを、第１の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。

以上のように、画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。

以上のような画像変換処理としてのクラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。

即ち、図１は、クラス分類適応処理による画像変換処理を行う画像変換装置１の構成例を示している。

画像変換装置１では、そこに供給される画像データが、第１の画像データとして、タップ選択部１２および１３に供給される。

注目画素選択部１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。

タップ選択部１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。

具体的には、タップ選択部１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。

タップ選択部１３は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。即ち、タップ選択部１３は、タップ選択部１２が予測タップを選択するのと同様にして、クラスタップを選択する。

なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。

タップ選択部１２で得られた予測タップは、予測演算部１６に供給され、タップ選択部１３で得られたクラスタップは、クラス分類部１４に供給される。

クラス分類部１４は、タップ選択部１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１５に供給する。

ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。

ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。

なお、クラス分類部１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１４が出力するクラスコードの場合の数は、（２^N）^K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。

従って、クラス分類部１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。

係数出力部１５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１６に供給される。

ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。

予測演算部１６は、タップ選択部１２が出力する予測タップと、係数出力部１５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。

次に、図２のフローチャートを参照して、図１の画像変換装置１による画像変換処理について説明する。

ステップＳ１１において、注目画素選択部１１は、画像変換装置１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ１２に進む。即ち、注目画素選択部１１は、例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。

ステップＳ１２において、タップ選択部１２と１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１２から予測演算部１６に供給され、クラスタップは、タップ選択部１３からクラス分類部１４に供給される。

クラス分類部１４は、タップ選択部１３から、注目画素についてのクラスタップを受信し、ステップＳ１３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１５に出力し、ステップＳ１４に進む。

ステップＳ１４では、係数出力部１５が、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ１４では、予測演算部１６が、係数出力部１５が出力するタップ係数を取得し、ステップＳ１５に進む。

ステップＳ１５では、予測演算部１６が、タップ選択部１２が出力する予測タップと、係数出力部１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値を求めて出力し、ステップＳ１６に進む。

ステップＳ１６では、注目画素選択部１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１６において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ１１に戻り、以下、同様の処理が繰り返される。

また、ステップＳ１６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。

次に、図１の予測演算部１６における予測演算と、係数出力部１５に記憶されたタップ係数の学習について説明する。

いま、例えば、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。

所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。

・・・（１）

但し、式（１）において、ｘ_nは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗ_nは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。

ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第ｋサンプルの高画質画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。

・・・（２）

いま、式（２）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（２）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。

・・・（３）

但し、式（３）において、ｘ_n,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。

式（３）（または式（２））の予測誤差ｅ_kを０とするタップ係数ｗ_nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗ_nを求めることは、一般には困難である。

そこで、タップ係数ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗ_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（４）

但し、式（４）において、Ｋは、高画質画素ｙ_kと、その高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗ_nで偏微分したものを０とするｗ_nによって与えられる。

・・・（５）

そこで、上述の式（３）をタップ係数ｗ_nで偏微分すると、次式が得られる。

・・・（６）

式（５）と（６）から、次式が得られる。

・・・（７）

式（７）のｅ_kに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。

・・・（８）

式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗ_nについて解くことができる。

式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗ_nを、クラスごとに求めることができる。

次に、図３は、式（８）の正規方程式をたてて解くことによりタップ係数ｗ_nを求める学習を行う学習装置２１の構成例を示している。

学習用画像記憶部３１は、タップ係数ｗ_nの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。

教師データ生成部３２は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、教師データ生成部３２は、学習用画像データから、タップ係数の学習の教師（真値）、即ち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部３３に供給する。ここでは、教師データ生成部３２は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部３３に供給する。

教師データ記憶部３３は、教師データ生成部３２から供給される教師データとしての高画質画像データを記憶する。

生徒データ生成部３４は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、生徒データ生成部３４は、学習用画像データから、タップ係数の学習の生徒、即ち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１７４に供給する。ここでは、生徒データ生成部３４は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部３５に供給する。

生徒データ記憶部３５は、生徒データ生成部３４から供給される生徒データを記憶する。

学習部３６は、教師データ記憶部３３に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図１のタップ選択部１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。

即ち、図４は、図３の学習部３６の構成例を示している。

注目画素選択部４１は、教師データ記憶部３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。

タップ選択部４２は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１２が選択するの同一の画素を選択し、これにより、タップ選択部１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部４５に供給する。

タップ選択部４３は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１３が選択するのと同一の画素を選択し、これにより、タップ選択部１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部４４に供給する。

クラス分類部４４は、タップ選択部４３が出力するクラスタップに基づき、図１のクラス分類部１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力する。

足し込み部４５は、教師データ記憶部３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部４４から供給されるクラスコードごとに行う。

即ち、足し込み部４５には、教師データ記憶部３３に記憶された教師データｙ_k、タップ選択部４２が出力する予測タップｘ_n,k、クラス分類部４４が出力するクラスコードが供給される。

そして、足し込み部４５は、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_n,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部４５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_n,kと教師データｙ_kを用い、式（８）の右辺のベクトルにおける生徒データｘ_n,kおよび教師データｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

即ち、足し込み部４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目画素とされた教師データについて、その教師データｙ_k+1および生徒データｘ_n,k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（８）のサメーションで表される加算を行う）。

そして、足し込み部４５は、教師データ記憶部３３（図３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。

タップ係数算出部４６は、足し込み部４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗ_nを求めて出力する。

図１の画像変換装置１における係数出力部１５には、以上のようにして求められたクラスごとのタップ係数ｗ_nが記憶されている。

ここで、第１の画像データに対応する生徒データとする画像データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。

即ち、上述のように、高画質画像データを、第２の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から１番目に示すように、低画質画像データ（ＳＤ(Standard Definition)画像）である第１の画像データを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。

なお、この場合、第１の画像データ（生徒データ）は、第２の画像データ（教師データ）と画素数が同一であっても良いし、少なくても良い。

また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から２番目に示すように、低S/Nの画像データである第１の画像データを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。

さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から３番目に示すように、画像データの一部である第１の画像データを、その第１の画像データを拡大した拡大画像データである第２の画像データに変換する拡大処理（リサイズ処理）としての画像変換処理を行うものを得ることができる。

なお、拡大処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。

また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から４番目（１番下）に示すように、所定のフレームレートの第１の画像データを、高フレームレートの第２の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。

次に、図６のフローチャートを参照して、図３の学習装置２１の処理（学習処理）について、説明する。

まず最初に、ステップＳ２１において、教師データ生成部３２と生徒データ生成部３４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部３３と生徒データ生成部３４にそれぞれ供給して記憶させる。

なお、教師データ生成部３２と生徒データ生成部３４において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。

その後、ステップＳ２２に進み、学習部３６（図４）において、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ２３に進む。ステップＳ２３では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部４５に供給するとともに、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部４４に供給する。

そして、ステップＳ２４に進み、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力して、ステップＳ２５に進む。

ステップＳ２５では、足し込み部４５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部４４から供給されるクラスコードごとに行い、ステップＳ２６に進む。

ステップＳ２６では、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ２６において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ２６において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、足し込み部４５は、いままでのステップＳ２２乃至Ｓ２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部４６に供給し、ステップＳ２７に進む。

ステップＳ２７では、タップ係数算出部４６は、足し込み部４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗ_nを求めて出力し、処理を終了する。

なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部４６は、例えば、デフォルトのタップ係数を出力するようになっている。

次に、図７は、クラス分類適応処理による画像変換処理を行う他の画像変換装置である画像変換装置５１の構成例を示している。

なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換装置５１は、係数出力部１５に代えて、係数出力部５５が設けられている他は、図１の画像変換装置１と同様に構成されている。

係数出力部５５には、クラス分類部１４からクラス（クラスコード）が供給される他、例えば、ユーザの操作に応じて外部から入力されるパラメータｚが供給されるようになっている。係数出力部５５は、後述するようにして、パラメータｚに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部１４からのクラスのタップ係数を、予測演算部１６に出力する。

図８は、図７の係数出力部５５の構成例を示している。

係数生成部６１は、係数種メモリ６２に記憶されている係数種データと、パラメータメモリ６３に記憶されたパラメータｚとに基づいて、クラスごとのタップ係数を生成し、係数メモリ６４に供給して上書きする形で記憶させる。

係数種メモリ６２は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。

パラメータメモリ６３は、ユーザの操作等に応じて外部から入力されるパラメータｚを上書きする形で記憶する。

係数メモリ６４は、係数生成部６１から供給されるクラスごとのタップ係数（パラメータｚに対応するクラスごとのタップ係数）を記憶する。そして、係数メモリ６４は、クラス分類部１４（図７）から供給されるクラスのタップ係数を読み出し、予測演算部１６（図７）に出力する。

図７の画像変換装置５１では、外部から係数出力部５５に対して、パラメータｚが入力されると、係数出力部５５（図８）のパラメータメモリ６３において、そのパラメータｚが、上書きする形で記憶される。

パラメータメモリ６３にパラメータｚが記憶されると（パラメータメモリ６３の記憶内容が更新されると）、係数生成部６１は、係数種メモリ６２からクラスごとの係数種データを読み出すとともに、パラメータメモリ６３からパラメータｚを読み出し、その係数種データとパラメータｚに基づいて、クラスごとのタップ係数を求める。そして、係数生成部６１は、そのクラスごとのタップ係数を、係数メモリ６４に供給し、上書きする形で記憶させる。

画像変換装置５１では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部１５に代えて設けられている係数出力部５５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図１の画像変換装置１が行う図２のフローチャートにしたがった処理と同様の処理が行われる。

次に、図７の予測演算部１６における予測演算、並びに図８の係数生成部６１におけるタップ係数の生成および係数種メモリ６２に記憶させる係数種データの学習について説明する。

図１の実施の形態における場合のように、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。

ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

図８の実施の形態では、係数生成部６１において、タップ係数ｗ_nが、係数種メモリ６２に記憶された係数種データと、パラメータメモリ６３に記憶されたパラメータｚとから生成されるが、この係数生成部６１におけるタップ係数ｗ_nの生成が、例えば、係数種データとパラメータｚを用いた次式によって行われることとする。

・・・（９）

但し、式（９）において、β_m,nは、ｎ番目のタップ係数ｗ_nを求めるのに用いられるｍ番目の係数種データを表す。なお、式（９）では、タップ係数ｗ_nが、Ｍ個の係数種データβ_1,n，β_2,n，・・・，β_M,nを用いて求められるようになっている。

ここで、係数種データβ_m,nとパラメータｚから、タップ係数ｗ_nを求める式は、式（９）に限定されるものではない。

いま、式（９）におけるパラメータｚによって決まる値ｚ^m-1を、新たな変数ｔ_mを導入して、次式で定義する。

・・・（１０）

式（１０）を、式（９）に代入することにより、次式が得られる。

・・・（１１）

式（１１）によれば、タップ係数ｗ_nは、係数種データβ_m,nと変数ｔ_mとの線形１次式によって求められることになる。

ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙ_kと表すとともに、式（１）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。

・・・（１２）

いま、式（１２）の予測値ｙ_k’は、式（１）にしたがって求められるため、式（１２）のｙ_k’を、式（１）にしたがって置き換えると、次式が得られる。

・・・（１３）

但し、式（１３）において、ｘ_n,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。

式（１３）のｗ_nに、式（１１）を代入することにより、次式が得られる。

・・・（１４）

式（１４）の予測誤差ｅ_kを０とする係数種データβ_m,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβ_m,nを求めることは、一般には困難である。

そこで、係数種データβ_m,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβ_m,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（１５）

但し、式（１５）において、Ｋは、高画質画素ｙ_kと、その高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβ_m,nで偏微分したものを０とするβ_m,nによって与えられる。

・・・（１６）

式（１３）を、式（１６）に代入することにより、次式が得られる。

・・・（１７）

いま、Ｘ_i,p,j,qとＹ_i,pを、式（１８）と（１９）に示すように定義する。

・・・（１８）

・・・（１９）

この場合、式（１７）は、Ｘ_i,p,j,qとＹ_i,pを用いた式（２０）に示す正規方程式で表すことができる。

・・・（２０）

式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβ_m,nについて解くことができる。

図７の画像変換装置５１においては、多数の高画質画素ｙ₁，ｙ₂，・・・，ｙ_Kを学習の教師となる教師データとするとともに、各高画質画素ｙ_kについての予測タップを構成する低画質画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを学習の生徒となる生徒データとして、クラスごとに式（２０）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβ_m,nが、係数出力部５５（図８）の係数種メモリ６２に記憶されており、係数生成部６１では、その係数種データβ_m,nと、パラメータメモリ６３に記憶されたパラメータｚから、式（９）にしたがって、クラスごとのタップ係数ｗ_nが生成される。そして、予測演算部１６において、そのタップ係数ｗ_nと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像データの画素）ｘ_nを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。

次に、図９は、式（２０）の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβ_m,nを求める学習を行う学習装置７１の構成例を示している。

なお、図中、図３の学習装置２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、学習装置７１は、生徒データ生成部３４と学習部３６に代えて、生徒データ生成部７４と学習部７６がそれぞれ設けられているとともに、パラメータ生成部８１が新たに設けられている他は、図３の学習装置２１と同様に構成されている。

生徒データ生成部７４は、図３の生徒データ生成部３４と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部３５に供給して記憶させる。

但し、生徒データ生成部７４には、学習用画像データの他、図８のパラメータメモリ６３に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部８１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部７４には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部８１から供給されるようになっている。

生徒データ生成部７４は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。

従って、生徒データ生成部７４では、学習用画像データとしての高画質画像データについて、Ｚ＋１種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。

なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは、値の大きいパラメータｚに対応する低画質画像データほど、空間解像度が高い。

また、本実施の形態では、説明を簡単にするために、生徒データ生成部７４において、高画質画像データの水平方向および垂直方向の両方向の空間解像度を、パラメータｚに対応する分だけ低下させた低画質画像データを生成するものとする。

学習部７６は、教師データ記憶部３３に記憶された教師データ、生徒データ記憶部３５に記憶された生徒データ、およびパラメータ生成部８１から供給されるパラメータｚを用いて、クラスごとの係数種データを求めて出力する。

パラメータ生成部８１は、パラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部７４と学習部７６に供給する。

次に、図１０は、図９の学習部７６の構成例を示している。なお、図中、図４の学習部３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

タップ選択部９２は、図４のタップ選択部４２と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１２が選択するのと同一のタップ構造の予測タップを選択し、足し込み部９５に供給する。

タップ選択部９３も、図４のタップ選択部４３と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１３が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部４４に供給する。

但し、図１０では、タップ選択部４２と４３に、図９のパラメータ生成部８１が生成するパラメータｚが供給されるようになっており、タップ選択部４２と４３は、パラメータ生成部８１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像データ）から、予測タップとクラスタップをそれぞれ選択する。

足し込み部９５は、図９の教師データ記憶部３３から、注目画素を読み出し、その注目画素、タップ選択部４２から供給される注目画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに行う。

即ち、足し込み部９５には、教師データ記憶部３３に記憶された注目画素としての教師データｙ_k、タップ選択部４２が出力する注目画素についての予測タップｘ_i,k（ｘ_j,k）、およびクラス分類部４４が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータｚが、パラメータ生成部８１から供給される。

そして、足し込み部９５は、クラス分類部４４から供給されるクラスごとに、予測タップ（生徒データ）ｘ_i,k（ｘ_j,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸ_i,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘ_i,kｔ_pｘ_j,kｔ_q）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔ_pは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔ_qも同様である。

さらに、足し込み部９５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘ_i,k、教師データｙ_k、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹ_i,pを求めるための生徒データｘ_i,k、教師データｙ_k、およびパラメータｚの乗算（ｘ_i,kｔ_pｙ_k）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔ_pは、式（１０）にしたがって、パラメータｚから計算される。

即ち、足し込み部９５は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸ_i,p,j,qと、右辺のベクトルのコンポーネントＹ_i,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸ_i,p,j,qまたはベクトルのコンポーネントＹ_i,pに対して、新たに注目画素とされた教師データについて、その教師データｙ_k、生徒データｘ_i,k(ｘ_j,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘ_i,kｔ_pｘ_j,kｔ_qまたはｘ_i,kｔ_pｙ_kを足し込む（式（１８）のコンポーネントＸ_i,p,j,qまたは式（１９）のコンポーネントＹ_i,pにおけるサメーションで表される加算を行う）。

そして、足し込み部９５は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部９６に供給する。

係数種算出部９６は、足し込み部９５から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβ_m,nを求めて出力する。

次に、図１１のフローチャートを参照して、図９の学習装置７１の処理（学習処理）について、説明する。

まず最初に、ステップＳ３１において、教師データ生成部３２と生徒データ生成部７４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３２は、学習用画像データを、例えば、そのまま、教師データとして出力する。また、生徒データ生成部７４には、パラメータ生成部８１が生成するＺ＋１個の値のパラメータｚが供給される。生徒データ生成部７４は、例えば、学習用画像データを、パラメータ生成部８１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像データ）について、Ｚ＋１フレームの生徒データを生成して出力する。

教師データ生成部３２が出力する教師データは、教師データ記憶部３３に供給されて記憶され、生徒データ生成部７４が出力する生徒データは、生徒データ記憶部３５に供給されて記憶される。

その後、ステップＳ３２に進み、パラメータ生成部８１は、パラメータｚを、初期値としての、例えば０にセットし、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に供給して、ステップＳ３３に進む。ステップＳ３３では、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として、ステップＳ３４に進む。

ステップＳ３４では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データ（注目画素となっている教師データに対応する学習用画像データを、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを選択し、足し込み部９５に供給する。さらに、ステップＳ３４では、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データからクラスタップを選択し、クラス分類部４４に供給する。

そして、ステップＳ３５に進み、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部９５に出力して、ステップＳ３６に進む。

ステップＳ３５では、足し込み部９５は、教師データ記憶部３３から注目画素を読み出し、その注目画素、タップ選択部４２から供給される予測タップ、パラメータ生成部８１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘ_i,Kｔ_pｘ_j,Kｔ_qと、右辺のベクトルのコンポーネントｘ_i,Kｔ_pｙ_Kを計算する。さらに、足し込み部９５は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部４４からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘ_i,Kｔ_pｘ_j,Kｔ_qとベクトルのコンポーネントｘ_i,Kｔ_pｙ_Kを足し込み、ステップＳ３７に進む。

ステップＳ３７では、パラメータ生成部８１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ３６において、パラメータ生成部８１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ３８に進み、パラメータ生成部８１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に出力する。そして、ステップＳ３４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３７において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ３９に進み、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ３８において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、ステップＳ３２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３９において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、足し込み部９５は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部９６に供給し、ステップＳ４０に進む。

ステップＳ４０では、係数種算出部９６は、足し込み部９５から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβ_m,nを求めて出力し、処理を終了する。

なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部９６は、例えば、デフォルトの係数種データを出力するようになっている。

ところで、図９の学習装置７１では、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、パラメータｚに対応して劣化させた低画質画像データを生徒データとして、タップ係数ｗ_nおよび生徒データｘ_nから式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβ_m,nを直接求める学習を行うようにしたが、係数種データβ_m,nの学習は、その他、例えば、次のようにして行うことが可能である。

即ち、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データを、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像データを生徒データとして、まず最初に、タップ係数ｗ_nおよび生徒データｘ_nを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗ_nを、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求める。そして、そのパラメータｚの値ごとに求められたタップ係数ｗ_nを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβ_m,nおよび生徒データであるパラメータｚに対応する変数ｔ_mから予測される教師データとしてのタップ係数ｗ_nの予測値の自乗誤差の総和を最小にする係数種データβ_m,nを求める。

ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗ_nは、図３の学習装置２１における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。

ところで、タップ係数は、式（１１）に示したように、係数種データβ_m,nと、パラメータｚに対応する変数ｔ_mとから求められる。そして、いま、この式（１１）によって求められるタップ係数を、ｗ_n’と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗ_nと式（１１）により求められるタップ係数ｗ_n’との誤差ｅ_nを０とする係数種データβ_m,nが、最適なタップ係数ｗ_nを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗ_nについて、そのような係数種データβ_m,nを求めることは、一般には困難である。

・・・（２１）

なお、式（２１）は、式（１１）によって、次式のように変形することができる。

・・・（２２）

そこで、係数種データβ_m,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβ_m,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

・・・（２３）

式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβ_m,nで偏微分したものを０とするβ_m,nによって与えられる。

・・・（２４）

式（２２）を、式（２４）に代入することにより、次式が得られる。

・・・（２５）

いま、Ｘ_i,j,とＹ_iを、式（２６）と（２７）に示すように定義する。

・・・（２６）

・・・（２７）

この場合、式（２５）は、Ｘ_i,jとＹ_iを用いた式（２８）に示す正規方程式で表すことができる。

・・・（２８）

式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβ_m,nについて解くことができる。

次に、図１２は、式（２８）の正規方程式をたてて解くことにより係数種データβ_m,nを求める学習を行う学習装置１０１の構成例を示している。

なお、図中、図３の学習装置２１または図９の学習装置７１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、学習装置１０１は、学習部７６に代えて、学習部１０６が設けられている他は、図９の学習装置７１と同様に構成されている。

図１３は、図１２の学習部１０６の構成例を示している。なお、図中、図４の学習部３６または図１０の学習部７６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

足し込み部１１５には、クラス分類部４４が出力する注目画素のクラスと、パラメータ生成部８１が出力するパラメータｚが供給されるようになっている。そして、足し込み部１１５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに行う。

即ち、足し込み部１１５には、教師データ記憶部３３（図１２）に記憶された教師データｙ_k、タップ選択部４２が出力する予測タップｘ_n,k、クラス分類部４４が出力するクラス、およびパラメータ生成部８１（図１２）が出力する、予測タップｘ_n,kを構成する生徒データを生成したときのパラメータｚが供給される。

そして、足し込み部１１５は、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘ_n,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘ_n,kｘ_n',k）と、サメーション（Σ）に相当する演算を行う。

さらに、足し込み部１１５は、やはり、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘ_n,kと教師データｙ_kを用い、式（８）の右辺のベクトルにおける生徒データｘ_n,kおよび教師データｙ_kの乗算（ｘ_n,kｙ_k）と、サメーション（Σ）に相当する演算を行う。

即ち、足し込み部１１５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘ_n,kｘ_n',k）と、右辺のベクトルのコンポーネント（Σｘ_n,kｙ_k）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘ_n,kｘ_n',k）またはベクトルのコンポーネント（Σｘ_n,kｙ_k）に対して、新たに注目画素とされた教師データについて、その教師データｙ_k+1および生徒データｘ_n,k+1を用いて計算される、対応するコンポーネントｘ_n,k+1ｘ_n',k+1またはｘ_n,k+1ｙ_k+1を足し込む（式（８）のサメーションで表される加算を行う）。

そして、足し込み部１１５は、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。

従って、足し込み部１１５は、図４の足し込み部４５と同様に、各クラスについて、式（８）の正規方程式をたてる。但し、足し込み部１１５は、さらに、パラメータｚの各値ごとにも、式（８）の正規方程式をたてる点で、図４の足し込み部４５と異なる。

タップ係数算出部４６は、足し込み部１１５から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗ_nを求め、足し込み部１２１に供給する。

足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚ（に対応する変数ｔ_m）と、タップ係数算出部４６から供給される最適なタップ係数ｗ_nを対象とした足し込みを、クラスごとに行う。

即ち、足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚから式（１０）によって求められる変数ｔ_i（ｔ_j）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸ_i,jを求めるためのパラメータｚに対応する変数ｔ_i（ｔ_j）どうしの乗算（ｔ_iｔ_j）と、サメーション（Σ）に相当する演算を、クラスごとに行う。

ここで、コンポーネントＸ_i,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸ_i,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。

さらに、足し込み部１２１は、パラメータ生成部８１から供給されるパラメータｚから式（１０）によって求められる変数ｔ_iと、タップ係数算出部４６から供給される最適なタップ係数ｗ_nとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹ_iを求めるためのパラメータｚに対応する変数ｔ_iおよび最適なタップ係数ｗ_nの乗算（ｔ_iｗ_n）と、サメーション（Σ）に相当する演算を、クラスごとに行う。

足し込み部１２１は、各クラスごとに、式（２６）で表されるコンポーネントＸ_i,jと、式（２７）で表されるコンポーネントＹ_iを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部１２２に供給する。

係数種算出部１２２は、足し込み部１２１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβ_m,nを求めて出力する。

図８の係数出力部５５における係数種メモリ６２には、以上のようにして求められたクラスごとの係数種データβ_m,nを記憶させておくようにすることもできる。

なお、係数種データの学習においても、図５で説明したタップ係数の学習における場合と同様に、第１の画像データに対応する生徒データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。

即ち、上述の場合には、学習用画像データを、そのまま第２の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像データを、その空間解像度を向上させた第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。

この場合、図７の画像変換装置５１では、画像データの水平解像度および垂直解像度を、パラメータｚに対応する解像度に向上させることができる。

また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、パラメータｚに対応するレベルのノイズを重畳した画像データを生徒データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そこに含まれるノイズを除去（低減）した第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するS/Nの画像データを得ることができる。

また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータｚに対応して間引いた画像データを生徒データとして、または、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータｚに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そのサイズを拡大または縮小した第２の画像データに変換するリサイズ処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するサイズに拡大または縮小した画像データを得ることができる。

なお、上述の場合には、タップ係数ｗ_nを、式（９）に示したように、β_1,nｚ⁰＋β_2,nｚ¹＋・・・＋β_M,nｚ^M-1で定義し、この式（９）によって、水平および垂直方向の空間解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗ_nを求めるようにしたが、タップ係数ｗ_nとしては、水平解像度と垂直解像度を、独立のパラメータｚ_xとｚ_yに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。

即ち、タップ係数ｗ_nを、式（９）に代えて、例えば、３次式β_1,nｚ_x ⁰ｚ_y ⁰＋β_2,nｚ_x ¹ｚ_y ⁰＋β_3,nｚ_x ²ｚ_y ⁰＋β_4,nｚ_x ³ｚ_y ⁰＋β_5,nｚ_x ⁰ｚ_y ¹＋β_6,nｚ_x ⁰ｚ_y ²＋β_7,nｚ_x ⁰ｚ_y ³＋β_8,nｚ_x ¹ｚ_y ¹＋β_9,nｚ_x ²ｚ_y ¹＋β_10,nｚ_x ¹ｚ_y ²で定義するとともに、式（１０）で定義した変数ｔ_mを、式（１０）に代えて、例えば、ｔ₁＝ｚ_x ⁰ｚ_y ⁰，ｔ₂＝ｚ_x ¹ｚ_y ⁰，ｔ₃＝ｚ_x ²ｚ_y ⁰，ｔ₄＝ｚ_x ³ｚ_y ⁰，ｔ₅＝ｚ_x ⁰ｚ_y ¹，ｔ₆＝ｚ_x ⁰ｚ_y ²，ｔ₇＝ｚ_x ⁰ｚ_y ³，ｔ₈＝ｚ_x ¹ｚ_y ¹，ｔ₉＝ｚ_x ²ｚ_y ¹，ｔ₁₀＝ｚ_x ¹ｚ_y ²で定義する。この場合も、タップ係数ｗ_nは、最終的には、式（１１）で表すことができ、従って、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚ_xとｚ_yに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像データを、生徒データとして用いて学習を行って、係数種データβ_m,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚ_xとｚ_yに対応して、それぞれ独立に向上させるタップ係数ｗ_nを求めることができる。

その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚ_xとｚ_yに加えて、さらに、時間方向の解像度に対応するパラメータｚ_tを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚ_x，ｚ_y，ｚ_tに対応して、それぞれ独立に向上させるタップ係数ｗ_nを求めることが可能となる。

また、リサイズ処理についても、空間解像度創造処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗ_nの他、水平と垂直方向を、それぞれパラメータｚ_xとｚ_yに対応する拡大率で、独立にリサイズするタップ係数ｗ_nを求めることが可能である。

さらに、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚ_xに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚ_yに対応して教師データにノイズを付加した画像データを、生徒データとして用いて学習を行って、係数種データβ_m,nを求めることにより、パラメータｚ_xに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚ_yに対応してノイズ除去を行うタップ係数ｗ_nを求めることができる。

次に、本発明の第１実施の形態について説明する。

図１４は、本発明の第１実施の形態としてのAVシステムの構成例を示している。

図１４において、AVシステムは、本体２００とリモコン（リモートコマンダ）２０１とから構成されている。

本体２００は、制御装置２０２、DVD(Digital Versatile Disc)レコーダ部２０３、HDD(Hard Disk Drive)レコーダ部２０４、およびテレビジョン受像機部２０５から構成されている。

リモコン２０１は、操作部２０１Ａおよび送信部２０１Ｂを有している。

操作部２０１Ａは、本体２００に対する各種の指令を入力するときに、ユーザによって操作される。送信部２０１Ｂは、操作部２０１Ａの操作に対応する操作信号を、例えば、赤外線により射出する。なお、送信部２０１Ｂでは、その他、例えば、Bluetooth（商標）の規格等にしたがった無線により操作信号を送信することもできる。

制御装置２０２は、送受信部２０２Ａと制御部２０２Ｂから構成されている。

送受信部２０２Ａは、リモコン２０１から赤外線で送信されてくる操作信号を受光（受信）し、制御部２０２Ｂに供給する。また、送受信部２０２Ａは、制御部２０２Ｂから供給される１以上のコマンドのシーケンスであるコマンド列を、無線または有線で送信（放送）する。なお、ここでは、送受信部２０２Ａは、コマンド列を無線で送信するものとする。

制御部２０２Ｂは、送受信部２０２Ａから供給される操作信号に対応して、DVDレコーダ部２０３、HDDレコーダ部２０４、またはテレビジョン受像機部２０５に対する１以上のコマンドからなるコマンド列を生成し、送受信部２０２Ａに供給する。

DVDレコーダ部２０３は、受信部２１１、R-IC(Reconfigurable-IC)２１２、記録部２１３、DVD２１４、および再生部２１５から構成され、図示せぬチューナで受信されたテレビジョン放送番組の画像データや、図示せぬ外部端子を介して入力される画像データなどの外部から供給される画像データに対し、必要に応じて信号処理を施し、後段のHDDレコーダ部２０４に供給、またはDVD２１４に記録する。また、DVDレコーダ部２０３は、DVD２１４から画像データを再生し、必要に応じて信号処理を施し、後段のHDDレコーダ部２０４に供給する。

即ち、DVDレコーダ部２０３において、受信部２１１は、制御装置２０２の送受信部２０２Ａから無線で送信されてくるコマンド列を受信し、R-IC２１２に供給する。

R-IC２１２は、その内部構造がリコンフィギュラブル(reconfigurable)な（再構成可能な）１チップのICで、受信部２１１から供給されるコマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、外部から供給される画像データ、または再生部２１５から供給される画像データを、必要に応じて信号処理（データ処理）して、HDDレコーダ部２０４または記録部２１３に供給する。

なお、受信部２１１とR-IC２１２の全体を、１チップのICとして構成することも可能である。後述する受信部２２１とR-IC２２２の全体、および受信部２３１とR-IC２３２の全体についても同様である。

記録部２１３は、R-IC２１２から供給される画像データに対して、MPEG符号化等の必要な処理を施することにより、その画像データをDVDの規格に準拠した記録データに変換し、DVD２１４に記録する。なお、DVD２１４は、DVDレコーダ部２０３に対して、容易に着脱可能となっている。

再生部２１５は、DVD２１４から記録データを読み出し、画像データに復号して（画像データを再生して）、R-IC２１２に供給する。

HDDレコーダ部２０４は、受信部２２１、R-IC２２２、記録部２２３、HD２２４、および再生部２２５から構成され、前段のDVDレコーダ部２０３から供給される画像データに対し、必要に応じて信号処理を施し、後段のテレビジョン受像機部２０５に供給、またはHD２２４に記録する。また、HDDレコーダ部２０４は、HD２２４から画像データを再生し、必要に応じて信号処理を施し、後段のテレビジョン受像機部２０５に供給する。

即ち、HDDレコーダ部２０４において、受信部２２１は、制御装置２０２の送受信部２０２Ａから無線で送信されてくるコマンド列を受信し、R-IC２２２に供給する。

R-IC２２２は、R-IC２１２と同様に、その内部構造がリコンフィギュラブルな１チップのICで、受信部２２１から供給されるコマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、前段のDVDレコーダ部２０３から供給される画像データ、または再生部２２５から供給される画像データを、必要に応じて信号処理して、テレビジョン受像機部２０５または記録部２２３に供給する。

記録部２２３は、R-IC２２２から供給される画像データに対して必要な処理を施し、HD２２４に記録する。

再生部２２５は、HD２２４から記録データを読み出し（再生し）、R-IC２２２に供給する。

テレビジョン受像機部２０５は、受信部２３１、R-IC２３２、ディスプレイ２３３から構成され、前段のHDレコーダ部２０４から供給される画像データに対し、必要に応じて信号処理を施し、ディスプレイ２３３に供給して表示させる。

即ち、テレビジョン受像機部２０５において、受信部２３１は、制御装置２０２の送受信部２０２Ａから無線で送信されてくるコマンド列を受信し、R-IC２３２に供給する。

R-IC２３２は、R-IC２１２と同様に、その内部構造がリコンフィギュラブルな１チップのICで、受信部２３１から供給されるコマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、前段のHDレコーダ部２０４から供給される画像データを必要に応じて信号処理し、ディスプレイ２３３に供給する。

ディスプレイ２３３は、R-IC２３２から供給される画像データを表示する。

なお、図１４では、DVDレコーダ部２０３、HDDレコーダ部２０４、およびテレビジョン受像機部２０５が、本体２００としての１つの筐体に収納されているものとしてあるが、DVDレコーダ部２０３、HDDレコーダ部２０４、テレビジョン受像機部２０５は、それぞれ単独の筐体に収納されている独立した装置であっても良い。この場合、DVDレコーダ部２０３、HDDレコーダ部２０４、テレビジョン受像機部２０５それぞれどうしでは、有線または無線で、必要なデータ（信号）のやりとりを行うことができる。

また、図１４では、制御装置２０２が、リモコン２０１からの操作信号に応じたコマンド列を生成し、DVDレコーダ部２０３、HDDレコーダ部２０４、およびテレビジョン受像機部２０５に、無線で送信することとしたが、その他、例えば、リモコン２０１において、操作信号に応じたコマンド列を生成し、DVDレコーダ部２０３、HDDレコーダ部２０４、およびテレビジョン受像機部２０５に、無線で送信するようにすることも可能である。

次に、図１５乃至図２６を参照して、図１４のAVシステムの本体２００の動作について説明する。

ユーザがリモコン２０１の操作部２０１Ａを操作すると、送信部２０１Ｂは、その操作に対応した操作信号を送信する。

そして、制御装置２０２では、その送受信部２０２Ａが、リモコン２０１の送信部２０１Ｂからの操作信号を受信し、制御部２０２Ｂに供給する。

制御部２０２Ｂは、送受信部２０２Ａからの操作信号を受信し、ステップＳ２０１において、その操作信号が、外部からの画像データの、DVD２１４への記録を指令するものであるかどうかを判定する。

ステップＳ２０１において、操作信号が、外部からの画像データの、DVD２１４への記録を指令するものであると判定された場合、ステップＳ２０２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。

ここで、図１６は、制御部２０２Ｂが、図１５のステップＳ２０２で生成するコマンド列の例を示している。

図１６のコマンド列は、１つのノイズ除去処理コマンドと２つのNullコマンドとから構成されている。

図１６のコマンド列のうちの、先頭（１番目）のノイズ除去処理コマンドは、DVDレコーダ部２０３（のR-IC２１２）に対し、信号処理として、ノイズを除去（低減）するノイズ除去処理を要求するものである。また、先頭から２番目のNullコマンドは、HDDレコーダ部２０４（のR-IC２２２）に対し、信号処理として、何もしないことを要求するものである。さらに、先頭から３番目のNullコマンドは、テレビジョン受像機部２０５（のR-IC２３２）に対し、信号処理として、何もしないことを要求するものである。

なお、Nullコマンドは、なくてもよく、この場合、図１６のコマンド列は、DVDレコーダ部２０３に対する１つのノイズ除去処理コマンドから構成されることになる。

図１５に戻り、ステップＳ２０２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２０３に進む。ステップＳ２０３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２０４に進む。

ステップＳ２０４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２０３で送信したコマンド列を受信する。さらに、ステップＳ２０４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２０５に進む。

ステップＳ２０５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２０６に進む。

即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図１６のコマンド列のうちの先頭のノイズ除去処理コマンドに応じて、ノイズ除去処理を行うように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１とテレビジョン受像機部２０５のR-IC２３１は、図１６のコマンド列のうちの２番目と３番目のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。

ステップＳ２０６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２０５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。

即ち、いまの場合、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、ノイズ除去処理を施し、記録部２１３に供給する。記録部２１３は、R-IC２１２からの画像データをMPEG符号化等し、DVD２１４に記録する。即ち、DVD２１４には、外部から入力される画像データに対して、R-IC２１２がノイズ除去処理を施すことによって得られる画像データが記録される。

従って、この場合、R-IC２１２，２２２，２３２のうちの、唯一、信号処理を行うR-IC２１２は、ノイズ除去処理を行う装置として機能することになる。

一方、制御部２０２Ｂは、ステップＳ２０１において、操作信号が、外部からの画像データの、DVD２１４への記録を指令するものでないと判定した場合、図１７のステップＳ２１１に進み、操作信号が、DVD２１４に記録された画像データの再生を指令するものであるかどうかを判定する。

ステップＳ２１１において、操作信号が、DVD２１４に記録された画像データの再生を指令するものであると判定された場合、ステップＳ２１２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。

ここで、図１８は、制御部２０２Ｂが、図１７のステップＳ２１２で生成するコマンド列の例を示している。

図１８のコマンド列は、１つの歪み除去処理コマンド、１つの時間解像度創造処理コマンド、および１つの空間解像度創造処理コマンドから構成されている。

図１８のコマンド列のうちの、先頭の歪み除去処理コマンドは、DVDレコーダ部２０３のR-IC２１２に対し、信号処理として、MPEG符号化／復号により生じるブロック歪み等を除去する歪み除去処理を要求するものである。また、先頭から２番目の時間解像度創造処理コマンドは、HDDレコーダ部２０４のR-IC２２２に対し、信号処理として、画像データの時間解像度を向上させる時間解像度創造処理を要求するものである。さらに、先頭から３番目の空間解像度創造処理コマンドは、テレビジョン受像機部２０５のR-IC２３２に対し、信号処理として、画像データの空間解像度を向上させる空間解像度創造処理を要求するものである。

図１７に戻り、ステップＳ２１２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２１３に進む。ステップＳ２１３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２１４に進む。

ステップＳ２１４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２１３で送信したコマンド列を受信する。さらに、ステップＳ２１４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２１５に進む。

ステップＳ２１５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２１６に進む。

即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図１８のコマンド列のうちの先頭の歪み除去処理コマンドに応じて、歪み除去処理を行うように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１は、図１８のコマンド列のうちの先頭から２番目の時間解像度創造処理コマンドに応じて、時間解像度創造処理を行うように、その内部構造を切り換える。さらに、テレビジョン受像機部２０５のR-IC２３１は、図１８のコマンド列のうちの先頭から３番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。

ステップＳ２１６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２１５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。

即ち、いまの場合、DVDレコーダ部２０３において、再生部２１５が、DVD２１４から画像データを読み出し、MPEG復号して、R-IC２１２に供給する。R-IC２１２は、ステップＳ２１６₁において、再生部２１５から供給される画像データ、即ち、MPEG符号化／復号によってブロック歪み等が生じている画像データに対して、歪み除去処理を施し、HDDレコーダ２０４部に出力する。

HDDレコーダ部２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、ステップＳ２１６₂において、R-IC２１２からの画像データに対して、時間解像度創造処理を施し、テレビジョン受像機部２０５に出力する。

テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、ステップＳ２１６₃において、R-IC２２２からの画像データに対して、空間解像度創造処理を施し、ディスプレイ２３３に供給する。

従って、いまの場合、R-IC２１２は、歪み除去処理を行う装置(IC)として、R-IC２２２は、時間解像度創造処理を行う装置として、R-IC２３２は、空間解像度創造処理を行う装置として、それぞれ機能することになる。

以上のように、DVD２１４から再生された画像データを対象に、R-IC２１２で歪み除去処理が行われ、その処理結果を対象に、R-IC２２２で時間解像度創造処理が行われ、さらに、その処理結果を対象に、R-IC２３２で空間解像度創造処理が行われることにより、ディスプレイ２３３には、ブロック歪み等が除去（低減）され、時間解像度および空間解像度が高い画像が表示されることになる。

ここで、DVD２１４に、例えば、映画の画像データが記録されているものとすると、映画を、テレビジョン方式の画像データに変換するときには、いわゆる２−３プルダウンが行われるため、DVD２１４に記録されている画像データは、その２−３プルダウンによって時間解像度が劣化したものとなっている。

そこで、R-IC２２２において、上述のように、時間解像度創造処理を行うことにより、２−３プルダウンによって劣化した画像データの時間解像度を回復（時間解像度の劣化の程度を低減）することができる。

一方、制御部２０２Ｂは、ステップＳ２１１において、操作信号が、DVD２１４に記録された画像データの再生を指令するものでないと判定した場合、図１９のステップＳ２２１に進み、操作信号が、外部からの画像データの、HD２２４への記録を指令するものであるかどうかを判定する。

ステップＳ２２１において、操作信号が、外部からの画像データの、HD２２４への記録を指令するものであると判定された場合、ステップＳ２２２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。

ここで、図２０は、制御部２０２Ｂが、図１９のステップＳ２２２で生成するコマンド列の例を示している。

図２０のコマンド列は、１つのノイズ除去処理コマンド、１つの空間解像度創造処理コマンド、および１つのNullコマンドから構成されている。

図２０のコマンド列のうちの、先頭の歪み除去処理コマンドは、DVDレコーダ部２０３のR-IC２１２に対し、信号処理として、ノイズ除去処理を要求するものである。また、先頭から２番目の空間解像度創造処理コマンドは、HDDレコーダ部２０４のR-IC２２２に対し、信号処理として、空間解像度創造処理を要求するものである。さらに、先頭から３番目のNullコマンドは、テレビジョン受像機部２０５のR-IC２３２に対し、信号処理として、何もしないことを要求するものである。

図１９に戻り、ステップＳ２２２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２２３に進む。ステップＳ２２３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２２４に進む。

ステップＳ２２４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２２３で送信したコマンド列を受信する。さらに、ステップＳ２２４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２２５に進む。

ステップＳ２２５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２２６に進む。

即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２０のコマンド列のうちの先頭のノイズ除去処理コマンドに応じて、ノイズ除去処理を行うように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１は、図２０のコマンド列のうちの先頭から２番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。さらに、テレビジョン受像機部２０５のR-IC２３１は、図２０のコマンド列のうちの先頭から３番目のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。

ステップＳ２２６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２２５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。

即ち、いまの場合、DVDレコーダ部２０３では、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、ノイズ除去処理を施し、HDDレコーダ２０４に出力する。

HDDレコーダ部２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、R-IC２１２からの画像データに対して、空間解像度創造処理を施し、記録部２２３に供給する。記録部２２３は、R-IC２２２からの画像データをMPEG符号化等し、HD２２４に記録する。即ち、HD２２４には、外部から入力される画像データに対して、R-IC２１２がノイズ除去処理を施し、さらに、その後、R-IC２２２が空間解像度創造処理を施すことによって得られる画像データが記録される。

従って、この場合、R-IC２１２は、歪み除去処理を行う装置として、R-IC２２２は、空間解像度創造処理を行う装置として、それぞれ機能することになる。

一方、制御部２０２Ｂは、ステップＳ２２１において、操作信号が、外部からの画像データの、HD２２４への記録を指令するものでないと判定した場合、図２１のステップＳ２３１に進み、操作信号が、HD２２４に記録された画像データの再生を指令するものであるかどうかを判定する。

ステップＳ２３１において、操作信号が、HD２２４に記録された画像データの再生を指令するものであると判定された場合、ステップＳ２３２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。

ここで、図２２は、制御部２０２Ｂが、図２１のステップＳ２３２で生成するコマンド列の例を示している。

図２２のコマンド列は、１つのNullコマンド、１つの歪み除去処理コマンド、および１つの空間解像度創造処理コマンドから構成されている。

図２２のコマンド列のうちの、先頭のNullコマンドは、DVDレコーダ部２０３のR-IC２１２に対し、信号処理として、何もしないことを要求するものである。また、先頭から２番目の歪み除去処理コマンドは、HDDレコーダ部２０４のR-IC２２２に対し、信号処理として、歪み除去処理を要求するものである。さらに、先頭から３番目の空間解像度創造処理コマンドは、テレビジョン受像機部２０５のR-IC２３２に対し、信号処理として、空間解像度創造処理を要求するものである。

図２１に戻り、ステップＳ２３２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２３３に進む。ステップＳ２３３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２３４に進む。

ステップＳ２３４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２３３で送信したコマンド列を受信する。さらに、ステップＳ２３４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２３５に進む。

ステップＳ２３５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２３６に進む。

即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２２のコマンド列のうちの先頭のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１は、図２２のコマンド列のうちの先頭から２番目の歪み除去処理コマンドに応じて、歪み除去処理を行うように、その内部構造を切り換える。さらに、テレビジョン受像機部２０５のR-IC２３１は、図２２のコマンド列のうちの先頭から３番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。

ステップＳ２３６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２３５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。

即ち、いまの場合、HDDレコーダ部２０４において、再生部２２５が、HD２２４から画像データを読み出し、MPEG復号して、R-IC２２２に供給する。R-IC２２２は、再生部２２５から供給される画像データ、即ち、MPEG符号化／復号によってブロック歪み等が生じている画像データに対して、歪み除去処理を施し、テレビジョン受像機部２０５に出力する。

テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、R-IC２２２からの画像データに対して、空間解像度創造処理を施し、ディスプレイ２３３に供給する。

従って、いまの場合、R-IC２２２は、歪み除去処理を行う装置として、R-IC２３２は、空間解像度創造処理を行う装置として、それぞれ機能することになる。

以上のように、HD２２４から再生された画像データを対象に、R-IC２２２で歪み除去処理が行われ、その処理結果を対象に、R-IC２３２で空間解像度創造処理が行われることにより、ディスプレイ２３３には、ブロック歪み等が除去（低減）され、空間解像度が高い画像が表示されることになる。

一方、制御部２０２Ｂは、ステップＳ２３１において、操作信号が、HDD２２４に記録された画像データの再生を指令するものでないと判定した場合、図２３のステップＳ２４１に進み、操作信号が、外部からの画像データの拡大（ズーム）表示を指令するものであるかどうかを判定する。

ステップＳ２４１において、操作信号が、外部からの画像データの拡大表示を指令するものであると判定された場合、ステップＳ２４２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。

ここで、図２４は、制御部２０２Ｂが、図２３のステップＳ２４２で生成するコマンド列の例を示している。

図２４のコマンド列は、３つの空間解像度創造処理コマンドから構成されている。

図２４のコマンド列のうちの、先頭、２番目、３番目の空間解像度創造処理コマンドは、DVDレコーダ部２０３のR-IC２１２、HDDレコーダ部２０４のR-IC２２２、テレビジョン受像機部２０５のR-IC２３２に対し、それぞれ、信号処理として、空間解像度創造処理を要求するものである。

図２３に戻り、ステップＳ２４２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２４３に進む。ステップＳ２４３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２４４に進む。

ステップＳ２４４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２４３で送信したコマンド列を受信する。さらに、ステップＳ２４４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２４５に進む。

ステップＳ２４５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２４６に進む。

即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２４のコマンド列のうちの先頭の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。同様に、HDDレコーダ部２０４のR-IC２２１とテレビジョン受像機部２０５のR-IC２３１も、図２４のコマンド列のうちの先頭から２番目と３番目の空間解像度創造処理コマンドにそれぞれ応じて、空間解像度創造処理を行うように、それぞれの内部構造を切り換える。

ステップＳ２４６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２４５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。

即ち、いまの場合、DVDレコーダ部２０３では、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、空間解像度創造処理を施し、HDDレコーダ２０４に出力する。

HDDレコーダ２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、R-IC２１２からの画像データに対して、空間解像度創造処理を施し、テレビジョン受像機部２０５に出力する。

テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、R-IC２２２からの画像データに対して、空間解像度創造処理を施し、ディスプレイ２３３に供給する。

従って、いまの場合、R-IC２１２，２２２，２３２は、いずれも、空間解像度創造処理を行う装置として機能することになる。

いま、R-IC２１２，２２２，２３２それぞれで行われる空間解像度創造処理としての画像変換処理が、第１の画像データを、その第１の画像データよりも画素数が多い第２の画像データに変換するものでもあるとすると、即ち、R-IC２１２，２２２，２３２それぞれで行われる空間解像度創造処理がリサイズ処理でもあるとすると、R-IC２１２では、外部からの画像データを対象に、リサイズ処理でもある空間解像度創造処理が行われる。そして、R-IC２２２では、その空間解像度創造処理の結果を対象に、やはり、リサイズ処理でもある空間解像度創造処理が行われ、さらに、R-IC２３２でも、その空間解像度創造処理の結果を対象に、やはり、リサイズ処理でもある空間解像度創造処理が行われる。

これにより、ディスプレイ２３３には、外部からの画像データが拡大された画像が表示されることになる。

一方、制御部２０２Ｂは、ステップＳ２４１において、操作信号が、外部からの画像データの拡大表示を指令するものでないと判定した場合、図２５のステップＳ２５１に進み、操作信号が、外部からの画像データのスローモーションでの表示を指令するものであるかどうかを判定する。

ステップＳ２５１において、操作信号が、外部からの画像データのスローモーションでの表示を指令するものであると判定された場合、ステップＳ２５２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。

ここで、図２６は、制御部２０２Ｂが、図２５のステップＳ２５２で生成するコマンド列の例を示している。

図２６のコマンド列は、３つの時間解像度創造処理コマンドから構成されている。

図２６のコマンド列のうちの、先頭、２番目、３番目の時間解像度創造処理コマンドは、DVDレコーダ部２０３のR-IC２１２、HDDレコーダ部２０４のR-IC２２２、テレビジョン受像機部２０５のR-IC２３２に対し、それぞれ、信号処理として、時間解像度創造処理を要求するものである。

図２５に戻り、ステップＳ２５２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２５３に進む。ステップＳ２５３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２５４に進む。

ステップＳ２５４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２５３で送信したコマンド列を受信する。さらに、ステップＳ２５４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２５５に進む。

ステップＳ２５５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２５６に進む。

即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２６のコマンド列のうちの先頭の時間解像度創造処理コマンドに応じて、時間解像度創造処理を行うように、その内部構造を切り換える。同様に、HDDレコーダ部２０４のR-IC２２１とテレビジョン受像機部２０５のR-IC２３１も、図２６のコマンド列のうちの先頭から２番目と３番目の時間解像度創造処理コマンドにそれぞれ応じて、時間解像度創造処理を行うように、それぞれの内部構造を切り換える。

ステップＳ２５６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２５５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。

即ち、いまの場合、DVDレコーダ部２０３では、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、時間解像度創造処理を施し、HDDレコーダ２０４に出力する。

HDDレコーダ２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、R-IC２１２からの画像データに対して、時間解像度創造処理を施し、テレビジョン受像機部２０５に出力する。

テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、R-IC２２２からの画像データに対して、時間解像度創造処理を施し、ディスプレイ２３３に供給する。

従って、いまの場合、R-IC２１２，２２２，２３２は、いずれも、時間解像度創造処理を行う装置として機能することになる。

いま、R-IC２１２，２２２，２３２それぞれで行われる時間解像度創造処理としての画像変換処理が、第１の画像データを、その第１の画像データよりもフレーム（またはフィールド）数が多い第２の画像データに変換するものでもあるとすると、R-IC２１２では、外部からの画像データを対象に、時間解像度創造処理が行われ、フレーム数が増加した画像データが得られる。そして、R-IC２２２では、R-IC２１２で得られたフレーム数が増加した画像データを対象に、やはり、時間解像度創造処理が行われ、フレーム数がさらに増加した画像データが得られる。その後、R-IC２３２でも、R-IC２２２で得られたフレーム数が増加した画像データを対象に、時間解像度創造処理が行われ、フレーム数がより増加した画像データが得られる。

このように、フレーム数が増加した画像データがディスプレイ２３３に供給され、外部からの画像データを表示するときと同一のフレーム（フィールド）レートで表示されることにより、ディスプレイ２３３では、画像がスローモーションで表示されることになる。

なお、図１５、図１７、図１９、図２１、図２３、および図２５のフローチャートで説明した各ステップの処理は、ハードウェアであるR-IC２１２，２２２、および２３２などにより行われる処理である。但し、図１５のステップＳ２０１乃至Ｓ２０３の処理、図１７のステップＳ２１１乃至Ｓ２１３の処理、図１９のステップＳ２２１乃至Ｓ２２３の処理、図２１のステップＳ２３１乃至Ｓ２３３の処理、図２３のステップＳ２４１乃至Ｓ２４３の処理、および図２５のステップＳ２５１乃至Ｓ２５３の処理は、マイクロコンピュータ等のコンピュータに、プログラムを実行させることで行うことも可能である。

次に、図２７は、図１４のR-IC２１２の構成例を示している。なお、他のR-IC２２２および２３２も同様に構成される。

R-IC２１２は、受信部２１１（図１４）から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した各種の信号処理を行う。

即ち、R-IC２１２は、注目画素選択部２５１、タップ選択部２５２，２５３、クラス分類部２５４、係数出力部２５５、および予測演算部２５６で構成されている。これらの注目画素選択部２５１、タップ選択部２５２，２５３、クラス分類部２５４、係数出力部２５５、予測演算部２５６は、図１の注目画素選択部１１、タップ選択部１２，１３、クラス分類部１４、係数出力部１５、予測演算部１６にそれぞれ対応するものである。

従って、R-IC２１２では、そこに供給される第１の画像データが、第２の画像データに変換されて出力される。

なお、係数出力部２５５には、受信部２１１（図１４）で受信されたコマンド列のうちの、R-IC２１２（DVDレコーダ部２０３）に対するコマンドが供給されるようになっている。

図２８は、図２７の係数出力部２５５の構成例を示している。

図２８では、係数出力部２５５は、係数メモリ２６１₁，２６１₂，２６１₃、および２６１₄、並びに選択部２６２で構成されている。

係数メモリ２６１₁，２６１₂，２６１₃、２６１₄には、あらかじめ行われた学習により求められたノイズ除去処理用のタップ係数、歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、空間解像度創造処理用のタップ係数が、それぞれ記憶されている。

そして、係数メモリ２６１₁乃至２６１₄には、図２７のクラス分類部２５４が出力するクラス（クラスコード）が供給される。係数メモリ２６１₁乃至２６１₄それぞれは、クラス分類部２５４からのクラスのタップ係数を読み出し、選択部２６２に出力する。

選択部２６２には、上述したように、係数メモリ２６１₁乃至２６１₄それぞれから読み出されたタップ係数が供給される他、受信部２１１（図１４）で受信されたコマンド列のうちの、R-IC２１２に対するコマンドが供給される。選択部２６２は、受信部２１１から供給されるコマンドに応じて、係数メモリ２６１₁乃至２６１₄のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部２５６（図２７）の入力端に接続することで、R-IC２１２の内部構造を切り換える。

ここで、選択部２６２が、係数メモリ２６１₁乃至２６１₄のうちの、例えば、係数メモリ２６１₁の出力端を選択し、その選択した出力端を、予測演算部２５６の入力端に接続した場合、予測演算部２５６には、係数メモリ２６１₁から読み出されるノイズ除去処理用のタップ係数が供給されることとなり、その結果、R-IC２１２は、ノイズ除去処理を行う装置として機能することになる。

同様に、選択部２６２が、係数メモリ２６１₁乃至２６１₄のうちの、係数メモリ２６１₂，２６１₃，２６１₄の出力端を選択し、その選択した出力端を、予測演算部２５６の入力端に接続した場合、予測演算部２５６には、係数メモリ２６１₂，２６１₃，２６１₄から読み出される歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、空間解像度創造処理用のタップ係数が、それぞれ供給される。その結果、選択部２６２が、係数メモリ２６１₁乃至２６１₄のうちの、係数メモリ２６１₂，２６１₃，２６１₄の出力端を選択した場合には、R-IC２１２は、歪み除去処理を行う装置、時間解像度創造処理を行う装置、空間解像度創造処理を行う装置として、それぞれ機能することになる。

次に、図２９のフローチャートを参照して、図２７のR-IC２１２の処理について説明する。

図１４の受信部２１１からR-IC２１２に、R-IC２１２に対するコマンドが供給されると、R-IC２１２は、ステップＳ２６１において、そのコマンドに応じて、内部構造を切り換える。

即ち、受信部２１１からのコマンドは、係数出力部２５５に供給される。係数出力部２５５（図２８）では、選択部２６２が、受信部２１１からのコマンドに応じて、係数メモリ２６１₁乃至２６１₄のうちの、受信部２１１からのコマンドに対応する信号処理用のタップ係数が記憶されているものの出力端を選択し、その選択した出力端を、予測演算部２５６（図２７）の入力端に接続することで、R-IC２１２の内部構造を切り換える。

その後、ステップＳ２６２に進み、以下、ステップＳ２６２乃至Ｓ２６７において、図２のステップＳ１１乃至Ｓ１６における場合とそれぞれ同様の処理が行われる。

即ち、ステップＳ２６２において、注目画素選択部２５１は、R-IC２１２に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ２６３に進む。

ステップＳ２６３において、タップ選択部２５２と２５３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部２５２から予測演算部２５６に供給され、クラスタップは、タップ選択部２５３からクラス分類部２５４に供給される。

クラス分類部２５４は、タップ選択部２５３から、注目画素についてのクラスタップを受信し、ステップＳ２６４において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部２５４は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部２５５に出力し、ステップＳ２６５に進む。

ステップＳ２６５では、係数出力部２５５が、クラス分類部２５４から供給されるクラスのタップ係数を出力する。即ち、係数出力部２５５（図２８）は、係数メモリ２６１₁乃至２６１₄のうちの、選択部２６２が出力端を選択しているものから、クラス分類部２５４から供給されるクラスのタップ係数を読み出し、予測演算部２５６に出力する。そして、ステップＳ２６５では、予測演算部２５６が、係数出力部２５５が出力するタップ係数を取得し、ステップＳ２６６に進む。

ステップＳ２６６では、予測演算部２５６が、タップ選択部２５２が出力する予測タップと、係数出力部２５５から取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部２５６は、注目画素の画素値を求めて出力し、ステップＳ２６７に進む。

ステップＳ２６７では、注目画素選択部２５１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ２６７において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ２６２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ２６７において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。

次に、図３０は、図１４のR-IC２１２の他の構成例を示している。なお、図中、図２７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３０のR-IC２１２は、係数出力部２５５に代えて、係数出力部２７５が設けられている他は、図２７における場合と同様に構成されている。

ここで、他のR-IC２２２および２３２も、図３０に示すR-IC２１２と同様に構成することができる。

図３０のR-IC２１２も、図２７における場合と同様に、受信部２１１（図１４）から供給されるコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した各種の信号処理を行う。即ち、図３０のR-IC２１２も、そこに供給される第１の画像データを、第２の画像データに変換して出力する。

なお、受信部２１１（図１４）からのコマンドは、係数出力部２７５に供給されるようになっている。さらに、係数出力部２７５には、R-IC２１２の外部からパラメータｚが供給されるようになっている。

ここで、パラメータｚは、例えば、ユーザがリモコン２０１（図１４）の操作部２０１Ａを操作することによって与えることができる。

即ち、ユーザは、リモコン２０１を操作することにより、本体２００に対して、上述したように、DVD２１４やHD２２４に対する画像データの記録または再生、ディスプレイ２３３への画像の拡大表示、スローモーション表示などを指令することができる。そして、R-IC２１２では、その指令に応じて、そこに入力される第１の画像データを対象に、ノイズ除去処理、歪み除去処理、時間解像度創造処理、または空間解像度創造処理が行われ、その処理の結果得られる第２の画像データが出力される。

図２７に示した構成のR-IC２１２では、係数出力部２５５に固定のタップ係数が記憶されているため、例えば、ノイズ除去処理によるノイズ除去の程度（ノイズ除去処理により向上するS/Nの程度）や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度も固定となるが、これらの程度の好みは、一般に、ユーザごとに異なる。

さらに、上述したように、画像のスローモーション表示は、時間解像度創造処理によって行われ、画像の拡大表示は、空間解像度創造処理によって行われるが、スローモーション表示を行うときの表示レート（フレームレート）や、拡大表示を行うときの拡大率を、ユーザが指定したいことがある。

そこで、図３０の実施の形態では、ユーザが、リモコン２０１（図１４）を操作して、DVD２１４やHD２２４に対する画像データの記録または再生、ディスプレイ２３３への画像の拡大表示、スローモーション表示などを指令するのとは別に、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度、スローモーション表示を行うときの表示レート、拡大表示を行うときの拡大率を指定することができるようになっている。

この指定は、例えば、ユーザがリモコン２０１の操作部２０１Ａを操作することにより行うことができる。即ち、ユーザがリモコン２０１の操作部２０１Ａを操作することにより、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度、スローモーション表示を行うときの表示レート、拡大表示を行うときの拡大率などの値を指定すると、送信部２０１Ｂは、その指定された値に対応するパラメータｚを送信する。このパラメータｚは、制御装置２０２を介して、受信部２１１，２２１，２３１でそれぞれ受信され、R-IC２１２，２２２，２３２に供給される。

そして、図３０のR-IC２１２では、受信部２１１からのパラメータｚが、係数出力部２７５に供給される。

図３１は、図３０の係数出力部２７５の構成例を示している。

係数出力部２７５は、係数生成部２８１、係数種出力部２８２、パラメータメモリ２８３、および係数メモリ２８４から構成される。これらの係数生成部２８１、係数種出力部２８２、パラメータメモリ２８３、係数メモリ２８４は、図８の係数出力部５５を構成する係数生成部６１、係数種メモリ６２、パラメータメモリ６３、係数メモリ６４にそれぞれ対応する。

図３１の係数出力部２７５においては、受信部２１１（図１４）からのパラメータｚがパラメータメモリ２８３に供給されて記憶される。さらに、受信部２１１で受信されたコマンド列のうちの、R-IC２１２に対するコマンドが、係数種出力部２８２に供給される。また、クラス分類部２５４（図３０）が出力するクラスが、係数メモリ２８４に供給される。

係数種出力部２８２は、係数種メモリ２９１₁，２９１₂，２９１₃、および２９１₄、並びに選択部２９２で構成されている。

係数種メモリ２９１₁，２９１₂，２９１₃、２９１₄には、あらかじめ行われた学習により求められたノイズ除去処理用の係数種データ、歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、空間解像度創造処理用の係数種データが、それぞれ記憶されている。

そして、係数種メモリ２９１₁乃至２９１₄は、それぞれが記憶しているクラスごとの係数種データを読み出し、選択部２９２に出力する。

選択部２９２には、上述したように、係数種メモリ２９１₁乃至２９１₄それぞれから読み出された係数種データが供給される他、受信部２１１（図１４）で受信されたコマンド列のうちの、R-IC２１２に対するコマンドが供給される。選択部２９２は、受信部２１１から供給されるコマンドに応じて、係数種メモリ２９１₁乃至２９１₄のうちのいずれかの出力端を選択し、その選択した出力端を、係数生成部２８１の入力端に接続することで、R-IC２１２の内部構造を切り換える。

ここで、選択部２９２が、係数種メモリ２９１₁乃至２９１₄のうちの、例えば、係数種メモリ２９１₁の出力端を選択し、その選択した出力端を、係数生成部２８１の入力端に接続した場合、係数生成部２８１には、係数種メモリ２９１₁から読み出されるノイズ除去処理用の係数種データが供給される。

同様に、選択部２９２が、係数種メモリ２９１₁乃至２９１₄のうちの、係数種メモリ２９１₂，２９１₃，２９１₄の出力端を選択し、その選択した出力端を、係数生成部２８１の入力端に接続した場合、係数生成部２８１には、係数種メモリ２９１₂，２９１₃，２９１₄から読み出される歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、空間解像度創造処理用の係数種データが、それぞれ供給される。

係数生成部２８１は、係数種出力部２８２から供給される係数種データと、パラメータメモリ２８３に記憶されたパラメータｚとに基づいて、式（９）を演算することにより、パラメータｚに対応するタップ係数をクラスごとに生成し、係数メモリ２８４に供給して上書きする形で記憶させる。

そして、係数メモリ２８４では、クラス分類部２５４（図３０）からクラスが供給されると、そこに記憶している、パラメータｚに対応するタップ係数のうちの、クラス分類部２５４からのクラスのタップ係数を読み出し、予測演算部２５６（図３０）に出力する。

以上のような係数出力部２７５を有する図３０のR-IC２１２では、固定のタップ係数を記憶しており、そのタップ係数を出力する図２７の係数出力部２５５に代えて設けられている係数出力部２７５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図２７における場合と同様の処理が行われる。

従って、係数出力部２７５（図３１）において、選択部２９２が、係数種メモリ２９１₁乃至２９１₄のうちの、例えば、係数種メモリ２９１₁の出力端を選択し、これにより、係数生成部２８１に、係数種メモリ２９１₁から読み出されたノイズ除去処理用の係数種データが供給された場合、係数生成部２８１では、その係数種データと、パラメータメモリ２８３に記憶されたパラメータｚとから、そのパラメータｚに対応するノイズ除去処理用のタップ係数が生成され、係数メモリ２８４に記憶される。従って、この場合、係数出力部２７５から予測演算部２５６には、ノイズ除去処理用のタップ係数が供給されることとなり、その結果、R-IC２１２は、ノイズ除去処理を行う装置として機能することになる。

同様に、選択部２９２が、係数種メモリ２９１₁乃至２９１₄のうちの、係数種メモリ２９１₂，２９１₃、または２９１₄の出力端を選択し、これにより、係数生成部２８１に、係数種メモリ２９１₂，２９１₃，または２９１₄から読み出された歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、または空間解像度創造処理用の係数種データが供給された場合、係数生成部２８１では、その係数種データと、パラメータメモリ２８３に記憶されたパラメータｚとから、そのパラメータｚに対応する歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、または空間解像度創造処理用のタップ係数が生成され、係数メモリ２８４に記憶される。従って、選択部２９２が、係数種メモリ２９１₁乃至２９１₄のうちの、係数種メモリ２９１₂，２９１₃、または２９１₄の出力端を選択した場合には、係数出力部２７５から予測演算部２５６には、歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、または空間解像度創造処理用のタップ係数が供給されることとなり、その結果、R-IC２１２は、ノイズ除去処理を行う装置、時間解像度創造処理を行う装置、空間解像度創造処理を行う装置として、それぞれ機能することになる。

さらに、図３０のR-IC２１２では、係数出力部２７５（図３１）の係数メモリ２８４に、パラメータｚに対応するタップ係数が記憶されるので、ユーザは、リモコン２０１（図１４）を操作することにより、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度を、好みの程度とすることができる。また、スローモーション表示を行うときの表示レートや、拡大表示を行うときの拡大率を指定することができる。

以上のように、R-IC２１２，２２２，２３２それぞれでは、コマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、そこに入力される画像データを信号処理して、その信号処理結果としての画像データを出力するので、単一のハードウェアで、複数の機能を、容易に実現することができる。

さらに、R-IC２２２では、R-IC２１２の信号処理結果を信号処理し、R-IC２３２では、R-IC２２２の信号処理結果を信号処理するので、R-IC２１２，２２２，２３２全体としては、より多くの機能を、容易に実現することができる。

なお、図１４のAVシステムには、３つのR-IC２１２，２２２，２３２を設けるようにしたが、AVシステムは、その他、１つや２つ、あるいは４以上のR-ICを設けて構成することが可能である。

次に、本発明の第２実施の形態について説明する。

図３２は、本発明の第２実施の形態としてのテレビジョン受像機３０１の構成例を示している。

テレビジョン受像機３０１には、アンテナ３０２が接続されている。アンテナ３０２は、図示せぬ放送局から送信されてくる放送波（電波）としてのテレビジョン放送番組の伝送信号を受信し、テレビジョン受像機３０１に供給する。テレビジョン受像機３０１は、アンテナ３０１からの伝送信号を受信し、その伝送信号に含まれる所定のチャンネルのテレビジョン放送番組（の信号）を、リモコン（リモートコマンダ）３０３からの操作信号にしたがって選局して、そのテレビジョン放送番組としての画像を表示するとともに、音声を出力する。

即ち、テレビジョン受像機３０１は、チューナ部３１１を有しており、アンテナ３０２からの伝送信号は、チューナ部３１１に供給される。チューナ部３１１は、アンテナ３０２からの伝送信号を受信し、システムコントローラ３１８の制御にしたがって、アンテナ３０２から受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像（データ）および音声（データ）を選局することにより取得する。

さらに、チューナ部３１１は、選局したチャンネルの音声を、増幅回路３１２に供給するとともに、画像のR(Red)信号、G(Green)信号、B(Blue)信号を、信号処理部３１４，３１５，３１６に、それぞれ供給する。

増幅回路３１２は、チューナ部３１１からの音声を増幅し、スピーカ３１３に供給して出力させる。

信号処理部３１４乃至３１６は、システムコントローラ３１８からの制御にしたがい、チューナ部３１１からの画像のR信号、G信号、B信号を、それぞれ信号処理し、ディスプレイ３１７に供給して、対応する画像を表示させる。

システムコントローラ３１８は、リモコン受信部３１９から供給される操作信号にしたがって、チューナ部３１１および信号処理部３１４乃至３１６に制御信号を供給することにより、チューナ部３１１および信号処理部３１４乃至３１６を制御する。

リモコン受信部３１９は、ユーザがリモコン３０３を操作することにより、リモコン３０３から送信されてくる操作信号としての、例えば、赤外線その他の無線信号を受信し、システムコントローラ３１８に供給する。

以上のように構成されるテレビジョン受像機３０１では、チューナ部３１１は、アンテナ３０２からの伝送信号を受信し、システムコントローラ３１８の制御にしたがって、アンテナ３０２から受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像および音声を選局する。そして、チューナ部３１１は、選局したチャンネルの音声を、増幅回路３１２に供給するとともに、画像のR信号、G信号、B信号（画像データ）を、信号処理部３１４乃至３１６に、それぞれ供給する。

増幅回路３１２では、チューナ部３１１からの音声が増幅され、スピーカ３１３に供給されて出力される。

一方、信号処理部３１４乃至３１６では、システムコントローラ３１８からの制御にしたがい、チューナ部３１１からの画像のR信号、G信号、B信号（画像データ）が、それぞれ信号処理される。そして、信号処理部３１４乃至３１６では、それぞれの信号処理の結果得られる画像データが、ディスプレイ３１７に供給され、ディスプレイ３１７において、対応する画像が表示される。

なお、テレビジョン受像機３０１において受信する放送は、特に限定されるものではない。即ち、テレビジョン受像機３０１では、例えば、衛星放送、地上波放送、アナログ放送、ディジタル放送、その他の任意の放送を受信することができる。

また、以下においては、音声に関する説明は、特に必要がない限り省略する。

次に、図３２のシステムコントローラ３１８によるチューナ部３１１および信号処理部３１４乃至３１６の制御について説明する。

ここで、信号処理部３１４乃至３１６では、それぞれで処理される信号が、R信号、G信号、Ｂ信号であることを除いて同一の処理が行われるため、以下では、信号処理部３１４乃至３１６のうちの、信号処理部３１４についてだけ説明する。

また、以下においては、チューナ部３１１が出力する画像がプログレッシブ画像（ノンインタレース方式の画像）であるとして説明を行う。但し、チューナ部３１１が出力する画像は、インタレース方式の画像であっても良く、この場合、以下の第２実施の形態の説明における「フレーム」は、「フィールド」とすることができる。

システムコントローラ３１８は、リモコン３０３からリモコン受信部３１９を介して供給される操作信号にしたがい、テレビジョン受像機３０１の動作モードを、マルチ画面モードまたは通常画面モードに切り換える制御を行う。即ち、システムコントローラ３１８は、ユーザによるリモコン３０３の操作に応じて、テレビジョン受像機３０１の動作モードを、マルチ画面モードまたは通常画面モードに切り換え、その動作モードの処理を行うように、チューナ部３１１および信号処理部３１４乃至３１６を制御する。

そして、チューナ部３１１および信号処理部３１４乃至３１６は、システムコントローラ３１８の制御にしたがい、マルチ画面モードの処理、または通常画面モードの処理を行う。

ここで、チューナ部３１１から信号処理部３１４に供給（入力）される画像データを、入力画像データというとともに、信号処理部３１４における信号処理の結果得られる画像データを、出力画像データというものとすると、マルチ画面モードとは、例えば、複数チャンネルの入力画像データそれぞれの同一フレームが、いわゆるマルチ画面表示された出力画像データを得て、ディスプレイ３１７に表示するモードであり、通常画面モードとは、１チャンネルの入力画像データに対応する出力画像データを得て、ディスプレイ３１７に表示するモードである。

マルチ画面モードにおいては、複数チャンネルの画像が、マルチ画面で表示されるので、ユーザは、そのマルチ画面の画像を見ることにより、所望の番組を放送しているチャンネルを、容易に選択することが可能となる。

なお、マルチ画面モードにおいては、マルチ画面で表示されている複数チャンネルの画像のうちの任意のチャンネルの画像を指定するカーソル（例えば、枠）を表示し、そのカーソルを、ユーザによるリモコン３０３の操作に応じて移動させることができる。この場合、スピーカ３１３からは、カーソルによって指定されている画像のチャンネルの音声を出力するようにすることができる。

図３３は、図３２のシステムコントローラ３１８によるチューナ部３１１の制御を説明するための図である。なお、図３３では、縦軸が、画像の垂直方向を表し、横軸が時間（の経過）を表す。

動作モードが通常画面モードの場合、システムコントローラ３１８は、ユーザによるリモコン３０３の操作に対応したチャンネルを選局するように、チューナ部３１１を制御する。

従って、例えば、いま、ユーザが、リモコン３０３を操作することにより、チャンネルCH1を選択しているものとすると、チューナ部３１１は、アンテナ３０２からの伝送信号から、チャンネルCH1を選局し続け、これにより、図３３上側に示すように、フレーム周期で、チャンネルCH1の画像（データ）を、信号処理部３１４に供給する。

一方、動作モードがマルチ画面モードの場合、システムコントローラ３１８は、例えば、フレーム周期で、選局するチャンネルを順次変更するように、チューナ部３１１を制御する。

従って、選局の変更対象のチャンネル数が、例えば、チャンネルCH1,CH2,CH3,CH4の４チャンネルであるとすると、チューナ部３１１は、例えば、図３３下側に示すように、最初のフレームのタイミングで、チャンネルCH1を選局し、次のフレームのタイミングで、チャンネルCH2を選局し、以下、同様にして、チャンネルCH3，CH4を順次選局する。その後、チューナ部３１１は、再び、チャンネルCH１を選局し、以下、同様にして、チャンネルCH1乃至CH4それぞれを順次選局する。その結果、フレーム周期をT₁で表すこととすると、チューナ部３１１から信号処理部３１４に対しては、チャンネルCH1の画像が、フレーム周期T₁の４倍の周期で供給される。即ち、チューナ部３１１からは、フレーム周期T₁の４倍の周期で、３フレームずつのコマ落ちが生じたチャンネルCH1の画像が出力される。他のチャンネルCH2乃至CH4それぞれの画像も、同様である。

ここで、選局の変更対象のチャンネル数は、４チャンネルに限定されるものではない。選局の変更対象のチャンネル数をNで表すこととすると、マルチ画面モードでは、選局の変更対象のある１チャンネルの画像が、チューナ部３１１から信号処理部３１４に供給される周期は、フレーム周期T₁のN倍になる。

また、マルチ画面モードでは、例えば、テレビジョン受像機３０１で受信可能なすべてのチャンネルを、選局の変更対象のチャンネルとすることもできるし、ユーザが選んだ複数のチャンネルを、選局の変更対象のチャンネルとすることもできる。さらに、マルチ画面モードにおいて、選局の変更対象のチャンネル数、即ち、１フレームに表示される画像のチャンネル数が所定の閾値より多い場合には、画像をスクロールして表示するようにすることが可能である。

ここで、以下においては、説明を簡単にするために、マルチ画面モードにおけるチューナ部３１１の選局の変更対象のチャンネルが、上述したチャンネルCH1乃至CH4に固定されているものとする。

次に、図３４は、通常画面モードにおいてチューナ部３１１で得られた１つのチャンネルCH1の画像を単に表示した場合と、マルチ画面モードにおいてチューナ部３１１で得られた４チャンネルCH1乃至CH4の画像を、そのチャンネル数と等しい分割数のマルチ画面、即ち、４分割のマルチ画面で単に表示した場合とを示している。

なお、マルチ画面モードでは、１フレームが、例えば、２×２の４つの小画面に等分割されて、４チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。即ち、ここでは、４分割のマルチ画面のうちの、左上、右上、左下、右下の小画面に、チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。

通常画面モードでは、チューナ部３１１において、図３３で説明したように、１チャンネルCH1の画像が、フレーム周期T₁で得られる。従って、チューナ部３１１で得られた１つのチャンネルCH1の画像を単に表示した場合は、図３４上側に示すように、フレーム周期T₁で、チャンネルCH1の画像が表示される。

一方、マルチ画面モードでは、チューナ部３１１において、図３３で説明したように、４チャンネルCH1乃至CH4それぞれの画像が、フレーム周期T₁の４倍の周期4T₁で得られる。従って、チューナ部３１１で得られた４チャンネルCH1乃至CH4それぞれの画像を、４分割のマルチ画面で単に表示した場合には、図３４下側に示すように、最初のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部３１１で得られたチャンネルCH1の画像の最初のフレームが表示され、２番目のフレームのタイミングで、マルチ画面の右上の小画面に、チューナ部３１１で得られたチャンネルCH2の画像の２番目のフレームが表示される。さらに、３番目のフレームのタイミングで、マルチ画面の左下の小画面に、チューナ部３１１で得られたチャンネルCH3の画像の３番目のフレームが表示され、４番目のフレームのタイミングで、マルチ画面の右下の小画面に、チューナ部３１１で得られたチャンネルCH4の画像の４番目のフレームが表示される。その後、５番目のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部３１１で得られたチャンネルCH1の画像の５番目のフレームが表示され、以下、同様にして、チューナ部３１１において、周期4T₁で得られるチャンネルCH1乃至CH4それぞれの画像が、マルチ画面の対応する小画面に表示される。

マルチ画面モードにおいて、チューナ部３１１であるチャンネルを選局された後、次にそのチャンネルが選局されるまでの間、そのチャンネルの画像を表示する小画面を、例えば、フリーズしておくものとすると、チューナ部３１１では、４チャンネルCH1乃至CH4それぞれが、時分割で、周期4T₁で選局されるために、マルチ画面に表示される４チャンネルCH1乃至CH4の画像は、動きの粗い、見にくいものとなる。

図３２のテレビジョン受像機３０１では、そのようなマルチ画面の表示を行うことも可能であるが、後述するように、信号処理部３１４において、動きの滑らかなマルチ画面を表示する出力画像を生成して表示することができるようになっている。

即ち、図３５は、図３２の信号処理部３１４の構成例を示している。

信号処理部３１４は、コマンド列生成部３３０、信号処理チップ３３１および３３２、メモリ部３３３、並びに信号処理チップ３３４で構成されている。

ここで、コマンド列生成部３３０、信号処理チップ３３１，３３２、メモリ部３３３、信号処理チップ３３４は、それぞれ、例えば、１チップのICで構成されている。なお、信号処理部３１４全体を、１チップのICで構成することも可能であるし、コマンド列生成部３３０、信号処理チップ３３１および３３２、メモリ部３３３、並びに信号処理チップ３３４のうちの２以上を１チップのICとすることも可能である。

コマンド列生成部３３０には、システムコントローラ３１８（図３２）からの制御信号が供給される。コマンド列生成部３３０は、システムコントローラ３１８からの制御信号に応じて、複数のコマンドからなるコマンド列を生成し、例えば無線により、信号処理チップ３３１，３３２、メモリ部３３３、信号処理チップ３３４に送信する。

信号処理チップ３３１には、図３２のチューナ部３１１が出力する画像としての入力画像データが供給される。また、信号処理チップ３３１には、信号処理チップ３３４の信号処理結果としての動きベクトルが供給される。

信号処理チップ３３１は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。さらに、信号処理チップ３３１は、チューナ部３１１からの入力画像データを、クラス分類適応処理における第１の画像データとして信号処理し、その結果得られる画像データ（クラス分類適応処理における第２の画像データ）を、信号処理チップ３３２に出力する。

なお、信号処理チップ３３１では、信号処理チップ３３４から供給される動きベクトルを用いて、チューナ部３１１からの入力画像データが信号処理される。

また、信号処理チップ３３１は、その内部構造を切り換えることにより、信号処理として、例えば、画像の空間解像度を向上させる空間解像度創造処理、または画像をリサイズして縮小画像を生成するリサイズ処理（以下、縮小画像生成処理ともいう）を行う。

信号処理チップ３３２には、上述したように、信号処理チップ３３１の信号処理結果としての画像データが供給される他、信号処理チップ３３４の信号処理結果としての動きベクトルが供給される。

信号処理チップ３３２は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。さらに、信号処理チップ３３２は、信号処理チップ３３１が出力する画像データを、クラス分類適応処理における第１の画像データとして信号処理し、その結果得られる画像データ（クラス分類適応処理における第２の画像データ）を、メモリ部３３３に出力する。

なお、信号処理チップ３３２でも、信号処理チップ３３４から供給される動きベクトルを用いて、信号処理チップ３３１からの画像データが信号処理される。

また、信号処理チップ３３２は、その内部構造を切り換えることにより、信号処理として、例えば、画像のノイズを除去するノイズ除去処理、または画像の時間解像度を向上させる時間解像度創造処理を行う。

メモリ部３３３は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドにしたがい、信号処理チップ３３２が出力する画像データを、その内蔵するメモリ（図示せず）に書き込むことにより記憶するとともに、メモリに記憶された画像データを読み出し、出力画像データとして、ディスプレイ３１７（図３２）に供給する。

信号処理チップ３３４には、信号処理チップ３３１における場合と同様に、図３２のチューナ部３１１が出力する画像としての入力画像データが供給される。

信号処理チップ３３４は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。さらに、信号処理チップ３３４は、チューナ部３１１からの入力画像データを信号処理することで、動きベクトルを検出し、その動きベクトルを、信号処理チップ３３１および３３２に供給する。

なお、信号処理チップ３３４は、その内部構造を切り換えることにより、信号処理として、例えば、後述する通常画面用の動きベクトルを検出する動きベクトル処理、または後述するマルチ画面用の動きベクトルを検出する動きベクトル処理を行う。

次に、図３６を参照して、図３５のコマンド列生成部３３０が生成するコマンド列について説明する。

即ち、図３６は、コマンド列生成部３３０が生成するコマンド列の例を示している。

システムコントローラ３１８（図３２）からコマンド列生成部３３０に対しては、通常画面モードの処理、またはマルチ画面モードの処理を行うことを指令する制御信号が供給される。

コマンド列生成部３３０は、システムコントローラ３１８から供給された制御信号が、通常画面モードの処理を行うことを指令するものである場合、図３６上に示すコマンド列（以下、適宜、通常モードコマンド列という）を生成する。また、コマンド列生成部３３０は、システムコントローラ３１８から供給された制御信号が、マルチ画面モードの処理を行うことを指令するものである場合、図３６下に示すコマンド列（以下、適宜、マルチ画面モードコマンド列）を生成する。

図３６上に示す通常画面モードコマンド列は、その先頭から、通常画面用動きベクトル検出コマンド、空間解像度創造コマンド、ノイズ除去コマンド、および通常画面用メモリ制御コマンドが順次配置されて構成されている。また、図３６下に示すマルチ画面モードコマンド列は、その先頭から、マルチ画面用動きベクトル検出コマンド、縮小画像生成コマンド、時間解像度創造コマンド、およびマルチ画面用メモリ制御コマンドが順次配置されて構成されている。

通常画面用動きベクトル検出コマンドは、画像から、通常画面用の動きベクトルを検出する動きベクトル検出処理の実行を要求するコマンドであり、空間解像度創造コマンドまたはノイズ除去コマンドは、それぞれ、上述したクラス分類適応処理による空間解像度創造処理またはノイズ除去処理の実行を要求するコマンドである。

通常画面用メモリ制御コマンドは、１チャンネルの画像データを、ディスプレイ３１７の画面全体に表示するための、その１チャンネルの画像データのメモリへの読み書き処理の実行を要求するコマンドである。

マルチ画面用動きベクトル検出コマンドは、画像から、マルチ画面用の動きベクトルを検出する動きベクトル検出処理の実行を要求するコマンドであり、縮小画像生成コマンド、または時間解像度創造コマンドは、それぞれ、上述したクラス分類適応処理によるリサイズ処理としての縮小画像生成処理、または時間解像度創造処理の実行を要求するコマンドである。

マルチ画面用メモリ制御コマンドは、複数チャンネルの画像データを、ディスプレイ３１７でマルチ画面表示するための、その複数チャンネルの画像データのメモリへの読み書き処理の実行を要求するコマンドである。

ここで、図３６のコマンド列は、単に、１以上のコマンドが、順次配置されて構成されているが、コマンド列を構成する各コマンドには、そのコマンドに対応する処理を実行すべきIC、即ち、図３５の実施の形態では、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４のうちのいずれかを特定するIC情報を付加することが可能である。この場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４それぞれは、コマンド列生成部３３０から受信したコマンド列のうちの、自身を表すIC情報が付加されているコマンドに対応する処理を実行する。

なお、第２実施の形態では、コマンド列は、図３６に示したように、単に、１以上のコマンドが、順次配置されて構成されるものとする。この場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４それぞれは、コマンド列生成部３３０から受信したコマンド列のうちの、例えば、自身が実行可能なコマンドに対応する処理を実行する。

即ち、図３６上の通常画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４は、それぞれ、その通常画面モードコマンド列を受信し、その通常画面モードコマンド列のうちの、自身が実行可能なコマンドに対応する処理を実行する。

この場合、信号処理チップ３３４は、通常画面モードコマンド列のうちの、例えば、通常画面用動きベクトル検出コマンドに応じて、その内部構造を、信号処理として、通常画面モード用の動きベクトルを検出する動きベクトル検出処理を行うように切り換える。

そして、信号処理チップ３３４は、通常画面モード時にチューナ部３１１から供給される１チャンネルの画像データとしての、例えばチャンネルCH1の画像データから、通常画面モード用の動きベクトルを検出して、信号処理チップ３３１および３３２に供給する。

信号処理チップ３３１は、図３６上の通常画面モードコマンド列のうちの、例えば、空間解像度創造コマンドに応じて、その内部構造を、信号処理として、空間解像度創造処理を行うように切り換える。

そして、信号処理チップ３３１は、信号処理チップ３３４から供給される動きベクトルを用い、チューナ部３１１から供給されるチャンネルCH1の画像データに対して、空間解像度創造処理を施し、その結果得られる画像データを、信号処理チップ３３２に出力する。

ここで、図３７は、空間解像度創造処理を行う信号処理チップ３３１において入出力される画像データを示している。

なお、図３７では、i番目のフレーム（の画像）を、t_iと表してある。

コマンド列生成部３３０（図３５）が、図３６上の通常画面モードコマンド列を送信するのは、動作モードとして、通常画面モードが選択されたときである。そして、通常画面モードでは、チューナ部３１１（図３２）が、所定のチャンネルとしての、例えば、チャンネルCH1を選局し、これにより、信号処理チップ３３１には、図３７上側に示すように、チャンネルCH1の入力画像データのフレームt_iがフレーム周期T₁で順次入力される。

信号処理チップ３３１は、そこに入力されるチャンネルCH1の入力画像データのフレームt_iに対して、空間解像度創造処理を施し、図３７下側に示すように、その空間解像度創造処理によって空間解像度が向上したチャンネルCH1の画像データのフレームt_iをフレーム周期T₁で順次出力する。

この空間解像度が向上したチャンネルCH1の画像のフレームt_iは、順次、信号処理チップ３３２に供給される。

信号処理チップ３３２は、図３６上の通常画面モードコマンド列のうちの、例えば、ノイズ除去コマンドに応じて、その内部構造を、信号処理として、ノイズ除去処理を行うように切り換える。

そして、信号処理チップ３３２は、信号処理チップ３３４から供給される動きベクトルを用い、信号処理チップ３３１から供給されるチャンネルCH1の画像データに対して、ノイズ除去処理を施し、その結果得られる画像データを、メモリ部３３３に出力する。

ここで、図３８は、ノイズ除去処理を行う信号処理チップ３３２において入出力される画像データを示している。

なお、図３８では、i番目のフレーム（の画像）を、t_iと表してある。

信号処理チップ３３１から３３２に対しては、図３８上側に示すように、空間解像度が向上したチャンネルCH1の画像データのフレームt_iがフレーム周期T₁で順次入力される。

信号処理チップ３３２は、そこに入力されるチャンネルCH1の画像データのフレームt_iに対して、ノイズ除去処理を施し、図３８下側に示すように、そのノイズ除去処理によってS/Nが向上したチャンネルCH1の画像データのフレームt_iをフレーム周期T₁で順次出力する。

このS/Nが向上したチャンネルCH1の画像のフレームt_iは、順次、メモリ部３３３に供給される。

メモリ部３３３は、図３６上の通常画面モードコマンド列のうちの、例えば、通常画面用メモリ制御コマンドにしたがい、信号処理チップ３３２が出力する画像データの各フレームを、そのまま、その内蔵するメモリに書き込むことにより一時記憶し、そのメモリに記憶された画像データのフレームを、出力画像データのフレームとして読み出して、ディスプレイ３１７（図３２）に供給する。

従って、図３６上の通常画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合には、ディスプレイ３１７において、チューナ部３１１（図３２）で受信されたCH1の画像データの空間解像度およびS/Nを向上させた画像が表示される。

一方、図３６下のマルチ画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４は、それぞれ、そのマルチ画面モードコマンド列を受信し、そのマルチ画面モードコマンド列のうちの、自身が実行可能なコマンドに対応する処理を実行する。

この場合、信号処理チップ３３４は、マルチ画面モードコマンド列のうちの、例えば、マルチ画面用動きベクトル検出コマンドに応じて、その内部構造を、信号処理として、マルチ画面モード用の動きベクトルを検出する動きベクトル検出処理を行うように切り換える。

そして、信号処理チップ３３４は、マルチ画面モード時にチューナ部３１１から時分割で供給される複数チャンネルの画像データとしての、例えばチャンネルCH1乃至CH4の画像データから、マルチ画面モード用の動きベクトルを検出して、信号処理チップ３３１および３３２に供給する。

信号処理チップ３３１は、図３６下のマルチ画面モードコマンド列のうちの、例えば、縮小画像生成コマンドに応じて、その内部構造を、信号処理として、縮小画像生成処理（サイズを縮小するリサイズを行うリサイズ処理）を行うように切り換える。

そして、信号処理チップ３３１は、信号処理チップ３３４から供給される動きベクトルを用い、チューナ部３１１から時分割で供給されるチャンネルCH1乃至CH4の画像データに対して、縮小画像生成処理を施し、その結果得られるCH1乃至CH4の縮小画像データを、信号処理チップ３３２に出力する。

ここで、図３９は、縮小画像生成処理を行う信号処理チップ３３１において入出力される画像データを示している。

なお、図３９では、i番目のフレーム（の画像）を、t_iと表してある。

コマンド列生成部３３０（図３５）が、図３６下のマルチ画面モードコマンド列を送信するのは、動作モードとして、マルチ画面モードが選択されたときである。そして、マルチ画面モードでは、チューナ部３１１（図３２）が、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ３３１には、図３９上側に示すように、チャンネルCH1乃至CH4の画像データのフレームt_iが、時分割で入力される。

即ち、動作モードがマルチ画面モードの場合、チューナ部３１１は、上述したように、周期4T₁で、３フレームずつのコマ落ちが生じた４チャンネルCH1乃至CH4の画像データを、信号処理部３１４（図３５）に供給する。従って、信号処理部３１４の信号処理チップ３３１に供給される、４チャンネルCH1乃至CH4の画像データには、それぞれ、周期4T₁で、３フレームずつのコマ落ちが生じている。

ここで、このようにコマ落ちが生じているフレーム、即ち、チューナ部３１１で受信されていないフレームを、以下、適宜、欠損フレームという。また、欠損フレームに対して、チューナ部３１１で受信されたフレームを、以下、適宜、非欠損フレームという。

信号処理チップ３３１は、そこに供給されるチャンネルCH1乃至CH4の画像データのフレームt_iに対して、縮小画像生成処理を施し、図３９下側に示すように、その縮小画像生成処理によって得られた、チャンネルCH1乃至CH4の画像データを縮小した縮小画像データを出力する。

なお、信号処理チップ３３１が出力する縮小画像データの周期は、フレーム周期T₁であるが、チャンネルCH1乃至CH4のうちのある１チャンネルの縮小画像データが出力される周期は、4T₁である。即ち、チャンネルCH1乃至CH4の各チャンネルの縮小画像データには、欠損フレームが存在する。つまり、チャンネルCH1乃至CH4のあるチャンネルの縮小画像データに注目すると、ある非欠損フレームと、その次の非欠損フレームとの間には、３フレームの欠損フレームが存在する。

チャンネルCH1乃至CH4の縮小画像データは、信号処理チップ３３１から信号処理チップ３３２に供給される。

信号処理チップ３３２は、図３６下の通常画面モードコマンド列のうちの、例えば、時間解像度創造コマンドに応じて、その内部構造を、信号処理として、時間解像度創造処理を行うように切り換える。

そして、信号処理チップ３３２は、信号処理チップ３３４から供給される動きベクトルを用い、信号処理チップ３３１から供給されるチャンネルCH1乃至CH４の縮小画像データに対して、時間解像度創造処理を施し、その結果得られる画像データを、メモリ部３３３に出力する。

ここで、図４０は、時間解像度創造処理を行う信号処理チップ３３２において入出力される画像データを示している。

なお、図４０では、チャンネルCH#kのi番目のフレームを、CH#k(t_i)と表してある。

マルチ画面モードにおいては、チューナ部３１１が、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ３３１から３３２には、図４０一番上に示すように、チャンネルCH1乃至CH4の縮小画像データのフレームそれぞれが、周期4T₁で順次入力される。

即ち、図４０では、フレームt₁のタイミングで、チャンネルCH1の1番目のフレームであるフレームCH1(t₁)が、フレームt₂のタイミングで、チャンネルCH2の2番目のフレームであるフレームCH2(t₂)が、フレームt₃のタイミングで、チャンネルCH3の3番目のフレームであるフレームCH3(t₃)が、フレームt₄のタイミングで、チャンネルCH4の4番目のフレームであるフレームCH4(t₄)が、フレームt₅のタイミングで、チャンネルCH1の5番目のフレームであるフレームCH1(t₅)が、信号処理チップ３３２に入力され、以下同様にして、チャンネルCH1乃至CH4のフレームそれぞれが、周期4T₁で順次入力される。

信号処理チップ３３２は、欠損フレームがあるチャンネルCH1乃至CH4それぞれの縮小画像データに対して、時間解像度創造処理を施すことにより、欠損フレームがないチャンネルCH1乃至CH4それぞれの縮小画像データを生成する。

即ち、信号処理チップ３３２では、図４０上から２番目に示すように、チャンネルCH1の欠損フレームとなっているフレーム（の画像）CH1(t₂),CH1(t₃),CH1(t₄),CH1(t₆),・・・が存在するチャンネルCH１の縮小画像データが生成され、さらに、チャンネルCH2の欠損フレームとなっているフレームCH2(t₁),CH2(t₃),CH2(t₄),CH2(t₅),・・・が存在するチャンネルCH２の縮小画像データが生成される。また、信号処理チップ３３２では、チャンネルCH3の欠損フレームとなっているフレームCH3(t₁),CH3(t₂),CH3(t₄),CH3(t₅),・・・が存在するチャンネルCH3の縮小画像データが生成され、さらに、チャンネルCH4の欠損フレームとなっているフレームCH4(t₁),CH4(t₂),CH4(t₃),CH4(t₅),・・・が存在するチャンネルCH4の縮小画像データが生成される。

このようにして、信号処理チップ３３２は、４チャンネルCH1乃至CH4それぞれについて、フレーム周期T₁でフレームが存在する縮小画像データを得て出力する。

この欠損フレームがないチャンネルCH1乃至CH4の縮小画像データのフレームt_iは、順次、メモリ部３３３に供給される。

メモリ部３３３は、図３６下のマルチ画面モードコマンド列のうちの、例えば、マルチ画面用メモリ制御コマンドにしたがい、信号処理チップ３３２が出力するチャンネルCH1乃至CH4の縮小画像データを、その内蔵するメモリに書き込んで読み出すことにより、そのチャンネルCH1乃至CH4の縮小画像データの同一フレームを合成し、これにより、チャンネルCH1乃至CH4の縮小画像データそれぞれの同一フレームをマルチ画面表示する出力画像データのフレームを生成して、ディスプレイ３１７に供給する。

即ち、メモリ部３３３は、図４０一番下に示すように、マルチ画面用メモリ制御コマンドにしたがって、信号処理チップ３３２からのチャンネルCH1乃至CH4の同一フレームの縮小画像データを、マルチ画面の左上、右上、左下、右下の小画面に対応するメモリの記憶領域に書き込むことにより、チャンネルCH1乃至CH4の縮小画像データそれぞれの同一フレームをマルチ画面表示する出力画像データのフレームを生成（記憶）する。

さらに、メモリ部３３３は、マルチ画面用メモリ制御コマンドにしたがって、メモリに記憶した出力画像データのフレームを読み出し、ディスプレイ３１７に供給する。

従って、図３６下のマルチ画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合には、ディスプレイ３１７において、欠損フレームがないチャンネルCH1乃至CH4の画像の動きを滑らかに表示するマルチ画面が表示される。

次に、図４１のフローチャートを参照して、図３５の信号処理部３１４の処理について説明する。

システムコントローラ３１８（図３２）から、信号処理部３１４（乃至３１６）に対して制御信号が送信されてくると、信号処理部３１４では、ステップＳ３０１において、コマンド列生成部３３０が、その制御信号を受信し、ステップＳ３０２に進む。

ステップＳ３０２では、コマンド列生成部３３０が、システムコントローラ３１８から受信した制御信号に応じた１以上のコマンドからなるコマンド列を生成し、無線によって送信して、ステップＳ３０３に進む。

ステップＳ３０３では、信号処理部３１４を構成する各ブロック、即ち、信号処理チップ３３１，３３２、メモリ部３３３、および信号処理チップ３３４が、コマンド列生成部３３０から送信されてくるコマンド列を受信する。さらに、ステップＳ３０３では、信号処理チップ３３１，３３２，３３４それぞれが、コマンド列生成部３３０から受信したコマンド列の中のコマンドから、自身が実行可能なコマンドを認識し、そのコマンドに対応する処理（信号処理）を行うことを決定する。即ち、信号処理チップ３３１，３３２，３３４それぞれは、自身が実行可能なコマンドに応じて、自身の内部構造を切り換え、そのコマンドに対応する信号処理を行う状態となる。

そして、ステップＳ３０３からＳ３０４に進み、信号処理チップ３３４が、チューナ部３１１（図３２）から供給される画像データを対象に、ステップＳ３０３で決定した信号処理を実行し、その信号処理結果を、信号処理チップ３３１および３３２に供給して、ステップＳ３０５に進む。

ステップＳ３０５では、信号処理チップ３３１が、チューナ部３１１（図３２）から供給される画像データを対象に、ステップＳ３０３で決定した信号処理を実行し、その信号処理結果としての画像データを、信号処理チップ３３２に供給して、ステップＳ３０６に進む。

ステップＳ３０６では、信号処理チップ３３２が、信号処理チップ３３１から供給される画像データを対象に、ステップＳ３０３で決定した信号処理を実行し、その信号処理結果としての画像データを、メモリ部３３３に供給して、ステップＳ３０７に進む。

ここで、信号処理チップ３３１と３３２とでは、信号処理チップ３３４の信号処理結果を用いて、信号処理が行われる。

ステップＳ３０７では、メモリ部３３３が、ステップＳ３０３でコマンド列生成部３３０から受信したコマンド列の中のコマンドのうちの自身が実行可能なコマンドにしたがって、信号処理チップ３３２から供給される画像データをメモリに書き込むとともに、その書き込んだ画像データを読み出し、ディスプレイ３１７（図３２）に出力して、処理を終了する。

なお、図４１のステップＳ３０１乃至Ｓ３０７の処理それぞれは、ハードウェアとしての信号処理チップ３３１，３３２、メモリ部３３３、および信号処理チップ３３４などにより行われる処理である。但し、ステップＳ３０１乃至Ｓ３０３の処理は、マイクロコンピュータ等のコンピュータに、プログラムを実行させることで行うことも可能である。

次に、図４２は、図３５の信号処理チップ３３４の構成例を示すブロック図である。

チューナ部３１１（図３２）が出力する画像（入力画像）データは、フレームメモリ３４１および動き検出回路３４４に供給される。

受信部３４０は、コマンド列生成部３３０が送信してくるコマンド列を受信する。さらに、受信部３４０は、コマンド列生成部３３０から受信したコマンド列から、信号処理チップ３３４が実行可能なコマンドを認識し、そのコマンドを、セレクタ３４３および選択部３４５に供給する。

フレームメモリ３４１は、そこに供給される入力画像データのフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路３４２およびセレクタ３４３に供給する。従って、動き検出回路３４４に、第ｎ＋４フレームの入力画像データが供給されるとき、フレームメモリ３４１から遅延回路３４２およびセレクタ３４３には、その１フレーム前の第ｎ＋３フレームの入力画像データが供給される。

遅延回路３４２は、フレームメモリ３４１から供給される入力画像データのフレームを、３フレーム分だけ遅延して、セレクタ３４３に供給する。従って、チューナ部３１１から信号処理チップ３３４に供給される入力画像データのフレームは、フレームメモリ３４１および遅延回路３４２で、合計４フレーム分だけ遅延され、セレクタ３４３に供給されるから、動き検出回路３４４に、第ｎ＋４フレームの入力画像が供給されるとき、遅延回路３４２からセレクタ３４３には、その４フレーム前の第ｎフレームの入力画像データが供給される。

セレクタ３４３には、上述したように、フレームメモリ３４１から第ｎ＋３フレームの入力画像が供給されるとともに、遅延回路３４２から第ｎフレームの入力画像が供給される。セレクタ３４３は、受信部３４０から供給されるコマンドに応じて、フレームメモリ３４１の出力または遅延回路３４２の出力のうちのいずれか一方を、動き検出回路３４４への入力とするように、信号処理チップ３３４の内部構造を切り換える。

これにより、動き検出回路３４４には、フレームメモリ３４１が出力する第ｎ＋３フレームの入力画像データ、または遅延回路３４２が出力する第ｎフレームの入力画像データのうちの一方が、セレクタ３４３を介して供給される。

動き検出回路３４４は、セレクタ３４３を介して供給される入力画像データのフレームの各画素の動きベクトルを、チューナ部３１１（図３２）から供給される入力画像データを参照することにより検出し、選択部３４５に供給する。

選択部３４５は、受信部３４０から供給されるコマンドに応じて、動き検出回路３４４から供給される動きベクトルをそのまま、またはその大きさを１／２に縮小し、信号処理チップ３３１および３３２（図３５）に供給する。

次に、図４３のフローチャートを参照して、図４２の信号処理チップ３３４の処理について説明する。

信号処理チップ３３４では、コマンド列生成部３３０（図３５）からコマンド列が送信されてくると、ステップＳ３１１において、受信部３４０が、そのコマンド列を受信する。さらに、受信部３４０は、コマンド列生成部３３０から受信したコマンド列から、信号処理チップ３３４が実行可能なコマンドを認識し、そのコマンドを、セレクタ３４３および選択部３４５に供給して、ステップＳ３１１からＳ３１２に進む。

ここで、第２実施の形態では、信号処理チップ３３４が実行可能なコマンドとしては、例えば、上述したように、図３６上の通常画面モードコマンド列の中の通常画面用動きベクトル検出コマンドと、図３６下のマルチ画面モードコマンド列の中のマルチ画面用動きベクトル検出コマンドとがある。

従って、受信部３４０は、図３６上の通常画面モードコマンド列を受信した場合、その中の通常画面用動きベクトル検出コマンドを、セレクタ３４３および選択部３４５に供給する。また、受信部３４０は、図３６下のマルチ画面モードコマンド列を受信した場合、その中のマルチ画面用動きベクトル検出コマンドを、セレクタ３４３および選択部３４５に供給する。

ステップＳ３１２では、セレクタ３４３は、受信部３４０から供給されたコマンドに応じて、フレームメモリ３４１の出力または遅延回路３４２の出力のうちのいずれか一方を、動き検出回路３４４への入力とするように、信号処理チップ３３４の内部構造を切り換える。さらに、ステップＳ３１２では、選択部３４５は、受信部３４０から供給されたコマンドに応じて、動き検出回路３４４から供給される動きベクトルをそのまま出力するように、またはその大きさを１／２に縮小するように、自身を設定し（自身の内部構造を切り換え）、ステップＳ３１３に進む。

即ち、受信部３４０からセレクタ３４３および選択部３４５に供給されたコマンドが、通常画面用動きベクトル検出コマンドである場合、セレクタ３４３は、フレームメモリ３４１の出力を、動き検出回路３４４への入力とするようにし、これにより、信号処理チップ３３４の内部構造を、信号処理として、通常画面モード用の動きベクトルを検出する処理を行うように切り換える。さらに、選択部３４５は、動き検出回路３４４から供給される動きベクトルをそのまま出力するように、自身を設定する。

一方、受信部３４０からセレクタ３４３および選択部３４５に供給されたコマンドが、マルチ画面用動きベクトル検出コマンドである場合、セレクタ３４３は、遅延回路３４２の出力を、動き検出回路３４４への入力とするようにし、これにより、信号処理チップ３３４の内部構造を、信号処理として、マルチ画面モード用の動きベクトルを検出する処理を行うように切り換える。さらに、選択部３４５は、動き検出回路３４４から供給される動きベクトルを、その大きさを１／２に縮小するように、自身を設定する。

ステップＳ３１３では、信号処理チップ３３４は、チューナ部３１１（図３２）から供給される入力画像データを対象として、ステップＳ３１２で切り換えた内部構造によって行われるべき信号処理、即ち、ここでは、通常画面用の動きベクトルを検出する処理、またはマルチ画面用の動きベクトルを検出する処理を行い、ステップＳ３１４に進む。

ここで、コマンド列生成部３３０が図３６上の通常画面モードコマンド列を送信する通常画面モードでは、入力画像データとしての、例えばチャンネルCH1の画像データに欠損フレームが存在しないことから、そのチャンネルCH1の画像データにおいて注目しているフレームが第nフレームであるとすると、その第nフレームの動きベクトルは、例えば、その次の第n+1フレームを参照することにより検出することができる。

一方、コマンド列生成部３３０が図３６下のマルチ画面モードコマンド列を送信するマルチ画面モードでは、入力画像データとしての、例えばチャンネルCH1乃至ＣＨ４の画像データそれぞれには、４フレームに対して３フレームの欠損フレームが存在することから、そのチャンネルCH1乃至ＣＨ４の画像データにおいて注目している非欠損フレームが第nフレームであるとすると、第nフレームの動きベクトルは、例えば、その次の非欠損フレームである第n+4フレームを参照することにより検出する必要がある。

そこで、信号処理チップ３３４では、通常画面モードにおいては、通常画面モード用の動きベクトルの検出処理、即ち、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理が行われ、マルチ画面モードにおいては、マルチ画面モード用の動きベクトルの検出処理、即ち、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理が行われる。

即ち、動作モードが通常画面モードの場合、信号処理チップ３３４には、図３２のチューナ部３１１が出力する、例えば、チャンネルCH１の画像データが供給され、このチャンネルCH１の画像データは、フレームメモリ３４１および動きベクトル検出回路３４４に供給される。

フレームメモリ３４１は、そこに供給されるチャンネルCH１の画像データのフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路３４２およびセレクタ３４３に供給する。通常画面モードにおいては、セレクタ３４３は、通常画面用動きベクトル検出コマンドに応じて、フレームメモリ３４１の出力を、動き検出回路３４４への入力とするようにしているので、フレームメモリ３４１からのチャンネルCH１の画像データのフレームは、セレクタ３４３を介して、動き検出回路３４４に供給される。

ここで、上述したことから、動き検出回路３４４に、第ｎ＋４フレームのチャンネルCH１の画像データが供給されるとき、フレームメモリ３４１からセレクタ３４３には、その１フレーム前の第ｎ＋３フレームのチャンネルCH1の画像データが供給される。そして、いまの場合、セレクタ３４３は、フレームメモリ３４１からのチャンネルCH１の画像データのフレームを、動き検出回路３４４に供給するから、第ｎ＋３フレームと第ｎ＋４フレームのチャンネルCH１の画像データ、即ち、チャンネルCH１の画像データのあるフレームを注目フレームとすると、注目フレームと、その注目フレームの次のフレームが、動き検出回路３４４に供給される。

動き検出回路３４４は、注目フレームのチャンネルCH１の画像データの各画素の動きベクトルを、その注目フレームの次のフレームのチャンネルCH１の画像データを参照することにより検出し、選択部３４５に供給する。

通常画面モードにおいては、選択部３４５は、通常画面用動きベクトル検出コマンドに応じて、動き検出回路３４４から供給される動きベクトルをそのまま出力するように、自身を設定しているので、動き検出回路３４４から供給される動きベクトルを、そのまま、通常画面モード用の動きベクトルとして出力する。

一方、動作モードがマルチ画面モードの場合、信号処理チップ３３４には、図３２のチューナ部３１１が出力する、例えば、チャンネルCH１乃至CH4それぞれの、欠損フレームがある画像データ（以下、適宜、欠損フレームあり画像データという）が供給され、このチャンネルCH１乃至CH4の欠損フレームあり画像データは、フレームメモリ３４１および動きベクトル検出回路３４４に供給される。

フレームメモリ３４１は、そこに供給されるチャンネルCH１乃至CH4の欠損フレームあり画像データのフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路３４２およびセレクタ３４３に供給する。遅延回路３４２は、フレームメモリ３４１から供給されるチャンネルCH１乃至CH4の欠損フレームあり画像データのフレームを、さらに、３フレーム分だけ遅延し、セレクタ３４３に供給する。

マルチ画面モードにおいては、セレクタ３４３は、マルチ画面用動きベクトル検出コマンドに応じて、遅延回路３４２の出力を、動き検出回路３４４への入力とするようにしているので、遅延回路３４２からのチャンネルCH１乃至CH4の欠損フレームあり画像データのフレームは、セレクタ３４３を介して、動き検出回路３４４に供給される。

ここで、上述したことから、動き検出回路３４４に、第ｎ＋４フレームの画像が供給されるとき、遅延回路３４２からセレクタ３４３には、その４フレーム前の第ｎフレームの画像が供給される。そして、いまの場合、セレクタ３４３は、遅延回路３４２からの第ｎフレームを、動き検出回路３４４に供給するから、動き検出回路３４４には、第ｎフレームと第ｎ＋４フレームの画像データが供給される。

また、マルチ画面モードにおいては、チューナ部３１１から信号処理チップ３３４には、上述したように、チャンネルCH１乃至CH4の欠損フレームあり画像データが供給される。このチャンネルCH１乃至CH4の欠損フレームあり画像は、あるチャンネルに注目すれば、非欠損フレームが４フレームごとに存在する画像であるから、動き検出回路３４４には、チャンネルCH１乃至CH4のうちのあるチャンネルの非欠損フレームを注目フレームとすると、そのチャンネルについて、非欠損フレームである注目フレームと、その注目フレームの次の非欠損フレーム（注目フレームの４フレーム後のフレーム）が、動き検出回路３４４に供給される。

動き検出回路３４４は、注目フレームの各画素の動きベクトルを、その注目フレームのチャンネルにおける次の非欠損フレームを参照することにより検出し、選択部３４５に供給する。

マルチ画面モードにおいては、選択部３４５は、マルチ画面用動きベクトル検出コマンドに応じて、動き検出回路３４４から供給される動きベクトルを、１／２の大きさに縮小するように、自身を設定しているので、動き検出回路３４４から供給される動きベクトルを、１／２の大きさに縮小し、その縮小後の動きベクトルを、マルチ画面モード用の動きベクトルとして出力する。

なお、動作モードがマルチ画面モードの場合に、選択部３４５において、非欠損フレームの画素について検出した動きベクトルを、１／２の大きさにするのは、次のような理由による。

即ち、マルチ画面モードでは、コマンド列生成部３３０は、図３６下のマルチ画面モードコマンド列を送信する。この場合、信号処理チップ３３１では、上述したように、マルチ画面モードコマンド列のうちの縮小画像生成コマンドに応じた縮小画像生成処理が、チャンネルCH1乃至CH4の欠損フレームあり画像データを対象に行われ、その欠損フレームあり画像データのサイズを、上述の小画面のサイズ（１フレームを２×２に等分割したサイズ）に縮小したチャンネルCH1乃至CH4の縮小画像データが得られる。

なお、このチャンネルCH1乃至CH4の縮小画像データには、縮小画像生成処理が行われる前のチャンネルCH1乃至CH4の欠損フレームあり画像データと同様に欠損フレームが存在する。欠損フレームがある縮小画像データを、以下、適宜、欠損フレームあり縮小画像データという。

信号処理チップ３３１において、上述したようにして得られたチャンネルCH1乃至CH4の欠損フレームあり縮小画像データは、信号処理チップ３３２に供給される。そして、マルチ画面モードでは、信号処理チップ３３２においては、信号処理チップ３３１から供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像データを対象に、マルチ画面モードコマンド列（図３６下）のうちの時間解像度創造コマンドに応じた時間解像度創造処理が行われ、チャンネルCH1乃至CH4の、欠損フレームがない縮小画像データ（以下、適宜、欠損フレームなし縮小画像データという）が得られる。

以上のように、マルチ画面モードにおいては、信号処理チップ３３１および３３２において、小画面のサイズの縮小画像データ、即ち、１フレームの画像データの横と縦の画素数を、それぞれ１／２に縮小した（間引いた）サイズの縮小画像データを扱う信号処理が行われる。

一方、信号処理チップ３３４では、チューナ部３１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）データを対象として動きベクトルが検出されるため、その動きベクトルの大きさは、理論的には、縮小画像データを対象として動きベクトルを検出した場合の大きさの２倍となる。このため、マルチ画面モードにおいては、信号処理チップ３３４の選択部３４５は、チャンネルCH1乃至CH4の画像（縮小されていない画像）データを対象に検出した動きベクトルを、縮小画像データを対象として検出した動きベクトルに対応させるために、１／２の大きさに縮小して、信号処理チップ３３１および３３２に供給する。

ステップＳ３１４では、信号処理チップ３３４で信号処理の対象とすべき画像データが存在するかどうかが判定される。ステップＳ３１４において、信号処理チップ３３４で信号処理の対象とすべき画像データが存在すると判定された場合、即ち、チューナ部３１１から信号処理チップ３３４に対して入力画像データが供給されている場合、ステップＳ３１３に戻り、通常画面用の動きベクトルまたはマルチ画面用の動きベクトルを検出する処理が続行される。

また、ステップＳ３１４において、信号処理チップ３３４で信号処理の対象とすべき画像データが存在しないと判定された場合、即ち、チューナ部３１１から信号処理チップ３３４に対して入力画像データが供給されなくなった場合、処理を終了する。

なお、信号処理チップ３３４は、その他、例えば、コマンド列生成部３３０から、新たなコマンド列が送信されてきた場合も、図４３のフローチャートにしたがった処理を一旦終了し、再度、ステップＳ３１１から処理を開始する。

ここで、動きベクトル検出回路３４４における動きベクトルの検出方法としては、例えば、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。

また、上述の場合には、動きベクトルを、画素単位で検出することで、各画素に対する動きベクトルを得るようにしたが、動きベクトルの検出は、その他、例えば、所定の画素数おきや、所定の画素で構成されるブロック単位等で行うことができる。この場合、任意の画素に対する動きベクトルは、その近くにある他の画素に対して検出された動きベクトルや、その画素を含むブロックに対して検出された動きベクトルで代用することが可能である。

次に、図４４は、図３５の信号処理チップ３３１の構成例を示している。

信号処理チップ３３１は、コマンド列生成部３３０（図３５）から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した空間解像度創造処理または縮小画像生成処理（リサイズ処理としての縮小画像生成処理）を行う。

即ち、信号処理チップ３３１は、注目画素選択部３５１、タップ選択部３５２，３５３、クラス分類部３５４、係数出力部３５５、予測演算部３５６、受信部３５７、動き判定部３５８で構成されている。これらのうちの注目画素選択部３５１、タップ選択部３５２，３５３、クラス分類部３５４、係数出力部３５５、予測演算部３５６は、図１の注目画素選択部１１、タップ選択部１２，１３、クラス分類部１４、係数出力部１５、予測演算部１６にそれぞれ対応するものである。

従って、信号処理チップ３３１では、チューナ部３１１（図３２）から供給される入力画像データとしてのクラス分類適応処理の第１の画像データが、クラス分類適応処理の第２の画像データに変換されて出力される。

但し、図４４において、係数出力部３５５は、係数メモリ３６１₁および３６１₂並びに選択部３６２で構成されている。

係数メモリ３６１₁，３６１₂には、あらかじめ行われた学習により求められた空間解像度創造処理用のタップ係数、リサイズ処理としての縮小画像生成処理用のタップ係数が、それぞれ記憶されている。ここで、縮小画像生成処理用のタップ係数は、チューナ部３１１（図３２）が出力する画像データのサイズを、小画面のサイズ（１フレームを２×２に等分割したサイズ）に縮小するものである。

係数メモリ３６１₁と３６１₂には、クラス分類部３５４が出力するクラス（クラスコード）が供給される。係数メモリ３６１₁と３６１₂それぞれは、クラス分類部３５４からのクラスのタップ係数を読み出し、選択部３６２に出力する。

選択部３６２には、上述したように、係数メモリ３６１₁と３６１₂それぞれから読み出されたタップ係数が供給される他、受信部３５７からコマンドが供給される。選択部３６２は、受信部３５７から供給されるコマンドに応じて、係数メモリ３６１₁または３６１₂のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３５６の入力端に接続することで、信号処理チップ３３１の内部構造を切り換える。

ここで、選択部３６２が、係数メモリ３６１₁または３６１₂のうちの、例えば、係数メモリ３６１₁の出力端を選択し、その選択した出力端を、予測演算部３５６の入力端に接続した場合、予測演算部３５６には、係数メモリ３６１₁から読み出される空間解像度創造処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３１は、空間解像度創造処理を行うICとして機能することになる。

一方、選択部３６２が、係数メモリ３６１₁または３６１₂のうちの、係数メモリ３６１₂の出力端を選択し、その選択した出力端を、予測演算部３５６の入力端に接続した場合、予測演算部３５６には、係数メモリ３６１₂から読み出される縮小画像生成処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３１は、縮小画像生成処理を行うICとして機能することになる。

また、図４４では、クラス分類部３５４には、タップ選択部３５３からクラスタップが供給される他、動き判定部３５８から後述する動き判定情報が供給されるようになっている。クラス分類部３５４は、注目画素について選択されたクラスタップに基づいてクラス分類を行うことにより得られるクラスコードの上位ビットまたは下位ビットとして、動き判定部３５８からの動き判定情報を表すビットを付加し、その結果得られるビット列を、最終的なクラスコードとして、係数出力部３５５に供給する。

さらに、図４４において、受信部３５７は、コマンド列生成部３３０（図３５）から無線で送信されてくるコマンド列を受信し、コマンド列生成部３３０から受信したコマンド列の中から、信号処理チップ３３１が実行することができる信号処理のコマンドを認識して、選択部３６２に供給する。

即ち、受信部３５７は、図３６上に示す通常画面モードコマンド列を受信した場合、その中の空間解像度創造コマンドを、信号処理チップ３３１が実行することができる信号処理のコマンドとして認識し、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１₁の出力端を選択し、予測演算部３５６の入力端に接続する。

一方、受信部３５７は、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の縮小画像生成コマンドを、信号処理チップ３３１が実行することができる信号処理のコマンドとして認識し、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１₂の出力端を選択し、予測演算部３５６の入力端に接続する。

また、図４４において、動き判定部３５８には、チューナ部３１１（図３２）から供給される入力画像データとしての第１の画像データを構成する各画素の動きベクトルが、信号処理チップ３３４（図３５）から供給されるようになっている。動き判定部３５８は、信号処理チップ３３４からの、第１の画像データを構成する各画素の動きベクトルのうちの、注目画素に対応する第１の画像データの画素（例えば、注目画素のフレームにおける注目画素の時空間的位置に最も近い位置にある第１の画像データの画素）の動きベクトルの大きさまたは方向を判定し、その大きさや方向を表す１ビットまたは数ビットを、動き判定情報としてクラス分類部３５４に供給する。

次に、図４５のフローチャートを参照して、図４４の信号処理チップ３３１の処理について説明する。

図３５のコマンド列生成部３３０からコマンド列が送信されてくると、ステップＳ３２１において、受信部３５７は、そのコマンド列を受信する。さらに、受信部３５７は、そのコマンド列の中から、信号処理チップ３３１が実行可能な信号処理のコマンドを認識し、そのコマンドを選択部３６２に供給して、ステップＳ３２２に進む。

ステップＳ３２２では、選択部３６２は、受信部３５７からのコマンドに応じて、信号処理チップ３３１の内部構造を切り換える。

即ち、選択部３６２は、受信部３５７からのコマンドに応じて、係数メモリ３６１₁または３６１₂のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３５６（図４４）の入力端に接続することで、信号処理チップ３３１の内部構造を切り換える。

その後、ステップＳ３２３に進み、以下、ステップＳ３２３乃至Ｓ３２８において、図２のステップＳ１１乃至Ｓ１６における場合とそれぞれ同様の処理が行われる。

即ち、ステップＳ３２３において、注目画素選択部３５１は、信号処理チップ３３１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ３２４に進む。

ステップＳ３２４において、タップ選択部３５２と３５３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部３５２から予測演算部３５６に供給され、クラスタップは、タップ選択部３５３からクラス分類部３５４に供給される。

さらに、ステップＳ３２４では、動き判定部３５８が、信号処理チップ３３４からの、第１の画像データを構成する各画素の動きベクトルのうちの、注目画素に対応する第１の画像データの画素の動きベクトルの大きさまたは方向を判定し、その大きさや方向を表す１ビットまたは数ビットを、注目画素についての動き判定情報としてクラス分類部３５４に供給する。

クラス分類部３５４は、タップ選択部３５３から、注目画素についてのクラスタップを受信するとともに、動き判定部３５８から、注目画素についての動き判定情報を受信し、ステップＳ３２５において、そのクラスタップと動き判定情報に基づき、注目画素をクラス分類する。さらに、クラス分類部３５４は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部３５５に出力し、ステップＳ３２６に進む。

ステップＳ３２６では、係数出力部３５５が、クラス分類部３５４から供給されるクラスのタップ係数を出力する。即ち、係数出力部３５５は、係数メモリ３６１₁または３６１₂のうちの、選択部３６２が出力端を選択しているものから、クラス分類部３５４から供給されるクラスのタップ係数を読み出し、予測演算部３５６に出力する。そして、ステップＳ３２６では、予測演算部３５６が、係数出力部３５５が出力するタップ係数を取得し、ステップＳ３２７に進む。

ステップＳ３２７では、予測演算部３５６が、タップ選択部３５２が出力する予測タップと、係数出力部３５５から取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部３５６は、注目画素の画素値を求めて出力し、ステップＳ３２８に進む。

ステップＳ３２８では、注目画素選択部３５１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ３２８において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ３２３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３２８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。

なお、受信部３５７は、コマンド列生成部３３０から、図３６上に示す通常画面モードコマンド列を受信した場合、その中の空間解像度創造コマンドを、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１₁の出力端を選択するから、その係数メモリ３６１₁に記憶されている空間解像度創造処理用のタップ係数が、予測演算部３５６に供給される。

また、コマンド列生成部３３０が、図３６上に示す通常画面モードコマンド列を送信する場合というのは、動作モードが通常画面モードである場合であり、この場合、チューナ部３１１（図３２）は、所定のチャンネルとしての、例えば、チャンネルCH1を選局し、これにより、信号処理チップ３３１には、チャンネルCH1の欠損フレームがない画像データが供給される。

従って、この場合、信号処理チップ３３１は、そこに供給されるチャンネルCH1の欠損フレームがない画像データを、第１の画像データとして、空間解像度創造処理を実行し、その空間解像度創造処理によって空間解像度が向上したチャンネルCH1の欠損フレームがない画像データ（以下、適宜、高解像度画像データともいう）を、第２の画像データとして、後段の信号処理チップ３３２（図３５）に出力する。

一方、受信部３５７は、コマンド列生成部３３０から、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の縮小画像生成コマンドを、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１₂の出力端を選択するから、その係数メモリ３６１₂に記憶されている縮小画像生成処理用のタップ係数が、予測演算部３５６に供給される。

また、コマンド列生成部３３０が、図３６下に示すマルチ画面モードコマンド列を送信する場合というのは、動作モードがマルチ画面モードである場合であり、この場合、チューナ部３１１（図３２）は、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ３３１には、チャンネルCH1乃至CH4の欠損フレームあり画像データが供給される。

従って、この場合、信号処理チップ３３１は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり画像データを、第１の画像データとして、縮小画像生成処理を実行し、その縮小画像生成処理によってサイズが縮小された（画素数が少なくされた）チャンネルCH1乃至CH4の欠損フレームあり縮小画像データを、第２の画像データとして、後段の信号処理チップ３３２（図３５）に出力する。

次に、図４６は、図３５の信号処理チップ３３２の構成例を示している。

信号処理チップ３３２は、コマンド列生成部３３０（図３５）から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用したノイズ除去処理または時間解像度創造処理を行う。

即ち、信号処理チップ３３２は、メモリ３７０、注目画素選択部３７１、タップ選択部３７２，３７３、クラス分類部３７４、係数出力部３７５、予測演算部３７６、受信部３７７、タップ決定部３７８および３７９で構成されている。これらのうちの注目画素選択部３７１、タップ選択部３７２，３７３、クラス分類部３７４、係数出力部３７５、予測演算部３７６は、図１の注目画素選択部１１、タップ選択部１２，１３、クラス分類部１４、係数出力部１５、予測演算部１６にそれぞれ対応するものである。

従って、信号処理チップ３３２では、信号処理チップ３３１（図３５）から供給される、クラス分類適応処理の第１の画像データとしてのチャンネルCH1の欠損フレームがない高解像度画像データ、またはチャンネルCH1乃至CH4の欠損フレームあり縮小画像データが、クラス分類適応処理の第２の画像データに変換されて出力される。

但し、図４６において、係数出力部３７５は、係数メモリ３８１₁および３８１₂並びに選択部３８２で構成されている。

係数メモリ３８１₁，３８１₂には、あらかじめ行われた学習により求められたノイズ除去処理用のタップ係数、時間解像度創造処理用のタップ係数が、それぞれ記憶されている。ここで、時間解像度創造処理用のタップ係数は、信号処理チップ３３１から供給されるチャンネルCH1乃至CH4それぞれの欠損フレームあり縮小画像データを、欠損フレームがない縮小画像データとするものである。

係数メモリ３８１₁と３８１₂には、クラス分類部３７４が出力するクラス（クラスコード）が供給される。係数メモリ３８１₁と３８１₂それぞれは、クラス分類部３７４からのクラスのタップ係数を読み出し、選択部３８２に出力する。

選択部３８２には、上述したように、係数メモリ３８１₁と３８１₂それぞれから読み出されたタップ係数が供給される他、受信部３７７からコマンドが供給される。選択部３８２は、受信部３７７から供給されるコマンドに応じて、係数メモリ３８１₁または３８１₂のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３７６の入力端に接続することで、信号処理チップ３３２の内部構造を切り換える。

ここで、選択部３８２が、係数メモリ３８１₁または３８１₂のうちの、例えば、係数メモリ３８１₁の出力端を選択し、その選択した出力端を、予測演算部３７６の入力端に接続した場合、予測演算部３７６には、係数メモリ３８１₁から読み出されるノイズ除去処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３２は、ノイズ除去処理を行うICとして機能することになる。

一方、選択部３８２が、係数メモリ３８１₁または３８１₂のうちの、係数メモリ３８１₂の出力端を選択し、その選択した出力端を、予測演算部３７６の入力端に接続した場合、予測演算部３７６には、係数メモリ３８１₂から読み出される時間解像度創造処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３２は、時間解像度創造処理を行うICとして機能することになる。

また、図４６において、受信部３７７は、コマンド列生成部３３０（図３５）から無線で送信されてくるコマンド列を受信し、コマンド列生成部３３０から受信したコマンド列の中から、信号処理チップ３３２が実行することができる信号処理のコマンドを認識して、選択部３８２に供給する。

即ち、受信部３７７は、図３６上に示す通常画面モードコマンド列を受信した場合、その中のノイズ除去コマンドを、信号処理チップ３３２が実行することができる信号処理のコマンドとして認識し、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１₁の出力端を選択し、予測演算部３７６の入力端に接続する。

一方、受信部３７７は、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の時間解像度創造コマンドを、信号処理チップ３３２が実行することができる信号処理のコマンドとして認識し、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１₂の出力端を選択し、予測演算部３７６の入力端に接続する。

さらに、図４６において、タップ決定部３７８および３７９には、信号処理チップ３３４（図３５）から、チューナ部３１１（図３２）が信号処理部３１４に供給する入力画像データを構成する各画素の動きベクトルが供給されるようになっている。

タップ決定部３７８または３７９は、それぞれ、注目画素についての予測タップまたはクラスタップとする画素を、信号処理チップ３３４から供給される動きベクトルに基づいて決定する。

即ち、注目画素についての予測タップやクラスタップ（以下、適宜、両方まとめて、単に、タップという）を、クラス分類適応処理の第１の画像データから、どのような画素を選択して構成するかは、特に限定されるものではない。

但し、図４６の信号処理チップ３３２では、欠損フレームあり縮小画像データを第１の画像データとして、時間解像度創造処理用のタップ係数を用いたクラス分類適応処理を行うことにより、欠損フレームのない縮小画像データを、第２の画像データとして得る時間解像度創造処理が行われることがある。

時間解像度創造処理では、４つのチャンネルCH1乃至CH4それぞれについて、フレーム周期Ｔ₁の各フレームの縮小画像データが予測（生成）されるが、その予測には、ある１フレームの非欠損フレームの画素だけを用いるよりも、複数フレームの非欠損フレーム、即ち、例えば、注目画素（予測によって生成する画素）のフレームにより近い２つの非欠損フレーム、つまり、注目画素のフレームの直前の非欠損フレーム（但し、注目画素のフレームが非欠損フレームである場合は、その非欠損フレーム）と、直後の非欠損フレームの画素を用いるのが望ましい。さらに、時間解消度創造処理における注目画素の予測には、画像（被写体）の動きを考慮するのが望ましい。

そこで、タップ決定部３７８は、例えば、注目画素のフレームの直前の非欠損フレーム（以下、適宜、直前非欠損フレームという）の縮小画像データを構成する画素のうちの、注目画素に対応する画素の動きベクトルに基づき、直前非欠損フレームの縮小画像データを構成する画素と、注目画素のフレームの直後の非欠損フレーム（以下、適宜、直後非欠損フレームという）の縮小画像データを構成する画素とから、注目画素についての予測タップとなる画素を決定する。

即ち、タップ決定部３７８は、直前非欠損フレーム、注目画素のフレーム、直後非欠損フレームを時系列に並べ、注目画素に対応する直前非欠損フレームの画素の動きベクトルを、注目画素を通るように補正した場合に、その補正後の動きベクトルの始点を中心とする直前非欠損フレームの幾つかの画素と、補正後の動きベクトルの終点を中心とする直後非欠損フレームの幾つかの画素とを、注目画素についての予測タップとなる画素として決定する。

ここで、信号処理チップ３３２において時間解像度創造処理が行われるときに信号処理チップ３３４から供給される動きベクトルは、直前非欠損フレームや直後非欠損フレームの縮小画像データの各画素の動きベクトルではなく、その縮小画像データに縮小される前の画像データ（以下、適宜、縮小前画像データという）の動きベクトル（の大きさを１／２にしたもの）である。このため、タップ決定部３７８は、縮小画像データの画素に対応する縮小前画像データの画素の動きベクトルを、その縮小画像データの画素（縮小画像データの画素の画枠における位置と同一の位置関係の、縮小前画像データの画枠の位置にある画素）の動きベクトルとして用いる。

タップ決定部３７８は、注目画素についての予測タップとなる画素を決定した後、その画素を表す情報（以下、適宜、予測タップ情報という）を、タップ選択部３７２に供給する。そして、タップ選択部３７２は、タップ決定部３７８からの予測タップ情報にしたがって、メモリ３７０に記憶された画像データから予測タップとなる画素を選択する。

タップ決定部３７９も、タップ決定部３７８と同様にして、注目画素についてのクラスタップとなる画素を決定し、その画素を表す情報（以下、適宜、クラスタップ情報という）を、タップ選択部３７３に供給する。そして、タップ選択部３７３は、タップ決定部３７９からのクラスタップ情報にしたがって、メモリ３７０に記憶された画像データからクラスタップとなる画素を選択する。

ここで、図４６の信号処理チップ３３２では、上述したことから、信号処理チップ３３１から供給される画像データの２フレームから、タップが選択される。このため、図４６の信号処理チップ３３２には、信号処理チップ３３１から供給される画像データのフレームを一時記憶しておくメモリ３７０が設けられている。

さらに、図４６の信号処理チップ３３２では、時間解像度創造処理が、４つのチャンネルCH1乃至CH4それぞれについて行われる。この場合、チャンネルCH1乃至CH4のうちのいずれか１つのチャンネルについて時間解像度創造処理が行われている間、他の３つのチャンネルの画像データを保持しておく必要がある。メモリ３７０が設けられているのは、この画像データの保持のためでもある。

なお、図４６の信号処理チップ３３２では、時間解像度創造処理の他、上述したように、ノイズ除去処理も行われる。ノイズ除去処理が行われる場合も、タップ決定部３７８および３７９は、時間解像度創造処理が行われる場合と同様に、タップとなる画素を決定する。

但し、ノイズ除去処理は、チャンネルCH1の欠損フレームがない高解像度画像データを対象として行われるため、上述の直前非欠損フレームは、注目画素のフレームとなり、直後非欠損フレームは、注目画素のフレームの次のフレームとなる。

次に、図４７のフローチャートを参照して、図４６の信号処理チップ３３２の処理について説明する。

図３５のコマンド列生成部３３０からコマンド列が送信されてくると、ステップＳ３３１において、受信部３７７は、そのコマンド列を受信する。さらに、受信部３７７は、そのコマンド列の中から、信号処理チップ３３２が実行可能な信号処理のコマンドを認識し、そのコマンドを選択部３８２に供給して、ステップＳ３３２に進む。

ステップＳ３３２では、選択部３８２は、受信部３７７からのコマンドに応じて、信号処理チップ３３２の内部構造を切り換える。

即ち、選択部３８２は、受信部３７７からのコマンドに応じて、係数メモリ３８１₁または３８１₂のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３７６（図４６）の入力端に接続することで、信号処理チップ３３２の内部構造を切り換える。

その後、ステップＳ３３３に進み、以下、ステップＳ３３３乃至Ｓ３３８において、図２のステップＳ１１乃至Ｓ１６における場合とそれぞれ同様の処理が行われる。

即ち、信号処理チップ３３１から信号処理チップ３３２に入力されるチャンネルCH1の欠損フレームがない高解像度画像データ、またはCH1乃至CH4の欠損フレームあり縮小画像データは、クラス分類適応処理の第１の画像データとして、メモリ３７０に順次供給されて記憶される。

そして、ステップＳ３３３において、注目画素選択部３７１は、クラス分類適応処理の第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ３３４に進む。

ステップＳ３３４において、タップ決定部３７８または３７９が、信号処理チップ３３４（図３５）から供給される動きベクトルに基づいて、予測タップまたはクラスタップとする第１の画像データの画素を決定し、その画素を表す予測タップ情報またはクラスタップ情報を、タップ選択部３７２または３７３に、それぞれ供給する。

さらに、ステップＳ３３４では、タップ選択部３７２と３７３が、タップ決定部３７８と３７９から供給される予測タップ情報とクラスタップ情報にしたがい、メモリ３７０に記憶された第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部３７２から予測演算部３７６に供給され、クラスタップは、タップ選択部３７３からクラス分類部３７４に供給される。

クラス分類部３７４は、タップ選択部３７３から、注目画素についてのクラスタップを受信し、ステップＳ３３５において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部３７４は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部３７５に出力し、ステップＳ３３６に進む。

ステップＳ３３６では、係数出力部３７５が、クラス分類部３７４から供給されるクラスのタップ係数を出力する。即ち、係数出力部３７５は、係数メモリ３８１₁または３８１₂のうちの、選択部３８２が出力端を選択しているものから、クラス分類部３７４から供給されるクラスのタップ係数を読み出し、予測演算部３７６に出力する。そして、ステップＳ３３６では、予測演算部３７６が、係数出力部３７５が出力するタップ係数を取得し、ステップＳ３３７に進む。

ステップＳ３３７では、予測演算部３７６が、タップ選択部３７２が出力する予測タップと、係数出力部３７５から取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部３７６は、注目画素の画素値を求めて出力し、ステップＳ３３８に進む。

ステップＳ３３８では、注目画素選択部３７１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ３３８において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ３３３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ３３８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。

なお、受信部３７７は、コマンド列生成部３３０から、図３６上に示す通常画面モードコマンド列を受信した場合、その中のノイズ除去コマンドを、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１₁の出力端を選択するから、その係数メモリ３８１₁に記憶されているノイズ除去処理用のタップ係数が、予測演算部３７６に供給される。

また、コマンド列生成部３３０が、図３６上に示す通常画面モードコマンド列を送信する場合というのは、動作モードが通常画面モードである場合であり、この場合、チューナ部３１１（図３２）は、所定のチャンネルとしての、例えば、チャンネルCH1を選局する。そして、信号処理チップ３３１（図３５）において、そのチャンネルCH1の画像データが、高解像度画像データに変換され、これにより、信号処理チップ３３２には、チャンネルCH1の高解像度画像データが供給される。

従って、この場合、信号処理チップ３３２は、そこに供給されるチャンネルCH1の高解像度画像データを、第１の画像データとして、ノイズ除去処理を実行し、そのノイズ除去処理によってS/Nが向上したチャンネルCH1の高解像度画像データを、第２の画像データとして、後段のメモリ部３３３（図３５）に出力する。

一方、受信部３７７は、コマンド列生成部３３０から、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の時間解像度創造コマンドを、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１₂の出力端を選択するから、その係数メモリ３８１₂に記憶されている時間解像度創造処理用のタップ係数が、予測演算部３７６に供給される。

また、コマンド列生成部３３０が、図３６下に示すマルチ画面モードコマンド列を送信する場合というのは、動作モードがマルチ画面モードである場合であり、この場合、チューナ部３１１（図３２）は、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局する。そして、信号処理チップ３３１（図３５）において、そのチャンネルCH1乃至CH4の欠損フレームあり画像データが、欠損フレームあり縮小画像データに変換され、これにより、信号処理チップ３３２には、チャンネルCH1乃至CH4の欠損フレームあり縮小画像データが供給される。

従って、この場合、信号処理チップ３３２は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像データを、第１の画像データとして、時間解像度創造処理を実行し、その時間解像度創造処理によって欠損フレームがないチャンネルCH1乃至CH4の縮小画像データを、第２の画像データとして得て、後段のメモリ部３３３（図３５）に出力する。

以上のように、図３５の信号処理チップ３３１，３３２，３３４それぞれでは、コマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、そこに入力される画像データを信号処理して、その信号処理結果としての画像データを出力するので、単一のハードウェアで、複数の機能を、容易に実現することができる。

さらに、信号処理チップ３３２では、信号処理チップ３３１の信号処理結果を信号処理するので、信号処理部３１４（図３５）全体としては、より多くの機能を、容易に実現することができる。

なお、信号処理部３１４は、信号処理チップ３３１や３３２と同様の信号処理チップを任意の個数だけ設けて構成することができる。

また、上述の場合には、信号処理チップ３３１（図４４）の係数出力部３５５に、タップ係数を記憶させておくようにしたが、タップ係数に代えて、係数種データを記憶させておき、その係数種データからタップ係数を生成するようにすることが可能である。信号処理チップ３３２についても、同様である。

次に、本発明の第３実施の形態について説明する。

図４８は、本発明の第３実施の形態としてのテレビジョン受像機の構成例を示している。

チューナ６０１には、図示せぬアンテナが受信したディジタル放送の放送信号（伝送信号）が供給される。このディジタル放送の放送信号は、MPEG(Moving Picture Experts Group)-2等により規定されるディジタルデータであり、複数のTS（Transport Stream:トランスポートストリーム）パケットで構成されるトランスポートストリームとして送信されてくる。チューナ６０１は、コントローラ６１３の制御に基づいて、アンテナから供給される複数のチャンネルの放送信号の中から、所定のチャンネル（周波数）の放送信号を選択（選局）し、その選択したチャンネルの放送信号を復調部６０２に供給する。

復調部６０２は、コントローラ６１３の制御に基づいて、チューナ６０１から供給される所定のチャンネルの放送信号のトランスポートストリームを、例えば、QPSK(Quadrature Phase Shift Keying)復調等で復調し、それにより得られたトランスポートストリームをエラー訂正部６０３に供給する。

エラー訂正部６０３では、コントローラ６１３の制御に基づいて、復調部６０２から供給されたトランスポートストリームについて、エラーが検出、訂正される。そして、訂正処理後のトランスポートストリームが、デマルチプレクサ(DEM)６０４に供給される。

デマルチプレクサ６０４は、コントローラ６１３の制御に基づいて、エラー訂正部６０３から供給されるトランスポートストリームを、必要に応じて、デスクランブル処理する。また、デマルチプレクサ６０４は、コントローラ６１３の制御に基づいて、ＴＳパケットのPID（Packet Identifier）を参照することにより、エラー訂正部６０３から供給されるトランスポートストリームから、所定の番組のＴＳパケットを抽出し、ビデオデータのTSパケットをビデオデコーダ６０５に、オーディオデータのTSパケットをオーディオデコーダ６１０に、それぞれ供給する。

ビデオデコーダ６０５は、デマルチプレクサ６０４から供給されるビデオデータ（のTSパケット）をMPEG-2方式でデコードし、LSI６０６または合成部６０７に供給する。

LSI６０６は、コントローラ６１３から供給されるコマンド列を受信し、そのコマンド列に応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。そして、LSI６０６は、ビデオデコーダ６０５が出力する画像データ（ビデオデータ）を信号処理し、その信号処理によって得られる画像データを、合成部６０７に供給（出力）する。

合成部６０７は、LSI６０６から画像データが供給される場合は、その画像データを選択する。一方、LSI６０６から画像データが供給されない場合は、合成部６０７は、ビデオデコーダ６０５から供給される画像データを選択する。また、合成部６０７は、ビデオデコーダ６０５またはLSI６０６から供給される画像データのうちの選択した方にOSD(On Screen Display)部６０８から供給される画像データを重畳して、LCD(Liquid Crystal Display)６０９に供給して、表示させる。

なお、OSD部６０８から画像データが供給されない場合には、合成部６０７は、ビデオデコーダ６０５またはLSI６０６から供給された画像データのうちの選択した方をそのままLCD６０９に供給する。

ここで、OSD部６０８は、コントローラ６１３の制御に基づいて、例えば、現在選択されているチャンネルの番号や音量などの画像データを生成し、合成部６０７に供給する。

一方、オーディオデコーダ６１０は、デマルチプレクサ６０４から供給されるオーディオデータ（のTSパケット）をMPEG-2方式でデコードし、図示せぬ出力端子に供給し、また、スピーカ６１１に供給して出力させる。

なお、コントローラ６１３は、チューナ６０１、復調部６０２、エラー訂正部６０３、デマルチプレクサ６０４、ビデオデコーダ６０５、オーディオデコーダ６１０、OSD部６０８を制御する。また、コントローラ６１３は、キー入力部６１４やリモコンI/F６１７から供給される、ユーザの操作に対応する操作信号に基づいて、各種の処理を実行する。

例えば、コントローラ６１３は、リモコンI/F６１７から供給される、ユーザの操作に対応する操作信号に応じて、１以上のコマンドからなるコマンド列を生成し、LSI６０６に送信（供給）する。

キー入力部６１４は、例えば、スイッチボタンなどで構成され、ユーザが所望のチャンネルを選択する際の操作などを受け付け、そのユーザの操作に対応する操作信号をコントローラ６１３に供給する。表示部６１５は、コントローラ６１３から供給される制御信号に基づいて、例えば、チューナ６０１において選択されているチャンネルなどを表示する。

リモコンI/F（InterFace）６１７は、受光部６１６から供給される、ユーザの操作に対応する操作信号をコントローラ６１３に供給する。受光部６１６は、リモコン（リモートコマンダ６１８から送信されるユーザの操作に対応する操作信号を受信（受光）し、リモコンI/F６１７に供給する。

次に、図４９は、図４８のリモコン６１８の構成例を示す平面図である。

リモコン６１８には、ユーザインタフェース部６２１とLCDパネル６２２とが設けられている。

ユーザインタフェース部６２１としては、図４８のテレビジョン受像機の電源をオン／オフするときに操作される電源ボタン６１２Ａ、テレビジョン受像機への入力をテレビジョン放送や外部入力に切り換えるときに操作される入力ボタン６２１Ｂ、チャンネルを選択するときに操作されるチャンネルボタン６２１Ｃ、テレビジョン受像機（のLSI６０６）に対して所定の機能を要求するときに操作される機能ボタン６２１Ｄが設けられている。

なお、図４９では、機能ボタン６２１Ｄとして、機能Ａ，Ｂ，Ｃ，Ｄの４つのボタンが設けられている。

LCDパネル６２２は、所定の情報、例えば、直前に操作されたユーザインタフェース部６２１のボタンを表す情報などが表示される。

次に、図５０は、図４９のリモコン６１８の電気的構成例を示している。

リモコン６１８は、ユーザインタフェース部６２１，LCDパネル６２２、制御部６３２、記憶部６３３、および送信部６３４が、バス６３１を介して相互に接続されて構成されている。

制御部６３２は、例えば、CPUなどで構成され、記憶部６３３に記憶されているプログラムを実行することにより、リモコン６１８を構成する各ブロックを制御する。記憶部６３３は、制御部６３２が実行するプログラムや必要なデータを記憶している。また、記憶部６３３は、制御部６３２等が処理を行う上で必要なデータを記憶する。

送信部６３４は、ユーザが、ユーザインタフェース部６２１を操作した場合に、その操作に対応する操作信号を、赤外線や電波で送信する。送信部６３４が送信する操作信号が、受光部６１６（図４８）で受信される。

次に、図５１のフローチャートを参照して、図４８のコントローラ６１３の処理について概説する。

コントローラ６１３は、ステップＳ６０１において、リモコン６１８のユーザインタフェース部６２１（図４９）がユーザによって操作されたか否かを判定する。ステップＳ６０１において、ユーザインタフェース部６２１が操作されていないと判定された場合、ステップＳ６０１に戻る。

また、ステップＳ６０１において、ユーザインタフェース部６２１が操作されたと判定された場合、即ち、ユーザが、ユーザインタフェース部６２１を操作し、その操作に対応する操作信号が、受光部６１６およびリモコンI/F６１７を介して、コントローラ６１３に供給された場合、ステップＳ６０２に進み、コントローラ６１３は、その操作信号に基づき、電源ボタン６２１Ａ（図４９）が操作されたか否かを判定する。

ステップＳ６０２において、電源ボタン６２１Ａが操作されたと判定された場合、即ち、ユーザが、電源ボタン６２１Ａを操作し、その操作に対応する操作信号が、受光部６１６およびリモコンI/F６１７を介して、コントローラ６１３に供給された場合、ステップＳ６０３に進み、コントローラ６１３は、図４８のテレビジョン受像機の電源をオンまたはオフとする電源処理を行い、ステップＳ６０１に戻る。

また、ステップＳ６０２において、電源ボタン６２１Ａが操作されていないと判定された場合、即ち、電源ボタン６２１Ａ以外のボタンが操作された場合、ステップＳ６０４に進み、コントローラ６１３は、その操作されたボタンに対応する処理を行い、ステップＳ６０１に戻る。

ここで、リモコン６１８（図４９）の機能ボタン６２１Ｄが操作され、コントローラ６１３が、その機能ボタン６２１Ｄの操作に対応した操作信号を、受光部６１６およびリモコンI/F６１７を介して受信した場合、コントローラ６１３は、その操作信号（操作された機能ボタン６２１Ｄ）に応じて、コマンド列を生成し、LSI６０６に送信する。

図５２は、コントローラ６１３が生成するコマンド列のフォーマットを示している。

コマンド列は、例えば、ヘッダ、１以上のコマンド、EOC(End Of Command)コードが順次配置されて構成される。

次に、図５３のフローチャートを参照して、コントローラ６１３による図５１のステップＳ６０４の処理についてさらに説明する。

コントローラ６１３は、ステップＳ６１１において、機能ボタン６２１Ｄ（図４９）のうちの機能Ａのボタン（以下、適宜、Ａボタンという）が操作されたかどうかを判定する。ステップＳ６１１において、Ａボタンが操作されたと判定された場合、ステップＳ６１２に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、１次元空間解像度創造コマンドまたは２次元空間解像度創造コマンドを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。

また、ステップＳ６１１において、Ａボタンが操作されていないと判定された場合、ステップＳ６１３に進み、コントローラ６１３は、機能ボタン６２１Ｄ（図４９）のうちの機能Ｂのボタン（以下、適宜、Ｂボタンという）が操作されたかどうかを判定する。

ステップＳ６１３において、Ｂボタンが操作されたと判定された場合、ステップＳ６１４に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、ノイズ除去コマンドを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。

また、ステップＳ６１３において、Ｂボタンが操作されていないと判定された場合、ステップＳ６１５に進み、コントローラ６１３は、機能ボタン６２１Ｄ（図４９）のうちの機能Ｃのボタン（以下、適宜、Ｃボタンという）が操作されたかどうかを判定する。

ステップＳ６１５において、Ｃボタンが操作されたと判定された場合、ステップＳ６１６に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、１次元空間解像度創造コマンドと、ノイズ除去コマンドとを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。

また、ステップＳ６１５において、Ｃボタンが操作されていないと判定された場合、ステップＳ６１７に進み、コントローラ６１３は、機能ボタン６２１Ｄ（図４９）のうちの機能Ｄのボタン（以下、適宜、Ｄボタンという）が操作されたかどうかを判定する。

ステップＳ６１７において、Ｄボタンが操作されたと判定された場合、ステップＳ６１８に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、２次元空間解像度創造コマンドと、ノイズ除去コマンドとを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。

また、ステップＳ６１７において、Ｄボタンが操作されていないと判定された場合、即ち、電源ボタン６２１Ａおよび機能ボタン６２１Ｄ以外のボタンが操作された場合、ステップＳ６１９に進み、コントローラ６１３は、その操作されたボタンに対応する処理を行い、リターンする。

次に、図５４は、コントローラ６１３が、機能ボタン６２１Ｄの操作に応じて生成し、LSI６０６に送信するコマンド列を示している。

Ａボタンが操作された場合、コントローラ６１３は、図５４左側の上から１番目または２番目に示すように、１つのコマンドである１次元空間解像度創造コマンドまたは２次元空間解像度創造コマンドを配置したコマンド列であるＡボタンコマンド列６４１または６４２を生成し、LSI６０６に送信する。

また、Ｂボタンが操作された場合、コントローラ６１３は、図５４左側の上から３番目に示すように、１つのコマンドであるノイズ除去コマンドを配置したコマンド列であるＢボタンコマンド列６４３を生成し、LSI６０６に送信する。

さらに、Ｃボタンが操作された場合、コントローラ６１３は、図５４右側の上から１番目に示すように、２つのコマンドである１次元空間解像度創造コマンドとノイズ除去コマンドとを配置したコマンド列であるＣボタンコマンド列６４４を生成し、LSI６０６に送信する。

また、Ｄボタンが操作された場合、コントローラ６１３は、図５４右側の上から２番目に示すように、２つのコマンドである２次元空間解像度創造コマンドとノイズ除去コマンドとを配置したコマンド列であるＤボタンコマンド列６４５を生成し、LSI６０６に送信する。

次に、図５５は、図４８のLSI６０６の構成例を示している。

受信部６５０は、コントローラ６１３（図４８）から送信されてくるコマンド列を受信し、SW（スイッチ）回路６５４および６５５、並びに信号処理回路６５６に供給する。

フレームメモリ６５１は、ビデオデコーダ６０５（図４８）から供給される画像データ（画像入力信号）を、例えば、１フレーム単位で記憶し、SW回路６５４の入力端子６５４Ａに供給する。

フレームメモリ６５２は、信号処理回路６５６からSW回路６５５の出力端子６５５Ａを介して供給される画像データ（画像出力信号）を、例えば、１フレーム単位で記憶し、合成部６０７（図４８）に供給する。

フレームメモリ６５３は、SW回路６５５の出力端子６５５Ｂから供給される画像データを、例えば、１フレーム単位で記憶し、SW回路６５４の入力端子６５４Ｂに供給する。

SW回路６５４は、２つの入力端子６５４Ａおよび６５４Ｂを有しており、入力端子６５４Ａには、フレームメモリ６５１に記憶された画像データが供給され、入力端子６５４Ｂには、フレームメモリ６５３に記憶された画像データが供給されるようになっている。SW回路６５４は、例えば、受信部６５０から供給されるコマンド列等に応じて、入力端子６５４Ａまたは６５４Ｂのうちの一方を選択し、その選択した方の入力端子から供給される画像データを、信号処理回路６５６に供給する。

SW回路６５５は、２つの出力端子６５５Ａおよび６５５Ｂを有しており、出力端子６５５Ａは、フレームメモリ６５２に、出力端子６５５Ｂは、フレームメモリ６５３に、それぞれ接続されている。SW回路６５５には、信号処理回路６５６から、信号処理後の画像データが供給されるようになっており、SW回路６５５は、例えば、受信部６５０から供給されるコマンド列等に応じて、出力端子６５５Ａまたは６５５Ｂのうちの一方を選択し、その選択した方の出力端子に、信号処理回路６５６からの画像データを出力する。

信号処理回路６５６は、受信部６５０からのコマンド列に応じて、その内部構造を、リコンフィギュラブルに切り換え、SW回路６５４から供給される画像データを信号処理し、その信号処理によって得られる画像データを、SW回路６５５に供給する。

次に、図５６のフローチャートを参照して、図５５のLSI６０６の処理について説明する。

コントローラ６１３（図４８）からLSI６０６に対して、コマンド列が送信されてくると、受信部６５０は、ステップＳ６３１において、そのコマンド列を受信し、SW回路６５４および６５５、並びに信号処理回路６５６に供給して、ステップＳ６３２に進む。

ここで、受信部６５０が受信したコマンド列は、Ｎ個のコマンドで構成されるものとする。但し、Ｎは、１以上の整数とする。

ステップＳ６３２では、フレームメモリ６５１が、ビデオデコーダ６０５（図４８）から供給される１フレーム（フィールド）の画像データを記憶し、ステップＳ６３３に進む。

ステップＳ６３３では、SW回路６５４および６５５が、受信部６５０から供給されたコマンド列を構成するコマンドが１つであるか、または複数であるかを判定する。

ステップＳ６３３において、コマンド列を構成するコマンドが１つであると判定された場合、ステップＳ６３４に進み、SW回路６５４が入力端子６５４Ａを選択するとともに、SW回路６５５が出力端子６５５Ａを選択し、ステップＳ６３５に進む。

ステップＳ６３５では、信号処理回路６５６が、受信部６５０からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを選択する。ここで、いまの場合、コマンド列を構成するコマンドは１つであるので、その１つのコマンドが、注目コマンドとして選択される。

さらに、ステップＳ６３５では、信号処理回路６５６が、注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップＳ６３６に進む。

ステップＳ６３６では、信号処理回路６５６は、SW回路６５４が選択している入力端子６５４Ａを介して、フレームメモリ６５１から１フレームの画像データを読み出し、その１フレームの画像データを対象に、注目コマンドに対応した信号処理を行う。

ここで、ステップＳ６３６では、信号処理回路６５６は、受信部６５０から供給されたコマンド列を構成するコマンドの数Ｎに等しいＮ倍速で、信号処理を行う。いまの場合、コマンド列は、１つのコマンドで構成されるので、信号処理回路６５６は、１倍速、即ち、フレームレート（またはフィールドレート）に対応する処理速度（フレーム周期に等しい時間内に、１フレームの画像データの信号処理を終了する処理速度）で、１フレームの画像データを信号処理する。

ステップＳ６３６において信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６３７に進む。

ここで、SW回路６５５は、ステップＳ６３４で、出力端子６５５Ａを選択しているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ａからフレームメモリ６５２に供給される。

ステップＳ６３７では、フレームメモリ６５２が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶し、その記憶した画像データを、合成回路６０７（図４８）に出力して、ステップＳ６５０に進む。

一方、ステップＳ６３３において、コマンド列を構成するコマンドが複数であると判定された場合、ステップＳ６３８に進み、SW回路６５４が入力端子６５４Ａを選択するとともに、SW回路６５５が出力端子６５５Ｂを選択し、ステップＳ６３９に進む。

ステップＳ６３９では、信号処理回路６５６が、受信部６５０からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを選択する。即ち、信号処理回路６５６は、例えば、コマンド列を構成する複数のコマンドのうちの、まだ注目コマンドとしていない最も先頭寄りのコマンドを、注目コマンドとして選択する。

さらに、ステップＳ６３９では、信号処理回路６５６が、注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップＳ６４０に進む。

ステップＳ６４０では、信号処理回路６５６は、SW回路６５４が選択している端子６５４Ａを介して、フレームメモリ６５１から１フレームの画像データを読み出し、その１フレームの画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Ｎに等しいＮ倍速で行う。

ステップＳ６４０において、信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６４１に進む。

ここで、SW回路６５５は、ステップＳ６３８で、出力端子６５５Ｂを選択しているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ｂからフレームメモリ６５３に供給される。

ステップＳ６４１では、フレームメモリ６５３が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶し、ステップＳ６４２に進む。

ステップＳ６４２では、SW回路６５４が、入力端子６５４Ａから６５４Ｂに選択を切り換えて、ステップＳ６４３に進む。

ステップＳ６４３では、信号処理回路６５６が、ステップＳ６３９における場合と同様にして、受信部６５０からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを、新たに選択する。

さらに、ステップＳ６４３では、信号処理回路６５６が、新たな注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップＳ６４４に進む。

ステップＳ６４４では、信号処理回路６５６が、注目コマンドが、コマンド列を構成する最後のコマンドであるかどうかを判定する。

ステップＳ６４４において、注目コマンドが、コマンド列を構成する最後のコマンドでないと判定された場合、即ち、コマンド列の中に、まだ注目コマンドとしていないコマンドが存在する場合、ステップＳ６４５に進み、信号処理回路６５６は、SW回路６５４が選択している入力端子６５４Ｂを介して、フレームメモリ６５３から画像データを読み出し、即ち、信号処理回路６５６による前回の信号処理によって得られた画像データを読み出し、その画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Ｎに等しいＮ倍速で行う。

ステップＳ６４５において、信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６４６に進む。

ここで、SW回路６５５は、ステップＳ６３８で、出力端子６５５Ｂを選択したままとなっているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ｂからフレームメモリ６５３に供給される。

ステップＳ６４６では、フレームメモリ６５３が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶する（上書きする）。そして、ステップＳ６４３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ６４４において、注目コマンドが、コマンド列を構成する最後のコマンドであると判定された場合、ステップＳ６４７に進み、SW回路６５５が、出力端子６５５Ｂから６５５Ａに選択を切り換えて、ステップＳ６４８に進む。

ステップＳ６４８では、信号処理回路６５６は、SW回路６５４が選択している端子６５４Ｂを介して、フレームメモリ６５３から画像データを読み出し、即ち、信号処理回路６５６による前回の信号処理によって得られた画像データを読み出し、その画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Ｎに等しいＮ倍速で行う。

ステップＳ６４８において、信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６４９に進む。

ここで、SW回路６５５は、ステップＳ６４７で、出力端子６５５Ａを選択しているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ａからフレームメモリ６５２に供給される。

ステップＳ６４９では、フレームメモリ６５２が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶し、その記憶した画像データを、合成回路６０７（図４８）に出力して、ステップＳ６５０に進む。

ステップＳ６５０では、次のフレームの画像データがフレームメモリ６５１に供給されたかどうかが判定される。ステップＳ６５０において、次のフレームの画像データがフレームメモリ６５１に供給されたと判定された場合、ステップＳ６３２に戻り、フレームメモリ６５１が、その画像データを記憶して、以下、同様の処理が繰り返される。なお、このとき、コマンド列を構成するコマンドは、すべて、まだ注目コマンドとされてないものとされる。

一方、ステップＳ６５０において、次のフレームの画像データがフレームメモリ６５１に供給されていないと判定された場合、処理を終了する。

以上のように、LSI６０６は、コマンド列が複数のコマンドから構成される場合、注目コマンドに応じて、内部構造を切り換え、その注目コマンドに対応した信号処理を、画像データを対象に実行し、その後、さらに、新たな注目コマンドに応じて、内部構造を切り換え、その新たな注目コマンドに対応した信号処理を、前回の信号処理によって得られた画像データを対象に実行する。従って、単一のハードウェアで、複数の機能を、容易に実現することができる。

次に、図５７は、図５５の信号処理回路６５６の構成例を示している。

走査線変換回路５２１Ａには、SW回路６５４（図５５）から画像データが供給される。走査線変換回路５２１Ｂは、そこに供給される画像データの走査方向を変換し、切換回路６６２に供給する。

走査線変換回路５２１Ｂには、切換回路６６４から、信号処理回路６６１による信号処理後の画像データが供給される。走査線変換回路５２１Ｂは、そこに供給される画像データの走査方向を変換し、切換回路６６３に供給する。

フレームメモリ５２３には、SW回路６５４（図５５）から画像データが供給される。フレームメモリ５２３は、そこに供給される画像データを記憶することにより、１フレーム分の時間だけ遅延して、信号処理回路６６１の端子io2'に供給する。

信号処理回路６６１は、端子io1，io2，io2'，io3，io4，io5を有している。端子io1には、切換回路６６２から画像データが供給され、端子io2には、切換回路６６３から画像データが供給される。端子io2'には、フレームメモリ５２３から画像データが供給される。端子io3またはio4からは、信号処理回路６６１で信号処理が行われることにより得られた画像データが出力され、この画像データは、切換回路６６４または６６５にそれぞれ供給される。端子io5には、受信部６５０（図５５）からコマンド列が供給される。

信号処理回路６６１は、端子io５に供給されるコマンド列に応じて、その内部構造を切り換え、端子io1，io2、またはio2'に供給される画像データを信号処理し、その結果得られる画像データを、端子io3またはio4から出力する。

切換回路６６２には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６２には、SW回路６５４（図５５）と走査線変換回路５２１Ａから画像データが供給される。切換回路６６２は、受信部６５０からのコマンド列に応じて、SW回路６５４からの画像データ、または走査線変換回路５２１Ａからの画像データを選択し、信号処理回路６６１の端子io1に供給する。

切換回路６６３には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６３には、SW回路６５４（図５５）と走査線変換回路５２１Ｂから画像データが供給される。切換回路６６３は、受信部６５０からのコマンド列に応じて、SW回路６５４からの画像データ、または走査線変換回路５２１Ｂからの画像データを選択し、信号処理回路６６１の端子io2に供給する。

切換回路６６４には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６４には、信号処理回路６６１の端子io3から、画像データが供給される。切換回路６６４は、受信部６５０からのコマンド列に応じて、切換回路６６５または走査線変換回路５２１Ｂを選択し、選択した方の回路に、端子io3からの画像データを供給する。

切換回路６６５には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６５には、切換回路６６４と信号処理回路６６１の端子io4から画像データが供給される。切換回路６６５は、受信部６５０からのコマンド列に応じて、切換回路６６４からの画像データ、または信号処理回路６６１の端子io4からの画像データを選択し、SW回路６５５（図５５）に供給する。

図５８は、図５７の信号処理回路６６１の構成例を示している。

なお、信号処理回路６６１には、端子io1，io2，io2'，io3，io4，io5が設けられている他、図示しないが、電源端子等も設けられている。

図５８において、信号処理回路６６１は、複数の回路群としての演算回路群４１１Ａおよび４１１Ｂ、メモリ４１２Ａおよび４１２Ｂ、積和演算回路群４１３Ａおよび４１３Ｂ、アダー４１４Ａおよび４１４Ｂ、乗算器４１５Ａおよび４１５Ｂ、並びにレジスタ群４１６Ａおよび４１６Ｂで構成されている。

そして、これらの回路群あるいは回路に対して、入力／出力あるいは相互間（回路群あるいは回路間の相互接続、および回路群の内部における回路間の相互接続の両者を意味する）の接続状態を切り換えるための切換回路が、信号処理回路６６１内に設けられている。

換言すると、信号処理回路６６１内のディジタル信号の流れと、各回路群の機能とが制御信号により制御可能となっている。すなわち、演算回路群４１１Ａまたは４１１Ｂと関連して切換回路４２１Ａまたは４２１Ｂがそれぞれ設けられている。また、メモリ４１２Ａまたは４１２Ｂと関連して切換回路４２２Ａまたは４２２Ｂがそれぞれ設けられている。さらに、積和演算回路群４１３Ａまたは４１３Ｂと関連して切換回路４２３Ａまたは４２３Ｂがそれぞれ設けられている。また、アダー４１４Ａおよび４１４Ｂ、乗算器４１５Ａおよび４１５Ｂ、並びにレジスタ群４１６Ａおよび４１６Ｂと関連して切換回路４２４が設けられている。

切換回路４２１Ａ，４２１Ｂ，４２２Ａ，４２２Ｂ，４２３Ａ，４２３Ｂおよび４２４に対しては、端子io5からコマンド列comが供給される。切換回路４２１Ａ，４２１Ｂ，４２２Ａ，４２２Ｂ，４２３Ａ，４２３Ｂおよび４２４は、コマンド列comに応じて、演算回路群４１１Ａおよび４１１Ｂ、メモリ４１２Ａおよび４１２Ｂ、積和演算回路群４１３Ａおよび４１３Ｂ、アダー４１４Ａおよび４１４Ｂ、乗算器４１５Ａおよび４１５Ｂ、並びにレジスタ群４１６Ａおよび４１６Ｂどうしの接続状態を切り換え、これにより、信号処理回路６６１の内部構造を切り換える。

図５９は、図５７の信号処理回路６６１の他の構成例を示している。

端子io1からの画像データが、クラス分類回路５１１Ａ、遅延選択回路５１２Ａおよびライン遅延回路５１７に供給される。

クラス分類回路５１１Ａは、図１のタップ選択部１３およびクラス分類部１４に対応する。クラス分類回路５１１Ａは、端子io1からの画像データ、またはライン遅延回路５１７からの画像データから、幾つかの画素（の画素値）を選択し、その画素をクラスタップとして、クラス分類を行い、その結果得られるクラスコードを、切換回路５１３Ａに供給する。

但し、クラス分類回路５１１Ａは、クラスタップとして、１次元の配列の複数の画素を選択することと、２次元の配列の複数の画素を選択することが可能になっている。ここで、１次元の配列の複数の画素としては、例えば、水平方向に並ぶ幾つかの画素や、垂直方向に並ぶ幾つかの画素がある。また、２次元の配列の複数の画素としては、例えば、ある画素を中心とする、水平方向にＸ個、垂直方向にＹ個の画素でなる長方形の領域内にある画素がある。

従って、クラス分類回路５１１Ａで行われるクラス分類には、１次元の配列の複数の画素をクラスタップとして行われるものと、２次元の配列の複数の画素をクラスタップとして行われるものがある。１次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、１次元クラス分類という。また、２次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、２次元クラス分類という。

なお、クラスタップは、３次元の配列の複数の画素で構成することも可能である。３次元の配列の複数の画素としては、例えば、ある画素を中心とする、水平方向にＸ個、垂直方向にＹ個、時間方向にＴ個の画素でなる直方体の領域内にある画素がある。３次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、３次元クラス分類という。

クラス分類回路５１１Ａは、１次元クラス分類と２次元クラス分類を行い、その１次元クラス分類と２次元クラス分類により得られる２つのクラスコードを、切換回路５１３Ａに供給する。

遅延選択回路５１２Ａは、図１のタップ選択部１２に対応する。遅延選択回路５１２Ａは、端子io1からの画像データ、またはライン遅延回路５１７からの画像データから、幾つかの画素（の画素値）を選択し、その画素を予測タップとして、切換回路５１４Ａに供給する。

但し、遅延選択回路５１２Ａは、予測タップとして、１次元の配列の複数の画素を選択することと、２次元の配列の複数の画素を選択することが可能になっている。１次元の配列の複数の画素で構成される予測タップを、以下、適宜、１次元予測タップといい、２次元の配列の複数の画素で構成される予測タップを、以下、適宜、２次元予測タップという。

なお、予測タップは、３次元の配列の複数の画素で構成することも可能であり、３次元の配列の複数の画素で構成される予測タップを、以下、適宜、３次元予測タップという。

遅延選択回路５１２Ａは、１次元予測タップと２次元予測タップを得て、切換回路５１４Ａに供給する。

なお、遅延選択回路５１２Ａは、予測演算回路５１６Ａで演算されるべき予測タップとタップ係数とが、予測演算回路５１６Ａに供給されるタイミングを調整する等のために、１次元予測タップと２次元予測タップとを、所定の時間だけ遅延して出力する。

切換回路５１３Ａは、端子io5からのコマンド列に応じて、クラス分類回路５１１Ａが２つのクラスコードを出力する２つの出力端のうちの一方を選択し、係数出力回路５１５Ａに接続する。その結果、クラス分類回路５１１Ａから係数出力回路５１５Ａに対しては、切換回路５１３Ａを介して、１次元クラス分類の結果としてのクラスコードまたは２次元クラス分類の結果としてのクラスコードのうちの一方が供給される。

切換回路５１４Ａは、端子io5からのコマンド列に応じて、遅延選択回路５１２Ａが２つの予測タップを出力する２つの出力端のうちの一方を選択し、予測演算回路５１６Ａに接続する。その結果、遅延選択回路５１２Ａから予測演算回路５１６Ａに対しては、切換回路５１４Ａを介して、１次元予測タップまたは２次元予測タップのうちの一方が供給される。

係数出力回路５１５Ａは、図１の係数出力部１５に対応し、あらかじめ行われた学習によって得られた、幾つかの異なる種類のタップ係数を記憶している。係数出力回路５１５Ａは、端子io5からのコマンド列に応じた種類のタップ係数を選択し、さらに、そのタップ係数の中から、クラス分類回路５１１Ａから切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。

なお、係数出力回路５１５Ａは、各種類のタップ係数として、予測タップが１次元予測タップである場合に用いられるべきものと、２次元予測タップである場合に用いられるべきものを記憶しており、さらに、それぞれのタップ係数として、クラス分類として１次元クラス分類が行われる場合に用いられるべきものと、２次元クラス分類が行われる場合に用いられるべきものを記憶している。このように、ある種類のタップ係数としては、複数パターンのタップ係数が存在することがあるが、以下では、この点の説明は省略する。

予測演算回路５１６Ａは、図１の予測演算部１６に対応する。予想演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される予測タップと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）の演算を行い、その演算結果を、注目画素（の画素値）として、積和演算回路５１８および切換回路５１９に供給する。

ここで、式（１）にしたがった予測タップとタップ係数との演算は、FIR(Finite Impulse Response)フィルタによる演算（フィルタリング）に等価である。そこで、１次元予測タップ、２次元予測タップ、または３次元予測タップを用いて行われる式（１）の演算を、以下、適宜、１次元フィルタ演算、２次元フィルタ演算、または３次元フィルタ演算と、それぞれいう。

クラス分類回路５１１Ｂ、遅延選択回路５１２Ｂ、切換回路５１３Ｂ，５１４Ｂ、係数出力回路５１５Ｂ、予測演算回路５１６Ｂは、上述のクラス分類回路５１１Ａ、遅延選択回路５１２Ａ、切換回路５１３Ａ，５１４Ａ、係数出力回路５１５Ａ、予測演算回路５１６Ａとそれぞれ同様に構成される。そして、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂは、クラス分類回路５１１Ａ乃至予測演算回路５１６Ａと同様の接続関係を有する。

但し、クラス分類回路５１１Ｂおよび遅延選択回路５１２Ｂには、端子io2からの画像データ、端子io2'からの画像データ、およびライン遅延回路５１７からの画像データが供給されるようになっている。

クラス分類回路５１１Ｂは、そこに供給される画像データから画素を選択することで、クラスタップを構成し、そのクラスタップに基づいて、１次元クラス分類、２次元クラス分類、３次元クラス分類を行う。さらに、クラス分類回路５１１Ｂは、その３つのクラス分類によって得られる３つのクラスコードを、切換回路５１３Ｂに供給する。

なお、クラス分類回路５１１Ｂは、端子io2またはio2'から供給される画像データの動きも検出し、その動きを表す動き情報を、積和演算回路５１８に供給する。

遅延選択回路５１２Ｂは、そこに供給される画像データから画素を選択することで、１次元予測タップ、２次元予測タップ、３次元予測タップを構成し、切換回路５１４Ｂに供給する。

切換回路５１３Ｂは、端子io5からのコマンド列に応じて、クラス分類回路５１１Ｂからの３つのクラスコードのうちのいずれかを選択し、係数出力回路５１５Ｂに供給する。

切換回路５１４Ｂは、端子io5からのコマンド列に応じて、遅延選択回路５１２Ｂからの３つの予測タップのうちのいずれかを選択し、予測演算回路５１６Ｂに供給する。

係数出力回路５１５Ｂは、係数出力回路５１５Ａと同様に、幾つかの異なる種類のタップ係数を記憶している。係数出力回路５１５Ｂは、端子io5からのコマンド列に応じた種類のタップ係数を選択し、さらに、そのタップ係数の中から、クラス分類回路５１１Ｂから切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂに供給する。

予測演算回路５１６Ａは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される予測タップと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）の演算を行い、その演算結果を、注目画素（の画素値）として、端子io4と、積和演算回路５１８に供給する。

ライン遅延回路５１７は、メモリで構成された１乃至数ライン分の遅延を生じさせる回路で、端子io1からの画像データを１乃至数ライン分だけ遅延して、クラス分類回路５１１Ａおよび５１１Ｂ、並びに遅延選択回路５１２Ａおよび５１２Ｂに供給する。

積和演算回路５１８は、予測演算回路５１６Ａと５１６Ｂの出力どうしの重み付け加算を、クラス分類回路５１１Ｂから供給される動き情報を重みとして行い、その加算結果を、切換回路５１９に供給する。

切換回路５１９は、端子io5からのコマンド列に応じて、予測演算回路５１６Ａの出力または積和演算回路５１８の出力のうちの一方を選択し、端子io3に供給する。

上述したように、図５９において、クラス分類回路５１１Ａと５１１Ｂは、図１のタップ選択部１３およびクラス分類部１４に対応し、遅延選択回路５１２Ａと５１２Ｂは、図１のタップ選択部１２に対応する。また、係数出力回路５１５Ａと５１５Ｂは、図１の係数出力部１５に対応し、予測演算回路５１６Ａと５１６Ｂは、図１の予測演算部１６に対応する。

従って、クラス分類回路５１１Ａ乃至予測演算回路５１６Ａでは、端子io1から供給される画像データおよびライン遅延回路５１７から供給される画像データを、第１の画像データとして、クラス分類適応処理（としての画像変換処理）を行うことができ、予測演算回路５１６Ａから出力される画像データが、そのクラス分類適応処理の結果としての第２の画像データである。

また、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂでも、端子io2から供給される画像データ、端子io2'から供給される画像データ、およびライン遅延回路５１７から供給される画像データを、第１の画像データとして、クラス分類適応処理（としての画像変換処理）を行うことができ、予測演算回路５１６Ｂから出力される画像データが、そのクラス分類適応処理の結果としての第２の画像データである。

次に、図６０のフローチャートを参照して、クラス分類回路５１１Ａ乃至予測演算回路５１６Ａと、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂとで行われるクラス分類適応処理としての画像変換処理について説明する。

なお、以下、適宜、クラス分類回路５１１Ａと５１１Ｂをクラス分類回路５１１と、遅延選択回路５１２Ａと５１２Ｂを遅延選択回路５１２と、切換回路５１３Ａと５１３Ｂを切換回路５１３と、切換回路５１４Ａと５１４Ｂを切換回路５１４と、係数出力回路５１５Ａと５１５Ｂを係数出力回路５１５と、予測演算回路５１６Ａと５１６Ｂを予測演算回路５１６と、それぞれ記載する。

ステップＳ６６１において、クラス分類回路５１１および遅延選択回路５１２に対し、画像データが入力される。なお、クラス分類回路５１１および遅延選択回路５１２に入力された画像データが、クラス分類適応処理の第１の画像データであり、クラス分類適応処理では、その第１の画像データが、第２の画像データに変換される。

その後、第２の画像データのうちの、まだ注目画素としていない画素が、注目画素として選択され、ステップＳ６６２に進み、クラス分類回路５１１は、注目画素についてのクラスタップとなる画素を、第１の画像データから選択（抽出）して、ステップＳ６６３に進む。ステップＳ６６３では、クラス分類回路５１１が、クラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、切換回路５１３を介して、係数出力回路５１５に出力する。

そして、ステップＳ６６４に進み、遅延選択回路５１２が、注目画素についての予測タップとなる画素を、第１の画像データから選択（抽出）し、予測演算回路５１６に供給して、ステップＳ６６５に進む。

ステップＳ６６５では、係数出力回路５１５が、ステップＳ６６３でクラス分類回路５１１が出力したクラスコードに対応するクラスタップ係数を、予測演算回路５１６に出力し、ステップＳ６６６に進む。

ステップＳ６６６では、予測演算回路５１６が、遅延選択回路５１２からの予測タップと、係数出力回路５１５からのタップ係数とを用いて式（１）の演算（フィルタ演算）を行い、その演算結果を、注目画素（の画素値）として出力し、処理を終了する。

なお、図６０のステップＳ６６２乃至Ｓ６６６の処理は、第２の画像データの画素すべてを注目画素として行われる。

次に、図５９に示した構成の信号処理回路６６１を有する図５７の信号処理回路６５６の処理について説明する。

まず、リモコン６１８（図４９）のＡボタンが操作され、これにより、図５４に示した１つのコマンドである１次元空間解像度創造コマンドが配置されたＡボタンコマンド列６４１が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。

信号処理回路６５６（図５７）に供給されたＡボタンコマンド列６４１は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。

切換回路６６２は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。

さらに、切換回路６６４は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。

さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、信号線の選択状態（各ブロックの接続状態）を、１次元空間解像度創造処理を行うように切り換える。

ここで、１次元空間解像度創造処理とは、予測タップとして１次元予測タップを用いる空間解像度創造処理を意味する。

図６１は、信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む図５７の信号処理回路６５６を示している。

図６１において、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６１に実線で示すように切り換え、これにより、信号処理として、１次元空間解像度創造処理が行われる。

なお、図６１において、点線で示す信号線は、配線されているが、現在の信号処理回路６６１による信号処理に関係のない信号線を意味している。

また、図６１では、図５７におけるフレームメモリ５２３、切換回路６６２乃至６６５の図示を省略してある。

図６１の信号処理回路６５６では、例えば、そこに入力される、クラス分類適応処理の第１の画像データとしての標準解像度の画像データ（以下、適宜、ＳＤ画像データと称する）を、その水平方向と垂直方向の画素数をいずれも２倍にした、クラス分類適応処理の第２の画像データとしての高解像度の画像データ（以下、適宜、ＨＤ画像データと称する）に変換する空間解像度創造処理（１次元空間解像度創造処理）が行われる。

なお、ここでは、例えば、最初に、ＳＤ画像データ（第１の画像データ）の垂直方向の画素数を２倍とし、その後に水平方向の画素数を２倍とすることで、画素数が４倍のＨＤ画像データ（第２の画像データ）を得るものとする。

図６１において、走査線変換回路５２１Ａには、ＳＤ画像データが供給される。走査線変換回路５２１Ａは、そこに供給されるＳＤ画像データを対象に、水平走査（テレビジョンラスタの走査順序）から垂直走査への変換を行う。

走査線変換５２１Ａで走査方向が変換されたＳＤ画像データは、信号処理回路６６１の端子io1に供給される。

端子io1に供給されたＳＤ画像データは、クラス分類回路５１１Ａと遅延選択回路５１２Ａに供給される。

クラス分類回路５１１Ａは、端子io1からのＳＤ画像データからクラスタップを選択し、そのクラスタップに基づいて、１次元クラス分類を行う。そして、クラス分類回路５１１Ａは、１次元クラス分類によって得られるクラスコードを、切換回路５１３Ａを介して、係数出力回路５１５Ａに供給する。

係数出力回路５１５Ａは、少なくとも１次元空間解像度創造処理用のタップ係数を含む複数種類のタップ係数を記憶しており、端子io5から供給されるＡボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、１次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ａは、クラス分類回路５１１Ａから、切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。

一方、遅延選択回路５１２Ａは、端子io1からのＳＤ画像データから１次元予測タップを選択し、切換回路５１４Ａを介して、予測演算回路５１６Ａに供給する。

予測演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される１次元予測タップとしてのＳＤ画像データの複数の画素データと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（１次元フィルタ演算）を行い、これにより、垂直方向の画素数が元のＳＤ画像データの２倍となった画像データ（画素の画素値）を得て出力する。

予測演算回路５１６Ａが出力する画像データは、切換回路１１９を介して、端子io3から出力され、さらに、切換回路６６４（図５７）を介して、走査線変換回路５２１Ｂに供給される。

走査線変換回路５２１Ｂは、そこに供給される画像データを対象に、垂直走査から水平走査への変換を行う。そして、走査線変換回路５２１Ｂは、その変換によって、テレビジョンラスタと同様の走査の信号となった画像データを、端子io2に供給する。

端子io2に供給された画像データは、クラス分類回路５１１Ｂと遅延選択回路５１２Ｂに供給される。

クラス分類回路５１１Ｂは、端子io2からの画像データからクラスタップを選択し、そのクラスタップに基づいて、１次元クラス分類を行う。そして、クラス分類回路５１１Ｂは、１次元クラス分類によって得られるクラスコードを、切換回路５１３Ｂを介して、係数出力回路５１５Ｂに供給する。

係数出力回路５１５Ｂは、少なくとも１次元空間解像度創造処理用のタップ係数を含む複数種類のタップ係数を記憶しており、端子io5から供給されるＡボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、１次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ｂは、クラス分類回路５１１Ｂから、切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂに供給する。

一方、遅延選択回路５１２Ｂは、端子io2からの画像データから１次元予測タップを選択し、切換回路５１４Ｂを介して、予測演算回路５１６Ｂに供給する。

予測演算回路５１６Ｂは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される１次元予測タップとしての画像データの複数の画素データと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（１次元フィルタ演算）を行い、これにより、垂直方向と水平方向の画素数がいずれも元の画像データの２倍となったＨＤ画像データ（画素の画素値）を得て出力する。

予測演算回路５１６Ｂが出力する画像データは、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。

次に、リモコン６１８（図４９）のＡボタンが操作され、これにより、図５４に示した１つのコマンドである２次元空間解像度創造コマンドが配置されたＡボタンコマンド列６４２が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。

信号処理回路６５６（図５７）に供給されたＡボタンコマンド列６４２は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。

切換回路６６２は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。

さらに、切換回路６６４は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。

さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換える。

ここで、２次元空間解像度創造処理とは、予測タップとして２次元予測タップを用いる空間解像度創造処理を意味する。

図６２は、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む図５７の信号処理回路６５６を示している。

図６２において、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６２に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理が行われる。

なお、図６２において、点線で示す信号線は、配線されているが、現在の信号処理回路６６１による信号処理に関係のない信号線を意味している。

また、図６２では、図５７におけるフレームメモリ５２３、切換回路６６２乃至６６５の図示を省略してある。

図６２の信号処理回路６５６では、例えば、図６１における場合と同様に、そこに入力される、クラス分類適応処理の第１の画像データとしてのＳＤ画像データを、その水平方向と垂直方向の画素数をいずれも２倍にした、クラス分類適応処理の第２の画像データとしてのＨＤ画像データに変換する空間解像度創造処理が行われる。但し、図６２では、クラス分類として、２次元クラス分類が採用されるとともに、予測タップとして、２次元予測タップが採用される。

なお、ここでも、例えば、最初に、ＳＤ画像データ（第１の画像データ）の垂直方向の画素数を２倍とし、その後に水平方向の画素数を２倍とすることで、画素数が４倍のＨＤ画像データ（第２の画像データ）を得るものとする。

図６２において、走査線変換回路５２１Ａには、ＳＤ画像データが供給される。走査線変換回路５２１Ａは、そこに供給されるＳＤ画像データの走査方向を、水平走査から垂直走査に変換し、信号処理回路６６１の端子io1に供給する。

端子io1に供給されたＳＤ画像データは、クラス分類回路５１１Ａ、遅延選択回路５１２Ａ、およびライン遅延回路５１７に供給される。

ライン遅延回路５１７は、そこに供給されるＳＤ画像データを、１乃至数ライン分だけ遅延して、クラス分類回路５１１Ａおよび５１１Ｂ、並びに遅延選択回路５１２Ａおよび５１２Ｂに供給する。

クラス分類回路５１１Ａは、端子io1からのＳＤ画像データと、ライン遅延回路５１７ＡからのＳＤ画像データとからクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路５１１Ａは、２次元クラス分類によって得られるクラスコードを、切換回路５１３Ａを介して、係数出力回路５１５Ａに供給する。

係数出力回路５１５Ａが記憶している複数種類のタップ係数には、２次元空間解像度創造処理用のタップ係数が含まれており、係数出力回路５１５Ａは、端子io5から供給されるＡボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、２次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ａは、クラス分類回路５１１Ａから、切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。

一方、遅延選択回路５１２Ａは、端子io1からのＳＤ画像データと、ライン遅延回路５１７ＡからのＳＤ画像データとから２次元予測タップを選択し、切換回路５１４Ａを介して、予測演算回路５１６Ａに供給する。

予測演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される２次元予測タップとしてのＳＤ画像データの複数の画素データと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、垂直方向の画素数が元のＳＤ画像データの２倍となった画像データ（画素の画素値）を得て出力する。

予測演算回路５１６Ａが出力する画像データは、切換回路１１９を介して、端子io3から出力され、さらに、切換回路６６４（図５７）を介して、走査線変換回路５２１Ｂに供給される。

走査線変換回路５２１Ｂは、そこに供給される画像データの走査方向を、垂直走査から水平走査に変換し、テレビジョンラスタと同様の走査の信号となった画像データを、端子io2に供給する。

端子io2に供給された画像データは、クラス分類回路５１１Ｂと遅延選択回路５１２Ｂに供給される。

クラス分類回路５１１Ｂは、端子io2からの画像データと、ライン遅延回路５１７からの画像データとからクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路５１１Ｂは、２次元クラス分類によって得られるクラスコードを、切換回路５１３Ｂを介して、係数出力回路５１５Ｂに供給する。

係数出力回路５１５Ｂが記憶している複数種類のタップ係数には、２次元空間解像度創造処理用のタップ係数が含まれており、係数出力回路５１５Ｂは、端子io5から供給されるＡボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、２次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ｂは、クラス分類回路５１１Ｂから、切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂ供給する。

一方、遅延選択回路５１２Ｂは、端子io2からの画像データと、ライン遅延回路５１７からの画像データとから２次元予測タップを選択し、切換回路５１４Ｂを介して、予測演算回路５１６Ｂに供給する。

予測演算回路５１６Ｂは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される２次元予測タップとしての画像データの複数の画素データと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、垂直方向と水平方向の画素数がいずれも元の画像データの２倍となったＨＤ画像データ（画素の画素値）を得て出力する。

予測演算回路５１６Ｂが出力する画像データは、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。

次に、リモコン６１８（図４９）のＢボタンが操作され、これにより、図５４に示した１つのコマンドであるノイズ除去コマンドが配置されたＢボタンコマンド列６４３が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。

信号処理回路６５６に供給されたＢボタンコマンド列６４３は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。

切換回路６６２は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３も、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io2に接続する。

さらに、切換回路６６４は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、切換回路６６５への入力を選択して、信号処理回路６６１の端子io3を、切換回路６６５に接続する。また、切換回路６６５は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、切換回路６６４の出力を選択して、SW回路６５５（図５５）に接続する。

さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。

ここで、信号処理回路６６１でのノイズ除去処理は、２次元ノイズ除去処理の処理結果と、３次元ノイズ除去処理の処理結果とを、画像の動きに応じて加算することによって行われる。なお、２次元ノイズ除去処理または３次元ノイズ除去処理とは、予測タップとして２次元予測タップまたは３次元予測タップを用いるノイズ除去処理を、それぞれ意味する。画像に動きがある場合には、２次元ノイズ除去処理が有効であり、画像に動きがない（動きが小さい）場合には、３次元ノイズ除去処理が有効である。

図６３は、信号線の選択状態を、ノイズ除去処理を行うように切り換えた信号処理回路６６１を含む図５７の信号処理回路６５６を示している。

図６３において、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号線の選択状態を、図６３に実線で示すように切り換え、これにより、信号処理として、ノイズ除去処理が行われる。

なお、図６３において、点線で示す信号線は、配線されているが、現在の信号処理回路６６１による信号処理に関係のない信号線を意味している。

また、図６３では、図５７における走査線変換回路５２１Ａおよび５２１Ｂ、並びに切換回路６６２乃至６６５の図示を省略してある。

図６３の信号処理回路６５６では、そこに入力される、クラス分類適応処理の第１の画像データを、そのS/Nの向上した、クラス分類適応処理の第２の画像データに変換する２次元ノイズ除去処理と３次元ノイズ除去処理が行われ、さらに、その２次元ノイズ除去処理の処理結果と、３次元ノイズ除去処理の処理結果とを、画像の動きに応じて加算することにより、最終的な信号処理結果としての高S/Nの画像データを得るノイズ除去処理が行われる。

図６３において、信号処理回路６５６に入力された画像データは、フレームメモリ５２３、並びに信号処理回路６６１の端子io1およびio2に供給される。

フレームメモリ５２３は、そこに供給される画像データを記憶することにより、１フレーム（またはフィールド）分だけ遅延して、信号処理回路６６１の端子io2'に供給する。

ここで、端子io1およびio2に供給される画像データのフレームを、以下、適宜、現フレームという。また、フレームメモリ５２３から端子io2'に供給される、現フレームの１フレーム前のフレームを、前フレームという。

端子io1に供給された現フレームの画像データは、クラス分類回路５１１Ａ、遅延選択回路５１２Ａ、およびライン遅延回路５１７に供給される。また、端子io2に供給された現フレームの画像データは、クラス分類回路５１１Ｂおよび遅延選択回路５１２Ｂに供給される。さらに、端子io2'に供給された前フレームの画像データも、クラス分類回路５１１Ｂおよび遅延選択回路５１２Ｂに供給される。

ライン遅延回路５１７は、そこに供給される現フレームの画像データを、１乃至数ライン分だけ遅延して、クラス分類回路５１１Ａおよび５１１Ｂ、並びに遅延選択回路５１２Ａおよび５１２Ｂに供給する。

クラス分類回路５１１Ａは、端子io1からの現フレームの画像データと、ライン遅延回路５１７Ａからの現フレームの画像データとからクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路５１１Ａは、２次元クラス分類によって得られるクラスコードを、切換回路５１３Ａを介して、係数出力回路５１５Ａに供給する。

係数出力回路５１５Ａが記憶している複数種類のタップ係数には、２次元ノイズ除去処理用のタップ係数も含まれており、係数出力回路５１５Ａは、端子io5から供給されるＢボタンコマンド列６４３の中のノイズ除去コマンドに応じて、２次元ノイズ除去処理用のタップ係数を選択している。そして、係数出力回路５１５Ａは、クラス分類回路５１１Ａから、切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。

また、遅延選択回路５１２Ａは、端子io1からの現フレームの画像データと、ライン遅延回路５１７Ａからの現フレームの画像データとから２次元予測タップを選択し、切換回路５１４Ａを介して、予測演算回路５１６Ａに供給する。

予測演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される２次元予測タップとしての現フレームの画像データの複数の画素データと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、２次元ノイズ除去処理が施された現フレームの画像データ（画素の画素値）を得て、積和演算回路５１８に出力する。

一方、クラス分類回路５１１Ｂは、端子io2からの現フレームの画像データ、ライン遅延回路５１７からの現フレームの画像データ、および端子io2'からの前フレームの画像データからクラスタップを選択し、そのクラスタップに基づいて、３次元クラス分類を行う。そして、クラス分類回路５１１Ｂは、３次元クラス分類によって得られるクラスコードを、切換回路５１３Ｂを介して、係数出力回路５１５Ｂに供給する。

さらに、クラス分類回路５１１Ｂは、端子io2からの現フレームの画像データ、ライン遅延回路５１７からの現フレームの画像データ、および端子io2'からの前フレームの画像データから、現フレームの画像データの動きを検出し、その動きを表す動き情報Ｋを、積和演算回路１１８に供給する。

ここで、クラス分類回路５１１Ｂでの動きの検出方法としては、例えば、グラジェント法と称されるものを採用できる。グラジェント法は、動き領域中の画素についてのフレーム差と傾き情報（水平方向では、サンプリング差、垂直方向ではライン差）を用いて動き量を求めるものである。

即ち、グラジェント法によれば、フレーム差ΔＦ（現フレームの画素値から前フレームの対応画素値を減算したもの）と、サンプリング差ΔＥ（現フレームのある画素の値から、その左隣の画素の値を減算したもの）Ｅが求められる。そして、フレーム差ΔＦの絶対値｜ΔＦ｜の動き領域中の積算値Σ｜ΔＦ｜と、サンプリング差ΔＥの絶対値｜ΔＥ｜の動き領域中の積算値Σ｜ΔＥ｜とから、動きの水平方向成分ｖ１の大きさ｜ｖ１｜が、式｜ｖ１｜＝Σ｜ΔＦ｜／Σ｜ΔＥ｜によって求められる。なお、動きの水平方向成分ｖ１の方向（右または左）は、フレーム差ΔＦの極性とサンプリング差ΔＥの極性との関係から求められる。動きの垂直方向成分ｖ２についても同様して求めることができる。

クラス分類回路５１１Ｂは、動きの水平方向成分ｖ１と垂直方向成分ｖ２とから、画像の動きを求め、例えば、その動きの大きさを、所定ビット数で表した情報を、動き情報Ｋとして、積和演算回路１１８に供給する。

なお、クラス分類回路５１１Ｂでは、上述したように、３次元クラス分類を行う他、動きの水平方向成分ｖ１と垂直方向成分ｖ２とを用いたクラス分類を行うことも可能である。

係数出力回路５１５Ｂが記憶している複数種類のタップ係数には、３次元ノイズ除去処理用のタップ係数も含まれており、係数出力回路５１５Ｂは、端子io5から供給されるＢボタンコマンド列６４３の中のノイズ除去コマンドに応じて、３次元ノイズ除去処理用のタップ係数を選択している。そして、係数出力回路５１５Ｂは、クラス分類回路５１１Ｂから、切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂ供給する。

また、遅延選択回路５１２Ｂは、端子io2からの現フレームの画像データ、ライン遅延回路５１７からの現フレームの画像データ、および端子io2'からの前フレームの画像データから３次元予測タップを選択し、切換回路５１４Ｂを介して、予測演算回路５１６Ｂに供給する。

予測演算回路５１６Ｂは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される３次元予測タップとしての画像データの複数の画素データと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（３次元フィルタ演算）を行い、これにより、３次元ノイズ除去処理が施された現フレームの画像データ（画素の画素値）を得て、積和演算回路５１８に出力する。

積和演算回路５１８は、予測演算回路５１６Ａからの２次元ノイズ除去処理が施された現フレームの画像データと、予測演算回路５１６Ｂからの３次元ノイズ除去処理が施された現フレームの画像データとの重み付け加算を、クラス分類回路５１１Ｂから供給される動き情報Ｋを重み係数として行う。

即ち、２次元ノイズ除去処理または３次元ノイズ除去処理が施された現フレームの画像データを、それぞれP2またはP3とするとともに、動き情報Ｋが０乃至１の範囲の値をとするものとすると、積和演算回路５１８は、式P=Ｋ×P2＋（１−Ｋ）×P3にしたがって、最終的なノイズ除去処理結果としての画像データPを求める。

積和演算回路５１８が出力する画像データは、切換回路５１９を介して、端子io3から出力され、さらに、切換回路６６４および６６５（図５７）を介して、SW回路６５５（図５５）に供給される。

次に、リモコン６１８（図４９）のＣボタンが操作され、これにより、図５４に示した１次元空間解像度創造コマンドおよびノイズ除去コマンドが配置されたＣボタンコマンド列６４４が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。

信号処理回路６５６（図５７）に供給されたＣボタンコマンド列６４４は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。

切換回路６６２は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。

さらに、切換回路６６４は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。

さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、信号線の選択状態を、１次元空間解像度創造処理を行うように切り換える。

即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中の１次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６１に実線で示したように切り換える。

従って、信号処理回路６５６では、図６１で説明したように、そこに入力される画像データを対象として、１次元解像度創造処理が行われ、その画像データの空間解像度を向上させた画像データが、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。

図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｃボタンコマンド列６４４の１番目の１次元空間解像度創造コマンドに対応する信号処理である１次元空間解像度創造処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５３に供給して記憶させる。さらに、SW回路６５４は、フレームメモリ６５４に記憶された画像データを、信号処理回路６５６に供給する。

従って、信号処理回路６５６（図５５）において１次元解像度創造処理が行われることにより得られた画像データは、切換回路６６５、フレームメモリ６５３、およびSW回路６５４を介して、信号処理回路６５６に再入力する。

その後、信号処理回路６５６（図５７）において、切換回路６６２は、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３も、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io2に接続する。

さらに、切換回路６６４も、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６５への入力を選択して、信号処理回路６６１の端子io3を、切換回路６６５に接続する。また、切換回路６６５も、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６４の出力を選択して、SW回路６５５（図５５）に接続する。

さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。

即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中のノイズ除去コマンドに応じて、信号線の選択状態を、図６３に実線で示したように切り換える。

従って、信号処理回路６５６では、図６３で説明したように、そこに再入力される、１次元空間解像度創造処理によって空間解像度が向上した画像データを対象として、ノイズ除去処理が行われ、その画像データのS/Nを向上させた画像データが、端子io3から出力され、さらに、切換回路６６４および６６５（図５７）を介して、SW回路６５５（図５５）に供給される。

図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｃボタンコマンド列６４４の２番目、即ち、最後のノイズ除去コマンドに対応する信号処理であるノイズ除去処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５２を介して、合成部６０７（図４８）に供給する。

従って、合成部６０７には、１次元空間解像度創造処理によって空間解像度が向上し、かつノイズ除去処理によってS/Nが向上した画像データが供給されることになる。

次に、リモコン６１８（図４９）のＤボタンが操作され、これにより、図５４に示した２次元空間解像度創造コマンドおよびノイズ除去コマンドが配置されたＤボタンコマンド列６４４が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。

信号処理回路６５６（図５７）に供給されたＤボタンコマンド列６４４は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。

切換回路６６２は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。

さらに、切換回路６６４は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。

さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換える。

即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６２に実線で示したように切り換える。

従って、信号処理回路６５６では、図６２で説明したように、そこに入力される画像データを対象として、２次元解像度創造処理が行われ、その画像データの空間解像度を向上させた画像データが、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。

図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｄボタンコマンド列６４４の１番目の２次元空間解像度創造コマンドに対応する信号処理である２次元空間解像度創造処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５３に供給して記憶させる。さらに、SW回路６５４は、フレームメモリ６５４に記憶された画像データを、信号処理回路６５６に供給する。

従って、信号処理回路６５６（図５５）において２次元解像度創造処理が行われることにより得られた画像データは、切換回路６６５、フレームメモリ６５３、およびSW回路６５４を介して、信号処理回路６５６に再入力する。

その後、信号処理回路６５６（図５７）において、切換回路６６２は、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３も、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io2に接続する。

さらに、切換回路６６４も、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６５への入力を選択して、信号処理回路６６１の端子io3を、切換回路６６５に接続する。また、切換回路６６５も、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６４の出力を選択して、SW回路６５５（図５５）に接続する。

さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。

即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中のノイズ除去コマンドに応じて、信号線の選択状態を、図６３に実線で示したように切り換える。

従って、信号処理回路６５６では、図６３で説明したように、そこに再入力される、２次元空間解像度創造処理によって空間解像度が向上した画像データを対象として、ノイズ除去処理が行われ、その画像データのS/Nを向上させた画像データが、端子io3から出力され、さらに、切換回路６６４および６６５（図５７）を介して、SW回路６５５（図５５）に供給される。

図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｄボタンコマンド列６４４の２番目、即ち、最後のノイズ除去コマンドに対応する信号処理であるノイズ除去処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５２を介して、合成部６０７（図４８）に供給する。

従って、合成部６０７には、２次元空間解像度創造処理によって空間解像度が向上し、かつノイズ除去処理によってS/Nが向上した画像データが供給されることになる。

以上のように、LSI６０６では、コマンド列が複数のコマンドを有している場合に、そのコマンド列の複数のコマンドとしての、例えば、第１および第２のコマンドのうちの第１のコマンドに応じて、内部構造を第１のコマンドに対応する第１の信号処理を実行する状態に切り換え、第１の信号処理を実行し、その後、さらに、コマンド列の複数のコマンドのうちの第２のコマンドに応じて、内部構造を第２のコマンドに対応する第２の信号処理を実行する状態に切り換え、第２の信号処理を実行する。従って、LSI６０６によれば、単一のハードウェアで、複数の機能を、容易に実現することができる。

次に、本発明の第４実施の形態について説明する。

図６４は、本発明の第４実施の形態としてのIC７００の構成例を示している。

なお、図６４のIC７００は、例えば、図４８のテレビジョン受像機において、LSI６０６に代えて用いることができる。

IC７００は、外部（例えば、図４８のコントローラ６１３など）から供給される、１以上のコマンドからなるコマンド列を受信し、そのコマンド列の１以上のコマンドそれぞれに応じて、内部構造をリコンフィギュラブルに切り換える。

そして、コマンド列が、例えば、複数のコマンドからなる場合は、IC７００は、そのコマンド列の第１のコマンドに対応する第１の信号処理を実行し、その後、さらに、コマンド列の第２のコマンドに対応する第２の信号処理を実行する。

即ち、図６４において、クラス分類回路７１１Ａ、遅延選択回路７１２Ａ、切換回路７１３Ａ，７１４Ａ、係数出力回路７１５Ａ、または予測演算回路７１６Ａは、図５９のクラス分類回路５１１Ａ、遅延選択回路５１２Ａ、切換回路５１３Ａ，５１４Ａ、係数出力回路５１５Ａ、または予測演算回路５１６Ａとそれぞれ同様に構成される。

また、図６４において、クラス分類回路７１１Ｂ、遅延選択回路７１２Ｂ、切換回路７１３Ｂ，７１４Ｂ、係数出力回路７１５Ｂ、または予測演算回路７１６Ｂは、図５９のクラス分類回路５１１Ｂ、遅延選択回路５１２Ｂ、切換回路５１３Ｂ，５１４Ｂ、係数出力回路５１５Ｂ、または予測演算回路５１６Ｂとそれぞれ同様に構成される。

さらに、図６４において、ライン遅延回路７１７、積和演算回路７１８、または切換回路７１９も、図５９のライン遅延回路５１７、積和演算回路５１８、または切換回路５１９とそれぞれ同様に構成される。

但し、図５９のクラス分類回路５１１Ｂは、１次元クラス分類、２次元クラス分類、および３次元クラス分類を行い、切換回路５１３Ｂは、その３つのクラス分類によって得られるクラスコードのうちのいずれかを選択して、係数出力回路５１５Ｂに出力するようになっていたが、図６４では、クラス分類回路７１１Ｂは、２次元クラス分類と３次元クラス分類を行い、切換回路７１３Ｂは、その２つのクラス分類によって得られるクラスコードのうちのいずれかを選択して、係数出力回路７１５Ｂに出力するようになっている。

また、図５９の遅延選択回路５１２Ｂは、１次元予測タップ、２次元予測タップ、および３次元予測タップを構成し、切換回路５１４Ｂは、その３つの予測タップのうちのいずれかを選択して、予測演算回路５１６Ｂに供給するようになっていたが、図６４では、遅延選択回路７１２Ｂは、２次元予測タップと３次元予測タップを構成し、切換回路７１４Ｂは、その２つの予測タップのうちのいずれかを選択して、予測演算回路７１６Ｂに供給するようになっている。

受信部７２０は、外部（例えば、図４８のコントローラ６１３など）から供給される、１以上のコマンドからなるコマンド列を受信し、IC７００を構成するブロックのうちの必要なものに供給する。

フレームメモリ７２１には、IC７００に入力される画像データが供給される。フレームメモリ７２１は、そこに供給される画像データを記憶することにより、例えば、１フレーム分だけ遅延し、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給する。

なお、IC７００に入力される画像データ（以下、適宜、入力画像データという）は、フレームメモリ７２１の他、クラス分類回路７１１Ａ、遅延選択回路７１２Ａ、および切換回路７２４にも供給されるようになっている。

ブロック化回路７２２には、切換回路７２４から画像データが供給されるようになっている。ブロック化回路７２２は、そこに供給される画像データから、所定の点（画素）を中心（重心）とする長方形状のブロックを切り出し（抽出し）、切換回路７２６に出力する。

判定回路７２３には、予測演算回路７１６Ｂから、式（１）の予測演算を行うことにより得られる画像データが供給されるようになっている。判定回路７２３は、予測演算回路７１６Ｂから供給される画像データについて、後述する判定処理を行い、その判定処理の結果に応じて、予測演算回路７１６Ｂからの画像データを、切換回路７２７に出力し、またはIC７００における処理結果として、外部に出力する。

切換回路７２４には、入力画像データと、切換回路７２５が出力する画像データとが供給されるようになっている。切換回路７２４は、受信部７２０から供給されるコマンド列に応じて、入力画像データ、または切換回路７２５が出力する画像データを選択し、ブロック化回路７２２に出力する。

また、切換回路７２４は、受信部７２０から供給されるコマンド列に応じて、そこに供給される入力画像データを、切換回路７２５に出力する。

切換回路７２５には、上述したように、切換回路７２４が出力する画像データが供給される他、切換回路７１９が出力する画像データも供給されるようになっている。切換回路７２５は、受信部７２０から供給されるコマンド列に応じて、切換回路７２４が出力する画像データを、切換回路７２６に供給する。

また、切換回路７２５は、受信部７２０から供給されるコマンド列に応じて、切換回路７２４または７２６のうちのいずれかを選択し、選択した方に対して、切換回路７１９から供給される画像データを出力する。

切換回路７２６は、受信部７２０から供給されるコマンド列に応じて、ブロック化回路７２２から供給される画像データ、または切換回路７２５から供給される画像データのうちのいずれかを選択し、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給する。

切換回路７２７には、ライン遅延回路７１７が出力する画像データと、判定回路７２３が出力する画像データとが供給されるようになっている。切換回路７２７は、受信部７２０から供給されるコマンド列に応じて、ライン遅延回路７１７からの画像データ、または判定回路７２３からの画像データのうちのいずれかを選択し、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに出力する。

次に、図６５は、図６４の受信部７２０が外部から受信し、IC７００の必要なブロックに供給するコマンド列を構成するコマンドの例を示している。

第４実施の形態では、コマンドとして、例えば、図６５上側に示すような、「Kaizodo 1dimentional」、「Kaizodo 2dimentional」、「Kaizodo 3dimentional」、「Zoom ver1」、「Zoom ver2」などが用意されている。

コマンド「Kaizodo 1dimentional」、「Kaizodo 2dimentional」、または「Kaizodo 3dimentional」は、それぞれ、１次元空間解像度創造処理、２次元空間解像度創造処理、または３次元空間解像度創造処理、即ち、１次元予測タップ、２次元予測タップ、または３次元予測タップを用いた空間解像度創造処理を要求するコマンドである。

また、コマンド「Zoom ver1」は、ある一定倍率の拡大を行うリサイズ処理を繰り返し行う（再帰的に行う）ことで、所望の倍率に拡大した画像データを得る拡大処理を要求するコマンドである。さらに、コマンド「Zoom ver2」は、所望の倍率の拡大を行うリサイズ処理を１回だけ行うことで、その所望の倍率に拡大した画像データを得る拡大処理を要求するコマンドである。

ここで、コマンド「Zoom ver1」に対応する拡大処理を、以下、適宜、再帰的拡大処理という。また、コマンド「Zoom ver2」に対応する拡大処理を、以下、適宜、１回拡大処理という。

受信部７２０は、以上のようなコマンドの１以上からなるコマンド列を、外部から受信し、IC７００の必要なブロックに供給する。

即ち、受信部７２０は、例えば、図６５下側の左に示すように、１つのコマンド「Kaizodo 2dimentional」からなるコマンド列を、外部から受信し、IC７００の必要なブロックに供給する。

また、受信部７２０は、例えば、図６５下側の右に示すように、２つのコマンド「Kaizodo 2dimentional」と「Zoom ver1」からなるコマンド列を、外部から受信し、IC７００の必要なブロックに供給する。

次に、図６６は、図６４の係数出力部７１５Ａの構成例を示している。

図６６では、係数出力部７１５Ａは、係数メモリ群７３１と選択部７３２で構成されている。

係数メモリ群７３１は、複数の係数メモリで構成され、各係数メモリには、あらかじめ行われた学習により求められた１次元空間解像度創造処理用のタップ係数、２次元空間解像度創造処理用のタップ係数、３次元空間解像度創造処理用のタップ係数、画像のサイズを各種の倍率にリサイズするリサイズ処理用のタップ係数が記憶されている。

そして、係数メモリ群７３１の各係数メモリには、図６４のクラス分類回路７１１Ａから切換回路７１３Ａを介してクラスコードが供給される。各係数メモリは、そこに供給されるクラスコードに対応するクラスのタップ係数を読み出し、選択部７３２に出力する。

選択部７３２には、上述したように、係数メモリ群７３１の各係数メモリから読み出されたタップ係数が供給される他、受信部７２０からのコマンド列も供給される。選択部７３２は、受信部２１１から供給されるコマンド列に応じて、係数メモリ群７３１の各係数メモリから供給されるタップ係数のうちのいずれかを選択し、予測演算回路７１６Ａに供給する。

なお、図６４の係数出力部７１５Ｂも、図６６の係数出力回路７１５Ａと同様に構成される。但し、係数出力部７１５Ａと７１５Ｂを構成する係数メモリ群７３１の係数メモリは、同一である必要はない。即ち、係数出力部７１５Ａと７１５Ｂには、一部異なる、またはすべて異なる種類のタップ係数を記憶させておくことができる。

次に、図６７のフローチャートを参照して、外部から、１つのコマンド「Kaizodo 1dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７０１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７０２に進む。

ステップＳ７０２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７０３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 1dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 1dimentional」に対応する１次元空間解像度創造処理を行うように切り換える。

図６８は、信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えたIC７００を示している。

図６８において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 1dimentional」に応じて、信号線の選択状態を、図６８に実線で示すように切り換え、これにより、信号処理として、１次元空間解像度創造処理が行われる。

なお、図６８において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図６８のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る１次元空間解像度創造処理が行われる。

以下、図６７のフローチャートのステップＳ７０３以降の処理は、図６８に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７０３では、クラス分類適応処理の第２の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７０４に進む。

ステップＳ７０４では、クラス分類回路７１１Ａは、クラス分類適応処理の第１の画像データとしての入力画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、１次元クラス分類を行う。そして、クラス分類回路７１１Ａは、１次元クラス分類によって得られるクラスコードを、切換回路７１３Ａを介して、係数出力回路７１５Ａに供給し、ステップＳ７０４からＳ７０５に進む。

係数出力回路７１５Ａは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Kaizodo 1dimentional」に応じて、図６６で説明した複数種類のタップ係数のうちの、１次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路７１５Ａは、ステップＳ７０５において、その選択しているタップ係数のうちの、クラス分類回路７１１Ａから切換回路７１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路７１６Ａに供給して、ステップＳ７０６に進む。

ステップＳ７０６では、遅延選択回路７１２Ａは、クラス分類適応処理の第１の画像データとしての入力画像データから、注目画素についての１次元予測タップを選択し、切換回路７１４Ａを介して、予測演算回路７１６Ａに供給して、ステップＳ７０７に進む。

ステップＳ７０７では、予測演算回路７１６Ａは、遅延選択回路７１２Ａから切換回路７１４Ａを介して供給される１次元予測タップと、係数出力回路７１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（１次元フィルタ演算）を行い、これにより、第１の画像データよりも空間解像度を向上させた第２の画像データの注目画素（の画素値）を得て出力する。

従って、この場合、IC７００は、１次元のタップ（予測タップ）を対象としてフィルタリングを行う１次元ディジタルフィルタとして機能することになる。

予測演算回路７１６Ａが出力する画像データは、切換回路７１９を介して、IC７００の外部に出力される。

そして、ステップＳ７０８に進み、注目画素のフレーム（以下、適宜、注目フレームという）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７０８において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７０３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ７０８において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。

なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７０３乃至Ｓ７０８の処理が繰り返される。

次に、図６９のフローチャートを参照して、外部から、１つのコマンド「Kaizodo 2dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７１１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７１２に進む。

ステップＳ７１２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７１３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 2dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理を行うように切り換える。

図７０は、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えたIC７００を示している。

図７０において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 2dimentional」に応じて、信号線の選択状態を、図７０に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理が行われる。

なお、図７０において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図７０のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理が行われる。

以下、図６９のフローチャートのステップＳ７１３以降の処理は、図７０に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７１３では、クラス分類適応処理の第２の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７１４に進む。

ステップＳ７１４では、クラス分類回路７１１Ａは、クラス分類適応処理の第１の画像データとしての入力画像データと、ライン遅延回路７１７がその入力画像データを遅延して出力する画像データとから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路７１１Ａは、２次元クラス分類によって得られるクラスコードを、切換回路７１３Ａを介して、係数出力回路７１５Ａに供給し、ステップＳ７１４からＳ７１５に進む。

係数出力回路７１５Ａは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Kaizodo 2dimentional」に応じて、図６６で説明した複数種類のタップ係数のうちの、２次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路７１５Ａは、ステップＳ７１５において、その選択しているタップ係数のうちの、クラス分類回路７１１Ａから切換回路７１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路７１６Ａに供給して、ステップＳ７１６に進む。

ステップＳ７１６では、遅延選択回路７１２Ａは、クラス分類適応処理の第１の画像データとしての入力画像データと、ライン遅延回路７１７がその入力画像データを遅延して出力する画像データとから、注目画素についての２次元予測タップを選択し、切換回路７１４Ａを介して、予測演算回路７１６Ａに供給して、ステップＳ７１７に進む。

ステップＳ７１７では、予測演算回路７１６Ａは、遅延選択回路７１２Ａから切換回路７１４Ａを介して供給される２次元予測タップと、係数出力回路７１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、第１の画像データよりも空間解像度を向上させた第２の画像データの注目画素（の画素値）を得て出力する。

予測演算回路７１６Ａが出力する画像データは、切換回路７１９を介して、IC７００の外部に出力される。

従って、この場合、IC７００は、２次元のタップ（予測タップ）を対象としてフィルタリングを行う２次元ディジタルフィルタとして機能することになる。

そして、ステップＳ７１８に進み、注目画素のフレーム（注目フレーム）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７１８において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７１３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ７１８において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。

なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７１３乃至Ｓ７１８の処理が繰り返される。

次に、図７１のフローチャートを参照して、外部から、１つのコマンド「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７２１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７２２に進む。

ステップＳ７２２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７２３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 3dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 3dimentional」に対応する３次元空間解像度創造処理を行うように切り換える。

図７２は、信号線の選択状態を、３次元空間解像度創造処理を行うように切り換えたIC７００を示している。

図７２において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 3dimentional」に応じて、信号線の選択状態を、図７２に実線で示すように切り換え、これにより、信号処理として、３次元空間解像度創造処理が行われる。

なお、図７２において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図７２のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る３次元空間解像度創造処理が行われる。

以下、図７１のフローチャートのステップＳ７２３以降の処理は、図７２に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７２３では、クラス分類適応処理の第２の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７２４に進む。

ステップＳ７２４では、クラス分類回路７１１Ｂは、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、３次元クラス分類を行う。

ここで、図７２では、クラス分類回路７１１Ｂには、クラス分類適応処理の第１の画像データとしての入力画像データが、切換回路７２４，７２５、および７２６を介して供給される。さらに、クラス分類回路７１１Ｂには、入力画像データがライン遅延回路７１７で１乃至数ライン分だけ遅延され、切換回路７２７を介して供給される。また、クラス分類回路７１１Ｂには、入力画像データがフレームメモリ７２１で１フレーム分だけ遅延されて供給される。

クラス分類回路７１１Ｂは、これらの画像データから、クラスタップを選択し、そのクラスタップに基づいて、３次元クラス分類を行う。

そして、クラス分類回路７１１Ｂは、３次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給し、ステップＳ７２４からＳ７２５に進む。

係数出力回路７１５Ｂは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Kaizodo 3dimentional」に応じて、図６６で説明した複数種類のタップ係数のうちの、３次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路７１５Ｂは、ステップＳ７２５において、その選択しているタップ係数のうちの、クラス分類回路７１１Ｂから切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７２６に進む。

ステップＳ７２６では、遅延選択回路７１２Ｂは、注目画素についての３次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７２７に進む。

ここで、図７２では、遅延選択回路７１２Ｂには、クラス分類適応処理の第１の画像データとしての入力画像データが、切換回路７２４，７２５、および７２６を介して供給される。さらに、遅延選択回路７１２Ｂには、入力画像データがライン遅延回路７１７で１乃至数ライン分だけ遅延され、切換回路７２７を介して供給される。また、遅延選択回路７１２Ｂには、入力画像データがフレームメモリ７２１で１フレーム分だけ遅延されて供給される。

遅延選択回路７１２Ｂは、これらの画像データから、３次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給する。

ステップＳ７２７では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される３次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（３次元フィルタ演算）を行い、これにより、第１の画像データよりも空間解像度を向上させた第２の画像データの注目画素（の画素値）を得て出力する。

予測演算回路７１６Ｂが出力する画像データは、積和演算回路７１８および切換回路７１９を介して（バイパスして）、IC７００の外部に出力される。

従って、この場合、IC７００は、３次元のタップ（予測タップ）を対象としてフィルタリングを行う３次元ディジタルフィルタとして機能することになる。

そして、ステップＳ７２８に進み、注目画素のフレーム（注目フレーム）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７２８において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７２３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ７２８において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。

なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７２３乃至Ｓ７２８の処理が繰り返される。

次に、図７３のフローチャートを参照して、外部から、２つのコマンド「Kaizodo 2dimentional」および「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７３１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７３２に進む。

ステップＳ７３２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７３３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」と「Kaizodo 3dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理を行うとともに、コマンド「Kaizodo 3dimentional」に対応する３次元空間解像度創造処理を行い、２次元空間解像度創造処理の結果得られる画像データと、３次元空間解像度創造処理の結果得られる画像データとを、動きに応じた重みで重み付け加算する処理（以下、適宜、適応的空間解像度創造処理という）を行うように切り換える。

図７４は、信号線の選択状態を、適応的空間解像度創造処理を行うように切り換えたIC７００を示している。

図７４において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」と「Kaizodo 3dimentional」に応じて、信号線の選択状態を、図７４に実線で示すように切り換え、これにより、信号処理として、適応的空間解像度創造処理が行われる。

なお、図７４において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図７４のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理と３次元空間解像度創造処理とが同時に行われる。そして、２次元空間解像度創造処理の結果得られる画像データと、３次元空間解像度創造処理の結果得られる画像データとが、画像の動きに応じた重みで重み付け加算される。

以下、図７３のフローチャートのステップＳ７３３以降の処理は、図７４に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７３３では、注目画素が選択され、ステップＳ７３４に進む。

ステップＳ７３４では、注目画素について、図６９および図７０で説明した２次元空間解像度創造処理と、図７１および図７２で説明した３次元空間解像度創造処理が行われる。そして、２次元空間解像度創造処理により得られる注目画素の画素値が、予測演算回路７１６Ａから積和演算回路７１８に供給されるとともに、３次元空間解像度創造処理により得られる注目画素の画素値が、予測演算回路７１６Ｂから積和演算回路７１８に供給される。

また、ステップＳ７３４では、クラス分類回路７１１Ｂが、第３実施の形態で説明した図５９のクラス分類回路５１１Ｂにおける場合と同様にして、入力画像データの動きを検出し、その動きを表す動き情報Ｋを、積和演算回路７１８に供給する。

その後、ステップＳ７３４からＳ７３５に進み、積和演算回路７１８は、予測演算回路７１６Ａからの２次元空間解像度創造処理によって得られた注目画素の画素値と、予測演算回路７１６Ｂからの３次元空間解像度創造処理によって得られた注目画素の画素値との重み付け加算を、クラス分類回路７１１Ｂから供給される、注目画素に対応する入力画像データの画素の動き情報Ｋを重み係数として行う。

即ち、２次元空間解像度創造処理または３次元空間解像度創造処理によって得られた画素値を、それぞれP2またはP3とするとともに、動き情報Ｋが０乃至１の範囲の値をとするものとすると、積和演算回路７１８は、式P=Ｋ×P2＋（１−Ｋ）×P3にしたがって、適応的空間解像度創造処理の結果としての画素値（注目画素の画素値）Pを求める。

積和演算回路７１８で求められた画素値は、切換回路７１９を介して、IC７００の外部に出力される。

そして、ステップＳ７３５からＳ７３６に進み、注目画素のフレーム（注目フレーム）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７３６において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７３３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ７３６において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。

なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７３３乃至Ｓ７３６の処理が繰り返される。

次に、図７５のフローチャートを参照して、外部から、１つのコマンド「Zoom ver1」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７４１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７４２に進む。

ステップＳ７４２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７４３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver1」に応じて、信号線の選択状態を、コマンド「Zoom ver1」に対応する再帰的拡大処理を行うように切り換える。

図７６は、信号線の選択状態を、再帰的拡大処理を行うように切り換えたIC７００を示している。

図７６において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver1」に応じて、信号線の選択状態を、図７６に実線で示すように切り換え、これにより、信号処理として、再帰的拡大処理が行われる。

なお、図７６において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図７６のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その一部のブロックを、ユーザが要求する所望の（要求倍率）で倍率にリサイズした、クラス分類適応処理の第２の画像データとしてのサイズが拡大された画像データを得る再帰的拡大処理が行われる。

なお、所望の倍率は、例えば、コマンド「Zoom ver1」のパラメータｐ１として、コマンド列に含まれるものとする。さらに、コマンド列には、入力画像データを拡大するときに、その拡大の中心となる位置も、コマンド「Zoom ver1」のパラメータｐ２として含まれるものとする。

以下、図７５のフローチャートのステップＳ７４３以降の処理は、図７６に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７４３では、ブロック化回路７２２が、切換回路７２４を介して供給される入力画像データの拡大の対象となるブロックを抽出する。

即ち、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver1」のパラメータｐ１が表す倍率と、入力画像データのサイズとから、パラメータｐ１が表す倍率だけ拡大することによって、入力画像データのサイズとなるブロックのサイズ（以下、適宜、抽出サイズという）を認識する。さらに、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver1」のパラメータｐ２が表す位置を中心（重心）として、抽出サイズのブロックの画像データを、入力画像データから抽出する。なお、ここでは、例えば、ブロックの水平および垂直方向の両方を、パラメータｐ１が表す倍率で拡大するものとする。

抽出サイズのブロックの画像データは、ブロック化回路７２２から、切換回路７２６を介して、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給される。

その後、ステップＳ７４３からＳ７４４に進み、抽出サイズのブロックの画像データを拡大することにより得られる、クラス分類適応処理の第２の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７４５に進む。

ステップＳ７４５では、クラス分類回路７１１Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。

そして、クラス分類回路７１１Ｂは、２次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給し、ステップＳ７４５からＳ７４６に進む。

係数出力回路７１５Ｂは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Zoom ver1」に応じて、図６６で説明した複数種類のタップ係数のうちの、リサイズ処理用のタップ係数を選択している。

なお、係数出力回路７１５Ｂが、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Zoom ver1」に応じて選択するリサイズ処理用のタップ係数は、画像を、あらかじめ定められた倍率（例えば、１．１倍などの比較的低い倍率）に拡大するものである。従って、係数出力回路７１５Ｂが、コマンド「Zoom ver1」に応じて選択するリサイズ処理用のタップ係数は、画像を、パラメータｐ１が表す倍率に拡大するものであるとは限らない。

但し、係数出力回路７１５Ｂにおいては、複数の倍率それぞれの拡大を行うリサイズ処理用の複数セットのタップ係数を用意しておき、その複数セットのタップ係数の中から、コマンド「Zoom ver1」に応じて、１セットのタップ係数（例えば、パラメータｐ１が表す倍率に最も近い倍率の拡大を行うものなど）を選択するようにしてもよい。

係数出力回路７１５Ｂは、ステップＳ７４６において、クラス分類回路７１１Ｂから切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver1」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７４７に進む。

ステップＳ７４７では、遅延選択回路７１２Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についての２次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７４８に進む。

ステップＳ７４８では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される２次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、拡大画像データの注目画素（の画素値）を得て出力する。

予測演算回路７１６Ｂが出力する拡大画像データは、判定回路７２３に供給される。

そして、ステップＳ７４９に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７４９において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７４４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ７４９において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、ステップＳ７５０に進み、判定回路７２３は、予測演算回路７１６Ｂから供給された拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっているかどうかを判定する。

ステップＳ７５０において、予測演算回路７１６Ｂからの拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっていないと判定された場合、即ち、予測演算回路７１６Ｂからの拡大画像データのサイズが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズよりも小さい場合、ステップＳ７５１に進み、判定回路７２３は、予測演算回路７１６Ｂからの拡大画像データを、切換回路７２７を介して、クラス分類回路７１１Ｂおよび選択遅延回路７１２Ｂにフィードバック（供給）し、ステップＳ７４４に戻る。

そして、判定回路７２３から、クラス分類回路７１１Ｂおよび選択遅延回路７１２Ｂに対してフィードバックされた拡大画像データ（以下、適宜、フィードバック画像データという）を対象として、ステップＳ７４４以降の処理が繰り返される。

即ち、この場合、ステップＳ７４４において、フィードバック画像データを、パラメータｐ１が表す倍率だけ拡大することにより得られる、クラス分類適応処理の第２の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７４５に進む。

ステップＳ７４５では、クラス分類回路７１１Ｂは、判定回路７２３からのフィードバック画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行い、その２次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給して、ステップＳ７４５からＳ７４６に進む。

係数出力回路７１５Ｂは、ステップＳ７４６において、クラス分類回路７１１Ｂから、切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver1」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７４７に進む。

ステップＳ７４７では、遅延選択回路７１２Ｂは、判定回路７２３からのフィードバック画像データから、注目画素についての２次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７４８に進む。

ステップＳ７４８では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される２次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、拡大画像データの注目画素（の画素値）を得て、判定回路７２３に出力する。

そして、ステップＳ７４９に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７４９において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７４４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ７４９において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、ステップＳ７５０に進み、上述したように、判定回路７２３において、予測演算回路７１６Ｂから供給された拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっているかどうかが判定される。

そして、ステップＳ７５０において、予測演算回路７１６Ｂからの拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっていると判定された場合、判定回路７２３は、予測演算回路７１６Ｂからの拡大画像データを、ＩＣ７００の外部に出力し、処理を終了する。

従って、この場合、IC７００は、画像の拡大を行う拡大装置として機能することになる。

なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７４３乃至Ｓ７５１の処理が繰り返される。

次に、図７７のフローチャートを参照して、外部から、１つのコマンド「Zoom ver2」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７６１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７６２に進む。

ステップＳ７６２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７６３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver2」に応じて、信号線の選択状態を、コマンド「Zoom ver2」に対応する１回拡大処理を行うように切り換える。

図７８は、信号線の選択状態を、１回拡大処理を行うように切り換えたIC７００を示している。

図７８において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver2」に応じて、信号線の選択状態を、図７８に実線で示すように切り換え、これにより、信号処理として、１回拡大処理を行う。

なお、図７８において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図７８のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その一部のブロックを、ユーザが要求する所望の倍率（要求倍率）でリサイズした、クラス分類適応処理の第２の画像データとしてのサイズが拡大された画像データを得る１回拡大処理が行われる。

なお、所望の倍率は、例えば、コマンド「Zoom ver2」のパラメータｐ１として、コマンド列に含まれるものとする。さらに、コマンド列には、入力画像データを拡大するときに、その拡大の中心となる位置も、コマンド「Zoom ver2」のパラメータｐ２として含まれるものとする。

以下、図７７のフローチャートのステップＳ７６３以降の処理は、図７８に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７６３では、ブロック化回路７２２が、図７５のステップＳ７４３における場合と同様に、切換回路７２４を介して供給される入力画像データの拡大の対象となるブロックを抽出する。

即ち、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver2」のパラメータｐ１が表す倍率と、入力画像データのサイズとから、パラメータｐ１が表す倍率だけ拡大することによって、入力画像データのサイズとなるブロックのサイズ（抽出サイズ）を認識する。さらに、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver2」のパラメータｐ２が表す位置を中心（重心）として、抽出サイズのブロックの画像データを、入力画像データから抽出する。

抽出サイズのブロックの画像データは、ブロック化回路７２２から、切換回路７２６を介して、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給される。

その後、ステップＳ７６３からＳ７６４に進み、抽出サイズのブロックの画像データを拡大することにより得られる、クラス分類適応処理の第２の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７６５に進む。

ステップＳ７６５では、クラス分類回路７１１Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。

そして、クラス分類回路７１１Ｂは、２次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給し、ステップＳ７６５からＳ７６６に進む。

係数出力回路７１５Ｂは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Zoom ver2」に応じて、図６６で説明した複数種類のタップ係数のうちの、画像をパラメータｐ１が表す倍率に拡大するリサイズ処理用のタップ係数を選択している。

係数出力回路７１５Ｂは、ステップＳ７６６において、クラス分類回路７１１Ｂから、切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver2」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７６７に進む。

ステップＳ７６７では、遅延選択回路７１２Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についての２次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７６８に進む。

ステップＳ７６８では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される２次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、抽出サイズのブロックの画像データをパラメータｐ１が表す倍率で拡大した拡大画像データの注目画素（の画素値）を得て出力する。

予測演算回路７１６Ｂが出力する拡大画像データは、判定回路７２３を介して、IC７００の外部に出力される。

ステップＳ７６９に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７６９において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７６４に戻り、以下、同様の処理が繰り返される。

また、ステップＳ７６９において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。

従って、この場合も、IC７００は、画像の拡大を行う拡大装置として機能することになる。

なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７６４乃至Ｓ７６９の処理が繰り返される。

次に、図７９のフローチャートを参照して、外部から、２つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７８１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７８２に進む。

ステップＳ７８２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７８３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理と、コマンド「Zoom ver1」に対応する再帰的拡大処理とを行うように切り換える。

図８０は、信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行うように切り換えたIC７００を示している。

図８０において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」に応じて、信号線の選択状態を、図８０に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行う。

なお、図８０において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図８０のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理が行われる。さらに、図８０のIC７００では、その高解像度の画像データを、クラス分類適応処理の第１の画像データとして、そのサイズを拡大した、クラス分類適応処理の第２の画像データとしての拡大画像データを得る再帰的拡大処理が行われる。

以下、図７９のフローチャートのステップＳ７８３以降の処理は、図８０に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７８３では、図６９のステップＳ７１３乃至Ｓ７１８で説明した２次元空間解像度創造処理が行われる。この２次元空間解像度創造処理によって得られる高解像度の画像データは、予測演算回路７１６Ａから、切換回路７１９，７２５、および７２４を介して、ブロック化回路７２２に供給される。

そして、ステップＳ７８４に進み、ブロック化回路７２２に供給された高解像度の画像データを対象として、図７５のステップＳ７４３乃至Ｓ７５１で説明した再帰的拡大処理が行われる。そして、この再帰的拡大処理によって得られる拡大画像データは、判定回路７２３から、IC７００の外部に出力される。

この場合、IC７００は、２次元のタップ（予測タップ）を対象としてフィルタリングを行う２次元ディジタルフィルタと、画像の拡大を行う拡大装置として機能することになる。

なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７８３およびＳ７８４の処理が繰り返される。

次に、図８１のフローチャートを参照して、外部から、２つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。

まず、ステップＳ７９１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７９２に進む。

ステップＳ７９２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７９３に進む。

即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理と、コマンド「Zoom ver2」に対応する１回拡大処理とを行うように切り換える。

図８２は、信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、１回拡大処理を行うように切り換えたIC７００を示している。

図８２において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」に応じて、信号線の選択状態を、図８２に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、１回拡大処理を行う。

なお、図８２において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。

図８２のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理が行われる。さらに、図８２のIC７００では、その高解像度の画像データを、クラス分類適応処理の第１の画像データとして、そのサイズを拡大した、クラス分類適応処理の第２の画像データとしての拡大画像データを得る１回拡大処理が行われる。

以下、図８１のフローチャートのステップＳ７９３以降の処理は、図８２に示したように内部構造が切り換えられたIC７００において行われる。

即ち、ステップＳ７９３では、図６９のステップＳ７１３乃至Ｓ７１８で説明した２次元空間解像度創造処理が行われる。この２次元空間解像度創造処理によって得られる高解像度の画像データは、予測演算回路７１６Ａから、切換回路７１９，７２５、および７２４を介して、ブロック化回路７２２に供給される。

そして、ステップＳ７９４に進み、ブロック化回路７２２に供給された高解像度の画像データを対象として、図７７のステップＳ７４３乃至Ｓ７５１で説明した１回拡大処理が行われる。そして、この１回拡大処理によって得られる拡大画像データは、判定回路７２３から、IC７００の外部に出力される。

この場合も、IC７００は、２次元のタップ（予測タップ）を対象としてフィルタリングを行う２次元ディジタルフィルタと、画像の拡大を行う拡大装置として機能することになる。

なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７９３およびＳ７９４の処理が繰り返される。

以上のように、IC７００では、コマンド列が複数のコマンドとしての、例えば、第１と第２のコマンドを有している場合に、そのコマンド列の複数のコマンドに応じて、内部構造を、第１のコマンドに対応する第１の信号処理および第２のコマンドに対応する第２の信号処理を実行する状態に切り換え、第１の信号処理を実行し、その後、さらに、第２の信号処理を実行する。従って、IC７００によれば、単一のハードウェアで、複数の機能を、容易に実現することができる。

なお、本明細書において、フローチャートを参照して説明した各ステップの処理は、必ずしもフローチャートに記載された順序に沿って時系列に行う必要はなく、また、可能であれば、並列的に行ってもよい。

また、本実施の形態では、画像データを対象として、信号処理を行うこととしたが、信号処理の対象は、画像データに限られるものではなく、例えば、音声データなどであっても良い。

クラス分類適応処理による画像変換処理を行う画像変換装置１の構成例を示すブロック図である。 画像変換装置１による画像変換処理を説明するフローチャートである。 タップ係数を学習する学習装置２１の構成例を示すブロック図である。 学習装置２１の学習部３６の構成例を示すブロック図である。 各種の画像変換処理を説明するための図である。 学習装置２１による学習処理を説明するフローチャートである。 クラス分類適応処理による画像変換処理を行う画像変換装置５１の構成例を示すブロック図である。 画像変換装置５１の係数出力部５５の構成例を示すブロック図である。 係数種データを学習する学習装置７１の構成例を示すブロック図である。 学習装置７１の学習部７６の構成例を示すブロック図である。 学習装置７１による学習処理を説明するフローチャートである。 係数種データを学習する学習装置１０１の構成例を示すブロック図である。 学習装置１０１の学習部１０６の構成例を示すブロック図である。 本発明を適用したAVシステムの一実施の形態の構成例を示すブロック図である。 AVシステムの本体２００の動作を説明するフローチャートである。 コマンド列の例を示す図である。 AVシステムの本体２００の動作を説明するフローチャートである。 コマンド列の例を示す図である。 AVシステムの本体２００の動作を説明するフローチャートである。 コマンド列の例を示す図である。 AVシステムの本体２００の動作を説明するフローチャートである。 コマンド列の例を示す図である。 AVシステムの本体２００の動作を説明するフローチャートである。 コマンド列の例を示す図である。 AVシステムの本体２００の動作を説明するフローチャートである。 コマンド列の例を示す図である。 R-IC２１２の構成例を示すブロック図である。 係数出力部２５５の構成例を示すブロック図である。 R-IC２１２の処理を説明するフローチャートである。 R-IC２１２の他の構成例を示すブロック図である。 係数出力部２７５の構成例を示すブロック図である。 本発明を適用したテレビジョン受像機３０１の一実施の形態の構成例を示すブロック図である。 システムコントローラ３１８によるチューナ部３１１の制御を説明するための図である。 通常画面モードの画面表示と、マルチ画面モードの画面表示とを説明するための図である。 信号処理部３１４の構成例を示すブロック図である。 コマンド列生成部３３０が生成するコマンド列を示す図である。 信号処理チップ３３１に対して入出力される画像データを説明する図である。 信号処理チップ３３２に対して入出力される画像データを説明する図である。 信号処理チップ３３１に対して入出力される画像データを説明する図である。 信号処理チップ３３２に対して入出力される画像データを説明する図である。 信号処理部３１４の処理を説明するフローチャートである。 信号処理チップ３３４の構成例を示すブロック図である。 信号処理チップ３３４の処理を説明するフローチャートである。 信号処理チップ３３１の構成例を示すブロック図である。 信号処理チップ３３１の処理を説明するフローチャートである。 信号処理チップ３３２の構成例を示すブロック図である。 信号処理チップ３３２の処理を説明するフローチャートである。 本発明を適用したテレビジョン受像機の一実施の形態の構成例を示すブロック図である。 リモコン６１８の外観構成例を示す平面図である。 リモコン６１８の電気的構成例を示すブロック図である。 コントローラ６１３の処理を説明するフローチャートである。 コントローラ６１３が生成するコマンド列のフォーマットを示す図である。 コントローラ６１３の処理を説明するフローチャートである。 コントローラ６１３が機能ボタン６２１Ｄの操作に応じて生成するコマンド列の例を示す図である。 LSI６０６の構成例を示すブロック図である。 LSI６０６の処理を説明するフローチャートである。 信号処理回路６５６の構成例を示すブロック図である。 信号処理回路６６１の構成例を示すブロック図である。 信号処理回路６６１の他の構成例を示すブロック図である。 クラス分類回路５１１Ａ乃至予測演算回路５１６Ａと、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂとで行われるクラス分類適応処理としての画像変換処理を説明するフローチャートである。 信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む信号処理回路６５６の内部構造を示すブロック図である。 信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む信号処理回路６５６の内部構造を示すブロック図である。 信号線の選択状態を、ノイズ除去処理を行うように切り換えた信号処理回路６６１を含む信号処理回路６５６の内部構造を示すブロック図である。 本発明を適用したIC７００の一実施の形態の構成例を示すブロック図である。 図６４の受信部７２０が外部から受信するコマンド列を説明する図である。 係数出力回路７１５Ａの構成例を示すブロック図である。 コマンド「Kaizodo 1dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。 コマンド「Kaizodo 2dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。 コマンド「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、３次元空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。 コマンド「Kaizodo 2dimentional」および「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、適応的空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。 コマンド「Zoom ver1」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、再帰的拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。 コマンド「Zoom ver2」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、１回拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。 コマンド「Kaizodo 2dimentional」および「Zoom ver1」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。 コマンド「Kaizodo 2dimentional」および「Zoom ver2」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。 信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、１回拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。

符号の説明

２００ 本体， ２０１ リモコン， ２０１Ａ 操作部， ２０１Ｂ 送信部， ２０２ 制御装置， ２０２Ａ 送受信部， ２０２Ｂ 制御部， ２０３ DVDレコーダ部， ２０４ HDDレコーダ部， ２０５ テレビジョン受像機部， ２１１ 受信部， ２１２ R-IC， ２１３ 記録部， ２１４ DVD， ２１５ 再生部， ２２１ 受信部， ２２２ R-IC， ２２３ 記録部， ２２４ HDD， ２２５ 再生部， ２３１ 受信部， ２３２ R-IC， ２３３ ディスプレイ， ２５１ 注目画素選択部， ２５２，２５３ タップ選択部， ２５４ クラス分類部， ２５５ 係数出力部， ２５６ 予測演算部， ２６１₁乃至２６１₄ 係数メモリ， ２６２ 選択部， ２７５ 係数出力部， ２８１ 係数生成部， ２８２ 係数種出力部， ２８３ パラメータメモリ， ２８４ 係数メモリ， ２９１₁乃至２９１₄ 係数種メモリ， ２９２ 選択部， ３０１ テレビジョン受像機， ３０２ アンテナ， ３０３ リモコン， ３１１ チューナ部， ３１２ 増幅回路， ３１３ スピーカ， ３１４乃至３１６ 信号処理部， ３１７ ディスプレイ， ３１８ コントローラ， ３１９ リモコン受信部， ３３０ コマンド列生成部， ３３１，３３２ 信号処理チップ， ３３３ メモリ部， ３３４ 信号処理チップ， ３４０ 受信部， ３４１ フレームメモリ， ３４２ 遅延回路， ３４３ セレクタ， ３４４ 動き検出回路， ３４５ 選択部， ３５１ 注目画素選択部， ３５２，３５３ タップ選択部， ３５４ クラス分類部， ３５５ 係数出力部， ３５６ 予測演算部， ３５７ 受信部， ３５８ 動き判定部， ３６１₁，３６１₂ 係数メモリ， ３６２ 選択部， ３７１ 注目画素選択部， ３７２，３７３ タップ選択部， ３７４ クラス分類部， ３７５ 係数出力部， ３７６ 予測演算部， ３７７ 受信部， ３７８，３７９ タップ決定部， ３８１₁，３８１₂ 係数メモリ， ３８２ 選択部， ４１１Ａ，４１１Ｂ 演算回路群， ４１２Ａ，４１２Ｂ メモリ， ４１３Ａ，４１３Ｂ 積和演算回路群， ４１４Ａ，４１４Ｂ アダー， ４１５Ａ，４１５Ｂ 乗算器， ４１６Ａ，４１５Ｂ レジスタ群， ４２１Ａ乃至４２３Ａ，４２１Ｂ乃至４２３Ｂ，４２４ 切換回路， ５１１Ａ，５１１Ｂ クラス分類回路， ５１２Ａ，５１２Ｂ 遅延選択回路， ５１３Ａ，５１３Ｂ，５１４Ａ，５１４Ｂ 切換回路， ５１５Ａ，５１５Ｂ 係数出力回路， ５１６Ａ，５１６Ｂ 予測演算回路， ５１７ ライン遅延回路， ５１８ 積和演算回路， ５１９ 切換回路， ５２１Ａ，５２１Ｂ 走査線変換回路， ５２３ フレームメモリ， ６０１ チューナ， ６０２ 復調部， ６０３ エラー訂正部， ６０４ デマルチプレクサ， ６０５ ビデオデコーダ， ６０６ LSI， ６０７ 合成部， ６０８ OSD部， ６０９ LCD， ６１０ オーディオデコーダ， ６１１ スピーカ， ６１３ コントローラ， ６１４ キー入力部， ６１５ 表示部， ６１６ 受光部， ６１７ リモコンI/F， ６１８ リモコン， ６２１ ユーザインタフェース部， ６２１Ａ 電源ボタン， ６２１Ｂ 入力ボタン， ６２１Ｃ チャンネルボタン， ６２１Ｄ 機能ボタン， ６２２ LCDパネル， ６３１ バス， ６３２ 制御部， ６３３ 記憶部， ６３４ 送信部， ６５０ 受信部， ６５１乃至６５３ フレームメモリ， ６５４ SW回路， ６５４Ａ，６５４Ｂ 入力端子， ６５５ SW回路， ６５５Ａ，６５５Ｂ 出力端子， ６５６，６６１ 信号処理回路， ６６２乃至６６５ 切換回路， ７１１Ａ，７１１Ｂ クラス分類回路， ７１２Ａ，７１２Ｂ 遅延選択回路， ７１３Ａ，７１３Ｂ，７１４Ａ，７１４Ｂ 切換回路， ７１５Ａ，７１５Ｂ 係数出力回路， ７１６Ａ，７１６Ｂ 予測演算回路， ７１７ ライン遅延回路， ７１８ 積和演算回路， ７１９ 切換回路， ７２１ フレームメモリ， ７２２ ブロック化回路， ７２３ 判定回路， ７２４乃至７２７ 切換回路， ７３１ メモリ群， ７３２ 選択部

Claims (13)

1. 第１および第２の信号処理手段を備える信号処理装置において、
   外部からの信号に応じて、前記第１の信号処理手段に対する第１のコマンド、および前記第２の信号処理手段に対する第２のコマンドを含むコマンド列を生成して放送する放送手段を含み、
   前記第１の信号処理手段は、
   放送された前記コマンド列に含まれる前記第１のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第１のコマンドに対応する第１の信号処理を行う状態に切り換え、
   前記第１のコマンドに対応する前記第１の信号処理として、第１の信号に含まれるノイズを除去するノイズ除去処理、前記第１の信号に生じている歪みを除去する歪み除去処理、前記第１の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第１の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第１の信号処理の処理結果として得られる第２の信号を出力し、
   前記第２の信号処理手段は、
   放送された前記コマンド列に含まれる前記第２のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第２のコマンドに対応する第２の信号処理を行う状態に切り換え、
   前記第２のコマンドに対応する前記第２の信号処理として、前記第２の信号に含まれるノイズを除去するノイズ除去処理、前記第２の信号に生じている歪みを除去する歪み除去処理、前記第２の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第２の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第２の信号処理の処理結果として得られる第３の信号を出力する
   信号処理装置。
2. 前記第１または第２の信号処理手段は、１チップのIC(Integrated Circuit)である
   請求項１に記載の信号処理装置。
3. 前記第１の信号処理手段は、前記第２の信号のうちの注目している注目信号を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、前記注目信号に対して選択される前記第１の信号とを用いた演算により、前記注目信号を求める
   請求項１に記載の信号処理装置。
4. 前記第１の信号処理手段は、
   前記注目信号を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記第１の信号から選択するクラスタップ選択手段と、
   前記クラスタップに基づいて、前記注目信号をクラス分類するクラス分類手段と、
   前記注目信号を求めるときの前記タップ係数との演算に用いる予測タップを、前記第１の信号から選択する予測タップ選択手段と、
   前記注目信号のクラスのタップ係数を出力するタップ係数出力手段と、
   前記注目信号のクラスのタップ係数と、前記注目信号に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目信号を求める演算手段と
   を有する
   請求項３に記載の信号処理装置。
5. 前記第１の信号処理手段は、前記タップ係数出力手段が出力するタップ係数の種類が変更されるように、内部構造を切り換える
   請求項４に記載の信号処理装置。
6. 前記第２の信号処理手段は、前記第３の信号のうちの注目している注目信号を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、前記注目信号に対して選択される前記第２の信号とを用いた演算により、前記注目信号を求める
   請求項１に記載の信号処理装置。
7. 前記第２の信号処理手段は、
   前記注目信号を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記第２の信号から選択するクラスタップ選択手段と、
   前記クラスタップに基づいて、前記注目信号をクラス分類するクラス分類手段と、
   前記注目信号を求めるときの前記タップ係数との演算に用いる予測タップを、前記第２の信号から選択する予測タップ選択手段と、
   前記注目信号のクラスのタップ係数を出力するタップ係数出力手段と、
   前記注目信号のクラスのタップ係数と、前記注目信号に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目信号を求める演算手段と
   を有する
   請求項６に記載の信号処理装置。
8. 前記第２の信号処理手段は、前記タップ係数出力手段が出力するタップ係数の種類が変更されるように、内部構造を切り換える
   請求項７に記載の信号処理装置。
9. 前記第１乃至第３の信号は、画像信号であり、
   前記第１の信号処理手段は、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第１の信号である第１の画像信号に対して、サイズを縮小する画像縮小処理を行う状態に切り換えることにより、前記第１の画像信号に対して前記画像縮小処理を施し、前記第２の信号である第２の画像信号を出力する
   請求項１に記載の信号処理装置。
10. 放送信号を受信し、その放送信号から得られる前記第１の画像信号を出力する画像信号出力手段をさらに備える
    請求項９に記載の信号処理装置。
11. 前記コマンド列のうちの１つのコマンドに応じた動きベクトル検出処理を行う動きベクトル検出手段をさらに備え、
    前記第１または第２の信号処理手段は、前記動きベクトル検出処理によって検出された動きベクトルを用いて、信号処理を行う
    請求項９に記載の信号処理装置。
12. 前記コマンド列のうちの１つのコマンドに応じて、前記第３の画像信号を記憶する画像信号記憶手段をさらに備える
    請求項９に記載の信号処理装置。
13. 放送手段と、第１および第２の信号処理手段とを備える信号処理装置の信号処理方法において、
    前記放送手段が、外部からの信号に応じて、前記第１の信号処理手段に対する第１のコマンド、および前記第２の信号処理手段に対する第２のコマンドを含むコマンド列を生成して放送する放送ステップと、
    前記第１の信号処理手段が、
    放送された前記コマンド列に含まれる前記第１のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第１のコマンドに対応する第１の信号処理を行う状態に切り換え、
    前記第１のコマンドに対応する前記第１の信号処理として、第１の信号に含まれるノイズを除去するノイズ除去処理、前記第１の信号に生じている歪みを除去する歪み除去処理、前記第１の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第１の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第１の信号処理の処理結果として得られる第２の信号を出力する第１の信号処理ステップと、
    前記第２の信号処理手段が、
    放送された前記コマンド列に含まれる前記第２のコマンドに応じて、複数の信号処理を切り換えて行うことが可能な内部構造を、前記第２のコマンドに対応する第２の信号処理を行う状態に切り換え、
    前記第２のコマンドに対応する前記第２の信号処理として、前記第２の信号に含まれるノイズを除去するノイズ除去処理、前記第２の信号に生じている歪みを除去する歪み除去処理、前記第２の信号としての画像の空間解像度を向上させる空間解像度創造処理、または前記第２の信号としての画像の時間解像度を向上させる時間解像度創造処理のうちの少なくとも１つの信号処理を行い、前記第２の信号処理の処理結果として得られる第３の信号を出力する第２の信号処理ステップと
    を含む信号処理方法。

Images