JP4779282B2 - 情報処理装置 - Google Patents

Description

【０００１】
【技術分野】
本発明は、情報処理装置に関し、特に、複数の信号処理を実行することができるようにした情報処理装置に関する。
【０００２】
【背景技術】
例えば、信号を処理する装置に組み込まれている信号処理用のデバイスは、通常、１つの機能を実現するための構造を有している。
【０００３】
【発明が解決しようとする課題】
すなわち、複数の異なる信号処理を実現するためには、それぞれの処理に対応したデバイスを用意する必要があり、例えば、装置の小型化や低価格化が困難になる課題があった。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、所望の機能実行要求に応じて、同一のハードウェアでありながら内部構造や処理内容が変わることで、複数の処理を実行することができるようにするものである。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、それぞれ入力された情報信号に対して複数種類の異なるクラス分類適応処理を実行可能な複数のクラス分類適応処理回路と、複数のクラス分類適応処理回路の間の接続関係を切り換える切り換え回路と、外部装置から入力される処理の実行を指令するコマンドを受け付け、コマンドに対応する制御信号をクラス分類適応処理回路および切り換え回路に供給する機能制御部とを備え、複数のクラス分類適応処理回路は切り換え回路を介して接続されており、切り換え回路は、機能制御部から供給された制御信号に基づいて複数のクラス分類適応処理回路の間の接続関係を切り換え、複数のクラス分類適応処理回路の少なくとも１つは、機能制御部から供給された制御信号に基づいて、切り換え回路による接続関係の切り換えと連動して、クラス分類適応処理におけるクラスタップの構造、または予測タップの構造を切り換えることにより、情報信号に対して実行するクラス分類適応処理の種類を切り換える。
【０００６】
入力された情報信号を、複数のクラス分類適応処理回路を介して出力することができる。
【０００７】
接続関係の切り換えと連動して所定の処理を切り換えるようにされた前処理回路により、入力された情報信号に対して所定の処理を施してクラス分類適応処理回路に入力することができる。
【０００８】
クラス分類適応処理回路からの出力に、接続関係の切り換えと連動して所定の処理を切り換えるようにされた後処理回路により所定の処理を施すことができる。
【０００９】
クラス分類適応処理回路で実現できる処理の例には、以下のようなものがある。情報信号は画素情報からなる画像データであって、クラス分類適応処理回路により、入力された情報信号の画素情報に基づきクラス分類適応処理を行い、入力された情報信号の画素情報と画素情報の近傍の画素情報との間にあるべき画素情報を予測することで画像データの解像度を向上させることができる。
【００１０】
情報信号は画素情報からなる画像データであって、入力された情報信号に対して、予め用意された左目用係数を用いてクラス分類適応処理回路でクラス分類適応処理を行い左目用画像データの画素情報を予測すると共に、予め用意された右目用係数を用いて基づきクラス分類適応処理回路でクラス分類適応処理を行い右目用画像データの画素情報を予測し、左目用画像データと右目用画像データとからステレオ画像データを生成することができる。
【００１１】
情報信号は画素情報からなる画像データであって、入力された情報信号に対して、予め用意された輝度信号用係数を用いてクラス分類処理回路でクラス分類適応処理を行い画像データの輝度信号成分を予測すると共に、予め用意された色差信号用係数を用いて他のクラス分類適応処理回路でクラス分類適応処理を行い画像データの色差成分を予測し、画像データの輝度成分と色差成分とを分離することができる。
【００１２】
情報信号は画素情報からなる画像データであって、入力された情報信号に対して、複数のクラス分類適応処理回路のうち２以上のそれぞれが互いに異なる位相の画素情報についてクラス分類適応処理を行い、画像データを構成する画素情報の個数を変更することができる。
【００１３】
情報信号は画素情報からなる画像データであって、入力された情報信号に対して、複数のクラス分類適応処理回路のそれぞれのうち２以上によりクラス分類適応処理を行い、複数のクラス分類適応処理回路により行われるクラス分類適応処理のそれぞれに応じた、互いに異なる解像度の複数の画像データを得ることができる。
【００１４】
入力された情報信号に対してクラス分類適応処理回路によりクラス分類適応処理を行い第１の解像度を有する画像データを得、第１の解像度を有する画像データに対して他のクラス分類適応処理回路によりクラス分類適応処理を行い第２の解像度を有する画像データを得ることができる。
【００１５】
情報信号は画素情報からなりフレーム単位で構成される画像データであって、フレーム単位で入力された情報信号にクラス分類適応処理回路によりクラス分類適応処理を行い、入力された情報信号のフレームに対して時間的に前後のフレームの画像データを生成することができる。
【００１６】
【発明の実施の形態】
以下、この発明の実施の一形態を、図面を参照しながら説明する。第１図は、この発明が適用されたデータ処理装置１の一例の構成を概略的に示す。第１図に示されるように、この発明を適用したデータ処理装置１には、テレビジョン受像機、ビデオカメラ、ＶＴＲ、スキャナ、またはデジタルカメラなどの画像処理装置から供給される画像データが入力データとして入力される。
【００１７】
この実施の一形態によるデータ処理装置１は、入力データに対する、例えば以下に示す内容を実現する各処理モードの処理を要求に応じて実行することができる。各処理モードの処理結果として生成された画像データは、出力データとして外部の装置（例えば、表示装置や記録再生装置）に出力される。
（１）解像度の向上（処理モード（１）とする）
（２）右目専用の画像および左目専用の画像の生成（処理モード（２）とする）
（３）輝度信号と色差信号の生成（処理モード（３）とする）
（４）アスペクト比の変更（処理モード（４）とする）
（５）異種解像度画像の生成（処理モード（５）とする）
（６）フレームレートの変換（処理モード（６）とする）
【００１８】
なお、データ処理装置１において行われるこれらの処理モードによる各処理の詳細は、それぞれ後述する。
【００１９】
データ処理装置１は、機能制御部１１、データ処理部１２、前処理部１３および後処理部１４を有している。機能制御部１１には、所望の処理の実行を指令するコマンドが入力される。機能制御部１１は、入力されたこのコマンドに対応する制御信号をデータ処理部１２に供給し、データ処理部１２を初期化したり、指令された処理を実行させる。また、機能制御部１１から出力される制御信号は、前処理部１３および後処理部１４にも供給され、これら前処理部１３および後処理部１４に所定の処理を実行させる。
【００２０】
入力データとしての画像データは、前処理部１３で、機能制御部１１から供給される制御信号に基づき所定の前処理を施されて、データ処理部１２に供給される。また、データ処理部１２には、機能制御部１１からの制御信号が供給される。データ処理部１２は、この制御信号により初期化される。また、データ処理部１２は、機能制御部１１から供給された制御信号に基づき、制御信号により指令された処理に対応したクラス分類適応処理を、供給される入力データに対して施し、その処理結果として生成されたデータを出力する。データ処理部１２の出力は、後処理部１４に供給され、機能制御部１１から供給される制御信号に基づき所定の後処理を施され、出力データとして外部の装置に出力される。
【００２１】
第２図は、前処理部１３の一例の構成を示す。前処理部１３は、セレクタ１３０および１３２、ならびに、複数の遅延回路１３１Ａ、１３１Ｂ、・・・を有する。機能制御部１１から供給される制御信号は、セレクタ１３０および１３２にそれぞれ入力され、これらセレクタ１３０および１３２による信号経路の選択を制御する。遅延回路１３１Ａ、１３１Ｂ、・・・は、例えばそれぞれ異なる遅延時間を有し、一例として、入力された信号に対して、遅延回路１３１Ａが画素単位の遅延、遅延回路１３１Ｂがライン単位の遅延、遅延回路１３１Ｃがフレーム単位の遅延をそれぞれ与えるようにされている。遅延回路１３１Ａ、１３１Ｂ、・・・から出力された信号は、セレクタ１３２に入力され、機能制御部１１からの制御信号に基づき所定に選択されて前処理部１３から出力される。
【００２２】
なお、前処理部１３において、セレクタ１３０から出力された信号を、遅延回路１３１Ａ、１３１Ｂ、・・を通さずに、直接的にセレクタ１３２に入力することもできる。また、セレクタ１３０は、同一の信号を並列的に複数、出力することもできる。さらに、前処理部１３に、上述の遅延回路１３１Ａ、１３１Ｂ、・・・以外の処理回路を持たせることもできる。
【００２３】
第３図は、データ処理部１２の構成例を示している。データ処理部１２は、入力データ処理部２１、セレクタ２２、中間データ処理部２３、出力データ処理部２４およびセレクタ２５から構成されている。
【００２４】
入力データ処理部２１は、複数のクラス分類適応処理部（この例の場合、４つのクラス分類適応処理部３１−１乃至３１−４（以下、個々に区別する必要がない場合、単に、クラス分類適応処理部３１と称する。他の場合についても同様である））を有している。クラス分類適応処理部３１は、供給されるデータ（データ処理装置１に入力される入力データそのもの、または、データ処理装置１に入力され前処理部１３で前処理されたデータ）に対して、機能制御部１１からの制御信号に対応したクラス分類適応処理を実行し、その処理結果として生成されたデータをセレクタ２２に供給する。
【００２５】
セレクタ２２には、入力データ処理部２１および中間データ処理部２３において処理（生成）されたデータが供給される。セレクト部２２は、供給されたデータの供給先（例えば、中間データ処理部２３のメモリ４１または出力データ処理部２４のクラス分類適応処理部５１）を選択し、選択した供給先にデータを供給する。
【００２６】
中間データ処理部２３は、複数のメモリ（この例の場合、４つのメモリ４１−１乃至４１−４）を有しており、セレクタ２２から供給されるデータのメモリ４１に対する書き込みや読み出しを制御し、例えば、水平走査を垂直走査に変更する処理を実行する。中間データ処理部２３のメモリ４１から読み出されたデータは、セレクタ２２に戻される。
【００２７】
出力データ処理部２４は、複数のクラス分類適応処理部（この例の場合、８つのクラス分類適応処理部５１−１乃至５１−８）を有している。クラス分類適応処理部５１は、セレクタ２２から供給されるデータに対して、機能制御部１１からの制御信号に対応したクラス分類適応処理を実行し、その処理結果として生成されたデータを出力する。クラス分類適応処理部５１−１乃至５１−８から出力されたデータは、それぞれセレクタ２５に入力され、機能制御部１１から供給される制御信号により所定に選択されて出力される。
【００２８】
第４図は、後処理部１４の一例の構成を示す。後処理部１４は、セレクタ１４０、複数の処理部１４１Ａ、１４１Ｂ、・・・およびセレクタ１４２を有する。データ処理部１２から出力されたデータは、セレクタ１４０に入力され、機能制御部１１から供給される制御信号に基づき入力されたデータの経路が切り替えられ、複数の処理部１４１Ａ、１４１Ｂ、・・・に所定に入力される。
【００２９】
処理部１４１Ａ、１４１Ｂ、１４１Ｃは、この実施の一形態においては、処理部１４１Ａがライン毎の変換を行う線順次変換部、処理部１４１Ｂが画素毎の変換を行う走査方向変換部、処理部１４１Ｃがデータの多重化を行う多重化部となっている。これら処理部１４１Ａ、１４１Ｂ、・・・は、機能制御部１１から供給される制御信号に基づき入力されたデータを処理する。
【００３０】
次に、上述した処理モード（１）〜（６）を実現するため処理を実行する場合のデータ処理装置１の構成および動作について、それぞれ説明する。
【００３１】
第５図は、上述の処理モード（１）の、解像度を向上させる処理を実行する場合のデータ処理装置１の一例の構成を示す。なお、ここでは、データ処理装置１には、外部の装置から、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｎｓｉｔｙ）画像、例えばライン数が５２５本のインタレース方式の画像に対応する画像データ（以下、適宜、ＳＤ画像データと称する）が入力データとして入力される。データ処理装置１において、入力されたＳＤ画像データに基づいて、より高解像度であるＨＤ（Ｈｉｇｈ Ｄｅｎｓｉｔｙ）画像、例えばライン数が５２５本、水平方向の画素数がＳＤ画像の２倍のプログレッシブ方式の画像に対応する画像データ（以下、適宜、ＨＤ画像データと称する）が生成されるものとする。
【００３２】
機能制御部１１には、この例の場合、ＳＤ画像をＨＤ画像に変換する処理の実行を指令するコマンドが別途入力される。機能制御部１１は、入力されたそのコマンドに対応する制御信号を、適宜、データ処理部１２に出力する。
【００３３】
データ処理部１２は、機能制御部１１からの制御信号により、入力データとしてデータ処理装置１に入力されるＳＤ画像からＨＤ画像を構成する各ラインのデータを生成する。正確には、各ラインに配列される画素が予測される。
【００３４】
具体的には、例えば、第６図に示すように、ＳＤ画像の所定のフィールドが、図中、大きな○印（円の図形）で示される画素（以下、ＳＤ画素と称する）が配列されているラインＬ_SD-1，Ｌ_SD-2，Ｌ_SD-3などから構成されている場合、データ処理部１２では、ＳＤ画像のラインＬ_SD-1，Ｌ_SD-2，Ｌ_SD-3と同位置の、図中、小さな○印（円の図形）で示されるＨＤ画像の画素が配列されるＨＤ画像のラインＬ_HD-1，Ｌ_HD-3，Ｌ_HD-5（以下、適宜、このように同位置にＳＤ画像のラインが存在するＨＤ画像のラインをラインＡと称する）と、ＳＤ画像のラインが同位置に存在しないＨＤ画像のラインＬ_HD-2，Ｌ_525p-4（以下、適宜、このように同位置にＳＤ画像のラインが存在しないＨＤ画像のラインをラインＢと称する）が、それぞれ生成される。
【００３５】
データ処理部１２では、このように、ラインＡおよびラインＢの画素がそれぞれ個別に生成される。データ処理部１２の後段に設けられている後処理部１４において、セレクタ１４０により線順次変換部１４１Ａが選択され、データ処理部１２から供給されるラインＡおよびラインＢが線順次で出力される。すなわち、線順次変換部１４１Ａからセレクタ１４２を介し、ＨＤ画像データが出力データとして外部の装置に出力される。
【００３６】
つまり、この例の場合、データ処理装置１においては、インターレース方式の画像であるＳＤ画像に対してノンインターレース化が図られると共に、水平方向の画素数が２倍にされることで、画素数がＳＤ画像の４倍のＨＤ画像が生成される。
【００３７】
第７図は、上述した処理モード（１）の、解像度の向上を実行する場合の例におけるデータ処理部１２の一例の接続を示す。入力データ処理部２１においては、この例の場合、２つのクラス分類適応処理部３１−１，３１−２が利用され、それらには、入力データとしてデータ処理装置１に入力されたＳＤ画像データが、それぞれ供給される。
【００３８】
クラス分類応処理部３１−１は、供給されたＳＤ画像データに対して、ＨＤ画像を構成するラインＡ（第６図の例では、Ｌ_HD-1、Ｌ_HD-3、Ｌ_HD-5）を生成するためのクラス分類適応処理を実行する。すなわち、このクラス分類適応処理では、ラインＡに配列されるＨＤ画素を予測するための処理が行われる。クラス分類適応処理部３１−２は、ＳＤ画像に対して、ＨＤ画像を構成するラインＢ（第６図の例では、Ｌ_HD-2、Ｌ_HD-4）を生成するためのクラス分類適応処理を実行する。すなわち、このクラス分類適応処理では、ラインＢに配列されるＨＤ画素を予測するための処理が行われる。クラス分類適応処理部３１−１、３１−２により生成されたラインＡおよびラインＢの画素データは、セレクト部２２に供給される。
【００３９】
セレクト部２２は、入力データ処理部２１のクラス分類適応処理部３１−１、３１−２からそれぞれ同時に供給されたラインＡおよびラインＢの画素データを後処理部１４に供給する。後処理部１４は、機能制御部１１の制御信号に基づくセレクタ１４０の選択により線順次変換部１４１Ａが選択され、ラインＡおよびラインＢが線順次部１４１Ａに供給する。線順次変換部１３に同時に供給された、ＨＤ画像を構成するラインＡおよびラインＢは、それぞれ線順次とされプログレッシブ走査の画像が形成され、外部の装置に出力される。なお、中間データ処理部２３および出力データ処理部２４は、この処理モードでは利用されない。
【００４０】
第８図は、入力データ処理部２１のクラス分類適応処理部３１−１の構成例を示している。上述したように、クラス分類適応処理部３１−１では、ラインＡに関する処理が行われる。クラス分類適応処理部３１−１は、大きく分けて、クラス分類部６１、適応処理部６２、およびレジスタ群６３から構成されている。クラス分類部６１乃至レジスタ群６３は、機能制御部１１からデータ処理部１２に出力される制御信号に基づいて、処理モードに応じたバンクを選択する。そして、選択されたバンクの係数セットに基づき各種処理が実行される。
【００４１】
クラス分類部６１は、クラスタップ抽出回路７１およびクラス分類回路７２より構成される。クラス分類部６１では、このクラス分類適応処理により得られるＨＤ画像のラインＡに配列されるＨＤ画素が順次、注目画素とされ、各注目画素が予め設定されたクラスのうちの１つのクラスにクラス分類される。すなわち、クラスタップ抽出回路７１は、注目画素に応じてＳＤ画素（以下、適宜、クラスタップと称する）を、ＳＤ画像から選択することでクラスタップを抽出し、クラス分類回路７２に供給する。
【００４２】
なお、レジスタ群６３のレジスタ６３Ａには、クラスタップとしてのＳＤ画素の選択パターンに関する情報（以下、適宜、クラスタップ抽出情報と称する）が、クラス分類適応処理部３１−１が実行する各種のクラス分類適応処理毎にレジストされている。すなわち、クラスタップ抽出回路７１は、クラスタップの抽出に先立ち、この例の場合において必要とされるクラスタップ抽出情報（機能制御部１１からデータ処理部１２に供給される制御信号に対応するクラスタップ抽出情報）をレジスタ６３Ａから読み出し、読み出されたクラスタップ抽出情報に基づいてクラスタップを抽出する。
【００４３】
第９図は、この処理モード（１）におけるクラスタップ抽出情報の一例を示す。図中の●（黒色の丸）および○（白色の丸）がＳＤ画素を示す。注目画素を黒丸の画素としたときに、クラスタップは、注目画素を含む注目画素周辺の３画素×３画素とされる。また、後述する予測タップは、クラスタップよりもさらに１画素分広い範囲の５画素×５画素からなる。なお、第９図中の×（ばつ）印は、注目画素に基づき最終的に形成されるＨＤ画素を示す。１つの注目画素に対して、第９図の範囲Ａに示されるように、４つのＨＤ画素が形成される。またそれにより、上述したラインＢが形成される。
【００４４】
第１０図を用いてより詳細に説明する。第１０図は、第９図において注目画素が含まれる垂直方向の１列を詳細に示した図である。例えば、所定フィールドのＳＤ画像の注目画素を含む１列、すなわち垂直方向に、大きな○印で示されるＳＤ画素が配列される。一方、ＨＤ画像の、このフィールドに対応するフレームにおいて、ＳＤ画像での上述した注目画素に対応した１列に、図中に小さな○印で示されるＨＤ画像画素が配列されることを考える。ＳＤ画像において、ＨＤ画素Ｙ₁が注目画素とされたとき、この例の場合においてレジスタ６３Ａから読み出されたクラスタップ抽出情報によれば、ＳＤ画素のうち、ＨＤ画素Ｙ₁と最も近い位置に配列されている（第１０図の例では、同位置に配置されている）ＳＤ画素Ｘ₂およびそのＳＤ画素Ｘ₂と垂直方向において隣り合う２つのＳＤ画素Ｘ₁，Ｘ₃の合計３個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ₁のクラスタップとして選択される。
【００４５】
第８図に戻り、クラス分類部６１のクラス分類回路７２は、クラスタップ抽出回路７１から供給されるクラスタップを構成するＳＤ画素の画素の特徴、例えば、画素値の分布を検出し、特徴毎に予め割り当てられたクラスコードを適応処理部６２（係数メモリ８３）に供給する。このクラスコードは、アドレスとして、係数メモリ８３に供給される。なお、画素値としては、例えばその画素の輝度値を用いることができる。
【００４６】
ところで、各画素には、一般的に、８ビットのデータが割り当てられているので、この例の場合においても、各ＳＤ画素に８ビットのデータが割り当てられているとすると、クラスの数が莫大になり、必要なメモリ容量が増大する。そこで、クラス分類回路７２は、実際は、クラス分類を行う際に、クラスタップを構成する画素のビット数を低減（圧縮）する処理を行う。このビット数の圧縮処理方法として、例えば、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）処理がある。
【００４７】
このＡＤＲＣでは、処理ブロック（クラスタップ）を構成する画素から、最大の画素値ＭＡＸと最小の画素値ＭＩＮがそれぞれ検出されるとともに、画素値ＭＡＸと画素値ＭＩＮとの差分ＤＲ（＝画素値ＭＡＸ−画素値ＭＩＮ）が演算され、このＤＲが処理ブロックのダイナミックレンジＤＲとされる。そして、処理ブロックを構成する各画素値から画素値ＭＩＮが減算され、その減算値が、ＤＲ／２Ｋでそれぞれ除算される。その結果、処理ブロックであるクラスタップを構成する各画素値が、元の割当ビット数（８ビット）より少ないＫビットに再量子化される。例えば、Ｋ＝１である場合、第１０図の例では、３個のＳＤ画素の画素値のパターン数は、（２¹）³通りになり、ＡＤＲＣを行わない場合に比較して、パターン数を少ないものとすることができる。なお、クラス分類回路７２における圧縮処理は、ＡＤＲＣに限定されるものではなく、その他の圧縮処理、例えば、ベクトル量子化等を用いることも可能である。
【００４８】
クラス分類回路７２は、このようにして得られた、クラスタップを構成する各ＳＤ画素についてのＫビットの画素値に基づき、注目画素のクラスを決定する。なお、クラス分類回路７２は、クラス分類を行うのに先立ち、この処理モードの場合において必要とされるクラスタップ抽出情報をレジスタ群６３のレジスタ６３Ａから読み出し、読み出されたクラスタップ抽出情報に基づいてクラスタップを抽出し、抽出されたクラスタップによりクラス分類を行う。
【００４９】
適応処理部６２は、予測タップ抽出回路８１、予測演算回路８２、および係数メモリ８３より構成されている。予測タップ抽出回路８１は、適応処理部６２に供給されるＳＤ画像に応じてＳＤ画素を選択し、これを予測タップとして、予測演算回路８２に供給する。
【００５０】
なお、レジスタ群６３のレジスタ６３Ｂには、予測タップとするＳＤ画像の選択パターンに関する情報（以下、適宜、予測タップ抽出情報と称する）が、クラス分類適応処理部３１−１が実行する各種のクラス分類適応処理毎にレジストされている。すなわち、予測タップ抽出回路８１は、予測タップの形成に先立ち、必要とされる予測タップ抽出情報（機能制御部１１からデータ処理部１２に供給される制御信号に対応する予測タップ抽出情報）をレジスタ６３Ｂから読み出し、その予測タップ抽出情報に基づいて予測タップを抽出する。この処理モード（１）においては、予測タップは、例えば上述した第９図で既に説明したように、注目画素に対する５画素×５画素からなる。
【００５１】
係数メモリ８３は、後述する学習処理で求められた予測係数セットを、クラスごとに記憶しており、クラス分類部６１のクラス分類回路７２から、クラスが供給されたとき、そのクラスに対応するアドレスに記憶している予測係数セットを読み出し、予測演算回路８２に供給する。
【００５２】
なお、係数メモリ８３は、複数のバンクで構成され、各バンクにはそれぞれ処理モードに対応する予測係数セットが記憶されている。対応する種類の予測係数セットが記憶されている。また、レジスタ群６３のレジスタ６３Ｃには、処理モードに応じたバンク選択に関する情報であるバンク選択情報がレジストされている。
【００５３】
すなわち、係数メモリ８３は、予測係数セットの読み出しに先立ち、この処理モードに応じたバンク選択情報（機能制御部１１からデータ処理部１２に供給される制御信号に対応する係数情報）をレジスタ６３Ｃから読み出し、読み出されたバンク選択情報に基づいて、使用するバンクを設定する。上述したように、この例では、クラス分類適応処理部３１−１では、ラインＡに関する処理を行うため、ラインＡに対応する予測係数セットが記憶されているバンクが設定される。設定されたバンクから、供給されるクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路８２に供給する。
【００５４】
予測演算回路８２には、予測タップ抽出回路８１から予測タップが供給され、そして係数メモリ８３から予測係数セットが供給される。予測演算回路８２は、係数メモリ８３からの予測係数セット（予測係数ｗ₁，ｗ₂，・・・）と、予測タップ抽出回路８１からの予測タップを構成する画素の画素値（画素値ｘ₁，ｘ₂，・・・）とを用いて、その予測係数ｗと画素値ｘの線形結合により規定される線形１次結合モデルである式（１）に従って演算を行い、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］を算出し、その算出結果をＨＤ画素（ラインＡに配列されるＨＤ画素）の画素値とする。
Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂ ＋・・・・・・（１）
なお、非線形結合によるモデルを利用して、演算を行うこともできる。以上のようにして、ＨＤ画像を構成するラインＡに配列される各ＨＤ画素の画素値が予測され、ラインＡが生成される。
【００５５】
この処理モード（１）の場合におけるクラス分類適応処理部３１−２の、クラス分類適応処理としての予測処理を行う場合の構成は、上述したクラス分類適応処理部３１−１における場合と基本的に同様である。すなわち、クラス分類適応処理部３１−２では、クラス分類部６１、適応処理部６２の予測タップ抽出回路７１および係数メモリ８３において、必要とされるタップ抽出情報、予測タップ抽出情報およびバンク選択情報に基づき、クラスタップの抽出、予測タップの抽出および予測係数セットの読み出しが行われる。その結果、ＨＤ画像のラインＢ、すなわち、同位置にＳＤ画像のラインが存在しないライン）に配列される各ＨＤ画素の画素値が予測される。例えば、第１０図に示されるＨＤ画素Ｙ₂の画素値などが予測され、ラインＢが生成される。
【００５６】
第１１図は、クラス分類適応処理部３１−１の、第８図の係数メモリ８３に予め記憶させる予測係数を算出する学習処理を行うための学習装置の一例の構成を示す。なお、この処理モード（１）では、学習は、ラインＡおよびラインＢについてそれぞれなされ、学習結果は、ラインＡおよびラインＢのそれぞれについて出力される。
【００５７】
学習における教師データとなるべきＨＤ画像が間引き回路９１および教師データ抽出回路９５にそれぞれ供給される。間引き回路９１は、教師データとしてのＨＤ画像から、例えばその画素数を間引くことによりＳＤ画像を生成し、クラス分類部９２および予測タップ抽出回路９３に供給する。例えば、ＨＤ画像の横および縦の画素数がそれぞれ１／２にされて、ＳＤ画像が形成される。
【００５８】
クラス分類部９２は、第８図のクラス分類部６１と同様の処理を行って注目画素のクラスを決定し、予測タップメモリ９４および教師データメモリ９６のアドレス端子（ＡＤ）に供給する。予測タップ抽出回路９３は、第８図の予測タップ抽出回路８１と同様の処理を行って予測タップを抽出し、予測タップメモリ９４に供給する。
【００５９】
予測タップメモリ９４は、クラス分類部９２から供給されるクラスに対応するアドレスに、予測タップ抽出回路９３から供給される予測タップを記憶する。一方、教師データ抽出回路９５は、クラス分類部９２および予測タップ抽出回路９３において注目画素とされるＨＤ画素を、そこに供給されるＨＤ画像から抽出し、教師データとして、教師データメモリ９６に供給する。
【００６０】
教師データメモリ９６は、クラス分類部９２から供給されるクラスに対応するアドレスに、教師データ抽出回路９５から供給された教師データを記憶する。以上の処理が、学習用に予め用意されたＨＤ画像を構成するすべてのＨＤ画素を、順次、注目画素として行われる。
【００６１】
その結果、教師データメモリ９６または予測タップメモリ９４の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素が教師データとし、そしてそのＨＤ画素についての予測タップを構成する位置にあるＳＤ画素が学習データとして、それぞれ記憶される。
【００６２】
なお、予測タップメモリ９４と教師データメモリ９６においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データと教師データを記憶することができる。
【００６３】
演算回路９７は、予測タップメモリ９４または教師データメモリ９６から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素を読み出す。そして、読み出された予測タップまたはＨＤ画素を用いて、例えば最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。すなわち、演算回路９７では、クラス毎に式（２）に示す正規方程式がたてられ、これを解くことにより予測係数が求められる。

以上のようにして求められた予測係数のセットが、第８図の係数メモリ８３に記憶される。
【００６４】
入力データ処理部２１のクラス分類適応処理部３１−２に対する学習処理を行う構成は、上述したクラス分類適応処理部３１−１における場合と同様であるので、その説明は省略する。
【００６５】
なお、上述では、画素値として輝度値を利用した場合を例として説明した。輝度と色差とからなる信号の場合には、輝度、色差それぞれによって上述の処理を行い、ＨＤ画像を生成することもできる。この場合、さらに、入力データ処理部２１のクラス分類適応処理部３１−３、３１−４が色差を利用したクラス分類適応処理を実行し、ＨＤ画像を構成するラインＡおよびラインＢを生成するようにしてもよい。
【００６６】
また、ノンインターレース化のためのクラス分類適応処理については、本出願人が先に出願した特願平１０−２０８１１６号（特開２０００−４１２２３、公開日２０００年２月８日）およびその対応の米国出願（シリアルナンバ０９／３５８２７２、１９９９年７月２１日出願）に、より詳細に示されている。ところで、予測係数が求められる場合にたてられる式（２）の正規方程式については、クラス分類適応処理に関する先願（例えば、特開２０００−４１２２３、２０００年２月８日公開）においてすでに開示されているが、本願をより理解するためにここで説明する。
【００６７】
予測値Ｅを算出するための予測係数および画素値の線形結合により規定される線形１次結合モデルの式（１）を一般化するために、予測係数ｗ_j，の集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’を、式（３）で定義すると、式（４）のような観測方程式が成立する。

ＸＷ＝Ｙ’ ・・・（４）
【００６８】
ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙｉの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙ_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ件目の教師データの予測値を表す。すなわち、式（１）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したものである。
【００６９】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、式（５）で定義すると、式（４）から式（６）に示す残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ ・・・（６）
【００７０】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_jは、式（７）に示す自乗誤差を最小にすることで求められる。

従って、上述の自乗誤差を予測係数ｗ_jで微分したものが０になる場合、すなわち、式（８）を満たす予測係数ｗ_jがＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

【００７１】
そこで、まず、式（６）を予測係数ｗ_jで微分することにより、式（９）が成立する。

【００７２】
式（８）および色（９）より、式（１０）が得られる。

【００７３】
さらに、式（６）の残差方程式における生徒データｘ_ij、予測係数ｗ_j、教師データｙ₁、および残差ｅ_iの関係を考慮すると、式（１０）から、式（２）に示した正規方程式を得ることができる。ここで、式（２）における各正規方程式は、生徒データｘ_ijおよび教師データｙ_iのセットをある程度以上の数だけ用意することが望ましい。これにより、求めるべき予測係数ｗ_jの数Ｊと同じ数だけたてることができ、式（２）を解くことで、最適な予測係数ｗ_jを求めることができる。
【００７４】
第１２図は、解像度を向上させる処理モードである処理モード（１）を他の処理方法によって行う場合の、データ処理装置１の一例の構成を示す。処理モード（１）の他の処理方法では、後処理部１４において走査方向変換部１４Ｂが選択される。
【００７５】
機能制御部１１は、この例の場合において入力されるコマンドに対応する制御信号をデータ処理部１２に出力する。
【００７６】
データ処理部１２は、機能処理部１１からの制御信号により初期化される。その後、先ず、外部の装置から供給された入力データとしてのＳＤ画像の水平方向の画素数を２倍にする。そして、水平走査（テレビジョンラスタの走査順序）から垂直走査に変換し、さらに、垂直方向の画素数を２倍にする。すなわち、この例の場合においても、画素数がＳＤ画像の、ＳＤ画像よりも解像度が向上されたＨＤ画像が生成される。
【００７７】
ところで、データ処理部１２から出力される画像データは、垂直走査にされたままであるので、それを水平走査に戻す必要がある。そこで、このデータ処理装置１では、機能制御部１１から供給される制御信号に基づき、データ処理部１２の後段の後処理部１４において、走査方向変換部１４１Ｂが選択される。
【００７８】
走査方向変換部１４１Ｂは、データ処理部１２の中間データ処理部２３と同様にメモリを有している。このメモリに対する、データ処理部１２から供給された画像データの書き込みおよび／または読み出しを制御することにより、垂直走査を水平走査に変換する。例えば、データ処理部１２から走査方向変換部１４１Ｂに供給された画像データは、メモリに、画素が垂直走査方向に書き込まれるようにアドレス制御される。そして、メモリから画像データを読み出す際に、画素を水平走査方向に読み出すようにアドレス制御される。これにより、画像データの走査方向が垂直走査から水平走査へと変換される。走査方向変換部１４１Ｂにおいて水平走査に戻された画像データは、出力データとして外部の装置に出力される。
【００７９】
第１３図は、この処理モード（１）の他の処理方法におけるデータ処理部１２の一例の接続を示す。入力データ処理部２１においては、この例の場合、１つのクラス分類適応処理部３１−１が利用される。クラス分類適応処理部３１−１には、入力データとしてデータ処理装置１に入力されたＳＤ画像データが供給される。
【００８０】
クラス分類適応処理部３１−１は、供給されるＳＤ画像データに対して、ＳＤ画像の水平方向の画素数が２倍になった画像（以下、適宜、中間画像と称する）を生成するクラス分類適応処理を施し、その結果生成された中間画像の画像データ（以下、適宜、中間画像データと称する）を、セレクタ２２に供給する。中間データ処理部２３においては、この例の場合、メモリ４１−１が利用される。メモリ４１−１に、セレクト部２２から中間画像データが供給される。中間データ処理部２３は、セレクト部２２から供給される中間画像データのメモリ４１−１に対する書き込みおよび読み出しを、例えば水平走査方向に書き込んだ画像データを垂直走査方向に読み出すようにアドレス制御して、中間画像の水平走査を垂直走査に変換し、セレクタ２２に戻す。
【００８１】
出力データ処理部２４においては、この例の場合、クラス分類適応処理部５１−１が利用される。クラス分類適応処理部５１−１には、セレクタ２２から中間画像データが供給される。クラス分類適応処理部５１−１は、セレクト部２２から供給された中間画像データに対応して、中間画像の垂直方向の画素数を２倍にするためのクラス分類適応処理を施し、その結果生成された画像データを後段の後処理部１４に供給する。
【００８２】
後処理部１４に供給された画像データは、機能制御部１１からの制御信号に基づくセレクタ１４０の選択により、走査方向変換部１４１Ｂに供給される。走査方向変換部１４１Ｂに供給された画像データは、そこで、例えば垂直走査方向にメモリに書き込まれた画像データが水平走査方向に読み出されるようにメモリの書き込みおよび読み出しが制御され、その画像データに対応する画像の垂直走査が水平走査に戻される。走査方向変換部１４１Ｂにおいて水平走査に戻された画像（ＨＤ画像）は、出力データとして外部の装置に出力される。
【００８３】
次に、この処理モード（１）の他の処理方法における入力データ処理部２１のクラス分類適応処理部３１−１の予測処理について説明する。クラス分類適応処理部３１−１のクラスタップ抽出回路７１（第８図参照）は、この例において必要とされるクラスタップ抽出情報をレジスタ群６３のレジスタ６３Ａから読み出し、そのクラスタップ抽出情報に基づいてクラスタップを形成し、クラス分類回路７２に供給する。
【００８４】
第１４図は、処理モード（１）の他の処理方法におけるクラスタップ抽出情報の一例を示す。第１４図は、この処理モード（１）における、水平走査方向の画素数を２倍にする処理の際の、クラスタップ抽出情報の一例を示す。図中の●（黒色の丸）および○（白色の丸）がＳＤ画素を示す。注目画素を黒色の丸の画素としたときに、クラスタップは、注目画素を含む、注目画素を中心とした注目画素が存在するライン上の７画素とされる。また、後述する予測タップは、注目画素が存在するライン上で２画素分、クラスタップよりもさらに広い範囲の、１１画素からなる。なお、垂直方向の画素数を２倍にする処理に用いるクラスタップおよび予測タップは、第１４図の水平方向を垂直方向に置き換えたものを用いることができる。
【００８５】
第１５図を用いてより詳細に説明する。例えば、入力データとしてのＳＤ画像の所定のフィールドにおいて、ラインＫ−１乃至Ｋ＋１が配列されるものとする。図中、大きな○（丸）印がＳＤ画素に対応する。図中の小さな丸印は、中間画像における、水平方向の画素数がＳＤ画像の２倍になるようにされた画素（ＨＤ画素）に対応する。この画素は、入力データとしてのＳＤ画像の所定のフィールドのラインＫ−１乃至Ｋ＋１の各ライン対応して、図のように配列されるものとする。
【００８６】
ここで、ラインＫ上の中間画像の画素Ｙ_K,5が注目画素とされた場合について考える。この例において、レジスタ６３Ａから読み出されたクラスタップ抽出情報によれば、画素Ｙ_K,5と最も相関が高いと予想される（最も近い）ラインＫ上のＳＤ画素Ｘ_K,3と、ＳＤ画素Ｘ_K,3の左側に配列されている２つのＳＤ画素Ｘ_K,2およびＳＤ画素Ｘ_K,1と、ＳＤ画素Ｘ_K,3の右側に配列されている２つのＳＤ画素Ｘ_K,4およびＳＤ画素Ｘ_K,5と、ラインＫ−１およびラインＫ＋１のそれぞれにＳＤ画素Ｘ_K,3と対応する位置に配列されているＳＤ画素Ｘ_K-1,3およびＳＤ画素Ｘ_K+1,3とからなる合計７つのＳＤ画素が、クラスタップとして選択される。
【００８７】
次に、クラス分類回路７２は、クラス分類を行うのに先立ち、この処理モードの場合において必要とされるクラスタップ抽出情報をレジスタ群６３のレジスタ６３Ａから読み出し、そのクラスタップ抽出情報に基づいてクラスタップを抽出し、抽出されたクラスタップによりクラス分類を行う。決定された注目画素のクラスは、適応処理部６２の係数メモリ８３に、アドレスとして供給される。
【００８８】
適応処理部６２の予測タップ抽出回路８１は、この例において必要とされる予測タップ抽出情報をレジスタ群６３のレジスタ６３Ｂから読み出し、その予測タップ抽出情報に基づく予測タップを形成し、予測演算回路８２に供給する。
【００８９】
係数メモリ８３は、この例において必要とされる係数情報をレジスタ群６３のレジスタ６３Ｃから読み出す。係数メモリ８３において、読み出された予測情報に基づいて使用するバンクが設定され、そのバンクから、クラス分類回路７２から供給されたクラスに対応するアドレスに記憶されている予測係数セットのうち、水平方向の画素数を２倍にする場合の予測係数セットが読み出される。読み出された予測係数セットは、予測演算回路８２に供給される。
【００９０】
予測演算回路８２は、係数メモリ８３から供給される予測係数セットと、予測タップ抽出回路８１から供給される予測タップを構成するＳＤ画素の画素値を用いて上述した式（１）を演算し、注目画素の予測値を、中間画像の画素の画素値とする。このようにして予測された画素からなる中間画像は、セレクタ２２に供給される。
【００９１】
この処理モード（１）の他の処理方法における学習処理は、データ処理装置１における上述した処理モード（１）と基本的に同様であるので、その説明は省略する。また、この処理モード（１）の他の処理方法の例における出力データ処理部２４のクラス分類適応処理部５１−１の予測処理は、上述した処理モード（１）の、入力データ処理部２１のクラス分類適応処理部３１−１における場合と基本的に同様であるので、その詳細な説明は、省略する。クラス分類適応処理部５１−１のクラス分類部６１、適応処理部６２の予測タップ抽出回路８１および係数メモリ８３では、この処理モード（１）の他の処理方法の例において必要とされるタップ抽出情報、予測タップ情報、および係数情報に基づいて、クラスタップの抽出、予測タップの抽出および係数メモリ８３からの予測係数セットの読み出しが行われる。そして、これらの結果に基づき、垂直方向の画素数を２倍にするための画素が予測される。
【００９２】
また、この処理モード（１）の他の処理方法における出力データ処理部２４のクラス分類適応処理部５１−１の学習処理は、上述した処理モード（１）のクラス分類適応処理部３１−１の学習処理と基本的に同様であるので、その説明は省略する。
【００９３】
なお、以上においては、出力データ処理部２４のクラス分類適応処理部５１−１に、垂直方向の画素数が２倍となる画像を生成するためのクラス分類適応処理を実行させて、ＨＤ画像を生成する場合を例として説明したが、これはこの例に限定されない。例えば、この処理モード（１）の他の処理方法においても、上述した処理モード’（１）の場合と同様に、ＨＤ画像を構成する画素のうち同位置にＳＤ画像のラインが存在するライン（ラインＡ）に配列される画素を予測するクラス分類適応処理と、同位置にＳＤ画像のラインが存在しないライン（ラインＢ）に配列される画素を予測するクラス分類適応処理をそれぞれ分けて実行させることも可能である。この場合、出力データ処理部２４の２つのクラス分類適応処理部（例えば、クラス分類適応処理部５１−１、５１−２）に、それぞれのクラス分類適応処理を実行させることができる。また、上述したようなクラス分類適応処理は、本出願人が先に出願した国際公開番号ＷＯ９６／０７９８７およびその対応の米国特許５，９０３，４８１に、より詳細に示されている。
【００９４】
第１６図は、上述した処理モード（２）の、右目専用の画像および左目専用の画像を生成する処理を実行する場合のデータ処理装置１の一例の構成を示す。この処理モード（２）においては、後処理部１４で、多重化部１４１Ｃが用いられる。
【００９５】
この例の場合、データ処理装置１は、外部の装置から供給された入力データとしてのＳＤ画像データから、図示せぬ表示装置に表示される左目専用の画像（以下、左目画像と称する）および右目専用の画像（以下、右目画像と称する）を生成し、それらが多重化された画像（以下、ステレオ画像と称する）の画像データ（以下、ステレオ画像データと称する）を出力データとして外部の装置に出力する。
【００９６】
なお、この例の場合の入力データであるＳＤ画像データは、テレビジョン放送信号が例えば１３．５ＭＨｚのサンプリングクロックでＡ／Ｄ変換されたものとする。すなわち、このＳＤ画像のサイズは、１フレームあたり横７２０画素×縦４８０ライン程度である。
【００９７】
機能制御部１１には、この例の場合、左目画像および右目画像を生成する処理の実行を指令するコマンドが入力される。機能制御部１１は、入力されたそのコマンドに対応する制御信号をデータ処理部１２に出力する。機能制御部１１はまた、テレビジョン放送信号から垂直同期信号および水平同期信号を抽出し、それらに基づくタイミングに従って、データ処理部１２および後処理部１４の多重化部１４１Ｃを制御する。データ処理部１２は、機能制御部１１からの制御信号により、初期化された後、入力データとして入力されるＳＤ画像から左目画像および右目画像を生成する。
【００９８】
データ処理部１２の後段の後処理部１４における多重化部１４１Ｃは、データ処理部１２から供給された左目画像データおよび右目画像データを多重化して、ステレオ画像データを生成し、出力データとして外部の装置に出力する。第１７図は、この処理モード（２）の場合におけるデータ処理部１２の一例の接続を示す。入力データ処理部２１においては、この例の場合、２つのクラス分類適応処理部３１−１、３１−２が利用される。クラス分類適応処理部３１−１および３１−２には、入力データとしてデータ処理装置１に入力されたＳＤ画像データがそれぞれ供給される。
【００９９】
クラス分類適応処理部３１−１は、供給されるＳＤ画像データに対し、左目画像データを生成するためのクラス分類適応処理を施し、その結果生成された左目画像データをセレクタ２２に供給する。クラス分類適応処理部３１−２は、供給されるＳＤ画像データに対し、右目画像データを生成するためのクラス分類適応処理を施し、その結果生成された右目画像データをセレクタ２２に供給する。セレクタ２２は、入力データ処理部２１のクラス分類適応処理部３１−１、３１−２から供給された左目画像データおよび右目画像データを後処理部１４に供給する。後処理部１４では、供給された左目画像データおよび右目画像データが、機能制御部１１から供給される制御信号に基づきセレクタ１４０により経路を制御されて、多重化部１４１Ｃに供給される。中間データ処理部２３および出力データ処理部２４は、この処理モード（２）の場合、利用されない。
【０１００】
次に、この例の場合における入力データ処理部２１のクラス分類適応処理部３１−１の予測処理について説明する。クラス分類適応処理部３１−１のクラスタップ抽出回路７１（第８図参照）は、この例において必要とされるクラスタップ抽出情報を、レジスタ群６３のレジスタ６３Ａから読み出す。クラス分類適応処理部３１−１は、このクラス分類適応処理により最終的に得られる左目画像を構成する画素を順次、注目画素とする。左目画像は、予測処理前では実際に存在しない画像である。そして、クラス分類処理部３１−１は、その注目画素に対して読み出したクラスタップ抽出情報に基づくクラスタップを抽出し、クラス分類回路７２に供給する。
【０１０１】
第１８図Ａおよび第１８図Ｂは、この処理モード（２）におけるクラスタップ抽出情報の一例を示す。第１８図Ａは左目画像、第１８図Ｂは右目画像にそれぞれ対応する。図中の●（黒色の丸）および○（白色の丸）がＳＤ画素を示す。第１８図Ａの左目画像において、注目画素を黒色の丸の画素としたときに、クラスタップは、注目画素を含む、注目画像からやや（この例では０．５画素分）左側にずれた４画素×３画素とされる。また、後述する予測タップは、クラスタップに対して右側に１画素分、左側に２画素分広い、７画素×３画素とされる。
【０１０２】
一方、第１８図Ｂに示される右目画像では、クラスタップは、上述の左目画像とは逆に、注目画像からやや（上述と同様に０．５画素分）右側にずれた４画素×３画素とされ、予測タップは、クラスタップに対して左側に１画素、右側に２画素分広い、７画素×３画素とされる。
【０１０３】
クラス分類回路７２は、この処理モード（２）において必要とされるクラスタップ抽出情報をレジスタ群６３のレジスタ６３Ａから読み出し、そのクラスタップ抽出情報に基づいて注目画素のクラスを決定し、適応処理部６２の係数メモリ８３に供給する。
【０１０４】
適応処理部６２の予測タップ抽出回路８１は、この処理モード（２）において必要とされる予測タップ抽出情報をレジスタ群６３のレジスタ６３Ｂから読み出す。そして予測タップ抽出回路８１は、適応処理部６２に供給されるＳＤ画像から注目画素に対して、読み出した予測タップ抽出情報に基づく予測タップを抽出し、予測演算回路８２に供給する。例えば、第１９図においてより具体的に示されるように、点線で示されるような予測タップＡＲ１が形成され、予測演算回路８２に供給される。
【０１０５】
係数メモリ８３は、この例の場合において必要とされる係数情報を、レジスタ群６３のレジスタ６３Ｃから読み出し、その係数情報に基づいて、使用するバンクを設定する。係数メモリ８３は、使用するように設定されたそのバンクから、クラス分類回路７２から供給されるクラスに対応するアドレスに記憶されている予測係数セットのうち、左目画像を生成する場合の予測係数セットを読み出し、予測演算回路８２に供給する。
【０１０６】
予測演算回路８２は、係数メモリ８３からの予測係数セットと、予測タップ係数回路８１からの予測タップを構成するＳＳＤ像の画素値を用いて式（１）を演算し、注目画素の予測値を、左目画像を構成する画素の画素値とする。このようにして予測された画素値を有する画素からなる左目画像は、セレクタ２２に供給される。
【０１０７】
同様にして、右目画像について、クラス分類適応処理部３１−２により処理がなされる。このクラス分類適応処理部３１−２における予測処理は、上述のクラス分類適応処理部３１−１における場合と基本的に同様であるので、その詳細な説明は省略する。クラス分類適応処理部３１−２のクラス分類部６１、適応処理部６２の予測タップ抽出回路８１および係数メモリ８３では、この処理モード（２）において必要とされるタップ抽出情報、予測タップ抽出情報および係数情報を基づいて、クラスタップの抽出、予測タップの抽出および係数メモリ８３からの予測係数セットの読み出しが行われる。
【０１０８】
例えば、予測タップ抽出回路８１では、第１９図において一点鎖線で示されるような、クラス分類適応処理部３１−１により形成された予測タップＡＲ１に対して数画素分だけ右方向にずれた予測タップＡＲ２が形成される。予測タップＡＲ１およびＡＲ２のずれ量は、生成しようとする左目画像と右目画像との間にどの程度の視差を設けるかに応じて設定するようにする。
【０１０９】
また、クラス分類適応処理部３１−２の係数メモリ８３は、バンクから、右目画像を生成する場合の予測係数セットを読み出し、予測演算回路８２に供給する。予測演算回路８２は、係数メモリ８３からの予測係数セットと、予測タップ係数回路８１からの予測タップを用いて、式（１）を演算し、注目画素の予測値を、右目画像を構成する画素の画素値とする。このようにして予測された画素値を有する画素からなる右目画像は、セレクタ２２に供給される。
【０１１０】
次に、この処理モード（２）における学習処理について説明する。クラス分類適応処理部３１−１における学習では、第２０図に示すように、それぞれ視差のある位置に設けた３台のテレビジョンカメラ（左目用カメラＬ、右目用カメラＲ、および中央カメラＣ）によって同時に撮像され、その結果得られた被写体画像のうち、左目用カメラＬおよび中央カメラＣによる被写体画像が使用される。なお、クラス分類適応処理部３１−２における学習処理においては、右目用カメラＲと中央カメラＣによる被写体画像が使用される。
【０１１１】
第２１図は、この処理モード（２）における、クラス分類適応処理部３１−１および３１−２に対する学習処理を実行する場合の一例の構成を示す。なお、この構成では、第１１図の構成における間引き回路９１が利用されない。
【０１１２】
クラス分類部９２および予測タップ抽出回路９３には、中央カメラＣからの画像が供給され、教師データ抽出回路９５には、左目用カメラＬからの画像が供給される。すなわち、この例の場合、中央カメラＣからの画像を使ってクラス分類が行われ（クラスが決定され）、その各クラスについて左目用カメラＬからの画像を教師データとして、中央カメラＣにより撮像された画像と左目用カメラＬにより撮像された画像との相関関係を表す予測係数が求められる。このようにして求められた予測係数のセットが、クラス分類適応処理部３１−１の係数メモリ８３に記憶される。なお、ここでのクラス分類部９２乃至演算回路９７における処理は、基本的に、第１１図を参照して上述した場合と同様であるので、その説明は省略する。
【０１１３】
クラス分類適応処理部３１−２に対する学習処理は、右目用カメラＲからの画像を教師データとする以外は、上述したクラス分類適応処理部３１−１に対する学習処理と同様である。すなわち、中央カメラＣにより撮像された画像と右目用カメラＲにより撮像された画像との相関関係を表す予測係数が求められる。このようにして求められた予測係数のセットが、クラス分類適応処理部３１−２の係数メモリ８３に記憶される。また、左目画像および右目画像を生成するためのクラス分類適応処理については、本出願人が先に出願した特開平９−５５９６２（１９９７年２月２５日公開）により詳細に示されている。
【０１１４】
第２２図は、処理モード（３）の、輝度信号と色差信号とを生成する処理を実行する場合のデータ処理装置１の一例の構成を示す。ここでは、データ処理装置１には、外部の装置から、ＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式の画像（以下、ＮＴＳＣ画像と称する）による画像データ（以下、ＮＴＳＣ画像データと称する）が供給される。なお、データ処理装置１に供給されるＮＴＳＣ画像データは、ＳＤ画像の１つであると共に、輝度信号Ｙと色差信号Ｕ、Ｖとが周波数多重された、所謂コンポジットビデオ信号（以下、コンポジット信号ＮＴＳＣと称する）に基づくものであるとする。
【０１１５】
データ処理装置１では、供給されたＮＴＳＣ画像データを、輝度Ｙおよび色差Ｕ、Ｖのデータに分離する。データ処理装置１に供給されたＮＴＳＣ画像データは、前処理部１３でゲイン補正、副搬送波再生、移相などの処理をされ、データ処理部１２に供給される。データ処理部１２では、予め学習された予測係数セットに基づき供給されたデータに対してクラス分類適応処理を施し、輝度信号Ｙ、色差信号Ｕ、Ｖをそれぞれ生成して出力する。以下この出力を、まとめてコンポーネント信号（Ｙ、Ｕ、Ｖ）と称する。なお、この処理モード（３）においては、前処理部１３は、上述したような遅延回路ではなく、ゲイン補正、副搬送波再生、移相などの処理を行う回路が用いられる。
【０１１６】
第２３図は、この処理モード（３）におけるデータ処理部１２の一例の接続を示す。入力データ処理部２１においては、処理モード（３）の場合、３つのクラス分類適応処理部３１−１、３１−２およびが利用される。クラス分類適応処理部３１−１、３１−２および３１−３には、入力データとしてデータ処理装置１に入力されたＳＤ画像データが前処理部１３で後述するように処理された、信号ＮＴＳＣ−Ｙ、ＮＴＳＣ−ＵおよびＮＴＳＣ−Ｖがそれぞれ供給される。
【０１１７】
クラス分類適応処理部３１−１は、供給される信号ＮＴＳＣ−Ｙに対し、輝度信号Ｙを生成するためのクラス分類適応処理を施し、その結果生成された輝度信号Ｙをセレクタ２２に供給する。同様に、クラス分類適応処理部３１−２および３１−３は、供給される信号ＮＴＳＣ−ＵおよびＮＴＳＣ−Ｖに対し、色差信号ＵおよびＶを生成するためのクラス分類適応処理をそれぞれ施し、その結果生成された色差信号ＵおよびＶをそれぞれセレクタ２２に供給する。
【０１１８】
セレクタ２２は、入力データ処理部２１のクラス分類適応処理部３１−１、３１−２および３１−３から供給された輝度信号Ｙ、色差信号ＵおよびＶを出力信号として後処理部１４に供給し、後処理部１４では、供給されたこれらの信号をそのまま出力する。中間データ処理部２３および出力データ処理部２４は、この処理モード（２）の場合、利用されない。
【０１１９】
第２４図は、コンポジット信号ＮＴＳＣをクラス分類適応処理によって、コンポーネント信号（Ｙ、Ｕ、Ｖ）へ分離するＹ／Ｃ分離装置を、データ処理装置１の処理モード（３）で実現する一例の構成を示す。図中に点線で示されるように、クラス分類回路５０、５１および５２より前が前処理部１３に相当し、後ろがクラス分類適応処理部３１−１、３１−２および３１−３に相当する。また、クラス分類部５０がクラス分類適応処理部３１のクラス分類部６１に相当し、予測フィルタ５３がクラス分類適応処理部３１の適応処理部６２に相当する。なお、クラス分類適応処理部３１のレジスタ群６３は、第２４図においては省略されている。
【０１２０】
１４１で示す入力端子からコンポジット信号ＮＴＳＣが供給され、副搬送波再生回路１４２において、供給されたコンポジット信号ＮＴＳＣに付加されている副搬送波が抽出され、再生される。同時に、供給されたコンポジット信号ＮＴＳＣは、ゲイン補正回路１４３、１４４、１４５へ供給され、ゲイン補正回路１４３では、コンポジット信号ＮＴＳＣから輝度信号Ｙのレベルへ変換するためのゲイン補正が施される。このゲイン補正回路１４３から出力される信号は、ＮＴＳＣ−Ｙ信号となり、クラス分類回路１５０へ供給される。
【０１２１】
同様に、ゲイン補正回路１４４において、ゲイン補正が施される。副搬送波再生回路１４２から再生された副搬送波に対して、−１２３度、移相された副搬送波と、ゲイン補正回路１４４の出力とが、乗算回路１４８において、掛け合わされ、ＮＴＳＣ−Ｕ信号が生成される。このＮＴＳＣ−Ｕ信号は、クラス分類回路１５１へ供給される。
【０１２２】
さらに、同様に、ゲイン補正回路１４５において、ゲイン補正が施される。副搬送波再生回路１４２から再生された副搬送波に対して、−３３度、移相された副搬送波と、ゲイン補正回路１４５の出力とが、乗算回路１４９において、乗算され、ＮＴＳＣ−Ｖ信号が生成される。このＮＴＳＣ−Ｖ信号は、クラス分類回路１５２へ供給される。
【０１２３】
クラス分類回路１５０は、供給されたＮＴＳＣ−Ｙ信号から生成したクラスコードＰとデータＢを予測フィルタ１５３へ出力する。予測フィルタ１５３では、供給されたクラスコードＰに対応したフィルタ係数が読み出され、読み出されたフィルタ係数と、供給されたデータＢが演算され、輝度信号Ｙが生成される。生成された輝度信号Ｙは、出力端子１５６から取り出される。
【０１２４】
また、クラス分類回路１５１は、供給されたＮＴＳＣ−Ｕ信号から生成したクラスコードＰとデータＢを予測フィルタ１５４へ出力する。予測フィルタ１５４では、供給されたクラスコードＰに対応したフィルタ係数が読み出され、読み出されたフィルタ係数と、供給されたデータＢが演算され、色差信号Ｕが生成される。生成された色差信号Ｕは、出力端子１５７から取り出される。
【０１２５】
同様に、クラス分類回路１５２は、供給されたＮＴＳＣ−Ｖ信号から生成したクラスコードＰとデータＢを予測フィルタ１５５へ出力し、予測フィルタ１５５から色差信号Ｖが出力端子１５８を介して取り出される。このようにして、コンポーネント信号（Ｙ、Ｕ、Ｖ）を得ることができる。
【０１２６】
この処理モード（３）で用いられるクラスタップおよび予測タップを、第２５図および第２６図を用いて説明する。クラスタップは、第２５図Ａおよび第２５図Ｂに一例が示されるように、注目画素を画素ＶＯとしたときに、画素ＶＯが含まれるフィールド（０フィールド）の、垂直方向には画素ＶＯおよび画素ＶＯの上下のラインの対応位置にある画素ＶＡおよび画素ＶＢと、水平方向には画素ＶＯに対して１画素飛ばした両側の画素ＶＣおよびＶＤとからなり、さらに、前フレーム（−１フレーム＝−２フィールド）の、画素ＶＯに対応する位置の画素ＶＥも用いられる。なお、水平方向において画素ＶＯに対して１画素飛ばした画索ＶＣおよびＶＤを用いるのは、位相を同期させるためである。
【０１２７】
一方、予測タップは、第２６図に一例が示されるように、画素ＶＯが含まれるフィールドにおける画素ＶＯを含む画素ＶＯの周囲それぞれ１画素と、上述の画素ＶＣおよびＶＤと、画素ＶＯを含むフィールドの前フレームにおける対応画素とが全て用いられる。後述する学習時に画素の位相の違いが加味されて係数が求められるため、位相の異なる画素を混在させて予測タップを抽出することができる。
【０１２８】
次に、この処理モード（３）における学習処理について説明する。第２７図は、この処理モード（３）における、クラス分類適応処理部３１−１、３１−２および３１−３に対する学習処理を実行する場合の一例の構成を示す。この構成では、上述の第１１図の構成に対して間引き回路９１が用いられず、代わりにＮＴＳＣエンコーダ１９１が設けられる。なお、第２７図において上述の第１１図と共通する部分には同一の符号を付し、詳細な説明を省略する。
【０１２９】
所定の輝度信号Ｙ、色差信号Ｕ、ＶがＮＴＳＣエンコーダ１９１に供給され、コンポジット信号ＮＴＳＣにエンコードされる。コンポジット信号ＮＴＳＣは、クラス分類部９２および予測タップ抽出回路９３に供給される。すなわち、この構成では、コンポジット信号ＮＴＳＣを用いて注目画素のクラス分類および予測タップの抽出を行う。また、輝度信号Ｙ、色差信号Ｕ、Ｖは、それぞれ教師データ抽出回路９５に供給される。このように、この構成では、輝度信号Ｙ、色差信号Ｕ、Ｖをそれぞれ教師データとして、コンポジット信号ＮＴＳＣを用いて予測係数セットが生成される。
【０１３０】
予測係数セットは、教師データに対応し、輝度信号Ｙ、色差信号Ｕ、Ｖのそれぞれについて生成される。輝度信号Ｙに対する予測係数セットは、クラス分類適応処理部３１−１、すなわちクラス分類部１５０および予測フィルタ１５３に適用され、色差信号Ｕに対する予測係数セットは、クラス分類適応処理部３１−２、すなわちクラス分類部１５１および予測フィルタ１５４に適用され、色差信号Ｖに対する予測係数セットは、クラス分類適応処理部３１−３、すなわちクラス分類部１５２および予測フィルタ１５５に適用される。
【０１３１】
第２８図は、上述した処理モード（４）の、アスペクト比を変換する場合のデータ処理装置１の一例の構成を示す。この例の場合、データ処理部１２は、入力データとしての画像データに対応する画像（以下、入力画像と称する）の水平方向の画素数のみを増加させて、アスペクト比を変更する。
【０１３２】
この例の場合、入力画像の、時間的に連続する３つの画素（水平方向に連続して配列されている３つの画素）から、出力データとしての画像データに対応する画像（以下、出力画像と称する）の、時間的に連続する４つの画素（水平方向に連続して配列される４つの画素）が予測される。この場合、出力画像の画素は、予測により新たに作られることになる。すなわち、この例では、水平方向の画素数が入力画像に対して３対４の割合で多い出力画像が生成される。
【０１３３】
機能制御部１１は、この例の場合において入力されるコマンドに対応する制御信号を、データ処理部１２に出力する。データ処理部１２は、機能制御部１２からの制御信号により処理モード（４）に応じたバンクが選択される。そして、選択されたバンクの係数セットに基づき、上述したように、３つの画素に対して４つの画素を生成するためのクラス分類適応処理を実行する。データ処理部１２では、このように、４つの画素毎にクラス分類適応処理が行われる。そのため、後処理部１４では、セレクタ１４０によって、それらを多重化する多重化部１４１Ｃが機能制御部１１からの制御信号により選択される。
【０１３４】
多重化部１４１Ｃは、データ処理部１２から供給される画像データを多重化する。すなわち、多重化部１４１Ｃからは、入力画像のアスペクト比が変更された出力画像が出力データとして外部の装置に出力される。
【０１３５】
第２９図は、この処理モード（４）の場合におけるデータ処理部１２の一例の接続を示す。入力データ処理部２１においては、この例の場合、４つのクラス分類適応処理部３１−１乃至３１−４が利用される。入力画像は、クラス分類適応処理部３１−１乃至３１−４にそれぞれ供給される。
【０１３６】
入力データ処理部２１は、入力画像に対して所定のクラス分類適応処理を施し、その結果生成された、入力画像に対して水平方向の画素数が３対４の割合で増加された出力画像を構成する画像データ（画素単位の画像データ）を、セレクタ２２に供給する。
【０１３７】
セレクタ２２は、入力データ処理部２１から供給された画像データを、後処理部１４に供給する。後処理部１４では、上述したように、機能制御部１１から供給された制御信号に基づき、セレクタ１４０により多重化部１４１Ｃが選択される。後処理部１４に供給された画像データは、多重化部１４１Ｃに供給され多重化されて出力画像データとして出力される。なお、中間データ処理部２３および出力データ処理部２４は、この処理モード（４）では利用されない。
【０１３８】
次に、この処理モード（４）における入力データ処理部２１のクラス分類適応処理部３１の予測処理について、第３０図を用いて説明する。第３０図Ａおよび第３０図Ｂは、それぞれ入力画像および出力されるべき画像の画素を概略的に示す。
【０１３９】
クラス分類適応処理部３１−１では、出力画像を構成する画素のうち、入力画像の画素に対応して第１の位相関係にある画素、すなわち入力画像の画素と同一の垂直線上に配置される画素を注目画素として、クラス分類適応処理が行われ、その注目画素の画素値が予測される。第３０図の例では、入力画像を構成する画素Ｐａ１、Ｐａ４とそれぞれ対応する、出力画像を構成する画素Ｐｂ１、Ｐｂ５が注目画素として用いられる。
【０１４０】
クラス分類適応処理部３１−２では、クラス分類適応処理部３１−１により画素値が予測された画素の時間的に直後に配列される画素、すなわち入力画像の画素に対して第２の位相関係にある画素を注目画素として、クラス分類適応処理が行われ、その注目画素の画素値が予測される。第３０図Ｂの例では、上述のように画素Ｐｂ１がクラス分類適応処理部３１−１により画素値が予想された画素であり、その隣りに配列される画素Ｐｂ２がクラス分類適応処理部３１−２の注目画素とされる。
【０１４１】
クラス分類適応処理部３１−３では、クラス分類適応処理部３１−２により画素値が予測された画素の時間的に直後に配列される画素、すなわち入力画像の画素に対して第３の位相関係にある画素を注目画素として、クラス分類適応処理が行われ、その注目画素の画素値が予測される。第３０図Ｂの例では、上述のように画素Ｐｂ２がクラス分類適応処理部３１−２により画素値が予想された画素であり、その隣りに配列される画素Ｐｂ３がクラス分類適応処理部３１−３の注目画素とされる。
【０１４２】
クラス分類適応処理部３１−４では、クラス分類適応処理部３１−３により画素値が予測された画素（第３０図Ｂの例では、画素Ｐｂ３）の時間的に直後に配列される画素（入力画像の画素に対して第４の位相関係にある画素）（第３０図Ｂの例では、画素Ｐｂ４）を注目画素として、クラス分類適応処理が行われ、その注目画素の画素値が予測される。第３０図Ｂの例では、上述のように画素Ｐｂ３がクラス分類適応処理部３１−３により画素値が予想された画素であり、その隣りに配列される画素Ｐｂ４がクラス分類適応処理部３１−４の注目画素とされる。
【０１４３】
すなわち、いま、水平方向の画素数を３対４の割合で増加させるので、出力画像の画素（注目画素）と入力画像の画素の水平方向の位相関係は、４種類存在する。クラス分類適応処理部３１−１乃至３１−４は、４つの位相関係のうち、それぞれ１つの位相関係のクラス分類適応処理を行い、その結果生成された画素をそれぞれセレクタ２２に供給する。
【０１４４】
セレクタ２２は、クラス分類適応処理部３１から供給された画像データ（画素）を後処理部１４に供給する。後処理部１４では、上述したが、機能制御部１１から供給された制御信号に基づくセレクタ１４０の選択により、供給された画像データが多重化部１４１Ｃに供給される。多重化部１４１Ｃに供給された画像データは、多重化されて出力画像データとして外部の装置に出力される。以上のようにして、アスペクト比が変更される。
【０１４５】
なお、上述では、処理モード（４）において水平走査方向に画素を増やすことで、アスペクト比を変更したが、同様の処理で、水平走査方向に画素を減らすようにしてアスペクト比を変更することも可能である。
【０１４６】
第３１図は、上述した処理モード（５）の、異なる解像度の画像を生成する場合のデータ処理装置１の一例の構成を示す。この例の場合、データ処理部１２は、外部の装置から供給される入力データとしてのＳＤ画像データから、それぞれ解像度が異なる複数の画像に対応した画像データを生成し、外部の装置に出力データとして出力する。
【０１４７】
第３２図は、この処理モード（５）におけるデータ処理部１２の一例の接続を示す。入力データ処理部２１においては、この例の場合、クラス分類適応処理部３１−１、３１−２が利用される。クラス分類適応処理部３１−１、３１−２には、入力データとしてのＳＤ画像データがそれぞれ供給される。クラス分類適応処理部３１−１は、供給されたＳＤ画像データに対しクラス分類適応処理を施し、その結果生成された第１の解像度を有する画像の画像データを、セレクタ２２に供給する。
【０１４８】
クラス分類適応処理部３１−２は、供給されたＳＤ画像データに対しクラス分類適応処理を施し、その結果生成された第２の解像度を有する画像の画像データを、セレクタ２２に供給する。セレクタ２２は、入力データ処理部２１のクラス分類適応処理部３１−１から供給された第１の解像度を有する画像の画像データを、出力データ処理部２４のクラス分類適応処理部５１−１、５１−２に、それぞれ供給する。セレクタ２２はまた、入力データ処理部２１のクラス分類適応処理部３１−２から供給された第２の解像度を有する画像の画像データを、出力データ処理部２４のクラス分類適応処理部５１−３、５１−４に、それぞれ供給する。出力データ処理部２４においては、この例の場合、クラス分類適応処理部５１〜１乃至５１−４が利用される。
【０１４９】
クラス分類適応処理部５１−１は、セレクタ２２を介して供給された、クラス分類適応処理部３１−１により生成された第１の解像度を有する画像の画像データに対してクラス分類適応処理を施し、その結果生成された第３の解像度を有する画像の画像データを、出力データとして出力する。クラス分類適応処理部５１−２は、セレクタ２２を介して供給された、クラス分類適応処理部３１−１により生成された第１の解像度を有する画像の画像データに対してクラス分類適応処理を施し、その結果生成された第４の解像度を有する画像の画像データを、出力データとして出力する。クラス分類適応処理部５１−３は、セレクタ２２を介して供給された、クラス分類適応処理部３１−２により生成された第２の解像度を有する画像の画像データに対してクラス分類適応処理を施し、その結果生成された第５の解像度を有する画像の画像データを、出力データとして出力する。クラス分類適応処理部５１−４は、セレクタ２２を介して供給された、クラス分類適応処理部３１−２により生成された第２の解像度を有する画像の画像データに対してクラス分類適応処理を施し、その結果生成された第６の解像度を有する画像の画像データを、出力データとして出力する。処理モード（５）によれば、以上のようにして解像度が異なる複数の画像を生成することができる。これにより、例えば異種サイズのマルチウインドウ表示が可能とされる。
【０１５０】
なお、入力データ処理部２１および出力データ処理部２４の各クラス分類適応処理部でのクラス分類適応処理は、上述したデータ処理装置１の処理モード（１）における場合と同様とすることができる。また、この処理モード（５）では、クラスタップおよび予測タップとして、例えば上述した処理モード（１）におけるクラスタップおよび予測タップと同様の構成のものを用いることができる。第３３図は、上述の処理モード（６）の、フレームレートを変換する場合のデータ処理装置１の一例の構成を示す。この場合、データ処理装置１は、入力データとして入力された画像のフレームレートを変換する。
【０１５１】
機能制御部１１は、この処理モード（６）において入力されるコマンドに対応する制御信号を、データ処理部１２に供給する。データ処理部１２は、機能制御部１１からの制御信号により処理モード（６）に応じたバンクが選択される。そして、選択されたバンクの係数セットに基づき、入力データとしての画像データから新たなフレームを生成するためのクラス分類適応処理を実行する。この処理モード（６）では、後処理部１４において、データ処理部１２により新たに生成されたフレームを多重化するために、機能制御部１１からの制御信号により多重化部１４１Ｃが選択される。
【０１５２】
多重化部１０６は、データ処理部１２から供給された画像データ（フレーム単位の画像データ）を、時系列上に並べて多重化し、出力データとして外部に出力する。
【０１５３】
第３４図は、この処理モード（６）におけるデータ処理部１２の一例の接続を示す。入力データ処理部２１においては、この例の場合、クラス分類適応処理部３１−１、３１−２が利用される。クラス分類適応処理部３１−１、３１−２には、それぞれ入力データとしての画像が入力される。
【０１５４】
入力画像は、例えば第３５図Ａに示すように、周期Ｔａのフレーム構成を有するものとする。一方、フレームレートが変換された出力画像は、第３５図Ｂに示すように、周期Ｔａ／２のフレーム構成を有するものとする。すなわち、この例の場合、フレームレートが２倍に変換される。
【０１５５】
クラス分類適応処理部３１−１では、入力画像を構成するフレームに対して、後段の多重化部１４１Ｃにおいて時間的に後に配列される出力画像のフレームを生成するためのクラス分類適応処理が行われる。なお、実際には、クラス分類適応処理部３１−１および３１−２では、画素単位でフレームが扱われる。クラス分類適応処理部３１−１によるこのクラス分類適応処理により、出力画像を構成するフレームが生成される。第３５図の例では、第３５図Ｂに示されるように、第３５図Ａの入力画像のフレームＡ−１乃至Ａ−３のそれぞれに対して時間的に後に配列される、出力画像のフレームＢ−２、Ｂ−４、Ｂ−６（第３５図Ｂ中、白抜きで示されているフレーム）がクラス分類適応処理部３１−１で生成される（第３５図Ｂ参照）。クラス分類適応処理部３１−１は、生成したフレームをセレクタ２２に供給する。
【０１５６】
クラス分類適応処理部３１−２では、出力画像の、入力画像を構成するフレームに対して、後段の多重化部１４１Ｃにおいて時間的に前に配列されるフレームを生成するためのクラス分類適応処理が行われる。クラス分類適応処理部３１−２によるこのクラス分類適応処理により、出力画像を構成する他のフレームが生成される。第３５図の例では、第３５図Ｂに示されるように、第３５図Ａの入力画像のフレームＡ−１乃至Ａ−３のそれぞれに対して時間的に前に配列される、出力画像のフレームＢ−１，Ｂ−３，Ｂ−５（第３５図Ｂ中、影が付されているフレーム）が生成される（第３５図Ｂ参照）。クラス分類適応処理部３１−２は、生成したフレームをセレクタ２２に供給する。
【０１５７】
セレクタ２２は、クラス分類適応処理部３１−１、３１−２から供給されたフレームを後処理部１４に供給する。後処理部１４では、機能制御部１１から供給される制御信号に基づくセレクタ１４０の選択により、供給されたフレームが多重化部１４１Ｃに供給される。多重化部１４１Ｃに供給されたフレームは、第３５図Ｂを参照して説明したような規則に従って多重化され、出力データとして外部の装置に出力される。処理モード（６）では、このようにしてフレームレートの変換が行われる。
【０１５８】
第３６図は、この処理モード（６）におけるクラスタップ抽出情報の一例を示す。上述した第３５図Ａを例にとって説明する。注目画素が存在するフレームＡ−２において、注目画素を含み、注目画素を中心とした３画素×３画素がクラスタップとして抽出される。また、フレームＡ−２の直前および直後のフレームＡ−１およびＡ−３において、フレームＡ−２でクラスタップとして抽出された画素に対応する画素がクラスタップとしてさらに選択される。すなわち、処理モード（６）では、３画素×３画素×３フレームでクラスタップが構成される。なお、図示は省略するが、予測タップは、例えば注目画素が存在するフレームＡ−２を含み、フレームＡ−２の前後２フレームの計５フレームが抽出され、それら５フレームにおいてフレーム毎に、クラスタップよりも外側に１画素分大きい５画素×５画素が抽出される。すなわち、処理モード（６）では、例えば５画素×５画素×５フレームで予測タップが構成される。
【０１５９】
また、入力データ処理部２１のクラス分類適応処理部３１−１，３１−２でのクラス分類適応処理は、上述したデータ処理装置１の処理モード（１）における処理と同様とすることができる。
【０１６０】
なお、上述では、この発明が画像データに適用された例が説明されているが、この発明はこれに限定されない。この発明は、例えば音声データや、さらに他のデータにも適用することができるものである。また、上述では、この実施の一形態によるデータ処理装置１において上述した処理モード（１）乃至（６）が実現されるように説明したが、これはこの例に限定されない。すなわち、データ処理装置１は、予測係数セットや、クラスタップ構造および予測タップ構造を所定に用意することで、処理モード（１）乃至（６）以外の処理を実現させることができるものである。
【図面の簡単な説明】
【図１】第１図は、本発明を適用したデータ処理装置の基本的構成例を示すブロック図である。
【図２】第２図は、データ処理装置の前処理部の一例の構成を示すブロック図である。
【図３】第３図は、データ処理装置のデータ処理部の一例の構成を示すブロック図である。
【図４】第４図は、データ処理装置の後処理部の一例の構成を示すブロック図である。
【図５】第５図は、処理モード（１）の、解像度を向上させる処理を実行する場合のデータ処理装置１の一例の構成を示すブロック図である。
【図６】第６図は、ＳＤ画像およびＨＤ画像の画素配列を示す略線図である。
【図７】第７図は、処理モード（１）におけるデータ処理部の一例の接続を示すブロック図である。
【図８】第８図は、クラス分類適応処理部の予測処理のための構成例を示すブロック図である。
【図９】第９図は、処理モード（１）におけるクラスタップ抽出情報の一例を示す略線図である。
【図１０】第１０図は、ＳＤ画像およびＨＤ画像の画素配列を示す他の略線図である。
【図１１】第１１図は、クラス分類適応処理部の係数メモリに予め記憶させる予測係数を算出する学習処理を行うための学習装置の一例の構成を示すブロック図である。
【図１２】第１２図は、処理モード（１）を他の処理方法によって行う場合のデータ処理装置の一例の構成を示すブロック図である。
【図１３】第１３図は、処理モード（１）の他の処理方法におけるデータ処理部の一例の接続を示すブロック図である。
【図１４】第１４図は、処理モード（１）の他の処理方法におけるクラスタップ抽出情報の一例を示す略線図である。
【図１５】第１５図は、処理モード（１）の他の処理方法における画素配列を示す他の略線図である。
【図１６】第１６図は、処理モード（２）の、右目専用の画像および左目専用の画像を生成する処理を実行する場合のデータ処理装置の一例の構成を示すブロック図である。
【図１７】第１７図は、処理モード（２）の場合におけるデータ処理部の一例の接続を示すブロック図である。
【図１８】第１８図は、処理モード（２）におけるクラスタップ抽出情報の一例を示す略線図である。
【図１９】第１９図は、処理モード（２）における予測タップをより具体的に示す略線図、
【図２０】第２０図は、学習に使用する画像を説明するための略線図である。
【図２１】第２１図は、処理モード（２）における、クラス分類適応処理部に対する学習処理を実行する場合の一例の構成を示すブロック図である。
【図２２】第２２図は、処理モード（３）の、輝度信号と色差信号とを生成する処理を実行する場合のデータ処理装置の一例の構成を示すブロック図である。
【図２３】第２３図は、処理モード（３）におけるデータ処理部の一例の接続を示すブロック図である。
【図２４】第２４図は、コンポジット信号ＮＴＳＣをクラス分類適応処理によってコンポーネント信号（Ｙ、Ｕ、Ｖ）へ分離するＹ／Ｃ分離装置を、データ処理装置の処理モード（３）で実現する一例の構成を示すブロック図である。
【図２５】第２５図は、処理モード（３）におけるクラスタップ抽出情報の一例を示す略線図である。
【図２６】第２６図は、処理モード（３）における予測タップ抽出情報の一例を示す略線図である。
【図２７】第２７図は、処理モード（３）におけるクラス分類適応処理部に対する学習処理を実行する場合の一例の構成を示すブロック図である。
【図２８】第２８図は、処理モード（４）のアスペクト比を変換する場合のデータ処理装置の一例の構成を示すブロック図である。
【図２９】第２９図は、処理モード（４）の場合におけるデータ処理部の一例の接続を示すブロック図である。
【図３０】第３０図は、処理モード（４）における入力データ処理部のクラス分類適応処理部の予測処理について説明するための略線図である。
【図３１】第３１図は、処理モード（５）の異なる解像度の画像を生成する場合のデータ処理装置の一例の構成を示すブロック図である。
【図３２】第３２図は、処理モード（５）におけるデータ処理部１２の一例の接続を示すブロック図である。
【図３３】第３３図は、処理モード（６）のフレームレートを変換する場合のデータ処理装置の一例の構成を示すブロック図である。
【図３４】第３４図は、処理モード（６）におけるデータ処理部の一例の接続を示すブロック図である。
【図３５】第３５図は、入力画像および出力画像のフレーム構成を説明する略線図である。
【図３６】第３６図は、処理モード（６）におけるクラスタップ抽出情報の一例を示す略線図である。
【符号の説明】
１ データ処理装置
１１ 機能制御部
１２ データ処理部
１３ 前処理部
１４ 後処理部
２１ 入力データ処理部
２２ セレクタ
２３ 中間データ処理部
２４ 出力データ処理部
３１、５１ クラス分類適応処理部
４１ メモリ

Claims (12)

1. それぞれ入力された情報信号に対して複数種類の異なるクラス分類適応処理を実行可能な複数のクラス分類適応処理回路と、
   前記複数のクラス分類適応処理回路の間の接続関係を切り換える切り換え回路と、
   外部装置から入力される処理の実行を指令するコマンドを受け付け、該コマンドに対応する制御信号を前記クラス分類適応処理回路および前記切り換え回路に供給する機能制御部とを備え、
   前記複数のクラス分類適応処理回路は前記切り換え回路を介して接続されており、
   前記切り換え回路は、前記機能制御部から供給された制御信号に基づいて前記複数のクラス分類適応処理回路の間の接続関係を切り換え、
   前記複数のクラス分類適応処理回路の少なくとも１つは、前記機能制御部から供給された前記制御信号に基づいて、前記切り換え回路による前記接続関係の切り換えと連動して、前記クラス分類適応処理におけるクラスタップの構造、または予測タップの構造を切り換えることにより、前記情報信号に対して実行する前記クラス分類適応処理の種類を切り換える情報処理装置。
2. 前記複数のクラス分類適応処理回路の少なくとも１つは、前記切り換え回路による前記接続関係の切り換えと連動して、前記クラス分類適応処理における係数を切り換えることにより、前記情報信号に対する処理を切り換えることを特徴とする請求の範囲１に記載の情報処理装置。
3. 入力された前記情報信号は、前記複数のクラス分類適応処理回路を介して出力されることを特徴とする請求の範囲１に記載の情報処理装置。
4. 前記入力された情報信号に対して所定の処理を施し、前記接続関係の切り換えと連動して前記所定の処理を切り換えるようにされた前処理回路をさらに有し、
   前記前処理回路からの出力が前記クラス分類適応処理回路に入力されることを特徴とする請求の範囲１に記載の情報処理装置。
5. 入力された情報信号に対して所定の処理を施し、前記接続関係の切り換えと連動して前記所定の処理を切り換えるようにされた後処理回路をさらに有し、
   前記クラス分類適応処理回路からの出力は、前記後処理回路に入力されることを特徴とする請求の範囲１に記載の情報処理装置。
6. 前記情報信号は画素情報からなる画像データであって、前記クラス分類適応処理回路は、前記入力された情報信号の前記画素情報に基づき前記クラス分類適応処理を行い、前記入力された情報信号の前記画素情報と該画素情報の近傍の画素情報との間にあるべき画素情報を予測することで前記画像データの解像度を向上させることを特徴とする請求の範囲１に記載の情報処理装置。
7. 前記情報信号は画素情報からなる画像データであって、前記クラス分類適応処理回路は、前記入力された情報信号に対して、予め用意された左目用係数を用いて前記クラス分類適応処理を行い左目用画像データの画素情報を予測すると共に、予め用意された右目用係数を用いて基づき前記クラス分類適応処理を行い右目用画像データの画素情報を予測し、前記左目用画像データと前記右目用画像データとからステレオ画像データを生成するようにしたことを特徴とする請求の範囲１に記載の情報処理装置。
8. 前記情報信号は画素情報からなる画像データであって、前記クラス分類適応処理回路は、前記入力された情報信号に対して、予め用意された輝度信号用係数を用いて前記クラス分類適応処理を行い前記画像データの輝度信号成分を予測すると共に、他の前記クラス分類適応処理回路は、予め用意された色差信号用係数を用いて前記クラス分類適応処理を行い前記画像データの色差成分を予測し、前記画像データの輝度成分と色差成分とを分離することを特徴とする請求の範囲１に記載の情報処理装置。
9. 前記情報信号は画素情報からなる画像データであって、前記入力された情報信号に対して、前記複数のクラス分類適応処理回路のうち２以上のそれぞれが互いに異なる位相の前記画素情報について前記クラス分類適応処理を行い、前記画像データを構成する前記画素情報の個数を変更することを特徴とする請求の範囲１に記載の情報処理装置。
10. 前記情報信号は画素情報からなる画像データであって、前記入力された情報信号に対して、前記複数のクラス分類適応処理回路のそれぞれのうち２以上が前記クラス分類適応処理を行い、前記複数のクラス分類適応処理回路により行われる前記クラス分類適応処理のそれぞれに応じた、互いに異なる解像度の複数の画像データを得る
    ことを特徴とする請求の範囲１に記載の情報処理装置。
11. 前記クラス分類適応処理回路は、前記入力された情報信号に対してクラス分類適応処理を行い第１の解像度を有する画像データを得、他の前記クラス分類適応処理回路は、該第１の解像度を有する画像データに対してクラス分類適応処理を行い第２の解像度を有する画像データを得ることを特徴とする請求の範囲１０に記載の情報処理装置。
12. 前記情報信号は画素情報からなりフレーム単位で構成される画像データであって、前記クラス分類適応処理回路は、前記フレーム単位で前記入力された情報信号に前記クラス分類適応処理を行い、前記入力された情報信号の前記フレームに対して時間的に前後のフレームの画像データを生成することを特徴とする請求の範囲１に記載の情報処理装置。

Images