JP4154768B2 - 画像情報変換装置および画像表示装置 - Google Patents
画像情報変換装置および画像表示装置 Download PDFInfo
- Publication number
- JP4154768B2 JP4154768B2 JP29945298A JP29945298A JP4154768B2 JP 4154768 B2 JP4154768 B2 JP 4154768B2 JP 29945298 A JP29945298 A JP 29945298A JP 29945298 A JP29945298 A JP 29945298A JP 4154768 B2 JP4154768 B2 JP 4154768B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- output image
- image signal
- signal
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば、テレビジョン受像機に用いて好適な画像情報変換装置および画像表示装置に関する。
【０００２】
【従来の技術】
入力画像信号を線形補間処理して、垂直方向の画素数（ライン数）を２倍とする画像処理装置が知られている。このような画像処理装置は、例えばインターレス方式をプログレッシブ方式に変換するのに適用できる。この変換は、インターレス方式であることに起因するラインフリッカを軽減するためになされる。例えばグラフィックスの画像では、ラインフリッカが目立つ問題があり、グラフィックス画像を表示する時には、インターレス方式よりもプログレッシブ方式の方が高画質とできる。
【０００３】
従来のこの種の画像情報変換装置は、入力される例えば５２５ｉ信号（走査線５２５本のインターレス方式の信号）を動き判定処理し、動きがない場合には、フレーム間補間を行い、動きがある場合には、フィールド内補間を行うようにしている。フィールド間補間は、前フィールドのラインの信号を使用して新たなラインの信号を形成し、フィールド内補間は、同一フィールドの上下のラインの信号の平均値により新たなラインの信号を形成する。
【０００４】
【発明が解決しようとする課題】
従来の画像情報変換装置は、補間により形成する画素の位置が固定されているため、他の時空間位置の画素を生成するためには、その目的に合った専用の装置を構成する必要がある。従って、複数の従来の画像情報変換装置を組み合わせても、他の時空間位置に画素を生成する機能を実現することができない問題があった。従って、従来の画像情報変換装置をＬＳＩ(Large Scale Integrated Circuit)として設計した時に、複数個のＬＳＩを使用しも画像情報変換機能を拡張することができなかった。
【０００５】
また、従来の画像情報変換装置は、入力画像信号を基にして、単に垂直方向の補間を行っているに過ぎないため、解像度は基となるＳＤ信号より高くならない。また、平均値で作成されたラインは、現存ラインと比較して垂直解像度が劣化しているために、現存ラインと補間ラインとの間で、解像度の差が目立つ問題がある。さらに、画像信号にノイズがある場合、上下ラインの平均値を用いた場合には、ランダムノイズを足し合わせることになり、作成ラインでノイズが減少することになる。この結果、ノイズが減少した作成ラインと、そうでない現存ラインとが交互に現れることになり、画質劣化が生じる。さらに、動き検出の結果に基づいて補間方法（静止画処理と動画処理）を切り替える時に、動き検出を誤った時に、画質の劣化が大きい問題があった。
【０００６】
従って、この発明の目的は、複数の機能を実現することが可能で、画質劣化を防止することが可能な画像情報変換装置および画像表示装置を提供することにある。
【０００７】
【課題を解決するための手段】
上述した課題を達成するために、請求項１の発明は、垂直画素数が入力画像信号のＮ倍（Ｎは、４以上の整数）で、それぞれ垂直方向の位置が異なる第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置において、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像情報変換装置である。
【０００８】
請求項２の発明は、垂直画素数が入力画像信号のＮ倍（Ｎは、２以上の整数）で、互いに垂直方向に異なるまたは時間方向に異なると共に、フィールド周波数が入力画像信号のＭ倍（Ｍは、２以上の整数）で第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置において、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とすると共に、第１、第２、第３、および第４の出力画像信号それぞれのフィールド周波数をＭ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像情報変換装置である。
【０００９】
請求項７の発明は、入力画像信号源と表示装置との間に、画像情報変換装置を設け、
画像情報変換装置は、
垂直画素数が入力画像信号のＮ倍（Ｎは、４以上の整数）で、それぞれ垂直方向の位置が異なる第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置であって、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像表示装置である。
【００１０】
請求項８の発明は、入力画像信号源と表示装置との間に、画像情報変換装置を設け、
画像情報変換装置は、
垂直画素数が入力画像信号のＮ倍（Ｎは、２以上の整数）で、互いに垂直方向に異なるまたは時間方向に異なると共に、フィールド周波数が入力画像信号のＭ倍（Ｍは、２以上の整数）で第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置であって、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とすると共に、第１、第２、第３、および第４の出力画像信号それぞれのフィールド周波数をＭ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像表示装置である。
【００１１】
請求項１の画像情報変換装置は、組み合わせる画素生成装置の個数と、出力処理装置の構成とによって、画像情報変換機能を拡張することができる。入力画像信号例えば５２５ｉ信号を１０５０ｐ信号へ変換したり、５２５ｉ信号を２１００ｉ信号へ変換したり、フィールド周波数を２倍とすることができる。また、出力画像信号の画素をクラス分類適応処理によって生成するようになされる。クラス分類適応処理は、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて出力画像信号の画素値を作成するので、出力画像信号を高画質とすることができる。
【００１２】
請求項６の画像表示装置は、このような画像情報変換装置を入力画像信号源と表示装置との間に有するので、画素数が入力画像信号に比して増加した画像を表示することができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。この一実施形態で使用する画素生成装置は、クラス分類適応処理によって画素を生成するものである。この発明の理解を容易とするために、最初にクラス分類適応処理によって、水平および垂直方向の画素数をそれぞれ２倍とする画素生成装置の一例について説明する。
【００１４】
クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものと異なる。すなわち、クラス分類適応処理は、入力信号である映像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力映像信号のもの以上に高めることが可能である。
【００１５】
この画素生成装置の一例では、図１に示すように、入力映像信号（５２５ｉ信号）が領域切り出し部１に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部１の出力がクラス検出回路２および１２、予測タップ選択回路３および１３に供給される。クラス検出回路２および１２は、作成すべき出力画素の近傍の入力画素のレベル分布のパターンに対応するクラスを検出する。クラス検出回路２および１２において、動きクラスを検出しても良い。なお、この一例では、入力画像信号に存在するラインに近い第１の画素位置と、第１の画素位置と垂直方向で異なった画素位置で、入力画像信号に存在するラインから遠い第２の画素位置とにそれぞれ出力画素を生成する。このため、第１の画素位置Ｍの画素を生成する構成と、第２の画素位置Ｓの画素を生成する構成とが並列に設けられている。
【００１６】
クラス検出回路２および１２のそれぞれにより検出されたクラスが予測タップ選択回路３、１３と予測係数メモリ４、１４とに供給される。予測係数メモリ４、１４からは、クラスに対応する予測係数が読出され、積和演算回路５、１５に読出された予測係数が供給される。予測タップ選択回路３、１３は、クラスに応じて使用する予測タップを選択する構成とされている。予め各クラスの予測係数を学習によって得る時に、予測係数と使用する予測タップ位置情報との両者を得るようにしている。予測タップ選択回路３、１３には、予測タップ位置情報がクラス毎に記憶されたメモリが設けられている。このメモリからクラスに対応して読出された予測タップ位置情報がタップ切り替え用のセレクタに供給され、セレクタが選択的に予測タップを出力する。予測タップ選択回路３、１３からの予測タップが積和演算回路５、１５に供給される。
【００１７】
積和演算回路５、１５では、予測タップ（５２５ｉ信号の画素）と予測係数との線形推定式を用いて出力映像信号のデータを算出する。積和演算回路５は、第１の画素位置Ｍの画素値（第１の出力画像信号）を出力し、積和演算回路１５は、第２の画素位置Ｓの画素値（第２の出力画像信号）を出力する。同時に、積和演算回路５、１５は、水平方向で２倍の数の画素を出力する。後述するラインメモリ６、１６およびセレクタ７からなる出力処理部を除いて、領域切り出し部１０１等の第１および第２の出力画像信号を生成するための構成がＬＳＩ１０１として構成されている。
【００１８】
積和演算回路５からの第１の画素位置Ｍの画素値がラインメモリ６に供給され、積和演算回路１５からの第２の画素位置Ｓの画素値がラインメモリ１６に供給される。ラインメモリ６、１６は、ライン倍速の処理、すなわち、ライン周波数を２倍とするライン倍速処理を行う。ラインメモリ６、１６の出力がライン毎に切り替えられるセレクタ７に入力される。セレクタ７は、ラインメモリ６、１６のそれぞれの出力を交互に選択し、出力映像信号（５２５ｐ信号または１０５０ｉ信号）を発生する。
【００１９】
図２は、ライン倍速処理をアナログ波形を用いて示すものである。積和演算回路５、１５によって、画素位置ＭおよびＳのデータが同時に生成される。画素位置Ｍのデータには、順にａ１，ａ２，ａ３，・・・のラインが含まれ、画素位置Ｓのデータには、順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。ラインメモリ６、１６は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをセレクタ７によって交互に選択することによって、線順次出力（ａ０，ｂ０，ａ１，ｂ１，・・・）が形成される。
【００２０】
図示しないが、出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一例をテレビジョン受像機に内蔵することができる。
【００２１】
図３は、１フィールドの画像の一部を拡大することによって、入力画像信号（５２５ｉ信号）と出力画像信号との画素の配置を示すものである。出力画像信号は、例えば５２５ｐ信号であり、画素位置Ｍが入力画像信号に存在するラインと同一位置とされ、画素位置Ｓが入力画像信号に存在するラインの中間位置とされている。図３において、大きなドットが５２５ｉ信号の画素であり、小さい黒いドットが出力される画素位置Ｍの画素であり、小さい白いドットが出力される画素位置Ｓの画素である。この関係は、図３以外の他の図面においても同様である。
【００２２】
図３Ａは、あるフレーム（Ｆ）の奇数フィールドの画素配置であり、図３Ｂは、他のフィールド（偶数フィールド）の画素配置である。他ののフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図３から分かるように、５２５ｉ信号のラインと同一位置の画素位置Ｍおよび５２５ｉ信号の上下のラインの中間位置の画素位置Ｓにそれぞれ画素値を形成し、また、各ラインの水平方向の画素数を２倍とする。従って、積和演算回路５、１５によって、５２５ｐ信号の４画素のデータが同時的に生成される。
【００２３】
図３に示す関係の出力画像信号（５２５ｐ信号）を形成する時に、クラス検出回路２、１２において使用されるクラスタップおよび予測タップ選択回路３、１３において選択される予測タップの具体例について説明する。図４および図５は、クラス検出回路２、１２において使用される空間クラスタップの一例を示す。図４および図５は、時間的に連続するフレームＦ−１の奇数フィールドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向の画素の配列を示す。
【００２４】
図４に示すように、フィールドＦ／ｏの画素位置ＭおよびＳの画素値を予測する時の空間クラスタップは、このフィールドＦ／ｏの次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅの入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅの画素位置ＭおよびＳの画素値を予測する時には、図５に示すように、このフィールドＦ／ｅの次のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ／ｏの入力画素Ｔ６，Ｔ７である。なお、画素位置Ｍの画素値を予測する時には、Ｔ７の画素をクラスタップとして選択せず、画素位置Ｓの画素値を予測する時には、Ｔ４の画素をクラスタップとして選択しないようにしても良い。さらに、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００２５】
クラス検出回路２、１２は、空間クラスタップのレベル分布のパターンを検出する。この場合、クラス数が膨大となることを防ぐために、各画素８ビットの入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Adaptive Dynamic Range Coding ）によって、空間クラスタップの入力画素のデータが圧縮される。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００２６】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一例では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２７】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００２８】
なお、動きクラスを併用して、空間クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、空間クラスタップを切り替えるようにしても良い。また、予測タップの具体例の説明は省略する。予測タップは、上述した空間クラスタップと同様のものであるが、予測精度を向上させるために、クラスに対応した予測タップ位置情報により選択される。
【００２９】
予測係数メモリ４、１４には、５２５ｉ信号のパターンと５２５ｐ信号の関係を学習することにより、取得された予測係数が各クラス毎に記憶されている。予測係数は、線形推定式により５２５ｉ信号を５２５ｐ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００３０】
予測係数メモリ４、１４のクラスに対応したアドレスから、そのクラスの予測係数が読出される。この予測係数は、積和演算回路５、１５に供給される。積和演算回路５は、予測タップ選択回路３、１３からの予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、画素位置Ｍの画素値を算出する。積和演算回路１５は、同様にして画素位置Ｓの画素値を算出する。但し、画素位置ＭおよびＳの間では、使用する予測係数が相違する。
【００３１】
Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ （２）
このように、予測係数が各クラス毎に予め学習により求められた上で、予測係数メモリ４、１４に記憶しておき、入力される予測タップおよび読出された予測係数に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のプログレッシブ方式の映像信号を出力することができる。
【００３２】
次に、予測係数の作成（学習）について図６を用いて説明する。予測係数を学習によって得るためには、まず、間引きフィルタ３１によってプログレッシブ信号（例えば５２５ｐ信号）から、水平方向および垂直方向で画素数がそれぞれ１／２とされたインターレス映像信号（例えば５２５ｉ信号）を形成する。この間引きフィルタ３１の入力映像信号と出力映像信号とを学習用の対とする。
【００３３】
図７は、間引きフィルタ３１の入力信号（プログレッシブ画像）とその出力信号（インターレス画像）との画素の空間的関係を示す。プログレッシブ画像の奇数番目のフィールドの画像の偶数番目のラインが間引かれ、また、奇数番目のラインでは、水平方向に画素数が交互に間引かれる。プログレッシブ画像の偶数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインでは、水平方向に画素数が交互に間引かれる。間引きフィルタ３１の特性を変えることによって、学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３４】
間引きフィルタ３１からのインターレス映像信号が予測タップ領域切り出し部３２およびクラスタップ領域切り出し部３３に供給される。クラスタップ領域切り出し部３３からのクラスタップがクラス検出回路３４および３５に供給される。予測タップ領域切り出し部３２は、画素位置Ｍ、Ｓのそれぞれを作成するための予測タップを出力する。クラス検出回路３４、３５は、図１に示す信号変換装置におけるクラス検出回路２、１２と同様に、空間クラスタップのデータをＡＤＲＣにより圧縮し、クラス情報を発生する。クラス検出回路３４、３５は、画素位置ＭおよびＳのそれぞれに関するクラスを独立に検出する。
【００３５】
予測タップ領域切り出し部３２からの予測タップが正規方程式加算回路３６、３７に供給される。正規方程式加算回路３６、３７の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、出力画素レベルをｙとしたとき、クラス毎に予測係数ｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００３６】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００３７】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００３８】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００３９】
【数１】
【００４０】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００４１】
【数２】
【００４２】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００４３】
【数３】
【００４４】
【数４】
【００４５】
【数５】
【００４６】
この方程式は、一般に正規方程式と呼ばれている。図６中の正規方程式加算回路３６、３７のそれぞれは、クラス検出回路３４、３５から供給されたクラス情報と、予測タップ領域切り出し部３２から供給された２組の予測タップと、作成しようとするプログレッシブ画像の画素（教師信号）を用いて、この正規方程式の加算を行う。
【００４７】
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路３６、３７は、予測係数決定部３８に正規方程式データを出力する。予測係数決定部３８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定部３８は、算出された予測係数を予測係数メモリ３９、４０に書込む。
【００４８】
以上のように学習を行った結果、予測係数メモリ３９、４０のそれぞれには、クラス毎に、プログレッシブ画像の注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ３９、４０に格納された予測係数は、上述の画素生成装置において、予測係数メモリ４、１４にロードされる。
【００４９】
また、予測タップ領域切り出し部３２が出力する予測タップの個数は、画素生成装置において使用される予測タップの個数より大きいものとされる。従って、予測係数決定部３８は、クラス毎により多くの予測係数が求まる。この求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。選択された予測係数がメモリ３９、４０のクラスに対応するアドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によって、各クラスに適合した予測タップを選択することが可能となる。
【００５０】
以上の処理により、線形推定式により、インターレス画像のデータからプログレッシブ画像のデータを作成するための予測係数の学習が終了する。
【００５１】
以上説明した画素生成装置は、垂直方向の異なる第１の画素位置Ｍと第２の画素位置Ｓとにそれぞれ出力画像信号の画素を作成し、また、同時に各画素位置に水平方向に２倍の画素数の画素を作成する。従って、垂直および水平方向に関して、画素数を２倍とすることができる。図１において、ラインメモリ６、１６およびセレクタ７を除く部分がＬＳＩ１０１として実現される。
【００５２】
すなわち、図１に示す装置は、図８に示すブロック図として表すことができる。図８において、１１１が入力ＳＤ信号が供給される入力端子であり、１２１が垂直および水平方向に画素数が２倍とされた出力画像信号が取り出される出力端子である。なお、領域切り出し回路１が必要とするラインメモリ、フィールドメモリのような比較的大容量のメモリは、ＬＳＩ１０１に対して外付けの構成とされる。
【００５３】
上述したように、図１および図８の構成は、図９、図１０、図１１および図１２示す画素位置に、出力画像信号の画素を生成することができる。図９は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（５２５ｐ信号）の画素位置とを垂直方向および水平方向に示すものである。図９Ａおよび図９Ｂは、それぞれ時間的に連続する２フィールドの位置関係を示す。図１０は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（５２５ｐ信号）の画素位置とを垂直方向および時間方向に示すものである。
【００５４】
図１１は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（１０５０ｉ信号）の画素位置とを垂直方向および時間方向に示すものである。図１１Ａおよび図１１Ｂは、それぞれ時間的に連続する２フィールドの位置関係を示す。図１２は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（１０５０ｉ信号）の画素位置とを垂直方向および時間方向に示すものである。
【００５５】
この発明は、ＬＳＩ１０１を複数個使用し、その後に接続される出力処理回路の構成を変更することによって、画像情報変換の機能を変更、拡張するようにしたものである。以下、この発明の第１の実施形態について図１３を参照して説明する。第１の実施形態では、２個のＬＳＩ１０１Ａおよび１０１Ｂを使用する。ＬＳＩ１０１Ａに対してラインメモリ６Ａおよび１６Ａが接続され、ＬＳＩ１０１Ｂに対してラインメモリ６Ｂおよび１６Ｂが接続される。
【００５６】
ＬＳＩ１０１Ａは、画素位置Ｍ-1およびＳ-1にそれぞれ出力画素を生成し、ＬＳＩ１０１Ｂは、画素位置Ｍ-2およびＳ-2にそれぞれ出力画素を生成する。これらの画素位置は、垂直方向に互いに異なる位置である。ＬＳＩ１０１Ａおよび１０１Ｂは、上述のＬＳＩ１０１と同一の構成である。但し、予測タップおよびクラスタップの設定と、予測係数メモリに格納する係数とは、それぞれが生成する出力画素の画素位置に対応して最適なものとされている。
【００５７】
ＬＳＩ１０１Ａの画素位置１ＢのＭ-1およびＳ-1のそれぞれの出力画像信号がラインメモリ６Ａおよび１６Ａに供給される。ラインメモリ６Ａおよび１６Ａは、ライン周波数を４倍とした出力を発生する。例えば１ラインのデータを書込んで、４倍の速度で読出す処理によって、ライン周波数を４倍とする。また、ＬＳＩ１０１Ｂの画素位置１ＢのＭ-2およびＳ-2のそれぞれの出力画像信号がラインメモリ６Ｂおよび１６Ｂに供給される。ラインメモリ６Ｂおよび１６Ｂは、ライン周波数を４倍とした出力を発生する。４個のラインメモリ６Ａ、１６Ａ、６Ｂ、１６Ｂの出力データがセレクタ７Ａに入力される。セレクタ７Ａは、４倍のライン周期毎に各ラインメモリの出力をＭ-1、Ｍ-2、Ｓ-1、Ｓ-2と順番に選択して出力端子１２２に出力する。
【００５８】
第１の実施形態によれば、ラインメモリ６Ａ、１６Ａ、６Ｂ、１６Ｂによって、ライン周波数を４倍としているので、垂直画素数（ライン数）が入力信号（５２５ｉ信号）の２倍のプログレッシブ信号（１０５０ｐ信号）、または垂直画素数が入力信号の４倍とされたインターレス信号（２１００ｉ信号）を得ることができる。
【００５９】
図１４は、垂直方向と時間方向で表された入力画素と出力画素の位置関係の一例を示す。ＬＳＩ１０１Ａは、入力画像信号（５２５ｉ信号）からクラスタップおよび予測タップを選択して、予測タップの画素値と予測係数との積和演算によって、垂直方向で、元のライン間隔の半分の間隔で且つ水平方向に２倍の画素位置Ｍ-1およびＳ-1にそれぞれ画素値を生成する。他方のＬＳＩ１０１Ｂが垂直方向で画素位置Ｍ-1およびＳ-1と中間の画素位置Ｍ-1およびＳ-1にそれぞれ画素値を生成する。奇数フィールドと偶数フィールドの両者で、生成される画素の垂直方向の位置が同一とされる。従って、出力画像信号は、ライン数が２倍とされたプログレッシブ走査の信号（１０５０ｐ信号）である。
【００６０】
ＬＳＩ１０１Ａの生成する画素の画素位置Ｍ-1およびＳ-1と、ＬＳＩ１０１Ｂの生成する画素の画素位置Ｍ-2およびＳ-2とを、図１５に示すように、奇数フィールドと偶数フィールドとで、垂直方向でずらすことによって、インターレス方式の出力画像信号、すなわち、２１００ｉ信号を生成することができる。
【００６１】
また、図１に示す画素生成装置は、出力処理部にフィールドメモリを設けることによって、フィールド倍速化された出力信号を生成することができる。すなわち、図１６に示すように、ＬＳＩ１０１の画素位置ＭおよびＳの出力画像信号をフィールドメモリ１３１および１３２に書込み、フィールドメモリ１３１および１３２から元のフィールド周波数の２倍の周波数で読出し、セレクタ７Ｂによって、フィルードメモリ１３１および１３２の読出し出力を選択することによって、出力端子１２３にフィールド周波数が２倍とされた、フィールド倍速信号を得ることができる。
【００６２】
セレクタ７Ｂは、２倍のフィールド周波数（６０×２＝１２０Hz）で選択動作が切り替えられる。すなわち、Ａフィールドから生成された画素位置Ｍからなるフィールドを選択すると、次に、Ａフィールドから生成された画素位置Ｓの画素を選択し、次にＢフィールドから生成された画素位置Ｓの画素を選択し、次に、Ｂフィールドから生成された画素位置Ｍからなるフィールドを選択する。従って、図１７に示すように、出力画像信号は、入力画像信号（５２５ｉ信号／６０Hz）のフィールド周波数が２倍とされたもの（５２５ｉ信号／１２０Hz）である。図１７から分かるように、Ａフィールドの画素位置Ｍ、ＳとＢフィールドの画素位置Ｍ、Ｓとは、時空間の配置が異なるので、ＡフィールドとＢフィールドとでは、異なる係数を使用することが必要である。
【００６３】
図１８に示すように、この発明の第２の実施形態は、ラインメモリによるライン倍速化の処理と、フィールドメモリによるフィールド倍速化の処理の両方を出力処理部に有するものである。
【００６４】
第２の実施形態では、２個のＬＳＩ１０１Ａおよび１０１Ｂを使用する。ＬＳＩ１０１Ａおよび１０１Ｂに対して、入力端子１１１Ａおよび１１１Ｂから入力画像信号が供給される。この入力画像信号は、同一の信号である。ＬＳＩ１０１Ａの出力（Ｍ-1およびＳ-1）に対してフィールドメモリ１３１Ａ、１３２Ａがそれぞれ接続され、フィールドメモリ１３１Ａ、１３２Ａに対してラインメモリ６Ｃおよび１６Ｃがそれぞれ接続される。同様に、ＬＳＩ１０１Ｂの出力（Ｍ-2およびＳ-2）に対してフィールドメモリ１３１Ｂ、１３２Ｂがそれぞれ接続され、フィールドメモリ１３１Ｂ、１３２Ｂに対してラインメモリ６Ｄおよび１６Ｄがそれぞれ接続される。
【００６５】
フィールドメモリ１３１Ａ〜１３２Ｂによって、上述したように、フィールド倍速化の処理がなされ、ラインメモリ６Ｃ〜１６Ｄによってライン倍速化の処理がなされる。ラインメモリ６Ｃおよび１６Ｃのそれぞれの出力データがセレクタ７Ｃに入力され、ラインメモリ６Ｄおよび１６Ｄのそれぞれの出力データがセレクタ７Ｄに入力される。セレクタ７Ｃおよび７Ｄは、２倍のライン周波数で制御される。さらに、セレクタ７Ｃおよび７Ｄの出力がセレクタ７Ｅに入力され、セレクタ７Ｅの出力データが出力端子１２４に取り出される。セレクタ７Ｅは、２倍のフィールド周波数で制御される。
【００６６】
図１９は、図１８の構成によって生成される出力画像信号を垂直方向および時間方向に示すものである。セレクタ７Ｃがフィールド周波数が２倍とされ、画素位置Ｍ-1およびＳ-1の画素を選択する。セレクタ７Ｄがフィールド周波数が２倍とされ、画素位置Ｍ-2およびＳ-2の画素を選択する。セレクタ７Ｅは、時間的に元のフィールドのタイミングで、セレクタ７Ｃの出力（Ｍ-1およびＳ-1）を選択し、元のフィールドの１／１２０秒後のタイミングで、セレクタ７Ｄの出力（Ｍ-2およびＳ-2）を選択する。それによって、図１９に示すように、垂直画素数が２倍でフィールド周波数が２倍の出力画像信号（１０５０ｐ／１２０Hz）を形成できる。また、同様に、（１０５０ｉ／１２０Hz）も形成することができる。なお、水平画素数は、元の２倍とされるのは、上述した第１の実施形態と同様である。
【００６７】
また、上述した実施形態では、一つの画素生成装置が垂直画素数および水平画素数の両者を２倍としているが、垂直方向のみまたは水平方向のみの画素数を２倍とする画素生成装置のＬＳＩを２個組み合わせることによって、垂直方向のみまたは水平方向のみの画素数を元の４倍とすることができる。
【００６８】
上述したこの発明の実施形態を例えばＣＲＴディスプレイのような表示装置と入力信号源との間に設けることによって、入力信号源の解像度より高い解像度の画像を表示することができる。
【００６９】
【発明の効果】
この発明は、垂直画素数を２倍とする機能を有する画素生成装置を複数個組み合わせ、出力処理部で、ライン倍速および／またはフィールド倍速を行うことによって、元の入力画像信号に比してより高い解像度の種々の出力画像信号を生成することができる。また、画素生成装置は、クラス分類適応処理によって画素を生成するので、線形補間を行うものと異なり、解像度を入力以上に高めることができ、また、静止画、動画とも高画質とすることができる。
【図面の簡単な説明】
【図１】この発明に使用される画素生成装置の一例のブロック図である。
【図２】線順次変換動作を説明するための波形図である。
【図３】画素生成装置の一例の入力画像の画素と出力画像の画素の位置関係を説明するための略線図である。
【図４】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図５】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図６】予測係数を取得するための学習時の構成の一例を示すブロック図である。
【図７】学習時の画素間引きの処理を説明するための略線図である。
【図８】画素生成装置の全体的構成のブロック図である。
【図９】入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１０】入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１１】入力画像の画素と出力画像の画素の位置関係の他の例を説明するための略線図である。
【図１２】入力画像の画素と出力画像の画素の位置関係の他の例を説明するための略線図である。
【図１３】この発明の第１の実施形態のブロック図である。
【図１４】この発明の第１の実施形態における入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１５】この発明の第１の実施形態における入力画像の画素と出力画像の画素の位置関係の他の例を説明するための略線図である。
【図１６】この発明の第２の実施形態に使用する画素生成装置のブロック図である。
【図１７】入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１８】この発明の第２の実施形態のブロック図である。
【図１９】この発明の第２の実施形態における入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【符号の説明】
２，１２・・・クラス検出回路、３，１３・・・予測タップ選択回路、４，１４・・・予測係数メモリ、５，１５・・・積和演算回路、１０１、１０１Ａ、１０１Ｂ・・・画素生成装置のＬＳＩ、６、６Ａ〜６Ｄ、１６Ａ〜１６Ｄ・・・ラインメモリ、７、７Ａ〜７Ｅ・・・セレクタ、１３１、１３１Ａ、１３１Ｂ、１３２、１３２Ａ、１３２Ｂ・・・フィールドメモリ
【発明の属する技術分野】
この発明は、例えば、テレビジョン受像機に用いて好適な画像情報変換装置および画像表示装置に関する。
【０００２】
【従来の技術】
入力画像信号を線形補間処理して、垂直方向の画素数（ライン数）を２倍とする画像処理装置が知られている。このような画像処理装置は、例えばインターレス方式をプログレッシブ方式に変換するのに適用できる。この変換は、インターレス方式であることに起因するラインフリッカを軽減するためになされる。例えばグラフィックスの画像では、ラインフリッカが目立つ問題があり、グラフィックス画像を表示する時には、インターレス方式よりもプログレッシブ方式の方が高画質とできる。
【０００３】
従来のこの種の画像情報変換装置は、入力される例えば５２５ｉ信号（走査線５２５本のインターレス方式の信号）を動き判定処理し、動きがない場合には、フレーム間補間を行い、動きがある場合には、フィールド内補間を行うようにしている。フィールド間補間は、前フィールドのラインの信号を使用して新たなラインの信号を形成し、フィールド内補間は、同一フィールドの上下のラインの信号の平均値により新たなラインの信号を形成する。
【０００４】
【発明が解決しようとする課題】
従来の画像情報変換装置は、補間により形成する画素の位置が固定されているため、他の時空間位置の画素を生成するためには、その目的に合った専用の装置を構成する必要がある。従って、複数の従来の画像情報変換装置を組み合わせても、他の時空間位置に画素を生成する機能を実現することができない問題があった。従って、従来の画像情報変換装置をＬＳＩ(Large Scale Integrated Circuit)として設計した時に、複数個のＬＳＩを使用しも画像情報変換機能を拡張することができなかった。
【０００５】
また、従来の画像情報変換装置は、入力画像信号を基にして、単に垂直方向の補間を行っているに過ぎないため、解像度は基となるＳＤ信号より高くならない。また、平均値で作成されたラインは、現存ラインと比較して垂直解像度が劣化しているために、現存ラインと補間ラインとの間で、解像度の差が目立つ問題がある。さらに、画像信号にノイズがある場合、上下ラインの平均値を用いた場合には、ランダムノイズを足し合わせることになり、作成ラインでノイズが減少することになる。この結果、ノイズが減少した作成ラインと、そうでない現存ラインとが交互に現れることになり、画質劣化が生じる。さらに、動き検出の結果に基づいて補間方法（静止画処理と動画処理）を切り替える時に、動き検出を誤った時に、画質の劣化が大きい問題があった。
【０００６】
従って、この発明の目的は、複数の機能を実現することが可能で、画質劣化を防止することが可能な画像情報変換装置および画像表示装置を提供することにある。
【０００７】
【課題を解決するための手段】
上述した課題を達成するために、請求項１の発明は、垂直画素数が入力画像信号のＮ倍（Ｎは、４以上の整数）で、それぞれ垂直方向の位置が異なる第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置において、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像情報変換装置である。
【０００８】
請求項２の発明は、垂直画素数が入力画像信号のＮ倍（Ｎは、２以上の整数）で、互いに垂直方向に異なるまたは時間方向に異なると共に、フィールド周波数が入力画像信号のＭ倍（Ｍは、２以上の整数）で第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置において、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とすると共に、第１、第２、第３、および第４の出力画像信号それぞれのフィールド周波数をＭ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像情報変換装置である。
【０００９】
請求項７の発明は、入力画像信号源と表示装置との間に、画像情報変換装置を設け、
画像情報変換装置は、
垂直画素数が入力画像信号のＮ倍（Ｎは、４以上の整数）で、それぞれ垂直方向の位置が異なる第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置であって、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像表示装置である。
【００１０】
請求項８の発明は、入力画像信号源と表示装置との間に、画像情報変換装置を設け、
画像情報変換装置は、
垂直画素数が入力画像信号のＮ倍（Ｎは、２以上の整数）で、互いに垂直方向に異なるまたは時間方向に異なると共に、フィールド周波数が入力画像信号のＭ倍（Ｍは、２以上の整数）で第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置であって、
第１の画素位置に第１の出力画像信号を生成し、第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
第３の画素位置に第３の出力画像信号を生成し、第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とすると共に、第１、第２、第３、および第４の出力画像信号それぞれのフィールド周波数をＭ倍とした第５、第６、第７、および第８の出力画像信号を生成し、第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
第１の画素生成装置は、第１および第２の画素位置の第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
第２の画素生成装置は、第３および第４の画素位置の第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、クラス情報に対応した予測係数をメモリ部から読み出すクラス決定部と、
一の画素位置の周辺に位置する入力画像信号の複数の画素と、メモリ部からの予測係数との積和演算によって、一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像表示装置である。
【００１１】
請求項１の画像情報変換装置は、組み合わせる画素生成装置の個数と、出力処理装置の構成とによって、画像情報変換機能を拡張することができる。入力画像信号例えば５２５ｉ信号を１０５０ｐ信号へ変換したり、５２５ｉ信号を２１００ｉ信号へ変換したり、フィールド周波数を２倍とすることができる。また、出力画像信号の画素をクラス分類適応処理によって生成するようになされる。クラス分類適応処理は、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて出力画像信号の画素値を作成するので、出力画像信号を高画質とすることができる。
【００１２】
請求項６の画像表示装置は、このような画像情報変換装置を入力画像信号源と表示装置との間に有するので、画素数が入力画像信号に比して増加した画像を表示することができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。この一実施形態で使用する画素生成装置は、クラス分類適応処理によって画素を生成するものである。この発明の理解を容易とするために、最初にクラス分類適応処理によって、水平および垂直方向の画素数をそれぞれ２倍とする画素生成装置の一例について説明する。
【００１４】
クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものと異なる。すなわち、クラス分類適応処理は、入力信号である映像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力映像信号のもの以上に高めることが可能である。
【００１５】
この画素生成装置の一例では、図１に示すように、入力映像信号（５２５ｉ信号）が領域切り出し部１に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部１の出力がクラス検出回路２および１２、予測タップ選択回路３および１３に供給される。クラス検出回路２および１２は、作成すべき出力画素の近傍の入力画素のレベル分布のパターンに対応するクラスを検出する。クラス検出回路２および１２において、動きクラスを検出しても良い。なお、この一例では、入力画像信号に存在するラインに近い第１の画素位置と、第１の画素位置と垂直方向で異なった画素位置で、入力画像信号に存在するラインから遠い第２の画素位置とにそれぞれ出力画素を生成する。このため、第１の画素位置Ｍの画素を生成する構成と、第２の画素位置Ｓの画素を生成する構成とが並列に設けられている。
【００１６】
クラス検出回路２および１２のそれぞれにより検出されたクラスが予測タップ選択回路３、１３と予測係数メモリ４、１４とに供給される。予測係数メモリ４、１４からは、クラスに対応する予測係数が読出され、積和演算回路５、１５に読出された予測係数が供給される。予測タップ選択回路３、１３は、クラスに応じて使用する予測タップを選択する構成とされている。予め各クラスの予測係数を学習によって得る時に、予測係数と使用する予測タップ位置情報との両者を得るようにしている。予測タップ選択回路３、１３には、予測タップ位置情報がクラス毎に記憶されたメモリが設けられている。このメモリからクラスに対応して読出された予測タップ位置情報がタップ切り替え用のセレクタに供給され、セレクタが選択的に予測タップを出力する。予測タップ選択回路３、１３からの予測タップが積和演算回路５、１５に供給される。
【００１７】
積和演算回路５、１５では、予測タップ（５２５ｉ信号の画素）と予測係数との線形推定式を用いて出力映像信号のデータを算出する。積和演算回路５は、第１の画素位置Ｍの画素値（第１の出力画像信号）を出力し、積和演算回路１５は、第２の画素位置Ｓの画素値（第２の出力画像信号）を出力する。同時に、積和演算回路５、１５は、水平方向で２倍の数の画素を出力する。後述するラインメモリ６、１６およびセレクタ７からなる出力処理部を除いて、領域切り出し部１０１等の第１および第２の出力画像信号を生成するための構成がＬＳＩ１０１として構成されている。
【００１８】
積和演算回路５からの第１の画素位置Ｍの画素値がラインメモリ６に供給され、積和演算回路１５からの第２の画素位置Ｓの画素値がラインメモリ１６に供給される。ラインメモリ６、１６は、ライン倍速の処理、すなわち、ライン周波数を２倍とするライン倍速処理を行う。ラインメモリ６、１６の出力がライン毎に切り替えられるセレクタ７に入力される。セレクタ７は、ラインメモリ６、１６のそれぞれの出力を交互に選択し、出力映像信号（５２５ｐ信号または１０５０ｉ信号）を発生する。
【００１９】
図２は、ライン倍速処理をアナログ波形を用いて示すものである。積和演算回路５、１５によって、画素位置ＭおよびＳのデータが同時に生成される。画素位置Ｍのデータには、順にａ１，ａ２，ａ３，・・・のラインが含まれ、画素位置Ｓのデータには、順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。ラインメモリ６、１６は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをセレクタ７によって交互に選択することによって、線順次出力（ａ０，ｂ０，ａ１，ｂ１，・・・）が形成される。
【００２０】
図示しないが、出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一例をテレビジョン受像機に内蔵することができる。
【００２１】
図３は、１フィールドの画像の一部を拡大することによって、入力画像信号（５２５ｉ信号）と出力画像信号との画素の配置を示すものである。出力画像信号は、例えば５２５ｐ信号であり、画素位置Ｍが入力画像信号に存在するラインと同一位置とされ、画素位置Ｓが入力画像信号に存在するラインの中間位置とされている。図３において、大きなドットが５２５ｉ信号の画素であり、小さい黒いドットが出力される画素位置Ｍの画素であり、小さい白いドットが出力される画素位置Ｓの画素である。この関係は、図３以外の他の図面においても同様である。
【００２２】
図３Ａは、あるフレーム（Ｆ）の奇数フィールドの画素配置であり、図３Ｂは、他のフィールド（偶数フィールド）の画素配置である。他ののフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図３から分かるように、５２５ｉ信号のラインと同一位置の画素位置Ｍおよび５２５ｉ信号の上下のラインの中間位置の画素位置Ｓにそれぞれ画素値を形成し、また、各ラインの水平方向の画素数を２倍とする。従って、積和演算回路５、１５によって、５２５ｐ信号の４画素のデータが同時的に生成される。
【００２３】
図３に示す関係の出力画像信号（５２５ｐ信号）を形成する時に、クラス検出回路２、１２において使用されるクラスタップおよび予測タップ選択回路３、１３において選択される予測タップの具体例について説明する。図４および図５は、クラス検出回路２、１２において使用される空間クラスタップの一例を示す。図４および図５は、時間的に連続するフレームＦ−１の奇数フィールドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向の画素の配列を示す。
【００２４】
図４に示すように、フィールドＦ／ｏの画素位置ＭおよびＳの画素値を予測する時の空間クラスタップは、このフィールドＦ／ｏの次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅの入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅの画素位置ＭおよびＳの画素値を予測する時には、図５に示すように、このフィールドＦ／ｅの次のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ／ｏの入力画素Ｔ６，Ｔ７である。なお、画素位置Ｍの画素値を予測する時には、Ｔ７の画素をクラスタップとして選択せず、画素位置Ｓの画素値を予測する時には、Ｔ４の画素をクラスタップとして選択しないようにしても良い。さらに、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００２５】
クラス検出回路２、１２は、空間クラスタップのレベル分布のパターンを検出する。この場合、クラス数が膨大となることを防ぐために、各画素８ビットの入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Adaptive Dynamic Range Coding ）によって、空間クラスタップの入力画素のデータが圧縮される。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００２６】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一例では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２７】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００２８】
なお、動きクラスを併用して、空間クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、空間クラスタップを切り替えるようにしても良い。また、予測タップの具体例の説明は省略する。予測タップは、上述した空間クラスタップと同様のものであるが、予測精度を向上させるために、クラスに対応した予測タップ位置情報により選択される。
【００２９】
予測係数メモリ４、１４には、５２５ｉ信号のパターンと５２５ｐ信号の関係を学習することにより、取得された予測係数が各クラス毎に記憶されている。予測係数は、線形推定式により５２５ｉ信号を５２５ｐ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００３０】
予測係数メモリ４、１４のクラスに対応したアドレスから、そのクラスの予測係数が読出される。この予測係数は、積和演算回路５、１５に供給される。積和演算回路５は、予測タップ選択回路３、１３からの予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、画素位置Ｍの画素値を算出する。積和演算回路１５は、同様にして画素位置Ｓの画素値を算出する。但し、画素位置ＭおよびＳの間では、使用する予測係数が相違する。
【００３１】
Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ （２）
このように、予測係数が各クラス毎に予め学習により求められた上で、予測係数メモリ４、１４に記憶しておき、入力される予測タップおよび読出された予測係数に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のプログレッシブ方式の映像信号を出力することができる。
【００３２】
次に、予測係数の作成（学習）について図６を用いて説明する。予測係数を学習によって得るためには、まず、間引きフィルタ３１によってプログレッシブ信号（例えば５２５ｐ信号）から、水平方向および垂直方向で画素数がそれぞれ１／２とされたインターレス映像信号（例えば５２５ｉ信号）を形成する。この間引きフィルタ３１の入力映像信号と出力映像信号とを学習用の対とする。
【００３３】
図７は、間引きフィルタ３１の入力信号（プログレッシブ画像）とその出力信号（インターレス画像）との画素の空間的関係を示す。プログレッシブ画像の奇数番目のフィールドの画像の偶数番目のラインが間引かれ、また、奇数番目のラインでは、水平方向に画素数が交互に間引かれる。プログレッシブ画像の偶数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインでは、水平方向に画素数が交互に間引かれる。間引きフィルタ３１の特性を変えることによって、学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３４】
間引きフィルタ３１からのインターレス映像信号が予測タップ領域切り出し部３２およびクラスタップ領域切り出し部３３に供給される。クラスタップ領域切り出し部３３からのクラスタップがクラス検出回路３４および３５に供給される。予測タップ領域切り出し部３２は、画素位置Ｍ、Ｓのそれぞれを作成するための予測タップを出力する。クラス検出回路３４、３５は、図１に示す信号変換装置におけるクラス検出回路２、１２と同様に、空間クラスタップのデータをＡＤＲＣにより圧縮し、クラス情報を発生する。クラス検出回路３４、３５は、画素位置ＭおよびＳのそれぞれに関するクラスを独立に検出する。
【００３５】
予測タップ領域切り出し部３２からの予測タップが正規方程式加算回路３６、３７に供給される。正規方程式加算回路３６、３７の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、出力画素レベルをｙとしたとき、クラス毎に予測係数ｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００３６】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００３７】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００３８】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００３９】
【数１】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００４１】
【数２】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００４３】
【数３】
【数４】
【数５】
この方程式は、一般に正規方程式と呼ばれている。図６中の正規方程式加算回路３６、３７のそれぞれは、クラス検出回路３４、３５から供給されたクラス情報と、予測タップ領域切り出し部３２から供給された２組の予測タップと、作成しようとするプログレッシブ画像の画素（教師信号）を用いて、この正規方程式の加算を行う。
【００４７】
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路３６、３７は、予測係数決定部３８に正規方程式データを出力する。予測係数決定部３８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定部３８は、算出された予測係数を予測係数メモリ３９、４０に書込む。
【００４８】
以上のように学習を行った結果、予測係数メモリ３９、４０のそれぞれには、クラス毎に、プログレッシブ画像の注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ３９、４０に格納された予測係数は、上述の画素生成装置において、予測係数メモリ４、１４にロードされる。
【００４９】
また、予測タップ領域切り出し部３２が出力する予測タップの個数は、画素生成装置において使用される予測タップの個数より大きいものとされる。従って、予測係数決定部３８は、クラス毎により多くの予測係数が求まる。この求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。選択された予測係数がメモリ３９、４０のクラスに対応するアドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によって、各クラスに適合した予測タップを選択することが可能となる。
【００５０】
以上の処理により、線形推定式により、インターレス画像のデータからプログレッシブ画像のデータを作成するための予測係数の学習が終了する。
【００５１】
以上説明した画素生成装置は、垂直方向の異なる第１の画素位置Ｍと第２の画素位置Ｓとにそれぞれ出力画像信号の画素を作成し、また、同時に各画素位置に水平方向に２倍の画素数の画素を作成する。従って、垂直および水平方向に関して、画素数を２倍とすることができる。図１において、ラインメモリ６、１６およびセレクタ７を除く部分がＬＳＩ１０１として実現される。
【００５２】
すなわち、図１に示す装置は、図８に示すブロック図として表すことができる。図８において、１１１が入力ＳＤ信号が供給される入力端子であり、１２１が垂直および水平方向に画素数が２倍とされた出力画像信号が取り出される出力端子である。なお、領域切り出し回路１が必要とするラインメモリ、フィールドメモリのような比較的大容量のメモリは、ＬＳＩ１０１に対して外付けの構成とされる。
【００５３】
上述したように、図１および図８の構成は、図９、図１０、図１１および図１２示す画素位置に、出力画像信号の画素を生成することができる。図９は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（５２５ｐ信号）の画素位置とを垂直方向および水平方向に示すものである。図９Ａおよび図９Ｂは、それぞれ時間的に連続する２フィールドの位置関係を示す。図１０は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（５２５ｐ信号）の画素位置とを垂直方向および時間方向に示すものである。
【００５４】
図１１は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（１０５０ｉ信号）の画素位置とを垂直方向および時間方向に示すものである。図１１Ａおよび図１１Ｂは、それぞれ時間的に連続する２フィールドの位置関係を示す。図１２は、入力画像信号（５２５ｉ信号）の画素位置と、出力画像信号（１０５０ｉ信号）の画素位置とを垂直方向および時間方向に示すものである。
【００５５】
この発明は、ＬＳＩ１０１を複数個使用し、その後に接続される出力処理回路の構成を変更することによって、画像情報変換の機能を変更、拡張するようにしたものである。以下、この発明の第１の実施形態について図１３を参照して説明する。第１の実施形態では、２個のＬＳＩ１０１Ａおよび１０１Ｂを使用する。ＬＳＩ１０１Ａに対してラインメモリ６Ａおよび１６Ａが接続され、ＬＳＩ１０１Ｂに対してラインメモリ６Ｂおよび１６Ｂが接続される。
【００５６】
ＬＳＩ１０１Ａは、画素位置Ｍ-1およびＳ-1にそれぞれ出力画素を生成し、ＬＳＩ１０１Ｂは、画素位置Ｍ-2およびＳ-2にそれぞれ出力画素を生成する。これらの画素位置は、垂直方向に互いに異なる位置である。ＬＳＩ１０１Ａおよび１０１Ｂは、上述のＬＳＩ１０１と同一の構成である。但し、予測タップおよびクラスタップの設定と、予測係数メモリに格納する係数とは、それぞれが生成する出力画素の画素位置に対応して最適なものとされている。
【００５７】
ＬＳＩ１０１Ａの画素位置１ＢのＭ-1およびＳ-1のそれぞれの出力画像信号がラインメモリ６Ａおよび１６Ａに供給される。ラインメモリ６Ａおよび１６Ａは、ライン周波数を４倍とした出力を発生する。例えば１ラインのデータを書込んで、４倍の速度で読出す処理によって、ライン周波数を４倍とする。また、ＬＳＩ１０１Ｂの画素位置１ＢのＭ-2およびＳ-2のそれぞれの出力画像信号がラインメモリ６Ｂおよび１６Ｂに供給される。ラインメモリ６Ｂおよび１６Ｂは、ライン周波数を４倍とした出力を発生する。４個のラインメモリ６Ａ、１６Ａ、６Ｂ、１６Ｂの出力データがセレクタ７Ａに入力される。セレクタ７Ａは、４倍のライン周期毎に各ラインメモリの出力をＭ-1、Ｍ-2、Ｓ-1、Ｓ-2と順番に選択して出力端子１２２に出力する。
【００５８】
第１の実施形態によれば、ラインメモリ６Ａ、１６Ａ、６Ｂ、１６Ｂによって、ライン周波数を４倍としているので、垂直画素数（ライン数）が入力信号（５２５ｉ信号）の２倍のプログレッシブ信号（１０５０ｐ信号）、または垂直画素数が入力信号の４倍とされたインターレス信号（２１００ｉ信号）を得ることができる。
【００５９】
図１４は、垂直方向と時間方向で表された入力画素と出力画素の位置関係の一例を示す。ＬＳＩ１０１Ａは、入力画像信号（５２５ｉ信号）からクラスタップおよび予測タップを選択して、予測タップの画素値と予測係数との積和演算によって、垂直方向で、元のライン間隔の半分の間隔で且つ水平方向に２倍の画素位置Ｍ-1およびＳ-1にそれぞれ画素値を生成する。他方のＬＳＩ１０１Ｂが垂直方向で画素位置Ｍ-1およびＳ-1と中間の画素位置Ｍ-1およびＳ-1にそれぞれ画素値を生成する。奇数フィールドと偶数フィールドの両者で、生成される画素の垂直方向の位置が同一とされる。従って、出力画像信号は、ライン数が２倍とされたプログレッシブ走査の信号（１０５０ｐ信号）である。
【００６０】
ＬＳＩ１０１Ａの生成する画素の画素位置Ｍ-1およびＳ-1と、ＬＳＩ１０１Ｂの生成する画素の画素位置Ｍ-2およびＳ-2とを、図１５に示すように、奇数フィールドと偶数フィールドとで、垂直方向でずらすことによって、インターレス方式の出力画像信号、すなわち、２１００ｉ信号を生成することができる。
【００６１】
また、図１に示す画素生成装置は、出力処理部にフィールドメモリを設けることによって、フィールド倍速化された出力信号を生成することができる。すなわち、図１６に示すように、ＬＳＩ１０１の画素位置ＭおよびＳの出力画像信号をフィールドメモリ１３１および１３２に書込み、フィールドメモリ１３１および１３２から元のフィールド周波数の２倍の周波数で読出し、セレクタ７Ｂによって、フィルードメモリ１３１および１３２の読出し出力を選択することによって、出力端子１２３にフィールド周波数が２倍とされた、フィールド倍速信号を得ることができる。
【００６２】
セレクタ７Ｂは、２倍のフィールド周波数（６０×２＝１２０Hz）で選択動作が切り替えられる。すなわち、Ａフィールドから生成された画素位置Ｍからなるフィールドを選択すると、次に、Ａフィールドから生成された画素位置Ｓの画素を選択し、次にＢフィールドから生成された画素位置Ｓの画素を選択し、次に、Ｂフィールドから生成された画素位置Ｍからなるフィールドを選択する。従って、図１７に示すように、出力画像信号は、入力画像信号（５２５ｉ信号／６０Hz）のフィールド周波数が２倍とされたもの（５２５ｉ信号／１２０Hz）である。図１７から分かるように、Ａフィールドの画素位置Ｍ、ＳとＢフィールドの画素位置Ｍ、Ｓとは、時空間の配置が異なるので、ＡフィールドとＢフィールドとでは、異なる係数を使用することが必要である。
【００６３】
図１８に示すように、この発明の第２の実施形態は、ラインメモリによるライン倍速化の処理と、フィールドメモリによるフィールド倍速化の処理の両方を出力処理部に有するものである。
【００６４】
第２の実施形態では、２個のＬＳＩ１０１Ａおよび１０１Ｂを使用する。ＬＳＩ１０１Ａおよび１０１Ｂに対して、入力端子１１１Ａおよび１１１Ｂから入力画像信号が供給される。この入力画像信号は、同一の信号である。ＬＳＩ１０１Ａの出力（Ｍ-1およびＳ-1）に対してフィールドメモリ１３１Ａ、１３２Ａがそれぞれ接続され、フィールドメモリ１３１Ａ、１３２Ａに対してラインメモリ６Ｃおよび１６Ｃがそれぞれ接続される。同様に、ＬＳＩ１０１Ｂの出力（Ｍ-2およびＳ-2）に対してフィールドメモリ１３１Ｂ、１３２Ｂがそれぞれ接続され、フィールドメモリ１３１Ｂ、１３２Ｂに対してラインメモリ６Ｄおよび１６Ｄがそれぞれ接続される。
【００６５】
フィールドメモリ１３１Ａ〜１３２Ｂによって、上述したように、フィールド倍速化の処理がなされ、ラインメモリ６Ｃ〜１６Ｄによってライン倍速化の処理がなされる。ラインメモリ６Ｃおよび１６Ｃのそれぞれの出力データがセレクタ７Ｃに入力され、ラインメモリ６Ｄおよび１６Ｄのそれぞれの出力データがセレクタ７Ｄに入力される。セレクタ７Ｃおよび７Ｄは、２倍のライン周波数で制御される。さらに、セレクタ７Ｃおよび７Ｄの出力がセレクタ７Ｅに入力され、セレクタ７Ｅの出力データが出力端子１２４に取り出される。セレクタ７Ｅは、２倍のフィールド周波数で制御される。
【００６６】
図１９は、図１８の構成によって生成される出力画像信号を垂直方向および時間方向に示すものである。セレクタ７Ｃがフィールド周波数が２倍とされ、画素位置Ｍ-1およびＳ-1の画素を選択する。セレクタ７Ｄがフィールド周波数が２倍とされ、画素位置Ｍ-2およびＳ-2の画素を選択する。セレクタ７Ｅは、時間的に元のフィールドのタイミングで、セレクタ７Ｃの出力（Ｍ-1およびＳ-1）を選択し、元のフィールドの１／１２０秒後のタイミングで、セレクタ７Ｄの出力（Ｍ-2およびＳ-2）を選択する。それによって、図１９に示すように、垂直画素数が２倍でフィールド周波数が２倍の出力画像信号（１０５０ｐ／１２０Hz）を形成できる。また、同様に、（１０５０ｉ／１２０Hz）も形成することができる。なお、水平画素数は、元の２倍とされるのは、上述した第１の実施形態と同様である。
【００６７】
また、上述した実施形態では、一つの画素生成装置が垂直画素数および水平画素数の両者を２倍としているが、垂直方向のみまたは水平方向のみの画素数を２倍とする画素生成装置のＬＳＩを２個組み合わせることによって、垂直方向のみまたは水平方向のみの画素数を元の４倍とすることができる。
【００６８】
上述したこの発明の実施形態を例えばＣＲＴディスプレイのような表示装置と入力信号源との間に設けることによって、入力信号源の解像度より高い解像度の画像を表示することができる。
【００６９】
【発明の効果】
この発明は、垂直画素数を２倍とする機能を有する画素生成装置を複数個組み合わせ、出力処理部で、ライン倍速および／またはフィールド倍速を行うことによって、元の入力画像信号に比してより高い解像度の種々の出力画像信号を生成することができる。また、画素生成装置は、クラス分類適応処理によって画素を生成するので、線形補間を行うものと異なり、解像度を入力以上に高めることができ、また、静止画、動画とも高画質とすることができる。
【図面の簡単な説明】
【図１】この発明に使用される画素生成装置の一例のブロック図である。
【図２】線順次変換動作を説明するための波形図である。
【図３】画素生成装置の一例の入力画像の画素と出力画像の画素の位置関係を説明するための略線図である。
【図４】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図５】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図６】予測係数を取得するための学習時の構成の一例を示すブロック図である。
【図７】学習時の画素間引きの処理を説明するための略線図である。
【図８】画素生成装置の全体的構成のブロック図である。
【図９】入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１０】入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１１】入力画像の画素と出力画像の画素の位置関係の他の例を説明するための略線図である。
【図１２】入力画像の画素と出力画像の画素の位置関係の他の例を説明するための略線図である。
【図１３】この発明の第１の実施形態のブロック図である。
【図１４】この発明の第１の実施形態における入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１５】この発明の第１の実施形態における入力画像の画素と出力画像の画素の位置関係の他の例を説明するための略線図である。
【図１６】この発明の第２の実施形態に使用する画素生成装置のブロック図である。
【図１７】入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【図１８】この発明の第２の実施形態のブロック図である。
【図１９】この発明の第２の実施形態における入力画像の画素と出力画像の画素の位置関係の一例を説明するための略線図である。
【符号の説明】
２，１２・・・クラス検出回路、３，１３・・・予測タップ選択回路、４，１４・・・予測係数メモリ、５，１５・・・積和演算回路、１０１、１０１Ａ、１０１Ｂ・・・画素生成装置のＬＳＩ、６、６Ａ〜６Ｄ、１６Ａ〜１６Ｄ・・・ラインメモリ、７、７Ａ〜７Ｅ・・・セレクタ、１３１、１３１Ａ、１３１Ｂ、１３２、１３２Ａ、１３２Ｂ・・・フィールドメモリ
Claims (8)
- 垂直画素数が入力画像信号のＮ倍（Ｎは、４以上の整数）で、それぞれ垂直方向の位置が異なる第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置において、
上記第１の画素位置に第１の出力画像信号を生成し、上記第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
上記第３の画素位置に第３の出力画像信号を生成し、上記第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
上記第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とした第５、第６、第７、および第８の出力画像信号を生成し、上記第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
上記第１の画素生成装置は、上記第１および第２の画素位置の上記第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
上記第２の画素生成装置は、上記第３および第４の画素位置の上記第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
上記第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、上記第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と上記画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、上記クラス情報に対応した上記予測係数を上記メモリ部から読み出すクラス決定部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素と、上記メモリ部からの上記予測係数との積和演算によって、上記一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像情報変換装置。 - 垂直画素数が入力画像信号のＮ倍（Ｎは、２以上の整数）で、互いに垂直方向に異なるまたは時間方向に異なると共に、フィールド周波数が入力画像信号のＭ倍（Ｍは、２以上の整数）で第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置において、
上記第１の画素位置に第１の出力画像信号を生成し、上記第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
上記第３の画素位置に第３の出力画像信号を生成し、上記第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
上記第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とすると共に、上記第１、第２、第３、および第４の出力画像信号それぞれのフィールド周波数をＭ倍とした第５、第６、第７、および第８の出力画像信号を生成し、上記第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
上記第１の画素生成装置は、上記第１および第２の画素位置の上記第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
上記第２の画素生成装置は、上記第３および第４の画素位置の上記第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
上記第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、上記第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と上記画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素のレベル分布を表す クラス情報を形成し、上記クラス情報に対応した上記予測係数を上記メモリ部から読み出すクラス決定部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素と、上記メモリ部からの上記予測係数との積和演算によって、上記一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像情報変換装置。 - 請求項１または２において、
上記第１、第２、第３、および第４の信号生成部のそれぞれは、水平方向の画素数が入力画素数の２倍とされた出力画像信号を生成することを特徴とする画像情報変換装置。 - 請求項１または２において、
上記第１、第２、第３および第４の画素位置が一定の位置とされ、プログレッシブ方式の出力画像信号を形成することを特徴とする画像情報変換装置。 - 請求項１または２において、
上記第１、第２、第３および第４の画素位置が１フィールド毎に異ならされ、インタ−レス方式の出力画像信号を形成することを特徴とする画像情報変換装置。 - 請求項１または２において、
上記第１および第２の画素生成装置は、それぞれ１チップの集積回路の構成であることを特徴とする装置。 - 入力画像信号源と表示装置との間に、画像情報変換装置を設け、
上記画像情報変換装置は、
垂直画素数が入力画像信号のＮ倍（Ｎは、４以上の整数）で、それぞれ垂直方向の位置が異なる第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置であって、
上記第１の画素位置に第１の出力画像信号を生成し、上記第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
上記第３の画素位置に第３の出力画像信号を生成し、上記第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
上記第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とした第５、第６、第７、および第８の出力画像信号を生成し、上記第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
上記第１の画素生成装置は、上記第１および第２の画素位置の上記第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
上記第２の画素生成装置は、上記第３および第４の画素位置の上記第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
上記第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、上記第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と上記画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、上記クラス情報に対応した上記予測係数を上記メモリ部から読み出すクラス決定部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素と、上記メモリ部からの上記予測係数との積和演算によって、上記一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像表示装置。 - 入力画像信号源と表示装置との間に、画像情報変換装置を設け、
上記画像情報変換装置は、
垂直画素数が入力画像信号のＮ倍（Ｎは、２以上の整数）で、互いに垂直方向に異なるまたは時間方向に異なると共に、フィールド周波数が入力画像信号のＭ倍（Ｍは、２以上の整数）で第１、第２、第３、および第４の画素位置の画素を有する出力画像信号を生成するようにした画像情報変換装置であって、
上記第１の画素位置に第１の出力画像信号を生成し、上記第２の画素位置に第２の出力画像信号を生成する第１の画素生成装置と、
上記第３の画素位置に第３の出力画像信号を生成し、上記第４の画素位置に第４の出力画像信号を生成する第２の画素生成装置と、
上記第１、第２、第３、および第４の出力画像信号それぞれのライン周波数をＮ倍とすると共に、上記第１、第２、第３、および第４の出力画像信号それぞれのフィールド周波数をＭ倍とした第５、第６、第７、および第８の出力画像信号を生成し、上記第５、第６、第７、および第８の出力画像信号を選択的に合成することによって、出力画像信号を生成する出力処理装置とを備え、
上記第１の画素生成装置は、上記第１および第２の画素位置の上記第１および第２の出力画像信号の画素値をそれぞれ生成する第１および第２の信号生成部からなり、
上記第２の画素生成装置は、上記第３および第４の画素位置の上記第３および第４の出力画像信号の画素値をそれぞれ生成する第３および第４の信号生成部からなり、
上記第１、第２、第３、および第４の信号生成部のそれぞれは、
積和演算によって、上記第１、第２、第３および第４の画素位置の一の画素位置の画素を生成した時に、生成された値と上記画素位置の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって取得されている予測係数を記憶するメモリ部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素のレベル分布を表すクラス情報を形成し、上記クラス情報に対応した上記予測係数を上記メモリ部から読み出すクラス決定部と、
上記一の画素位置の周辺に位置する上記入力画像信号の複数の画素と、上記メモリ部からの上記予測係数との積和演算によって、上記一の画素位置の画素を作成する画素値生成部とを有することを特徴とする画像表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29945298A JP4154768B2 (ja) | 1998-10-21 | 1998-10-21 | 画像情報変換装置および画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29945298A JP4154768B2 (ja) | 1998-10-21 | 1998-10-21 | 画像情報変換装置および画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000134586A JP2000134586A (ja) | 2000-05-12 |
| JP4154768B2 true JP4154768B2 (ja) | 2008-09-24 |
Family
ID=17872768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29945298A Expired - Fee Related JP4154768B2 (ja) | 1998-10-21 | 1998-10-21 | 画像情報変換装置および画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154768B2 (ja) |
-
1998
- 1998-10-21 JP JP29945298A patent/JP4154768B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000134586A (ja) | 2000-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4470323B2 (ja) | 画像変換装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2001238185A (ja) | 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4438113B2 (ja) | 画像情報変換装置、画像情報変換方法および表示装置 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP2000083223A (ja) | 画像情報変換装置および画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080630 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |