JP4078719B2 - 画像情報変換装置、変換方法および画像表示装置 - Google Patents
画像情報変換装置、変換方法および画像表示装置 Download PDFInfo
- Publication number
- JP4078719B2 JP4078719B2 JP21763198A JP21763198A JP4078719B2 JP 4078719 B2 JP4078719 B2 JP 4078719B2 JP 21763198 A JP21763198 A JP 21763198A JP 21763198 A JP21763198 A JP 21763198A JP 4078719 B2 JP4078719 B2 JP 4078719B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- image signal
- class
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば、テレビジョン受像機に用いて好適な画像情報変換装置、変換方法および画像表示装置に関する。
【０００２】
【従来の技術】
インターレス方式の画像信号をプログレッシブ方式（順次走査方式、ノンインターレス方式とも称される）の画像信号へ変換する画像情報変換装置が知られている。この変換は、インターレス方式であることに起因するラインフリッカを軽減するためになされる。例えばグラフィックスの画像では、ラインフリッカが目立つ問題があり、グラフィックス画像を表示する時には、インターレス方式よりもプログレッシブ方式の方が高画質とできる。
【０００３】
従来のこの種の画像情報変換装置の一例について図８を参照して説明する。入力される例えば５２５ｉ信号（走査線５２５本のインターレス方式の信号）を動き判定回路２１、フレーム間補間回路２２およびフィールド内補間回路２３に供給し、これら補間回路２２および２３の出力を切り替え回路２４により選択し、選択した信号を線順次変換回路２５に供給している。線順次変換回路２５は、入力画像信号に存在するラインデータＬ１と補間により形成されたラインデータＬ２とを受け取り、水平走査の倍速処理を行う。線順次変換回路２５から出力信号（５２５ｐ信号（走査線５２５本のプログレッシブ方式の信号））が得られる。なお、画像信号は、所定のサンプリング周波数でもってディジタル化された輝度信号である。
【０００４】
切り替え回路２４は、動き判定回路２１の判定結果が静止の場合には、フィールド間補間回路２２からのフィールド間補間で形成されたラインの信号を選択し、判定結果が動きの場合には、フィールド内補間回路２３で形成されたラインの信号を選択する。例えばフィールド間補間回路２２は、前フィールドのラインの信号を使用して新たなラインの信号を形成し、フィールド内補間回路２３は、同一フィールドの上下のラインの信号の平均値により新たなラインの信号を形成する。現存するラインの信号と切り替え回路２４からの作成ラインの信号とが線順次変換回路２５に供給される。線順次変換回路２５は、これらのラインの信号を時間軸圧縮して、交互に出力する。
【０００５】
図９は、従来の画像情報変換装置により形成された画像の一部を拡大して示す。入力画像信号に存在するライン（現存ライン）のデータは、そのまま出力として使用され、切り替え回路２４の出力が現存ラインの中間位置の作成ラインのデータとして使用される。フィールド内補間回路２３では、上下の現存ラインの画素値の平均値によって作成ラインの画素値が生成される。
【０００６】
【発明が解決しようとする課題】
従来の画像情報変換装置は、入力画像信号を基にして、単に垂直方向の補間を行っているに過ぎないため、解像度は基となるＳＤ信号より高くならない。また、平均値で作成されたラインは、現存ラインと比較して垂直解像度が劣化しているために、現存ラインと補間ラインとの間で、解像度の差が目立つ問題がある。さらに、画像信号にノイズがある場合、上下ラインの平均値を用いた場合には、ランダムノイズを足し合わせることになり、作成ラインでノイズが減少することになる。この結果、ノイズが減少した作成ラインと、そうでない現存ラインとが交互に現れることになり、画質劣化が生じる。さらに、動き検出の結果に基づいて補間方法（静止画処理と動画処理）を切り替える時に、動き検出を誤った時に、画質の劣化が大きい問題があった。
【０００７】
従って、この発明の目的は、画質劣化を防止することが可能なインターレス方式の信号をプログレッシブ方式の信号に変換する画像情報変換装置、画像情報変換方法および画像表示装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成手段と、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成手段とからなり、
第１および第２の信号生成手段は、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
積和演算によって、第１の画素を生成した時に、生成された値と第１の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予測係数が求められ、予測係数をクラス情報毎に記憶し、クラス決定手段からのクラス情報が入力されることによって、予測係数を出力するメモリ手段と、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、メモリ手段からの予測係数との積和演算によって、第１の画素を生成する画素値生成手段と、
画素値生成手段から出力される信号の水平周期を倍にするライン倍速処理を行う走査変換手段とをそれぞれ有し、
第１および第２の信号生成手段は並列的に構成され、第１および第２の信号生成手段からの出力が交互に選択されて出力されることを特徴とする画像情報変換装置である。
【０００９】
請求項２の発明は、インターレス方式入力画像信号を受け取って表示装置にプログレッシブ方式画像信号を表示するようにした画像表示装置において、
入力画像信号源と表示装置との間に、画像情報変換装置を設け、
画像情報変換装置は、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成手段と、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成手段とからなり、
第１および第２の信号生成手段は、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
積和演算によって、第１の画素を生成した時に、生成された値と第１の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予測係数が求められ、予測係数をクラス情報毎に記憶し、クラス決定手段からのクラス情報が入力されることによって、予測係数を出力するメモリ手段と、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、メモリ手段からの予測係数との積和演算によって、第１の画素を生成する画素値生成手段と、
画素値生成手段から出力される信号の水平周期を倍にするライン倍速処理を行う走査変換手段とをそれぞれ有し、
第１および第２の信号生成手段は並列的に構成され、第１および第２の信号生成手段からの出力が交互に選択されて出力されることを特徴とする画像表示装置である。
【００１０】
請求項６の発明は、インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成のステップと、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成のステップとからなり、
第１および第２の信号生成のステップは、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するステップと、
積和演算によって、第１の画素を生成した時に、生成された値と第１の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予測係数が求められ、予測係数をクラス情報毎に記憶し、決定されたクラス情報が入力されることによって、予測係数を出力するステップと、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、出力された予測係数との積和演算によって、第１の画素を生成する画素値生成のステップと、
画素値生成ステップで生成される信号の水平周期を倍にするライン倍速処理を行う走査変換のステップとをそれぞれ有し、
第１および第２の信号生成のステップは並列的に行われ、第１および第２の信号生成のステップからの出力が交互に選択されて出力されることを特徴とする画像情報変換方法である。
【００１１】
この発明による画像情報変換装置は、インターレス方式の入力画像信号を、プログレッシブ方式の出力画像信号へ変換することができる。入力画像信号に存在しないラインのみならず、入力画像信号に存在するラインの信号もクラス分類適応処理によって生成するようになされる。クラス分類適応処理は、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて出力画像信号の画素値を作成するので、出力画像信号を高画質とすることができる。
【００１２】
この発明は、入力画像信号に存在しないラインと、入力画像信号に存在するラインの両方の信号を生成するので、現存ラインと作成ラインの特性が異なることによる画質劣化を防止でき、また、現存ラインと作成ラインの両者に対して高画質処理を施すので、画面全体を均一に高画質とでき、さらに、現存ラインに画質劣化の要因例えばノイズがある場合でも、劣化を除去する処理を行うことができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。一実施形態は、ディジタル入力映像信号例えばライン数が５２５本でインターレス方式の入力映像信号（以下、５２５ｐ信号と称する）を、プログレッシブ方式のディジタル出力映像信号例えばライン数が５２５本でプログレッシブ方式の画像信号（以下、５２５ｐ信号と称する）へ変換するものである。さらに、これらの出力映像信号は、水平方向の画素数が入力映像信号の２倍とされる。
【００１４】
また、一実施形態では、本願出願人の提案にかかわるクラス分類適応処理によって、解像度を高めるようにしている。この処理は、従来の補間処理によって高解像度信号を形成するものと異なる。すなわち、クラス分類適応処理は、入力信号である映像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力映像信号のもの以上に高めることが可能である。
【００１５】
この一実施形態では、図１に示すように、入力映像信号（５２５ｉ信号）が領域切り出し部１に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部１の出力がクラス検出回路２および１２、予測タップ選択回路３および１３に供給される。クラス検出回路２および１２は、作成すべき出力画素の近傍の入力画素のレベル分布のパターンに対応するクラスを検出する。クラス検出回路２および１２において、動きクラスを検出しても良い。なお、この一実施形態では、現存ライン上の出力画素値（ラインデータＬ１）と作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。但し、メモリを追加し、回路の動作速度が速ければ、時分割処理でラインデータＬ１およびＬ２を順に生成すると共に、ライン倍速処理を行うことが可能である。
【００１６】
クラス検出回路２および１２のそれぞれにより検出されたクラスが予測タップ選択回路３、１３と予測係数メモリ４、１４とに供給される。予測係数メモリ４、１４からは、クラスに対応する予測係数が読出され、積和演算回路５、１５に読出された予測係数が供給される。予測タップ選択回路３、１３は、クラスに応じて使用する予測タップを選択する構成とされている。予め各クラスの予測係数を学習によって得る時に、予測係数と使用する予測タップ位置情報との両者を得るようにしている。予測タップ選択回路３、１３には、予測タップ位置情報がクラス毎に記憶されたメモリが設けられている。このメモリからクラスに対応して読出された予測タップ位置情報がタップ切り替え用のセレクタに供給され、セレクタが選択的に予測タップを出力する。予測タップ選択回路３、１３からの予測タップが積和演算回路５、１５に供給される。
【００１７】
積和演算回路５、１５では、予測タップ（５２５ｉ信号の画素）と予測係数との線形推定式を用いて出力映像信号（５２５ｐ信号）のデータを算出する。積和演算回路５は、現存ライン上のデータ（ラインデータＬ１）を出力し、積和演算回路１５は、作成ライン上のデータ（ラインデータＬ２）を出力する。同時に、積和演算回路５、１５は、水平方向で２倍の数の画素を出力する。
【００１８】
積和演算回路５からのラインデータＬ１がラインダブラ６に供給され、積和演算回路１５からのラインデータＬ２がラインダブラ１６に供給される。ラインダブラ６、１６は、ライン倍速の処理を行う。積和演算回路５、１５は、５２５ｉ信号から５２５ｐ信号を生成するので、水平周期は、５２５ｉ信号と同一である。ラインダブラ６、１６は、水平周期を２倍とするライン倍速処理を行う。ラインダブラ６、１６の出力が水平周期で切り替えられるスイッチング回路７に入力される。スイッチング回路７は、ラインダブラ６、１６のそれぞれの出力を交互に選択し、出力映像信号（５２５ｐ信号）を発生する。
【００１９】
図２は、ライン倍速処理をアナログ波形を用いて示すものである。積和演算回路５、１５によって、ラインデータＬ１およびＬ２が同時に生成される。ラインデータＬ１には、順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には、順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。ラインダブラ６、１６は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路７によって交互に選択することによって、線順次出力（ａ０，ｂ０，ａ１，ｂ１，・・・）が形成される。
【００２０】
図示しないが、出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機に内蔵することができる。
【００２１】
図３は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と５２５ｐ信号との画素の配置を示すものである。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。この関係は、図３以外の他の図面においても同様である。図３は、あるフレーム（Ｆ）の奇数（Ｏ）フィールドの画素配置である。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図３から分かるように、一実施形態は、５２５ｉ信号のラインと同一位置のラインデータＬ１および５２５ｉ信号の上下のラインの中間位置のラインデータＬ２を形成し、また、各ラインの水平方向の画素数を２倍とする。従って、積和演算回路５、１５によって、５２５ｐ信号の４画素のデータが同時的に生成される。
【００２２】
クラス検出回路２、１２において使用されるクラスタップおよび予測タップ選択回路３、１３において選択される予測タップの具体例について説明する。図４および図５は、クラス検出回路２、１２において使用される空間クラスタップの一例を示す。図４および図５は、時間的に連続するフレームＦ−１の奇数フィールドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向の画素の配列を示す。
【００２３】
図４に示すように、フィールドＦ／ｏのラインデータＬ１およびＬ２を予測する時の空間クラスタップは、このフィールドＦ／ｏの次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅの入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのラインデータＬ１およびＬ２を予測する時には、図５に示すように、このフィールドＦ／ｅの次のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ／ｏの入力画素Ｔ６，Ｔ７である。なお、ラインデータＬ１の画素を予測する時には、Ｔ７の画素をクラスタップとして選択せず、ラインデータＬ２の画素を予測する時には、Ｔ４の画素をクラスタップとして選択しないようにしても良い。さらに、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００２４】
クラス検出回路２、１２は、空間クラスタップのレベル分布のパターンを検出する。この場合、クラス数が膨大となることを防ぐために、各画素８ビットの入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Adaptive Dynamic Range Coding ）によって、空間クラスタップの入力画素のデータが圧縮される。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００２５】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一実施形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００２７】
なお、動きクラスを併用して、空間クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、空間クラスタップを切り替えるようにしても良い。また、予測タップの具体例の説明は省略する。予測タップは、上述した空間クラスタップと同様のものであるが、予測精度を向上させるために、クラスに対応した予測タップ位置情報により選択される。
【００２８】
予測係数メモリ４、１４には、５２５ｉ信号のパターンと５２５ｐ信号の関係を学習することにより、取得された予測係数が各クラス毎に記憶されている。予測係数は、線形推定式により５２５ｉ信号を５２５ｐ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００２９】
予測係数メモリ４、１４のクラスに対応したアドレスから、そのクラスの予測係数が読出される。この予測係数は、積和演算回路５、１５に供給される。積和演算回路５は、予測タップ選択回路３、１３からの予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、ラインデータＬ１を算出する。積和演算回路１５は、同様にしてラインデータＬ２を算出する。但し、ラインデータＬ１およびＬ２との間では、使用する予測係数が相違する。
【００３０】
Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ （２）
このように、予測係数が各クラス毎に予め学習により求められた上で、予測係数メモリ４、１４に記憶しておき、入力される予測タップおよび読出された予測係数に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のプログレッシブ方式の映像信号を出力することができる。
【００３１】
次に、予測係数の作成（学習）について図６を用いて説明する。予測係数を学習によって得るためには、まず、間引きフィルタ３１によってプログレッシブ信号（例えば５２５ｐ信号）から、水平方向および垂直方向で画素数がそれぞれ１／２とされたインターレス映像信号（例えば５２５ｉ信号）を形成する。この間引きフィルタ３１の入力映像信号と出力映像信号とを学習用の対とする。
【００３２】
図７は、間引きフィルタ３１の入力信号（プログレッシブ画像）とその出力信号（インターレス画像）との画素の空間的関係を示す。プログレッシブ画像の奇数番目のフィールドの画像の偶数番目のラインが間引かれ、また、奇数番目のラインでは、水平方向に画素数が交互に間引かれる。プログレッシブ画像の偶数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインでは、水平方向に画素数が交互に間引かれる。間引きフィルタ３１の特性を変えることによって、学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３３】
間引きフィルタ３１からのインターレス映像信号が予測タップ領域切り出し部３２およびクラスタップ領域切り出し部３３に供給される。クラスタップ領域切り出し部３３からのクラスタップがクラス検出回路３４および３５に供給される。予測タップ領域切り出し部３２は、ラインデータＬ１、Ｌ２をそれぞれ作成するための予測タップを出力する。クラス検出回路３４、３５は、図１に示す信号変換装置におけるクラス検出回路２、１２と同様に、空間クラスタップのデータをＡＤＲＣにより圧縮し、クラス情報を発生する。クラス検出回路３４、３５は、ラインデータＬ１およびＬ２のそれぞれに関するクラスを独立に検出する。
【００３４】
予測タップ領域切り出し部３２からの予測タップが正規方程式加算回路３６、３７に供給される。正規方程式加算回路３６、３７の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、出力画素レベルをｙとしたとき、クラス毎に予測係数ｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００３５】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００３６】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００３７】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００３８】
【数１】
【００３９】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００４０】
【数２】
【００４１】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００４２】
【数３】
【００４３】
【数４】
【００４４】
【数５】
【００４５】
この方程式は、一般に正規方程式と呼ばれている。図６中の正規方程式加算回路３６、３７のそれぞれは、クラス検出回路３４、３５から供給されたクラス情報と、予測タップ領域切り出し部３２から供給された２組の予測タップと、作成しようとするプログレッシブ画像の画素（教師信号）を用いて、この正規方程式の加算を行う。
【００４６】
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路３６、３７は、予測係数決定部３８に正規方程式データを出力する。予測係数決定部３８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定部３８は、算出された予測係数を予測係数メモリ３９、４０に書込む。
【００４７】
以上のように学習を行った結果、予測係数メモリ３９、４０のそれぞれには、クラス毎に、プログレッシブ画像の注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ３９、４０に格納された予測係数は、上述の画像情報変換装置において、予測係数メモリ４、１４にロードされる。
【００４８】
また、予測タップ領域切り出し部３２が出力する予測タップの個数は、画像情報変換装置において使用される予測タップの個数より大きいものとされる。従って、予測係数決定部３８は、クラス毎により多くの予測係数が求まる。この求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。選択された予測係数がメモリ３９、４０のクラスに対応するアドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によって、各クラスに適合した予測タップを選択することが可能となる。
【００４９】
以上の処理により、線形推定式により、インターレス画像のデータからプログレッシブ画像のデータを作成するための予測係数の学習が終了する。
【００５０】
なお、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用できる。また、この発明では、水平方向の画素数を必ずしも２倍としないでも良い。
【００５１】
【発明の効果】
この発明は、インターレス画像をプログレッシブ画像に変換する時に、インターレス画像に存在するラインと対応するライン上の画素も作成するようにしている。それによって、次のような効果がある。第１に、現存ラインと作成ラインの特性が異なることによる画質劣化を防止できる。第２に、現存ラインと作成ラインの両者に対して高画質処理を施すので、画面全体を均一に高画質とできる。第３に、現存ラインに画質劣化の要因例えばノイズがある場合でも、劣化を除去する処理を行うことができる。第４に、水平方向の画素数を増やして高解像度とすることができる。
【００５２】
また、この発明は、画像情報を変換する時に、入力映像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて画素値を作成するので、従来の画像情報変換装置と比較して、静止画、動画とも高画質とすることができる。さらに、動きの情報をクラスの情報に取り込むので、静止画／動画の検出と、検出による切り替えが不要とでき、切り替え時に画質の相違が目立つことを防止でき、また、動き検出の誤りによる劣化を大幅に少なくできる。
【図面の簡単な説明】
【図１】この発明による画像情報変換装置の一実施形態のブロック図である。
【図２】線順次変換動作を説明するための波形図である。
【図３】この発明の一実施形態の入力画像の画素と出力画像の画素の位置関係を説明するための略線図である。
【図４】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図５】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図６】予測係数を取得するための学習時の構成の一例を示すブロック図である。
【図７】学習時の画素間引きの処理を説明するための略線図である。
【図８】従来の画像情報変換装置の一例のブロック図である。
【図９】従来の画像情報変換装置の説明に用いる略線図である。
【符号の説明】
２，１２・・・クラス検出回路、３，１３・・・予測タップ選択回路、４，１４・・・予測係数メモリ、５，１５・・・積和演算回路
【発明の属する技術分野】
この発明は、例えば、テレビジョン受像機に用いて好適な画像情報変換装置、変換方法および画像表示装置に関する。
【０００２】
【従来の技術】
インターレス方式の画像信号をプログレッシブ方式（順次走査方式、ノンインターレス方式とも称される）の画像信号へ変換する画像情報変換装置が知られている。この変換は、インターレス方式であることに起因するラインフリッカを軽減するためになされる。例えばグラフィックスの画像では、ラインフリッカが目立つ問題があり、グラフィックス画像を表示する時には、インターレス方式よりもプログレッシブ方式の方が高画質とできる。
【０００３】
従来のこの種の画像情報変換装置の一例について図８を参照して説明する。入力される例えば５２５ｉ信号（走査線５２５本のインターレス方式の信号）を動き判定回路２１、フレーム間補間回路２２およびフィールド内補間回路２３に供給し、これら補間回路２２および２３の出力を切り替え回路２４により選択し、選択した信号を線順次変換回路２５に供給している。線順次変換回路２５は、入力画像信号に存在するラインデータＬ１と補間により形成されたラインデータＬ２とを受け取り、水平走査の倍速処理を行う。線順次変換回路２５から出力信号（５２５ｐ信号（走査線５２５本のプログレッシブ方式の信号））が得られる。なお、画像信号は、所定のサンプリング周波数でもってディジタル化された輝度信号である。
【０００４】
切り替え回路２４は、動き判定回路２１の判定結果が静止の場合には、フィールド間補間回路２２からのフィールド間補間で形成されたラインの信号を選択し、判定結果が動きの場合には、フィールド内補間回路２３で形成されたラインの信号を選択する。例えばフィールド間補間回路２２は、前フィールドのラインの信号を使用して新たなラインの信号を形成し、フィールド内補間回路２３は、同一フィールドの上下のラインの信号の平均値により新たなラインの信号を形成する。現存するラインの信号と切り替え回路２４からの作成ラインの信号とが線順次変換回路２５に供給される。線順次変換回路２５は、これらのラインの信号を時間軸圧縮して、交互に出力する。
【０００５】
図９は、従来の画像情報変換装置により形成された画像の一部を拡大して示す。入力画像信号に存在するライン（現存ライン）のデータは、そのまま出力として使用され、切り替え回路２４の出力が現存ラインの中間位置の作成ラインのデータとして使用される。フィールド内補間回路２３では、上下の現存ラインの画素値の平均値によって作成ラインの画素値が生成される。
【０００６】
【発明が解決しようとする課題】
従来の画像情報変換装置は、入力画像信号を基にして、単に垂直方向の補間を行っているに過ぎないため、解像度は基となるＳＤ信号より高くならない。また、平均値で作成されたラインは、現存ラインと比較して垂直解像度が劣化しているために、現存ラインと補間ラインとの間で、解像度の差が目立つ問題がある。さらに、画像信号にノイズがある場合、上下ラインの平均値を用いた場合には、ランダムノイズを足し合わせることになり、作成ラインでノイズが減少することになる。この結果、ノイズが減少した作成ラインと、そうでない現存ラインとが交互に現れることになり、画質劣化が生じる。さらに、動き検出の結果に基づいて補間方法（静止画処理と動画処理）を切り替える時に、動き検出を誤った時に、画質の劣化が大きい問題があった。
【０００７】
従って、この発明の目的は、画質劣化を防止することが可能なインターレス方式の信号をプログレッシブ方式の信号に変換する画像情報変換装置、画像情報変換方法および画像表示装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成手段と、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成手段とからなり、
第１および第２の信号生成手段は、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
積和演算によって、第１の画素を生成した時に、生成された値と第１の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予測係数が求められ、予測係数をクラス情報毎に記憶し、クラス決定手段からのクラス情報が入力されることによって、予測係数を出力するメモリ手段と、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、メモリ手段からの予測係数との積和演算によって、第１の画素を生成する画素値生成手段と、
画素値生成手段から出力される信号の水平周期を倍にするライン倍速処理を行う走査変換手段とをそれぞれ有し、
第１および第２の信号生成手段は並列的に構成され、第１および第２の信号生成手段からの出力が交互に選択されて出力されることを特徴とする画像情報変換装置である。
【０００９】
請求項２の発明は、インターレス方式入力画像信号を受け取って表示装置にプログレッシブ方式画像信号を表示するようにした画像表示装置において、
入力画像信号源と表示装置との間に、画像情報変換装置を設け、
画像情報変換装置は、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成手段と、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成手段とからなり、
第１および第２の信号生成手段は、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
積和演算によって、第１の画素を生成した時に、生成された値と第１の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予測係数が求められ、予測係数をクラス情報毎に記憶し、クラス決定手段からのクラス情報が入力されることによって、予測係数を出力するメモリ手段と、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、メモリ手段からの予測係数との積和演算によって、第１の画素を生成する画素値生成手段と、
画素値生成手段から出力される信号の水平周期を倍にするライン倍速処理を行う走査変換手段とをそれぞれ有し、
第１および第２の信号生成手段は並列的に構成され、第１および第２の信号生成手段からの出力が交互に選択されて出力されることを特徴とする画像表示装置である。
【００１０】
請求項６の発明は、インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成のステップと、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成のステップとからなり、
第１および第２の信号生成のステップは、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するステップと、
積和演算によって、第１の画素を生成した時に、生成された値と第１の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予測係数が求められ、予測係数をクラス情報毎に記憶し、決定されたクラス情報が入力されることによって、予測係数を出力するステップと、
出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、出力された予測係数との積和演算によって、第１の画素を生成する画素値生成のステップと、
画素値生成ステップで生成される信号の水平周期を倍にするライン倍速処理を行う走査変換のステップとをそれぞれ有し、
第１および第２の信号生成のステップは並列的に行われ、第１および第２の信号生成のステップからの出力が交互に選択されて出力されることを特徴とする画像情報変換方法である。
【００１１】
この発明による画像情報変換装置は、インターレス方式の入力画像信号を、プログレッシブ方式の出力画像信号へ変換することができる。入力画像信号に存在しないラインのみならず、入力画像信号に存在するラインの信号もクラス分類適応処理によって生成するようになされる。クラス分類適応処理は、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて出力画像信号の画素値を作成するので、出力画像信号を高画質とすることができる。
【００１２】
この発明は、入力画像信号に存在しないラインと、入力画像信号に存在するラインの両方の信号を生成するので、現存ラインと作成ラインの特性が異なることによる画質劣化を防止でき、また、現存ラインと作成ラインの両者に対して高画質処理を施すので、画面全体を均一に高画質とでき、さらに、現存ラインに画質劣化の要因例えばノイズがある場合でも、劣化を除去する処理を行うことができる。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。一実施形態は、ディジタル入力映像信号例えばライン数が５２５本でインターレス方式の入力映像信号（以下、５２５ｐ信号と称する）を、プログレッシブ方式のディジタル出力映像信号例えばライン数が５２５本でプログレッシブ方式の画像信号（以下、５２５ｐ信号と称する）へ変換するものである。さらに、これらの出力映像信号は、水平方向の画素数が入力映像信号の２倍とされる。
【００１４】
また、一実施形態では、本願出願人の提案にかかわるクラス分類適応処理によって、解像度を高めるようにしている。この処理は、従来の補間処理によって高解像度信号を形成するものと異なる。すなわち、クラス分類適応処理は、入力信号である映像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式であり、クラス分類適応処理によって、解像度を入力映像信号のもの以上に高めることが可能である。
【００１５】
この一実施形態では、図１に示すように、入力映像信号（５２５ｉ信号）が領域切り出し部１に供給され、クラス分類および予測演算に必要とされる複数の画素が含まれる領域が切り出される。領域切り出し部１の出力がクラス検出回路２および１２、予測タップ選択回路３および１３に供給される。クラス検出回路２および１２は、作成すべき出力画素の近傍の入力画素のレベル分布のパターンに対応するクラスを検出する。クラス検出回路２および１２において、動きクラスを検出しても良い。なお、この一実施形態では、現存ライン上の出力画素値（ラインデータＬ１）と作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。但し、メモリを追加し、回路の動作速度が速ければ、時分割処理でラインデータＬ１およびＬ２を順に生成すると共に、ライン倍速処理を行うことが可能である。
【００１６】
クラス検出回路２および１２のそれぞれにより検出されたクラスが予測タップ選択回路３、１３と予測係数メモリ４、１４とに供給される。予測係数メモリ４、１４からは、クラスに対応する予測係数が読出され、積和演算回路５、１５に読出された予測係数が供給される。予測タップ選択回路３、１３は、クラスに応じて使用する予測タップを選択する構成とされている。予め各クラスの予測係数を学習によって得る時に、予測係数と使用する予測タップ位置情報との両者を得るようにしている。予測タップ選択回路３、１３には、予測タップ位置情報がクラス毎に記憶されたメモリが設けられている。このメモリからクラスに対応して読出された予測タップ位置情報がタップ切り替え用のセレクタに供給され、セレクタが選択的に予測タップを出力する。予測タップ選択回路３、１３からの予測タップが積和演算回路５、１５に供給される。
【００１７】
積和演算回路５、１５では、予測タップ（５２５ｉ信号の画素）と予測係数との線形推定式を用いて出力映像信号（５２５ｐ信号）のデータを算出する。積和演算回路５は、現存ライン上のデータ（ラインデータＬ１）を出力し、積和演算回路１５は、作成ライン上のデータ（ラインデータＬ２）を出力する。同時に、積和演算回路５、１５は、水平方向で２倍の数の画素を出力する。
【００１８】
積和演算回路５からのラインデータＬ１がラインダブラ６に供給され、積和演算回路１５からのラインデータＬ２がラインダブラ１６に供給される。ラインダブラ６、１６は、ライン倍速の処理を行う。積和演算回路５、１５は、５２５ｉ信号から５２５ｐ信号を生成するので、水平周期は、５２５ｉ信号と同一である。ラインダブラ６、１６は、水平周期を２倍とするライン倍速処理を行う。ラインダブラ６、１６の出力が水平周期で切り替えられるスイッチング回路７に入力される。スイッチング回路７は、ラインダブラ６、１６のそれぞれの出力を交互に選択し、出力映像信号（５２５ｐ信号）を発生する。
【００１９】
図２は、ライン倍速処理をアナログ波形を用いて示すものである。積和演算回路５、１５によって、ラインデータＬ１およびＬ２が同時に生成される。ラインデータＬ１には、順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には、順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。ラインダブラ６、１６は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路７によって交互に選択することによって、線順次出力（ａ０，ｂ０，ａ１，ｂ１，・・・）が形成される。
【００２０】
図示しないが、出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機に内蔵することができる。
【００２１】
図３は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と５２５ｐ信号との画素の配置を示すものである。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。この関係は、図３以外の他の図面においても同様である。図３は、あるフレーム（Ｆ）の奇数（Ｏ）フィールドの画素配置である。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図３から分かるように、一実施形態は、５２５ｉ信号のラインと同一位置のラインデータＬ１および５２５ｉ信号の上下のラインの中間位置のラインデータＬ２を形成し、また、各ラインの水平方向の画素数を２倍とする。従って、積和演算回路５、１５によって、５２５ｐ信号の４画素のデータが同時的に生成される。
【００２２】
クラス検出回路２、１２において使用されるクラスタップおよび予測タップ選択回路３、１３において選択される予測タップの具体例について説明する。図４および図５は、クラス検出回路２、１２において使用される空間クラスタップの一例を示す。図４および図５は、時間的に連続するフレームＦ−１の奇数フィールドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向の画素の配列を示す。
【００２３】
図４に示すように、フィールドＦ／ｏのラインデータＬ１およびＬ２を予測する時の空間クラスタップは、このフィールドＦ／ｏの次のフィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅの入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのラインデータＬ１およびＬ２を予測する時には、図５に示すように、このフィールドＦ／ｅの次のフィールドＦ／ｏに含まれ、作成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｅに含まれ、作成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ／ｏの入力画素Ｔ６，Ｔ７である。なお、ラインデータＬ１の画素を予測する時には、Ｔ７の画素をクラスタップとして選択せず、ラインデータＬ２の画素を予測する時には、Ｔ４の画素をクラスタップとして選択しないようにしても良い。さらに、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００２４】
クラス検出回路２、１２は、空間クラスタップのレベル分布のパターンを検出する。この場合、クラス数が膨大となることを防ぐために、各画素８ビットの入力データをより少ないビット数のデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Adaptive Dynamic Range Coding ）によって、空間クラスタップの入力画素のデータが圧縮される。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００２５】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一実施形態では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００２６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００２７】
なお、動きクラスを併用して、空間クラスと動きクラスとを統合してクラスを検出するようにしても良い。この場合、動きクラスに応じて、空間クラスタップを切り替えるようにしても良い。また、予測タップの具体例の説明は省略する。予測タップは、上述した空間クラスタップと同様のものであるが、予測精度を向上させるために、クラスに対応した予測タップ位置情報により選択される。
【００２８】
予測係数メモリ４、１４には、５２５ｉ信号のパターンと５２５ｐ信号の関係を学習することにより、取得された予測係数が各クラス毎に記憶されている。予測係数は、線形推定式により５２５ｉ信号を５２５ｐ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００２９】
予測係数メモリ４、１４のクラスに対応したアドレスから、そのクラスの予測係数が読出される。この予測係数は、積和演算回路５、１５に供給される。積和演算回路５は、予測タップ選択回路３、１３からの予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、ラインデータＬ１を算出する。積和演算回路１５は、同様にしてラインデータＬ２を算出する。但し、ラインデータＬ１およびＬ２との間では、使用する予測係数が相違する。
【００３０】
Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ （２）
このように、予測係数が各クラス毎に予め学習により求められた上で、予測係数メモリ４、１４に記憶しておき、入力される予測タップおよび読出された予測係数に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のプログレッシブ方式の映像信号を出力することができる。
【００３１】
次に、予測係数の作成（学習）について図６を用いて説明する。予測係数を学習によって得るためには、まず、間引きフィルタ３１によってプログレッシブ信号（例えば５２５ｐ信号）から、水平方向および垂直方向で画素数がそれぞれ１／２とされたインターレス映像信号（例えば５２５ｉ信号）を形成する。この間引きフィルタ３１の入力映像信号と出力映像信号とを学習用の対とする。
【００３２】
図７は、間引きフィルタ３１の入力信号（プログレッシブ画像）とその出力信号（インターレス画像）との画素の空間的関係を示す。プログレッシブ画像の奇数番目のフィールドの画像の偶数番目のラインが間引かれ、また、奇数番目のラインでは、水平方向に画素数が交互に間引かれる。プログレッシブ画像の偶数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインでは、水平方向に画素数が交互に間引かれる。間引きフィルタ３１の特性を変えることによって、学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００３３】
間引きフィルタ３１からのインターレス映像信号が予測タップ領域切り出し部３２およびクラスタップ領域切り出し部３３に供給される。クラスタップ領域切り出し部３３からのクラスタップがクラス検出回路３４および３５に供給される。予測タップ領域切り出し部３２は、ラインデータＬ１、Ｌ２をそれぞれ作成するための予測タップを出力する。クラス検出回路３４、３５は、図１に示す信号変換装置におけるクラス検出回路２、１２と同様に、空間クラスタップのデータをＡＤＲＣにより圧縮し、クラス情報を発生する。クラス検出回路３４、３５は、ラインデータＬ１およびＬ２のそれぞれに関するクラスを独立に検出する。
【００３４】
予測タップ領域切り出し部３２からの予測タップが正規方程式加算回路３６、３７に供給される。正規方程式加算回路３６、３７の説明のために、複数個の入力画素から出力画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために、より一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択される入力画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、出力画素レベルをｙとしたとき、クラス毎に予測係数ｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００３５】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００３６】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００３７】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００３８】
【数１】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００４０】
【数２】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００４２】
【数３】
【数４】
【数５】
この方程式は、一般に正規方程式と呼ばれている。図６中の正規方程式加算回路３６、３７のそれぞれは、クラス検出回路３４、３５から供給されたクラス情報と、予測タップ領域切り出し部３２から供給された２組の予測タップと、作成しようとするプログレッシブ画像の画素（教師信号）を用いて、この正規方程式の加算を行う。
【００４６】
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路３６、３７は、予測係数決定部３８に正規方程式データを出力する。予測係数決定部３８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定部３８は、算出された予測係数を予測係数メモリ３９、４０に書込む。
【００４７】
以上のように学習を行った結果、予測係数メモリ３９、４０のそれぞれには、クラス毎に、プログレッシブ画像の注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ３９、４０に格納された予測係数は、上述の画像情報変換装置において、予測係数メモリ４、１４にロードされる。
【００４８】
また、予測タップ領域切り出し部３２が出力する予測タップの個数は、画像情報変換装置において使用される予測タップの個数より大きいものとされる。従って、予測係数決定部３８は、クラス毎により多くの予測係数が求まる。この求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。選択された予測係数がメモリ３９、４０のクラスに対応するアドレスにそれぞれ格納される。従って、クラス毎に予測タップが選択されることになり、この予測タップの選択位置情報がクラス毎にメモリ（図示しない）に格納される。このような予測タップ選択処理によって、各クラスに適合した予測タップを選択することが可能となる。
【００４９】
以上の処理により、線形推定式により、インターレス画像のデータからプログレッシブ画像のデータを作成するための予測係数の学習が終了する。
【００５０】
なお、５２５本のライン数は、一例であって、他のライン数であってもこの発明を適用できる。また、この発明では、水平方向の画素数を必ずしも２倍としないでも良い。
【００５１】
【発明の効果】
この発明は、インターレス画像をプログレッシブ画像に変換する時に、インターレス画像に存在するラインと対応するライン上の画素も作成するようにしている。それによって、次のような効果がある。第１に、現存ラインと作成ラインの特性が異なることによる画質劣化を防止できる。第２に、現存ラインと作成ラインの両者に対して高画質処理を施すので、画面全体を均一に高画質とできる。第３に、現存ラインに画質劣化の要因例えばノイズがある場合でも、劣化を除去する処理を行うことができる。第４に、水平方向の画素数を増やして高解像度とすることができる。
【００５２】
また、この発明は、画像情報を変換する時に、入力映像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて画素値を作成するので、従来の画像情報変換装置と比較して、静止画、動画とも高画質とすることができる。さらに、動きの情報をクラスの情報に取り込むので、静止画／動画の検出と、検出による切り替えが不要とでき、切り替え時に画質の相違が目立つことを防止でき、また、動き検出の誤りによる劣化を大幅に少なくできる。
【図面の簡単な説明】
【図１】この発明による画像情報変換装置の一実施形態のブロック図である。
【図２】線順次変換動作を説明するための波形図である。
【図３】この発明の一実施形態の入力画像の画素と出力画像の画素の位置関係を説明するための略線図である。
【図４】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図５】入力画素および出力画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図６】予測係数を取得するための学習時の構成の一例を示すブロック図である。
【図７】学習時の画素間引きの処理を説明するための略線図である。
【図８】従来の画像情報変換装置の一例のブロック図である。
【図９】従来の画像情報変換装置の説明に用いる略線図である。
【符号の説明】
２，１２・・・クラス検出回路、３，１３・・・予測タップ選択回路、４，１４・・・予測係数メモリ、５，１５・・・積和演算回路
Claims (7)
- インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成手段と、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成手段とからなり、
上記第１および第２の信号生成手段は、
上記出力画像信号の生成すべき第１の画素の周辺に位置する上記入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
積和演算によって、上記第１の画素を生成した時に、生成された値と上記第１の画素の真値との誤差を最小とするように、上記クラス情報毎に予め学習によって予測係数が求められ、上記予測係数を上記クラス情報毎に記憶し、上記クラス決定手段からの上記クラス情報が入力されることによって、予測係数を出力するメモリ手段と、
上記出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、上記メモリ手段からの予測係数との上記積和演算によって、上記第１の画素を生成する画素値生成手段と、
上記画素値生成手段から出力される信号の水平周期を倍にするライン倍速処理を行う走査変換手段とをそれぞれ有し、
上記第１および第２の信号生成手段は並列的に構成され、上記第１および第２の信号生成手段からの出力が交互に選択されて出力されることを特徴とする画像情報変換装置。 - インターレス方式入力画像信号を受け取って表示装置にプログレッシブ方式画像信号を表示するようにした画像表示装置において、
入力画像信号源と表示装置との間に、画像情報変換装置を設け、
上記画像情報変換装置は、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成手段と、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成手段とからなり、
上記第１および第２の信号生成手段は、
上記出力画像信号の生成すべき第１の画素の周辺に位置する上記入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
積和演算によって、上記第１の画素を生成した時に、生成された値と上記第１の画素の真値との誤差を最小とするように、上記クラス情報毎に予め学習によって予測係数が求められ、上記予測係数を上記クラス情報毎に記憶し、上記クラス決定手段からの上記クラス情報が入力されることによって、予測係数を出力するメモリ手段と、
上記出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、上記メモリ手段からの予測係数との上記積和演算によって、上記第１の画素を生成する画素値生成手段と、
上記画素値生成手段から出力される信号の水平周期を倍にするライン倍速処理を行う走査変換手段とをそれぞれ有し、
上記第１および第２の信号生成手段は並列的に構成され、上記第１および第２の信号生成手段からの出力が交互に選択されて出力されることを特徴とする画像表示装置。 - 請求項１または２において、
上記第１および第２の信号生成手段は、上記第１の画素の周辺に位置する複数の画素を選択する画素選択手段をさらに有し、
上記画素選択手段は、上記クラス情報毎に予め学習によって予測係数が求められる時に選択される画素の位置情報がクラス毎に記憶されているメモリを有し、該メモリから上記クラス決定手段によって決定されたクラス情報に対する位置情報を読み出し、読み出された位置情報に対応する上記複数の画素を選択して上記第３の画素とすることを特徴とする装置。 - 請求項１または２において、
上記第１および第２の信号生成手段は、さらに、水平方向に上記入力画像信号の２倍の画素数の出力画像信号を生成することを特徴とする装置。 - インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号に存在するラインと対応するラインの出力画像信号の画素値を生成する第１の信号生成のステップと、
入力画像信号に存在するラインと対応しないラインの出力画像信号の画素値を生成する第２の信号生成のステップとからなり、
上記第１および第２の信号生成のステップは、
上記出力画像信号の生成すべき第１の画素の周辺に位置する上記入力画像信号の複数の第２の画素を用いて当該第１の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するステップと、
積和演算によって、上記第１の画素を生成した時に、生成された値と上記第１の画素の真値との誤差を最小とするように、上記クラス情報毎に予め学習によって予測係数が求められ、上記予測係数を上記クラス情報毎に記憶し、決定された上記クラス情報が入力されることによって、予測係数を出力するステップと、
上記出力画像信号の生成すべき第１の画素の周辺に位置する入力画像信号の複数の第３の画素と、出力された上記予測係数との上記積和演算によって、上記第１の画素を生成する画素値生成のステップと、
上記画素値生成ステップで生成される信号の水平周期を倍にするライン倍速処理を行う走査変換のステップとをそれぞれ有し、
上記第１および第２の信号生成のステップは並列的に行われ、上記第１および第２の信号生成のステップからの出力が交互に選択されて出力されることを特徴とする画像情報変換方法。 - 請求項５において、
上記第１および第２の信号生成ステップは、上記第１の画素の周辺に位置する複数の画素を選択する画素選択のステップをさらに有し、
上記画素選択のステップでは、上記クラス情報毎に予め学習によって予測係数が求められる時に選択される画素の位置情報をクラス毎にメモリに記憶し、該メモリから上記クラス情報を形成するステップにおいて決定されたクラス情報に対する位置情報を読み出し、読み出された位置情報に対応する上記複数の画素を選択して上記第３の画素とすることを特徴とする方法。 - 請求項５において、
上記第１および第２の信号生成のステップは、さらに、水平方向に上記入力画像信号の２倍の画素数の出力画像信号を生成することを特徴とする方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21763198A JP4078719B2 (ja) | 1998-07-31 | 1998-07-31 | 画像情報変換装置、変換方法および画像表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21763198A JP4078719B2 (ja) | 1998-07-31 | 1998-07-31 | 画像情報変換装置、変換方法および画像表示装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000050213A JP2000050213A (ja) | 2000-02-18 |
| JP2000050213A5 JP2000050213A5 (ja) | 2005-09-08 |
| JP4078719B2 true JP4078719B2 (ja) | 2008-04-23 |
Family
ID=16707305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21763198A Expired - Fee Related JP4078719B2 (ja) | 1998-07-31 | 1998-07-31 | 画像情報変換装置、変換方法および画像表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4078719B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6492453B1 (en) * | 1999-09-24 | 2002-12-10 | Alphagary Corporation | Low smoke emission, low corrosivity, low toxicity, low heat release, flame retardant, zero halogen polymeric compositions |
| JP3715249B2 (ja) * | 2001-04-27 | 2005-11-09 | シャープ株式会社 | 画像処理回路、画像表示装置、並びに画像処理方法 |
| JP4639037B2 (ja) * | 2003-07-18 | 2011-02-23 | キヤノン株式会社 | 画像処理方法および装置 |
-
1998
- 1998-07-31 JP JP21763198A patent/JP4078719B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000050213A (ja) | 2000-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP2002218413A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4470323B2 (ja) | 画像変換装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2001238185A (ja) | 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4438113B2 (ja) | 画像情報変換装置、画像情報変換方法および表示装置 | |
| JP2000083223A (ja) | 画像情報変換装置および画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140215 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |