JP4035895B2

JP4035895B2 - Image conversion apparatus and method, and recording medium

Info

Publication number: JP4035895B2
Application number: JP19527798A
Authority: JP
Inventors: 哲二郎近藤; 正明服部; 靖立平; 隆也星野; 秀雄中屋; 俊彦浜松; 寿一白木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-07-10
Filing date: 1998-07-10
Publication date: 2008-01-23
Anticipated expiration: 2018-07-10
Also published as: JP2000032402A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたもしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
本出願人は、例えば、特開平８−５１５９９号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばSD(Standard Definition)画素データからなる画像データからHD(High Definition)画素データからなる画像データを創造する場合、創造するHD画素データの近傍に位置するSD画素データを用いてクラス分類を行い（クラスを決定し）、それぞれのクラス毎に、予測係数値を学習させておき、画像静止部においては、画面内（空間的）相関を利用し、動き部においては、フィールド内相関を利用して、より真値に近いHD画素データを得るようにしている。
【０００３】
【発明が解決しようとする課題】
ところで、この技術を用いて、例えば、非常に画質の悪い（画像のぼけた）画像を良好な画質の画像に補正することができる。しかしながら、非常に画質が悪い（高周波成分が失われている）画像データの場合、この非常に画質が悪い画像データを用いてクラス分類を行うと、適切なクラス分類を行うことができず、適切なクラスを決定することができない。適切なクラスを求めることができないと、適切な予測係数値のセットを得ることができず、結局、充分な画質の補正を行うことができない課題があった。
【０００４】
本発明はこのような状況に鑑みてなされたものであり、入力された画像データの画質が悪くとも、確実に画質を補正することを可能にするものである。
【０００５】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出手段と、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類手段と、クラスタップを構成する複数の画素データに ADRC 処理を行うことにより、クラスタップをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類手段と、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生手段と、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出手段と、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成手段と、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算手段と、演算された自己相関係数の値が大きい程、第１の抽出手段によって抽出されるクラスタップまたは第２の抽出手段によって抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御手段とを備えることを特徴とする。
【０００６】
本発明の画像変換方法は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出ステップと、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、クラスタップを構成する複数の画素データに ADRC 処理を行うことにより、クラスタップをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生ステップと、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出ステップと、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成ステップと、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算ステップと、演算された自己相関係数の値が大きい程、第１の抽出ステップで抽出されるクラスタップまたは第２の抽出ステップで抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御ステップとを含むことを特徴とする。
【０００７】
本発明の記録媒体は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出ステップと、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類ステップと、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生ステップと、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出ステップと、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成ステップと、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算ステップと、演算された自己相関係数の値が大きい程、第１の抽出ステップで抽出されるクラスタップまたは第２の抽出ステップで抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【０００８】
本発明の画像変換装置および方法、並びに記録媒体のプログラムにおいては、第１の画像信号を構成する複数の画素データのうち、１つの画素データが注目画素データに指定され、注目画素データの周辺に位置する複数の画素データが、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出され、クラスタップを構成する複数の画素データに対して圧縮処理が施され、圧縮処理結果のデータがいずれかのクラスに分類され、分類されたクラスを表すクラスコードが発生され、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数が読み出される。また、第１の画像信号を構成する複数の画素データのうち、１つの画素データが注目画素データに指定され、注目画素の周辺に位置する複数の画素データが、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出され、読み出された予測係数と抽出された予測タップを構成する複数の画素データとが積和演算されることにより第２の画像信号を構成する画素データが生成される。そして、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数が演算され、演算された自己相関係数の値が大きい程、抽出されるクラスタップまたは抽出される予測タップの少なくとも一方の抽出範囲が広げられる。
【０００９】
請求項５に記載の画像変換方法、および請求項６に記載の提供媒体においては、第１の抽出ステップで、第１の画像信号の中からクラスコードを生成するための複数の画像データをクラスタップとして抽出し、クラス分類ステップで、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、予測係数発生ステップで、クラスコードに対応する予測係数を発生し、第２の抽出ステップで、第１の画像信号の中から予測タップを抽出し、生成ステップで、予測係数および予測タップを用いて第２の画像信号を生成し、演算ステップで、第１の画像信号の局所的な自己相関係数を演算し、制御ステップで、演算ステップで演算した自己相関係数に基づいて、第１の抽出ステップで抽出するクラスタップまたは第２の抽出ステップで抽出する予測タップを制御する。
【００１０】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。
【００１１】
すなわち、本発明の画像変換装置は、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素データの周辺に位置する複数の画素データを、注目画素データに対応するクラスコードを生成するための複数の画素データからなるクラスタップとして抽出する第１の抽出手段（例えば、図１の領域切り出し部１）と、クラスタップを構成する複数の画素データに対して圧縮処理を行い、圧縮処理結果のデータをいずれかのクラスに分類し、分類したクラスを表すクラスコードを発生するクラス分類手段（例えば、図１のADRCパターン抽出部４）と、クラスコードに対応付けて予測係数が記録されているテーブルから、発生されたクラスコードに対応する予測係数を読み出す予測係数発生手段（例えば、図１のROMテーブル６）と、第１の画像信号を構成する複数の画素データのうち、１つの画素データを注目画素データに指定し、注目画素の周辺に位置する複数の画素データを、第２の画像信号を構成する画素データを生成するための複数の画素データからなる予測タップとして抽出する第２の抽出手段（例えば、図１の領域切り出し部２）と、読み出された予測係数と抽出された予測タップを構成する複数の画素データとを積和演算することにより第２の画像信号を構成する画素データを生成する生成手段（例えば、図１の予測演算部７）と、第１の画像信号の局所的な自己相関関数における、所定量だけシフトした自己相関係数を演算する演算手段（例えば、図４のステップＳ１）と、演算された自己相関係数の値が大きい程、第１の抽出手段によって抽出されるクラスタップまたは第２の抽出手段によって抽出される予測タップの少なくとも一方の抽出範囲を広げるように制御する制御手段（例えば、図１の特徴量抽出部３）とを備えることを特徴とする。
【００１２】
但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１３】
以下に、本発明の実施の形態について説明する。図１は、本発明を適用した、画像変換装置の構成例を示すブロック図である。同図には、例えば画質の悪い（高周波成分が少なくてぼけた画像の）SD画像データ（または、HD画像データ）を、画質改善されたSD画像データ（または、HD画像データ）に変換する構成例が示されている。以下においては、入力画像データがSD画像データである場合について説明する。
【００１４】
例えば、画質の悪い（高周波成分が少なくてぼけた画像の）SD画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部１、領域切り出し部２、および特徴量抽出部３に供給される。特徴量抽出部３は、入力されたSD画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部１、領域切り出し部２、およびクラスコード発生部５に出力する。領域切り出し部１は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをADRC(Adaptive Dynamic Range Coding)パターン抽出部４に出力する。領域切り出し部１において切り出されるクラスタップは、特徴量抽出部３の出力する特徴量に対応して制御される。ADRCパターン抽出部４は、空間内の波形表現を目的としたクラス分類を行うようになされている。
【００１５】
クラスコード発生部５は、ADRCパターン抽出部４より出力されたクラスおよび特徴量抽出部３から出力された特徴量に対応するクラスコードを発生し、ROMテーブル６に出力する。ROMテーブル６には、各クラス（クラスコード）に対応して予め所定の予測係数のセットが記憶されており、クラスコードに対応する予測係数のセットが予測演算部７に出力される。
【００１６】
領域切り出し部２は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部７に出力する。この領域切り出し部２により切り出される予測タップのセットは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して制御される。予測演算部７は、領域切り出し部２より入力された予測タップのセットと、ROMテーブル６より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【００１７】
次に、その動作について説明する。領域切り出し部１は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図２に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計５個の画素データをクラスタップとして切り出す。あるいは、図３に示すように、注目画素データに対応する画素データと、上下左右方向に３画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部３の出力するぼけ量を表す特徴量に対応して決定される。
【００１８】
ここで、図４のフローチャートを参照して、特徴量抽出部３の特徴量抽出処理について説明する。最初にステップＳ１において、特徴量抽出部３は、入力された各画素データに対する自己相関係数をフレーム内の所定の領域（局所）毎に、算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。
【００１９】
すなわち、例えば図５に示すように、水平方向に連続する３個のタップTAP[0]乃至TAP[2]を自己相関係数算出用のタップとした場合、自己相関係数cc[n]（いまの場合、nは３以下の数）は、図６に示すように、タップTAP[0]乃至TAP[2]の画素値と、それをnタップだけシフトした画素値とが、それぞれ積算され、それらが加算されて求められる。すなわち、自己相関係数cc[0]は７１０（＝１５×１５＋１４×１４＋１７×１７）であり、自己相関係数cc[1]は４４８（＝１５×０＋１４×１５＋１７×１４）であり、自己相関係数cc[2]は２５５（＝１５×０＋１４×０＋１７×１５）である。
【００２０】
自己相関係数cc[n]の最大値は、図７(A)に示すように、常に自己相関係数cc[0]であり、自己相関係数cc[n]の値はnが増加するとともに減少する。図７は、水平方向に連続する７個のタップTAP[0]乃至TAP[7]を自己相関係数算出用のタップとした場合における自己相関係数cc[n]とnの関係を示しているものであるが、図５および図６に示した例（３個のタップTAP[0]乃至TAP[2]を自己相関係数算出用のタップとした場合）においても、自己相関係数cc[0]が最大値となる。
【００２１】
なお、実際には、n個全ての自己相関係数cc[0]乃至cc[n]が算出されるわけではなく、最大値である自己相関係数cc[0]と所定の自己相関係数cc[k]（kはn以下の任意の値）との２個の自己相関係数が算出される。
【００２２】
ステップＳ２において、特徴量抽出部３は、図７(A)に示すように、ステップＳ１で算出した自己相関係数cc[k]（図７(A)の例の場合、K=3）を、最大値である自己相関係数cc[0]で割って（正規化して）、正規化された自己相関係数ncc[k]（傾斜量）を算出する。
【００２３】
ステップＳ３において、特徴量抽出部３は、ステップＳ２で算出された正規化された自己相関係数（傾斜量）ncc[k]が、傾斜量の最大値NCQ_MAX(<1.0)乃至最小値NCQ_MIN(>0.0)の間に予め設定されている複数のコード（図７(B)に示す例の場合、０乃至７）のうちのいずれのコードに対応するかを判定し、判定結果に対応するコードを出力する。なお、傾斜量の最大値NCQ_MAXおよび最小値NCQ_MINは、画像データから統計的に設定される。
【００２４】
このように、特徴量はコードとして求められ、領域切り出し部１、領域切り出し部２、およびクラスコード発生部５に出力される。
【００２５】
領域切り出し部１は、特徴量抽出部３から特徴量として、例えば、コード０が入力された場合、図８に示すように、注目画素に連続して配置されている画素データ（図２に対応する）をクラスタップとして切り出す（抽出する）。また、コード２が入力された場合、領域切り出し部１は、コード０の場合より広い間隔で配置されている画素データ（図８の例では注目画素から２画素離れている画素データ、図３に相当する）をクラスタップとして切り出す（抽出する）。すなわち、特徴量を示すコードが大きくなる（高周波成分が少なく）につれて、注目画素から離れた画素がクラスタップとされる。
【００２６】
このように、ぼけ量を表す特徴量（コード）に応じて、クラスタップとして切り出す画素データを局所領域でダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【００２７】
図示は省略するが、領域切り出し部２における予測タップも、領域切り出し部１におけるクラスタップの切り出しと同様に、特徴量抽出部３の出力する特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部２において切り出される予測タップ（画素データ）は、領域切り出し部１において切り出されるクラスタップ（画素データ）と同一にしてもよいし、異なるものとしてもよい。
【００２８】
ADRCパターン抽出部４は、領域切り出し部１で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行う（クラスを決定する）。すなわち、クラスタップとして抽出された５つの画素データのうちのダイナミックレンジをDR、ビット割当をｎ、クラスタップとしての各画素データのレベルをＬ、再量子化コードをＱとするとき、次式を演算する。
Ｑ＝｛（Ｌ−MIN＋０．５）×２ ⁿ／DR｝
DR＝MAX−MIN＋１
【００２９】
なお、ここで｛｝は切り捨て処理を意味する。また、MAXとMINは、クラスタップを構成する５つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部１で切り出されたクラスタップを構成する５個の画素データが、それぞれ例えば８ビット（ｎ＝８）で構成されているとすると、これらがそれぞれ２ビットに圧縮される。従って、合計１０（＝２×５）ビットで表される空間クラスを表すデータが、クラスコード発生部５に供給される。
【００３０】
クラスコード発生部５は、ADRCパターン抽出部４より入力された空間クラスを表すデータに、特徴量抽出部３より供給されるぼけ量を表す特徴量を表すビットを付加してクラスコードを発生する。例えば、ぼけ量を表す特徴量が２ビットで表されるとすると、１２ビットのクラスコードが発生され、ROMテーブル６に供給される。このクラスコードは、ROMテーブル６のアドレスに対応している。
【００３１】
ROMテーブル６には、各クラス（クラスコード）に対応する予測係数のセットがクラスコードに対応するアドレスにそれぞれ記憶されており、クラスコード発生部５より供給されたクラスコードに基づいて、そのクラスコードに対応するアドレスに記憶されている予測係数のセットω₁乃至ω_nが読み出され、予測演算部７に供給される。
【００３２】
予測演算部７は、領域切り出し部２より供給された予測タップを構成する画素データｘ₁乃至ｘ_nと、予測係数ω₁乃至ω_nに対して、次式に示すように、積和演算を行うことで、予測結果ｙを演算する。
ｙ＝ω₁ｘ₁＋ω₂ｘ₂＋・・・＋ω_nｘ_n
【００３３】
この予測値ｙが、画質（ぼけ）が補正された画素データとなる。
【００３４】
図９は、ROMテーブル６に記憶するクラス毎（クラスコード毎）の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、画質の良好な教師信号（学習信号）としてのSD画像データ（または、HD画像データ）を用いてクラス毎（クラスコード毎）の予測係数のセットを生成する構成が示されている。なお、以下に説明する構成例は、本実施の形態の図１の画像変換装置に対応するクラス毎の予測係数のセットを生成するための例である。
【００３５】
例えば、画質の良好な教師信号（学習信号）としての画像データが、正規方程式演算部２７に入力されるとともに、ローパスフィルタ(LPF)２１に入力される。ローパスフィルタ２１は、入力された教師信号（学習信号）としての画像データの低域成分を除去することで、画質の劣化した生徒信号（学習信号）を生成する。ローパスフィルタ２１から出力された、画質の劣化した生徒信号（学習信号）は、クラスタップとして所定の範囲の画素データを切り出す（抽出する）領域切り出し部２２、予測タップとして所定の範囲の画素データを切り出す（抽出する）領域切り出し部２３、および、ぼけ量を表す特徴量を抽出する特徴量抽出部２４に入力される。特徴量抽出部２４は、入力された画質の劣化した生徒信号（学習信号）の画素データのぼけ量を表す特徴量を抽出し、抽出したその特徴量を、領域切り出し部２２、領域切り出し部２３、およびクラスコード発生部２６に供給する。領域切り出し部２２と、領域切り出し部２３は、入力されたぼけ量を表す特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【００３６】
ADRCパターン抽出部２５は、領域切り出し部２２より入力されたクラスタップとしての画素データのクラス分類を行い（クラスを決定し）、その分類結果をクラスコード発生部２６に出力する。クラスコード発生部２６は、分類されたクラスとぼけ量を表す特徴量とからクラスコードを発生し、正規方程式演算部２７に出力する。なお、上述した領域切り出し部２２、領域切り出し部２３、特徴量抽出部２４、ADRCパターン抽出部２５およびクラスコード発生部２６のそれぞれの構成および動作は、図１に示された領域切り出し部１、領域切り出し部２、特徴量抽出部３、ADRCパターン抽出部４およびクラスコード発生部６と同一であるため、ここでは説明を省略する。
【００３７】
正規方程式演算部２７は、入力される教師信号（学習信号）と領域切り出し部２３から供給される予測タップとしての画素データとから、クラス毎（クラスコード毎）に正規方程式を生成し、その正規方程式を予測係数決定部２８に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部２７は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部２８からメモリ２９に供給され、記憶される。このメモリ２９に記憶されたクラス毎の予測係数のセットが、図１のROMテーブル６に書き込まれることになる。
【００３８】
上述した例では、クラス毎の予測係数のセットを、図９に示される構成によって演算して求めるようにしたが、コンピュータを用いてシミュレーションで演算して求めるようにしてもよい。
【００３９】
また、本実施の形態においては、図１に示されるROMテーブル６に記憶された、図９に示される方法で演算されたクラス毎の予測係数のセットと、予測タップとして切り出された画素データとから画質改善（ぼけ改善）された画素データを生成するようになされているが、本発明はこれに限らず、ROMテーブル６に学習によって演算されたクラス毎（クラスコード毎）の画素データの予測値そのものを記憶しておき、クラスコードによってその予測値を読み出すようにしてもよい。
【００４０】
この場合、図１に示される領域切り出し部２および図９に示される領域切り出し部２３は省略でき、図１に示される予測演算部７は、ROMテーブル６から出力された画素データを出力デバイスに対応したフォーマットに変換して出力するようになされる。さらに、この場合は、図９に示される正規方程式演算部２７および予測係数決定部２８のかわりに、重心法を用いてクラス毎の予測値が生成され、このクラス毎の予測値がメモリ２９に記憶される。
【００４１】
さらに、クラス毎の予測値そのもののかわりに、クラス毎の予測値のそれぞれを基準値で正規化し、クラス毎の正規化された予測値をROMテーブル６に記憶しておいてもよい。この場合、図１に示される予測演算部７では、基準値に基づいて正規化された予測値から予測値を演算することになる。
【００４２】
さらに、本実施の形態において、クラスタップまたは予測タップとして切り出される画素データの数は、５個であったが、これに限らず、クラスタップまたは予測タップとして切り出される画素データの数はいくつであってもよい。ただし、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度は高くなるが、演算量が多くなり、メモリが大きくなり、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【００４３】
また、本実施の形態においては、SD画像信号からSD画像信号への変換（SD−SD変換）、HD画像信号からHD画像信号への変換（HD−HD変換）について説明されているが、本発明はこれに限らず、他のフォーマット（インターレース信号、ノンインターレース信号など）の変換にももちろん適用可能である。さらに、SD画像信号からHD画像信号への変換（SD−HD変換）やインターレース信号からノンインターレース信号への変換（インター−ノンインター変換）など、異なるフォーマット間の変換にも本発明は適用が可能である。ただし、この場合には、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【００４４】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。従って、本発明の要旨は本実施の形態に限定されるものではない。
【００４５】
また、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【００４６】
【発明の効果】
以上のように、本発明によれば、入力される画像データの画質が悪くても、クラスタップまたは予測タップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像変換装置の構成を示すブロック図である。
【図２】図１の領域切り出し部１における切り出し処理を説明する図である。
【図３】図１の領域切り出し部１における切り出し処理を説明する図である。
【図４】図１の特徴量抽出部３における特徴量抽出処理を説明するフローチャートである。
【図５】図４のステップＳ１における自己相関係数の演算を説明する図である。
【図６】図４のステップＳ１における自己相関係数の演算を説明する図である。
【図７】図４のステップＳ２の正規化処理を説明する図である。
【図８】コードの対応するクラスタップの例を示す図である。
【図９】図１のROMテーブル６の予測係数の学習処理を行うための構成を示すブロック図である。
【符号の説明】
１，２領域切り出し部，３特徴量抽出部，４ ADRCパターン抽出部，
５クラスコード発生部，６ ROMテーブル，７予測演算部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image conversion apparatus and method, andRecordRegarding media, in particular, when an input image signal is converted to an image signal of the same format or a different format, even if the image quality of the input image data is poor, the image is surely corrected or improved in image quality Image conversion apparatus and method capable of providing signal, andRecordIt relates to the medium.
[0002]
[Prior art]
For example, Japanese Patent Laid-Open No. 8-51599 proposes a technique for obtaining higher resolution pixel data. In this proposal, for example, when creating image data composed of HD (High Definition) pixel data from image data composed of SD (Standard Definition) pixel data, SD pixel data located in the vicinity of the created HD pixel data is used. Perform class classification (determine the class), learn the prediction coefficient value for each class, use the in-screen (spatial) correlation in the image still part, and in the field in the motion part By using the correlation, HD pixel data closer to the true value is obtained.
[0003]
[Problems to be solved by the invention]
By the way, using this technique, for example, it is possible to correct an image with very poor image quality (blurred image) into an image with good image quality. However, in the case of image data with very poor image quality (having lost high-frequency components), if class classification is performed using image data with very poor image quality, appropriate class classification cannot be performed. Class cannot be determined. If an appropriate class cannot be obtained, an appropriate set of prediction coefficient values cannot be obtained, and eventually there has been a problem that sufficient image quality correction cannot be performed.
[0004]
The present invention has been made in view of such circumstances, and makes it possible to reliably correct the image quality even if the image quality of the input image data is poor.
[0005]
[Means for Solving the Problems]
  The present inventionThe image conversion apparatus includes a plurality of pixel data constituting the first image signal.Among them, one pixel data is designated as the target pixel data, and a plurality of pixel data located around the target pixel data is composed of a plurality of pixel data for generating a class code corresponding to the target pixel data.First extraction means for extracting as a class tap;Data is compressed as a result of compressing multiple pixel data that make up a class tap.TheAny classClassificationAnd classifiedA classifying means for generating a class code representing a class;For multiple pixel data that make up a class tap ADRC By doing the processing,Class tapAny classClassificationAnd classifiedA classifying means for generating a class code representing a class;It was generated from the table where the prediction coefficient is recorded in association with the class code.Prediction coefficient corresponding to class coderead outPrediction coefficient generating means and first image signalAmong the plurality of pixel data constituting the pixel, the pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel is generated to generate the pixel data constituting the second image signal Composed of multiple pixel dataPrediction tapAsSecond extracting means for extracting;Read outWith prediction factorExtractedPrediction tapBy multiplying and multiplying multiple pixel dataThe second image signalConfigure the pixel dataGeneration means for generating and local autocorrelation of the first image signalAutocorrelation shifted by a predetermined amount in the functionCalculation means for calculating coefficients and calculationWasAutocorrelation coefficientThe larger the value ofFirst extraction meansExtracted byClass tap or second extraction meansExtracted byPrediction tapTo expand the extraction range of at least one ofAnd a control means for controlling.
[0006]
  The present inventionThe image conversion method includes a plurality of pixel data constituting the first image signal.Among them, one pixel data is designated as the target pixel data, and a plurality of pixel data located around the target pixel data is composed of a plurality of pixel data for generating a class code corresponding to the target pixel data.A first extraction step for extracting as a class tap;Data is compressed as a result of compressing multiple pixel data that make up a class tap.TheAny classClassificationAnd classifiedA classification step for generating a class code representing the class;For multiple pixel data that make up a class tap ADRC By doing the processing,Class tapAny classClassificationAnd classifiedA classification step for generating a class code representing the class;It was generated from the table where the prediction coefficient is recorded in association with the class code.Prediction coefficient corresponding to class coderead outPrediction coefficient generation step and first image signalAmong the plurality of pixel data constituting the pixel, the pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel is generated to generate the pixel data constituting the second image signal Composed of multiple pixel dataPrediction tapAsA second extraction step to extract;Read outWith prediction factorExtractedPrediction tapBy multiplying and multiplying multiple pixel dataThe second image signalConfigure the pixel dataGeneration step to generate and local autocorrelation of the first image signalAutocorrelation shifted by a predetermined amount in the functionCalculation steps for calculating coefficients and calculationWasAutocorrelation coefficientThe larger the value ofIn the first extraction stepExtractedIn the class tap or the second extraction stepExtractedPrediction tapTo expand the extraction range of at least one ofAnd a control step for controlling.
[0007]
  Record of the present inventionThe medium is a plurality of pixel data constituting the first image signalAmong them, one pixel data is designated as the target pixel data, and a plurality of pixel data located around the target pixel data is composed of a plurality of pixel data for generating a class code corresponding to the target pixel data.A first extraction step for extracting as a class tap;Data is compressed as a result of compressing multiple pixel data that make up a class tap.TheAny classClassificationAnd classifiedA classification step for generating a class code representing the class;It was generated from the table where the prediction coefficient is recorded in association with the class code.Prediction coefficient corresponding to class coderead outPrediction coefficient generation step and first image signalAmong the plurality of pixel data constituting the pixel, the pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel is generated to generate the pixel data constituting the second image signal Composed of multiple pixel dataPrediction tapAsA second extraction step to extract;Read outWith prediction factorExtractedPrediction tapBy multiplying and multiplying multiple pixel dataThe second image signalConfigure the pixel dataGeneration step to generate and local autocorrelation of the first image signalAutocorrelation shifted by a predetermined amount in the functionCalculation steps for calculating coefficients and calculationWasAutocorrelation coefficientThe larger the value ofIn the first extraction stepExtractedIn the class tap or the second extraction stepExtractedPrediction tapTo expand the extraction range of at least one ofControl steps to control andA program for causing the computer of the image conversion apparatus to execute processing including the above is recorded.
[0008]
  Image conversion apparatus and method, and recording medium program of the present inventionInAmong the plurality of pixel data constituting the first image signal, one pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel data has a class code corresponding to the target pixel data. It is extracted as a class tap consisting of a plurality of pixel data for generation, compression processing is applied to the plurality of pixel data constituting the class tap, and the data of the compression processing result is assigned to any classClassificationAnd classifiedA class code representing the class is generated,The prediction coefficient corresponding to the generated class code is read from the table in which the prediction coefficient is recorded in association with the class code. In addition, among the plurality of pixel data constituting the first image signal, one pixel data is designated as the target pixel data, and the plurality of pixel data positioned around the target pixel constitutes the second image signal. Extracted as a prediction tap composed of a plurality of pixel data for generating pixel data, and a second sum is calculated by multiplying the read prediction coefficient and the plurality of pixel data constituting the extracted prediction tap. Pixel data constituting the image signal is generated. Then, an autocorrelation coefficient shifted by a predetermined amount in the local autocorrelation function of the first image signal is calculated. As the calculated autocorrelation coefficient is larger, the extracted class tap or the extracted The extraction range of at least one of the prediction taps is expanded.
[0009]
  Claim5And an image conversion method according to claim 1.6In the providing medium described in the above, a plurality of image data for generating a class code is extracted from the first image signal as a class tap in the first extraction step, and the class tap is classified into a class in the class classification step. A class code representing the class is generated by classification, a prediction coefficient corresponding to the class code is generated in the prediction coefficient generation step, and a prediction tap is extracted from the first image signal in the second extraction step And generating a second image signal using the prediction coefficient and the prediction tap in the generation step, calculating a local autocorrelation coefficient of the first image signal in the calculation step,controlIn step, autocorrelation coefficient calculated in calculation stepOn the basis of the,The class tap extracted in the first extraction step or the prediction tap extracted in the second extraction step is controlled.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below, but in order to clarify the correspondence between each means of the invention described in the claims and the following embodiments, in parentheses after each means, The features of the present invention will be described with the corresponding embodiment (however, an example) added.
[0011]
  That is,The present inventionThe image conversion apparatus includes a plurality of pixel data constituting the first image signal.Among them, one pixel data is designated as the target pixel data, and a plurality of pixel data located around the target pixel data is composed of a plurality of pixel data for generating a class code corresponding to the target pixel data.First extraction means (for example, the area cutout unit 1 in FIG. 1) that extracts as a class tap;Data is compressed as a result of compressing multiple pixel data that make up a class tap.TheAny classClassificationAnd classifiedClass classification means for generating a class code representing a class (for example, the ADRC pattern extraction unit 4 in FIG. 1),It was generated from the table where the prediction coefficient is recorded in association with the class code.Prediction coefficient corresponding to class coderead outPrediction coefficient generating means (for example, ROM table 6 in FIG. 1) and first image signalAmong the plurality of pixel data constituting the pixel, the pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel is generated to generate the pixel data constituting the second image signal Composed of multiple pixel dataPrediction tapAsA second extraction means for extracting (for example, the region cutout unit 2 in FIG. 1);Read outWith prediction factorExtractedPrediction tapBy multiplying and multiplying multiple pixel dataThe second image signalConfigure the pixel dataGeneration means for generating (for example, the prediction calculation unit 7 in FIG. 1) and local autocorrelation of the first image signalAutocorrelation shifted by a predetermined amount in the functionCalculation means for calculating a coefficient (for example, step S1 in FIG. 4), calculationWasAutocorrelation coefficientThe larger the value ofFirst extraction meansExtracted byClass tap or second extraction meansExtracted byPrediction tapTo expand the extraction range of at least one ofControl means (for example, the feature amount extraction unit 3 in FIG. 1) for controlling is provided.
[0012]
However, of course, this description does not mean that each means is limited to the description.
[0013]
Embodiments of the present invention will be described below. FIG. 1 is a block diagram illustrating a configuration example of an image conversion apparatus to which the present invention is applied. In the figure, for example, SD image data (or HD image data) with poor image quality (blurred image with few high-frequency components) is converted to SD image data (or HD image data) with improved image quality. An example is shown. Hereinafter, a case where the input image data is SD image data will be described.
[0014]
For example, SD image data with a poor image quality (a blurred image with few high-frequency components) is input to the image conversion apparatus via the input terminal. The input image data is supplied to the region cutout unit 1, the region cutout unit 2, and the feature amount extraction unit 3. The feature amount extraction unit 3 detects a feature amount that represents the blur amount of the input SD image data, and outputs the detected feature amount to the region cutout unit 1, the region cutout unit 2, and the class code generation unit 5. The region cutout unit 1 cuts out a predetermined range of pixel data from the input image data as a set of class taps, and outputs this to an ADRC (Adaptive Dynamic Range Coding) pattern extraction unit 4. The class tap cut out by the area cutout unit 1 is controlled in accordance with the feature amount output from the feature amount extraction unit 3. The ADRC pattern extraction unit 4 performs class classification for the purpose of waveform expression in space.
[0015]
The class code generation unit 5 generates a class code corresponding to the class output from the ADRC pattern extraction unit 4 and the feature amount output from the feature amount extraction unit 3, and outputs the generated class code to the ROM table 6. In the ROM table 6, a set of predetermined prediction coefficients corresponding to each class (class code) is stored in advance, and a set of prediction coefficients corresponding to the class code is output to the prediction calculation unit 7.
[0016]
The region cutout unit 2 cuts out a predetermined range of pixel data from the input image data as a set of prediction taps, and outputs the pixel data constituting the prediction tap to the prediction calculation unit 7. The set of prediction taps cut out by the area cutout unit 2 is controlled in accordance with the feature amount representing the blur amount output from the feature amount extraction unit 3. The prediction calculation unit 7 performs a prediction calculation from the set of prediction taps input from the region cutout unit 2 and the set of prediction coefficients input from the ROM table 6, and uses the calculation result as image data with corrected image quality. Output. For example, the output image data is displayed on a display device (not shown), recorded on a recording device, or transmitted on a transmission device.
[0017]
Next, the operation will be described. When the image data is input, the region cutout unit 1 executes a process of cutting out predetermined pixel data as a class tap from the input image data. For example, as shown in FIG. 2, a total of five pieces of pixel data including a data pixel at a position corresponding to the target pixel data and pixel data adjacent to the upper, lower, left, and right around the predetermined target pixel data are cut out as class taps. . Alternatively, as shown in FIG. 3, pixel data corresponding to the target pixel data and pixel data adjacent to a position separated by three pixels in the vertical and horizontal directions are extracted as class taps. What kind of pixel data is cut out as a class tap is determined in accordance with the feature amount representing the blur amount output by the feature amount extraction unit 3.
[0018]
Here, the feature amount extraction processing of the feature amount extraction unit 3 will be described with reference to the flowchart of FIG. First, in step S1, the feature amount extraction unit 3 calculates an autocorrelation coefficient for each input pixel data for each predetermined region (local) in the frame. Then, this autocorrelation coefficient is used as a measure of the feature amount representing the blur amount of the pixel data.
[0019]
That is, for example, as shown in FIG. 5, when three taps TAP [0] to TAP [2] continuous in the horizontal direction are used as taps for calculating the autocorrelation coefficient, the autocorrelation coefficient cc [n] ( In this case, n is a number of 3 or less), as shown in FIG. 6, the pixel values of the taps TAP [0] to TAP [2] and the pixel values shifted by n taps are respectively integrated. , They are added and determined. That is, the autocorrelation coefficient cc [0] is 710 (= 15 × 15 + 14 × 14 + 17 × 17), the autocorrelation coefficient cc [1] is 448 (= 15 × 0 + 14 × 15 + 17 × 14), and the self-phase The relation number cc [2] is 255 (= 15 × 0 + 14 × 0 + 17 × 15).
[0020]
As shown in FIG. 7A, the maximum value of the autocorrelation coefficient cc [n] is always the autocorrelation coefficient cc [0], and the value of the autocorrelation coefficient cc [n] increases by n. Decreases with time. FIG. 7 shows the relationship between autocorrelation coefficient cc [n] and n when seven taps TAP [0] to TAP [7] that are continuous in the horizontal direction are used as taps for calculating the autocorrelation coefficient. However, in the example shown in FIGS. 5 and 6 (when the three taps TAP [0] to TAP [2] are taps for calculating the autocorrelation coefficient), the autocorrelation coefficient cc [0] is the maximum value.
[0021]
Actually, not all n autocorrelation coefficients cc [0] to cc [n] are calculated, but the autocorrelation coefficient cc [0] which is the maximum value and a predetermined autocorrelation coefficient Two autocorrelation coefficients with cc [k] (k is an arbitrary value less than or equal to n) are calculated.
[0022]
In step S2, the feature quantity extraction unit 3 uses the autocorrelation coefficient cc [k] calculated in step S1 (K = 3 in the example of FIG. 7A) as shown in FIG. Then, it is divided (normalized) by the autocorrelation coefficient cc [0] which is the maximum value, and the normalized autocorrelation coefficient ncc [k] (inclination amount) is calculated.
[0023]
In step S3, the feature amount extraction unit 3 determines that the normalized autocorrelation coefficient (inclination amount) ncc [k] calculated in step S2 is the maximum value NCQ_MAX (<1.0) to the minimum value NCQ_MIN ( > 0.0), it is determined which one of a plurality of codes set in advance (0 to 7 in the example shown in FIG. 7B) corresponds, and the code corresponding to the determination result Is output. Note that the maximum value NCQ_MAX and the minimum value NCQ_MIN of the tilt amount are statistically set from the image data.
[0024]
In this way, the feature amount is obtained as a code, and is output to the region cutout unit 1, the region cutout unit 2, and the class code generation unit 5.
[0025]
For example, when a code 0 is input as a feature amount from the feature amount extraction unit 3, the region cutout unit 1, as shown in FIG. 8, includes pixel data arranged continuously with the pixel of interest (corresponding to FIG. 2). To be extracted (extracted) as a class tap. When the code 2 is input, the region cutout unit 1 performs pixel data arranged at a wider interval than the code 0 (pixel data that is two pixels away from the target pixel in the example of FIG. (Corresponding) is extracted (extracted) as a class tap. That is, as the code indicating the feature amount increases (the number of high-frequency components decreases), a pixel away from the target pixel is determined as a class tap.
[0026]
As described above, it is possible to cut out more appropriate class taps by dynamically changing the pixel data to be cut out as class taps in the local region in accordance with the feature amount (code) representing the blur amount.
[0027]
Although illustration is omitted, the prediction tap in the region cutout unit 2 is also the same as the class tap cutout in the region cutout unit 1, and the pixel data cut out as a prediction tap corresponding to the feature amount output by the feature amount extraction unit 3 is extracted. Change dynamically. Note that the prediction tap (pixel data) cut out by the region cutout unit 2 may be the same as or different from the class tap (pixel data) cut out by the region cutout unit 1.
[0028]
  The ADRC pattern extraction unit 4 performs ADRC processing on the class tap extracted by the region extraction unit 1 to perform class classification (determine a class). That is, when the dynamic range of the five pixel data extracted as the class tap is DR, the bit allocation is n, the level of each pixel data as the class tap is L, and the requantization code is Q, the following equation is obtained. Calculate.
  Q = {(L−MIN + 0.5) ×2 ⁿ/ DR}
  DR = MAX−MIN + 1
[0029]
Here, {} means a truncation process. MAX and MIN represent the maximum value and the minimum value in the five pixel data constituting the class tap, respectively. Thus, for example, if the five pixel data constituting the class tap cut out by the area cutout unit 1 is constituted by 8 bits (n = 8), for example, these are compressed to 2 bits, respectively. . Accordingly, data representing a space class represented by a total of 10 (= 2 × 5) bits is supplied to the class code generator 5.
[0030]
The class code generation unit 5 generates a class code by adding a bit representing a feature amount representing a blur amount supplied from the feature amount extraction unit 3 to data representing a spatial class input from the ADRC pattern extraction unit 4. . For example, if the feature amount representing the blur amount is represented by 2 bits, a 12-bit class code is generated and supplied to the ROM table 6. This class code corresponds to the address of the ROM table 6.
[0031]
In the ROM table 6, a set of prediction coefficients corresponding to each class (class code) is stored at an address corresponding to the class code. Based on the class code supplied from the class code generating unit 5, the class code is stored. A set of prediction coefficients ω stored at the address corresponding to the code₁To ω_nAre read out and supplied to the prediction calculation unit 7.
[0032]
The prediction calculation unit 7 includes pixel data x constituting the prediction tap supplied from the region cutout unit 2.₁Thru x_nAnd the prediction coefficient ω₁To ω_nOn the other hand, the prediction result y is calculated by performing a product-sum operation as shown in the following equation.
y = ω₁x₁+ Ω₂x₂+ ... + ω_nx_n
[0033]
This predicted value y becomes pixel data with corrected image quality (blur).
[0034]
FIG. 9 shows a configuration example for obtaining a set of prediction coefficients for each class (for each class code) stored in the ROM table 6 by learning. In this configuration example, for example, a configuration in which a set of prediction coefficients for each class (for each class code) is generated using SD image data (or HD image data) as a teacher signal (learning signal) with good image quality. It is shown. Note that the configuration example described below is an example for generating a set of prediction coefficients for each class corresponding to the image conversion apparatus in FIG. 1 of the present embodiment.
[0035]
For example, image data as a teacher signal (learning signal) with good image quality is input to the normal equation calculation unit 27 and also input to the low-pass filter (LPF) 21. The low-pass filter 21 generates a student signal (learning signal) with degraded image quality by removing a low-frequency component of the image data as the input teacher signal (learning signal). A student signal (learning signal) with degraded image quality output from the low-pass filter 21 is a region cutout unit 22 that cuts out (extracts) a predetermined range of pixel data as a class tap, and a predetermined range of pixel data as a prediction tap. The cut-out (extracted) region cutout unit 23 and the feature amount extraction unit 24 that extracts the feature amount representing the blur amount are input. The feature amount extraction unit 24 extracts a feature amount that represents the blur amount of the pixel data of the input student signal (learning signal) with degraded image quality, and extracts the feature amount as a region cutout unit 22 and a region cutout unit 23. , And the class code generator 26. The region cutout unit 22 and the region cutout unit 23 dynamically change pixel data cut out as a class tap or a prediction tap in accordance with the input feature amount representing the blur amount.
[0036]
The ADRC pattern extraction unit 25 classifies pixel data as class taps input from the region cutout unit 22 (determines a class) and outputs the classification result to the class code generation unit 26. The class code generation unit 26 generates a class code from the classified class and the feature amount representing the blur amount, and outputs the generated class code to the normal equation calculation unit 27. Note that the configuration and operation of each of the region cutout unit 22, the region cutout unit 23, the feature amount extraction unit 24, the ADRC pattern extraction unit 25, and the class code generation unit 26 described above are the region cutout unit 1 illustrated in FIG. Since it is the same as the region cutout unit 2, the feature amount extraction unit 3, the ADRC pattern extraction unit 4 and the class code generation unit 6, description thereof is omitted here.
[0037]
The normal equation calculation unit 27 generates a normal equation for each class (for each class code) from the input teacher signal (learning signal) and pixel data as a prediction tap supplied from the region cutout unit 23, and the normal equation is generated. The equation is supplied to the prediction coefficient determination unit 28. When the required number of normal equations for each class is obtained, the normal equation calculation unit 27 solves the normal equation using, for example, the least square method for each class, and calculates a set of prediction coefficients for each class. . The obtained set of prediction coefficients for each class is supplied from the prediction coefficient determination unit 28 to the memory 29 and stored therein. A set of prediction coefficients for each class stored in the memory 29 is written in the ROM table 6 of FIG.
[0038]
In the above-described example, the set of prediction coefficients for each class is calculated and calculated by the configuration shown in FIG. 9, but may be calculated and calculated by simulation using a computer.
[0039]
Further, in the present embodiment, a set of prediction coefficients for each class calculated by the method shown in FIG. 9 stored in the ROM table 6 shown in FIG. 1, pixel data cut out as a prediction tap, and However, the present invention is not limited to this, and prediction of pixel data for each class (each class code) calculated by learning in the ROM table 6 is performed. The value itself may be stored, and the predicted value may be read by the class code.
[0040]
In this case, the region cutout unit 2 shown in FIG. 1 and the region cutout unit 23 shown in FIG. 9 can be omitted, and the prediction calculation unit 7 shown in FIG. The data is converted into a corresponding format and output. Furthermore, in this case, instead of the normal equation calculation unit 27 and the prediction coefficient determination unit 28 shown in FIG. 9, a predicted value for each class is generated using the centroid method, and the predicted value for each class is stored in the memory 29. Remembered.
[0041]
Furthermore, instead of the predicted value itself for each class, each predicted value for each class may be normalized with a reference value, and the normalized predicted value for each class may be stored in the ROM table 6. In this case, the prediction calculation unit 7 shown in FIG. 1 calculates the prediction value from the prediction value normalized based on the reference value.
[0042]
Furthermore, in this embodiment, the number of pixel data cut out as class taps or prediction taps is five, but the number of pixel data cut out as class taps or prediction taps is not limited to this. May be. However, the more the number of class taps or prediction taps to be extracted, the higher the accuracy of image quality improvement. However, the amount of computation increases, the memory becomes larger, and the amount of computation and hardware increases. It is necessary to set a large number.
[0043]
In the present embodiment, conversion from an SD image signal to an SD image signal (SD-SD conversion) and conversion from an HD image signal to an HD image signal (HD-HD conversion) are described. The invention is not limited to this, and can be applied to conversion of other formats (interlace signal, non-interlace signal, etc.). Furthermore, the present invention can also be applied to conversion between different formats such as conversion from SD image signals to HD image signals (SD-HD conversion) and conversion from interlace signals to non-interlace signals (inter-non-inter conversion). It is. However, in this case, when image data is cut out as a class tap or a prediction tap, there is actually no pixel that is pixel-of-interest data.
[0044]
Various modifications and application examples can be considered without departing from the gist of the present invention. Therefore, the gist of the present invention is not limited to the present embodiment.
[0045]
Further, as a providing medium for providing a computer program for performing the processing as described above to a user, a communication medium such as a network or a satellite can be used in addition to a recording medium such as a magnetic disk, a CD-ROM, or a solid memory. .
[0046]
【The invention's effect】
  As aboveThe present inventionAccording toEnterEven if the image quality of the input image data is poor, the optimum pixel data can be extracted as a class tap or a prediction tap, and an appropriate prediction process can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image conversion apparatus to which the present invention is applied.
FIG. 2 is a diagram for explaining cutout processing in a region cutout unit 1 of FIG. 1;
FIG. 3 is a diagram for explaining cut-out processing in a region cut-out unit 1 in FIG. 1;
FIG. 4 is a flowchart for explaining feature amount extraction processing in a feature amount extraction unit 3 of FIG. 1;
FIG. 5 is a diagram for explaining calculation of an autocorrelation coefficient in step S1 of FIG.
6 is a diagram for explaining calculation of an autocorrelation coefficient in step S1 of FIG.
FIG. 7 is a diagram for explaining the normalization process in step S2 of FIG.
FIG. 8 is a diagram illustrating an example of a class tap corresponding to a code.
9 is a block diagram showing a configuration for performing learning processing of a prediction coefficient of the ROM table 6 of FIG.
[Explanation of symbols]
1, 2 area segmentation unit, 3 feature extraction unit, 4 ADRC pattern extraction unit,
5 Class code generator, 6 ROM table, 7 Predictive calculator

Claims

In an image conversion apparatus for converting a first image signal composed of a plurality of pixel data into a second image signal which is a signal whose image quality is improved from that of the first image signal composed of a plurality of pixel data,
Among the plurality of pixel data constituting the first image signal , one pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel data corresponds to the target pixel data. First extraction means for extracting as a class tap composed of a plurality of pixel data for generating a class code ;
It performs compression processing for a plurality of pixel data constituting the class tap, and class classification means for classifying the data of the compression processing result into any class, generating a class code representing the class obtained by classifying,
Prediction coefficient generation means for reading the prediction coefficient corresponding to the generated class code from the table in which the prediction coefficient is recorded in association with the class code;
Among the plurality of pieces of pixel data constituting the first image signal , one piece of pixel data is designated as target pixel data, and a plurality of pieces of pixel data located around the target pixel are formed as the second image signal. Second extraction means for extracting as a prediction tap comprising a plurality of pixel data for generating pixel data to be performed ;
Generating means for generating pixel data constituting the second image signal by performing a product-sum operation on the read prediction coefficient and the plurality of pixel data constituting the extracted prediction tap;
A computing means for computing an autocorrelation coefficient shifted by a predetermined amount in the local autocorrelation function of the first image signal;
As the value of the computed the autocorrelation coefficient is large, so to expand at least one of the extraction range of the prediction taps extracted by the class tap or the second extraction means is extracted by said first extraction means And a control means for controlling the image conversion apparatus.

Normalizing means for normalizing the autocorrelation coefficient calculated by the calculating means to a value in a predetermined range ;
Code generating means for generating a code representing a statistical feature quantity of the first image signal corresponding to the autocorrelation coefficient normalized by the normalizing means; and
Wherein, at least one of the prediction taps extracted by the class tap or the second extraction means is extracted by said also supports the code generated first extraction means by said code generating means The image conversion apparatus according to claim 1, wherein the width of the extraction range of the image is controlled.

The image conversion apparatus according to claim 1, wherein the first image signal and the second image signal are image signals having the same resolution .

In an image conversion method of an image conversion apparatus for converting a first image signal composed of a plurality of pixel data into a second image signal which is a signal whose image quality is improved from that of the first image signal composed of a plurality of pixel data,
Among the plurality of pixel data constituting the first image signal , one pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel data corresponds to the target pixel data. A first extraction step of extracting as a class tap comprising a plurality of pixel data for generating a class code ;
Performs compression processing for a plurality of pixel data constituting the class tap, and the classification step of the data compression processing results are classified into one of classes, for generating a class code representing the class classified,
A prediction coefficient generation step of reading out the prediction coefficient corresponding to the generated class code from the table in which the prediction coefficient is recorded in association with the class code;
Among the plurality of pieces of pixel data constituting the first image signal , one piece of pixel data is designated as target pixel data, and a plurality of pieces of pixel data located around the target pixel are formed as the second image signal. A second extraction step of extracting as a prediction tap composed of a plurality of pixel data for generating pixel data to be performed ;
A generation step of generating pixel data constituting the second image signal by performing a product-sum operation on the read prediction coefficient and the plurality of pixel data constituting the extracted prediction tap;
A calculation step of calculating an autocorrelation coefficient shifted by a predetermined amount in the local autocorrelation function of the first image signal;
As the value of the computed the autocorrelation coefficient is large, so to expand at least one of the extraction range of the prediction taps extracted by the first of the class tap or the second extraction step is extracted in the extraction step And a control step for controlling the image.

A program for controlling an image conversion apparatus for converting a first image signal composed of a plurality of pixel data into a second image signal which is a signal whose image quality is improved from that of the first image signal composed of a plurality of pixel data. And
Among the plurality of pixel data constituting the first image signal , one pixel data is designated as the target pixel data, and the plurality of pixel data located around the target pixel data corresponds to the target pixel data. A first extraction step of extracting as a class tap comprising a plurality of pixel data for generating a class code ;
Performs compression processing for a plurality of pixel data constituting the class tap, and the classification step of the data compression processing results are classified into one of classes, for generating a class code representing the class classified,
A prediction coefficient generation step of reading out the prediction coefficient corresponding to the generated class code from the table in which the prediction coefficient is recorded in association with the class code;
Among the plurality of pieces of pixel data constituting the first image signal , one piece of pixel data is designated as target pixel data, and a plurality of pieces of pixel data located around the target pixel are formed as the second image signal. A second extraction step of extracting as a prediction tap composed of a plurality of pixel data for generating pixel data to be performed ;
A generation step of generating pixel data constituting the second image signal by performing a product-sum operation on the read prediction coefficient and the plurality of pixel data constituting the extracted prediction tap;
A calculation step of calculating an autocorrelation coefficient shifted by a predetermined amount in the local autocorrelation function of the first image signal;
As the value of the computed the autocorrelation coefficient is large, so to expand at least one of the extraction range of the prediction taps extracted by the first of the class tap or the second extraction step is extracted in the extraction step and a control step of controlling the
A recording medium on which is recorded a program that causes a computer of an image conversion apparatus to execute processing including the above.