JP4062771B2 - 画像変換装置および方法、並びに記録媒体 - Google Patents
画像変換装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4062771B2 JP4062771B2 JP12302198A JP12302198A JP4062771B2 JP 4062771 B2 JP4062771 B2 JP 4062771B2 JP 12302198 A JP12302198 A JP 12302198A JP 12302198 A JP12302198 A JP 12302198A JP 4062771 B2 JP4062771 B2 JP 4062771B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- image
- prediction
- pixel data
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、入力された画像信号を同一フォーマットもしくは異なるフォーマットの画像信号に変換する際に、入力された画像データの画質が悪くとも、確実に画質が補正されたもしくは画質が改善された画像信号を提供できるようにした画像変換装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】
本出願人は、例えば、特開平8−51599号として、より高解像度の画素データを得ることができるようにする技術を提案している。この提案においては、例えばSD(Standard Definition)画素データからなる画像データからHD(High Definition)画素データからなる画像データを創造する場合、創造するHD画素データの近傍に位置するSD画素データを用いてクラス分類を行い(クラスを決定し)、それぞれのクラス毎に、予測係数値を学習させておき、画像静止部においては、フレーム内相関を利用し、動き部においては、フィールド内相関を利用して、より真値に近いHD画素データを得るようにしている。
【0003】
【発明が解決しようとする課題】
ところで、この技術を用いて、例えば、非常に画質の悪い(画像のぼけた)画像を良好な画質の画像に補正することができる。しかしながら、非常に画質が悪い画像データの場合、この非常に画質が悪い画像データを用いてクラス分類を行うと、適切なクラス分類を行うことができず、適切なクラスを決定することができない。適切なクラスを求めることができないと、適切な予測係数値のセットを得ることができず、結局、充分な画質の補正を行うことができない課題があった。
【0004】
本発明はこのような状況に鑑みてなされたものであり、入力された画像データの画質が悪くとも、確実に画質を補正することができるようした画像変換装置および方法を提供するものである。
【0005】
【課題を解決するための手段】
請求項1に記載の画像変換装置は、第1の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生するクラス分類手段と、クラスコードに対応する予測データを発生する発生手段と、第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第1の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作を制御する検出手段とを備えることを特徴とする。
【0006】
請求項8に記載の画像変換方法は、第1の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、クラスコードに対応する予測データを発生し、予測データを用いて第2の画像信号を生成し、第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第1の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップの抽出処理を制御することを特徴とする。
【0007】
請求項9に記載の記録媒体は、複数の画素データからなる第1の画像信号を複数の画素データからなる第2の画像信号に変換する画像変換装置に、第1の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、クラスコードに対応する予測データを発生し、予測データを用いて第2の画像信号を生成し、第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第1の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップの抽出処理を制御する処理を実行させるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする。
【0008】
請求項1に記載の画像変換装置、請求項8に記載の画像変換方法、および請求項9に記載の記録媒体に記録されたプログラムにおいては、入力された画像データのぼけ量を表す特徴量に対応してクラスタップが制御される。これにより、入力される画像データの画質が悪くても、最適なクラスタップを抽出することができ、最適な予測処理を行うことが可能となる。
請求項10に記載の画像変換装置は、第2の画像信号における変換対象画素である注目画素の画素データに対応する第1の画像信号の注目画素の周辺に位置する複数の画素データを、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段と、クラスタップをクラス分類することにより注目画素のクラスを表すクラスコードを発生するクラス分類手段と、クラスコードに対応する予測データを発生する発生手段と、予測データを用いて注目画素の予測値を生成する生成手段と、第1の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段と、第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を特徴量として検出し、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作及び予測タップ抽出手段の抽出動作を制御する検出手段とを備えることを特徴とする。
請求項10に記載の画像変換装置においては、第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数が算出されるとともに、基準値となる自己相関係数が決定され、その決定された自己相関係数に対応する画素データのシフト量が特徴量として検出され、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作及び予測タップ抽出手段の抽出動作が制御される。これにより、入力される画像データの画質が悪くても、最適なクラスタップを抽出することができ、最適な予測処理を行うことが可能となる。
【0009】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態(但し一例)を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【0010】
請求項1に記載に画像変換装置は、第1の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出するクラスタップ抽出手段(例えば、図1の領域切り出し部1)と、クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生するクラス分類手段(例えば、図1のADRCパターン抽出部4)と、クラスコードに対応する予測データを発生する発生手段(例えば、図1のROMテーブル6)と、予測データを用いて第2の画像信号を生成する生成手段(例えば、図1の予測演算部7)と、第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として第1の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、クラスタップ抽出手段のクラスタップの抽出動作を制御する検出手段(例えば、図1の特徴量抽出部3)とを備えることを特徴とする。
【0011】
請求項5に記載の画像変換装置は、第1の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段(例えば、図1の領域切り出し部2)をさらに備え、発生手段は、クラスコードに対応する予測係数のセットを発生し、生成手段は、予測タップ抽出手段からの予測タップと発生手段からの予測係数のセットを用いて予測演算することにより第2の画像信号を生成することを特徴とする。
【0012】
以下に、本発明の実施の形態について説明する。図1は、本発明を適用した、画像変換装置の構成例を示すブロック図である。同図には、例えば画質の悪い(ぼけた画像の)SD画像データ(または、HD画像データ)を、画質改善されたSD画像データ(または、HD画像データ)に変換する構成例が示されている。以下においては、入力画像データがSD画像データである場合について説明する。
【0013】
例えば、画質の悪い(ぼけた画像の)SD画像データが、入力端子を介して画像変換装置に入力される。入力された画像データは、領域切り出し部1、領域切り出し部2、および特徴量抽出部3に供給される。特徴量抽出部3は、入力されたSD画像データのぼけ量を表す特徴量を検出し、その検出した特徴量を領域切り出し部1、領域切り出し部2、およびクラスコード発生部5に出力する。領域切り出し部1は、入力された画像データから所定の範囲の画素データをクラスタップのセットとして切り出し、これをADRC(Adaptive Dynamic Range Coding)パターン抽出部4に出力する。領域切り出し部1において切り出されるクラスタップは、特徴量抽出部3の出力する特徴量に対応して制御される。ADRCパターン抽出部4は、空間内の波形表現を目的としたクラス分類を行うようになされている。
【0014】
クラスコード発生部5は、ADRCパターン抽出部4より出力されたクラスおよび特徴量抽出部3から出力された特徴量に対応するクラスコードを発生し、ROMテーブル6に出力する。ROMテーブル6には、各クラス(クラスコード)に対応して予め所定の予測係数のセットが記憶されており、クラスコードに対応する予測係数のセットが予測演算部7に出力される。
【0015】
領域切り出し部2は、入力された画像データから所定範囲の画素データを予測タップのセットとして切り出し、その予測タップを構成する画素データを予測演算部7に出力する。この領域切り出し部2により切り出される予測タップのセットは、特徴量抽出部3の出力するぼけ量を表す特徴量に対応して制御される。予測演算部7は、領域切り出し部2より入力された予測タップのセットと、ROMテーブル6より入力された予測係数のセットとから予測演算を行い、その演算結果を、画質を補正した画像データとして出力する。この出力された画像データが、例えば図示しない表示デバイスで表示されたり、記録デバイスに記録されたり、伝送デバイスで伝送される。
【0016】
次に、その動作について説明する。領域切り出し部1は、画像データが入力されると、入力された画像データの中から、所定の画素データをクラスタップとして切り出す処理を実行する。例えば、図2に示すように、所定の注目画素データを中心として、その注目画素データに対応する位置のデータ画素と、上下左右に隣接する画素データの合計5個の画素データをクラスタップとして切り出す。あるいは、図3に示すように、注目画素データに対応する画素データと、上下左右方向に3画素分離れた位置に隣接する画素データをクラスタップとして抽出する。どのような画素データがクラスタップとして切り出されるかは、特徴量抽出部3の出力するぼけ量を表す特徴量に対応して決定される。
【0017】
ここで、図4のフローチャートを参照して、特徴量抽出部3の特徴量抽出処理について説明する。最初にステップS1において、特徴量抽出部3は、入力された各画素データに対するフレーム毎の自己相関係数を算出する。そして、この自己相関係数を画素データのぼけ量を表す特徴量の尺度に利用する。すなわち、図5に示すように、1フレームの画像データが720画素×480画素の画素データで構成されているものとすると、所定の注目画素に対してその注目画素を中心として、720画素×480画素の画素データのうちの512画素×256画素の画素データからなるブロック(以下、このブロックを、適宜、基準ブロックと呼ぶ)を構成し、その基準ブロックの位置を画素単位で所定の範囲内を上下左右方向に移動させ、移動させたときのそれぞれの位置に対応する自己相関係数を算出する。
【0018】
例えば、所定の注目画素データを中心とした基準ブロック内の各画素値をXij(i=0,1,2,・・・,n、j=0,1,2,・・・,m)、基準ブロック内の画素値の平均値をXav、基準ブロックが移動された位置に対応するブロック内の各画素値をYij(i=0,1,2,・・・,n、j=0,1,2,・・・,m)、そのブロック内の画素値の平均値をYavとすると、基準ブロックを移動させたときのその位置に対応する自己相関係数は、次式で表される。
【数1】
【0019】
なお、上述したように、本実施の形態では、基準ブロックが512画素×256画素の画素データから構成されているため、n=511、m=255の値である。このようにして、所定の範囲内を基準ブロックをシフトしてそれぞれの位置に対応する自己相関係数を得ることができる。
【0020】
図6は、このようにして求められた自己相関係数の例を表している。ブロック(基準ブロック)をシフトしないとき、自己相関係数は1である。これに対して、フレームF1の場合、例えば、ブロック(基準ブロック)を右方向に3画素分シフトしたとき、自己相関係数は0.85に低下し、さらに、シフト量を増加させるに従って、自己相関係数は、より小さい値に低下する。このことは、ブロック(基準ブロック)を左方向にシフトした場合にも同様である。
【0021】
一方、フレームF2においては、ブロック(基準ブロック)を1画素分右または左方向にシフトしたとき、自己相関係数が0.85に低下し、それ以上シフトすると、自己相関係数はさらに低下する。このことは、フレームF1は、フレームF2に比べて、周囲との自己相関が強い、つまり、フレームF1は、フレームF2に比べてぼけ量が大きいことを意味している。
【0022】
特徴量抽出部3は、ステップS2において、自己相関係数が所定の基準値(例えば、0.85)となる画素シフト量を求め、ステップS3で、その画素シフト量を、ぼけ量を表す特徴量として出力する。つまり、所定の範囲内で、基準ブロックをシフトしたときの、それぞれの位置に対応する自己相関係数と基準値を比較することにより、自己相関係数が基準値となる画素シフト量を求める。図6の例の場合、入力された画素データがフレームF1の画素データである場合、特徴量は3とされ、入力された画素データがフレームF2の画素データである場合、特徴量は1とされる。
【0023】
領域切り出し部1は、特徴量抽出部3から、特徴量1が入力されたとき、例えば、図2に示すように、狭い間隔内に配置された画素データをクラスタップとして切り出す(抽出する)。これに対して、特徴量3が入力されたとき、領域切り出し部1は、図3に示すように、より広い間隔で配置されている画素データをクラスタップとして切り出す(抽出する)。
【0024】
図6に示すように、特徴量が1である画像(フレームF2)は、強い自己相関を有する画素データの範囲が狭くなっている。そこで、図2に示すように、クラスタップを構成する画素データとしても狭い範囲に配置されているものを選択する。これに対して、特徴量が3である画像(フレームF1)の場合、強い自己相関を有する範囲がより広くなっている。そこで、図3に示すように、クラスタップを構成する画素データも、より広い範囲から切り出すようにする。このように、ぼけ量を表す特徴量に応じて、クラスタップとして切り出す画素データをダイナミックに変化させるようにすることで、より適切なクラスタップを切り出すことが可能となる。
【0025】
図示は省略するが、領域切り出し部2における予測タップも、領域切り出し部1におけるクラスタップの切り出しと同様に、特徴量抽出部3の出力するぼけ量を表す特徴量に対応して、予測タップとして切り出す画素データをダイナミックに変化させる。なお、この領域切り出し部2において切り出される予測タップ(画素データ)は、領域切り出し部1において切り出されるクラスタップ(画素データ)と同一にしてもよいし、異なるものとしてもよい。
【0026】
ADRCパターン抽出部4は、領域切り出し部1で切り出されたクラスタップに対してADRC処理を実行してクラス分類を行う(クラスを決定する)。すなわち、クラスタップとして抽出された5つの画素データ内のダイナミックレンジをDR、ビット割当をn、クラスタップとしての各画素データのレベルをL、再量子化コードをQとするとき、次式を演算する。
Q={(L−MIN+0.5)×2n/DR}
DR=MAX−MIN+1
【0027】
なお、ここで{ }は切り捨て処理を意味する。また、MAXとMINは、クラスタップを構成する5つの画素データ内の最大値と最小値をそれぞれ表している。これにより、例えば領域切り出し部1で切り出されたクラスタップを構成する5個の画素データが、それぞれ例えば8ビットで構成されているとすると、これらがそれぞれ2ビット(n=2)に圧縮される。従って、合計10ビットで表される空間クラスを表すデータが、クラスコード発生部5に供給される。
【0028】
クラスコード発生部5は、ADRCパターン抽出部4より入力された空間クラスを表すデータに、特徴量抽出部3より供給されるぼけ量を表す特徴量を表すビットを付加してクラスコードを発生する。例えば、ぼけ量を表す特徴量が2ビットで表されるとすると、12ビットのクラスコードが発生され、ROMテーブル6に供給される。このクラスコードは、ROMテーブル6のアドレスに対応している。
【0029】
ROMテーブル6には、各クラス(クラスコード)に対応する予測係数のセットがクラスコードに対応するアドレスにそれぞれ記憶されており、クラスコード発生部5より供給されたクラスコードに基づいて、そのクラスコードに対応するアドレスに記憶されている予測係数のセットω1乃至ωnが読み出され、予測演算部7に供給される。
【0030】
予測演算部7は、領域切り出し部2より供給された予測タップを構成する画素データx1乃至xnと、予測係数ω1乃至ωnに対して、次式に示すように、積和演算を行うことで、予測結果yを演算する。
y=ω1x1+ω2x2+・・・+ωnxn
【0031】
この予測値yが、画質(ぼけ)が補正された画素データとなる。
【0032】
図7は、特徴量抽出部3における他の特徴量抽出処理の例を表している。この例においては、ステップS11において、所定の注目画素の近傍のエッジが検出される。ステップS12において、検出したエッジに対応するエッジコードが特徴量として出力される。例えば、図8に示すように、右上から左下方向に、斜めのエッジが検出された場合、特徴量抽出部3は、エッジコード0を出力し、図9に示すように、水平方向のエッジが検出された場合、エッジコード1を出力する。
【0033】
領域切り出し部1は、特徴量抽出部3より、図8に示すエッジコード0が入力されたとき、図10に示すような画素データをクラスタップとして切り出す(抽出する)。このクラスタップは、右上から左下方向に延在するエッジを検出するのに最適な画素データで構成されている。これに対して、領域切り出し部1は、図9に示すようなエッジコード1が入力されたとき、図11に示すような画素データをクラスタップとして切り出す(抽出する)。このクラスタップは、水平方向のエッジを検出するのに最適な画素データで構成される。領域切り出し部2においても同様に、エッジコードに対応して予測タップを構成する画素データの切り出し(抽出)処理が実行される。
【0034】
このように、入力された画素データの自己相関、エッジといった特徴量に対応して切り出すクラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させることができるので、より適切な予測演算結果を得ることが可能となる。
【0035】
図12は、ROMテーブル6に記憶するクラス毎(クラスコード毎)の予測係数のセットを学習によって得るための構成例を表している。この構成例においては、例えば、画質の良好な教師信号(学習信号)としてのSD画像データ(または、HD画像データ)を用いてクラス毎(クラスコード毎)の予測係数のセットを生成する構成が示されている。なお、以下に説明する構成例は、本実施の形態の図1の画像変換装置に対応するクラス毎の予測係数のセットを生成するための例である。
【0036】
例えば、画質の良好な教師信号(学習信号)としての画像データが、正規方程式演算部27に入力されるとともに、ローパスフィルタ(LPF)21に入力される。ローパスフィルタ21は、入力された教師信号(学習信号)としての画像データの低域成分を除去することで、画質の劣化した画像データ(学習信号)を生成する。ローパスフィルタ21から出力された、画質の劣化した画像データ(学習信号)は、クラスタップとして所定の範囲の画像データを切り出す(抽出する)領域切り出し部22、予測タップとして所定の範囲の画像データを切り出す(抽出する)領域切り出し部23、および、ぼけ量を表す特徴量を抽出する特徴量抽出部24に入力される。特徴量抽出部24は、入力された画質の劣化した画像データ(学習信号)の画素データのぼけ量を表す特徴量を抽出し、抽出したその特徴量を、領域切り出し部22、領域切り出し部23、およびクラスコード発生部26に供給する。領域切り出し部22と、領域切り出し部23は、入力されたぼけ量を表す特徴量に対応して、クラスタップ、または予測タップとして切り出す画素データをダイナミックに変化させる。
【0037】
ADRCパターン抽出部25は、領域切り出し部22より入力されたクラスタップとしての画素データのクラス分類を行い(クラスを決定し)、その分類結果をクラスコード発生部26に出力する。クラスコード発生部26は、分類されたクラスとぼけ量を表す特徴量とからクラスコードを発生し、正規方程式演算部27に出力する。なお、上述した領域切り出し部22、領域切り出し部23、特徴量抽出部24、ADRCパターン抽出部25およびクラスコード発生部26のそれぞれの構成および動作は、図1に示された領域切り出し部1、領域切り出し部2、特徴量抽出部3、ADRCパターン抽出部4およびクラスコード発生部6と同一であるため、ここでは説明を省略する。
【0038】
正規方程式演算部27は、入力される教師信号(学習信号)と領域切り出し部23から供給される予測タップとしての画素データとから、クラス毎(クラスコード毎)に正規方程式を生成し、その正規方程式を予測係数決定部28に供給する。そして、クラス毎に必要な数の正規方程式が求められたとき、正規方程式演算部27は、例えば、クラス毎に最小自乗法を用いて正規方程式を解き、クラス毎の予測係数のセットを演算する。求められたクラス毎の予測係数のセットは、予測係数決定部28からメモリ29に供給され、そのメモリ29に記憶される。このメモリ29に記憶されたクラス毎の予測係数のセットが、図1のROMテーブル6に書き込まれることになる。
【0039】
上述した例では、クラス毎の予測係数のセットを、図12に示される構成によって演算して求めるようにしたが、コンピュータを用いてシュミレーションで演算して求めるようにしてもよい。
【0040】
また、本実施の形態においては、図1に示されるROMテーブル6に記憶された、図12に示される方法で演算されたクラス毎の予測係数のセットと、予測タップとして切り出された画素データとから画質改善(ぼけ改善)された画素データを生成するようになされているが、本発明はこれに限らず、ROMテーブル6に学習によって演算されたクラス毎(クラスコード毎)の画素データの予測値そのものを記憶しておき、クラスコードによってその予測値を読み出すようにしてもよい。
【0041】
この場合、図1に示される領域切り出し部2および図12に示される領域切り出し部23は省略でき、図1に示される予測演算部7は、ROMテーブル6から出力された画素データを出力デバイスに対応したフォーマットに変換して出力するようになされる。さらに、この場合は、図12に示される正規方程式演算部27および予測係数決定部28のかわりに、重心法を用いてクラス毎の予測値が生成され、このクラス毎の予測値がメモリ29に記憶される。
【0042】
さらに、クラス毎の予測値そのもののかわりに、クラス毎の予測値のそれぞれを基準値で正規化し、クラス毎の正規化された予測値をROMテーブル6に記憶しておいてもよい。この場合、図1に示される予測演算部7では、基準値に基づいて正規化された予測値から予測値を演算することになる。
【0043】
さらに、本実施の形態において、クラスタップまたは予測タップとして切り出される画素データの数は、自己相関係数を用いた場合は5個、エッジコードを求める場合には7個または8個であったが、これに限らず、クラスタップまたは予測タップとして切り出される画素データの数はいくつであってもよい。但し、クラスタップまたは予測タップとして切り出す数を多くすればするほど画質改善の精度は高くなるが、演算量が多くなったり、メモリが大きくなったりするため、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【0044】
また、本実施の形態においては、SD画像信号からSD画像信号への変換(SD−SD変換)、HD画像信号からHD画像信号への変換(HD−HD変換)について記載されているが、本発明はこれに限らず、他のフォーマット(インターレース信号、ノンインターレース信号など)の変換にももちろん適用可能である。また、SD画像信号からHD画像信号への変換(SD−HD変換)やインターレース信号からノンインターレース信号への変換(インター−ノンインター変換)など、異なるフォーマット間の変換にも本発明は適用が可能である。但し、この場合には、クラスタップまたは予測タップとして画像データを切り出す際には、注目画素データとなる画素は実際には存在しないため、切り出しの対象画素データとはならない。
【0045】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えられる。従って、本発明の要旨は本実施の形態に限定されるものではない。
【0046】
なお、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【0047】
【発明の効果】
以上の如く、請求項1に記載の画像変換装置、請求項8に記載の画像変換方法、および請求項9に記載の記録媒体に記録されたプログラムによれば、入力された画像データのぼけ量を表す特徴量に対応して、クラスタップの切り出しを制御するようにしたので、入力される画像データの画質が悪くても、クラスタップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
また、請求項10に記載の画像変換装置によれば、注目画素の画素データに対応する入力された画像信号における位置周辺の特徴量に対応して、クラスタップおよび予測タップの切り出しを制御するようにしたので、入力される画像データの画質が悪くても、クラスタップまたは予測タップとして最適な画素データを抽出することができ、適切な予測処理を行うことが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像変換装置の構成例を示すブロック図である。
【図2】図1の領域切り出し部1における切り出し処理を説明する図である。
【図3】図1の領域切り出し部1における切り出し処理を説明する図である。
【図4】図1の特徴量抽出部3における特徴量抽出処理を説明するフローチャートである。
【図5】図4のステップS1の自己相関係数を算出する処理を説明する図である。
【図6】図4のステップS1において算出される自己相関係数を説明する図である。
【図7】図1の特徴量抽出部3における他の特徴量検出処理を説明する図である。
【図8】図1の特徴量抽出部3における他の特徴量検出の例を示す図である。
【図9】図1の特徴量抽出部3における他の特徴量検出の例を示す図である。
【図10】図1の領域切り出し部1における切り出し処理を説明する図である。
【図11】図1の領域切り出し部1における切り出し処理を説明する図である。
【図12】図1のROMテーブル6の予測係数の学習処理を行うための構成例を示すブロック図である。
【符号の説明】
1,2 領域切り出し部, 3 特徴量抽出部, 4 ADRCパターン抽出部, 5 クラスコード発生部, 6 ROMテーブル, 7 予測演算部
Claims (12)
- 複数の画素データからなる第1の画像信号を複数の画素データからなる第2の画像信号に変換する画像変換装置において、
上記第1の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生するクラス分類手段と、
上記クラスコードに対応する予測データを発生する発生手段と、
上記予測データを用いて上記第2の画像信号を生成する生成手段と、
上記第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として上記第1の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、上記クラスタップ抽出手段のクラスタップの抽出動作を制御する検出手段と
を備えることを特徴とする画像変換装置。 - 上記第2の画像信号は上記第1の画像信号より画質改善された信号である
ことを特徴とする請求項1に記載の画像変換装置。 - 上記第1の画像信号と上記第2の画像信号は同じフォーマットの画像信号である
ことを特徴とする請求項1に記載の画像変換装置。 - 上記発生手段は、画質の良好な学習信号を用いてクラス毎に予め学習によって生成された予測データを記憶するメモリを有し、上記メモリは、上記クラスコードをアドレスとして予測データを発生する
ことを特徴とする請求項1に記載の画像変換装置。 - 上記第1の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段をさらに備え、
上記発生手段は、クラスコードに対応する予測係数のセットを発生し、
上記生成手段は、上記予測タップ抽出手段からの予測タップと上記発生手段からの予測係数のセットを用いて予測演算することにより上記第2の画像信号を生成する
ことを特徴とする請求項1に記載の画像変換装置。 - 上記発生手段は、画質の良好な学習信号を用いてクラス毎に予め学習によって生成された予測係数のセットを記憶するメモリを有し、上記メモリは、上記クラスコードをアドレスとして予測係数のセットを出力する
ことを特徴とする請求項5に記載の画像変換装置。 - 上記クラス分類手段は、上記クラスタップをクラス分類することによりそのクラスを表す第1のクラスコードと、上記画像のぼけの程度を表す特徴量を表す第2のクラスコードからなるクラスコードを発生する
ことを特徴とする請求項1に記載の画像変換装置。 - 複数の画素データからなる第1の画像信号を複数の画素データからなる第2の画像信号に変換する画像変換方法において、
上記第1の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、
上記クラスコードに対応する予測データを発生し、
上記予測データを用いて上記第2の画像信号を生成し、
上記第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として上記第1の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、上記クラスタップの抽出処理を制御する
ことを特徴とする画像変換方法。 - 複数の画素データからなる第1の画像信号を複数の画素データからなる第2の画像信号に変換する画像変換装置に、
上記第1の画像信号の中からクラスコードを生成するための複数の画素データをクラスタップとして抽出し、
上記クラスタップをクラス分類することによりそのクラスを表すクラスコードを発生し、
上記クラスコードに対応する予測データを発生し、
上記予測データを用いて上記第2の画像信号を生成し、
上記第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を、画像のぼけ具合を表す尺度として上記第1の画像信号の画像のぼけの程度を表す特徴量を検出して、その検出結果に対応して、上記クラスタップの抽出処理を制御する
処理を実行させるコンピュータが読み取り可能なプログラムが記録されていることを特徴とする記録媒体。 - 複数の画素データからなる第1の画像信号を複数の画素データからなる第2の画像信号に変換する画像変換装置において、
上記第2の画像信号における変換対象画素である注目画素の画素データに対応する上記第1の画像信号の上記注目画素の周辺に位置する複数の画素データを、クラスコードを生成するためのクラスタップとして抽出するクラスタップ抽出手段と、
上記クラスタップをクラス分類することにより上記注目画素のクラスを表すクラスコードを発生するクラス分類手段と、
上記クラスコードに対応する予測データを発生する発生手段と、
上記予測データを用いて上記注目画素の予測値を生成する生成手段と、
上記第1の画像信号の中から予測演算を行うための複数の画素データを予測タップとして抽出する予測タップ抽出手段と、
上記第1の画像信号の所定の範囲において画素データをシフトすることにより、そのシフトされたそれぞれの位置に対応する自己相関係数を算出し、基準値となる自己相関係数を決定し、その決定された自己相関係数に対応する画素データのシフト量を上記特徴量として検出し、その検出結果に対応して、上記クラスタップ抽出手段のクラスタップの抽出動作及び上記予測タップ抽出手段の抽出動作を制御する検出手段と
を備えることを特徴とする画像変換装置。 - 上記クラスタップ抽出手段によって抽出されたクラスタップと、上記予測タップ抽出手段によって抽出された予測タップは、同一の画素データである
ことを特徴とする請求項10に記載の画像変換装置。 - 上記発生手段は、画質の良好な学習信号を用いてクラス毎に予め学習によって生成された予測係数のセットを記憶するメモリを有し、上記メモリは、上記クラスコードをアドレスとして予測係数のセットを出力し、
上記生成手段は、上記予測タップ抽出手段からの予測タップと上記発生手段からの予測係数のセットを用いて予測演算することにより上記第2の画像信号を生成する
ことを特徴とする請求項10に記載の画像変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12302198A JP4062771B2 (ja) | 1997-05-06 | 1998-05-06 | 画像変換装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-115437 | 1997-05-06 | ||
JP11543797 | 1997-05-06 | ||
JP12302198A JP4062771B2 (ja) | 1997-05-06 | 1998-05-06 | 画像変換装置および方法、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1127564A JPH1127564A (ja) | 1999-01-29 |
JP4062771B2 true JP4062771B2 (ja) | 2008-03-19 |
Family
ID=26453937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12302198A Expired - Fee Related JP4062771B2 (ja) | 1997-05-06 | 1998-05-06 | 画像変換装置および方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4062771B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4596196B2 (ja) | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
JP4538705B2 (ja) * | 2000-08-02 | 2010-09-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
JP4596197B2 (ja) | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
JP4725001B2 (ja) | 2000-08-07 | 2011-07-13 | ソニー株式会社 | 画像処理装置及び方法、並びに記録媒体 |
JP4066146B2 (ja) | 2002-04-26 | 2008-03-26 | ソニー株式会社 | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 |
JP5061883B2 (ja) * | 2007-12-21 | 2012-10-31 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および学習装置 |
JP5448757B2 (ja) * | 2009-11-30 | 2014-03-19 | 三菱電機株式会社 | レーダ画像処理装置 |
-
1998
- 1998-05-06 JP JP12302198A patent/JP4062771B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1127564A (ja) | 1999-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO1998051072A1 (en) | Image converter and image conversion method | |
JP4062771B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
US5949916A (en) | Modified automatic regressive filter and filtering method therefor | |
JP2000148724A (ja) | データ処理装置およびデータ処理方法 | |
EP1631068A2 (en) | Apparatus and method for converting interlaced image into progressive image | |
JP3486975B2 (ja) | ノイズ低減装置及び方法 | |
JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
JP2000078539A (ja) | 動き判定装置、その方法および画像情報変換装置 | |
JP4139979B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
KR101509552B1 (ko) | 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도 | |
JP3723995B2 (ja) | 画像情報変換装置および方法 | |
JP4337186B2 (ja) | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 | |
US20070041453A1 (en) | Signal Processing Apparatus, Program Product and Method Therefor | |
JP4131303B2 (ja) | 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体 | |
JPH06178277A (ja) | 画像情報変換装置 | |
JPH08317347A (ja) | 画像情報変換装置 | |
WO2000048198A1 (en) | Preprocessing peripheral erroneous data, method and apparatus | |
JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
JP4038881B2 (ja) | 画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法 | |
JP5018198B2 (ja) | 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置 | |
JP4062326B2 (ja) | 係数生成装置および方法 | |
JP3767019B2 (ja) | 積和演算回路および方法 | |
JP2843232B2 (ja) | コントラスト強調装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |