JP3871350B2 - Image conversion apparatus and method capable of resolution compensation - Google Patents
Image conversion apparatus and method capable of resolution compensation Download PDFInfo
- Publication number
- JP3871350B2 JP3871350B2 JP13805594A JP13805594A JP3871350B2 JP 3871350 B2 JP3871350 B2 JP 3871350B2 JP 13805594 A JP13805594 A JP 13805594A JP 13805594 A JP13805594 A JP 13805594A JP 3871350 B2 JP3871350 B2 JP 3871350B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- resolution
- conversion apparatus
- class
- image conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【産業上の利用分野】
この発明は、ディジタル画像信号の解像度をより高いものとすることができる解像度補償可能な画像変換装置および方法に関する。
【0002】
【従来の技術】
従来、標準解像度のビデオ信号(SD信号)を高解像度のビデオ信号(HD信号)へ変換(所謂、アップコンバージョン)を行なう場合、補間フィルタによって、水平および垂直方向の画素数が2倍としていた。しかしながら、単に補間によっては、入力信号以上の解像度をつくり出すことができない。
【0003】
この問題を解決するために、HD信号の注目画素を周辺のSD画素を使用してクラス分けし、予め学習によって求めておいた、そのクラスの予測係数と複数のSD画素の線形1次結合によって、注目HD画素の値を形成する解像度補償装置が提案されている。この処理は、それ自身有効であるが、時間領域における処理であるため、これらの領域において、特徴が良く表現できる信号に対して、高精度の処理が可能である。逆の場合には、精度が不充分な問題等が生じる。
【0004】
時間領域の処理および周波数領域の処理の問題について、一般的に述べると、ディジタル画像信号、ディジタルオーディオ信号等の信号処理を行なう時に、時間領域あるいは周波数領域のいずれかで信号処理を行なうのが普通であった。周波数領域の処理は、信号の定常特性を良く表現できるが、過渡特性の表現には不向きであった。一方、時間領域の処理は、過渡特性を表現するのに適しているが、定常特性を表現するには不向きであった。ここで、定常特性とは、安定した繰り返しの変化を意味し、過渡特性とは、孤立した1回限りの変化を意味する。
【0005】
一例として、図13は、時間領域処理の場合を示す。図13Aに示すように、過渡特性は、時間軸に対して、その変化が激しい波形(インパルス状の波形)となり、これは、例えば数個のサンプル程度を使用することによって、充分処理することができる。波形中のドットは、サンプリング位置を示し、ディジタル信号の場合は、各サンプリング位置のレベルと対応するサンプリング値を有する離散的信号系列である。但し、図においては、以下も同様であるが、アナログ信号波形でもって表すことにする。一方、定常特性は、時間軸上で図13Bに示すような変化がゆるやかな波形(フラットな波形)となり、これは、数個程度のサンプルを使用しても、波形の特徴が分からず、充分な処理ができない。
【0006】
次に、周波数領域で考えると、定常特性は、含まれる周波数成分が単一あるいは少ないので、図14Aに示すようなインパルス状の波形となる。一方、過渡特性は、図14Bに示すようなフラットな波形となる。上述と同様に、インパルス状の波形の方が信号の特徴をとらえるのに適している。
【0007】
一般的な信号波形は、時間軸に対しては、図15に示すように、定常特性(フラット)の部分FL1、FL2、FL3、・・・と過渡特性(インパルス)の部分IM1、IM2、・・・とが混在したものである。従って、時間領域処理と周波数領域処理との一方のみを行なうことによっては、信号の特徴を正しく反映した処理を行なうことが難しい。そのために、同一の信号に対して、時間領域処理と周波数領域処理とを行なう必要が生じ、処理時間が長くなったり、処理のためのハードウエアの規模が大きくなる問題があった。
【0008】
従って、この発明の目的は、解像度補償の処理を行なう時に、ディジタル画像信号の定常特性の部分に対しては、周波数領域で処理し、その過渡特性の部分に対しては、時間領域で処理することができ、精度の向上、処理時間の短縮化、処理のためのハードウエアの規模の減少等が可能な解像度補償可能な画像変換装置および変換方法を提供することにある。
【0009】
【課題を解決するための手段】
請求項1の発明は、第1のディジタル画像信号を周波数領域において分析する分析手段と、
分析手段の出力に基づいて、第1のディジタル画像信号を分類する分類手段と、
第1の解像度に比べてより高い第2の解像度を有する第2のディジタル画像信号を形成するために、分類手段によって分類されたそれぞれの信号を、第1のディジタル画像信号に基づく特性に応じて、適応的に処理する第1及び第2の処理手段と、
第1及び第2の処理手段の出力を合成する合成手段とからなることを特徴とする解像度補償可能な画像変換装置である。
【0010】
請求項7の発明は、第1の解像度を有する第1のディジタル画像信号を周波数分析する分析手段と、
分析手段の出力から周波数領域でインパルス状成分の信号とフラット成分の信号とを分離する分離手段と、
分離手段からインパルス状成分の信号が供給され、第1の解像度に比べてより高い第2の解像度を有する第2のディジタル画像信号を形成するために、そのインパルス状成分の信号を周波数領域で処理する第1の処理手段と、
第1の処理手段からの出力を時間領域信号に変換する第1の変換手段と、
分離手段からフラット成分の信号が供給され、フラット成分の信号を時間領域信号に変換する第2の変換手段と、
第2の変換手段から時間領域信号が供給され、第1の解像度に比べてより高い第2の解像度を有する第2のディジタル画像信号を形成するために、時間領域信号を時間領域で処理する第2の処理手段と、
第1の変換手段の出力と第2の処理手段の出力を合成する合成手段とからなることを特徴とする解像度補償可能な画像変換装置である。
【0011】
解像度を補償する時に、入力SD信号を周波数領域でインパルス状成分と、フラット成分に分けられる。インパルス状成分は、周波数領域において、解像度補償の処理を行なう処理回路に供給され、フラット成分は、時間領域において、解像度補償の処理を行なう処理回路に供給される。そして、各処理回路で処理された結果の信号が時間領域上で合成され、解像度補償がなされたビデオ信号(HD信号)が得られる。
【0012】
【実施例】
以下、この発明によるディジタルビデオ信号の解像度補償装置の一実施例について説明する。解像度補償とは、図2Aにおいて、もともと20aの周波数特性で示すような広帯域のビデオ信号がフィルタリング処理等によって、20bの周波数特性で示すように、帯域が狭くなったことを補償し、すなわち、斜線部分の成分を作り出すことによって、図2Bに示す広帯域のビデオ信号へ変換することである。
【0013】
この一実施例の全体的構成を示す図1において、1で示す入力端子に対して標準解像度のディジタルビデオ信号(SDビデオ信号と称する)が供給される。また、高解像度のディジタルビデオ信号をHDビデオ信号と称する。入力SDビデオ信号の例は、SDVTRの再生信号、放送信号等である。入力SDビデオ信号がブロック化回路2に供給され、テレビジョンラスターの順序のビデオ信号が例えば(8×8)のブロック構造の信号に走査変換される。
【0014】
ブロック化回路2に対して、DCT(Discrete Cosine Transform)回路3が接続され、DCT回路3からは、一つのブロックと対応して、1個の直流成分の係数データDCと63個の交流成分の係数データAC1、AC2、・・・、AC63とが発生する。一例として、DCから開始して、より高次のAC係数が順次出力されるジグザグ走査でもって、係数データが出力される。DCTは、入力ビデオ信号の周波数解析の一つの手段であって、FFT、アダマール変換等を使用しても良い。
【0015】
DCT回路3からの係数データが係数解析回路4を介して分類回路5に供給される。これらの係数解析回路4および分類回路5は、周波数領域へ変換されたディジタルビデオ信号の定常成分と過渡成分とを分離するために、設けられている。分類回路5からは、周波数領域でのフラットな成分(すなわち、過渡成分)6aと、インパルス状の成分(すなわち、定常成分)6bとが分離して現れる。
【0016】
理解を容易とするために、係数データの値の一例を(DC=50、AC1=48、AC2=46、AC3=44、AC4=42、AC5=60、・・・・)と仮定する。係数解析回路4は、この係数データの解析を行い、AC5がインパルス状のものと判断する。つまり、AC5は、AC1、AC2、AC3、AC4の変化の傾向から40となるはずである。それが60の値となっているので、これは、20の値、突出している。分類回路5は、周波数領域のフラットな成分(過渡成分であり、上述の例では、DC=50、AC1=48、AC2=46、AC3=44、AC4=42、AC5=40、・・・・)6aと、周波数領域のインパルス状の成分(定常成分であり、上述の例では、DC=0、AC1=0、AC2=0、AC3=0、AC4=0、AC5=20、・・・・)6bとを分離して出力する。
【0017】
分類回路5からのフラット成分6aが逆DCT回路7に供給され、時間領域の信号に戻され、ブロック分解回路8に供給される。ブロック分解回路8からは、テレビジョンのラスター走査の順に戻されたディジタルビデオ信号が得られる。このディジタルビデオ信号が第2の処理回路としてのクラス分類適応処理回路9に供給される。この回路9は、後述のように、時間領域において解像度を高くするための処理回路である。フラット成分6aは、時間領域の処理に適しており、回路9によって、解像度の補償を良好になしうる。
【0018】
分類回路5からのインパルス状成分6bがゲイン変換回路10に供給される。ゲイン変換回路10に対しては、ブロック化回路2の出力信号がクラス分類のために供給される。ゲイン変換回路10には、後述のように学習によって予め獲得されたゲイン変換比情報が格納されたメモリが設けられている。このように、係数データのゲインを変換比情報に従って調整することによって、周波数領域で高域成分が増強される。ゲイン変換回路10の出力信号が逆DCT回路11に供給される。逆DCT回路11によって、時間領域に戻された信号がブロック分解回路12に供給され、テレビジョンラスター走査の順のデータへ変換される。
【0019】
ブロック分解回路12の出力信号が位相補償回路13を介して合成回路14に供給され、合成回路14にて、上述のクラス分類適応処理回路9の出力信号と合成される。この合成は、単純多重の処理である。そして、合成回路14から出力端子15には、解像度が補償されたディジタルビデオ信号、すなわち、HDビデオ信号が得られる。
【0020】
クラス分類適応処理回路9の一例を図3に示す。21で示す入力端子に対しては、ブロック分解回路8からのディジタルビデオ信号が供給される。このディジタルビデオ信号は、SDビデオ信号のフラット成分(過渡成分)であり、時間領域でインパルス状となる信号である。このディジタルビデオ信号が同時化回路22に供給される。同時化回路22の出力データがクラス分類回路23に供給される。クラス分類回路23の出力がマッピング表M1〜M4がそれぞれ蓄えられたメモリ24a〜24dにアドレス信号として供給される。
【0021】
図4は、SD画像およびHD画像の関係を部分的に示す。図4において、○の画素データがSD画像のもので、×の画素データがHD画像のものである。例えば12個のSD画像の画素データa〜lから4個のHD画像の画素データy1〜y4が生成される。メモリ24aのマッピング表M1は、画素データy1を発生するためのもので、メモリ24b、24c、24dのマッピング表M2、M3、M4は、画素データy2、y3、y4をそれぞれ発生するためのものである。
【0022】
メモリ24a〜24dの読み出し出力がセレクタ25に供給される。セレクタ25は、セレクト信号発生回路26の出力によって制御される。セレクト信号発生回路26には、HD画像のサンプルクロックが入力端子27から供給される。セレクタ25によって、4個の画素データy1〜y4が順番に選択され、これらの画素データが走査変換回路28に供給される。走査変換回路28は、HD画像の画素データをラスター走査の順に出力端子29に発生する。出力画像の画素数は、入力SDビデオ信号の画素数の4倍である。
【0023】
メモリ24a〜24dに格納されるマッピング表M1〜M4は、予め学習によって生成される。マッピング表M1〜M4の生成のための構成の一例を図5に示す。図5中で、31で示す入力端子にディジタルのHDビデオ信号が供給される。このHDビデオ信号は、マッピング表の生成を考慮した標準的な信号であることが好ましい。実際には、標準的な画像をHDビデオカメラにより撮像することによって、あるいは撮像信号をHDVTRに記録することによって、HDビデオ信号を得ることができる。
【0024】
このHDビデオ信号が同時化回路32に供給される。この同時化回路32は、図4に示す位置関係を有する画素データa〜lとy1 〜y4 とを同時に出力する。画素データa〜lがクラス分類回路33に供給される。クラス分類回路33は、階調、パターン等でHD画素データy1 〜y4 のクラス分けを行なう。このクラス分類回路33の出力がマッピング表生成回路34a〜34dに対して共通に供給される。
【0025】
同時化回路32からの画素データy1 〜y4 がマッピング表生成回路34a〜34dに対して供給される。マッピング表生成回路34a〜34dは、同一の構成を有している。マッピング表としては、2種類可能である。その一つは、HD画素の値y1 、y2 、y3 またはy4 をSD画素の値a〜lと係数w1 〜w12の線形結合で予測するためのもので、この場合には、クラス毎に係数w1 〜w12が定まる。他のものは、クラス毎に予測される、HD画素の値そのものである。
【0026】
図5中のマッピング表作成回路34a〜34dにそれぞれ設けられたメモリには、HDビデオ信号とSDビデオ信号との間の相関を示すマッピング表が蓄えられる。言い換えれば、SDビデオ信号の複数のデータが与えられた時に、この複数のデータのクラスと、平均的に対応が取れたHDビデオ信号の画素データを出力するマッピング表が形成できる。
【0027】
クラス分類回路33は、図3のクラス分類回路23と同様に、注目画素データをクラス分類し、クラス情報を発生する。クラス分類としては、階調によるクラス分類、パターンによるクラス分類等を使用できる。階調を使用する時には、画素データが8ビットであると、クラスの個数が極めて多くなるので、各画素のビット数をADRC等の高能率符号化で減少させることが好ましい。パターンを使用する時には、4画素で構成される複数のパターン(例えば平坦、右上に値が上昇、右下に値が減少、等)を用意し、同時化回路32の出力データを複数のパターンのいずれかにクラス分けする。
【0028】
HD画素データy1 を求めるマッピング表作成回路34aを例にとると、クラス分類回路33からのクラス情報がアドレスとして供給されるメモリが設けられる。トレーニング(学習)時では、原HDビデオ信号を間引き処理することによって、SDビデオ信号を形成する。水平方向の間引き処理(サブサンプリング)および垂直方向の間引き処理(サブライン)がなされる。1フレーム以上のHDビデオ信号例えば静止画像が使用される。メモリには、クラス情報と対応する各アドレスに対して、画素データa〜lおよびy1 のサンプル値が書込まれる。例えばメモリのアドレスAD0には、(a10、a20、・・・、an0)(b10、b20、・・・、bn0)・・・・(l10、l20、・・・、ln0)(y10、y20、・・・、yn0)が蓄えられる。
【0029】
このように蓄えられた学習データがメモリから読出され、SD画素の値a〜lと係数w1 〜w12の線形1次結合で得られるHD画素(y1 に対応する)予測値と真値との誤差を最小とする係数が最小二乗法によって求められる。一つのメモリのアドレスに蓄えられた学習データに注目すると、このアドレスに関しては、下記の連立方程式が成り立つ。
【0030】
y10=w1 a10+w2 b10+w3 c10+・・・・・・+w12l10
y20=w1 a20+w2 b20+w3 c20+・・・・・・+w12l20
y30=w1 a30+w2 b30+w3 c30+・・・・・・+w12l30
・
・
・
yn0=w1 an0+w2 bn0+w3 cn0+・・・・・・+w12ln0
【0031】
ここで、y10〜yn0、a10〜an0、b10〜bn0、c10〜cn0、・・・・、l10〜ln0が既知であるので、y10〜yn0(真値)に対する予測値の誤差の二乗を最小とするような係数w1 〜w12を求めることができる。他のクラス(アドレス)についても同様に係数を決定することができる。このように決定された係数がメモリに格納され、マッピング表として使用される。
【0032】
係数に限らず、クラス毎にHDビデオ信号のデータの値をトレーニングによって求め、メモリに格納しても良い。例えば図6は、そのための構成を示す。クラス分類回路33からのクラス情報がアドレスとして供給されるデータメモリ40および度数メモリ41が設けられる。
【0033】
度数メモリ41の読出し出力が加算器42に供給され、+1され、加算器42の出力がメモリ41の同一アドレスに書込まれる。メモリ40および41は、初期状態として各アドレスの内容がゼロにクリアされる。
【0034】
データメモリ40から読出されたデータが乗算器43に供給され、度数メモリ41から読出された度数と乗算される。乗算器43の出力が加算器44に供給され、加算器44にて入力データyと加算される。加算器44の出力が割算器45に除数として供給される。この割算器45の出力(商)がデータメモリ40に入力データとされる。
【0035】
上述の図6の構成において、あるアドレスが最初にアクセスされる時には、メモリ40および41の読出し出力が0であるため、データy10がそのままメモリ40に書込まれ、メモリ41の対応するアドレスの値が1とされる。若し、その後で、このアドレスが再びアクセスされると、加算器42の出力が2であり、加算器44の出力が(y10+y20)である。従って、割算器45の出力が(y10+y20)/2であり、これがメモリ40に書込まれる。さらに、その後で、上述のアドレスがアクセスされると、同様の動作によって、メモリ40のデータが(y10+y20+y30)/3に変更され、度数も3に更新される。
【0036】
上述の動作を所定期間行なうことによって、メモリ40には、クラス分類回路33の出力によってクラスが指定されると、そのときのデータが出力されるようなマッピング表が蓄えられる。言い換えれば、入力ビデオ信号の複数の画素データが与えられた時に、それをクラス分類したものと平均的に対応がとれたデータを出力するマッピング表が形成できる。
【0037】
クラス分類適応処理回路9についてより詳細に説明すると、クラス分類適応処理回路9は、上述のように、線形1次結合の係数をトレーニングによって、予め決定する。このトレーニング時には、図7の構成が使用される。図7において、51は、入力端子で、標準的なHD信号の静止画像を多数枚入力され、垂直間引きフィルタ52と学習部54へ供給される。垂直間引きフィルタ52は、HD画像を垂直方向に1/2に間引きし。垂直間引きフィルタ52と接続されるて水平間引きフィルタ53で水平方向に1/2に間引きを行ない、SD信号と同等の画素の静止画像を学習部54に供給する。メモリ55は、学習部54で作成されたクラスコードと学習結果を記憶する。
【0038】
この例では、図8に示すように、HD画素とSD画素の位置関係が規定される。図8に示すように、SD画素(3×3)ブロックを用いる場合、SD画素a〜iとHD画素A,B,C,Dが一組の学習データとなる。1フレームに関して複数組の学習データが存在し、且つ、フレーム数を増加させることにより非常に多数の組の学習データを利用できる。
【0039】
ここで図9は、学習部54において、線形1次結合の係数を決定する場合に、その処理をソフトウェアで行なう時の動作を示すフローチャートである。ステップ61から学習部の制御が開始され、ステップ62の対応データブロック化では、HD信号とSD信号が供給され、図8に示すような配列関係にあるHD画素およびSD画素を取り出す処理を行なう。ステップ63のデータ終了では、入力された全データ例えば1フレームのデータの処理が終了していれば、ステップ66の予測係数決定へ、終了していなければ、ステップ64のクラス決定へ制御が移る。
【0040】
ステップ64のクラス決定では、SD信号の信号パターンからクラスを決める。この制御では、ビット数削減のために、ADRCを用いることができる。ステップ65の正規方程式加算では、後述するような方程式を作成する。
【0041】
ステップ63のデータ終了から全データの処理が終了後、制御がステップ66に移り、ステップ66の予測係数決定では、後述する方程式を行列解法を用いて解いて、予測係数を決める。ステップ67の予測係数ストアで、予測係数をメモリにストアし、ステップ68で学習部の制御が終了する。メモリ内には、SD信号で決定されるクラスをアドレスとして、そのクラスの予測係数が記憶される。クラスおよび予測係数が上述したマッピング表と対応する。
【0042】
図8中のHD画素とSD画素の関係を規定するための係数を求める処理をより詳細に説明する。一般的にSD画素レベルをx1 〜xn とし、HD画素レベルをyとしたとき、クラス毎に係数w1 〜wn によるnタップの線形推定式
y´=w1 x1 +w2 x2 +‥‥+wn xn (1)
を設定する。学習前はwi が未定係数である。
【0043】
上述のように、学習はクラス毎に複数のHDデータおよびSDデータに対して行なう。データ数がmの場合、式1に従って、
yj ´=w1 xj 1 +w2 x2 2+‥‥+wn xjn (2)
(但し、j=1,2,‥‥m)
【0044】
m>nの場合、w1 〜wn は一意には決まらないので、誤差ベクトルeの要素を
ej =yj −(w1 xj1+w2 xj2+‥‥+wn xjn) (3)
(但し、j=1,2,‥‥m)
と定義して、次の式4を最小にする係数を求める。
【0045】
【数1】
【0046】
いわゆる最小自乗法による解法である。ここで式3のwi による偏微分係数を求める。
【0047】
【数2】
【0048】
式6を0にするように各wi を決めればよいから、
【0049】
【数3】
【0050】
として、行列を用いると
【0051】
【数4】
【0052】
となり、掃き出し法等の一般的な行列解法を用いて、この式8を解けば予測係数wi が求まり、クラスコードをアドレスとして、この予測係数wi をメモリに格納しておく。
【0053】
以上のように学習部が実データであるHD信号を用いて予測係数wi を獲得することができ、これをメモリに格納しておく。そして、任意の入力されたSD信号からクラス情報を形成し、クラス情報と対応する予測係数をメモリから読出し、注目画素の周辺のSD画素の値と予測係数の線形1次結合によって、注目画素の値を形成することができ、任意の入力SD画像に対して出力HD画像を生成することができる。
【0054】
学習部54が予測係数ではなく、クラス毎の代表値を決定する時には、図10のフローチャートで示すような処理がなされる。開始のステップ71、学習データ形成のステップ72およびデータ終了のステップ73およびクラス決定のステップ74は、上述した図9中のステップ61、62、63および64と同様のものである。
【0055】
正規化のステップ75では、画素の値の正規化がなされる。すなわち、HD画素の値(入力値)をyとすると、(y−base)/DRの演算により入力データが正規化される。ここで、DRは、図8に示す画素配列において、a〜iを1ブロックとする時に、この1ブロック内の画素の最大値と最小値の差(ダイナミックレンジDR)である。また、baseは、ブロックの基準値であり、例えばブロックの画素の最小値である。最小値以外にブロック内の画素値の平均値を使用しても良い。この正規化によって、画素の相対的レベルに注目することができる。
【0056】
代表値決定のステップ76では、図6の場合と同様にしてそのクラスの累積度数n(c)を求め、また、代表値g(c)を求める。すなわち、新たに形成される代表値g(c)´は、
g(c)´={(y−base)/DR+n(c)×g(c)}/n(c+1) (9)
である。このように求められたクラス毎の代表値がメモリに格納される。
【0057】
また、クラス分けのための情報圧縮手段としては、ADRC回路の代わりに例えば、DCT(Discrete Cosine Transform )、VQ(ベクトル量子化)、あるいはDPCM(予測符号化)回路を設ける等のように、データ圧縮を行なえることができる手段であれば何を設けるかは適宜選択可能である。
【0058】
上述したように、クラス分類適応処理回路9は、時間領域において、実際の画像の性質に基づいてSD信号およびHD信号の対応関係を学習し、その学習からSD信号に対応するHD信号を生成することができる。また、SD信号のレベル分布に応じて適応的にクラスを選択するため、画像の局所的性質に追従したアップコンバージョンが可能となる。さらに、補間フィルタを用いたものと異なり、解像度の補償されたHD信号を得ることができる。
【0059】
さて、図1に戻ると、分類回路5からの周波数領域でインパルス状の成分6bが供給される、第1の処理回路としてのゲイン変換回路10は、周波数領域で解像度を補償するものである。すなわち、ゲイン変換は、図11に示すように、もともとは、高域まで周波数特性が拡大していた信号の高域のゲインが信号処理によって低下することを補償するものである。ゲイン変換回路10は、クラス分類適応処理回路9と同様に、予め学習によって、高域を補償するためのマッピング表が格納されたメモリを有している。このマッピング表としては、上述した時間領域のクラス分類適応処理回路9と同様に、ゲイン変換比を出力するものと、ゲインの予測値を出力するものとの2種類可能である。
【0060】
図12は、ゲイン変換回路10内のマッピング表を作成するための学習時の構成を示す。81で示す入力端子に、学習に使用するHDビデオデータが供給され、サブライン/サブサンプル回路82に供給される。この回路82は、垂直方向の間引き(サブライン)と水平方向の間引き(サブサンプル)とを行なう。従って、サブライン/サブサンプル回路82からは、SDビデオ信号と同程度の解像度を有するビデオ信号が発生する。
【0061】
サブライン/サブサンプル回路82に対して遅延回路83およびD/A変換器90が接続される。遅延回路83は、クラス分類がなされるまで、入力データを遅延させ、タイミングを合わせるためのものである。遅延回路83に対してブロック化回路84が接続され、例えば(4×4)のブロック構造のデータが同時化される。ブロック化回路84の出力がDCT回路85に供給され、コサイン変換がされる。DCT回路85からは、直流成分の係数データから開始して、交流分の係数データが低次から高次のものの順番(ジグザク走査)で係数データが発生する。
【0062】
DCT回路85からの係数データが割算回路86に供給される。この割算回路86は、高域を補償するために必要とされる、係数データに対するゲイン変換比を求めるために設けられている。割算回路86からのゲイン変換比信号がメモリ87に供給される。メモリ87は、複数のDCT係数とそれぞれ対応してゲイン変換比を記憶するために、複数枚の構成とされている。
【0063】
信号処理の結果生じる、SDビデオ信号の高域の劣化を調べるために、D/A変換器90によりアナログ信号とされたSDビデオ信号がアナログ伝送系91に供給される。アナログ伝送系91は、例えばアナログVTRの記録および再生プロセスである。アナログ伝送系91を介されたビデオ信号がA/D変換器92によってディジタル信号とされ、ブロック化回路93に供給される。
【0064】
ブロック化回路93によって、ブロック化回路84の出力データと同様のブロック構造のディジタルビデオデータが形成される。ブロック化回路93の出力データがDCT回路94およびクラス分類回路95に供給される。DCT回路94からの係数データが割算回路86に対して供給される。同じ次数の係数データに関して、割算処理がなされ、係数データに関するゲイン変換比信号が割算回路86で生成される。すなわち、アナログ伝送系91を通ると、高域周波数成分が失われるが、それによって、DCTの係数データの各成分のゲイン(値)がどのように変化するかがゲイン変換比信号によって指示される。
【0065】
例えばDCT回路85からDC、AC1〜AC15の係数データが発生し、DCT回路94からDC´、AC1´〜AC15´の係数データが発生する場合を考える。割算回路86では、下記の演算によってゲイン変換比信号G0 、G1 、・・・・、G15が形成される。
G0 =DC/DC´、G1 =AC/AC´、・・・、G15=AC15/AC15´
【0066】
図12では、簡単のために省略しているが、各係数に関して発生する複数のゲイン変換比信号を平均化することによって、最終的なゲイン変換比信号が求められ、これがメモリ87に記憶される。
【0067】
このようなゲイン変換比信号は、高域が減衰したビデオデータの係数データに対して、乗じられることによって、高域が補償されたビデオデータの係数データを生成することを可能とする。図1中のゲイン変換回路10は、予め学習により得られたゲイン変換比信号が記憶されているメモリを有し、係数データとゲイン変換比信号とを乗じることによって、係数データの値を変更する。これによって、高域の補償を行なうことができる。
【0068】
クラス分類回路95は、ブロック化回路93からのブロックデータのレベル分布に応じたクラス分けを行なう。このクラス分けのために、上述したように、ADRC等のデータ圧縮を行なうことが好ましい。クラス分類回路95で得られたクラス情報がメモリ87に対して、メモリ内アドレスとして供給される。メモリ87は、直流分の係数データと、全ての次数の交流分の係数データとのそれぞれと対応して複数枚の構成とされ、複数枚のメモリのそれぞれが対応する係数データに関してゲイン変換比信号を記憶する。
【0069】
係数データと対応して、複数枚のメモリを切り換えるためのアドレスは、アドレスカウンタ88により形成される。アドレスカウンタ88は、入力端子89からのクロック信号をカウントし、順次変化するアドレスを発生する。この場合、ブロック化回路84からの係数データと同期してアドレスが変化する。そして、複数の種類のHDビデオ信号が入力端子81に供給され、クラス毎に最適なゲイン変換比信号が形成され、これがメモリ87に記憶される。
【0070】
また、ゲイン変換比の代わりに、予測されるDCT係数の値を学習によって、求めることも可能である。
【0071】
メモリ87に格納されたゲイン変換比信号と同一のものが図1のゲイン変換回路10に設けられたメモリ内に記憶されている。また、ブロック化回路2の出力信号がクラス分類のためにゲイン変換回路10に供給されている。ゲイン変換回路10において、DCT係数データの各成分とゲイン変換比信号とが乗じられ、ゲイン調整がなされる。これによって、周波数領域の高域の補償がなされる。ここで、ゲイン変換回路10に対しては、周波数領域でインパルス状成分6bが供給されている。その理由は、若し、フラット成分をも含む種々の成分からなる信号を変換しようとすると、非線形成分が混入して精度が悪化し、正しいゲイン変換ができない問題が生じるからである。同様の理由で、上述の図12に示す学習時においても、インパルス状の信号が使用される。
【0072】
【発明の効果】
この発明は、単なる補間フィルタによる補間と異なり、高域成分を創造することによって、解像度が入力ビデオ信号のものより高い、出力ビデオ信号を形成することができる。そして、この発明は、入力ビデオ信号を時間領域における表現に適した成分と、周波数領域における表現に適した成分とを分け、各成分を並行して処理し、各領域の処理の結果を合成するので、各領域の処理を2段階に行なうのと比較して、処理時間の短縮化、ハードウエアの規模の減少、精度の向上等の利点を得ることができる。
【図面の簡単な説明】
【図1】この発明の一実施例の全体的なブロック図である。
【図2】この発明の一実施例によりなされる解像度補償を説明するための略線図である。
【図3】この発明の一実施例におけるクラス分類適応処理回路の一例のブロック図である。
【図4】SD画像とHD画像との間の画素の配列を示す略線図である。
【図5】予測係数が格納されたマッピング表を作成するための構成の一例のブロック図である。
【図6】予測値が格納されたマッピング表を作成するための構成の一例のブロック図である。
【図7】予測係数あるいは予測値を形成するための学習時の構成の一例のブロック図である。
【図8】SD画像とHD画像との間の画素の配列の他の例を示す略線図である。
【図9】予測係数を形成するための学習時の処理を示すフローチャートである。
【図10】予測値を形成するための学習時の処理を示すフローチャートである。
【図11】周波数領域での高域補償を説明するための略線図である。
【図12】周波数領域での高域補償用のゲイン変換比を学習するためのブロック図である。
【図13】時間領域におけるインパルス状成分およびフラット成分をそれぞれ示す略線図である。
【図14】周波数領域におけるインパルス状成分およびフラット成分をそれぞれ示す略線図である。
【図15】時間領域におけるインパルス状成分およびフラット成分の両者を含む信号波形の略線図である。
【符号の説明】
1 高解像度のディジタル画像信号の入力端子
3 DCT回路
5 周波数領域でのフラット成分およびインパルス状成分を分離する分類回路
7、11 逆DCT回路
9 クラス分類適応処理回路
10 ゲイン変換回路[0001]
[Industrial application fields]
The present invention relates to a resolution-compensating image conversion apparatus and method capable of increasing the resolution of a digital image signal.
[0002]
[Prior art]
Conventionally, when converting a standard-definition video signal (SD signal) into a high-resolution video signal (HD signal) (so-called up-conversion), the number of pixels in the horizontal and vertical directions is doubled by an interpolation filter. However, the resolution higher than the input signal cannot be created by simple interpolation.
[0003]
In order to solve this problem, the target pixel of the HD signal is classified using peripheral SD pixels, and is obtained by learning in advance by linear primary combination of the prediction coefficient of the class and a plurality of SD pixels. A resolution compensator that forms the value of the target HD pixel has been proposed. Although this process is effective in itself, it is a process in the time domain, and therefore, a highly accurate process can be performed on a signal whose characteristics can be well expressed in these areas. In the opposite case, problems such as insufficient accuracy occur.
[0004]
Generally speaking, the problems of time domain processing and frequency domain processing are described. When performing signal processing of digital image signals, digital audio signals, etc., signal processing is usually performed in either the time domain or the frequency domain. Met. The frequency domain processing can express the steady characteristics of the signal well, but is not suitable for expressing the transient characteristics. On the other hand, processing in the time domain is suitable for expressing transient characteristics, but is not suitable for expressing steady characteristics. Here, the steady characteristic means a stable repetitive change, and the transient characteristic means an isolated one-time change.
[0005]
As an example, FIG. 13 shows a case of time domain processing. As shown in FIG. 13A, the transient characteristic has a waveform (impulse waveform) whose change is drastic with respect to the time axis, and this can be sufficiently processed by using, for example, several samples. it can. A dot in the waveform indicates a sampling position. In the case of a digital signal, the dot is a discrete signal sequence having a sampling value corresponding to the level of each sampling position. However, in the figure, the same applies to the following, but it is expressed by an analog signal waveform. On the other hand, the steady-state characteristic is a waveform (flat waveform) with a gradual change as shown in FIG. 13B on the time axis. This is sufficient even when several samples are used, and the characteristics of the waveform are not understood. Cannot be processed properly.
[0006]
Next, considering in the frequency domain, the steady-state characteristic has an impulse-like waveform as shown in FIG. On the other hand, the transient characteristic has a flat waveform as shown in FIG. 14B. As described above, the impulse-like waveform is more suitable for capturing the characteristics of the signal.
[0007]
As shown in FIG. 15, the general signal waveform has a steady characteristic (flat) portion FL1, FL2, FL3,... And a transient characteristic (impulse) portion IM1, IM2,.・ ・ Are mixed. Therefore, it is difficult to perform processing that correctly reflects signal characteristics by performing only one of time domain processing and frequency domain processing. Therefore, it is necessary to perform time-domain processing and frequency-domain processing on the same signal, and there are problems that the processing time becomes long and the scale of hardware for processing increases.
[0008]
Accordingly, an object of the present invention is to process the portion of the steady state characteristic of the digital image signal in the frequency domain and the portion of the transient characteristic in the time domain when performing the resolution compensation process. It is an object of the present invention to provide an image conversion apparatus and a conversion method capable of compensating for resolution, which can improve accuracy, shorten processing time, reduce the scale of hardware for processing, and the like.
[0009]
[Means for Solving the Problems]
Invention of Claim 1The secondAnalyzing one digital image signal in frequency domainMinuteAnalyzing means,
MinClassifying means for classifying the first digital image signal based on the output of the analyzing means;
In order to form a second digital image signal having a second resolution higher than the first resolution, each signal classified by the classifying means is responsive to the characteristics based on the first digital image signal. First and second processing means for adaptively processing;
An image conversion apparatus capable of compensating for resolution, comprising combining means for combining the outputs of the first and second processing means.
[0010]
According to a seventh aspect of the present invention, there is provided an analyzing means for frequency-analyzing the first digital image signal having the first resolution;
Separation means for separating the impulse component signal and the flat component signal in the frequency domain from the output of the analysis means;
The impulse component signal is supplied from the separating means, and the impulse component signal is processed in the frequency domain to form a second digital image signal having a second resolution higher than the first resolution. First processing means to:
First conversion means for converting the output from the first processing means into a time domain signal;
A second conversion means for supplying a flat component signal from the separation means and converting the flat component signal into a time domain signal;
A time domain signal is provided from the second conversion means and a second digital image signal having a second resolution higher than the first resolution is formed by processing the time domain signal in the time domain. Two processing means;
An image conversion apparatus capable of compensating for resolution, comprising combining means for combining the output of the first conversion means and the output of the second processing means.
[0011]
When the resolution is compensated, the input SD signal has an impulse-like component in the frequency domain, andflatDivided into ingredients. The impulse component is supplied to a processing circuit that performs resolution compensation processing in the frequency domain, and the flat component is supplied to a processing circuit that performs resolution compensation processing in the time domain. Then, the resultant signal processed by each processing circuit is synthesized in the time domain, and a video signal (HD signal) with resolution compensation is obtained.
[0012]
【Example】
An embodiment of a digital video signal resolution compensation apparatus according to the present invention will be described below. In FIG. 2A, the resolution compensation compensates for the fact that the wideband video signal originally shown by the frequency characteristic of 20a is narrowed by the filtering process or the like as shown by the frequency characteristic of 20b. By creating a partial component, it is converted to the wideband video signal shown in FIG. 2B.
[0013]
In FIG. 1 showing the overall configuration of this embodiment, a standard-definition digital video signal (referred to as an SD video signal) is supplied to an
[0014]
A DCT (Discrete Cosine Transform) circuit 3 is connected to the
[0015]
Coefficient data from the DCT circuit 3 is supplied to the classification circuit 5 via the coefficient analysis circuit 4. The coefficient analysis circuit 4 and the classification circuit 5 are provided in order to separate the steady component and the transient component of the digital video signal converted into the frequency domain. From the classification circuit 5, a flat component (that is, a transient component) 6 a in the frequency domain and an impulse-like component (that is, a steady component) 6 b appear separately.
[0016]
In order to facilitate understanding, it is assumed that an example of coefficient data values (DC = 50, AC1 = 48, AC2 = 46, AC3 = 44, AC4 = 42, AC5 = 60,...). The coefficient analysis circuit 4 analyzes the coefficient data and determines that AC5 is impulse-like. That is, AC5 should be 40 due to the changing tendency of AC1, AC2, AC3, and AC4. Since it has a value of 60, this is a 20 value. The classification circuit 5 is a flat component in the frequency domain (transient component. In the above example, DC = 50, AC1 = 48, AC2 = 46, AC3 = 44, AC4 = 42, AC5 = 40,... ) 6a and an impulse-like component in the frequency domain (which is a stationary component, in the above example, DC = 0, AC1 = 0, AC2 = 0, AC3 = 0, AC4 = 0, AC5 = 20,... ) 6b is separated and output.
[0017]
The flat component 6 a from the classification circuit 5 is supplied to the inverse DCT circuit 7, returned to the time domain signal, and supplied to the
[0018]
The impulse component 6 b from the classification circuit 5 is supplied to the
[0019]
The output signal of the block decomposition circuit 12 is supplied to the synthesis circuit 14 via the phase compensation circuit 13, and is synthesized with the output signal of the class classification
[0020]
An example of the class classification
[0021]
FIG. 4 partially shows the relationship between SD images and HD images. In FIG. 4, the pixel data of “◯” is for an SD image, and the pixel data of “×” is for an HD image. For example, four HD image pixel data y1 to y4 are generated from twelve SD image pixel data a to l. The mapping table M1 of the
[0022]
Read outputs from the
[0023]
The mapping tables M1 to M4 stored in the
[0024]
This HD video signal is supplied to the
[0025]
Pixel data y from the
[0026]
The mapping tables indicating the correlation between the HD video signal and the SD video signal are stored in the memories provided in the mapping
[0027]
Similar to the class classification circuit 23 of FIG. 3, the
[0028]
HD pixel data y1For example, the mapping
[0029]
The learning data stored in this way is read from the memory, and SD pixel values a to l and coefficient w1~ W12HD pixels (y1The coefficient that minimizes the error between the predicted value and the true value is obtained by the least square method. When attention is paid to the learning data stored in one memory address, the following simultaneous equations hold for this address.
[0030]
yTen= W1aTen+ W2bTen+ WThreecTen+ ・ ・ ・ ・ ・ ・ + w12lTen
y20= W1a20+ W2b20+ WThreec20+ ・ ・ ・ ・ ・ ・ + w12l20
y30= W1a30+ W2b30+ WThreec30+ ・ ・ ・ ・ ・ ・ + w12l30
・
・
・
yn0= W1an0+ W2bn0+ WThreecn0+ ・ ・ ・ ・ ・ ・ + w12ln0
[0031]
Where yTen~ Yn0, ATen~ An0, BTen~ Bn0, CTen~ Cn0... lTen~ Ln0Is known, so yTen~ Yn0A coefficient w that minimizes the square of the error of the predicted value with respect to (true value)1~ W12Can be requested. Coefficients can be similarly determined for other classes (addresses). The coefficients thus determined are stored in a memory and used as a mapping table.
[0032]
Not only the coefficient but also the HD video signal data value for each class may be obtained by training and stored in the memory. For example, FIG. 6 shows a configuration for that purpose. A data memory 40 and a frequency memory 41 to which class information from the
[0033]
The read output of the frequency memory 41 is supplied to the adder 42 and incremented by 1, and the output of the adder 42 is written to the same address of the memory 41. In the memories 40 and 41, the contents of each address are cleared to zero as an initial state.
[0034]
Data read from the data memory 40 is supplied to the multiplier 43 and multiplied by the frequency read from the frequency memory 41. The output of the multiplier 43 is supplied to the
[0035]
In the configuration of FIG. 6 described above, when a certain address is accessed for the first time, the read output of the memories 40 and 41 is 0, so the data yTenIs written in the memory 40 as it is, and the value of the corresponding address in the memory 41 is set to 1. If this address is accessed again later, the output of adder 42 is 2 and the output of
[0036]
By performing the above-described operation for a predetermined period, the memory 40 stores a mapping table in which when the class is designated by the output of the
[0037]
The class classification
[0038]
In this example, as shown in FIG. 8, the positional relationship between HD pixels and SD pixels is defined. As shown in FIG. 8, when the SD pixel (3 × 3) block is used, the SD pixels a to i and the HD pixels A, B, C, and D are a set of learning data. There are a plurality of sets of learning data for one frame, and a very large number of sets of learning data can be used by increasing the number of frames.
[0039]
Here, FIG. 9 is a flowchart showing an operation when the learning unit 54 determines the linear primary coupling coefficient by software. Control of the learning unit is started from step 61, and in the corresponding data block conversion of
[0040]
In the class determination at step 64, the class is determined from the signal pattern of the SD signal. In this control, ADRC can be used to reduce the number of bits. In the normal equation addition in step 65, an equation as described later is created.
[0041]
After the processing of all data from the end of the data in step 63, the control moves to step 66. In the prediction coefficient determination in
[0042]
A process for obtaining a coefficient for defining the relationship between the HD pixel and the SD pixel in FIG. 8 will be described in more detail. Generally, the SD pixel level is x1~ XnAnd when the HD pixel level is y, the coefficient w for each class1~ WnN-tap linear estimation formula
y '= w1x1+ W2x2+ ... + wnxn (1)
Set. Before learningiIs an undetermined coefficient.
[0043]
As described above, learning is performed on a plurality of HD data and SD data for each class. When the number of data is m, according to
yj'= W1xj 1+ W2x22+ ... + wnxjn (2)
(However, j = 1, 2, ... m)
[0044]
If m> n, w1~ WnIs not uniquely determined, so the elements of the error vector e are
ej= Yj-(W1xj1+ W2xj2+ ... + wnxjn(3)
(However, j = 1, 2, ... m)
And a coefficient that minimizes the following Expression 4 is obtained.
[0045]
[Expression 1]
[0046]
This is a so-called least square method. Where w in Equation 3iObtain the partial differential coefficient by.
[0047]
[Expression 2]
[0048]
Each w so that Equation 6 is 0iBecause you only have to decide
[0049]
[Equation 3]
[0050]
As a matrix
[0051]
[Expression 4]
[0052]
If this
[0053]
As described above, the learning unit uses the HD signal that is actual data to predict the prediction coefficient w.iCan be obtained and stored in memory. Then, class information is formed from an arbitrary input SD signal, the prediction coefficient corresponding to the class information is read from the memory, and the value of the SD pixel around the target pixel and the prediction coefficient are linearly combined linearly to obtain the target pixel. A value can be formed and an output HD image can be generated for any input SD image.
[0054]
When the learning unit 54 determines not a prediction coefficient but a representative value for each class, a process as shown in the flowchart of FIG. 10 is performed. The
[0055]
In the normalization step 75, the pixel values are normalized. That is, if the value (input value) of the HD pixel is y, the input data is normalized by the calculation of (y-base) / DR. Here, DR is a difference (dynamic range DR) between the maximum value and the minimum value of pixels in one block when a to i are one block in the pixel array shown in FIG. Further, base is a reference value of the block, for example, a minimum value of the pixel of the block. In addition to the minimum value, an average value of pixel values in the block may be used. This normalization allows attention to the relative level of the pixels.
[0056]
In
g (c) ′ = {(y−base) / DR + n (c) × g (c)} / n (c + 1) (9)
It is. The representative value for each class obtained in this way is stored in the memory.
[0057]
As an information compression means for classification, for example, a DCT (Discrete Cosine Transform), a VQ (vector quantization), or a DPCM (predictive coding) circuit is provided instead of the ADRC circuit. What is provided can be appropriately selected as long as it is a means capable of performing compression.
[0058]
As described above, the class classification
[0059]
Returning to FIG. 1, the
[0060]
FIG. 12 shows a configuration at the time of learning for creating a mapping table in the
[0061]
[0062]
The coefficient data from the
[0063]
In order to investigate high-frequency degradation of the SD video signal resulting from the signal processing, the SD video signal converted into an analog signal by the D /
[0064]
The
[0065]
For example, consider a case where coefficient data of DC and AC1 to AC15 are generated from the
G0= DC / DC ', G1= AC / AC ', ..., G15= AC15/ AC15´
[0066]
Although omitted in FIG. 12 for the sake of simplicity, a final gain conversion ratio signal is obtained by averaging a plurality of gain conversion ratio signals generated for each coefficient and stored in the
[0067]
Such a gain conversion ratio signal is multiplied by coefficient data of video data whose high frequency is attenuated, thereby making it possible to generate coefficient data of video data whose high frequency is compensated. The
[0068]
The
[0069]
Corresponding to the coefficient data, an address for switching a plurality of memories is formed by an
[0070]
Further, instead of the gain conversion ratio, a predicted DCT coefficient value can be obtained by learning.
[0071]
The same gain conversion ratio signal stored in the
[0072]
【The invention's effect】
The present invention can form an output video signal whose resolution is higher than that of the input video signal by creating a high frequency component, unlike interpolation by a simple interpolation filter. The present invention divides a component suitable for expression in the time domain and a component suitable for expression in the frequency domain from the input video signal, processes each component in parallel, and synthesizes the processing results of each domain. Therefore, advantages such as a reduction in processing time, a reduction in hardware scale, and an improvement in accuracy can be obtained as compared with processing in each area in two stages.
[Brief description of the drawings]
FIG. 1 is an overall block diagram of one embodiment of the present invention.
FIG. 2 is a schematic diagram for explaining resolution compensation performed according to an embodiment of the present invention;
FIG. 3 is a block diagram of an example of a class classification adaptive processing circuit according to an embodiment of the present invention.
FIG. 4 is a schematic diagram illustrating an arrangement of pixels between an SD image and an HD image.
FIG. 5 is a block diagram illustrating an example of a configuration for creating a mapping table storing prediction coefficients.
FIG. 6 is a block diagram illustrating an example of a configuration for creating a mapping table storing predicted values.
FIG. 7 is a block diagram of an example of a configuration at the time of learning for forming a prediction coefficient or a prediction value.
FIG. 8 is a schematic diagram illustrating another example of an arrangement of pixels between an SD image and an HD image.
FIG. 9 is a flowchart showing processing at the time of learning for forming a prediction coefficient.
FIG. 10 is a flowchart showing processing during learning for forming a predicted value.
FIG. 11 is a schematic diagram for explaining high-frequency compensation in a frequency domain.
FIG. 12 is a block diagram for learning a gain conversion ratio for high frequency compensation in a frequency domain.
FIG. 13 is a schematic diagram showing an impulse component and a flat component in the time domain, respectively.
FIG. 14 is a schematic diagram showing an impulse component and a flat component in the frequency domain, respectively.
FIG. 15 is a schematic diagram of a signal waveform including both an impulse-like component and a flat component in the time domain.
[Explanation of symbols]
1 High resolution digital image signal input terminal
3 DCT circuit
5 Classification circuit that separates flat and impulse components in the frequency domain
7, 11 Inverse DCT circuit
9 class classification adaptive processing circuit
10 Gain conversion circuit
Claims (21)
上記分析手段の出力に基づいて、上記第1のディジタル画像信号を周波数領域でインパルス状成分の信号とフラット成分の信号に分類する分類手段と、
上記インパルス状成分の信号が供給され、上記インパルス状成分の信号を周波数領域で処理して上記第1の解像度に比べてより高い第2の解像度を有する出力ディジタル画像信号を形成する第1の処理手段と、
上記フラット成分の信号が供給され、上記フラット成分の信号を時間領域で処理して上記第1の解像度に比べてより高い第2の解像度を有する出力ディジタル画像信号を形成する第2の処理手段と、
上記第1及び第2の処理手段の出力デジタル画像信号を合成して上記第1の解像度に比べてより高い第2の解像度を有する第2のデジタル画像信号を出力する合成手段とからなることを特徴とする解像度補償可能な画像変換装置。Analyzing means for analyzing the first digital image signal in the frequency domain;
Classification means for classifying the first digital image signal into an impulse component signal and a flat component signal in the frequency domain based on the output of the analysis means;
A first process for supplying the impulse component signal and processing the impulse component signal in a frequency domain to form an output digital image signal having a second resolution higher than the first resolution; Means,
Second processing means for receiving the flat component signal and processing the flat component signal in a time domain to form an output digital image signal having a second resolution higher than the first resolution; ,
By synthesizing the output digital image signals of the first and second processing means that ing and a second synthesizing means for outputting a digital image signal having a higher second resolution as compared with the first resolution An image conversion apparatus capable of compensating for resolution.
上記第1の処理手段は、
上記周波数領域において処理されたれたインパルス状成分の信号を時間領域信号に変換する変換手段を有することを特徴とする画像変換装置。The image conversion apparatus according to claim 1 ,
The first processing means includes
Image converting apparatus characterized by having conversion means for converting the signal of the impulse JoNaru fraction was processed in the frequency domain to the time domain signal.
上記第2の処理手段は、
上記第2の変換手段は、上記フラット成分の信号を時間領域信号に変換する変換手段を有することを特徴とする画像変換装置。The image conversion apparatus according to claim 2,
The second processing means includes
It said second conversion means, an image conversion apparatus characterized by having conversion means for converting the signals above notated rats component to a time domain signal.
上記周波数領域の分析手段が直交変換であることを特徴とする画像変換装置。The image conversion apparatus according to claim 1,
An image conversion apparatus, wherein the frequency domain analysis means is orthogonal transform.
上記直交変換は、離散的コサイン変換であることを特徴とする画像変換装置。The image conversion apparatus according to claim 4 , wherein
The orthogonal transform, the image conversion apparatus which is a discrete cosine transform.
上記直交変換は、高速フーリエ変換であることを特徴とする画像変換装置。The image conversion apparatus according to claim 4 , wherein
The orthogonal transform, the image conversion apparatus which is a fast Fourier transform.
上記直交変換は、アダマール変換であることを特徴とする画像変換装置。The image conversion apparatus according to claim 4 , wherein
The orthogonal transform, the image conversion apparatus which is a Hadamard transform.
上記第1の処理手段は、上記インパルス状成分の信号が供給され、上記第1のディジタル画像信号に基づいてクラスを決定するクラス分類手段と、
上記決定されたクラス毎に、上記第1の解像度に比べてより高い第2の解像度を得るように上記インパルス状成分の信号を補正する補正値を発生する補正値発生手段と、
上記インパルス状成分の信号を上記発生された補正値によって補正する補正手段とを有することを特徴とする解像度補償可能な画像変換装置。The image conversion apparatus according to claim 1 ,
The first processing means is supplied with a signal of the impulse component, and class classification means for determining a class based on the first digital image signal;
Correction value generating means for generating a correction value for correcting the signal of the impulse component so as to obtain a second resolution higher than the first resolution for each of the determined classes;
Resolution capable of compensating for image conversion apparatus characterized by comprising a correction means for correcting the signal of the impulse-like components by the generated correction value.
上記補正値発生手段は、クラス毎の補正値を格納するメモリを有し、
上記クラス毎の補正値は、上記第2の解像度を有するディジタル画像信号とその第2の解像度を有するディジタル画像信号を処理して得られた上記第2の解像度より低い上記第1の解像度を有するディジタル画像信号を用いて、予め学習によって求められることを特徴とする画像変換装置。The image conversion apparatus according to claim 8 , wherein
The correction value generating means has a memory for storing a correction value for each class,
The correction value for each class has the first resolution lower than the second resolution obtained by processing the digital image signal having the second resolution and the digital image signal having the second resolution. An image conversion apparatus characterized by being obtained in advance by learning using a digital image signal.
学習に使用するデータとして、周波数領域でインパルス状成分の信号を使用することを特徴とする画像変換装置。The image conversion apparatus according to claim 9 , wherein
An image conversion apparatus using an impulse component signal in a frequency domain as data used for learning.
上記クラス毎の補正値を求めるための学習時に、第2の解像度を有するディジタル画像信号をアナログ処理系を介することによって、高域成分が減衰したディジタル画像信号を形成し、上記第2のディジタル画像信号を周波数領域へ変換した成分と、上記高域成分が減衰したディジタル画像信号を周波数領域へ変換した成分との比を求め、上記比からクラス毎の補正値を求めることを特徴とする画像変換装置。The image conversion apparatus according to claim 9 , wherein
At the time of learning for obtaining the correction value for each class, a digital image signal having a second resolution is formed by passing the digital image signal having the second resolution through an analog processing system, and the second digital image Image conversion characterized in that a ratio between a component obtained by converting the signal into the frequency domain and a component obtained by converting the digital image signal in which the high frequency component is attenuated into the frequency domain is obtained, and a correction value for each class is obtained from the ratio. apparatus.
上記第1の処理手段は、上記インパルス状成分の信号が供給され、そのインパルス状成分の信号に基づいてクラスを決定するクラス分類手段と、
上記決定されたクラス毎に、上記第1の解像度に比べてより高い第2の解像度を有するインパルス状成分の信号を示す値を発生する補正値発生手段とからなることを特徴とする解像度補償可能な画像変換装置。The image conversion apparatus according to claim 1 ,
The first processing means is supplied with a signal of the impulse-like component, and class-classifying means for determining a class based on the signal of the impulse-like component;
Resolution compensation is possible, comprising correction value generation means for generating a value indicating an impulse-like component signal having a second resolution higher than the first resolution for each of the determined classes. Image conversion device.
上記補正値発生手段は、クラス毎の第2の解像度を有するインパルス状成分の信号を示す値を格納するメモリを有し、
上記クラス毎の第2の解像度を有するインパルス状成分の信号を示す値は、上記第2の解像度を有するディジタル画像信号とその第2の解像度を有するディジタル画像信号を処理して得られた上記第2の解像度より低い上記第1の解像度を有するディジタル画像信号を用いて、予め学習によって求められることを特徴とする画像変換装置。In the image conversion apparatus according to claim 1 2,
The correction value generating means has a memory for storing a value indicating an impulse component signal having a second resolution for each class,
The value indicating the impulse component signal having the second resolution for each class is obtained by processing the digital image signal having the second resolution and the digital image signal having the second resolution. An image conversion apparatus characterized in that it is obtained by learning in advance using a digital image signal having the first resolution lower than the resolution of 2.
学習に使用するデータとして、周波数領域でインパルス状成分の信号を使用することを特徴とする画像変換装置。In the image conversion apparatus according to claim 1 3,
An image conversion apparatus using an impulse component signal in a frequency domain as data used for learning.
上記クラス毎の補正値を求めるための学習時に、第2の解像度を有するディジタル画像信号をアナログ処理系を介することによって、高域成分が減衰したディジタル画像信号を形成し、上記第2のディジタル画像信号を周波数領域へ変換した成分と、上記高域成分が減衰したディジタル画像信号を周波数領域へ変換した成分との比を求め、上記比からクラス毎の補正値を求めることを特徴とする画像変換装置。In the image conversion apparatus according to claim 1 3,
At the time of learning for obtaining the correction value for each class, a digital image signal having a second resolution is formed by passing the digital image signal having the second resolution through an analog processing system, and the second digital image Image conversion characterized in that a ratio between a component obtained by converting the signal into the frequency domain and a component obtained by converting the digital image signal in which the high frequency component is attenuated into the frequency domain is obtained, and a correction value for each class is obtained from the ratio. apparatus.
上記第2の処理手段は、上記変換手段の出力である時間領域信号のうち、注目画素位置における信号をその空間的および/または近傍に存在する複数の画素位置における信号を使用してクラス分けするためのクラス分類手段と、決定されたクラス毎に予測係数を発生する予測係数発生手段と、上記変換手段からの時間領域信号の複数の画素の値と上記予測係数の線形1次結合によって、予測値を推定する推定手段からなることを特徴とする画像変換装置。The image conversion apparatus according to claim 3 .
Class said second processing means uses a signal in the upper Symbol of which is the output time domain signal of the conversion means, a plurality of pixel positions that exist signals at the pixel-of-interest position to its spatial and / or near and class classification means for dividing the prediction coefficient generating means for generating a prediction coefficient for each determined class, the linear value of 1 and the prediction coefficients of the plurality of pixels of the time domain signal from the upper Symbol conversion means primary An image conversion apparatus characterized by comprising estimation means for estimating a predicted value by combination.
上記予測係数発生手段は、クラス毎の予測係数を格納するメモリを有し、
第2の変換手段からの時間領域の信号に含まれ、注目画素の空間的および/または時間的に近傍の複数の画素の値と予測係数の線形1次結合によって、上記注目画素の値を作成した時に、作成された値と上記注目画素の真値との誤差を最小とするようなクラス毎の予測係数を予め学習によって求めておくことを特徴とする画像変換装置。The image conversion apparatus according to claim 16 , wherein
The prediction coefficient generating means has a memory for storing a prediction coefficient for each class,
The value of the pixel of interest is generated by linear primary combination of the values of a plurality of pixels spatially and / or temporally adjacent to the pixel of interest and the prediction coefficient, which are included in the time domain signal from the second conversion means An image conversion apparatus characterized in that a prediction coefficient for each class that minimizes an error between a created value and a true value of the target pixel is obtained in advance by learning.
上記第2の処理手段は、注目画素位置における信号の空間的および/または時間的に近傍の複数の画素位置における信号に基づいて上記注目画素のクラスを決定するためのクラス分類手段と、
上記注目画素の値を生成するために、決定されたクラス毎の予測値を発生する予測値発生手段とからなることを特徴とする画像変換装置。The image conversion apparatus according to claim 3 .
The second processing means includes a class classification means for determining a class of the target pixel based on signals at a plurality of pixel positions that are spatially and / or temporally adjacent to the signal at the target pixel position;
An image conversion apparatus comprising: predicted value generation means for generating a predicted value for each determined class in order to generate the value of the target pixel.
上記予測値発生手段は、クラス毎の予測値を格納するメモリを有し、
学習時にクラス毎に得られる値の累積値を累積度数で除した値がクラス毎の予測値として、上記メモリに格納されていることを特徴とする画像変換装置。The image conversion apparatus according to claim 18 , wherein
The predicted value generating means has a memory for storing a predicted value for each class,
An image conversion apparatus characterized in that a value obtained by dividing a cumulative value obtained for each class during learning by a cumulative frequency is stored in the memory as a predicted value for each class.
上記予測値発生手段は、クラス毎の予測値を格納するメモリを有し、
学習時に、注目画素を含む複数の画素からなるブロックを形成し、
上記ブロック内のダイナミックレンジによって、上記注目画素の値から上記ブロックの基準値を合成した値を正規化し、
上記正規化された値の累積値を累積度数で除した値がクラス毎の予測値として、上記メモリに格納されていることを特徴とする画像変換装置。The image conversion apparatus according to claim 19 , wherein
The predicted value generating means has a memory for storing a predicted value for each class,
During learning, a block consisting of a plurality of pixels including the target pixel is formed,
The dynamic range in the block normalizes the value obtained by combining the reference value of the block from the value of the pixel of interest,
Image converting apparatus characterized by value obtained by dividing the accumulated value of the normalized values in cumulative frequency as a predicted value for each class, stored in the memory.
分析結果に基づいて周波数領域でインパルス状成分の信号とフラット成分の信号を分離するステップと、
上記インパルス状成分の信号が供給され、上記インパルス状成分の信号を周波数領域で処理して、上記第1の解像度に比べてより高い第2の解像度を有する出力ディジタル画像信号を形成するために、第1の処理ステップと、
上記フラット成分の信号が供給され、上記フラット成分の信号を時間領域で処理して上記第1の解像度に比べてより高い第2の解像度を有する出力ディジタル画像信号を形成する第2の処理ステップと、
上記第1の変換ステップの出力デジタル画像信号と上記第2の処理ステップの出力デジタル画像信号とを合成する合成ステップとからなることを特徴とする解像度補償可能な画像変換方法。Frequency analyzing a first digital image signal having a first resolution;
Separating the impulse component signal and the flat component signal in the frequency domain based on the analysis results;
In order to provide the impulse component signal and process the impulse component signal in the frequency domain to form an output digital image signal having a second resolution higher than the first resolution. A first processing step;
A second processing step in which the flat component signal is supplied and the flat component signal is processed in the time domain to form an output digital image signal having a second resolution higher than the first resolution; ,
The first conversion step of the output digital image signal and the second processing step of the output digital image signal and the resolution compensation possible image conversion method characterized by comprising a synthesizing step for synthesizing.
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13805594A JP3871350B2 (en) | 1994-05-28 | 1994-05-28 | Image conversion apparatus and method capable of resolution compensation |
US08/451,057 US5555465A (en) | 1994-05-28 | 1995-05-25 | Digital signal processing apparatus and method for processing impulse and flat components separately |
EP06024664A EP1793316A3 (en) | 1994-05-28 | 1995-05-26 | Digital signal processing |
DE69536122T DE69536122D1 (en) | 1994-05-28 | 1995-05-26 | digital signal processing |
DE69536093T DE69536093D1 (en) | 1994-05-28 | 1995-05-26 | Method and device for digital signal processing |
EP95303586A EP0685800B1 (en) | 1994-05-28 | 1995-05-26 | Method and apparatus for digital signal processing |
EP06024665A EP1755044A3 (en) | 1994-05-28 | 1995-05-26 | Digital signal processing |
EP06024668A EP1755045B1 (en) | 1994-05-28 | 1995-05-26 | Digital signal processing |
KR1019950014107A KR100388729B1 (en) | 1994-05-28 | 1995-05-26 | Digital signal processing apparatus and method |
US08/612,055 US5739873A (en) | 1994-05-28 | 1996-03-07 | Method and apparatus for processing components of a digital signal in the temporal and frequency regions |
US08/854,991 US5764305A (en) | 1994-05-28 | 1997-05-13 | Digital signal processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13805594A JP3871350B2 (en) | 1994-05-28 | 1994-05-28 | Image conversion apparatus and method capable of resolution compensation |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07322215A JPH07322215A (en) | 1995-12-08 |
JP3871350B2 true JP3871350B2 (en) | 2007-01-24 |
Family
ID=15212932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13805594A Expired - Lifetime JP3871350B2 (en) | 1994-05-28 | 1994-05-28 | Image conversion apparatus and method capable of resolution compensation |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3871350B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4517448B2 (en) * | 2000-05-09 | 2010-08-04 | ソニー株式会社 | Data processing apparatus, data processing method, and recording medium |
-
1994
- 1994-05-28 JP JP13805594A patent/JP3871350B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH07322215A (en) | 1995-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5555465A (en) | Digital signal processing apparatus and method for processing impulse and flat components separately | |
KR100276789B1 (en) | Digital data conversion device and method | |
US5070403A (en) | Video signal interpolation | |
JP4103073B2 (en) | Method and apparatus for converting video signals | |
JPH11505687A (en) | Motion compensation filtering | |
WO2005067294A1 (en) | Image processing method, image processing device, and image processing program | |
JPH01288187A (en) | Space-time sub-sampling apparatus of digital video signal and high quality television picture transmission system having the apparatus | |
US5953075A (en) | Video signal processing apparatus with means for magnifying and processing a picture image correspondingly to video signals | |
JPH06343170A (en) | Noise reducing device for video signal and method using three-dimensional discrete cosine transformation and noise measurement | |
US5742355A (en) | Method and apparatus for reducing noise in a video signal | |
JPH1175181A (en) | Converter and conversion method for digital image signal | |
JP3277696B2 (en) | Digital signal processing apparatus and method | |
JP2000115716A (en) | Device and method for converting video signal, image display device using it and television receiver | |
JP3871350B2 (en) | Image conversion apparatus and method capable of resolution compensation | |
US5257326A (en) | Method and apparatus for interpolating a video signal of a picture element which has not been sampled and transmitted by an interleave sampling operation | |
JP2002199353A (en) | Information signal processor, information signal processing method, image signal processor, image display device using the same and information providing medium | |
JP3511645B2 (en) | Image processing apparatus and image processing method | |
JP3469626B2 (en) | Motion compensated video signal processing apparatus and video signal processing method | |
JPH07193789A (en) | Picture information converter | |
JPH10511530A (en) | Data filtering in television receivers | |
JPH08275119A (en) | Signal converter and signal conversion method | |
JP4310847B2 (en) | Image information conversion apparatus and conversion method | |
JP3608544B2 (en) | Parameter generating apparatus and method | |
JP4649786B2 (en) | Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, and coefficient seed data generating apparatus and generating method used therefor | |
JP3157706B2 (en) | Video signal processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040617 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040622 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040723 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061017 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091027 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101027 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111027 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121027 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131027 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |