JP4482502B2 - Information signal conversion apparatus and method - Google Patents
Information signal conversion apparatus and method Download PDFInfo
- Publication number
- JP4482502B2 JP4482502B2 JP2005240342A JP2005240342A JP4482502B2 JP 4482502 B2 JP4482502 B2 JP 4482502B2 JP 2005240342 A JP2005240342 A JP 2005240342A JP 2005240342 A JP2005240342 A JP 2005240342A JP 4482502 B2 JP4482502 B2 JP 4482502B2
- Authority
- JP
- Japan
- Prior art keywords
- sampling frequency
- information signal
- coefficient
- class
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
この発明は、クラス分類適応処理を用いて、画像信号および/または音声信号の、例えば解像度、SN比、圧縮歪みおよび輝度値のさらなる改善を行うことができる情報信号変換装置および方法に関する。 The present invention relates to an information signal conversion apparatus and method that can further improve, for example, resolution, signal-to-noise ratio, compression distortion, and luminance value of an image signal and / or an audio signal by using class classification adaptive processing.
従来、クラス分類適応処理を応用したものとして、SD(Standerd Definition)からHD(High Deginittion)への画像情報変換装置、時空間モデル符号化、MUSEの画質改善、コンポジット信号のY/C分離等さまざまなアプリケーションのアイデアが提案されている。すなわち、ある大きさの時空間の画素をブロック化し、これを何らかの手法、例えばADRC(Adaptive Dynamic Range Coding)によりクラス分類し、このクラス毎に線形1次結合でモデル化、つまり予測式を立て、クラス毎に記憶された係数と画素との演算により最適なデータを求めることができる。このとき、クラス毎に記憶された係数は、予め最小自乗法等を用いて学習することにより、得られたものである。 Conventionally, class classification adaptive processing has been applied, such as SD (Standered Definition) to HD (High Deginittion) image information conversion device, spatio-temporal model coding, MUSE image quality improvement, Y / C separation of composite signals, etc. Application ideas have been proposed. That is, a space-time pixel of a certain size is blocked, and this is classified into classes by some method, for example, ADRC (Adaptive Dynamic Range Coding), and modeled by linear linear combination for each class, that is, a prediction formula is established, Optimal data can be obtained by calculating the coefficients and pixels stored for each class. At this time, the coefficients stored for each class are obtained by learning in advance using a least square method or the like.
このように、クラス分類適応処理を用いて解像度補償等の処理を行う場合、ある程度の効果が得られる。この発明は、上述のクラス分類適応処理の改良に関するものである。 As described above, when processing such as resolution compensation is performed using the class classification adaptive processing, a certain degree of effect can be obtained. The present invention relates to an improvement of the above-described class classification adaptive processing.
すなわち、この発明の目的は、クラス分類適応処理に使用される係数を獲得するために、学習時に何らかの処理を施し、その係数を使用することによって、さらなる解像度、SN比、圧縮歪みおよび輝度値の改善を可能とする情報信号変換装置および方法を提供することにある。 That is, an object of the present invention is to perform some processing at the time of learning in order to obtain a coefficient used for the classification adaptation process, and use the coefficient, thereby further increasing the resolution, SN ratio, compression distortion, and luminance value. An object of the present invention is to provide an information signal conversion apparatus and method that can be improved.
上述した課題を達成するために、この発明は、入力情報信号を、入力情報信号の第1のサンプリング周波数よりも高い第2のサンプリング周波数の出力情報信号に変換する情報信号変換装置において、
第1のサンプリング周波数の情報信号に対して低画質化処理を施し、第1のサンプリング周波数よりも低い第3のサンプリング周波数の情報信号から第1のクラス情報を生成する第1のクラス生成手段と、
各第1のクラス情報に対して、第3のサンプリング周波数の情報信号と、第1のサンプリング周波数より高く且つ第2のサンプリング周波数より低い第4のサンプリング周波数の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
係数演算手段で求められた係数が記憶された記憶手段と、
入力情報信号から第2のクラス情報を生成する第2のクラス生成手段と、
第2のクラス情報に応答して係数が記憶手段から読み出され、入力情報信号との演算処理によって出力情報信号に変換する演算手段と
を有することを特徴とする情報信号変換装置である。
To achieve the above object, the present invention is an input information signal, the first information signal converter for converting the output information signal of the second sampling frequency has higher than the sampling frequency of the input information signal,
Subjected to low-quality processing with respect to the first sampling frequency of the information signal, a first first-class generating means for generating a first class information from the low have a third sampling frequency of the information signal than the sampling frequency When,
For each first class information, between the third and the information signal of the sampling frequency, the first fourth sampling frequency information signals have low than high rather and second sampling frequency than the sampling frequency, Coefficient computing means for obtaining a coefficient by learning based on a least square error criterion in advance;
Storage means for storing the coefficient obtained by the coefficient calculation means;
Second class generating means for generating second class information from the input information signal;
An information signal conversion apparatus comprising: a calculation means for reading a coefficient from the storage means in response to the second class information and converting the coefficient into an output information signal by calculation processing with the input information signal.
また、この発明は、入力情報信号を、入力情報信号の第1のサンプリング周波数よりも高い第2のサンプリング周波数の出力情報信号に変換する情報信号変換方法において、
第1のサンプリング周波数の情報信号に対して低画質化処理を施し、第1のサンプリング周波数よりも低い第3のサンプリング周波数の情報信号から第1のクラス情報を生成する第1のクラス生成ステップと、
各第1のクラス情報に対して、第3のサンプリング周波数の情報信号と、第1のサンプリング周波数より高く且つ第2のサンプリング周波数より低い第4のサンプリング周波数の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
係数演算ステップで求められた係数を記憶手段に記憶する記憶ステップと、
入力情報信号から第2のクラス情報を生成する第2のクラス生成ステップと、
第2のクラス情報に応答して係数が記憶手段から読み出され、入力情報信号との演算処理によって出力情報信号に変換する演算ステップと
を有することを特徴とする情報信号変換方法である。
Further, the present invention is an input information signal, the information signal conversion method for converting a first output information signal of the second sampling frequency has higher than the sampling frequency of the input information signal,
Subjected to low-quality processing with respect to the first sampling frequency of the information signal, a first class generation step of generating a first class information from the first third of the sampling frequency of the information signal have lower than the sampling frequency When,
For each first class information, between the third and the information signal of the sampling frequency, the first fourth sampling frequency information signals have low than high rather and second sampling frequency than the sampling frequency, A coefficient calculation step for obtaining a coefficient by learning based on a least square error criterion in advance;
A storage step of storing in the storage means the coefficient obtained in the coefficient calculation step;
A second class generation step of generating second class information from the input information signal;
An information signal conversion method comprising: an operation step of reading a coefficient from the storage means in response to the second class information and converting the coefficient into an output information signal by an operation process with the input information signal.
この発明では、入力画像信号に対して低画質化処理として、例えばLPF(ローパスフィルタ)処理、圧縮伸長、ゲインおよび/またはオフセット等の処理f(x)が施される。処理f(x)、例えばLPFの場合、LPFが施された入力画像信号は、例えばサンプリングレートが1/2に落とされ、教師信号との最小自乗法誤差規範により係数が求められる。求められた係数を使用したクラス分類適応処理では、入力信号の解像度が4倍に改善された信号へ変換され、出力される。 In the present invention, processing f (x) such as LPF (low-pass filter) processing, compression / expansion, gain, and / or offset is performed on the input image signal as low image quality processing. In the case of the processing f (x), for example, LPF, the input image signal subjected to LPF has a sampling rate reduced to, for example, ½, and a coefficient is obtained based on the least square method error norm with the teacher signal. In the class classification adaptation process using the obtained coefficient, the input signal is converted into a signal whose resolution is improved by a factor of 4, and then output.
この発明に依れば、入力信号に対して低画質化処理として、例えばLPF、圧縮伸長、ゲインおよび/またはオフセット等の処理を施すことによって生成される信号と、教師信号とを用いて学習を行い、それによって係数を獲得する。この係数を用いたクラス分類適応処理により、さらなる解像度、SN比、圧縮歪みおよび輝度値の改善を可能とすることができる。 According to the present invention, learning is performed using a signal generated by performing processing such as LPF, compression / decompression, gain, and / or offset, and a teacher signal as processing for reducing image quality on an input signal. Do and thereby get the coefficient. The class classification adaptive processing using this coefficient can further improve the resolution, SN ratio, compression distortion, and luminance value.
また、この発明に依れば、高画質な教師信号を使用して学習することによって獲得した係数を用いて入力信号に対する処理を行った場合、当該教師信号を超えるような高画質となる情報信号へ変換することができ、さらに、例えば画質が特定されていない教師信号を使用して学習することによって獲得した係数を用いて入力信号に対する処理を行った場合であっても、入力信号をより高画質な情報信号へ変換することができる。 Further, according to the present invention, when an input signal is processed using a coefficient acquired by learning using a high-quality teacher signal, the information signal has a high image quality that exceeds the teacher signal. Furthermore, even when the input signal is processed using a coefficient acquired by learning using a teacher signal whose image quality is not specified, for example, the input signal is further improved. It can be converted into an information signal with high image quality.
以下、この発明について図面を参照して説明する。図1に、この発明のクラス分類適応処理用の学習装置の一般的な構成のブロック図を示す。1で示す入力端子から供給される入力信号が処理回路3、スイッチ4の入力端子Bおよびスイッチ6の入力端子Dに供給される。入力端子2から供給される教師信号は、スイッチ4の入力端子Aに供給される。このとき、図中点線で接続されるように、入力信号と教師信号とが同じ信号であっても良く、または、教師信号をダウンサンプリングする等の処理をしたものでも良い。
The present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a general configuration of a learning apparatus for class classification adaptation processing according to the present invention. 1 is supplied to the
処理回路3では、入力信号に対して施す処理f(x)として、後述するように、例えばLPF処理、圧縮伸長、ゲインおよび/またはオフセット等の低画質化処理が施される。また、圧縮伸長の一例は、MPEG2のエンコーダおよびデコーダである。処理f(x)が施された補正対象用の信号は、クラス生成回路5およびスイッチ6の入力端子Cへ供給される。クラス生成回路5では、処理f(x)が施された信号からクラス情報(以下、インデックスと称する)を生成し、このインデックスは、学習回路7へ供給される。
In the
上述の構成において、スイッチ4が入力端子Aを選択し、スイッチ6が入力端子Cを選択している場合、学習回路7では、入力端子2からの教師信号と、処理f(x)が施された入力信号とから最小自乗法誤差規範による学習が行われ、線形一次結合式の係数が獲得される。教師信号と処理f(x)が施された入力信号との誤差の自乗の最小値を求めることによって、係数が獲得される。また、スイッチ4が入力端子Aを選択し、スイッチ6が入力端子Dを選択している場合、学習回路7では、入力端子2からの教師信号と、入力端子1からの入力信号とから学習が行われ、スイッチ4が入力端子Bを選択し、スイッチ6が入力端子Cを選択している場合、教師信号として入力端子1からの入力信号と、処理f(x)が施された入力信号とから学習が行われる。
In the above configuration, when the
学習回路7によって、獲得された係数は、出力端子8から出力され、図示しないがメモリ等の記憶媒体に記憶される。この図1は、入力信号に対して何らかの処理f(x)を行った信号からクラス生成を行い、且つその入力信号と教師信号とから最小自乗法誤差規範による学習を行うための一般的な構成を示したものである。上述したように、このブロック図では、スイッチ4の入力端子Aおよびスイッチ6の入力端子Dがそれぞれ選択されているとき、従来と同様に教師信号と入力信号を使用して学習するための経路も確保される。
The coefficient acquired by the
このように、得られた係数を用いたクラス分類適応処理の一般的な構成を図2に示す。入力端子11から供給される入力信号がクラス生成回路12および遅延(DL)回路14へ供給される。クラス生成回路12では、供給された入力信号のクラスが生成され、生成されたクラスは、学習により得られた係数が格納されている係数メモリ13へ供給される。係数メモリ13では、クラス生成回路12からのクラスに応答して係数が読み出され、読み出された係数は、予測演算回路15へ供給される。予測演算回路15では、遅延回路14によって、所定時間遅延された入力信号と係数との演算により、最適なデータが獲得される。
A general configuration of the class classification adaptive processing using the obtained coefficients is shown in FIG. An input signal supplied from the input terminal 11 is supplied to the class generation circuit 12 and the delay (DL)
上述した、この発明の一般的な構成において、処理回路3がLPF処理を行うものであり、それによって、解像度を上げるようにした第1の実施例を図3を用いて説明する。まず、同一の被写体に対して、2種類の解像度の異なる撮像系で撮像された映像信号を使用する。このとき、解像度の低いほうの撮像系で得られた入力信号は、例えば13.5MHzのサンプリング周波数のA/D変換器によって、アナログ信号からディジタル信号へ変換され、この映像信号をLSと表す。解像度の高いほうの撮像系で得られた教師信号は、例えば27.0MHzのサンプリング周波数のA/D変換器によって、アナログ信号からディジタル信号へ変換され、この映像信号をHSと表す。
In the general configuration of the present invention described above, the first embodiment in which the
このように、入力信号(映像信号LS)と教師信号(映像信号HS)とを用いて、例えば上述の図1では、スイッチ4の入力端子Aとスイッチ6の入力端子Dが接続された状態で学習することによって、低いサンプリングレートの信号から2倍の高いサンプリングレートの信号を生成するための係数が算出される。
Thus, using the input signal (video signal LS) and the teacher signal (video signal HS), for example, in FIG. 1 described above, the input terminal A of the
また、図1中のスイッチ4の入力端子Aとスイッチ6の入力端子Cが接続された状態で学習することによって、低いサンプリングレートの信号から4倍の高いサンプリングレートの信号を生成するための係数が算出される。これは、学習によって生成される係数が入力信号に対して、処理f(x)として、例えばLPF処理が行われ、供給された入力信号の画素数は、落とさず、入力信号の帯域のみが落とされ、さらにサンプリングレートを図3Aに示すように、例えば1/2に落とした信号(LPF−LS)と教師信号とを使用しているためである。
Further, by learning with the input terminal A of the
より具体的には、入力信号LS(13.5MHz)に対してLPFが施された信号LPF−LS(6.75MHz)と教師信号HS(27.0MHz)との学習によって、得られた係数を使用して、図3Bに示すように、低いサンプリングレートの入力信号LS(13.5MHz)から4倍の高いサンプリングレートの信号(54.0MHz)を生成することができる。 More specifically, the coefficient obtained by learning the signal LPF-LS (6.75 MHz) obtained by performing LPF on the input signal LS (13.5 MHz) and the teacher signal HS (27.0 MHz) is obtained. It can be used to generate a four times higher sampling rate signal (54.0 MHz) from a lower sampling rate input signal LS (13.5 MHz), as shown in FIG. 3B.
従来の学習方法では、入力された信号から、その信号の2倍の解像度を得ることしかできなかったが、この実施例を適用する学習方法により獲得された係数を使用して解像度を上げる処理を行うとき、通常のサンプリングレートの入力信号に対して、4倍の解像度の信号を作りだすことが可能となる。 In the conventional learning method, it was only possible to obtain twice the resolution of the input signal from the input signal. However, the processing for increasing the resolution using the coefficient obtained by the learning method to which this embodiment is applied is performed. When performing, it is possible to create a signal having a resolution four times that of an input signal having a normal sampling rate.
次に、第2の実施例として、SN比の改善を行う場合の学習を説明する。一般に、カメラで撮影された映像信号は、伝送系や記録再生系を通ると何らかの雑音が付加され、SN比が劣化する。通常は、カメラ出力を教師信号とし、伝送系や記録再生系を通ってきた信号を入力信号として、SN比を改善するための係数を学習する。この係数を使用してSN改善を行う場合、入力信号に予期できない大きさの雑音が加わった場合には、大幅な改善を望むことはできない。 Next, learning in the case of improving the SN ratio will be described as a second embodiment. Generally, when a video signal photographed by a camera passes through a transmission system or a recording / reproducing system, some noise is added, and the SN ratio is deteriorated. Usually, a coefficient for improving the S / N ratio is learned by using a camera output as a teacher signal and a signal passing through a transmission system or a recording / reproducing system as an input signal. When using this coefficient to improve the SN, if an unexpected amount of noise is added to the input signal, a significant improvement cannot be desired.
そこで、この第2の実施例では、カメラ出力である入力信号に、処理f(x)として、大きさや発生頻度等の特性をコントロールできる乱数を、例えば計算機で発生させ、これを加えることで人工的な雑音で汚れた信号を作り、教師信号と学習することでSN比の改善のための係数を算出する。こうすることで、想定した雑音特性に対する係数の学習を容易に制御することが可能となり、改善効果を上げることができる。なお、従来の伝送系や記録再生系を通ってきた信号とあわせて学習することでSN比の改善効果が大幅に向上することが期待される。 Therefore, in the second embodiment, a random number capable of controlling characteristics such as size and occurrence frequency is generated, for example, by a computer as processing f (x) to an input signal that is a camera output, and added to the artificial signal. A signal contaminated with typical noise is generated, and a coefficient for improving the SN ratio is calculated by learning with a teacher signal. By doing so, it becomes possible to easily control the learning of the coefficient with respect to the assumed noise characteristics, and the improvement effect can be increased. Note that it is expected that the effect of improving the S / N ratio will be greatly improved by learning together with signals that have passed through conventional transmission systems and recording / reproducing systems.
さらに次に、第3の実施例として、圧縮歪みの改善を行う場合の学習を説明する。インターネット等を通じた画像の伝送の場合、通常、画像は、圧縮されて伝送されるため、コンピュータのモニタに再現される画像は、独特な歪みをもったものが多い。また、TV放送においても、非圧縮の画像信号ばかりでなく、MPEG等で圧縮された画像も扱われるようになってきており、圧縮による画像歪みが問題となっている。 Next, learning in the case of improving compression distortion will be described as a third embodiment. In the case of transmitting an image through the Internet or the like, since the image is usually transmitted after being compressed, the image reproduced on the computer monitor often has a unique distortion. Also, in TV broadcasting, not only uncompressed image signals but also images compressed by MPEG or the like have been handled, and image distortion due to compression has become a problem.
この圧縮による画像の歪みは、一般には圧縮方式によって異なる。そこで、この第3の実施例では、入力画像信号に対して、処理f(x)として、想定される種々の圧縮方式の圧縮伸長処理を行ったものと、教師信号である非圧縮の画像信号とを用いて、圧縮歪みの改善のための係数を学習することで、どのような未知の入力信号に対しても、獲得した係数を用いたクラス分類適応処理を行うことで、圧縮の歪みの改善を行うことが可能となる。 The image distortion due to this compression generally differs depending on the compression method. Therefore, in the third embodiment, the input image signal is subjected to compression / decompression processing of various assumed compression methods as the processing f (x), and the uncompressed image signal which is a teacher signal. And learning the coefficient for improving the compression distortion.By performing the class classification adaptive processing using the acquired coefficient for any unknown input signal, the compression distortion can be reduced. Improvements can be made.
また次に、第4の実施例として、輝度補正を行う場合の学習を説明する。図1に示したクラス分類適応処理用の学習装置を輝度補正用に、より具体化したブロック図を図4に示す。21で示す入力端子から供給される画像信号の内、輝度信号YがA/D変換器22によって、アナログ信号からディジタル信号へ変換される。このA/D変換器22では、例えば13.5MHzのクロックでサンプリングが行われた場合、画像のサイズは、1フレームあたり、横720画素×縦480ライン程度となる。ディジタル信号に変換された輝度信号は、A/D変換器22から学習回路23およびゲイン/オフセット回路24へ供給される。
Next, learning for performing luminance correction will be described as a fourth embodiment. FIG. 4 shows a more specific block diagram of the learning device for class classification adaptation processing shown in FIG. 1 for luminance correction. Of the image signal supplied from the
ゲイン/オフセット回路24では、供給された輝度信号のゲインおよび/またはオフセットを変化させる処理が処理f(x)として、実行される。ゲインは、照明の明るさ(コントラスト)に関連し、オフセットは、照明の平均的な明るさに関連したものである。このとき、ゲインは、常に1とならなくても良く、0.9、1.2等の値でも良い。ゲインおよび/またはオフセットの処理がなされた輝度信号は、平均値/標準偏差回路25および遅延回路27へ供給される。
In the gain / offset circuit 24, a process for changing the gain and / or offset of the supplied luminance signal is executed as the process f (x). The gain is related to the brightness (contrast) of the illumination, and the offset is related to the average brightness of the illumination. At this time, the gain does not always have to be 1, and may be 0.9, 1.2, or the like. The luminance signal subjected to the gain and / or offset processing is supplied to the average value /
平均値/標準偏差回路25では、後述するように供給された輝度値の例えば1フィールドまたは1フレーム当りの平均値および標準偏差が求められる。平均値/標準偏差回路25において、輝度値毎の度数分布を求めるためのテーブルを持ち、1フィールド期間または1フレーム期間に乗算した度数分布から、図5に示すように輝度の平均値が算出されると共に、標準偏差も算出される。算出された平均値および標準偏差は、平均値/標準偏差回路25から量子化(Q)回路26へ供給される。輝度の平均値を算出する計算式を式(1)に示し、標準偏差を算出する計算式を式(2)に示す。
In the average value /
平均値=Σ(輝度値×度数)/全度数 (1)
標準偏差=√(Σ((輝度値−平均値)2×度数)/全度数) (2)
ただし、√( )は、( )内の演算結果の平方根とする。
Average value = Σ (luminance value × frequency) / total frequency (1)
Standard deviation = √ (Σ ((luminance value−average value) 2 × frequency) / total frequency) (2)
However, √ () is the square root of the calculation result in ().
量子化回路26では、算出された平均値および標準偏差がそれぞれaビットおよびbビットで量子化されて、トータルnビット(n=a+b)のコードが発生される。このnビットのコードが量子化回路26から縮退ROM32へ供給される。さらに、nビットのコードは、いわゆる輝度分布をパターン化したもので、これを見ることで輝度分布が暗い方か、明るい方かに偏っているかどうか、また、輝度分布が平坦か急峻かを判定することができる。
In the
一方、遅延回路27では、nビットのコードが生成されるまでの時間(1フィールドまたは1フレーム+α)だけ、遅延が行われ、その出力は、ブロック化回路28および30さらに遅延回路33へ供給される。ブロック化回路28では、注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。そのブロック化された画素は、ADRC回路29へ供給される。ADRC回路29では、後述するようにブロック化された画素から最大値および最小値が選択され、各画素が再量子化されmビットのコードが発生され、縮退ROM32へ供給される。このコードは、いわゆる空間の輝度の変化の様子をパターン化したものである。mビットのコードによるクラス分類は、輝度補正そのものより、S/N比の改善、解像度の改善等に効果をもたらす。
On the other hand, in the
ブロック化回路30において、補正しようとする注目画素の周辺の空間内の複数の画素が選択され、ブロック化される。このブロック化回路30において実行されるブロック化と、上述したブロック化回路28において実行されるブロック化とは、異なっても良い。すなわち、ブロック化回路28において選択される画素と、ブロック化回路30において選択される画素とは異なっても何ら問題はない。ブロック化された画素は、ブロック化回路30から平均化回路31へ供給される。平均化回路31では、注目画素付近の輝度の平均値が算出され、算出された平均値は、シフトされ、p(<8)ビットに量子化され、縮退ROM32へ供給される。
In the blocking
このように、ブロック化された各画素の輝度の平均値が算出され、すなわち輝度レベルをクラス分類の1つとすることで、レベル方向での補正の仕方に変化を持たせることができる。例えば、明るい部分や暗い部分のみを補正したり、γ特性を考慮した補正を行うことが可能となる。また、輝度レベルの平均化による作用は、輝度補正が過敏に利くのを防止する役割も果たす。 In this way, the average value of the luminance of each block pixel is calculated, that is, by making the luminance level one of the class classifications, it is possible to change the way of correction in the level direction. For example, it is possible to correct only a bright part and a dark part, or to perform correction in consideration of γ characteristics. In addition, the effect of averaging the luminance level also serves to prevent the luminance correction from being overly sensitive.
以上の説明で、3種類のクラス分類コードが生成されたが、これを単純に組み合わると分類数が膨大になり、後述する係数ROMの容量が膨大になる。そこで、量子化回路26からのnビット、ADRC回路29からのmビットおよび平均化回路31からのpビットは、縮退ROM32において、供給された各ビット数を縮退させる。具体的には、縮退ROM32では、クラスを縮退させるために、(n+m+p)ビットからqビットに減少させたクラスコード(インデックス)が発生される。このように、縮退ROM32から最終的にqビットのクラスコードが発生し、そのqビットのクラスコードは、学習回路23へ供給される。
In the above description, three types of class classification codes have been generated. If these are simply combined, the number of classifications becomes enormous, and the capacity of a coefficient ROM (to be described later) becomes enormous. Therefore, the n bits from the
なお、縮退の方法について、ここでは詳細を述べないが、(n+m+p)ビットで学習した全クラスに対応する係数組から、ベクトル量子化的手法として、係数間ノルムの小さいものをまとめて縮退させる方法等を使用するものとする。すなわち、2つの係数組の間で、対応する係数の距離(係数間ノルム)を求め、これに基づいて、係数の組をまとめる。 Although the details of the degeneration method will not be described here, a method for collectively reducing a coefficient having a small norm as a vector quantization method from coefficient sets corresponding to all classes learned with (n + m + p) bits. Etc. shall be used. That is, the distance between the corresponding coefficients (the norm between coefficients) is obtained between the two coefficient sets, and the coefficient sets are collected based on the distance.
遅延合わせが行われる遅延回路33の出力がブロック化回路34へ供給され、そのブロック化回路34では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、学習回路23へ供給される。
The output of the
そして、上述したように、A/D変換器22からの教師用の画像信号が学習回路23に供給される。学習回路23では、nタップの線形一時結合モデルを形成し、その各係数を学習回路23で算出する。算出された各係数は、出力端子35から取り出され、係数ROMへ格納される。また、学習回路23は、後述する最小自乗法誤差規範にてクラス毎に係数を学習するものである。学習により得られた係数は、出力端子35を介して出力され、メモリ等の記憶媒体にクラス毎に格納される。
Then, as described above, the teacher image signal from the A /
ここで、平均値/標準偏差回路25の一例を図6に示し説明する。入力端子41から輝度値が供給される。供給された輝度値は、輝度度数分布テーブル42へ供給され、輝度度数分布テーブル42において、例えば1フィールドまたは1フレーム内の輝度レベルの度数分布のテーブルが生成される。生成されたテーブルに基づいて、平均値算出回路43では、平均値が式(1)により算出され、算出された平均値は、標準偏差算出回路44へ供給されると共に、出力端子45から取り出される。標準偏差算出回路44では、度数分布のテーブルと平均値から標準偏差が式(2)により算出され、算出された標準偏差は、出力端子46から取り出される。取り出された標準偏差が小さいときは、度数分布の幅は狭く、標準偏差が大きいときは、度数分布の幅は広くなる。
Here, an example of the average value /
ここで、ADRC回路29の構成の一例を図7に示し説明する。入力端子51からブロック化されたデータが供給される。供給されたデータは、最大値検出回路52、最小値検出回路53および遅延回路54へ供給される。最大値検出回路52において、ブロック内の画素値の最大となる値が検出され、最小値検出回路53において、ブロック内の画素値の最小となる値が検出される。減算器55では、最大値から最小値が減算され、そのブロックのダイナミックレンジDRが算出される。算出されたダイナミックレンジDRは、適応再量子化回路57へ供給される。
An example of the configuration of the
遅延回路54では、最大値検出回路52および最小値検出回路53がそれぞれ検出にかかる時間遅延が行われ、1画素ずつ出力される。減算器56では、ブロック化された各画素から最小値が減算され、その減算値は、適応再量子化回路57へ供給される。適応再量子化回路57では、ダイナミックレンジDRに応じた所定の量子化ステップ幅を用いて、減算値の量子化を画素毎に行う。並列化回路58では、量子化された画素がブロック単位で並列化され、出力端子59からコード化データとして出力される。
In the delay circuit 54, each of the maximum
学習の方法として、多数の補正対象用の入力信号の画素の値と教師用の画像信号の画素の値との関係を求める最小自乗法を採用する。まず、上述した値の間に線形1次結合の関係があると仮定し、以下に線形一次結合モデルを示す。 As a learning method, a least square method for obtaining a relationship between pixel values of a large number of input signals for correction and pixel values of a teacher image signal is employed. First, it is assumed that there is a linear linear coupling relationship between the above-described values, and a linear linear coupling model is shown below.
線形一次結合モデル:(観測方程式)
XW=Y (3)
XW = Y (3)
最小自乗法による解法:(残差方程式)
式(5)から、各wiの最確値を見いだすには、
正確には、式(9)でwiにかかる
次に、最小自乗法の演算を行うハードウェアのブロック図を図8に示す。図4の学習のブロック図において、補正対象の画素を中心とするブロックの画素値x1〜xNと、その画素に対応する教師用の画素値yが入力されると共に、クラスコード(インデックス)が入力される。最小自乗法の回路は、大きく分けて正規方程式生成回路61とCPU62からなり、その正規方程式生成回路61は、乗算器アレイ63、加算メモリ64およびデコード部65からなる。CPU62は、係数を求めるため、例えば掃き出し法の演算を行うCPUからなる。乗算器アレイ63には、注目画素位置に対して1組のメモリ(またはレジスタ)が存在し、加算メモリ64には、クラスの数だけ組のメモリ(またはレジスタ)が存在する。また、デコード部65では、供給されるクラスコード(インデックス)がデコードされる。
Next, FIG. 8 shows a block diagram of hardware that performs the operation of the method of least squares. In the learning block diagram of FIG. 4, pixel values x 1 to x N of a block centering on a pixel to be corrected and a teacher pixel value y corresponding to the pixel are input, and a class code (index) is input. Is entered. The circuit of the least square method is roughly divided into a normal
ここで、乗算器アレイ63について、図9を用いて説明する。補正対象の画素を中心としてブロックの画素値と対応する教師用の画素値yは、正規方程式生成回路61の乗算器アレイ63において、図中に示すように各要素どうしの乗算が行われ、その結果が加算メモリ64へ供給される。
Here, the
そして、加算メモリ64は、図10に示すように加算器アレイ71およびメモリ(またはレジスタ)アレイ721〜72Nから構成される。加算器アレイ71には、乗算器アレイ63からの結果とメモリ(またはレジスタ)アレイ721〜72Nからの出力が供給される。その加算結果は、加算器アレイ71からメモリ(またはレジスタ)アレイ721〜72Nに出力される。このとき、どのメモリ(またはレジスタ)アレイ721〜72Nが選択されるかは、デコード部65に供給されたクラスコード(インデックス)がデコードされることで一意に決定される。つまり、インデックスによって決定されるクラス毎にメモリ(またはレジスタ)アレイ72が選択される。この選択されたメモリ(またはレジスタ)アレイ72には、積和演算の結果が更新され、記憶される。
As shown in FIG. 10, the
なお、各々のアレイの位置は、正規方程式(9)のwiにかかる
以上のようにして、ある一定期間の間にクラス毎に積和演算が行われて画素位置毎のさらにクラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果は、それぞれのクラスに対応するメモリ(またはレジスタ)アレイに記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法の計算回路に供給される。この計算はCPU62によって行われる。計算された係数の組は、係数ROMで構成される係数テーブルに書き込まれて使用される。
As described above, the product-sum operation is performed for each class during a certain period, and a normal equation for each class for each pixel position is generated. The result of each term of the normal equation for each class is stored in the memory (or register) array corresponding to each class, and then each term of the normal equation for each class is supplied to the calculation circuit of the sweep method. Is done. This calculation is performed by the
次に、上述した学習により獲得された係数を用いて、画像信号の解像度の向上も可能な輝度補正回路を図11を用いて説明する。なお、この一例を説明するにあたり、上述の第4の実施例と同一の部分には同一符号を付し、その説明は、省略する。 Next, a luminance correction circuit capable of improving the resolution of an image signal using the coefficient acquired by the learning described above will be described with reference to FIG. In the description of this example, the same reference numerals are given to the same portions as those in the fourth embodiment, and the description thereof is omitted.
入力端子81から供給された輝度信号Yは、A/D変換器82へ供給され、A/D変換器82では、例えば13.5MHzでサンプリングされ、ディジタル化された信号は、平均値/標準偏差回路25および遅延回路27へ出力される。縮退ROM32では、量子化回路26からのnビットのコードと、ADRC回路29からのmビットのコードと、平均化回路31からのpビットのコードに対して縮退させ、qビットのクラスコード(インデックス)が係数ROM83へ供給される。係数ROM831〜83Nでは、供給されたクラスコードでアドレッシングされ、係数w1〜wNが読み出される。読み出された係数w1〜wNは、それぞれ乗算器841〜84Nへ供給される。
The luminance signal Y supplied from the input terminal 81 is supplied to the A / D converter 82. The A / D converter 82 samples, for example, 13.5 MHz, and the digitized signal has an average value / standard deviation. It is output to the
ブロック化回路34では、注目画素の周辺の複数の画素がブロック化される。ブロック化された各画素値は、乗算器841〜84Nへ供給される。乗算器841〜84Nでは、係数ROM831〜83Nからの係数w1〜wNと、ブロック化された各画素値が乗算され、その乗算値は、加算器85へ供給される。加算器85では、乗算器841〜84Nからの乗算値が加算される。すなわち、乗算器841〜84Nおよび加算器85において、積和演算することで、輝度補正値の予測が行われる。その予測値は、D/A変換器86において、D/A変換され、補正後の輝度値Y´として出力端子87から取り出される。
In the blocking
係数ROM831〜83Nから読み出される係数w1〜wNは、上述した学習時にサンプリングレートが6.75MHzの信号LPF−LSと27.0FMHzの映像信号とによって、得られた係数である。予測値を生成するときに、この係数を使用することによって、13.5MHzのサンプリングレートの輝度信号Yは、4倍の高い54.0MHzのサンプリングレートの輝度信号Y´を生成することができる。
Coefficients w 1 to w N to be read from the
この実施例では、すべてハードウェアで実現する方法を記載したが、ディジタル化されたデータを計算機に取り込むことでソフトウェアで計算しても良い。 In this embodiment, a method for realizing all the hardware is described. However, the digitized data may be calculated by software by taking it into a computer.
また、この実施例では、解像度、S/N比、圧縮歪みおよび輝度値の改善のための係数を求める学習を行うときに、入力信号に対して施す処理f(x)を別々に行っているが、これらの処理の2つ以上を組み合わせても良い。例えば、ゲインおよび/またはオフセットの後、LPF処理を入力信号に対して施すことで、得られた係数は、解像度および輝度値のさらなる改善に使用できるものとなる。 Further, in this embodiment, when learning for obtaining coefficients for improving resolution, S / N ratio, compression distortion, and luminance value, processing f (x) to be performed on the input signal is performed separately. However, two or more of these processes may be combined. For example, after gain and / or offset, LPF processing is performed on the input signal so that the resulting coefficients can be used to further improve resolution and brightness values.
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications are possible without departing from the spirit of the present invention.
3・・・処理回路
4、6・・・スイッチ
5・・・クラス生成回路
7・・・学習回路
DESCRIPTION OF
Claims (4)
上記第1のサンプリング周波数の情報信号に対して低画質化処理を施し、上記第1のサンプリング周波数よりも低い第3のサンプリング周波数の情報信号から第1のクラス情報を生成する第1のクラス生成手段と、
上記各第1のクラス情報に対して、上記第3のサンプリング周波数の情報信号と、上記第1のサンプリング周波数より高く且つ上記第2のサンプリング周波数より低い第4のサンプリング周波数の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算手段と、
上記係数演算手段で求められた係数が記憶された記憶手段と、
上記入力情報信号から第2のクラス情報を生成する第2のクラス生成手段と、
上記第2のクラス情報に応答して上記係数が上記記憶手段から読み出され、上記入力情報信号との演算処理によって上記出力情報信号に変換する演算手段と
を有することを特徴とする情報信号変換装置。 An input information signal, the information signal converter for converting the first output information signal of the second sampling frequency has higher than the sampling frequency of the input information signal,
First class that generates the applied low quality process on the first sampling frequency of the information signal, the first class information from the first third of the sampling frequency of the information signal have lower than the sampling frequency Generating means;
The respective first class information, and the information signal of the third sampling frequency, the first information signal of the fourth sampling frequencies have lower than the high rather and said second sampling frequency than the sampling frequency and Coefficient calculating means for obtaining a coefficient by learning based on the least square error criterion in advance,
Storage means for storing the coefficient obtained by the coefficient calculation means;
Second class generating means for generating second class information from the input information signal;
An information signal conversion comprising: an arithmetic means for reading the coefficient from the storage means in response to the second class information and converting the coefficient into the output information signal by arithmetic processing with the input information signal apparatus.
上記第1のサンプリング周波数よりも高く且つ上記第2のサンプリング周波数よりも低いサンプリング周波数の第4のサンプリング周波数の情報信号が入力される入力手段と
を有することを特徴とする請求項1に記載の情報信号変換装置。 Furthermore, a processing means for generating said performing low-quality processing with respect to the first sampling frequency of the information signal, the first information signal of the third sampling frequency have lower than the sampling frequency,
To claim 1, characterized in that it comprises an input means for information signals of the fourth sampling frequency of the low There sampling frequency is input than high rather and said second sampling frequency than the first sampling frequency The information signal converter described.
上記第1のサンプリング周波数の情報信号に対して低画質化処理を施し、上記第1のサンプリング周波数よりも低い第3のサンプリング周波数の情報信号から第1のクラス情報を生成する第1のクラス生成ステップと、
上記各第1のクラス情報に対して、上記第3のサンプリング周波数の情報信号と、上記第1のサンプリング周波数より高く且つ上記第2のサンプリング周波数より低い第4のサンプリング周波数の情報信号との間で、予め最小自乗誤差規範に基づく学習により係数を求める係数演算ステップと、
上記係数演算ステップで求められた係数を記憶手段に記憶する記憶ステップと、
上記入力情報信号から第2のクラス情報を生成する第2のクラス生成ステップと、
上記第2のクラス情報に応答して上記係数が上記記憶手段から読み出され、上記入力情報信号との演算処理によって上記出力情報信号に変換する演算ステップと
を有することを特徴とする情報信号変換方法。 An input information signal, the information signal conversion method for converting a first output information signal of the second sampling frequency has higher than the sampling frequency of the input information signal,
First class that generates the applied low quality process on the first sampling frequency of the information signal, the first class information from the first third of the sampling frequency of the information signal have lower than the sampling frequency Generation step;
The respective first class information, and the information signal of the third sampling frequency, the first information signal of the fourth sampling frequencies have lower than the high rather and said second sampling frequency than the sampling frequency and A coefficient calculation step for obtaining a coefficient by learning based on a least square error criterion in advance,
A storage step for storing in the storage means the coefficient obtained in the coefficient calculation step;
A second class generation step of generating second class information from the input information signal;
An information signal conversion comprising: a calculation step of reading the coefficient from the storage means in response to the second class information and converting the coefficient into the output information signal by a calculation process with the input information signal Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005240342A JP4482502B2 (en) | 2005-08-22 | 2005-08-22 | Information signal conversion apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005240342A JP4482502B2 (en) | 2005-08-22 | 2005-08-22 | Information signal conversion apparatus and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8186720A Division JPH1011583A (en) | 1996-06-27 | 1996-06-27 | Class classification adaptation processor and learning device/method for class classification adaptation processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005353100A JP2005353100A (en) | 2005-12-22 |
JP4482502B2 true JP4482502B2 (en) | 2010-06-16 |
Family
ID=35587471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005240342A Expired - Fee Related JP4482502B2 (en) | 2005-08-22 | 2005-08-22 | Information signal conversion apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4482502B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348840A (en) * | 1993-06-03 | 1994-12-22 | Konica Corp | Picture restoring method |
JP3486975B2 (en) * | 1993-08-27 | 2004-01-13 | ソニー株式会社 | Noise reduction apparatus and method |
JP3557626B2 (en) * | 1993-08-27 | 2004-08-25 | ソニー株式会社 | Image restoration apparatus and method |
JP3671437B2 (en) * | 1994-08-04 | 2005-07-13 | ソニー株式会社 | Digital image signal processing apparatus and processing method |
JP3781203B2 (en) * | 1994-11-28 | 2006-05-31 | ソニー株式会社 | Image signal interpolation apparatus and image signal interpolation method |
JPH1011583A (en) * | 1996-06-27 | 1998-01-16 | Sony Corp | Class classification adaptation processor and learning device/method for class classification adaptation processing |
-
2005
- 2005-08-22 JP JP2005240342A patent/JP4482502B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005353100A (en) | 2005-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7724307B2 (en) | Method and system for noise reduction in digital video | |
US20130071045A1 (en) | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program | |
JP4126709B2 (en) | Image processing apparatus and image processing method | |
KR980013425A (en) | An image coding and decoding apparatus, and a hierarchical coding and decoding method (image coding and decoding using mapping coefficients cor responding to class information of pixel blocks) | |
US7755701B2 (en) | Image processing apparatus, image processing method, and program | |
US20070268400A1 (en) | Image processing apparatus, image processing method, and program | |
US20070116383A1 (en) | Spatial signal conversion | |
JPH1011583A (en) | Class classification adaptation processor and learning device/method for class classification adaptation processing | |
KR100574732B1 (en) | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium | |
KR100816593B1 (en) | Image processing system, image processing method, and recording medium | |
JP4353294B2 (en) | Information signal conversion apparatus and method | |
JP4482502B2 (en) | Information signal conversion apparatus and method | |
JP3362463B2 (en) | Frame interpolation device | |
JP4092830B2 (en) | Image data compression method | |
JP3844030B2 (en) | Image signal encoding apparatus, image signal encoding method, image signal decoding apparatus, and image signal decoding method | |
JP3758228B2 (en) | Learning method and learning apparatus in adaptive classification processing | |
JP3791029B2 (en) | Image signal processing apparatus and method | |
CA2140568C (en) | Reduced bit number motion vector detection | |
JP3693187B2 (en) | Signal conversion apparatus and signal conversion method | |
JP4240322B2 (en) | Coefficient generation apparatus and coefficient generation method | |
JP3695006B2 (en) | Signal processing apparatus and method | |
JP4062329B2 (en) | Signal processing apparatus and method | |
JP2001285882A (en) | Device and method for reducing noise | |
JP4062326B2 (en) | Coefficient generation apparatus and method | |
JP2006141046A (en) | Image processing apparatus, image processing method, learning apparatus and learning method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081121 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081201 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100319 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |