JP3480015B2 - Generator and method of generating image data - Google Patents

Generator and method of generating image data

Info

Publication number
JP3480015B2
JP3480015B2 JP31734993A JP31734993A JP3480015B2 JP 3480015 B2 JP3480015 B2 JP 3480015B2 JP 31734993 A JP31734993 A JP 31734993A JP 31734993 A JP31734993 A JP 31734993A JP 3480015 B2 JP3480015 B2 JP 3480015B2
Authority
JP
Japan
Prior art keywords
generating
target pixel
data
pixel
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31734993A
Other languages
Japanese (ja)
Other versions
JPH07147670A (en
Inventor
邦雄 川口
哲二郎 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP31734993A priority Critical patent/JP3480015B2/en
Publication of JPH07147670A publication Critical patent/JPH07147670A/en
Application granted granted Critical
Publication of JP3480015B2 publication Critical patent/JP3480015B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】この発明は、例えば飛び越し走査において抜けている水平走査線を補間する走査線補間装置に適用することができる画像データの生成装置 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention is your apparatus for generating image data that can be applied to the scanning line interpolation apparatus which interpolates the horizontal scanning lines are missing in example interlaced scanning
よび生成方法に関する。 Preliminary relates to the production method. 【0002】 【従来の技術】現行の標準的テレビジョン信号(例えばNTSC方式)は、飛び越し走査のために、ラインフリッカ等の問題があった。 [0002] The current standard television signal (e.g., NTSC system), for the interlaced scanning, there is a problem such as a line flicker. この問題を解決するために、受像機側で抜けた走査線を補間し、順次走査のテレビジョン信号へ変換する走査線補間装置が既に提案されている。 To solve this problem, by interpolating the scanning lines missing in the receiver side, sequentially scanning line interpolation apparatus for converting the scanning of the television signal has already been proposed. 図5は、従来の動き適応形走査線補間装置の一例である。 Figure 5 is an example of a conventional motion adaptive scanning line interpolation apparatus. 【0003】21で示す入力端子には、例えば13.5 [0003] The input terminal shown at 21, for example, 13.5
MHzの周波数でサンプリングされ、1サンプル(1画素)が8ビットに量子化された、飛び越し走査のディジタルビデオ信号が供給される。 Sampled at MHz frequencies, one sample (one pixel) is quantized to 8 bits, the digital video signal of interlaced scanning is supplied. この入力信号がフィールド内補間回路22、フィールド間補間回路23および動き検出回路24にそれぞれ供給される。 The input signal is the intra-field interpolation circuit 22, it is supplied to the inter-field interpolation circuit 23 and the motion detecting circuit 24. フィールド内補間回路22は、同じフィールドの信号により補間を行う。 Field interpolation circuit 22 performs interpolation by a signal of the same field. 例えば上下の走査線にそれぞれ位置する2サンプルの平均値が補間値とされる。 For example, the average value of the two samples respectively positioned above and below the scan line is the interpolated value. フィールド間補間回路23 Inter-field interpolation circuit 23
は、時間的に前フィールドの補間走査線と同一位置の走査線上で、補間画素と同一位置の画素で補間する回路である。 Is a scanning line of the same position as the interpolation scanning line of the temporally previous field, a circuit for interpolating pixels at the same position as the interpolation pixel. 【0004】動き検出回路24は、画素毎の動き量を検出する。 [0004] motion detecting circuit 24 detects the motion amount of each pixel. 動き検出回路24は、動き係数kおよび1−k Motion detecting circuit 24, a motion coefficient k and 1-k
を発生する。 The occur. 動き係数kは、静止画素の場合に(k= Motion coefficient k, in the case of stationary pixels (k =
1)となり、動き量が大きいほど、小となる係数である。 1), and the larger the motion amount is a coefficient which becomes smaller. 【0005】フィールド内補間回路22の出力信号が乗算回路25に供給され、フィールド間補間回路23の出力信号が乗算回路26に供給される。 [0005] The output signal of the intra-field interpolation circuit 22 is supplied to the multiplying circuit 25, the output signal of the inter-field interpolation circuit 23 is supplied to the multiplier circuit 26. 乗算回路25によって1−kの係数が乗じられ、乗算回路26によってk Coefficient 1-k by the multiplication circuit 25 is multiplied, k by the multiplication circuit 26
の係数が乗じられる。 Coefficient of is multiplied by. これらの乗算回路25および26 These multiplier circuits 25 and 26
のそれぞれの出力信号が加算回路27に供給され、加算回路27から補間回路22および23の出力信号が混合された補間出力信号が発生する。 Each of the output signals are supplied to the adding circuit 27, interpolated output signal the output signal is mixed interpolators 22 and 23 are generated from the adder circuit 27. 【0006】 【発明が解決しようとする課題】従来の補間回路は、動き量から想定される画像信号の特性に応じて経験的に定められた動き量に応じた重み付けによって、フィールド内補間信号とフィールド間補間信号とを混合するものである。 [0006] The present invention is to provide a conventional interpolation circuit, by weighting according to the empirically determined amount of motion in accordance with the characteristics of the image signal which is assumed from the motion amount, field interpolation signal and it is intended to mix the inter-field interpolation signal. しかしながら、想定された画像信号特性と、実際の画像信号の特性とが異なっている場合には、良好な補間ができないのみならず、出力信号に残像などの劣化が生じたりする問題があった。 However, the image signal characteristic is assumed, in the case where different from a characteristic of the actual image signal not only can not satisfactory interpolation, deterioration such as residual image there is a problem that or cause the output signal. さらに、フィールド内補間およびフィールド間補間を用いているときには、補間装置の能力が充分でなく、飛び越し走査から順次走査への変換による画質の改善度が不十分であった。 Furthermore, when using a field interpolation and inter-field interpolation, the ability of the interpolation device is insufficient, improvement in image quality due to the conversion to progressive scanning from interlaced scanning is insufficient. 【0007】従って、この発明の目的は、出力信号に劣化を生じることなく、良好な補間画質を得ることができる画像データの生成装置および生成方法を提供することにある。 Accordingly, it is an object of this invention, without causing degradation in the output signal is to provide a generator and method of generating image data that it is possible to obtain a good interpolation quality. 【0008】 【課題を解決するための手段】請求項1の発明は、入力画像信号中に存在しない画素データを生成する画像データの生成装置において、入力画像信号に基づいて、 生成 [0008] According to an aspect of the invention of claim 1, in the production apparatus of the image data to generate pixel data that does not exist in the input image signal, based on an input image signal, generating
対象である注目画素位置での動き量を検出するための動き量検出手段と、 検出された動き量および、注目画素位 A motion amount detecting means for detecting the movement amount at the target pixel position is subject, it detected motion amount and the target pixel position
置と空間的および/または時間的に近傍の複数の参照画 Location and spatial and / or temporal plurality of reference image in the vicinity
素のレベル分布のパターンに応じたクラスコードを発生 Generating a class code corresponding to the level distribution pattern of the element
するクラスコード発生手段と、 学習時に対象画素位置で A class code generating means for, in a target pixel position during training
の動き量を求め、対象画素位置での動き量および、対象 Movement amount calculated, the motion amount of the target pixel position and the target
画素の空間的および/または時間的に近傍の複数の参照 Spatial and / or temporal plurality of reference neighboring pixel
画素のレベル分布のパターンに応じたクラスを作成し、 Create a class corresponding to the pattern of the level distribution of pixels,
クラス毎に学習することで予め求められた予測係数を、 The prediction coefficient obtained in advance by learning for each class,
クラス毎に記憶し、クラスコードに対応するクラスに格 Storing for each class, rank the class corresponding to the class code
納された予測係数を出力する係数記憶手段と、係数記憶手段からの予測係数と注目画素位置と空間的および/ま And engaging count storage means you outputs paid prediction coefficients, the target pixel position and the spatial and prediction coefficients from the coefficient storage unit and / or
たは時間的に近傍の複数の周辺画素データとの演算によって、 注目画素位置の画素データを生成するための画素データ生成手段とを有することを特徴とする画像データの生成装置である。 The operation of the other and the plurality of peripheral pixel data in the vicinity in time, an apparatus for generating image data; and a pixel data generation means for generating pixel data of the pixel of interest position. 【0009】 【作用】予め学習によって、動き量毎に最適な補間値を生成するための予測係数が決定され、これがメモリに格納されている。 [0009] by [action] advance learning, prediction coefficients to produce an optimum interpolated value for each motion amount is determined, which is stored in the memory. 実際の入力画像データの動き量が検出され、この動き量と対応する動き量がメモリから読出され、読出し係数と補間対象画素の空間的および時間的に近傍の画素データとの線形1次結合によって、補間値が生成される。 Is detected actual movement amount of the input image data, the motion amount corresponding to the motion amount is read from the memory, the linear combination of the read coefficient and spatially and temporally neighboring pixel data of the interpolation target pixel , the interpolation value is generated. 【0010】 【実施例】以下、この発明を走査線補間装置に対して適用した一実施例について説明する。 [0010] BRIEF DESCRIPTION An embodiment of applying the present invention to the scanning line interpolation apparatus. 図1において、1 In Figure 1, 1
は、飛び越し走査のディジタルビデオ信号の入力端子である。 Is an input terminal of the digital video signal of interlaced scanning. 具体的には、放送などによる伝送、VTR等からの再生信号が入力端子1に供給される。 Specifically, transmission by a broadcast, the reproduced signal from the VTR or the like is supplied to the input terminal 1. 2は、入力信号をブロック構造の信号に変換するための時系列変換回路である。 2 is a stream conversion circuit when for converting an input signal into a signal of a block structure. 【0011】時系列変換回路2の出力信号が補間演算回路3および動き検出回路5に供給される。 [0011] The output signal of the time series conversion circuit 2 is supplied to the interpolation computation circuit 3 and the motion detection circuit 5. 補間演算回路3には、後述のように予め学習により獲得された予測係数が格納されているメモリ4a、4bが接続されている。 The interpolation calculation circuit 3, a memory 4a of prediction coefficients obtained by learning in advance as described later are stored, 4b are connected. この予測係数は、飛び越された水平走査線上の補間値を正確に推定するための係数である。 The prediction coefficient is a coefficient for accurately estimating the interpolated value of the skipped horizontal scanning line. 【0012】動き検出回路5は、後述のように、例えばブロック毎のフレーム間差分の絶対値和から動き量を検出する。 [0012] Motion detection circuit 5, as described below, to detect the motion amount for example from the absolute value sum of interframe difference for each block. フレーム間差分は、現フレームと時間的に前フレームの間で、同一位置の画素データを減算することによって求められる。 Inter-frame difference is between the current frame and the temporally previous frame is determined by subtracting the pixel data of the same position. このフレーム間差分を絶対値へ変換し、1ブロックについて集計した和を所定のしきい値と比較することによって、現フレームの注目画素が動き画素か、あるいは静止画素かの判定を行う。 Converts the inter-frame difference into an absolute value, carried out by comparing the sums obtained by aggregating the one block to a predetermined threshold, whether the pixel motion target pixel of the current frame, or whether the still pixel determination. 【0013】動き検出回路5の出力信号がクラスコード発生回路6a、6bに供給される。 [0013] The output signal of the motion detection circuit 5 is the class code generation circuit 6a, is provided to 6b. 補間の対象である、 Is an interpolation of the target,
注目画素の近傍の複数画素のレベル分布のパターン、すなわち、クラスがクラスコード発生回路6a、6bによって決定される。 Level distribution pattern of the plurality of pixels adjacent to the pixel of interest, i.e., class class code generation circuit 6a, is determined by 6b. このクラスを指示するクラスコードが形成される。 Class code indicating the class is formed. 【0014】クラスコードがメモリ4a、4bにそれぞれアドレスとして供給され、そのクラスと対応する予測係数がメモリ4a、4bからそれぞれ読出される。 [0014] The class code is supplied as an address each memory 4a, the 4b, prediction coefficients corresponding to the class is read from each memory 4a, 4b. メモリ4a、4bは、別個のメモリに限らず、一つのメモリのメモリ領域を分割し、動き/静止の判定結果によって、メモリ領域を選択する構成としても良い。 Memory 4a, 4b is not limited to a separate memory, dividing the memory area of ​​one memory by a motion / still determination result may be configured to select the memory area. 予測係数が補間演算回路3に供給され、注目画素の補間値が形成される。 Prediction coefficients are supplied to the interpolation operation circuit 3, the interpolation value of the pixel of interest is formed. 補間演算回路3から出力端子7に飛び越された走査線上の画素の補間値が出力される。 Interpolated value of the pixel on a scanning line that was skipped in the output terminal 7 from the interpolation calculation circuit 3 is output. 存在している走査線のデータ(入力データ)と補間走査線のデータとは、図示しないがフレームメモリによって合成することができる。 The existing set of scan lines of data (input data) and interpolation scanning line data, not shown can be synthesized by a frame memory. 【0015】図2は、クラス分類と補間演算を説明するためのもので、現フィールド(n番目フィールド)と前フィールド((n−1)フィールド)のそれぞれの一部を示している。 [0015] Figure 2 is for explaining a classification and interpolation calculation shows the respective portion of the current field (n-th field) and the previous field ((n-1) field). 現フィールドの走査線LnとLn+2 の間の存在しない走査線Ln+1 上の画素の値yをを生成する場合、図示されている複数の画素の値を使用してレベル分布と対応するクラス分類および補間演算がなされる。 When generating the value y of the nonexistent pixels on the scanning line Ln + 1 between the scanning lines Ln and Ln + 2 of the current field corresponds to the level distribution using the values ​​of a plurality of pixels being shown classification and interpolation operation is performed. 【0016】一例として、現フィールド内の補間走査線上に位置し、補間画素の上下にそれぞれ位置する二つの画素の値x 2 、x 5と、画素x 2の両側の画素の値x 1 、x 3と、画素x 5の両側の画素の値x 4 、x [0016] As an example, located in the interpolation scan line in the current field, the value x 2, x 5 two pixels positioned above and below the interpolated pixel, the value x 1 of the both sides of the pixel of the pixel x 2, x 3, both sides of the pixel values x 4 pixels x 5, x
6と、前フィールド内の走査線Ln+1上に位置し、注目画素と同一位置の画素の値x 8と、その両側の画素の値x 7 、x 9とが使用される。 6, located on the scanning line Ln + 1 in the previous field, the value x 8 pixels of the target pixel at the same position, the value x 7, x 9 on both sides of the pixel are used. 注目画素の補間値yは、予測係数をw 1 〜w 9で表すと、補間演算回路3によって、下記の線形1次結合によって生成される。 Interpolated value y of the pixel of interest, expressed a prediction coefficient w 1 to w 9, the interpolation calculation circuit 3, is generated by linear combination of the following. 【0017】y=w 11 +w 22 +w 33 +w 4 [0017] y = w 1 x 1 + w 2 x 2 + w 3 x 3 + w 4
4 +w 55 +w 66 +w 77 +w 88 +w 9 x 4 + w 5 x 5 + w 6 x 6 + w 7 x 7 + w 8 x 8 + w 9
9 (1) 【0018】このような補間処理は、動き検出回路5によって判定された結果に応答して、動き画素および静止画素のそれぞれについてなされる。 x 9 (1) [0018] Such interpolation processing in response to results determined by the motion detection circuit 5 is done for each of the motion pixels and the stationary pixel. また、クラスコード発生回路6a、6bにおいて、レベル分布のパターンは、例えば補間演算に使用されるものと同一の9画素を参照して検出される。 Further, the class code generation circuit 6a, in 6b, the pattern of the level distribution is detected with reference to the same nine pixels as those for example used in the interpolation calculation. ここでは、クラス分類のために参照される画素と補間演算に使用する画素とが同一とされているが、必ずしもその必要はない。 Here, the pixels used for pixel and interpolation operation which is referred to for the classification is the same, but need not. 各画素の値が8ビットの場合には、クラス数が非常に多くなり、メモリの容量の増大等、ハードウエアの規模が大きくなるので、 When the value of each pixel is 8 bits, the number of classes becomes extremely large, such as increase of the capacity of the memory, the hardware scale becomes large,
これらの画素のビット数が圧縮される。 The number of bits of these pixels are compressed. 【0019】一例として、ADRC(Adaptive Dynamic [0019] As an example, ADRC (Adaptive Dynamic
Range Coding)によって参照される画素の値が圧縮される。 Value of the pixel to be referenced is compressed by the Range Coding). ADRCは、画像の局所的な相関を利用してレベル方向の冗長度を適応的に除去するものである。 ADRC is a local level direction of redundancy by utilizing the correlation of the image which adaptively removed. すなわち、8ビットの原データの持つ0〜255のダイナミックレンジの中で、空間的および時間的に近傍の複数画素からなるブロック毎に再量子化するのに必要なブロック内ダイナミックレンジが大幅に小さくなることに注目して、各画素の量子化ビット数を元の8ビットより大幅に低減する。 That is, in the 0 to 255 dynamic range with the 8 bits of the original data, is significantly smaller blocks within the dynamic range required to re-quantized for each block comprising a plurality of pixels spatially and temporally neighboring Observe that becomes significantly reduces than the original 8-bit quantization bit number of each pixel. 【0020】より具体的には、1ビットADRCを使用できる。 [0020] More specifically, a 1-bit ADRC may be used. すなわち、上述の参照画素x 1 〜x 9からなるブロックの最大値および最小値が検出され、最大値および最小値の差であるダイナミックレンジが検出され、参照画素の値がダイナミックレンジで割算され、その商が0.5と比較され、0.5以上のものが`1' 、それより小さいものが`0' に符号化される。 That is, the detected maximum and minimum values of the blocks of reference pixels x 1 ~x 9 described above, the dynamic range is the difference between the maximum value and the minimum value is detected, the value of the reference pixels are divided by the dynamic range , the quotient is compared with 0.5, 0.5 or more of the `1 ', smaller than the` 0' are encoded. 従って、9ビットのクラスコードが発生する。 Thus, 9-bit class code is generated. 1ビット以外のビット数の出力を発生するADRCを採用しても良い。 It may be employed ADRC to generate an output number of bits other than one bit. 【0021】ADRCに限らず、DPCM(Differentia [0021] The present invention is not limited to the ADRC, DPCM (Differentia
l pulse code modulation)、BTC(Block Trancation l pulse code modulation), BTC (Block Trancation
Coding) 、VQ(ベクトル量子化)等の圧縮符号化のエンコーダをクラスコード発生回路6a、6bとして使用することができる。 Coding), VQ (can be used encoder compression encoding such as vector quantization) class code generation circuit 6a, a 6b. また、参照画素を同一のビット数のデータに変換しているが、注目画素と参照画素との間の距離を考慮して、割り当てビット数を異ならせても良い。 Although the reference pixel is converted into the same number of bits of data, taking into account the distance between the reference pixel and the pixel of interest, it may be different number of allocated bits. すなわち、注目画素により近い参照画素の割り当てビット数がそれが遠いもののビット数より多くされる。 That is, the number of allocated bits of the reference pixel closer to the pixel of interest is more than the number of bits it is far ones. 【0022】図3を参照して、動き検出の一例について述べる。 [0022] With reference to FIG. 3, described an example of the motion detection. n番目のフレームは、図2のn番目のフィールドおよび(n−1)番目のフィールドからなる。 n-th frame consists of n-th field and the (n-1) th field in Fig. 動き検出回路5では、現フレーム(n番目のフレーム)内の上述の9画素(x 1 〜x 9 )からなる1ブロックと、前フレーム((n−1)フレーム)内の同一位置の9画素(x 1 ´〜x 9 ´)からなる1ブロックとの間でフレーム差分の絶対値和ΣΔFが求められる。 The motion detection circuit 5, 9 pixels at the same position in the one block formed from the above nine pixels in the current frame (n th frame) (x 1 ~x 9), the previous frame ((n-1) frame) absolute value sum ΣΔF frame difference is calculated between one block consisting of (x 1'~x 9 '). すなわち、 ΣΔF=|x 1 −x 1 ´|+|x 2 −x 2 ´|+・・・ In other words, ΣΔF = | x 1 -x 1 '| + | x 2 -x 2' | + ···
・・・+|x 9 −x 9 ´| (2) 【0023】この絶対値和ΣΔFが所定のしきい値と比較され、しきい値より大きい時には、ブロック内の中心の画素(x 8 )が動き画素と判断され、しきい値より小さい時には、これが静止画素と判断される。 ··· + | x 9 -x 9 ' | (2) [0023] The absolute value sum ΣΔF is compared with a predetermined threshold value, when greater than the threshold value, the center of the pixel in the block (x 8) There is judged that the motion pixel, when less than the threshold value, it is determined that the stationary pixel. そして、上述のように、動き画素に関して、クラスコード発生回路6aがレベル分布のパターンと対応するクラスコードを形成し、静止画素に関して同様にクラスコード発生回路6bがレベル分布のパターンと対応するクラスコードを形成する。 Then, as described above, with respect to the motion pixel, the class code class code generating circuit 6a to form a class code corresponding to the level distribution pattern of the corresponding similarly to the class code generating circuit 6b is a level distribution pattern with respect to a stationary pixel to form. 【0024】 なお、フレーム差分の絶対値和としては、 [0024] It should be noted that, as the sum of the absolute values of frame difference,
前フレームのみならず、後フレームのフレーム差分の絶対値和を併用しても良い。 Not the previous frame only, it may be used in combination with the sum of the absolute values ​​of the frame difference of the rear frame. また、フレーム差分の絶対値から動き量を検出する方法に限らず、ブロックマッチング法等の既に知られている種々の既知の動き量検出の方法を使用することができる。 Further, not only the method of detecting the motion amount from the absolute value of the frame difference, it is possible to use a variety of methods known motion estimation already known, such as block matching method. 【0025】上述のメモリ4a、4bには、予め学習により獲得された予測係数が格納されている。 The aforementioned memory 4a, the 4b, acquired prediction coefficients are stored by learning in advance. 図4は、学習をソフトウェア処理で行う時のその動作を示すフローチャートである。 Figure 4 is a flowchart showing the operation when performing learning by software processing. ステップ11から学習処理の制御が開始され、ステップ12の学習データ形成では、既知の画像に対応した学習データが形成される。 Control of the learning process from step 11 is started, the training data formed in step 12, the learning data corresponding to the known image is formed. 具体的には、上述したように、図2および図3の配列の複数の画素を使用できる。 Specifically, as described above, it can be used a plurality of pixels of the sequence of FIGS. ステップ13のデータ終了では、入力された全データ例えば1フレームのデータの処理が終了していれば、ステップ16の予測係数決定へ、終了していなければ、ステップ14の動き検出、クラス決定へ制御が移る。 The data end of step 13, if the processing of data of all data, for example, 1 frame input has been completed, the prediction coefficient determining step 16, if not completed, the motion detection step 14, the control to the class determined moves. 【0026】ステップ14の動き検出、クラス決定は、 [0026] The motion detection of step 14, the class decision,
上述のように、注目画素の動き/静止を判定し、また、 As described above, to determine the motion / still of the pixel of interest, also,
注目画素を中心とするレベル分布のパターンを検出するステップである。 A step of detecting a level distribution pattern of the pixel of interest as the center. 次のステップ15の正規方程式加算では、後述する正規方程式が作成される。 The normal equation adding the next step 15, the normal equation to be described later is created. 【0027】ステップ13のデータ終了から全データの処理が終了後、制御がステップ16に移り、ステップ1 [0027] After the processing of all the data from the data end of the step 13 is finished, control passes to step 16, step 1
6の予測係数決定では、後述する式(10)を行列解法を用いて解いて、係数を決める。 In 6 of prediction coefficients determined by solving with matrix solution to equation (10) described later, determine the coefficients. ステップ17の予測係数ストアで、予測係数をメモリにストアし、ステップ1 In the prediction coefficient store step 17, and stores the prediction coefficient in the memory, step 1
8で学習処理の制御が終了する。 Control of the learning process is completed at 8. 【0028】図4中のステップ15(正規方程式生成) [0028] Step 15 in FIG. 4 (normal equation generation)
およびステップ16(予測係数決定)の処理をより詳細に説明する。 And explaining the processing of step 16 (prediction coefficient determination) in more detail. 注目画素の真値をyとし、その予測値をy The true value of the pixel of interest and y, the prediction value y
´とし、その周囲の画素の値をx 1 〜x nとしたとき、 And ', when the value of the surrounding pixels and the x 1 ~x n,
クラス毎に係数w 1 〜w nによるnタップの線形1次結合 y´=w 11 +w 22 +‥‥+w nn (3) を設定する。 Setting the coefficient for each class w 1 linear combination of n taps by ~w n y'= w 1 x 1 + w 2 x 2 + ‥‥ + w n x n (3). 学習前はw iが未定係数である。 Before learning is w i is undetermined coefficients. 【0029】上述のように、学習はクラス毎になされ、 [0029] As described above, the learning is done for each class,
データ数がmの場合、式(3)に従って、 y j ´=w 1j1 +w 2j2 +‥‥+w njn (4) (但し、j=1,2,‥‥m) 【0030】m>nの場合、w 1 〜w nは一意には決まらないので、誤差ベクトルEの要素を e j =y j −(w 1j1 +w 2j2 +‥‥+w njn ) (5) (但し、j=1,2,‥‥m) と定義して、次の式(6)を最小にする係数を求める。 If the number of data is m, according to equation (3), y j '= w 1 x j1 + w 2 x j2 + ‥‥ + w n x jn (4) ( where, j = 1,2, ‥‥ m) [0030 for] m> n, since w 1 to w n are not uniquely determined, the error vector E of elements e j = y j - (w 1 x j1 + w 2 x j2 + ‥‥ + w n x jn) ( 5) (where, j = 1, 2, ‥‥ m) and to define, determine the coefficients of the following equation (6) to a minimum. 【0031】 【数1】 [0031] [number 1] 【0032】いわゆる最小自乗法による解法である。 [0032] is a solution based on the so-called least squares method. ここで式(6)のw iによる偏微分係数を求める。 Here seek partial differential coefficients by w i in equation (6). 【0033】 【数2】 [0033] [number 2] 【0034】式(7)を0にするように各w iを決めればよいから、 【0035】 【数3】 [0034] Since may be determined each w i to equation (7) to 0, [0035] [number 3] 【0036】として、行列を用いると【0037】 【数4】 [0036] as, the use of matrix [0037] [number 4] 【0038】となる。 The [0038]. この方程式は一般に正規方程式と呼ばれている。 This equation is generally called a normal equation. この方程式を掃き出し法等の一般的な行列解法を用いて、w iについて解けば、予測係数w iが求まり、動き/静止の判定結果とクラスコードをアドレスとして、この予測係数w iをメモリに格納しておく。 Using the general matrix solution of sweeping-out method such as this equation, solving for w i, Motomari prediction coefficient w i, the address determination result of the motion / still and the class code, the prediction coefficient w i in the memory It is stored. 【0039】図4は、学習のためのソフトウェア構成を示しているが、ハードウエアの構成によって、学習を行うこともできる。 [0039] Figure 4 shows the software configuration for learning, depending on the configuration of the hardware, it may be performed learning. また、補間値を形成するのに、予測係数による線形1次結合に限らず、データの値そのものを学習によって予め作成し、この値を補間値としても良い。 Also, to form the interpolated value is not limited to the linear combination by the prediction coefficients, created in advance by learning the value of the data itself, this value may be interpolated value. さらに、この発明は、走査線補間に限らず、サブサンプリングにより間引かれた画素の値を補間する等、存在しない画素の値を補間する場合に対して適用することができる。 Further, the invention is not limited to the scanning line interpolation can be applied to a case where equal to interpolate the values ​​of pixels decimated by the subsampling and interpolation the value of the pixel that does not exist. 【0040】 【発明の効果】この発明は、動き量毎に最適な予測係数を予め学習により求めて、この予測係数をメモリに格納しておき、補間時にこの係数を利用しているので、出力信号に劣化を生じることなく、良好な補間画質を得ることができる。 [0040] [Effect of the Invention] This invention relates to previously obtained by learning optimum prediction coefficient for each motion amount may be stored the prediction coefficient memory, since the use of this factor at the time of interpolation, the output without causing degradation in signal, it is possible to obtain a good interpolation quality.

【図面の簡単な説明】 【図1】この発明を走査線補間装置に対して適用した一実施例のブロック図である。 BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of an embodiment of applying the present invention to the scanning line interpolation apparatus. 【図2】この発明におけるクラス分類および補間のために使用する画素の配列を示す略線図である。 Figure 2 is a schematic diagram showing an arrangement of pixels used for classification and interpolation in the present invention. 【図3】この発明において、動き量を検出する動作の説明のための略線図である。 [3] In the present invention, it is a schematic diagram for explaining the operation of detecting the motion amount. 【図4】予測係数を求めるための学習をソフトウェア処理で行う時のフローチャートである。 4 is a flowchart when performing learning for obtaining prediction coefficients by software processing. 【図5】従来の走査線補間装置のブロック図である。 5 is a block diagram of a conventional scanning line interpolation apparatus. 【符号の説明】 3 補間演算回路4a、4b 予測係数が格納されたメモリ5 動き検出回路 [EXPLANATION OF SYMBOLS] 3 interpolation operation circuit 4a, a memory 5 the motion detection circuit 4b prediction coefficients have been stored

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−167992(JP,A) 特開 平1−108886(JP,A) 特開 昭63−48088(JP,A) 特開 平1−236881(JP,A) (58)調査した分野(Int.Cl. 7 ,DB名) H04N 7/00 - 7/088 ────────────────────────────────────────────────── ─── continued (56) references of the front page Patent flat 5-167992 (JP, a) JP flat 1-108886 (JP, a) JP Akira 63-48088 (JP, a) JP flat 1- 236881 (JP, a) (58 ) investigated the field (Int.Cl. 7, DB name) H04N 7/00 - 7/088

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 入力画像信号中に存在しない画素データを生成する画像データの生成装置において、 上記入力画像信号に基づいて、 生成対象である注目画素位置での動き量を検出するための動き量検出手段と、 上記検出された動き量および、上記注目画素位置と空間 (57) In the apparatus for generating image data to generate pixel data which is not present in the Patent Claims 1 input image signal, based on the input image signal, at the target pixel position is generated object a motion amount detecting means for detecting a motion amount, the detected motion amount and said target pixel position and space
    的および/または時間的に近傍の複数の参照画素のレベ And / or temporally a plurality of reference pixels in the vicinity level
    ル分布のパターンに応じたクラスコードを発生するクラ Class that generates the class code corresponding to the pattern of Le distribution
    スコード発生手段と、 学習時に対象画素位置での動き量を求め、 上記対象画素位置での動き量および、上記対象画素の空 And Sukodo generating means obtains a motion amount of the target pixel position at the time of learning, the amount and movement in the target pixel position, empty the target pixel
    間的および/または時間的に近傍の複数の参照画素のレ During and / or temporally-les of a plurality of reference pixels in the vicinity
    ベル分布のパターンに応じたクラスを作成し、 上記クラス毎に学習することで予め 求められた予測係数 Create a class corresponding to the pattern of the bell distribution, prediction coefficient obtained in advance by learning for each of the classes
    を、上記クラス毎に記憶し、 上記クラスコードに対応する上記クラスに格納された 予<br/>測係数を出力する係数記憶手段と、 上記係数記憶手段からの予測係数と上記注目画素位置と The stores for each of the classes, and engaging number storing means you output pre <br/> measuring coefficients stored in the class corresponding to the class code, the prediction coefficient and the target pixel from the coefficient storage means location and
    空間的および/または時間的に近傍の複数の周辺画素データとの演算によって、上記注目画素位置の画素データを生成するための画素データ生成手段とを有することを特徴とする画像データの生成装置。 The calculation of the spatial and / or temporal plurality of peripheral pixel data in the vicinity, apparatus for generating image data; and a pixel data generation means for generating pixel data of the pixel of interest position. 【請求項2】 請求項1に記載の画像データの生成装置において、 上記動き検出手段は、フレーム間差分に基づいて上記動き量を検出するようにした画像データの生成装置。 In apparatus for generating image data according to the claim 1, the motion detection means, apparatus for generating image data so as to detect the motion amount based on the inter-frame difference. 【請求項3】 請求項1に記載の画像データの生成装置において、 入力画像信号が飛び越し走査信号であって、フィールド内の飛び越された水平走査線位置の画素データが上記画素データ生成手段で生成されることを特徴とする画像データの生成装置。 In apparatus for generating image data according to the claim 1, further comprising: a scan signal input image signal is interlaced, the pixel data of skipped horizontal scanning line positions in the field in the pixel data generating means apparatus for generating image data, characterized in that it is produced. 【請求項4】 入力画像信号中に存在しない画素データ 4. A does not exist in the input image signal pixel data
    を生成する画像データの生成方法において、 上記入力画像信号に基づいて、生成対象である注目画素 In the method of generating the image data for generating, based on the input image signal, the target pixel is generated object
    位置での動き量を検出 するための動き量検出 ステップと、 上記検出された動き量および、上記注目画素位置と空間 A motion amount detection step for detecting a movement amount at the position, the detected motion amount and said target pixel position and space
    的および/または時間的に近傍の複数の参照画素のレベ And / or temporally a plurality of reference pixels in the vicinity level
    ル分布のパターンに応じたクラスコードを発生するクラ Class that generates the class code corresponding to the pattern of Le distribution
    スコード発生ステップと、 学習時に対象画素位置での動き量を求め、 上記対象画素位置での動き量および、上記対象画素の空 And Sukodo generation step determines the motion amount of the target pixel position at the time of learning, the amount and movement in the target pixel position, empty the target pixel
    間的および/または時間的に近傍の複数の参照画素のレ During and / or temporally-les of a plurality of reference pixels in the vicinity
    ベル分布のパターンに応じたクラスを作成し、 上記クラス毎に学習することで予め求められた予測係数 Create a class corresponding to the pattern of the bell distribution, prediction coefficient obtained in advance by learning for each of the classes
    を、上記クラス毎に記憶し、 上記クラスコードに対応する上記クラスに格納された予 The stores for each of the classes, which is stored in the class corresponding to the class code pre
    測係数を出力する係数記憶ステップと、 上記係数記憶ステップからの予測係数と上記注目画素位 A coefficient storage step of outputting the measured coefficients, prediction coefficients from the coefficient storage step and the target pixel position
    置と空間的および/または時間的に近傍の複数の周辺画 Location and spatial and / or temporal plurality of peripheral image in the vicinity
    素データとの演算によって、上記注目画素位置の画素デ The calculation of the raw data, the pixel data of the target pixel position
    ータを生成するための画素データ生成ステップとを有す Having a pixel data generating step for generating over data
    ことを特徴とする画像データの生成方法。 The method of generating the image data, characterized in that that.
JP31734993A 1993-11-24 1993-11-24 Generator and method of generating image data Expired - Lifetime JP3480015B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31734993A JP3480015B2 (en) 1993-11-24 1993-11-24 Generator and method of generating image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31734993A JP3480015B2 (en) 1993-11-24 1993-11-24 Generator and method of generating image data

Publications (2)

Publication Number Publication Date
JPH07147670A JPH07147670A (en) 1995-06-06
JP3480015B2 true JP3480015B2 (en) 2003-12-15

Family

ID=18087239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31734993A Expired - Lifetime JP3480015B2 (en) 1993-11-24 1993-11-24 Generator and method of generating image data

Country Status (1)

Country Link
JP (1) JP3480015B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4158232B2 (en) 1998-07-23 2008-10-01 ソニー株式会社 Image information conversion device and image display device
JP4618956B2 (en) 2001-12-10 2011-01-26 ソニー株式会社 Signal processing apparatus, signal processing method, signal processing system, program, and medium
US7694326B2 (en) 2002-05-17 2010-04-06 Sony Corporation Signal processing system and method, signal processing apparatus and method, recording medium, and program

Also Published As

Publication number Publication date
JPH07147670A (en) 1995-06-06

Similar Documents

Publication Publication Date Title
Dubois et al. Noise reduction in image sequences using motion-compensated temporal filtering
US7590180B2 (en) Device for and method of estimating motion in video encoder
US5754248A (en) Universal video disc record and playback employing motion signals for high quality playback of non-film sources
EP1096801B1 (en) Device for predicting and decoding images
US4941045A (en) Method and apparatus for improving vertical definition of a television signal by scan conversion
JP2512894B2 (en) High-efficiency encoding / decoding device
US5193004A (en) Systems and methods for coding even fields of interlaced video sequences
EP0705035B1 (en) Encoding data represented as a multi-dimensional array
US5663764A (en) Hierarchical encoding and decoding apparatus for a digital image signal
JP2508439B2 (en) High-efficiency coding device
US5488421A (en) Interlaced-to-progressive scanning converter with a double-smoother and a method therefor
EP0825780B1 (en) Coding system
US6005639A (en) Vector assignment for video image motion compensation
US5943099A (en) Interlaced-to-progressive conversion apparatus and method using motion and spatial correlation
JP2795420B2 (en) Compression method of the digitized video signal and an apparatus and system
EP0635978B1 (en) Image signal converter
EP0395440A2 (en) Apparatus for adaptive interframe predictive encoding of video signal
US4953023A (en) Coding apparatus for encoding and compressing video data
JP3509165B2 (en) Half pixel interpolation method and apparatus for motion compensated digital video system
US6101313A (en) High efficiency encoding and decoding of picture signals and recording medium containing same
US5859667A (en) Hierarchical encoding and decoding apparatus for a digital image signal
CN1183768C (en) Format converter using bidirectional motion vector and its method
JP4198206B2 (en) Video information compression method and apparatus using motion dependent prediction
US5436665A (en) Motion picture coding apparatus
JP4724459B2 (en) Motion vector detection using adaptive time prediction

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101010

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term