WO2000019724A1 - Arithmetic device, converter, and their methods - Google Patents

Arithmetic device, converter, and their methods Download PDF

Info

Publication number
WO2000019724A1
WO2000019724A1 PCT/JP1999/005384 JP9905384W WO0019724A1 WO 2000019724 A1 WO2000019724 A1 WO 2000019724A1 JP 9905384 W JP9905384 W JP 9905384W WO 0019724 A1 WO0019724 A1 WO 0019724A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image data
teacher
prediction coefficient
class
Prior art date
Application number
PCT/JP1999/005384
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Takashi Horishi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US09/555,245 priority Critical patent/US6718073B1/en
Priority to KR1020007005851A priority patent/KR100657776B1/ko
Priority to EP99969880A priority patent/EP1033886A4/en
Priority to JP2000573098A priority patent/JP4352298B2/ja
Publication of WO2000019724A1 publication Critical patent/WO2000019724A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present invention relates to an arithmetic device, a conversion device, and a method thereof.
  • connection between devices with different signal formats requires a signal conversion device that realizes signal conversion between the devices.
  • an image data conversion device for format-converting low-resolution image data to high-resolution image data is required.
  • a high resolution image data is obtained by performing a frequency interpolation process using an interpolation filter on a low resolution image data and performing pixel interpolation. The evening is forming.
  • the image data conversion apparatus classifies low-resolution image data into classes corresponding to the signal level distribution of each pixel, and then stores the data called a prediction coefficient from a memory in which the data is stored in advance.
  • the prediction coefficients stored in the memory are generated in advance by data processing called learning.
  • the learning circuit that generates this prediction coefficient downloads high-resolution image data as a teacher image by digital filling. By converting, low-resolution image data as a student image is generated, and learning is performed between high-resolution image data and low-resolution image data to generate prediction coefficients. .
  • the frequency characteristics of the digital filter when a high-resolution image data has a plurality of signal characteristics, it is desirable to change the frequency characteristics according to each signal characteristic.
  • the visual resolution of the still image portion is improved, so that the digital filter has frequency characteristics that improve the resolution.
  • the digital filter has a frequency characteristic that suppresses the improvement in resolution. Things are desirable.
  • the high-resolution image data has multiple signal characteristics. As a result, it is not possible to generate a prediction coefficient corresponding to each signal characteristic. As a result, when generating high-resolution image data from low-resolution image data, there is a problem that hinders improvement in image quality. Was.
  • the present invention has been made in consideration of the above points, and has a further
  • the present invention provides an arithmetic device that calculates a prediction coefficient for converting first image data into a second image data having a higher quality than the first image data.
  • a class deciding unit that classifies the teacher image data, which is higher in quality than the first image data, into a plurality of classes based on its characteristics; and a different filtering process for each class determined by the class deciding unit.
  • the student image data of the same quality as the first image data is obtained by performing this process for the teacher image data.
  • a student image data that matches the characteristics of the first image data and the teacher image data is generated.
  • a prediction coefficient matching the characteristics of the first image data and the teacher image data is generated.
  • the first image data is converted from the first image data to the second image data.
  • the conversion process can be performed according to the features of the night o Brief description of the drawing
  • FIG. 1 is a block diagram showing the configuration of the upcomer's evening.
  • FIG. 2 is a schematic diagram illustrating an example of class tap arrangement.
  • FIG. 3 is a schematic diagram illustrating an example of a prediction tap arrangement.
  • FIG. 4 is a block diagram showing the configuration of the learning circuit.
  • FIG. 5 is a flowchart showing a prediction coefficient generation procedure.
  • FIG. 6 is a flowchart showing a prediction coefficient generation procedure according to the first embodiment.
  • FIG. 7 is used to explain a first embodiment of down-conversion according to the present invention.
  • FIG. 8 is a schematic diagram illustrating a learning method and a coefficient memory according to a first embodiment of the present invention.
  • FIG. 9 is a block diagram showing a first embodiment of the upcoming process according to the present invention.
  • FIG. 10 is a schematic diagram used for describing a second embodiment of the downcomer according to the present invention.
  • FIG. 11 is a schematic diagram illustrating a learning method and a coefficient memory according to a second embodiment of the present invention.
  • FIG. 12 is a block diagram showing a second embodiment of the upconverter according to the present invention.
  • FIG. 13 is a schematic diagram illustrating an example of a cluster tap arrangement at the time of matching.
  • Figure 14 is a schematic diagram showing an example of class tap placement during down-conversion. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 shows a circuit configuration of the APC converter 51 that realizes the classification adaptive processing.
  • the up-comparator 51 for example, an 8-bit pulse code modulation (PCM) is supplied from the outside (PCM).
  • PCM pulse code modulation
  • Image data S 51 is input to the classification unit 52 and the prediction calculation unit 53.
  • the class classification unit 52 divides a total of seven pixels (tap) of the target pixel and a plurality of peripheral pixels around the target pixel from the SD image data S 51 into pixels for class classification.
  • class tap a class code S52 is generated based on the signal level distribution of those pixels.
  • the solid figure The line indicates the first field, and the dotted line indicates the second field.
  • the class classifying unit 52 reduces the number of classes by performing a data compression process (ie, requantization process) such as ADRC.
  • a data compression process ie, requantization process
  • This ADRC classification method uses an ADRC code from a few taps in a neighboring area centered on the pixel of interest,
  • C i is the ADR C code
  • X i is the input pixel value of each class
  • MIN is the minimum pixel value of the input pixel of each class in the ADRC block
  • DR is The dynamic range (difference between the maximum pixel value and the minimum pixel value) in the region
  • k is the number of requantization bits.
  • the classification method based on ADRC calculates the quantization step width according to the number of requantization bits from the dynamic range in the area, and subtracts the minimum pixel value from the input pixel value to obtain the pixel value according to the quantization step width.
  • Requantize Things For example, in the case of performing 1-bit ADRC that requantizes each class tap to 1 bit at 7 taps in the area, each input pixel value at 7 taps is adaptively determined based on the dynamic range in the area. One-bit quantization is performed, and as a result, the input pixel value of 7 taps can be reduced to 7-bit data instantaneously, so that the total number of classes can be reduced to 128 classes.
  • This one-bit ADRC is disclosed in Japanese Patent Application Laid-Open No. 7-87481 and corresponding US Pat. No. 5,488,18.
  • the prediction coefficient ROM (Read Only Memory) 54 stores prediction coefficient data S 53 corresponding to each class generated in advance by a learning circuit 60 described below, and The prediction coefficient data S53 corresponding to the class code S52 supplied from the section 52 is read out and sent to the prediction calculation section 53.
  • the HD image data which is a set of HD (Hih Definition) pixels that do not exist in the prediction tap, is displayed. And output this to the outside.
  • x ′ is the HD pixel value
  • X i is the pixel value of each prediction tap
  • W i is the prediction coefficient
  • n is the number of prediction taps
  • n is 13 in this case.
  • FIG. 4 shows the prediction coefficient data stored in the prediction coefficient ROM 54.
  • 7 shows a circuit configuration of a learning circuit 60 that generates evenings.
  • the learning circuit 60 generates prediction coefficient data in advance and stores the data in a prediction coefficient ROM 54.
  • the HD image data S60 as a teacher signal is input to the vertical thinning file 61 and the prediction coefficient calculation circuit 62.
  • the learning circuit 60 decimates the SD image data S61 as a student signal by thinning out the HD image data S60 with the vertical thinning filter 61 and the horizontal thinning filter 62. This is generated and input to the class classification unit 64 and the prediction coefficient calculation circuit 62.
  • the class classification unit 64 has the same configuration as the class classification unit 52 of the up-comparator shown in FIG. 1, and selects a cluster map from the SD image data S 61 and classifies it based on the signal level distribution.
  • a code S62 is generated and sent to the prediction coefficient calculation circuit 62.
  • the prediction coefficient calculation circuit 62 calculates a prediction coefficient for each class based on the class indicated by the class code S62 based on the HD image data S60 and the SD image data S61, The resulting prediction coefficient S 63 is stored in the prediction coefficient R OM 54.
  • the prediction coefficient calculation circuit 62 obtains the prediction coefficient w in the above equation (2) by the least square method. Specifically, the prediction coefficient calculation circuit 62 uses the following equation called an observation equation, where X is an SD pixel value, W is a prediction coefficient, and Y is an HD pixel value.
  • n is the number of prediction taps.
  • the prediction coefficient calculation circuit 62 calculates the following equation based on the equation (3).
  • the prediction coefficient calculation circuit 62 only needs to calculate w 2 , w n that satisfies the n equations (6).
  • the prediction coefficient calculating circuit 62 calculates the following equation from the above equations (4) and (8).
  • the prediction coefficient calculation circuit 62 generates a normal equation composed of simultaneous equations of the same order as the prediction tap number n, and solves this normal equation using the sweeping-out method (Gauss J 0 rdan elimination method). Thereby, each prediction coefficient W i is calculated.
  • step SP 62 entered from step SP 61, the learning circuit 60 generates an SD image data S 61 as a student signal from the HD image data S 60 as a teacher signal, thereby obtaining a prediction coefficient.
  • step SP 62 entered from step SP 61, the learning circuit 60 generates an SD image data S 61 as a student signal from the HD image data S 60 as a teacher signal, thereby obtaining a prediction coefficient.
  • a class map is selected from the SD image data S61, and the class is classified based on the signal level distribution.
  • step SP63 the learning circuit 60 determines whether or not a sufficient number of learning data has been obtained to generate the prediction coefficient. As a result, learning data that is still necessary and sufficient is obtained. If it is determined that the answer is NO, a negative result is obtained in step SP63, and the routine goes to step SP65.
  • step SP65 the learning circuit 60 generates a normal equation represented by the above equation (9) for each class, returns to step SP62, and repeats the same processing procedure to generate a prediction coefficient. Generate sufficient regular equations to perform
  • step SP63 if a positive result is obtained in step SP63, this indicates that the necessary and sufficient learning time has been obtained.
  • the learning circuit 60 proceeds to step SP66 and generates the prediction coefficients w ls w 2 ,..., w n for each class by solving the normal equation represented by the above equation (9) by the sweeping method. I do.
  • step SP 6 7 the learning circuit 6 0, the prediction coefficient w 2 of each class generated, ..., the w n stored in the coefficient R OM 5 4 predict, the process proceeds to step SP 6 8 Finish ⁇
  • the learning circuit down-converts the HD image data as the teacher image to the SD image data as the student image, and performs learning between these HD image data and the SD image data to perform each learning.
  • a prediction coefficient is generated for each class.
  • a procedure of generating a prediction coefficient by the learning circuit 60 will be described with reference to a flowchart shown in FIG.
  • step SP 72 entered from step SP 71 the learning circuit is required to generate prediction coefficients by generating SD image data as student images from HD image data as teacher images. Generates a great learning day.
  • the learning circuit uses a plurality of down-fill filters F1 to F4 having different passbands to output one HD image data and a plurality of SD image data from one HD. Overnight Generate SD1 to SD4.
  • the passband of the down-fill filter F1 is set to be the highest, and the pass-bands are set to decrease in the order of the down-filter filters F2, F3, and F4.
  • step SP73 the learning circuit determines whether or not a sufficient number of learning data has been obtained to generate the prediction coefficients, and as a result, a sufficient and sufficient learning data is still obtained. If it is determined that they do not exist, a negative result is obtained in step SP73, and the routine goes to step SP75.
  • step SP75 the learning circuit generates a normal equation represented by the above equation (9) for each of the SD image data SD1 to SD4, returns to step SP72, and repeats the same processing procedure. Generate prediction coefficients Generate as many normal equations as necessary.
  • step SP73 if a positive result is obtained in step SP73, this indicates that a necessary and sufficient number of learning data has been obtained.
  • the learning circuit proceeds to step SP76 and A prediction coefficient is generated for each of the SD image data SD1 to SD4 by solving the normal equation generated in step SP75 by the sweeping method.
  • the learning circuit performs a learning ST1 between the HD image data HD and the SD image data SD1 as shown in FIG. Generate 1 and store it in coefficient memory M1.
  • the learning circuit performs the learning ST2 to ST4 between the HD image data HD and the SD image data SD2 to SD4, thereby calculating the prediction coefficients Y2 to Y4 respectively. And stores them in the coefficient memories M 2 to M 4.
  • the learning circuit classifies the HD image data HD into four motion classes C1 to C4 according to the degree of the motion in step SP77 in FIG. 6, and stores the HD image data in the coefficient memory M1.
  • the prediction coefficient Y1 corresponding to the motion class C1 is stored in the prediction coefficient memory M5.
  • the prediction coefficients Y2 stored in the coefficient memory M2 those corresponding to the motion class C2 are stored in the coefficient memory M5, and the prediction coefficients Y3 stored in the coefficient memory M3 are stored.
  • the one corresponding to the motion class C3 is stored in the coefficient memory M5, and the one corresponding to the motion class C4 among the prediction coefficients Y4 stored in the coefficient memory M4 is stored in the coefficient memory M5. Then, the prediction coefficient is registered in the coefficient memory M5, and the prediction coefficient generation procedure ends in a succeeding step SP78.
  • FIG. 9 shows a configuration of an upconverter 100 that employs a coefficient memory M5 generated by learning.
  • Upconverter 100 is input
  • the SD image data S100 is input to the classifying unit 101 and the delay circuit 102.
  • the classifying unit 101 generates a class code S101 by classifying the SD image data S100 into a class, and sends it to the coefficient memory M5.
  • the coefficient memory M5 reads the prediction coefficient of the motion class C corresponding to the class code S101 among the motion classes C1 to C4 based on the supplied classcode S101, and predicts the prediction coefficient.
  • the coefficient data S102 is sent to the mapping circuit 103.
  • the delay circuit 102 delays the SD image data S 100 by a predetermined time, and sends it to the mapping circuit 103.
  • the mapping circuit 103 generates the HD image data S103 by performing a product-sum operation of the SD image data S100 and the prediction coefficient data S102, and outputs the generated HD image data S103 to the outside. Has been made.
  • the learning circuit converts a plurality of SD image data SD 1 to SD 4 from one HD image data HD using a plurality of down files F 1 to F 4 having different pass bands.
  • learning is performed between the HD image data HD and the SD image data SD1 to SD4 to generate prediction coefficients Y1 to Y4, respectively, and the prediction coefficients Y1 to Y4 are generated.
  • the prediction coefficients corresponding to the HD motion can be stored in the coefficient memory ⁇ 5. become.
  • the HD image data S103 is generated using the prediction coefficients corresponding to the movement of the SD image data S100, and is generated by one down-file as in the past.
  • the image quality of the HD image data S103 is improved as compared with the case where mapping is performed using the calculated prediction coefficients.
  • a plurality of prediction coefficients ⁇ 1 to ⁇ 4 are generated using a plurality of down filters F 1 to F 4 having different passbands, and the prediction coefficients ⁇ 1 to ⁇ 4 are selected from among the prediction coefficients ⁇ 1 to ⁇ 4.
  • FIG. 10 in which parts corresponding to those in FIG. 7 are assigned the same reference numerals, shows the configuration of the down converter 110 according to the second embodiment.
  • the down converter 110 inputs the HD image data HD as the teacher image to the switch SW 1 and the class classification unit 111.
  • the class classification unit 111 generates a class data S 110 by classifying the HD image data HD into motion classes C 1 to C 4 according to the amount of motion, and generates the class data S 110 by the switch SW 1. And supply to SW2.
  • the class classification unit 111 classifies the one with the smallest amount of motion into a motion class C1, classifies it into motion classes C2 to C4 in accordance with the increase in the amount of motion, and Larger objects are classified into motion class C4.
  • an image signal conversion device that performs class classification based on the amount of motion is described in Japanese Patent Application Laid-Open No. 9-74543.
  • the switches SW1 and SW2 adaptively switch a plurality of down filters F1 to F4 having different pass bands for each pixel based on the motion class C indicated by the supplied class data S110. While choosing.
  • the downcomer 110 generates one SD image data SD by downconverting the HD image data HD by the switched downfill F. At this time, if the amount of motion of the HD image is small, the down-fill filter F 1 having a high pass band is selected, and the down-fill filter F 2 having a low pass band is selected as the amount of motion increases. Select ⁇ F4.
  • the download comp. 110 generates the SD image data SD while adaptively switching the down-fill F according to the amount of HD motion. Next, as shown in FIG.
  • the learning circuit generates a prediction coefficient Y by performing a learning ST between the HD image data HD as the teacher image and the SD image data SD as the student image, and Store in memory M.
  • FIG. 12 in which parts corresponding to those in FIG. 9 are assigned the same reference numerals, shows a configuration of an upconverter 120 using the above-described coefficient memory M.
  • the upcomer 120 inputs the input SD image data S100 to the classifier 101 and the delay circuit 102.
  • the class classification unit 101 generates a class code S 101 by classifying the SD image data S 100 into a class, and sends this to the coefficient memory M.
  • the coefficient memory M reads out a prediction coefficient based on the supplied class code S101, and sends the prediction coefficient data S120 to the matching circuit 103.
  • the delay circuit 102 delays the SD image data S 100 for a predetermined time and sends it to the mapping circuit 103.
  • the matching circuit 103 generates an HD image data S 1 21 by performing a product-sum operation of the SD image data S 100 and the prediction coefficient data S 120, Output to
  • the classification by the classification unit 101 (FIG. 12) of the upcomer 120 will be described with reference to FIG.
  • the classifying unit 101 pays attention to 9 pixels existing in the same field and 9 pixels one frame before existing at the same position as the 9 pixels in the SD image data. After calculating the inter-frame differences of each pixel, the sum of their absolute values is calculated, and the sum of the absolute values is determined based on a threshold, thereby classifying the SD image data into four classes.
  • the class classification unit 111 classifies the HD image data having four times the number of pixels of the SD image data into classes, so that every 9 pixels from the area having the same area as that of the SD image data is used. Pixels are extracted and classified into four classes by taking the sum of the absolute values of the differences between frames of each pixel.
  • the class obtained by classifying the SD image data by the class classification unit 101 of the up-converter 120 and the HD image data corresponding to the SD image data by the down-converter 110 Classification part of 1 1 1
  • the class may not be the same as the class that has been classified, the class taps in almost the same area are extracted and classified, so that the inconsistency between the two classes is negligible and negligible. .
  • the downcomer 110 is configured to convert the HD image data HD while adaptively switching the down-filter F having a plurality of frequency characteristics according to the amount of motion of the HD image data HD.
  • One SD image data SD is generated by down-computing.
  • the learning circuit generates a prediction coefficient by performing learning ST between the HD image data and the HD image data SD and stores the prediction coefficient in the coefficient memory M.
  • the classification unit 101 of the upcoming unit 100 cannot classify all SD image data S100 completely and correctly.In practice, it is difficult to perform a complete classification. is there. Therefore, in the up-converter 100 according to the first embodiment described above, the case where the HD image data S 103 is generated from the SD image data S 100 of the same signal level distribution is used. However, the classification may not be performed accurately, and mapping may be performed using prediction coefficients generated using down filters F with completely different frequency characteristics. It may change, and the image quality of the generated HD image data S103 may deteriorate.
  • the up-comparator 120 even if the SD image data S 100 having the same signal level distribution is classified into different classes, the prediction coefficient is higher. There is no significant change, and as a result, the quality of the generated HD image data S122 is not degraded.
  • the HD image data HD is classified into classes, and the HD image data HD is converted to the SD while the down-filter F having a plurality of frequency characteristics is adaptively switched according to the class.
  • the prediction coefficients used during mapping are converted to SD images. It is possible to avoid a large change depending on the class of the data S100, so that the image quality can be further improved as compared with the case of the first embodiment.
  • the present invention is applied to an image data conversion device that generates HD image data S 103 and S 121 from SD image data S 100.
  • the present invention is not limited to this.
  • the present invention can be widely applied to a data conversion apparatus that generates second data from first data.
  • the learning circuit is applied to the generation of the prediction data.
  • the present invention is not limited to this, and the point is that the second image data is obtained from the teacher image data corresponding to the evening.
  • the prediction data may be generated using a plurality of filters having different passbands.
  • Pixels may be extracted, and a class for the pixel of interest may be determined from the plurality of extracted pixels.
  • mapping circuit 103 is applied to the generation of the pixel data.
  • the present invention is not limited to this, and the point is that the prediction data read from the prediction data storage unit is used. It is only necessary to generate the pixel of interest in the second image.
  • the present invention is applied to an image data conversion apparatus.
  • the present invention is not limited to this, and is suitably applied to, for example, data related to a plurality of adjacent data (waveforms) such as voice.
  • the classification adaptive processing according to the present invention is performed.
  • the present invention is applied to the case where the number of pixels (spatial resolution) is converted as in the case of SD-HD conversion.
  • the present invention is not limited to this, and is disclosed in Japanese Patent Application Laid-Open No. Hei 5-16991.
  • Japanese Unexamined Patent Application Publication No. As disclosed in Japanese Patent Application Laid-Open No. 7-107, when the spatial resolution is increased by increasing the number of quantization bits to generate a signal corresponding to the increase in the amount of information, Japanese Patent Application No. 10-123 0 2 Can be applied to improve image blur as proposed in No. 1.o
  • the prediction image is generated from the teacher image data corresponding to the second image data using a plurality of filters having different passbands.
  • the second image data can be generated using the prediction data corresponding to the feature of the image data, and thus the image quality can be further improved as compared with the related art.
  • the present invention is suitably applied to an image data conversion device that generates high-resolution image data from low-resolution image data and a device that calculates a prediction coefficient used in the conversion processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Description

明 細 書 演算装置及び変換装置並びにそれらの方法 技術分野
本発明は演算装置及び変換装置並びにそれらの方法に関し、 例えば第
1のデ一夕を当該第 1のデータよりも高質な第 2のデ一夕に変換する変 換装置及びその変換処理に用いられる予測係数を演算する演算装置に適 用して好適なものである。 背景技術
様々なディ ジ夕ル機器が出現する中、 信号フォーマツ 卜の異なる機器 間の接続においては機器間での信号変換を実現する信号変換装置が必要 となる。 例えば低解像度の画像データを高解像度のモニタで表示する場 合には、 低解像度の画像データを高解像度の画像デ一夕にフォーマツ ト 変換する画像データ変換装置が必要となる。 従来、 この種の画像デ一夕 変換装置においては、 低解像度の画像デ一夕に対して補間フィル夕によ る周波数補間処理を施して画素補間を行うことによ り高解像度の画像デ —夕を形成している。
ところで画像デ一夕変換装置としては、 低解像度の画像データをその 各画素の信号レベル分布に応じたクラスに分類した後、 予測係数と呼ば れるデ一夕が予め格納されているメモリからそのクラスに対応する予測 係数を読み出し、 当該予測係数と低解像度の画像データとから高解像度 の画像デ一夕を予測演算するいわゆるクラス分類適応処理を採用したァ ヅプコンパ一夕がある。
メモリに格納されている予測係数は、 学習と呼ばれるデータ処理によ つて予め生成されている。 この予測係数を生成する学習回路は、 教師画 像としての高解像度の画像データをディ ジタルフィル夕によってダウン コンバー トすることにより生徒画像としての低解像度の画像データを生 成し、 高解像度の画像データと低解像度の画像デ一夕との間で学習を行 つて予測係数を生成するようになされている。
ところでこのディ ジタルフィル夕の周波数特性は、 高解像度の画像デ —夕が複数の信号特性を有する場合には、 それぞれの信号特性に応じて 周波数特性を変えることが望ましい。 すなわち低解像度の画像デ一夕か ら高解像度の画像データを生成する際、 静止画部分は、 視覚的な分解能 が向上することから、 ディ ジタルフィル夕は解像度を向上させるような 周波数特性のものが望ましいのに対して、 動画部分は、 解像度をあま り 向上させると高帯域の不要な信号成分が動いてしまい画質が劣化するこ とから、 ディ ジタルフィル夕は解像度の向上を抑えるような周波数特性 のものが望ましい。
従って、 1つのディ ジタルフィル夕を用いて高解像度の画像データを 低解像度の画像デ一夕にダウンコンバー ト して予測係数を生成する場合 には、 高解像度の画像データが複数の信号特性を有すると、 それぞれの 信号特性に応じた予測係数を生成することができず、 その結果、 低解像 度の画像データから高解像度の画像デ一夕を生成する際、 画質の向上を 妨げる問題があった。
また、 静止画部分及び動画部分でディ ジ夕ルフィル夕の周波数特性を 変えることに限らず、 他の要因によってもディ ジタルフィル夕の周波数 特性を変える方が良い場合があった。 発明の開示
本発明は以上の点を考慮してなされたもので、 従来に比して一段と第
1のデ一夕の特徴に合った変換処理を行うための予測係数を演算する演 算装置及び当該演算装置によって演算された予測係数を用いて第 2のデ —夕を生成する変換装置並びにそれらの方法を提案しょう とするもので ある。 かかる課題を解決するため本発明においては、 第 1の画像データを、 第 1の画像デ一夕より高質な第 2の画像デ一夕に変換するための予測係 数を演算する演算装置において、 第 1の画像デ一夕より高質な教師画像 デ一夕を、 その特徴に基づいて複数のクラスに分類するクラス決定部と 、 クラス決定部で決定されたクラス毎に異なるフィル夕処理を、 教師画 像デ一夕に対して行うことで、 第 1の画像データと同質の生徒画像デー. 夕を生成する生徒画像データ生成部と、 生徒画像デ一夕と教師画像デー 夕とに基づいて予測係数を生成する予測係数生成部とを設けるようにす る。
クラス毎に異なるフィル夕処理を教師画像データに対して行うことに よ り、 第 1の画像データ及び教師画像データの特徴に合った生徒画像デ 一夕が生成される。 この生徒画像デ一夕及び教師画像データに基づいて 予測係数を生成することによ り、 第 1の画像データ及び教師画像デ一夕 の特徴に合った予測係数が生成される。
この予測係数を、 変換装置において第 1の画像データの特徴に合わせ て用いることによ り、 第 1の画像デ一夕から第 2の画像デ一夕を変換す るにつき、 第 1の画像デ一夕の特徴に合った変換処理を行うことができ る o 図面の簡単な説明
図 1は、 アップコンパ'一夕の構成を示すブロック図である。
図 2は、 クラスタップ配置例を示す略線図である。
図 3は、 予測タップ配置例を示す略線図である。
図 4は、 学習回路の構成を示すブロック図である。
図 5は、 予測係数生成手順を示すフローチヤ一トである。
図 6は、 第 1の実施例の予測係数生成手順を示すフ口一チャートであ る。
図 7は、 本発明によるダウンコンバートの第 1の実施例の説明に供す る略線図である。
図 8は、 本発明による学習方法と係数メモリの第 1の実施例の説明に 供する略線図である。
図 9は、 本発明によるアップコンパ一夕の第 1の実施例を示すプロッ ク図である。
図 1 0は、 本発明によるダウンコンパ一卜の第 2の実施例の説明に供 する略線図である。
図 1 1は、 本発明による学習方法と係数メモリの第 2の実施例の説明 に供する略線図である。
図 1 2は、 本発明によるアツプコンバ一夕の第 2の実施例を示すプロ ック図である。
図 1 3は、 マツビング時のクラスタツプ配置例を示す略線図である。 図 1 4は、 ダウンコンバート時のクラスタップ配置例を示す略線図で める。 発明を実施するための最良の形態
以下図面について、 本発明の一実施例を詳述する。
( 1 ) クラス分類適応処理の原理
ここで図 1は、 クラス分類適応処理を実現するァップコンバ一夕 5 1 の回路構成を示す。 アップコンパ一夕 5 1では、 外部から供給される例 えば 8ビヅ トのパルス符号変調 （P CM : P u l s e C o d e Mo du l a t i o n) デ一夕でなる SD ( S t a nd a r d
D e f i n i t i o n) 画像デ一夕 S 5 1がクラス分類部 52及び予測 演算部 53に入力される。 クラス分類部 52は、 例えば図 2に示すよう に、 S D画像データ S 5 1のうち注目画素及び当該注目画素を中心とし た複数の周辺画素でなる合計 7画素 （タップ） をクラス分類用の画素
(以下、 これをクラスタップと呼ぶ） として設定し、 それら画素の信号 レベル分布に基づいてクラスコード S 52を生成する。 因みに、 図中実 線は第 1フィールドを示し、 点線は第 2フィールドを示す。
このクラス分類部 52によってクラスコード S 52を生成する方法と しては、 P CMデ一夕を直接使用する （すなわち P CMデ一夕をそのま まクラスデ一夕 S 52とする） 方法や、 ADR C (Ad a p t i v e D yn am i c R a n e C o d i n g ) 等のデ一夕圧縮方法を用 いてクラス数を削減するような方法が考えられる。 このうち P CMデー 夕をそのままクラスコード S 52とする方法では、 クラスタップとして 8ビヅ 卜の P CMデータを 7タップ用いることから、 クラス数が 256と いう膨大な数となり、 回路規模が大きくなる。
そこで、 クラス分類部 52は、 ADR Cのようなデ一夕圧縮処理 （す なわち再量子化処理） を施すことによりクラス数を削減するようになさ れている。 この AD R Cによる分類法は、 注目画素を中心とする近傍領 域内の数タップから A D R Cコードを、 次式
X MIN
C. =
DR
21
(1) によって求め、 当該 ADR Cコ一 ドに基づいてクラスコ一ド S 5 2を生 成する手法を用いている。 ここで、 C iは ADR Cコード、 X iは各クラ ス夕ップの入力画素値、 M I Nは A D R Cにおけるブロックにある各ク ラス夕ップの入力画素値のうちの最小画素値、 D Rは領域内のダイナミ ックレンジ （最大画素値と最小画素値との差分） 、 kは再量子化ビッ ト 数である。
すなわち ADR Cによる分類法は、 領域内のダイナミ ックレンジから 再量子化ビッ ト数に応じた量子化ステップ幅を算出し、 入力画素値から 最小画素値を減算した画素値を量子化ステツプ幅に応じて再量子化する ものである。 例えば領域内の 7タップにおいて各クラスタップを 1ビッ トに再量子化する 1ビッ ト AD R Cを行う場合では、 領域内のダイナミ ックレンジに基づいて 7夕ップの各入力画素値を適応的に 1ビッ ト量子 化し、 その結果、 7タップの入力画素値を 7ビッ トのデ一夕に削減する ことができるので、 全体としてクラス数を 1 28クラスにまで削減する ことができる。 この 1ビヅ ト AD R Cについては、 特開平 7 _ 8 748 1号及びその対応米国特許第 5488 6 1 8号に開示されている。
図 1に戻って、 予測係数 ROM (R e ad On l y Memo r y ) 54は、 後述する学習回路 60によって予め生成された各クラス毎に 対応する予測係数データ S 53を格納しており、 クラス分類部 52から 供給されるクラスコー ド S 52に応じた予測係数デ一夕 S 53を読み出 し、 これを予測演算部 53に送出する。 予測演算部 53は、 例えば図 3 に示すように、 外部から入力される S D画像デ一夕 S 5 1のうち、 注目 画素及び当該注目画素を中心とした複数の周辺画素でなる合計 1 3タツ プを予測演算用の画素 （以下、 これを予測タップと呼ぶ） として選定し 、 当該予測タップの各画素値と予測係数データ S 5 3とを用いて、 線形 一次結合でなる次式 χ' = J W4 x X. = x Χα + · · + Wn X Xn
..... (2) によって表される積和演算を行うことにより、 予測タップには存在しな い HD (H i h D e f i n i t i o n) 画素の集ま りである HD画 像デ一夕 S 54を生成し、 これを外部に出力する。 ここで、 x' は各 H D画素値、 X iは各予測タップの画素値、 W iは予測係数、 nは予測タツ プ数であり、 この場合 nは 1 3である。
ところで図 4は、 予測係数 R OM 54に格納されている予測係数デ一 夕を生成する学習回路 6 0の回路構成を示し、 当該学習回路 6 0は、 予 測係数データを予め生成して、 これを予測係数 R OM 5 4に格納するよ うになされている。 学習回路 6 0では、 教師信号としての HD画像デ一 夕 S 6 0が垂直間引きフ ィル夕 6 1及び予測係数算出回路 6 2に入力さ れる。 学習回路 6 0は、 HD画像デ一夕 S 6 0を垂直間引きフィル夕 6 1及び水平間引きフィル夕 6 2によって間引く ことによ り、 生徒信号と しての S D画像デ一夕 S 6 1を生成し、 これをクラス分類部 6 4及び予 測係数算出回路 6 2に入力するようになされている。
クラス分類部 6 4は、 図 1に示すアップコンパ一夕のクラス分類部 5 2 と同様の構成でなり、 S D画像デ一夕 S 6 1からクラスタツプを選定 し、 その信号レベル分布に基づいてクラスコード S 6 2を生成し、 これ を予測係数算出回路 6 2に送出する。 予測係数算出回路 6 2は、 H D画 像デ一夕 S 6 0及び S D画像デ一夕 S 6 1を基に、 クラスコード S 6 2 が示すクラスに応じた予測係数をクラス毎に算出し、 その結果得た予測 係数デ一夕 S 6 3を予測係数 R OM 5 4に格納する。
この場合、 予測係数算出回路 6 2は、 上述の （ 2 ) 式における予測係 数 wを最小自乗法によって求めるようになされている。 具体的には予測 係数算出回路 6 2は、 Xを S D画素値、 Wを予測係数、 Yを HD画素値 として、 いわゆる観測方程式と呼ばれる次式
XW = Y ( 3 )
但し
Figure imgf000009_0001
を生成するように各データを収集する。 ここで mは予測する HD画素の 画素数を示す学習データ数、 nは予測タップ数である。
次に予測係数算出回路 62は、 この （ 3) 式を基に、 次式
X W= Y + E ..... (4) 但し、 e.
E e. に示す残差方程式を立てる。 従って各予測係数 w は、 この （ 4 ) 式か ら、 次式
Figure imgf000010_0001
( 5) が最小のときに最適な値となることがわかる。 すなわち次式
e. + e. + + e. 0
0 .
( 6)
( i = I s 2、 n) を満たすように予測係数 w iが算出される。
そこで予測係数算出回路 6 2は、 この n個ある （ 6 ) 式を満たすよう な 、 w2 、 、 wn を算出すればよいことになり、 上述の
(4) 式から、 次式 ~ = Xil, " ~ = Xi2,' · ·' ~ ~ = Xin
l 2 n
( i = 1、 2、 ……、 m) …… (7) を得、 これら （ 6 ) 及び （ 7) 式から、 次式
∑ eiXil = 0,2 e.xi2 = 0, , e.xin = 0
…… ( 8) を求める。 そして予測係数算出回路 62は、 上述の （4) 及び （ 8) 式 から、 次式
(∑ XjiXji + (2 XjiXja + · · · + (∑ XjiXj„)Wr
Figure imgf000011_0001
(Σ + ( Xj2X j2)W2 + · · ' + (∑ Xj2Xjn)Wr
(∑ x Yj)
Figure imgf000012_0001
(9) によって表される正規方程式を生成する。 このようにして予測係数算出 回路 6 2は、 予測タツプ数 nと同一次数の連立方程式でなる正規方程式 を生成し、 掃き出し法 （ G a u s s J 0 r d a nの消去法） を用いて この正規方程式を解く ことにより、 各予測係数 W iを算出する。
以下、 学習回路 60による予測係数生成手順について図 5に示すフロ —チヤ一 トを用いて説明する。 ステップ S P 6 1から入ったステップ S P 6 2において、 学習回路 60は、 教師信号としての HD画像デ一夕 S 60から生徒信号としての S D画像デ一夕 S 6 1を生成することにより 、 予測係数を生成するのに必要な学習データを生成すると共に、 SD画 像デ一夕 S 6 1からクラス夕ップを選定し、 その信号レベル分布に基づ いてクラス分類を行う。
そして、 ステップ S P 63において、 学習回路 60は、 予測係数を生 成するのに必要十分な数の学習デ一夕が得られたか否か判定し、 その結 果、 未だ必要十分な学習データが得られていないと判断された場合には ステップ S P 63において否定結果を得ることによりステップ S P 6 5 に移行する。
ステップ S P 6 5において、 学習回路 60は、 各クラス毎に上述の ( 9) 式でなる正規方程式を生成し、 ステップ S P 62に戻って同様の 処理手順を繰り返すことによ り、 予測係数を生成するのに必要十分な正 規方程式を生成する。
これに対してステップ S P 63において肯定結果が得られると、 この ことは必要十分な学習デ一夕が得られたことを表しており、 このとき学 習回路 6 0はステップ S P 6 6に移って、 上述の （ 9 ) 式でなる正規方 程式を掃き出し法によって解く ことにより、 予測係数 wl s w2、 ……、 wnを各クラス毎に生成する。 そしてステップ S P 6 7において、 学習 回路 6 0は、 生成した各クラス毎の予測係数 w2、 ……、 wnを予 測係数 R OM 5 4に格納し、 ステツプ S P 6 8に移って処理を終了する ο
( 2 ) 第 1の実施例
学習回路は、 教師画像としての HD画像デ一夕を生徒画像としての S D画像デ一夕にダウンコンバート し、 これら HD画像デ一夕と S D画像 デ一夕との間で学習を行うことにより各クラス毎の予測係数を生成する ようになされている。 以下、 学習回路 6 0による予測係数生成手順につ いて図 6に示すフローチャートを用いて説明する。
ステップ S P 7 1から入ったステップ S P 7 2において、 学習回路は 、 教師画像としての H D画像データから生徒画像としての S D画像デ一 夕を生成することによ り、 予測係数を生成するのに必要な学習デ一夕を 生成する。 このステップ S P 7 2において、 学習回路は、 図 7に示すよ うに、 通過帯域の異なる複数のダウンフィル夕 F 1〜F 4を使って 1つ の H D画像デ一夕 H Dから複数の S D画像デ一夕 S D 1〜 S D 4を生成 する。 この場合、 ダウンフィル夕 F 1の通過帯域が最も高く、 ダウンフ ィル夕 F 2、 F 3及び F 4の順に通過帯域が低くなるように設定されて いる。
ステップ S P 7 3において、 学習回路は、 予測係数を生成するのに必 要十分な数の学習データが得られたか否かを判定し、 その結果、 未だ必 要十分な学習デ一夕が得られていないと判断された場合にはステツプ S P 7 3において否定結果を得ることによりステップ S P 7 5に移る。 ステップ S P 7 5において、 学習回路は、 各 S D画像データ S D 1〜 S D 4ごとに上述の （ 9 ) 式でなる正規方程式を生成し、 ステップ S P 7 2に戻って同様の処理手順を繰り返すことにより、 予測係数を生成す るのに必要十分な数の正規方程式を生成する。
これに対してステップ S P 73において肯定結果が得られると、 この ことは必要十分な数の学習データが得られたことを表しており、 このと き学習回路はステップ S P 7 6に移って、 上述のステヅプ S P 7 5にお いて生成された正規方程式を掃き出し法によって解く ことにより、 各 S D画像データ SD 1〜SD 4ごとに予測係数を生成する。
このステップ S P 7 6の処理において、 学習回路は、 図 8に示すよう に、 H D画像デ一夕 HDと SD画像デ一夕 SD 1との間で学習 S T 1を 行うことによ り予測係数 Y 1を生成し、 これを係数メモリ M 1に格納す る。 以下、 同様に学習回路は、 HD画像データ HDと S D画像デ一夕 S D 2〜SD 4との間でそれぞれ学習 S T 2〜S T 4を行うことによ り予 測係数 Y 2〜 Y 4をそれぞれ生成し、 これらを係数メモリ M 2 ~M 4に それぞれ格納する。
ここでダウンフィル夕 Fの周波数特性は、 H D画像デ一夕 H Dのうち 動きの小さい領域に対しては通過帯域を高く、 動きの大きい領域に対し ては通過帯域を低くすることが望ましい。 従って学習回路は、 図 6のス テヅプ S P 7 7において、 H D画像デ一夕 H Dをその動きの度合いに応 じて 4つの動きクラス C 1〜C 4に分類し、 係数メモリ M 1に格納され ている予測係数 Y 1のうち動きクラス C 1に対応するものを予測係数メ モリ M 5に格納する。 同様に、 係数メモリ M 2に格納されている予測係 数 Y 2のうち動きクラス C 2に対応するものを係数メモリ M 5に格納し 、 係数メモリ M 3に格納されている予測係数 Y 3のうち動きクラス C 3 に対応するものを係数メモリ M 5に格納し、 係数メモリ M 4に格納され ている予測係数 Y 4のうち動きクラス C 4に対応するものを係数メモリ M 5に格納することにより係数メモリ M 5への予測係数の登録を行い、 続くステップ S P 78において予測係数生成手順を終了する。
図 9は、 学習によって生成された係数メモリ M 5を採用したアツプコ ンバ一夕 1 00の構成を示す。 アップコンバータ 1 00は、 入力される S D画像デ一夕 S 1 0 0をクラス分類部 1 0 1及びディ レイ回路 1 02 に入力する。 クラス分類部 1 0 1は、 S D画像デ一夕 S 1 00をクラス 分類することによりクラスコード S 1 0 1を発生し、 これを係数メモリ M 5に送出する。
係数メモリ M 5は、 供給されたクラスコ一ド S 1 0 1に基づいて、 動 きクラス C 1〜C 4のうちクラスコード S 1 0 1に応じた動きクラス C の予測係数を読み出し、 その予測係数デ一夕 S 1 0 2をマッピング回路 1 03に送出する。 ディ レイ回路 1 02は、 S D画像データ S 1 00を 所定時間遅延し、 マッピング回路 1 03に送出する。 マッピング回路 1 03は、 S D画像デ一夕 S 1 00と予測係数デ一夕 S 1 02との積和演 算を行うことによ り HD画像データ S 1 03を生成し、 外部に出力する ようになされている。
以上の構成において、 学習回路は、 通過帯域の異なる複数のダウンフ ィル夕 F 1〜F 4を使って 1つの H D画像デ一夕 H Dから複数の S D画 像デ一夕 SD 1〜S D 4を生成した後、 HD画像デ一夕 H Dと S D画像 デ一夕 SD 1〜S D 4との間でそれぞれ学習を行って予測係数 Y 1〜 Y 4をそれぞれ生成し、 当該予測係数 Y 1〜Y 4のうち動きクラス C 1〜 C 4に相当するものをそれぞれ抽出して係数メモリ Μ 5に格納すること により、 H D画像デ一夕 H Dの動きに応じた予測係数を係数メモリ Μ 5 に格納することになる。 かく して、 SD画像デ一夕 S 1 00の動きに応 じた予測係数を用いて H D画像デ一夕 S 1 03を生成することになり、 従来のように 1つのダウンフ ィル夕によって生成された予測係数を用い てマッピングを行う場合に比して、 H D画像デ一夕 S 1 03の画質が向 上する。
以上の構成によれば、 通過帯域の異なる複数のダウンフ ィル夕 F 1〜 F 4を使って複数の予測係数 Υ 1〜 Υ 4をそれぞれ生成し、 当該予測係 数 Υ 1〜Υ4の中から動きクラス C 1〜C 4に相当するものを抽出して 係数メモリ M 5に格納することによ り、 S D画像デ一夕 S 1 00の動き を考慮した予測係数を用いて HD画像データ S 1 03を生成することが でき、 かく して従来に比して一段と HD画像デ一夕 S 1 0 3の画質を向 上し得る。
( 3 ) 第 2の実施例
図 7との対応部分に同一符号を付して示す図 1 0は、 第 2の実施例に よるダウンコンバ一夕 1 1 0の構成を示す。 ダウンコンバ一夕 1 1 0は 、 教師画像としての HD画像データ HDをスイ ッチ SW 1及びクラス分 類部 1 1 1に入力する。 クラス分類部 1 1 1は、 HD画像データ HDを その動き量に応じた動きクラス C 1〜C 4に分類することによりクラス デ一夕 S 1 1 0を生成し、 これをスィ ッチ SW 1及び SW2に供給する 。 この場合、 クラス分類部 1 1 1は、 最も動き量が小さいものを動きク ラス C 1に分類し、 当該動き量が大きくなることに応じて動きクラス C 2〜 C 4に分類し、 最も動き量の大きいものを動きクラス C 4に分類す る。 なお、 動き量によってクラス分類を行う画像信号変換装置は、 特開 平 9— 74 543号に記載されている。
スィ ッチ SW 1及び SW2は、 供給されるクラスデ一夕 S 1 1 0が示 す動きクラス Cに基づいて画素毎に通過帯域の異なる複数のダウンフィ ル夕 F 1〜 F 4を適応的に切り換えながら選択する。 ダウンコンパ一夕 1 1 0は、 切り換えられたダウンフィル夕 Fによって H D画像データ H Dをダウンコンバートすることにより 1つの S D画像デ一夕 S Dを生成 する。 その際、 HD画像デ一夕 HDの動き量が小さい場合には、 通過帯 域が高いダウンフィル夕 F 1を選択し、 動き量が大きくなることに応じ て通過帯域の低いダウンフィル夕 F 2〜F 4を選択する。 このようにダ ゥンコンパ一夕 1 1 0は、 HD画像デ一夕 HDの動き量に応じてダウン フィル夕 Fを適応的に切り換えながら S D画像データ S Dを生成する。 次いで図 1 1に示すように、 学習回路は、 教師画像としての HD画像 データ HDと生徒画像としての SD画像データ SDとの間で学習 S Tを 行うことにより予測係数 Yを生成し、 これを係数メモリ Mに格納する。 図 9 との対応部分に同一符号を付して示す図 1 2は、 上述の係数メモ リ Mを使ったアップコンバータ 1 2 0の構成を示す。 アップコンパ一夕 1 2 0は、 入力される S D画像デ一夕 S 1 0 0をクラス分類部 1 0 1及 びディ レイ回路 1 0 2に入力する。 クラス分類部 1 0 1は、 S D画像デ —夕 S 1 0 0をクラス分類することによりクラスコード S 1 0 1 を発生 し、 これを係数メモリ Mに送出する。
係数メモリ Mは、 供給されたクラスコ一ド S 1 0 1に基づいて予測係 数を読み出し、 その予測係数デ一夕 S 1 2 0をマツビング回路 1 0 3に 送出する。 ディ レイ回路 1 0 2は、 S D画像デ一夕 S 1 0 0を所定時間 遅延し、 マッピング回路 1 0 3に送出する。 マツビング回路 1 0 3は、 S D画像データ S 1 0 0 と予測係数デ一夕 S 1 2 0 との積和演算を行う ことによ り、 H D画像デ一夕 S 1 2 1 を生成し、 外部に出力するように なされている。 ここでアツプコンバ一夕 1 2 0のクラス分類部 1 0 1 (図 1 2 ) によるクラス分類について図 1 3を用いて説明する。 クラス 分類部 1 0 1は、 S D画像データのうち、 同一フ ィ ール ド内に存在する 9画素と、 当該 9画素と同一位置に存在する 1 フ レーム前の 9画素に注 目して、 各画素のフレーム間差分をそれぞれ求めた上でそれらの絶対値 和をと り、 当該絶対値和を閾値に基づいて判定することにより S D画像 デ一夕を 4クラスに分類する。
続いてダウンコンパ'一夕 1 1 0のクラス分類部 1 1 1 (図 1 0 ) によ るクラス分類について図 1 4を用いて説明する。 クラス分類部 1 1 1は 、 S D画像データの 4倍の画素数を有する H D画像データをクラス分類 することから、 S D画像デ一夕の場合と同一の面積でなる領域から 1画 素おきに 9画素を抽出して、 その各画素のフレーム間差分の絶対値和を とることにより 4クラスに分類する。
従って、 S D画像デ一夕をアップコンバータ 1 2 0のクラス分類部 1 0 1 によって分類したクラスと、 当該 S D画像デ一夕と対応関係にある H D画像デ一夕をダウンコンバ一夕 1 1 0のクラス分類部 1 1 1によつ て分類したクラスとは、 同一とはならない場合があるが、 ほぼ同一の領 域のクラスタップを抽出してクラス分類していることから、 両クラス間 の不整合はほとんどなく無視できる程度である。
以上の構成において、 ダウンコンパ一夕 1 1 0は、 H D画像データ H Dの動き量に応じて複数の周波数特性のダウンフ ィル夕 Fを適応的に切 り換えながら、 H D画像デ一夕 H Dをダウンコンパ一トすることにより 1つの S D画像デ一夕 S Dを生成する。 学習回路は、 これら H D画像デ —夕 H Dと S D画像データ S Dとの間で学習 S T行うことにより予測係 数を生成し、 係数メモリ Mに格納する。
ところでアツプコンバ一夕 1 0 0のクラス分類部 1 0 1は、 全ての S D画像デ一夕 S 1 0 0について完全に正しく クラス分類し得るわけでは なく、 実際上は、 完全なクラス分類は困難である。 従って、 上述の第 1 の実施例によるアツプコンバ一夕 1 0 0では、 同じような信号レベル分 布の S D画像デ一夕 S 1 0 0から H D画像デ一夕 S 1 0 3を生成する場 合であっても、 クラス分類が正確に行われずに、 全く周波数特性の異な るダウンフ ィル夕 Fを用いて生成された予測係数によってマッピングす るおそれがあり、 その際、 予測係数の値が大きく変化してしまい、 生成 される H D画像デ一夕 S 1 0 3の画質が劣化することがある。
これに対して、 第 2の実施例によるアップコンパ'一夕 1 2 0では、 同 じょうな信号レベル分布の S D画像デ一夕 S 1 0 0を異なるクラスに分 類しても、 予測係数が大きく変化することはなく、 その結果、 生成され る H D画像デ一夕 S 1 2 1の画質が劣化することがなくなる。
また学習 S Tを行う際には、 生徒画像として 1つの S D画像データ S Dを用いるだけで済むため、 学習 S Tにかかる時間が短縮される。
以上の構成によれば、 H D画像デ一夕 H Dをクラス分類してそのクラ スに応じて複数の周波数特性のダウンフ ィル夕 Fを適応的に切り換えな がら、 H D画像デ一夕 H Dを S D画像デ一夕 S Dに変換して予測係数を 生成することにより、 マッピング時に、 使用される予測係数が S D画像 データ S 1 0 0のクラスによって大きく変化することを回避することが でき、 従って第 1の実施例の場合に比して一段と画質を向上し得る。 ( 4 ) 他の実施例
なお上述の実施例においては、 本発明を S D画像データ S 1 0 0から H D画像デ一夕 S 1 0 3及び S 1 2 1 を生成する画像デ一夕変換装置に 適用した場合について述べたが、 本発明はこれに限らず、 要は、 第 1の データから第 2のデータを生成するデ一夕変換装置に本発明を広く璋用 し得る。
また上述の実施例においては、 予測データの生成に学習回路を適用し た場合について述べたが、 本発明はこれに限らず、 要は、 第 2の画像デ —夕に対応する教師画像データから通過帯域の異なる複数のフィル夕を 用いて予測データを生成すれば良い。
また上述の実施例においては、 予測データ記憶機能として係数メモリ M 5及び Mを適用した場合について述べたが、 本発明はこれに限らず、 要は、 予測データを記憶するものであれば良い。
また上述の実施例においては、 クラスの決定にクラス分類部 1 0 1 を 適用した場合について述べたが、 本発明はこれに限らず、 要は、 第 1の 画像データから注目画素を含む複数の画素を抽出し、 その抽出された複 数の画素から注目画素に対するクラスを決定すれば良い。
また上述の実施例においては、 読出しの制御に係数メモリ M 5及び M を適用した場合について述べたが、 本発明はこれに限らず、 要は、 決定 されたクラスに応じた予測デ一夕を予測デ一夕記憶部から読み出せば良 い o
また上述の実施例においては、 画素データの発生にマッピング回路 1 0 3を適用した場合について述べたが、 本発明はこれに限らず、 要は、 予測データ記憶部から読み出された予測データから第 2の画像デ一夕の 注目画素を発生すれば良い。
また上述の実施例においては、 本発明を画像デ一夕変換装置に適用す る場合について述べたが、 本発明はこれに限らず、 例えば音声等近接す る複数のデータ間 （波形） に関連性のあるデータに対して適用して好適 である。
さらに上述の実施例においては、 本発明によるクラス分類適応処理を
S D— H D変換のように画素数 （空間解像度） を変換する場合に適用し たが、 本発明はこれに限らず、 特開平 5 - 1 6 7 9 9 1号公報に開示さ れているように時間解像度を創造する場合、 特開平 1 0— 3 1 3 2 5 1 号公報に開示されているようにサンプリ ング周波数を高く して音質を改 善する場合、 特開平 7— 8 5 2 6 7号公報に開示されているように量子 化ビッ ト数を多く して情報量の増加に対応した信号を生成することによ り空間解像度を高くする場合、 特願平 1 0— 1 2 3 0 2 1号で提案され ているように画像のぼけを改善する場合にそれぞれ適用することができ る o
上述のように本実施例によれば、 第 2の画像データに対応する教師画 像デ一夕から通過帯域の異なる複数のフィル夕を用いて予測デ一夕を生 成することにより、 第 1の画像デ一夕の特徴に応じた予測データを用い て第 2の画像デ一夕を生成することができ、 かく して従来に比して一段 と画質を向上し得る。 産業上の利用可能性
例えば低解像度の画像デ一夕から高解像度の画像データを生成する画 像データ変換装置及びその変換処理に用いられる予測係数を演算する装 置に適用して好適なものである。

Claims

請 求 の 範 囲
1 . 第 1の画像デ一夕を、 第 1の画像デ一夕より高質な第 2の画像デ一 夕に変換するための予測係数を演算する演算装置において、
上記第 1の画像データより高質な教師画像データを、 その特徴に基づ いて複数のクラスに分類するクラス決定部と、
上記クラス決定部で決定されたクラス毎に異なるフィル夕処理を、 上 記教師画像データに対して行うことで、 上記第 1の画像デ一夕と同質の 生徒画像データを生成する生徒画像データ生成部と、
上記生徒画像データと上記教師画像データとに基づいて上記予測係数 を生成する予測係数生成部と
を具えることを特徴とする演算装置。
2 . 上記第 2の画像デ一夕及び上記教師画像データは、 上記第 1の画像 データよ り解像度が高い
ことを特徴とする請求の範囲第 1項に記載の演算装置。
3 . 上記第 2の画像データ及び上記教師画像データは、 上記第 1の画像 デ一夕よ り画素数が多い
ことを特徴とする請求の範囲第 1項に記載の演算装置。
4 . 上記第 2の画像デ一夕と上記教師画像デ一夕は、 同じ画素数である ことを特徴とする請求の範囲第 2項に記載の演算装置。
5 . 上記予測係数生成部は、 上記生徒画像データと上記教師画像データ との間で学習を行うことで上記予測係数を生成する
ことを特徴とする請求の範囲第 1項に記載の演算装置。
6 . 上記生徒画像データ生成部は、 上記クラス決定部で決定された上記 クラス毎に異なる通過帯域を有する上記フィル夕処理を上記教師画像デ —夕に対して行う
ことを特徴とする請求の範囲第 1項に記載の演算装置。
7 . 上記予測係数生成部は、 上記クラス毎に異なる予測係数を生成する ことを特徴とする請求の範囲第 6項に記載の演算装置。
8 . 上記生徒画像データ生成部は、 上記クラス決定部で決定されたクラ ス毎に異なる通過帯域のダウンフィル夕を用いてフィル夕処理を行うこ とで、 上記生徒画像デ一夕を生成する
ことを特徴とする請求の範囲第 7項に記載の演算装置。
9 . 上記クラス決定部は、 上記教師画像デ一夕の動きを上記特徴として 、 上記教師画像デ一夕を上記複数のクラスのいずれかに分類する
ことを特徴とする請求の範囲第 1項に記載の演算装置。
1 0 . 第 1の画像デ一夕を、 第 1の画像デ一夕より高質な第 2の画像デ —夕に変換するための予測係数を演算する演算方法において、
上記第 1の画像データより高質な教師画像データを、 その特徴に基づ いて複数のクラスに分類するステップと、
分類されたクラス毎に異なるフィル夕処理を、 上記教師画像デ一夕に 対して行うことで、 上記第 1の画像データと同質の生徒画像デ一夕を生 成するステップと、
上記生徒画像デ一夕と上記教師画像デ一夕とに基づいて上記予測係数 を生成するステップと
を具えることを特徴とする演算方法。
1 1 . 上記第 2の画像デ一夕及び上記教師画像データは、 上記第 1の画 像デ一夕より解像度が高い
ことを特徴とする請求の範囲第 1 0項に記載の演算方法。
1 2 . 上記第 2の画像デ一夕及び上記教師画像データは、 上記第 1の画 像デ一夕より画素数が多い
ことを特徴とする請求の範囲第 1 0項に記載の演算方法。
1 3 . 上記第 2の画像データと上記教師画像デ一夕は、 同じ画素数であ る
ことを特徴とする請求の範囲第 1 1項に記載の演算方法。
1 4 . 上記予測係数を生成するステップでは、 上記生徒画像データと上 記教師画像データとの間で学習を行うことで上記予測係数が生成される ことを特徴とする請求の範囲第 1 0項に記載の演算方法。
1 5 . 上記生徒画像デ一夕を生成するステップでは、 上記複数のクラス に分類するステップで決定された上記クラス毎に異なる通過帯域を有す る上記フィル夕処理が上記教師画像データに対して行われる
ことを特徴とする請求の範囲第 1 0項に記載の演算方法。
1 6 . 上記予測係数を生成するステップでは、 上記クラス毎に異なる予 測係数が生成される
ことを特徴とする請求の範囲第 1 5項に記載の演算方法。
1 7 . 上記生徒画像データを生成するステップでは、 上記複数のクラス に分類するステツプで決定されたクラス毎に異なる通過帯域のダウンフ ィル夕を用いてフィル夕処理を行うことで、 上記生徒画像デ一夕が生成 される
ことを特徴とする請求の範囲第 1 6項に記載の演算方法。
1 8 . 上記複数のクラスに分類するステップでは、 上記教師画像デ一夕 の動きを上記特徴として、 上記教師画像データが上記複数のクラスのい ずれかに分類される
ことを特徴とする請求の範囲第 1 0項に記載の演算装置。
1 9 . 第 1の画像データを、 上記第 1の画像デ一夕より高質な第 2の画 像データに変換する変換装置において、
複数のクラスの各クラス毎に予測係数を記憶する記憶部と、 上記第 1の画像デ一夕をその特徴に基づいて上記複数のクラスのいず れかに対応するかを決定するクラス決定部と、
上記クラス決定部で決定されたクラスに対応する予測係数に基づいて
、 上記第 1の画像デ一夕を上記第 2の画像データに変換する変換部とを 具え、
上記記憶部に記憶されている上記予測係数は、
上記第 1の画像データより高質な教師画像データを、 その特徴に基づ いて複数のクラスに分類するステップと、
上記分類されたクラス毎に異なるフィル夕処理を上記教師画像デ一夕 に対して行うことで、 上記第 1の画像データと同質の生徒画像デ一夕を 生成するステヅプと、
上記生徒画像データと上記教師画像デ一夕とに基づく学習を行うステ ヅプと
を予め行うことにより生成されたことを特徴とする変換装置。
2 0 . 上記第 2の画像デ一夕及び上記教師画像データは、 上記第 1の画 像データより解像度が高い ことを特徴とする請求の範囲第 1 9項に記載の変換装置。
2 1 . 上記第 2の画像データ及び上記教師画像デ一夕は、 上記第 1の画 像データよ り画素数が多い
ことを特徴とする請求の範囲第 1 9項に記載の変換装置。
2 2 . 上記第 2の画像デ一夕と上記教師画像データは、 同じ画素数であ る
ことを特徴とする請求の範囲第 2 0項に記載の変換装置。
2 3 . 上記生徒画像データを生成するステップでは、 上記複数のクラス に分類するステツプで決定された上記クラス毎に異なる通過帯域を有す る上記フィル夕処理が上記教師画像データに対して行われる
ことを特徴とする請求の範囲第 1 9項に記載の変換装置。
2 4 . 第 1のデータを、 第 1のデ一夕より高質な第 2のデ一夕に変換す るための予測係数を演算する演算装置において、
上記第 1のデ一夕より高質な教師データを、 その特徴に基づいて複数 のクラスに分類するクラス決定部と、
上記クラス決定部で決定されたクラス毎に異なるフ ィル夕処理を、 上 記教師データに対して行うことで、 上記第 1のデ一夕と同質の生徒画像 デ一夕を生成する生徒データ生成部と、
上記生徒デ一夕と上記教師デ一夕とに基づいて上記予測係数を生成す る予測係数生成部と
を具えることを特徴とする演算装置。
2 5 . 上記第 1のデータは、 第 1のデータ数であり、 上記第 2のデ一夕 は上記第 1のデータ数より多い第 2のデ一夕数であり、 上記教師データ は、 上記第 1のデ一夕数より多い第 3のデ一夕数である ことを特徴とする請求の範囲第 2 4項に記載の演算装置。
2 6 . 上記第 2のデータ数と上記第 3のデ一夕数は同じである
ことを特徴とする請求の範囲第 2 5項に記載の演算装置。
2 7 . 上記第 1のデ一夕、 上記第 2のデ一夕及び上記教師デ一夕は、 画 像データである
ことを特徴とする請求の範囲第 2 4項に記載の演算装置。
2 8 . 上記予測係数生成部は、 上記第 1のデ一夕と上記教師データとの 間で学習を行うことで上記予測係数を生成する
ことを特徴とする請求の範囲第 2 4項に記載の演算装置。
2 9 . 上記生徒デ一夕生成部は、 上記クラス決定部で決定された上記ク ラス毎に異なる通過帯域を有する上記フィル夕処理を上記教師データに 対して行う
ことを特徴とする請求の範囲第 2 4項に記載の演算装置。
3 0 . 上記予測係数生成部は、 上記クラス毎に異なる予測係数を生成す る
ことを特徴とする請求の範囲第 2 9項に記載の演算装置。
3 1 . 上記生徒デ一夕生成部は、 上記クラス決定部で決定されたクラス 毎に異なる通過帯域のダウンフィル夕を用いてフィル夕処理を行うこと で、 上記生徒データを生成する
ことを特徴とする請求の範囲第 3 0項に記載の演算装置。
3 2 . 上記第 1のデータは所定範囲内において相関を有する
ことを特徴とする請求の範囲第 2 4項に記載の演算装置。
3 3 . 第 1のデ一夕を、 第 1のデ一夕より高質な第 2のデ一夕に変換す るための予測係数を演算する演算方法において、
上記第 1のデ一夕より高質な教師デ一夕を、 その特徴に基づいて複数 のクラスに分類するステップと、
分類されたクラス毎に異なるフィル夕処理を、 上記教師デ一夕に対し て行うことで、 上記第 1のデ一夕と同質の生徒デ一夕を生成するステツ プと、
上記生徒データと上記教師デ一夕とに基づいて上記予測係数を生成す るステップと
を具えることを特徴とする演算方法。
3 4 . 上記第 1のデ一夕は、 第 1のデータ数であり、 上記第 2のデータ は上記第 1のデ一夕数よ り多い第 2のデ一夕数であり、 上記教師デ一夕 は、 上記第 1のデータ数より多い第 3のデータ数である
ことを特徴とする請求の範囲第 3 3項に記載の演算方法。
3 5 . 上記第 2のデータ数と上記第 3のデータ数は同じである
ことを特徴とする請求の範囲第 3 4項に記載の演算方法。
3 6 . 上記第 1のデ一夕、 上記第 2のデータ及び上記教師デ一夕は、 画 像デ一夕である
ことを特徴とする請求の範囲第 3 3項に記載の演算方法。
3 7 . 上記予測係数を生成するステップでは、 上記生徒デ一夕と上記教 師デ一夕との間で学習を行うことで上記予測係数が生成される ことを特徴とする請求の範囲第 3 3項に記載の演算方法。
3 8 . 上記予測係数を生成するステップでは、 上記クラス毎に異なる予 測係数が生成される
ことを特徴とする請求の範囲第 3 7項に記載の演算方法。
3 9 . 上記生徒デ一夕を生成するステップでは、 上記複数のクラスに分 類するステツプで決定されたクラス毎に異なる通過帯域のダウンフィル 夕を用いてフィル夕処理を行うことで、 上記生徒データが生成される ことを特徴とする請求の範囲第 3 8項に記載の演算方法。
4 0 . 第 1のデータを、 上記第 1のデ一夕より高質な第 2のデ一夕に変 換する変換装置において、
複数のクラスの各クラス毎に予測係数を記憶する記憶部と、 上記第 1のデ一夕をその特徴に基づいて上記複数のクラスのいずれか に対応するかを決定するクラス決定部と、
上記クラス決定部で決定されたクラスに対応する予測係数に基づいて 、 上記第 1のデータを上記第 2のデータに変換する変換部とを具え、 上記記憶部に記憶されている上記予測係数は、
上記第 1のデ一夕より高質な教師データを、 その特徴に基づいて複数 のクラスに分類するステップと、
上記分類されたクラス毎に異なるフィル夕処理を上記教師デ一夕に対 して行うことで、 上記第 1のデ一夕と同質の生徒データを生成するステ ップと、
上記生徒データと上記教師デ一夕とに基づく学習を行うステップと を予め行うことにより生成されたことを特徴とする変換装置。
4 1 . 上記第 1のデ一夕は、 第 1のデータ数であり、 上記第 2のデータ は上記第 1のデータ数より多い第 2のデータ数であり、 上記教師データ は、 上記第 1のデ一夕数より多い第 3のデータ数である
ことを特徴とする請求の範囲第 4 0項に記載の変換装置。
4 2 . 上記第 2のデ一夕数と上記第 3のデ一夕数は同じである
ことを特徴とする請求の範囲第 4 1項に記載の変換装置。
4 3 . 上記第 1のデータ、 上記第 2のデータ及び上記教師データは、 画 像データである
ことを特徴とする請求の範囲第 4 0項に記載の変換装置。
PCT/JP1999/005384 1998-09-30 1999-09-30 Arithmetic device, converter, and their methods WO2000019724A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US09/555,245 US6718073B1 (en) 1998-09-30 1999-09-30 Arithmetic device, and converter, and their methods
KR1020007005851A KR100657776B1 (ko) 1998-09-30 1999-09-30 연산 장치, 변환기, 및 이들의 방법
EP99969880A EP1033886A4 (en) 1998-09-30 1999-09-30 ARITHMETIC DEVICE, CONVERTER AND METHODS RELATING THERETO
JP2000573098A JP4352298B2 (ja) 1998-09-30 1999-09-30 演算装置及び変換装置並びにそれらの方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP27859398 1998-09-30
JP10/278593 1998-09-30

Publications (1)

Publication Number Publication Date
WO2000019724A1 true WO2000019724A1 (en) 2000-04-06

Family

ID=17599435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/005384 WO2000019724A1 (en) 1998-09-30 1999-09-30 Arithmetic device, converter, and their methods

Country Status (5)

Country Link
US (1) US6718073B1 (ja)
EP (1) EP1033886A4 (ja)
JP (1) JP4352298B2 (ja)
KR (1) KR100657776B1 (ja)
WO (1) WO2000019724A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241266A1 (ja) * 2020-05-29 2021-12-02 ソニーグループ株式会社 画像処理装置および方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
JP2005311629A (ja) * 2004-04-20 2005-11-04 Sony Corp 係数データの生成装置および生成方法、情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体
JP4193871B2 (ja) * 2006-05-18 2008-12-10 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846934A (ja) * 1994-08-01 1996-02-16 Sony Corp ディジタル画像信号の処理装置
JPH08317347A (ja) * 1995-05-23 1996-11-29 Sony Corp 画像情報変換装置
JPH10112844A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH10112843A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH10191318A (ja) * 1996-12-27 1998-07-21 Sony Corp 符号化装置、符号化方法、復号化装置、復号化方法、送受信装置、および、送受信方法
EP0859513A2 (en) 1997-02-14 1998-08-19 Sony Corporation Image signal converting apparatus and method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3278881B2 (ja) 1991-12-13 2002-04-30 ソニー株式会社 画像信号生成装置
KR100360206B1 (ko) 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
JP3572632B2 (ja) 1993-06-29 2004-10-06 ソニー株式会社 異常検出装置
JP3458412B2 (ja) 1993-06-30 2003-10-20 ソニー株式会社 量子化ビット数変換装置および変換方法、並びに量子化ビット数学習装置および学習方法
US5748235A (en) * 1994-08-31 1998-05-05 Sony Corporation Imaging apparatus including means for converting red, green, and blue signal components of standard resolution to respective high resolution signal components
JP3781203B2 (ja) * 1994-11-28 2006-05-31 ソニー株式会社 画像信号補間装置及び画像信号補間方法
JP3794505B2 (ja) * 1995-03-22 2006-07-05 ソニー株式会社 信号変換装置及び信号変換方法
JP3870428B2 (ja) * 1995-05-10 2007-01-17 ソニー株式会社 画像情報変換装置および方法並びに係数データ生成装置および方法
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5946044A (en) 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
KR100478070B1 (ko) * 1996-05-30 2005-09-14 소니 가부시끼 가이샤 화상정보변환장치와방법및적화연산회로와방법
JPH1011583A (ja) 1996-06-27 1998-01-16 Sony Corp クラス分類適応処理装置、クラス分類適応処理用の学習装置および学習方法
JPH10126218A (ja) * 1996-10-15 1998-05-15 Sony Corp サンプリング周波数変換装置
EP0912045B1 (en) 1997-05-06 2007-10-10 Sony Corporation Image converter and image conversion method
JP3946812B2 (ja) 1997-05-12 2007-07-18 ソニー株式会社 オーディオ信号変換装置及びオーディオ信号変換方法
US6181382B1 (en) * 1998-04-03 2001-01-30 Miranda Technologies Inc. HDTV up converter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846934A (ja) * 1994-08-01 1996-02-16 Sony Corp ディジタル画像信号の処理装置
JPH08317347A (ja) * 1995-05-23 1996-11-29 Sony Corp 画像情報変換装置
JPH10112844A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH10112843A (ja) * 1996-10-04 1998-04-28 Sony Corp 画像処理装置および画像処理方法
JPH10191318A (ja) * 1996-12-27 1998-07-21 Sony Corp 符号化装置、符号化方法、復号化装置、復号化方法、送受信装置、および、送受信方法
EP0859513A2 (en) 1997-02-14 1998-08-19 Sony Corporation Image signal converting apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021241266A1 (ja) * 2020-05-29 2021-12-02 ソニーグループ株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
EP1033886A1 (en) 2000-09-06
KR100657776B1 (ko) 2006-12-15
JP4352298B2 (ja) 2009-10-28
EP1033886A4 (en) 2008-04-02
KR20010015845A (ko) 2001-02-26
US6718073B1 (en) 2004-04-06

Similar Documents

Publication Publication Date Title
KR0184905B1 (ko) 부호량제어장치 및 이것을 사용한 부호화장치
US20100202711A1 (en) Image processing apparatus, image processing method, and program
JP3794505B2 (ja) 信号変換装置及び信号変換方法
US20120321214A1 (en) Image processing apparatus and method, program, and recording medium
JPH09212650A (ja) 動きベクトル検出装置および検出方法
JP4650123B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2000019724A1 (en) Arithmetic device, converter, and their methods
US7672914B2 (en) Apparatus and method for generating coefficient data, apparatus and method for generating coefficient-seed data, information-signal processing apparatus, program, and medium having recorded the program thereon
JP3743077B2 (ja) 画像信号変換装置および方法
JP2000059652A (ja) ノイズ除去装置及びノイズ除去方法
JP3693187B2 (ja) 信号変換装置及び信号変換方法
JPH0983961A (ja) クラス予測係数の学習方法並びにクラス分類適応処理を用いた信号変換装置および方法
JP4337186B2 (ja) 画像情報変換装置および画像情報変換方法、学習装置および学習方法
JP2000125268A (ja) 画像データ変換装置及び画像データ変換方法
KR100982625B1 (ko) 정보 신호의 처리 장치 및 처리 방법
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4139979B2 (ja) 画像変換装置および方法、並びに記録媒体
JP3669522B2 (ja) 信号変換装置、信号変換方法、係数学習装置及び係数学習方法
JP4062326B2 (ja) 係数生成装置および方法
JP4131049B2 (ja) 信号処理装置及び信号処理方法
JP4310847B2 (ja) 画像情報変換装置および変換方法
JP4168298B2 (ja) データ変換装置及びデータ変換方法
JP4123587B2 (ja) 画像情報処理装置および方法
JPH0775066A (ja) 画像信号変換装置
JP4235853B2 (ja) 画像データ変換装置及び画像データ変換方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1999969880

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020007005851

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 09555245

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1999969880

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007005851

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1020007005851

Country of ref document: KR